Statt dem „Switch user“ kannst du – auch zusammen mit lightdm – „Lock screen“ nehmen. Das meldet dich nicht ab, sondern führt zum lightdm-Greeter. Da kannst du dich dann auch mit einem anderen Benutzer anmelden, statt den vorherigen zu entsperren.
Ansonsten geht es anscheinend nur so, wie Willy beschrieben hat. Xfce scheint das Benutzer wechseln nur im Zusammenspiel mit Gdm zu unterstützen.