In diesem Kontext scheint mit Xpra einen Möglichkeit zu sein, PA per SSH weiterzuleiten.
Sieh dir mal das Manual an:
https://xpra.org/manual.html
und
https://wiki.archlinux.org/title/Xpra
Dort steht unter anderem:
Ist ja eventuell eine Möglichkeit--pulseaudio=yes|no
Enable or disable the starting of a pulseaudio server with the session.
--pulseaudio-command=SERVER-START-COMMAND
Specifies the pulseaudio command to use to start the pulseaudio server, unless disabled with pulseaudio=no.