Grüß dich Ralli!
Auch ich baue aus einem netinst-ISO meine Debian-DAW. Ich kompiliere sehr viele Audioprogramme (Audacity, Ardour, Rosegarden, Calf, QJackCtl, fluidsynth-dssi, ... ) selber. Um eine einzige Pulseaudio-Datei (libpulse0) komme ich auch nicht herum, es stört mich jedoch nicht.
Eine bei mir bewährte Möglichkeit um Pulseaudio auszuschalten, war diese:
In etc/pulse/daemon.conf folgende Werte auf 0 ändern (Pulseaudio wird dadurch NICHT geladen, ist aber jederzeit wieder rückgängig zu machen).
default-fragments = 8 auf 0 setzen
default-fragment-size-msec = 10 auf 0 setzen
Aktuell habe ich diese Datei gar nicht, bei mir gibt es nur etc/pulse/client.conf.
P.S. Solltest du Rosegarden selber bauen wollen: ich betreue das deutsche Sprachpaket und sende dir die aktuellste Version gerne zum Testen und Rückmelden