Solved matrix-synapse will nicht starten

[hcx23]

Hallo liebe Debianer,

kennt sich vlt. jemand mit diesem Problem aus? Ich habe mir matrix-synapse mit postgres 13.1 und apache 2 auf meinen debian 10 verserver geschoben wie es hier beschrieben ist :

https://nichteinschalten.de/eigener-ver ... x-synapse/
https://upcloud.com/community/tutorials ... x-synapse/
https://doc.librechurch.org/Wiki.jsp?page=AdminMatrix

soweit gut nun will ich den matrix-synapse starten und journalctl gibt mir :

Code: Alles auswählen

Loaded: loaded (/lib/systemd/system/matrix-synapse.service; enabled; vendor preset: enabled)
  Drop-In: /etc/systemd/system/matrix-synapse.service.d
           └─override.conf
   Active: activating (auto-restart) (Result: exit-code) since Wed 2020-12-02 18:24:50 CET; 2ms ago
  Process: 14788 ExecStartPre=/opt/venvs/matrix-synapse/bin/python -m synapse.app.homeserver --config-path=/etc/matrix-synapse/homeserver.yaml -
root@sputnik:/# journalctl -xe
Dez 02 18:25:05 sputnik synapse[14831]:     return loader.get_single_data()
Dez 02 18:25:05 sputnik synapse[14831]:   File "/opt/venvs/matrix-synapse/lib/python3.7/site-packages/yaml/constructor.py", line 49, in get_sing
Dez 02 18:25:05 sputnik synapse[14831]:     node = self.get_single_node()
Dez 02 18:25:05 sputnik synapse[14831]:   File "/opt/venvs/matrix-synapse/lib/python3.7/site-packages/yaml/composer.py", line 36, in get_single_
Dez 02 18:25:05 sputnik synapse[14831]:     document = self.compose_document()
Dez 02 18:25:05 sputnik synapse[14831]:   File "/opt/venvs/matrix-synapse/lib/python3.7/site-packages/yaml/composer.py", line 55, in compose_doc
Dez 02 18:25:05 sputnik synapse[14831]:     node = self.compose_node(None, None)
Dez 02 18:25:05 sputnik synapse[14831]:   File "/opt/venvs/matrix-synapse/lib/python3.7/site-packages/yaml/composer.py", line 84, in compose_nod
Dez 02 18:25:05 sputnik synapse[14831]:     node = self.compose_mapping_node(anchor)
Dez 02 18:25:05 sputnik synapse[14831]:   File "/opt/venvs/matrix-synapse/lib/python3.7/site-packages/yaml/composer.py", line 127, in compose_ma
Dez 02 18:25:05 sputnik synapse[14831]:     while not self.check_event(MappingEndEvent):
Dez 02 18:25:05 sputnik synapse[14831]:   File "/opt/venvs/matrix-synapse/lib/python3.7/site-packages/yaml/parser.py", line 98, in check_event
Dez 02 18:25:05 sputnik synapse[14831]:     self.current_event = self.state()
Dez 02 18:25:05 sputnik synapse[14831]:   File "/opt/venvs/matrix-synapse/lib/python3.7/site-packages/yaml/parser.py", line 439, in parse_block_
Dez 02 18:25:05 sputnik synapse[14831]:     "expected <block end>, but found %r" % token.id, token.start_mark)
Dez 02 18:25:05 sputnik synapse[14831]: yaml.parser.ParserError: while parsing a block mapping
Dez 02 18:25:05 sputnik synapse[14831]:   in "/etc/matrix-synapse/homeserver.yaml", line 31, column 1
Dez 02 18:25:05 sputnik synapse[14831]: expected <block end>, but found '<block mapping start>'
Dez 02 18:25:05 sputnik synapse[14831]:   in "/etc/matrix-synapse/homeserver.yaml", line 727, column 3
Dez 02 18:25:05 sputnik systemd[1]: matrix-synapse.service: Control process exited, code=exited, status=1/FAILURE
-- Subject: Unit process exited
-- Defined-By: systemd
-- Support: https://www.debian.org/support
-- 
-- An ExecStartPre= process belonging to unit matrix-synapse.service has exited.
-- 
-- The process' exit code is 'exited' and its exit status is 1.
Dez 02 18:25:05 sputnik systemd[1]: matrix-synapse.service: Failed with result 'exit-code'.
-- Subject: Unit failed
-- Defined-By: systemd
-- Support: https://www.debian.org/support
-- 
-- The unit matrix-synapse.service has entered the 'failed' state with result 'exit-code'.
Dez 02 18:25:05 sputnik systemd[1]: Failed to start Synapse Matrix homeserver.

Die homeserver.yaml gibt es hier: https://pastebin.com/BzPK0H1z

Was stimmt hier nicht verstehe die Fehlermeldungen nicht wirklich.

[hcx23]

die komplette homeserver.yaml habe ich mal hierher geschoben : https://ukleemann.de/downloads/

vlt. findet jemand den / die Fehler.

DANKE

Uli

[Colttt]

deine yaml datei ist flasch.. du musst dort genau auf leerzeichen etc achten..
btw das forum hier auch auch ein paste dienst!

bei zeile26 da fehlt irgendwie die Einleitung dazu, wenn ich mir eine Beispieldatei angucke, dann fehlt da listeners

[hcx23]

Hallo Colt,
ich habe die original default homeserver yaml mal entsprechend editiert und bekomme nun folgende Fehlermeldung:

Code: Alles auswählen

Job for matrix-synapse.service failed because the control process exited with error code.
See "systemctl status matrix-synapse.service" and "journalctl -xe" for details.
root@sputnik:/etc/matrix-synapse# journalctl -xe
-- An ExecStartPre= process belonging to unit matrix-synapse.service has exited.
-- 
-- The process' exit code is 'exited' and its exit status is 1.
Dez 03 15:50:16 sputnik systemd[1]: matrix-synapse.service: Failed with result 'exit-code'.
-- Subject: Unit failed
-- Defined-By: systemd

Gruss Uli

[jph]

Also, Tipp Nummer 1: dreh alle Änderungen an der homeserver.yaml zurück, so dass sie wieder den Originalzustand hat. Sämliche lokalen/individuellen Änderungen erfasst du in separaten Dateien unter /etc/matrix-synapse/conf.d

Tipp Nummer 2: /var/log/matrix-synapse/homeserver.log ist die Logdatei. Da findest du detaillierte Angaben zum Parsen der Konfiguration, Verbindungsaufbau zur Datenbank etc. (Tipp Nummer 2b: das Log ist im Default furchtbar geschwätzig; wenn alles läuft, solltest du den Loglevel anpassen.)

Welche Version von Matrix-Synapse verwendest du? Die aus Stable ist furchtbar veraltet, die solltest du auf keinen Fall verwenden. Die aus den Backports bekommt Sicherheitsupdates gerne mal zu spät. Ich rate dir zu den Paketen von matrix.org, siehe https://github.com/matrix-org/synapse/b ... t-packages

Nachtrag, Tipp Nummer 3: du könntest dir ein Login auf matrix.org oder tchncs.de besorgen, damit an https://matrix.to/#/!TTajZMFjIFlHBynrvu ... .eclabs.de teilnehmen, und deinen Homeserver mit Support aus der Community zum fliegen bringen. Das ist kein ungewöhnliches Vorgehen.

[hcx23]

Hallo JPH,

er läuft DANKE für dei tollen Tips. Ich installiere mit neben revolt eben weechat um auf !TTajZMFjIFlHBynrvu:yuhu.ddns.net zu kommen, denn das Anlegen eines Nutzers so:

Code: Alles auswählen

register_new_matrix_user -c homeserver.yaml http://localhost:8008

wir abgelehnt mit diversen Fehlermeldungen.

Gruss Uli

[jph]

wir abgelehnt mit diversen Fehlermeldungen.

Bist du schon weitergekommen? Ansonsten: welche Fehlermeldungen?

[hcx23]

Hallo jph,
ich bin deinen Empfehlungen gefolgt und nun scheint Matrix auf Port 8008 zu laufen :

Code: Alles auswählen

[b]ps -ef |grep matrix
matrix-+  1174     1 99 11:37 ?        00:00:01 /opt/venvs/matrix-synapse/bin/python -m synapse.app.homeserver --config-path=/etc/matrix-synapse/homeserver.yaml --config-path=/etc/matrix-synapse/conf.d/ --generate-keys


tcp        0      0 127.0.0.1:8008          0.0.0.0:*               LISTEN      6318/python3   [/b]

And now it works:

register_new_matrix_user -c homeserver.yaml http://localhost:8008
New user localpart [uli]: matrix
Password:
Confirm password:
Make admin [no]:
Sending registration request...
Success!

DANKE & frohe Weihnachten
Uli

[jph]

Na, dann steht der Verbindung mit der großen weiten Welt hoffentlich nichts mehr im Wege: https://github.com/matrix-org/synapse/b ... ederate.md und https://federationtester.matrix.org/

In dem Zusammenhang spannende Literatur: https://github.com/matrix-org/synapse/b ... e_proxy.md und https://github.com/matrix-org/synapse/b ... ostgres.md.

Viel Spaß

[hcx23]

Hallo JHP,

DANKE für deine Hilfe und für die Links werde ich mir mal zu Gemüpte führen bin bereits in der Matrix Welt , wollte aber meinen eigenen Server genau wie für XMPP mail stun und web.

Gruss & frohe Tage


Uli

[hcx23]

Hallo JHP,

da habe ich mir was aufgehalst . Nachdem matrix lief auf port 8008 wollte er nicht mehr starten - kollidierte der powerDNS mit dem auf der VM; laufenden bind.
Das konnte ich lösen und synapse läuft jetzt auf Port 8448

Code: Alles auswählen

[b]tcp        0      0 127.0.0.1:8448          0.0.0.0:*               LISTEN      25176/python3[/b]

Aber ich kann ihn via matrix nicht erreichen : Element sagt

Invalid homeserver discovery response

Einen SRV Eintrag wollte mein hoster so nicht akzeptieren.

Was muss ich da machen?
Danke
Uli

[jph]

Typischerweise läuft Client-to-Server auf Port 443 und Server-to-Server auf Port 8448, was sich aber ändern lässt. Element sucht also auf Port 443. Um deine Frage beantworten zu können, brauche ich aber noch ein paar Hintergrundinfos. In den meisten Fällen setzt man Matrix-Synapse hinter einen Reverse Proxy ein. Wie ist das bei dir gelöst?

https://github.com/matrix-org/synapse/b ... e_proxy.md

Ich setze einen Apache als Reverse Proxy ein in Verbindung mit Let’s Encrypt für die Verschlüsselung. Ohne vertrauenswürdige Zertifikate kann dein Server nicht föderieren. Du kannst bspw. auch Nginx verwenden, bei mir war aber der Apache schon wegen Nextcloud im Einsatz. (Umgekehrt habe ich dann Nextcloud auf PostgreSQL umgezogen, weil Matrix-Synapse das haben wollte und ich keine Lust hatte, mich um zwei DB-Server zu kümmern. Mittlerweile gefällt mir PG besser als MariaDB.)

Auf den SRV-Eintrag kannst du verzichten. Es wird empfohlen, Service Discovery über .well-known zu machen.

https://github.com/matrix-org/synapse/b ... elegate.md

[hcx23]

Hallo JPH,

ich habe auf der Maschine neben Synapse Apache2 mit einer Horde Groupware am laufen und einen Bind9.
der Apache läuft mit letsencrypt Zertifikaten auf port 443 matrix-synapse auf Port 8448

Meine DB ist eine aktuelle postgres 13,die standardmäßig auf port 5432 läuft.

Ich hoffe dir damit alle notwendigen Infos gegeben zu haben.

DANKE schonmal

Uli

[jph]

ich habe auf der Maschine neben Synapse Apache2 mit einer Horde Groupware am laufen und einen Bind9.
der Apache läuft mit letsencrypt Zertifikaten auf port 443 matrix-synapse auf Port 8448

Matrix-Synapse lauscht standardmäßig auf 8008 mit einem unverschlüsselten http-Listener und auf 8448 mit einem https-Listener. Die Anleitung (https://github.com/matrix-org/synapse/b ... e_proxy.md) nimmt an, dass du https am Apache terminierst und dass die Verbindung zwischen Apache und Matrix-Synapse unverschlüsselt (= http) ist.

Code: Alles auswählen

    ProxyPass /_matrix http://127.0.0.1:8008/_matrix nocanon
    ProxyPassReverse /_matrix http://127.0.0.1:8008/_matrix

Wer lauscht bei dir auf Port 8448? http oder https?

[hcx23]

Hallo,

in der homeserver.yaml habe ich als Typ http sowohl auf port 80 als auch 8448 eingetragen

l

Code: Alles auswählen

sof -i -P | grep 8448
python3 25176  uli   12u  IPv6 11191176      0t0  TCP localhost:8448 (LISTEN)
python3 25176  uli   13u  IPv4 11191177      0t0  TCP localhost:8448 (LISTEN)

Code: Alles auswählen

nmap -A xxxxxx.eu -p 8448
Starting Nmap 7.80 ( https://nmap.org ) at 2020-12-21 22:40 CET
Nmap scan report for xxx.eu (92.xxx.xxx.xxx)
Host is up (0.013s latency).
rDNS record for 92.xxx.xxx.xxx: sputnik

PORT     STATE  SERVICE VERSION

8008/tcp closed http

8448/tcp closed unknown

Gruss Uli

[jph]

Wat?

Noch mal sauber getrennt.

In der homeserver.yaml kannst du den http-Listener des Matrix-Synapse auf einen Port ungleich 8008 legen, wenn der bei dir schon anderweitig belegt sein sollte. Nicht aber auf 8448, den dort liegt üblicherweise der https-Listener, den du aber nicht benötigst/nicht aktivierst.

Mit Port 80 hat Matrix-Synapse gar nichts zu tun.

Deinen Reverse Proxy richtest du so ein, dass er https-Traffic auf 443 und 8448 terminiert und als http auf den Port weiterleitet, auf dem der http-Listener des Matrix-Synapse liegt.

Da Apache im Regelfall nicht auf Port 8448 lauscht, aktivierst du diesen in der ports.conf.

[jph]

Nachtrag zur Verdeutlichung:

Code: Alles auswählen

jan@ugly:~$ nmap matrix0.fritz.box
Starting Nmap 7.70 ( https://nmap.org ) at 2020-12-22 13:05 CET
Nmap scan report for matrix0.fritz.box (192.168.10.4)
Host is up (0.00023s latency).
Not shown: 998 closed ports
PORT     STATE SERVICE
22/tcp   open  ssh
8008/tcp open  http

Nmap done: 1 IP address (1 host up) scanned in 0.11 seconds

Matrix-Synapse hat bei mir einen Container ganz für sich allein, selbst der Reverse Proxy residiert außerhalb. Wie du siehst, lauscht er nur auf einem einzigen Port.

[hcx23]

Hallo JHP,

Danke soweit verstanden also in der homeserver.aml habe ich das jetzt so eingetragen:

l

Code: Alles auswählen

isteners:
  # TLS-enabled listener: for when matrix traffic is sent directly to synapse.
  #
  # Disabled by default. To enable it, uncomment the following. (Note that you
  # will also need to give Synapse a TLS key and certificate: see the TLS section
  # below.)
  #
  - port: 8008
    type: http
    tls: true
    resources:
      - names: [client, federation]

## Ports ##

listeners:
  {% if not SYNAPSE_NO_TLS %}
  -
    port: 8899
    bind_addresses: 0.0.0.0, 127.0.0.1
    type: http
    tls: true
    x_forwarded: false
    resources:
      - names: [client]
        compress: true

in der /etc/apache2/sites-available/matrix.conf so:

Code: Alles auswählen

AllowEncodedSlashes NoDecode
    ProxyPass /_matrix http://127.0.0.1:8008/_matrix nocanon
    ProxyPassReverse /_matrix http://127.0.0.1:8008/_matrix
    ProxyPass /_synapse/client http://127.0.0.1:8008/_synapse/client nocanon
    ProxyPassReverse /_synapse/client http://127.0.0.1:8008/_synapse/client
</VirtualHost>

<VirtualHost *:8448>
    SSLEngine on
    ServerName xxx.eu;

    AllowEncodedSlashes NoDecode
    ProxyPass /_matrix http://127.0.0.1:8008/_matrix nocanon
    ProxyPassReverse /_matrix http://127.0.0.1:8008/_matrix

in dr ports.conf habe ich port 8448 geöffnet - apache lauscht darauf - aber nun startet matrix-synapse nicht mehr.

Ich finde aber in der logfile von matrix keinen Hinweis.

DANKE
Fohe Feiertage
Uli

[jph]

Wenn du den http-Listener des Matrix-Synapse auf Port 8899 legst, musst du natürlich auch die Ports für den Reverse Proxy anpassen. In deiner Konfiguration leitest du noch immer auf 8008 weiter. Das kann nicht funktionieren. Ich habe den Eindruck, dass du wild an irgendwelchen Einstellungen herumstöpselst, aber nicht mal Grundlagen wie die Übereinstimmung der Ports im Auge hast. Sei vorsichtig mit dem, was du tust. Du stellst einen Service ins Neuland und das ist potentiell böse. (Nicht zuletzt deswegen sind bei mir alle öffentlichen Services in unprivilegierten Containern eingesperrt. Aber an und für sich müsste eine DMZ her.)

Wenn ich „homeserver.yaml“ schreibe, dann ist das reine Bequemlichkeit. Ich meine damit einen Schnipsel in /etc/matrix-synapse/conf.d; die homeserver.yaml an sich bleibt unangetastet. Ich habe da nach meinen Wünschen Konfigurationsschnipsel angelegt:

Code: Alles auswählen

jan@matrix0:~$ ls /etc/matrix-synapse/conf.d/
database.yaml   public_baseurl.yaml  report_stats.yaml  server_name.yaml  trusted_key_servers.yaml
listeners.yaml  registration.yaml    retention.yaml     tls.yaml

Meine Listener-Konfiguration sieht so aus:

Code: Alles auswählen

jan@matrix0:~$ cat /etc/matrix-synapse/conf.d/listeners.yaml
listeners:
  - port: 8008
    tls: false
    type: http
    x_forwarded: true
    bind_addresses:
      - '192.168.10.4'

    resources:
      - names: [client, federation]
        compress: false

192.168.10.4 ist die statische IP des Containers. Wenn dein Apache im gleichen Container läuft, dann kannst du stattdessen 127.0.0.1 angeben.

Den https-Listener lege ich explizit lahm. Den brauche ich nicht, da der https-Traffic am Reverse Proxy endet.

Code: Alles auswählen

jan@matrix0:~$ cat /etc/matrix-synapse/conf.d/tls.yaml 
no_tls: True

Im anderen Container mit Apache wiederum sieht es so aus (ein paar Sachen, u.a. Let’s Encrypt und die Domain, habe ich rausgekürzt/anonymisiert):

Code: Alles auswählen

jan@wolke0:~$ cat /etc/apache2/sites-enabled/matrix.domain.tld.conf
<VirtualHost *:443>                                                     
        SSLEngine on
        ServerName matrix.domain.tld
        [...]
                                                                                      
        AllowEncodedSlashes NoDecode                                                                               
        ProxyPass /_matrix http://matrix0.fritz.box:8008/_matrix nocanon

        ProxyPassReverse /_matrix http://matrix0.fritz.box:8008/_matrix
        ProxyPass /_synapse/client http://matrix0.fritz.box:8008/_synapse/client nocanon
        ProxyPassReverse /_synapse/client http://matrix0.fritz.box:8008/_synapse/client

        [...]
</VirtualHost>

<VirtualHost *:8448>
        SSLEngine on                                                                                                                
        ServerName matrix.domain.tld
        [...]

        AllowEncodedSlashes NoDecode
        ProxyPass /_matrix http://matrix0.fritz.box:8008/_matrix nocanon
        ProxyPassReverse /_matrix http://matrix0.fritz.box:8008/_matrix

        [...]
</VirtualHost>

# vim: syntax=apache ts=4 sw=4 sts=4 sr noet

Das entspricht dem, was unter https://github.com/matrix-org/synapse/b ... e_proxy.md zu finden ist.

Wenn Apache und Matrix-Synapse auf der gleichen Maschine/im gleichen Container laufen, kannst du den Hostname matrix0.fritz.box durch 127.0.0.1 ersetzen.

[hcx23]

Hallo Jhp,

so ich habe es jetzt genauso gemacht wie bei dir port 8008 und 8448 der docker container läuft auf port 8080

Apache und matrix laufen auf dem gleichen V-Server wenn auch nicht in einem Container ich habe denoch mal 127.0.0.1 als hostname eingetragen.

Apache lauscht auf 80 443 und 8448

Code: Alles auswählen

tcp6       0      0 :::8448                 :::*                    LISTEN      9922/apache2        
tcp6       0      0 :::80                   :::*                    LISTEN      9922/apache2        
tcp6       0      0 :::8080                 :::*                    LISTEN      1124/docker-proxy 

Code: Alles auswählen

 00:00:00 /usr/bin/docker-proxy -proto tcp -host-ip 0.0.0.0 -host-port 8080 -container-ip 172.20.0.2 -container-port 8080

Ist das jetzt so richtig?

Gruss

Uli

[jph]

Ist das jetzt so richtig?

Kann ich dir, ehrlich gesagt, nicht sagen, weil ich mich nicht im geringsten mit Docker auskenne. Aber wenn du mit Docker bastelst, warum nimmst du nicht einfach https://hub.docker.com/r/matrixdotorg/synapse?

[hcx23]

Hallo Jph,

diesen docker container kannte ich noch gar nicht läuft out-of-the-box auf 8008.

ok er üterstützt anders als der den ich zuvor probierte keinen turn server, was mich jedoch nicht stört -ich habe bereits eienn laufen auf eienr anderen Maschine.

Danke für die Hilfe jetzt nur noch schauen wie ich meinen Server in Riot eintrage .

Schöne Feiertage und bleib fit

Gruss

Uli

[VolkerBenner]

du musst dort genau auf leerzeichen etc achten..

Ach du grüne Neune, das wars. Was habe ich gesucht und gefummelt und der Fehler waren zwei doofe Leerzeichen, die sofort zu sehen sind wenn in der aktiven homeserver.yaml das Syntax-Highlighting hilft.
Vielen Dank.