Debian-Server hängt sich sporadisch auf

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Antworten
ErreUno
Beiträge: 9
Registriert: 28.09.2022 10:34:41

Debian-Server hängt sich sporadisch auf

Beitrag von ErreUno » 28.09.2022 11:01:59

Guten Morgen zusammen!
Ich bin dann wohl wie man so schön sagt "der Neue" und möchte mich in diesem Zuge kurz Vorstellen.
Nach vielen Jahren mit MS WIndows und noch mehr halbherzigen Experimenten mit Linux, habe ich 2019 "ernst gemacht" und mich für Linux als Plattform für meinen privaten Nextcloud-Server entschieden.
Nach Umwegen über Ubuntu bin ich dann 2020 bei Debian gelandet und damit auch sehr zufrieden.
Kurzum - ich bin blutiger Anfänger und kämpfe mich so durch.
Mein Setup: Eigenbau-Server, basierend auf einem sehr sparsamen c't Bauvorschlag mit einem FUJITSU /D3417-B2 + Celeron + SSD + RAID5
Software-Seitig bin ich eingestiegen mit Debian 10 (Buster). Darauf läuft nativ NextcloudPI, ioBroker und PIHole.
Unter Buster praktisch zu 100% stabil und ausfallfrei.
Dann habe ich kürzlich das Upgrade auf Bullseye gewagt - und zwar mittels "ncp-dist-upgrade".
Das hat erstaunlich gut und fehlerfreiu funktioniert - alles läuft wie vorher.
Leider hängt sich seitdem sporadisch der Server weg (alle 2-5 Tage einmal) - und zwar so, dass ich via Konsole nicht mehr drauf komme. Nach einem Reset läuft wieder alles normal.

Nun zu meiner Frage:
Wie kann ich feststellen - wo der Fehler liegt?
Im syslog bzw. kern.log kann ich nichts feststellen. Es werden halt einfach ab einem Zeitpunkt X keine Logs mehr geschrieben, was mich zu der Annahme bringt, dass es ein Hardware / Treiber-Problem sein könnte.

Ich bin hier für jeden Tipp dankbar (weitere Logs, Vorgehensweisen usw.).
Sollte dies das falsche Forum sein, bitte ich im Vorfeld um Entschuldigung.
Gruß ErreUno
Eigenbau-Server (c't Bauvorschlag) mit Debian 11.5, NextCloud 24, NextCloudPI, Elasticsearch, Tasseract, ioBroker, PIHole

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Debian-Server hängt sich sporadisch auf

Beitrag von MSfree » 28.09.2022 11:57:23

ErreUno hat geschrieben: ↑ zum Beitrag ↑
28.09.2022 11:01:59
Wie kann ich feststellen - wo der Fehler liegt?
Im syslog bzw. kern.log kann ich nichts feststellen. Es werden halt einfach ab einem Zeitpunkt X keine Logs mehr geschrieben
Du könntest zumindest mal mit journalctl in das Journal reinschauen. Das Journal ersetzt seit Jessie (2015) die traditionellen Logs. Das Journal beinhaltet manchmal doch noch ein paar zusätzlich Informationen. Allerdings gilt auch für das Journal, wenn die Kiste hängt, kann auch da nichts mehr gelogt werden.
was mich zu der Annahme bringt, dass es ein Hardware / Treiber-Problem sein könnte.
Treiber halte ich für extrem unwahrscheinlich, da du keine exotische Hardware nutzt. Hardware schon eher, deine SSD könnte einen Knacks haben, vor allem, wenn du darauf Swap hast, gepaart mit zu wenig RAM.

Es könnte aber auch ein letztlich doch nicht sauberes Upgrade auch Bullseye sein, das zu einer inkompatiblen Kombination von Softwarebestandteilen geführt hat. ncp-dist-upgrade sagt mir nämlich gar nichts, Derbian aktualisiert man mit

Code: Alles auswählen

apt-get update; apt-get dist-upgrade
oder alternativ mit apt oder aptitude.
c't Bauvorschlag mit einem FUJITSU /D3417-B2
Nunja, das Board ist ein Wald-und-Wiesen-Brett mit Sockel 1151 (Skylake, Kaby Lake), also ca. 6-7 Jahre alt. Die Unterstützung ist auf jeden Fall vollständig im Linuxkernel enthalten. Ein wenig mehr Details, wie SSD-Größe/Hersteller, RAM-Größe und die verwendeten SATA-Platten das RAID5 könnten hier hilfreich sein.

Was sagt nach dem Booten der Befehl

Code: Alles auswählen

dmesg | grep -i Firmware
?

Was ergibt

Code: Alles auswählen

dpkg -l | grep micro
?

ErreUno
Beiträge: 9
Registriert: 28.09.2022 10:34:41

Re: Debian-Server hängt sich sporadisch auf

Beitrag von ErreUno » 28.09.2022 13:25:44

Hallo MSfree,
danke für die ausführliche Antwort.
OK. Das mit dem journalctl habe ich schon verwendet - aber den Zusammenhang nicht begriffen (Ablösen der alten Logs)
Werde ich mir anschauen.

"ncp-dist-upgrade" ist ein Script, welches mit NextCloudPI gelifert wird. Es automatisiert den Upgradevorgang für Debian und berücksichtigt scheinbar die Abhängigkeiten von NextCloud (PHP, MariaDB, usw.)

Neben dem FUJITSU /D3417-B2 ist noch ein Intel Celeron G3930, ein Samsung 16GB DDR42400 (M378A2K43BB1-CRC), eine ADATA SSD Legend 840 M.2 2280 1TB ALEG-840-1TCS, und drei WD 40 Red EFRX verbaut (RAID5).
Die SSD ist nagelneu, habe ich vor dem Upgrade getauscht (alte ist Backup Debian 10).
Stichwort SWAP - da habe ich aktuell keine - wenn ich das richtig sehe. Ich verstehe nicht warum nicht - am Anfang war sie noch da. Kann ich die einfach wieder einhängen?

Bild

dmesg | grep -i Firmware zeigt nichts

dpkg -l | grep micro zeigt:

ii libxmuu1:amd64 2:1.1.2-2+b3 amd64 X11 miscellaneous micro-utility library

Gruß und danke
EU
Eigenbau-Server (c't Bauvorschlag) mit Debian 11.5, NextCloud 24, NextCloudPI, Elasticsearch, Tasseract, ioBroker, PIHole

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Debian-Server hängt sich sporadisch auf

Beitrag von MSfree » 28.09.2022 14:41:28

ErreUno hat geschrieben: ↑ zum Beitrag ↑
28.09.2022 13:25:44
Die SSD ist nagelneu, habe ich vor dem Upgrade getauscht (alte ist Backup Debian 10).
Super Idee. So hätte ich das Upgrade auch gemacht. :wink:
Immer schön mit Netz und doppeltem Boden arbeiten.
Stichwort SWAP - da habe ich aktuell keine
Doch, zumindest eine Swap-Partition ist vorhanden. Ob die genutzt wird, kannst du mit feststellen. 16GB RAM sollten aber auch ohne Swap ausreichen. Solltest du dennoch Swap verwenden wollen, kannst du das mit

Code: Alles auswählen

swapon /dev/nvme0n1p6
wieder anschalten.

(Screenshots sind für ein paar Textausgaben denkbar schlecht. Ich kann da nicht mit Copy'n'Paste kopieren, die Forentextsuche scheitert an Pixelhaufen und für nicht mal 500Byte Information muß ich mehr als die 100-fache Datenmenge runterladen. Und wenn sie trotzdem unumgänglich sind, bitte hier in die Forengallerie posten, der Link steht über dem Editfenster. Cookies an Fremdanbieter verschenken ich und andere nämlich ungern.)
dmesg | grep -i Firmware zeigt nichts
Das ist OK. Zumindest fehlt den Kernelmodulen dann auch nichts.
dpkg -l | grep micro zeigt:
Es könnte sinnvoll sein, Intel Microcode nachzuinstallieren. Der behebt Fehler in Intel-CPUs:

Code: Alles auswählen

apt-get install intel-microcode
Wobei das wahrscheinlich nicht die Hänger beheben wird.

Passieren die Hänger bei bestimmten Systemlasten?

ErreUno
Beiträge: 9
Registriert: 28.09.2022 10:34:41

Re: Debian-Server hängt sich sporadisch auf

Beitrag von ErreUno » 28.09.2022 22:14:04

Vielen Dank noch mal für den Tipp mit Journalctl. Eigentlich peinlich, dass ich das nicht wusste.
Damit bin ich einen Schritt weiter gekommen. Hier die letzten Einträge vor dem letzten Hänger:

Sep 28 09:35:01 debian CRON[556800]: pam_unix(cron:session): session opened for user www-data(uid=33) by (uid=0)
Sep 28 09:35:01 debian CRON[556801]: (www-data) CMD (php -f /var/www/nextcloud/cron.php)
Sep 28 09:35:02 debian CRON[556800]: pam_unix(cron:session): session closed for user www-data

Könnte es sein, dass zu diesem Zeitpunkt ein cron-job von der Nextcloud losläuft? Z.B. Vorschaubilder erstellen oder sowas?

Beim Hänger davor war der Job jedenfalls auch dabei:

Sep 25 21:10:01 debian CRON[1845813]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
Sep 25 21:10:01 debian CRON[1845814]: pam_unix(cron:session): session opened for user www-data(uid=33) by (uid=0)
Sep 25 21:10:01 debian CRON[1845815]: (www-data) CMD (php -f /var/www/nextcloud/cron.php)
Sep 25 21:10:01 debian CRON[1845817]: (root) CMD ( PATH="$PATH:/usr/sbin:/usr/local/bin/" pihole updatechecker local)
Sep 25 21:10:01 debian CRON[1845813]: pam_unix(cron:session): session closed for user root
Sep 25 21:10:02 debian CRON[1845814]: pam_unix(cron:session): session closed for user www-data

Leider bin ich nicht in der Lage nachzuvollziehen was da läuft. Wenn ich mir die cron.php so anschaue, würde ich mutmassen, dass es eine Art Aufräumfunktion für PHP ist.

Gruß EU
Eigenbau-Server (c't Bauvorschlag) mit Debian 11.5, NextCloud 24, NextCloudPI, Elasticsearch, Tasseract, ioBroker, PIHole

ErreUno
Beiträge: 9
Registriert: 28.09.2022 10:34:41

Re: Debian-Server hängt sich sporadisch auf

Beitrag von ErreUno » 28.09.2022 22:38:07

OK. Ich hab was gefunden. Grad hat sich die Kiste wie bestellt aufgehängt.
Habe dann einen Monitor angestöpselt - und dort sehe ich folgendes:
3811
Kann das jemand deuten? Klingt für mich nicht gut.
P5 ist meine /var Partition
EU
Eigenbau-Server (c't Bauvorschlag) mit Debian 11.5, NextCloud 24, NextCloudPI, Elasticsearch, Tasseract, ioBroker, PIHole

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Debian-Server hängt sich sporadisch auf

Beitrag von MSfree » 28.09.2022 23:00:50

ErreUno hat geschrieben: ↑ zum Beitrag ↑
28.09.2022 22:38:07
Kann das jemand deuten? Klingt für mich nicht gut.
Oha, "Read-Error on swap-device" hört sich gar nicht gut an. Auch die Ext4-fs Fehler bedeuten nichts gutes. Spontan würde ich auf eine kaputte SSD tippen. Eventuell liegt auch eine Produktfälschung vor.

Es gibt Software zum Testen der realen Kapazität, die ist allerdings destruktiv und zerstört alle Daten auf der SSD. Ein Backup ist also unbedingt vorher anzufertigen. Am besten ist, ein Rettungsdsystem (z.B. grml) von einem USB-Stick zu starten und darin f3 auszuführen.

Das Debianpaket lautet Debianf3. Eine kurze Beschreibung findest du hier:
https://fight-flash-fraud.readthedocs.i ... ad-f3write

Es gibt auch ein Programm von der c't-Redaktion h2testw, die aber unter Windows läuft. Dazu müßtest du die SSD aber in einen USB-Adapter stecken.

Benutzeravatar
cosinus
Beiträge: 3410
Registriert: 08.02.2016 13:44:11
Lizenz eigener Beiträge: GNU General Public License
Wohnort: Bremen

Re: Debian-Server hängt sich sporadisch auf

Beitrag von cosinus » 29.09.2022 10:33:37

/opt/sophos-av?! 8O
Du hast da echt nen Virenscanner für Linux drauf? :?

ErreUno
Beiträge: 9
Registriert: 28.09.2022 10:34:41

Re: Debian-Server hängt sich sporadisch auf

Beitrag von ErreUno » 29.09.2022 10:52:16

@MSfree:
Die SSD kam von Amazon (war auch der Händler) und war Retail-Verpackt mit Siegel.
Werde mal ein Restore auf die alte SSD machen und die neue prüfen.

@Cosinus:
Ja - nenne mich gerne paranoid. Das Ding frist auch kein Brot. Läuft auf all meinen Linux-Buchsen und tut gute Dienste.
So ist das, wenn man von Windows kommt :roll:

Danke!
EU
Eigenbau-Server (c't Bauvorschlag) mit Debian 11.5, NextCloud 24, NextCloudPI, Elasticsearch, Tasseract, ioBroker, PIHole

Benutzeravatar
cosinus
Beiträge: 3410
Registriert: 08.02.2016 13:44:11
Lizenz eigener Beiträge: GNU General Public License
Wohnort: Bremen

Re: Debian-Server hängt sich sporadisch auf

Beitrag von cosinus » 29.09.2022 11:11:18

Sry aber ein Virenscanner ist einfach nur kontraproduktiv. Selbst unter Windows hatten die Dinger schon ordentliche Kritik abbekommen. Aber unter Linux sind die einfach nur überflüssig bis schädlich fürs System. Ein AV unter Linux macht wenn überhaupt nur Sinn wenn man dies als Mailserver einsetzt und virulente Anhänge schon im Vorfeld aussortieren will.

ErreUno
Beiträge: 9
Registriert: 28.09.2022 10:34:41

Re: Debian-Server hängt sich sporadisch auf

Beitrag von ErreUno » 29.09.2022 12:11:14

Das leuchtet mir nicht ganz ein.
Was soll daran Kontra-produktiv oder sogar schädlich sein? (von der Systemlast abgesehen, die absolut vernachlässigbar ist) Kannst Du das näher ausführen?
Ich betreibe eine Nextcloud, auf der die ganze Familie Ihre Daten ablegt. Da sind ne menge DAUs dabei. Folglich möchte ich die maximale Sicherheit erreichen.
Gruß EU
Eigenbau-Server (c't Bauvorschlag) mit Debian 11.5, NextCloud 24, NextCloudPI, Elasticsearch, Tasseract, ioBroker, PIHole

Benutzeravatar
TRex
Moderator
Beiträge: 8038
Registriert: 23.11.2006 12:23:54
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: KA

Re: Debian-Server hängt sich sporadisch auf

Beitrag von TRex » 29.09.2022 12:42:41

ErreUno hat geschrieben: ↑ zum Beitrag ↑
29.09.2022 12:11:14
Was soll daran Kontra-produktiv oder sogar schädlich sein?
https://www.heise.de/security/meldung/S ... 77782.html

Ist sehr alt, das Potential existiert aber noch. Gab vor nicht allzu langer Zeit auch wieder nen Vorfall, den ich aber gerade nicht gefunden hab.
Jesus saves. Buddha does incremental backups.
Windows ist doof, Linux funktioniert nichtDon't break debian!Wie man widerspricht

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Debian-Server hängt sich sporadisch auf

Beitrag von MSfree » 29.09.2022 13:09:16

TRex hat geschrieben: ↑ zum Beitrag ↑
29.09.2022 12:42:41
https://www.heise.de/security/meldung/S ... 77782.html

Ist sehr alt, das Potential existiert aber noch. Gab vor nicht allzu langer Zeit auch wieder nen Vorfall, den ich aber gerade nicht gefunden hab.
https://www.heise.de/news/Virenscanner- ... 35809.html
https://www.heise.de/news/Schwachstelle ... 44399.html

Davon abgesehen läuft auf den DAU-Rechnern wohl Windows und somit sowieso mindestens der Windows Defender. Die Daten, die von den DAUs auf die Nextcloud geschrieben werden, sind also schon einmal gescant. Ein weiterer Scan mit Snakeoil unter Linux ist also praktisch wirkungslos und kostet nur unnötig Strom.

Abgeshen davon geht es ja wohl erstmal um die Hänger des Systems, die garantiert nicht von Sophos verursacht werden sondern von einer inkompatiblen oder defekten SSD. (Daß Sophos fehlschlägt , liegt an der klemmenden SSD)

Benutzeravatar
cosinus
Beiträge: 3410
Registriert: 08.02.2016 13:44:11
Lizenz eigener Beiträge: GNU General Public License
Wohnort: Bremen

Re: Debian-Server hängt sich sporadisch auf

Beitrag von cosinus » 29.09.2022 13:41:09

ErreUno hat geschrieben: ↑ zum Beitrag ↑
29.09.2022 12:11:14
Das leuchtet mir nicht ganz ein.
Was soll daran Kontra-produktiv oder sogar schädlich sein? (von der Systemlast abgesehen, die absolut vernachlässigbar ist) Kannst Du das näher ausführen?
Ich betreibe eine Nextcloud, auf der die ganze Familie Ihre Daten ablegt. Da sind ne menge DAUs dabei. Folglich möchte ich die maximale Sicherheit erreichen.
Gruß EU
Wenn du meinst, ein AV für Linux sei dringend erforderlich, hast du da prinzipiell was nicht verstanden. Dein Linuxserver muss doch nicht vor Windows-Schädlingen beschützt werden.
Und dass Virenscanner immer sich ins System einbuddeln und unglaubliche Fehler verursachen hast auch noch nie gehört? 8O
Zudem was MSfree schon schrieb: die Windows-Kisten werden ja eh schon vom Windows Defender überwacht.

ErreUno
Beiträge: 9
Registriert: 28.09.2022 10:34:41

Re: Debian-Server hängt sich sporadisch auf

Beitrag von ErreUno » 01.10.2022 15:52:50

Moin,
so habe jetzt mal alles auf die alte SSD übertragen und auch den Virenscanner deinstalliert ;-)
Mal sehen ob meine Issue jetzt weg ist.
EU
Eigenbau-Server (c't Bauvorschlag) mit Debian 11.5, NextCloud 24, NextCloudPI, Elasticsearch, Tasseract, ioBroker, PIHole

ErreUno
Beiträge: 9
Registriert: 28.09.2022 10:34:41

Gelöst: Debian-Server hängt sich sporadisch auf

Beitrag von ErreUno » 05.10.2022 08:28:09

Hallo zusammen,
am letzten Wochenende habe ich die SSD getauscht. Seitem sind keine Hänger mehr aufgetreten. In Anbetracht dessen, daß diese kürzlich täglich aufgetreten sind, gehe ich davon aus, dass es das war. Sehr ärgerlich.
Danke nochmal für die Tipps und Unterstützung.
EU
Eigenbau-Server (c't Bauvorschlag) mit Debian 11.5, NextCloud 24, NextCloudPI, Elasticsearch, Tasseract, ioBroker, PIHole

Benutzeravatar
OrangeJuice
Beiträge: 616
Registriert: 12.06.2017 15:12:40

Re: Debian-Server hängt sich sporadisch auf

Beitrag von OrangeJuice » 05.10.2022 09:43:06

Die SSD ist doch eine NVME und verwendet SLC-Caching und HMB- (Host Memory Buffer), laut mindfactory.de. Das heißt, sie hat keinen eigenen Arbeitsspeicher. Bei SLC-Caching wird so wie ich es verstanden habe, einfach ein Teil des Speichers genommen und als SLC-Cache verwendet. Bei HBM wird die Mapping-Tabelle in den Arbeitsspeicher geschrieben.

Welche SSD oder NVME wurde denn jetzt verbaut?

Antworten