Update - Restore - Strategieen

Smalltalk
Antworten
gugus
Beiträge: 376
Registriert: 04.09.2002 17:41:17
Wohnort: da wo ich zu Hause bin

Update - Restore - Strategieen

Beitrag von gugus » 03.12.2021 22:50:15

Servus
Ich möchte mal berichten welche Restore-Orgie :facepalm: ich diese Woche hinter mich gebracht habe. Aus einem kleinen Anlass musste ich eines meiner Backups für meinen Server in Anspruch nehmen. Ein normales Update ist fehlgeschlagen und der Server kam nicht mehr ans Netz. Alle Rettungsversuche schlugen fehl, die Ursache resp den wirklichen Fehler konnte ich nicht finden.

Restore 1:
Da habe ich mich entschlossen den Server aus dem letzten Voll-Backup wieder herzustellen. Ist ja an sich keine grosse Sache, lief auch gut. Jedoch musste ich feststellen dass der Fehler immer noch da war.

Restore 2:
Ein Restore aus einem früheren Backup löste das Problem auch nicht. Der Fehler wurde wahrscheinlich aus einem früheren Update in den Backups mitgeschleppt ohne dies zu erkennen. Hatte zwischen den Updates ja nie gebootet.

Restore 3:
Wie auch immer, ich habe den Server neu aufgesetzt, meine Konfigs zurückgespielt, und gut. Hat auch wenig Zeit in Anspruch genommen.

Neuinstallation ohne Restore:
Leider habe ich auch festgestellt dass es sich bei den Konfigs über die Zeit und Versionen auch einiges geändert hat was zur Folge hatte dass sich das System "seltsam" verhalten hat. Worauf ich mich daraufhin entschlossen habe den Server komplett neu aufzusetzen und neu zu konfigurieren.

Das Gute an dieser Geschichte ist dass der Server komplett neu und ohne Altlasten werkelt, das gibt ein gutes Gefühl ... :mrgreen:

Wie sieht es bei euch aus, macht ihr nach jedem Update ein Check der Konfigs auf Abhängigkeiten und ein Reboot ?

Gruss
gugus

DeletedUserReAsG

Re: Update - Restore - Strategieen

Beitrag von DeletedUserReAsG » 04.12.2021 06:37:50

gugus hat geschrieben: ↑ zum Beitrag ↑
03.12.2021 22:50:15
Wie sieht es bei euch aus, macht ihr nach jedem Update ein Check der Konfigs auf Abhängigkeiten und ein Reboot?
Nein. Wenn man nicht irgendwo was völlig Seltsames gemacht hat, dann hat man bei normalen Updates von Debian Stable diesbezüglich keine Überraschungen zu erwarten. Reboot gibt’s genau dann, wenn beim Update ein neuer Kernel oder eine neue systemd-Version mitkam.

Viel interessanter wäre der ominöse Fehler gewesen, der dich zum Neuaufsetzen „gezwungen“ hat – was war’s denn?

mcb

Re: Update - Restore - Strategieen

Beitrag von mcb » 04.12.2021 10:05:04

Ich finde timeshift für sowas ganz gelungen - ich behalte dann einen Snapshot (bei dem alles geht/ging). Debiantimeshift

Ja das stimmt mit dem Restore - guter Rat ist teuer wenn es mal klammt.

gugus
Beiträge: 376
Registriert: 04.09.2002 17:41:17
Wohnort: da wo ich zu Hause bin

Re: Update - Restore - Strategieen

Beitrag von gugus » 04.12.2021 10:44:49

Servus
@niemand, ich habe es nicht wirklich gesichert herausbekommen, meine aber dass dass es von den xen-tools die bridge war -> xenbr0 hat DNS nicht mehr gekannt und die IP Adresse konnte nur sporadisch angesprochen werden.
Es war der letzte stable Update auf bullseye mit dem Kernel 5.10. .. Bin jetzt wieder auf buster mit 4.19 und es funktioniert.

Da ich in Sachen Kernel nicht soo bewandert bin muss ich mich immer wieder einlesen, was aber kein Problem ist. Es ist halt so dass ich die Updates unregelmässig durchziehe. So lange alles gut läuft kümmere ich mich auch nicht weiter drum. Wenn es dann nach einem Update ein Problem gibt muss ich dann Zeit investieren. Ich hatte früher automatische Updates die aber auch nicht immer problemlos funktioniert haben.

Die Backups der Server und Raspi die ich im Einsatz habe laufen automatisiert nächtens mit rsync, läuft tadellos. Von daher habe ich auch kein grosses Problem wenn mal einer absäuft, ist halt nur Zeit ....

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Update - Restore - Strategieen

Beitrag von heisenberg » 05.12.2021 01:12:37

Wie sieht es bei euch aus, macht ihr nach jedem Update ein Check der Konfigs auf Abhängigkeiten und ein Reboot ?
Relevante Dienste überwache ich. Desweiteren gibt es auch regelmässige(idR wöchentliche/monatliche) reboots. Ganz genau aus dem Grund, den Du erlebt hast. Auch vielleicht nicht weiter wichtig empfundene Konfigurationsänderungen können unschöne Seiteneffekte haben. Wenn das länger vergangen ist, ist das längst vergessen. Manche solcher Fehler sind einfach zu finden. Aber ich habe auch schon gekotzt bei solchen Sachen.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

gugus
Beiträge: 376
Registriert: 04.09.2002 17:41:17
Wohnort: da wo ich zu Hause bin

Re: Update - Restore - Strategieen

Beitrag von gugus » 05.12.2021 14:52:39

Servus

Ja, ich denke dass ich wöchentliche reboots einbauen werde, das sollte die Verschleppung von Fehlern sicherlich verhindern. Backups laufen wie gesagt problemlos.

Die Überwachung der relevanten Systeme mache ich noch "von Hand" mit crontab und einem Script das mir dann ein Email schickt. Werde mir aber nochmal checkmk oder zabbix ansehen.

Bezüglich Fehler habe ich bis jetzt keinen Hinweis in irgendeiner Form gefunden. Wahrscheinlich bin ich einer der letzten Mohikaner der noch Xen und nicht Docker benutzt. :mrgreen:

Gruss

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Update - Restore - Strategieen

Beitrag von MSfree » 05.12.2021 16:46:33

gugus hat geschrieben: ↑ zum Beitrag ↑
05.12.2021 14:52:39
Ja, ich denke dass ich wöchentliche reboots einbauen werde, das sollte die Verschleppung von Fehlern sicherlich verhindern.
Debianreboot-notifier, dann weiß man, ob ein Reboot überhaupt nötig ist.

gugus
Beiträge: 376
Registriert: 04.09.2002 17:41:17
Wohnort: da wo ich zu Hause bin

Re: Update - Restore - Strategieen

Beitrag von gugus » 05.12.2021 20:36:40

jepp, eine gute Variante.

Grundsätzlich wird dieser via cronjob ausgelöst, jedenfalls gemäss Beschreibung in github. Könnte aber bei einem auto update im Nachgang aufgerufen werden. :THX:

Gruss

mcb

Re: Update - Restore - Strategieen

Beitrag von mcb » 05.12.2021 21:48:30

Verständnißfrage: Ist in der Regel nur nach einem Kernelupdate ein Reboot nötig. Wie sieht es mit Diensten aus?

gugus
Beiträge: 376
Registriert: 04.09.2002 17:41:17
Wohnort: da wo ich zu Hause bin

Re: Update - Restore - Strategieen

Beitrag von gugus » 05.12.2021 22:10:48

Das ist eine guteFrage, es gibt sicherlich Änderungen nur an konfigs die einen reboot erforderlich machen müssten.

Gemäss Bechreibung von reboot-notifier ist eine Variable im System dementsprechend gesetzt wenn ein reboot erforderlich ist, die Frage ist wer setzt diese Variable, wahrscheinlich wird sie im update package vom Betreuer gesetzt.

Code: Alles auswählen

reboot_file="/var/run/reboot-required"
reboot_packages_file="/var/run/reboot-required.pkgs"

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Update - Restore - Strategieen

Beitrag von MSfree » 05.12.2021 22:33:11

mcb hat geschrieben: ↑ zum Beitrag ↑
05.12.2021 21:48:30
Verständnißfrage: Ist in der Regel nur nach einem Kernelupdate ein Reboot nötig. Wie sieht es mit Diensten aus?
Dienste werden bei Upgrades neu gestartet. Wenn es z.B. ein Apache-Update gibt, wird Apache automatisch vom Paketmanager gestartet.

Reboots sind auf jeden Fall bei der Installation eines neues Kernels nötig, aber auch ein geflickter systemd bedingt in der Regel ein Reboot. Auch essentielle Bibliotheken, wie die libc, erfordern meist ein Reboot, weil praktisch alle laufenden Prozesse die Bibliothek geladen haben.

mcb

Re: Update - Restore - Strategieen

Beitrag von mcb » 06.12.2021 12:32:01

Jo Danke!

Antworten