Update - Restore - Strategieen
Update - Restore - Strategieen
Servus
Ich möchte mal berichten welche Restore-Orgie ich diese Woche hinter mich gebracht habe. Aus einem kleinen Anlass musste ich eines meiner Backups für meinen Server in Anspruch nehmen. Ein normales Update ist fehlgeschlagen und der Server kam nicht mehr ans Netz. Alle Rettungsversuche schlugen fehl, die Ursache resp den wirklichen Fehler konnte ich nicht finden.
Restore 1:
Da habe ich mich entschlossen den Server aus dem letzten Voll-Backup wieder herzustellen. Ist ja an sich keine grosse Sache, lief auch gut. Jedoch musste ich feststellen dass der Fehler immer noch da war.
Restore 2:
Ein Restore aus einem früheren Backup löste das Problem auch nicht. Der Fehler wurde wahrscheinlich aus einem früheren Update in den Backups mitgeschleppt ohne dies zu erkennen. Hatte zwischen den Updates ja nie gebootet.
Restore 3:
Wie auch immer, ich habe den Server neu aufgesetzt, meine Konfigs zurückgespielt, und gut. Hat auch wenig Zeit in Anspruch genommen.
Neuinstallation ohne Restore:
Leider habe ich auch festgestellt dass es sich bei den Konfigs über die Zeit und Versionen auch einiges geändert hat was zur Folge hatte dass sich das System "seltsam" verhalten hat. Worauf ich mich daraufhin entschlossen habe den Server komplett neu aufzusetzen und neu zu konfigurieren.
Das Gute an dieser Geschichte ist dass der Server komplett neu und ohne Altlasten werkelt, das gibt ein gutes Gefühl ...
Wie sieht es bei euch aus, macht ihr nach jedem Update ein Check der Konfigs auf Abhängigkeiten und ein Reboot ?
Gruss
gugus
Ich möchte mal berichten welche Restore-Orgie ich diese Woche hinter mich gebracht habe. Aus einem kleinen Anlass musste ich eines meiner Backups für meinen Server in Anspruch nehmen. Ein normales Update ist fehlgeschlagen und der Server kam nicht mehr ans Netz. Alle Rettungsversuche schlugen fehl, die Ursache resp den wirklichen Fehler konnte ich nicht finden.
Restore 1:
Da habe ich mich entschlossen den Server aus dem letzten Voll-Backup wieder herzustellen. Ist ja an sich keine grosse Sache, lief auch gut. Jedoch musste ich feststellen dass der Fehler immer noch da war.
Restore 2:
Ein Restore aus einem früheren Backup löste das Problem auch nicht. Der Fehler wurde wahrscheinlich aus einem früheren Update in den Backups mitgeschleppt ohne dies zu erkennen. Hatte zwischen den Updates ja nie gebootet.
Restore 3:
Wie auch immer, ich habe den Server neu aufgesetzt, meine Konfigs zurückgespielt, und gut. Hat auch wenig Zeit in Anspruch genommen.
Neuinstallation ohne Restore:
Leider habe ich auch festgestellt dass es sich bei den Konfigs über die Zeit und Versionen auch einiges geändert hat was zur Folge hatte dass sich das System "seltsam" verhalten hat. Worauf ich mich daraufhin entschlossen habe den Server komplett neu aufzusetzen und neu zu konfigurieren.
Das Gute an dieser Geschichte ist dass der Server komplett neu und ohne Altlasten werkelt, das gibt ein gutes Gefühl ...
Wie sieht es bei euch aus, macht ihr nach jedem Update ein Check der Konfigs auf Abhängigkeiten und ein Reboot ?
Gruss
gugus
Re: Update - Restore - Strategieen
Nein. Wenn man nicht irgendwo was völlig Seltsames gemacht hat, dann hat man bei normalen Updates von Debian Stable diesbezüglich keine Überraschungen zu erwarten. Reboot gibt’s genau dann, wenn beim Update ein neuer Kernel oder eine neue systemd-Version mitkam.gugus hat geschrieben:03.12.2021 22:50:15Wie sieht es bei euch aus, macht ihr nach jedem Update ein Check der Konfigs auf Abhängigkeiten und ein Reboot?
Viel interessanter wäre der ominöse Fehler gewesen, der dich zum Neuaufsetzen „gezwungen“ hat – was war’s denn?
Re: Update - Restore - Strategieen
Ich finde timeshift für sowas ganz gelungen - ich behalte dann einen Snapshot (bei dem alles geht/ging). timeshift
Ja das stimmt mit dem Restore - guter Rat ist teuer wenn es mal klammt.
Ja das stimmt mit dem Restore - guter Rat ist teuer wenn es mal klammt.
Re: Update - Restore - Strategieen
Servus
@niemand, ich habe es nicht wirklich gesichert herausbekommen, meine aber dass dass es von den xen-tools die bridge war -> xenbr0 hat DNS nicht mehr gekannt und die IP Adresse konnte nur sporadisch angesprochen werden.
Es war der letzte stable Update auf bullseye mit dem Kernel 5.10. .. Bin jetzt wieder auf buster mit 4.19 und es funktioniert.
Da ich in Sachen Kernel nicht soo bewandert bin muss ich mich immer wieder einlesen, was aber kein Problem ist. Es ist halt so dass ich die Updates unregelmässig durchziehe. So lange alles gut läuft kümmere ich mich auch nicht weiter drum. Wenn es dann nach einem Update ein Problem gibt muss ich dann Zeit investieren. Ich hatte früher automatische Updates die aber auch nicht immer problemlos funktioniert haben.
Die Backups der Server und Raspi die ich im Einsatz habe laufen automatisiert nächtens mit rsync, läuft tadellos. Von daher habe ich auch kein grosses Problem wenn mal einer absäuft, ist halt nur Zeit ....
@niemand, ich habe es nicht wirklich gesichert herausbekommen, meine aber dass dass es von den xen-tools die bridge war -> xenbr0 hat DNS nicht mehr gekannt und die IP Adresse konnte nur sporadisch angesprochen werden.
Es war der letzte stable Update auf bullseye mit dem Kernel 5.10. .. Bin jetzt wieder auf buster mit 4.19 und es funktioniert.
Da ich in Sachen Kernel nicht soo bewandert bin muss ich mich immer wieder einlesen, was aber kein Problem ist. Es ist halt so dass ich die Updates unregelmässig durchziehe. So lange alles gut läuft kümmere ich mich auch nicht weiter drum. Wenn es dann nach einem Update ein Problem gibt muss ich dann Zeit investieren. Ich hatte früher automatische Updates die aber auch nicht immer problemlos funktioniert haben.
Die Backups der Server und Raspi die ich im Einsatz habe laufen automatisiert nächtens mit rsync, läuft tadellos. Von daher habe ich auch kein grosses Problem wenn mal einer absäuft, ist halt nur Zeit ....
- heisenberg
- Beiträge: 3473
- Registriert: 04.06.2015 01:17:27
- Lizenz eigener Beiträge: MIT Lizenz
Re: Update - Restore - Strategieen
Relevante Dienste überwache ich. Desweiteren gibt es auch regelmässige(idR wöchentliche/monatliche) reboots. Ganz genau aus dem Grund, den Du erlebt hast. Auch vielleicht nicht weiter wichtig empfundene Konfigurationsänderungen können unschöne Seiteneffekte haben. Wenn das länger vergangen ist, ist das längst vergessen. Manche solcher Fehler sind einfach zu finden. Aber ich habe auch schon gekotzt bei solchen Sachen.Wie sieht es bei euch aus, macht ihr nach jedem Update ein Check der Konfigs auf Abhängigkeiten und ein Reboot ?
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.
Re: Update - Restore - Strategieen
Servus
Ja, ich denke dass ich wöchentliche reboots einbauen werde, das sollte die Verschleppung von Fehlern sicherlich verhindern. Backups laufen wie gesagt problemlos.
Die Überwachung der relevanten Systeme mache ich noch "von Hand" mit crontab und einem Script das mir dann ein Email schickt. Werde mir aber nochmal checkmk oder zabbix ansehen.
Bezüglich Fehler habe ich bis jetzt keinen Hinweis in irgendeiner Form gefunden. Wahrscheinlich bin ich einer der letzten Mohikaner der noch Xen und nicht Docker benutzt.
Gruss
Ja, ich denke dass ich wöchentliche reboots einbauen werde, das sollte die Verschleppung von Fehlern sicherlich verhindern. Backups laufen wie gesagt problemlos.
Die Überwachung der relevanten Systeme mache ich noch "von Hand" mit crontab und einem Script das mir dann ein Email schickt. Werde mir aber nochmal checkmk oder zabbix ansehen.
Bezüglich Fehler habe ich bis jetzt keinen Hinweis in irgendeiner Form gefunden. Wahrscheinlich bin ich einer der letzten Mohikaner der noch Xen und nicht Docker benutzt.
Gruss
Re: Update - Restore - Strategieen
reboot-notifier, dann weiß man, ob ein Reboot überhaupt nötig ist.gugus hat geschrieben:05.12.2021 14:52:39Ja, ich denke dass ich wöchentliche reboots einbauen werde, das sollte die Verschleppung von Fehlern sicherlich verhindern.
Re: Update - Restore - Strategieen
jepp, eine gute Variante.
Grundsätzlich wird dieser via cronjob ausgelöst, jedenfalls gemäss Beschreibung in github. Könnte aber bei einem auto update im Nachgang aufgerufen werden.
Gruss
Grundsätzlich wird dieser via cronjob ausgelöst, jedenfalls gemäss Beschreibung in github. Könnte aber bei einem auto update im Nachgang aufgerufen werden.
Gruss
Re: Update - Restore - Strategieen
Verständnißfrage: Ist in der Regel nur nach einem Kernelupdate ein Reboot nötig. Wie sieht es mit Diensten aus?
Re: Update - Restore - Strategieen
Das ist eine guteFrage, es gibt sicherlich Änderungen nur an konfigs die einen reboot erforderlich machen müssten.
Gemäss Bechreibung von reboot-notifier ist eine Variable im System dementsprechend gesetzt wenn ein reboot erforderlich ist, die Frage ist wer setzt diese Variable, wahrscheinlich wird sie im update package vom Betreuer gesetzt.
Gemäss Bechreibung von reboot-notifier ist eine Variable im System dementsprechend gesetzt wenn ein reboot erforderlich ist, die Frage ist wer setzt diese Variable, wahrscheinlich wird sie im update package vom Betreuer gesetzt.
Code: Alles auswählen
reboot_file="/var/run/reboot-required"
reboot_packages_file="/var/run/reboot-required.pkgs"
Re: Update - Restore - Strategieen
Dienste werden bei Upgrades neu gestartet. Wenn es z.B. ein Apache-Update gibt, wird Apache automatisch vom Paketmanager gestartet.mcb hat geschrieben:05.12.2021 21:48:30Verständnißfrage: Ist in der Regel nur nach einem Kernelupdate ein Reboot nötig. Wie sieht es mit Diensten aus?
Reboots sind auf jeden Fall bei der Installation eines neues Kernels nötig, aber auch ein geflickter systemd bedingt in der Regel ein Reboot. Auch essentielle Bibliotheken, wie die libc, erfordern meist ein Reboot, weil praktisch alle laufenden Prozesse die Bibliothek geladen haben.