Vollbackup mit Differentiellenbackup

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Antworten
WheezyNoob
Beiträge: 6
Registriert: 19.09.2016 11:59:45

Vollbackup mit Differentiellenbackup

Beitrag von WheezyNoob » 19.09.2016 12:08:04

Hey Leute,
einen Server ohne Backupsystem zu führen ist selbstverständlich das dümmste was man machen kann, der Datenverlust ist vorprogrammiert.

Ich habe einen Server der auf Debian Wheezy läuft und möchte nun einmal in der Woche ein Vollbackup meines Betriebsystems machen und täglich ein Differentiellesbackup zum Vollback machen.
Das Backup soll auf einen seperaten Backupserver geladen werden.
Aus verschiedenen Gründen möchte ich ein Vollbackup des Betriebssystem machen um keinen Datenverlust zu erleiden.

Mein Frage an euch ist nun, wie ich dieses am besten umsetzen kann, leider habe ich noch keine Erfahrungen mit Backupsystem unter Debian.

Mfg Marek S.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Vollbackup mit Differentiellenbackup

Beitrag von heisenberg » 19.09.2016 12:34:03

Hi Marek,

herzlich willkommen im deutschen Debianforum!

Hier mal ein paar Links zum einlesen, damit Du Dich mit der Thematik erst einmal etwas vertraut machen kannst:
Viele Grüsse,
heisenberg
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

WheezyNoob
Beiträge: 6
Registriert: 19.09.2016 11:59:45

Re: Vollbackup mit Differentiellenbackup

Beitrag von WheezyNoob » 19.09.2016 13:13:04

Vielen Dank für die Links,
am interresantesten hört sich RSYNC an, da das Backup auf eine externe Festplatte via FTP geschrieben werden soll.
Das Problem jedoch, auf meinem Server laufen auch MySql datenbanken welche ich sichern möchte, soweit ich es richtig verstanden habe kann man die Dateien der Mysql datenbank nicht so einfach wegspeichern.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Vollbackup mit Differentiellenbackup

Beitrag von heisenberg » 19.09.2016 13:21:14

Wie gesagt: Lese am besten erstmal für die Basics.

Danach kannst Du Dir als Backup dann ggf. Debianrsnapshot(wiki) und Debianautomysqlbackup anschauen.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: Vollbackup mit Differentiellenbackup

Beitrag von r4pt0r » 19.09.2016 15:04:12

Ich werfe einfach mal mein "alltime-favourite" in den Raum: AMANDA

Für einfache Setups in <5min Eingerichtet und trotzdem so modular und anpassbar, dass man auch große und komplexe Backupstrategien einfach verwirklichen kann. Da kein riesiger Agent mit DB-backend läuft (die ebenfalls gesichert werden muss...), sondern eigentlich nur Scripte von Cron losgetreten werden rennt das eingerichtet zuverlässig bis zum jüngsten Tag :wink:

Genutzt werden von Amanda praktisch nur Bordwerkzeuge: im einfachsten Fall tar und/oder dump. Natürlich lässt sich das beliebig erweitern (z.b. auch für LVM oder ZFS), es gibt aber kein "Amanda-Backupformat". Amanda ist im Grunde nur ein Wrapper um die Tools über eine einfache Konfiguration zusammenzukleben. Backups die von Amanda erstellt wurden, kann man also auch ohne Probleme manuell mit den Bordmitteln jedes linux/bsd/illumos/etc wiederherstellen und es wird auf den Clients auch kein spezieller Agent oder Client benötigt - nur ssh, dump und tar. Auch die Longterm-Backups von vor 10 Jahren lassen sich noch einlesen (dump und tar wohl noch deutlich länger...), was bei Speziallösungen und/oder Proprietären Formaten meist nicht der Fall ist. Auch das Speichermedium ist Amanda völlig egal - die Logik für die Zyklen basiert auf Tapes; ein Tape (vtape) kann aber von nem lokalen Verzeichnis oder Tape-Roboter über nen NFS-Share, S3 bucket bis zu tarsnap oder nem entfernten ZFS-Pool alles sein. Genutzt werden kann alles, was auch manuell am System möglich wäre.

Dank Verteilung der verschiedenen Backuplevel über den definierten Backupzyklus, wird die tägliche Gesamtgröße der Backups, und damit auch die Dauer, auch bei vielen Dateisystemen nach einer gewissen "Lernphase" sehr gut ausgemittelt und ist dadurch gut vorhersehbar. Keine Fullbackup-orgien am Wochenende mehr, die wegen langsamer Netzanbindung am Montag den Betrieb einbremsen oder die Platten unvorhergesehen volllaufen lassen. Hier laufen die nächtlichen Backups mittlerweile in ziemlich Konstanten 90min jede Nacht durch - statt bisher knapp 1h Mo-Sa + 6-8h am Sonntag....

Auch konsistente Datenbankbackups sind automatisiert möglich - einfach den dumptype definieren, ggf braucht man noch ein entsprechendes helperscript/-programm (z.b. ampgsql für postgresql) und evtl einen zusätzlichen user an der DB, der dumps erstellen darf. Je nach DB und Dateisystem gibt es verschiedene Möglichkeiten wie das Backup der Datenbank ablaufen kann. Z.B. mit ZFS wird die db nur aufs Dateisystem geflusht und ein snapshot erstellt - ist wesentlich schneller als ein kompletter dump der DB.

Auch sehr genial ist die Scripting API - hab damit zwar bisher nur mal kurz in Verbindung mit Ansible getestet, um von Testsystemen vor größeren Konfigurationsupdates oder anwenden neuer Rollen automatisiert backups zu erstellen. War auch recht unspektakulär - heißt: es lief einfach.

Die amanda wiki hat viele Beispielkonfigurationen für verschiedenste Anwendungsfälle: https://wiki.zmanda.com/index.php/Main_Page


Wer sich intensiver mit Backup/Recovery befassen will, dem kann ich "Backup & Recovery" von W. Curtis Preston wärmstens empfehlen:
http://shop.oreilly.com/product/9780596102463.do
Das ist ein kompletter Rundumschlag - von den grundsätzlichen Überlegungen wann, wie und wo man Backups erstellt, über umfangreiche Einführungen in alle Tools wie tar, dump, cpio, rsync etc und Lösungen wie Amanda oder Bacula sowie einzelne Proprietäre Lösungen. Verschiedene Clientsysteme (Linux, Windows, diverse UNIXe, Solaris...) werden einzeln behandelt, ebenso werden Datenbankbackups/-recovery ausführlich behandelt. Viele Bücher reden nur vom Backup und kratzen höchstens in nem Nebensatz das an, was im Ernstfall das wichtigste ist: Recovery. Dem Thema wird locker 1/3 des Buchs gewidmet bzw jedes Tool wird für beide Anwendungsfälle ausführlich behandelt. Wie gesagt: ein kompletter Rundumschlag.

DeletedUserReAsG

Re: Vollbackup mit Differentiellenbackup

Beitrag von DeletedUserReAsG » 19.09.2016 16:03:55

Man kann ’ne Wissenschaft draus machen, man kann aber auch, gerade bei nur einer Kiste, ein kleines Script mit rsync o.ä. zusammenbauen (oder ein Fertiges á la rdiff-backup nehmen) und seine Zeit wichtigeren Dingen widmen. Etwa ’nem Update des Servers, oder der Fortbildung bezüglich dessen Bedienung. Ein volles Backup des Systems würde ich eh nicht fahren, das ist Ressourcenverschwendung. Paketliste und /etc sichern, daraus ist die Kiste im Bedarfsfall genausoschnell wieder aufgesetzt, wie ein Backup zurückgespielt würde – bei einem Bruchteil der Zeit für die Sicherung und einem Bruchteil an Platzbedarf.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Vollbackup mit Differentiellenbackup

Beitrag von heisenberg » 19.09.2016 18:28:17

niemand hat geschrieben:Man kann ’ne Wissenschaft draus machen,...
Die meisten lernen die Wichtigkeit eines Backups erst nach dem ersten richtig schmerzhaften Datenverlust. Und nein: Man braucht für seine Homepage vom Dackelzüchterverein auch kein Bacula, Bareos oder eine sonstige komplexe Netzwerkbackuplösung. Vielleicht reicht auch ein einfaches tar und ein regelmaessiger ftp-upload. Doch für einen jeden Serverbetreiber, der sich mit dem Thema noch nicht befasst hat, kann ich es nur wärmstens empfehlen sich da anfangs sehr gewissenhaft mit zu beschäftigen.

Nicht dass man erst hinterher schlauer ist, wenn's dann heisst....
  • Ich habe mein Backup eingerichtet, aber die MySQL-Daten nur weg kopiert und die lassen sich nicht wieder einspielen....
  • Ich habe mein Backup eingerichtet, aber nach 2 Tagen hat es nicht mehr funktioniert und ich hab's nicht gemerkt (und ich habe seit 7 Jahren also kein Backup mehr)
  • Ich habe das Backup eingerichtet, aber die Daten sind leider Schrott...
  • 1000 andere Gründe, warum eine Wiedereinspielung nicht klappt....
Ich persönlich will mich darauf verlassen können, dass das Backup da ist und funktioniert, wenn ich es dann brauche. Dann kann ich auch mal entspannter mit Konfigurationen/Programmen/whatever rumspielen und riskieren das zu zerschiessen.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

DeletedUserReAsG

Re: Vollbackup mit Differentiellenbackup

Beitrag von DeletedUserReAsG » 19.09.2016 18:36:14

… und genau das geht umso einfacher, je weniger Zwischenschichten im Prozess sind und je direkter man nachschauen kann, was abläuft, bzw. vorhanden ist. Es braucht keine Wissenschaft um zu sagen: je komplexer, desto höher die Ausfallwahrscheinlichkeit – KISS

Wenn die Infrastruktur so komplex ist, dass man spezielle Backuplösungen zur Handhabung des Ganzen benötigt, sage ich nix dagegen. Aber ’ne fully bloated solution für eine Anfängerkiste? Hmm … nein.

WheezyNoob
Beiträge: 6
Registriert: 19.09.2016 11:59:45

Re: Vollbackup mit Differentiellenbackup

Beitrag von WheezyNoob » 22.09.2016 09:31:04

Viele Dank einmal für die vielen Antworten,
ich habe es nun eingesehen und werde mich drann machen ein Script zu schreiben welches über rsync meine Daten sichert.
Nun ist die Frage, welche Ordner müssen gesichert werden um alle Packete auf dem System zu erhalten?
Welche Ordner müssen gesichert werden um alle Usereinstellungen zu erhalten?

Folgende Ordner werde ich in mein rsync script aufnehmen:
- var/
- etc/
...? welche noch? :/

Um die Datenbanken zu sichern werde ich Heisenbergs Vorschlag von automysqlbackup (https://packages.debian.org/search?sear ... ysqlbackup) annehmen.

Was natürlich sehr wichtig ist, ist das man sein Backup auf einer anderen Maschine testet, um Datenmüll zu vermeiden.

Mfg marek s.

Lookbehind
Beiträge: 143
Registriert: 12.08.2011 18:09:13

Re: Vollbackup mit Differentiellenbackup

Beitrag von Lookbehind » 22.09.2016 09:54:34

Es lohnt sich sicher auch eine Liste der installierten Pakete zu sichern.
Die Nutzerdaten und benutzerspezifischen Einstellungen finden sich alle in /home. (Jedenfalls per Default)

Je nach dem für welche Wiederherstellungs-Szenarien du dich vorbereiten möchtest, und in wie weit das bei deinem Server überhaupt zum Tragen kommt, kann auch eine Kopie der Partitionstabelle nicht schaden.

Gruß

Look

WheezyNoob
Beiträge: 6
Registriert: 19.09.2016 11:59:45

Re: Vollbackup mit Differentiellenbackup

Beitrag von WheezyNoob » 22.09.2016 10:25:02

Die Festplatte habe ich nicht unterteilt, alles befindet sich auf einer Partition.
Ich möchte mich auf den Tag des jüngsten Gerichts vorbereiten.

Befindet sich nicht eine Liste der installierten Packete im var/dpkg/ Order? Oder habe ich das falsch verstanden? :)

Folgende Ordner werde ich in mein rsync script aufnehmen:
- var/
- etc/
- home/
...? welche noch? :/

Vielen dank für eure Hilfe, Mfg Marek S.

Lookbehind
Beiträge: 143
Registriert: 12.08.2011 18:09:13

Re: Vollbackup mit Differentiellenbackup

Beitrag von Lookbehind » 22.09.2016 16:56:26

WheezyNoob hat geschrieben:...
Befindet sich nicht eine Liste der installierten Packete im var/dpkg/ Order? Oder habe ich das falsch verstanden? :)
Prinzipiell schon. Die musst du dir daraus aber erstmal mühselig mit grep, cut, awk und sed zusammenbasteln, oder gleich händisch abschreiben. Was echt Arbeit ist.
Das anlegen der Liste wie es das Ubuntuusers-Wiki beschreibt lässt sich super automatisieren, und die Liste frisst nicht viel Brot (grob geschätzt 50-100kByte), macht einem im Falle des Falles aber das Leben enorm viel einfacher.
WheezyNoob hat geschrieben:...
Folgende Ordner werde ich in mein rsync script aufnehmen:
- var/
- etc/
- home/
...? welche noch? :/
...
Hast du irgendwas nach /usr/local oder nach /opt installiert? Wo du sonst noch Daten abgelegt hast, solltest du hoffentlich selbst am besten wissen.

Ich bin übrigens so dreist einfach das komplette System zu sichern. Also komplett / mit allen Unterordnern außer:
/tmp, /var/tmp, /proc, /sys, /media, /mnt, /dev, /run
Mir ist durchaus bewusst, dass sich das meiste aus /bin, /boot, /usr und wie sie nicht alle heißen auch ohne problemlos wieder beschaffen lässt. Aber gemessen an der Menge der Nutz-Daten, die ich definitiv sichern muss, brauchen die System-Daten so gut wie keinen Platz. Besser haben und nicht brauchen, als anders rum.
Das muss aber nicht auf jeden zutreffen.

Gruß

Look

DeletedUserReAsG

Re: Vollbackup mit Differentiellenbackup

Beitrag von DeletedUserReAsG » 22.09.2016 17:11:08

Was natürlich sehr wichtig ist, ist das man sein Backup auf einer anderen Maschine testet, um Datenmüll zu vermeiden.
Du meinst das Restore? Eine ausreichend große leere Datei erstellen, ein FS da reinschreiben, das Dingens mounten und das Backup dorthinein zurückzuspielen versuchen. Am Ende die Datei aushängen, löschen → kein Müll.

Lookbehind
Beiträge: 143
Registriert: 12.08.2011 18:09:13

Re: Vollbackup mit Differentiellenbackup

Beitrag von Lookbehind » 22.09.2016 17:32:16

niemand hat geschrieben:
Was natürlich sehr wichtig ist, ist das man sein Backup auf einer anderen Maschine testet, um Datenmüll zu vermeiden.
Du meinst das Restore? Eine ausreichend große leere Datei erstellen, ein FS da reinschreiben, das Dingens mounten und das Backup dorthinein zurückzuspielen versuchen. Am Ende die Datei aushängen, löschen → kein Müll.
Ich leg dafür immer ne VM an. Dann kann ich anschließend testen ob nicht bloß alle Dateien da sind, sondern das System auch wirklich funktioniert. Lässt sich natürlich auch mit nem anderen Rechner machen, statt na VM.

Ach ja, das /etc Verzeichnis bitte nicht blind zurück sichern. Nach einer Neuinstallation haben sich gegebenenfalls mal einige Parameter geändert. Die fstab ist da ein beliebter Stolperstein.

Schroeffu
Beiträge: 13
Registriert: 16.04.2011 12:52:57

Re: Vollbackup mit Differentiellenbackup

Beitrag von Schroeffu » 26.09.2016 11:57:28

Ich möchte dir duply/duplicity ans Herz legen. Das ist von der Handhabung fast genauso gut wie ein NetBackup oder ähnliche "professionelle Backup-Tools".

- Duply verschlüsselt die Backups mit GPG
- Duply erstellt Full- und Increment Backups
- Die Anzahl der Full-Backups werden in der /conf-Datei festgelegt. Mindestens 2 sollten es sein.
- Einzelne Ordner können vom nächtlichen Backup ausgeklammert werden. (touch .duplicity-ignore, Feature vorher in /conf aktivieren)
- Die Backups können mit fast unzähligen Protokollen bzw. Diensten weggespeichert werden: SSH/NFS/CIFS/FTP(s)/file(local)/googledocs,megaupload,RSYNC,dropbox oder auf S3 von Amazon.

Die Handhabung ist extrem einfach, hier ein paar Beispiele:

- Backup Kommando: duply mybackup backup
- Backup Status: duply mybackup status
- Full Restore in speziellen Ordner: duply mybackup restore /tmp/full_restore
- Restore-Kommando, eine einzige Datei von vor 7 Tagen holen und anderswo ablegen: duply mybackup fetch etc/passwd /tmp/passwd.recover-7tagealt 7D

Um auch Mysql-Datenbanken als Dump zu backuppen, reicht eigentlich auf Debian die Installation von apt install automysqlbackup, das generiert dir täglich einen mysqldump in /var/lib/automysqlbackup aller Datenbanken, die existieren.

Das Wichtigste bei Duply ist Wegspeichern der GPG-Keys, denn sonst lässt sich bei einem Verlust der Server-Festplatte das Backup nicht mehr entschlüsseln. Also, den ordner /root/.duply/ am Besten gleich vollständig sicher wegspeichern.
Noch ein Tipp: Der Pfad zur Datei im Backup darf kein beginnendes Slash / haben, wie im Restore-Beispiel "etc/passwd" nicht "/etc/passwd" sonst erscheint "kein Backup gefunden".

Duply hat meiner Meinug nach nur Nachteile in der Geschwindigkeit:
- Ein Restore kann u.U. lange dauern. Einzelne Dateien restoren bei letztem Full-Backup 5-20 Tage kann 2-10 Minuten dauern.
- Full Restore dauert auch entsprechend lange.
- Ein Full-Backup auf FTP bei 500GB kann u.U. viele Stunden dauern. Da dies ein nächtlicher Cronjob erledigt ist es aber eigentlich "egal".

Trotz der fehlenden Geschwindigkeit ist duply als File-Based-Backup ein geniales Tool, kann ich auch nach 4 Jahren Nutzung nur empfehlen.

Antworten