“rsync” Backup

[Sv3n]

Hallo, wahrscheinlich für euch Experten eine einfache Frage, aber für mich stellt sich das als "kleines Problem" da. Und zwar mache ich derzeitig meine Backups per rsync script.
Daten etc werden alle 6 Stunden gesichert, das reicht mir vollkommen aus.
Nun habe ich ja im Script ein Backup Pfad angegeben wo alles gespeichert wird, was auch super klappt. Mit dem Script und den Backups selber habe ich kein Problem.

Ich wollte nur heute mal ein bisschen aufräumen und ich habe mir mal den Backup Ordner zur Brust genommen, und darin sind ja nun weitere Ordner:
01, 02, 03 ... usw. dann habe ich noch einen last, soweit ist auch noch alles OK.

Jetzt kommt es, da ich ja mal aufräumen will wollte ich euch mal fragen welche Ordner ich löschen kann?
Ist es Ok wenn ich die Ordner 01 -> 21 lösche?
Ist es OK wenn ich den Ordner last lösche?

Das aktuelle Backup inkl. aller Dateien etc. befindet sich doch immer im Ordner Bsp. 22 oder sehe ich das Falsch, somit kann der Rest gelöscht werden oder?

[rendegast]

Verwendest Du ein backup bauend auf '--link-dest=....'?
Da das backup dann in jedem Ordner per hardlinks vollständig vorliegt solltest Du vorherige Ordner problemlos löschen können.

[Sv3n]

Verwendest Du ein backup bauend auf '--link-dest=....'?

Im Script steht

Code: Alles auswählen

LAST="last"; INC="--link-dest=$TARGET/$LAST"

genommen habe ich es mir von hier: https://wiki.ubuntuusers.de/Skripte/Bac ... Das-Skript

Also kann ich 01 -> 21 und last löschen?

[uname]

Das Script sieht 31 inkrementelle Sicherungen vor. Löschen kannst du viel. Aufgrund der Hardlinks wird es sich aber kaum lohnen. Ob du nun 31 Sicherungskopien hast oder z.B. nur 10 Kopien ist fast egal. Lass mal die Speicherbelegung im übergeordnenen Verzeichnis und jeweils in allen Unterverzeichnissen zählen. Die Deduplikation verhindert einen unnötigen Speicherverbrauch. Die 31 Versionen werden vielleicht 1,5 Mal soviel Speicher brauchen wie eine Sicherung. Je nach geänderte Datenmenge über den Monat kann das aber stark abweichen zwischen 1 (keine Änderung) und 31 (alles ändert sich immer). Alle mehrfach gesicherten Dateien existieren immer nur ein Mal.

Du kannst aber z.B. den Tag im Jahr verwenden und dann Modulo 10 (oder X) rechnen, wodurch du nur 10 oder X Sicherungsgenerationen hast. Das führt nur zum Jahreswechsel zu einigen Problemen also zu zu wenig Sicherheitskopien

Code: Alles auswählen

#!/bin/bash
day=$(date +%j)
echo $day
modulo=$((10#$day%10))
echo $modulo

Code: Alles auswählen

023
3

Der Teil "10#" ist im übrigen notwendig, da Bash aufgrund der führenden 0 bei 023 sonst vom Oktalsystem statt Dezimalsystem ausgeht. Dann wäre das Ergebnis 9, da 19 (2*8+3) modulo 10 nämlich 9 ist.

Ich rate aber von dieser Lösung ab. Bei 31 Sicherheitskopien kannst du weiter in die Vergangenheit zurückblicken. Falls du z.B. nur eine Backupgeneration willst kannst du es entsprechend fest im Script programmieren. Bei z.B. einem Backup kannst du aber einen zwei Tage später erkannten Fehler nicht mehr korrigieren.

Jetzt kommt es, da ich ja mal aufräumen will

Das Script räumt bei jedem Durchlauf selbst auf. Du musst nicht aufräumen. Am 01.02. wird z.B. die Version 01 (01.01.) aktualiert. Dadurch dauert das Backup auch entsprechend kürzer. Zudem sind es sowieso nur Hardlinks auf die anderen 30 Sicherungskopien.
Du solltest im übrigen weitere, unabhängige Backups auf alternativen Medien machen, sofern du einen Datenverlust erst nach mehr als einen Monat bemerkst oder es zu einem Totalverlust kommt.

[Sv3n]

Jetzt bin ich aber immer noch nicht schlauer welche Ordner ich löschen kann?

[uname]

Das genutzte Script ist ungeeignet. Es legt dir immer wieder neue Ordner an. Löschen kannst du alle Sicherheitskopien ... nur nicht die Neuste.

[Sv3n]

Danke dann werde ich das mal so machen.

Das genutzte Script ist ungeeignet.

Hättest du denn für mich eine andere Alternative?

[MegaV0lt]

Ich habe mir das rsync-Backup Skript von 321tux angepasst. Über die Zeit sind eine Menge Optionen dazu gekommen:
- eMail-Versand mit angehängten Logs
- Automatisches löschen von alte Sicherungen nach einstellbarer Zeit.
- Parallele rsync-Prozesse
- Snapshotsicherung

Habe es auf meinen beiden Linux-Geräten (VDR und Server) schon seit ca. 2012 am laufen und bin zufrieden.
Ein GIT habe ich auch aufgesetzt: http://j.mp/2deM7dk

[uname]

Eigentlich reicht bei nur einer Sicherheitskopie auch ein Einzeiler.

[Sv3n]

Ok. Ich muss aber auch noch was haben das ich zu einem entfernt Rechner sichern kann.

[uname]

Für Remote-Backup ist es natürlich auch nur eine Zeile. Interessant ist eigentlich nur Zeile 69 im Script:

Code: Alles auswählen

$RSYNC -e "$S" -avR "$SOURCE" "${RSYNCCONF[@]}" "$TOSSH:\"$TARGET\"$TODAY" $INC >> $LOG 2>&1 

Vieles davon braucht man nicht, sofern der Port nicht abweicht, die Konfiguration egal ist und man auf inkrementelle Backups verzichtet.
Sieht dann etwa so aus:

Code: Alles auswählen

rsync -av /pfad/quelle user@server:/pfad/ziel

Beachte die nicht vorhandenen oder vorhandenen Slashes am Ende von Quelle und Ziel.

[Sv3n]

OK das mit dem

Code: Alles auswählen

rsync -av /pfad/quelle user@server:/pfad/ziel

habe ich auch nun gewählt. Was mir noch ein bischen Kopfweh macht ist

Code: Alles auswählen

-av

da gibt es ja einen Haufen an Zeug.

[uname]

Code: Alles auswählen

man rsync

und v weglassen. Sollte dazu dienen damit du siehst was passiert. Du könntest noch den Parameter "--delete" nutzen, um gelöschte Daten auch Remote zu löschen. Auch solltest du sicherheitshalber weitere Kopien machen falls dein Backup mal fehlschlägt oder du mehrere Tage zurück musst. Inkrementelle Backups wären nicht schlecht.

[Sv3n]

Danke dir erst mal, auch wenn die Antwort spääät kommt.

Also kann ich es doch auch so machen, oder:
- damit alle Datein Ordner+Unterordner gesichert werden
- damit die doppelten Einträge gelöscht werden bzw. nicht die vorhandenen

Code: Alles auswählen

rsync --delete -avzr /pfad/quelle user@server:/pfad/ziel

Möchte lieber fragen bevor ich einen Riesen Fehler habe.

[TomL]

Code: Alles auswählen

rsync --delete -avzr /pfad/quelle user@server:/pfad/ziel

Im ü.S hat mich dieser Befehl gestern bald zur Verzweifelung gebracht. Bei mir sah der so aus:

Code: Alles auswählen

rsync -rlptgouv -n --delete /media/SSD/Mail        /media/HD_1/Mail

Hier im Beispiel also erst mal nur der "dry run". Ich hatte zuvor die Dateien einmal von Hand via TotalCommand rübercopiert. Und der Test sollte nur zeigen, dass rsync nichts tut. Danach wollte ich eine einzelne Datei verändern und im Ziel mit touch eine neue anlegen. Als Ergebnis hätte eine Datei kopiert werden müssen und die via touch angelegte hätte gelöscht werden müssen. Passiert ist aber was anders....

... rsync war der Meinung, dass es vollständig alle Files sichern muss. Nach mehreren Versuchen war ich völlig durcheinander und habe es ihn durchführen lassen, aber die manuell angelegte hat er einfach nicht bedacht. Obwohl alles komplett durchgerattert ist, war die geänderte Datei Im Ziel-Dir immer noch die alte. Wenn ich im Zieldir dann Files gelöscht habe, wurden die auch nicht neu erstellt. Ich bin bald durchgedreht, weil ich das überhaupt nicht mehr kapiert habe..... bis ich durch einen absolut zufälligen Zufall wirklich zufälligst mit einem Blick am Blickfeldrand durch die Augenwinkel festgestellt habe, was er gemacht hat.... mir ist nach 10-maligem Drübergucken auf der Ziel-Platte auf einmal doch ein Verzeichnis aufgefallen, was aber erst mal nur ein dünnes Fragezeichen im Kopp gemalt hat.... und zwar /Mail/Mail

rsync /media/SSD/Mail /media/HD_1/Mail synchronisiert /media/SSD/Mail mit /media/HD_1/Mail/Mail. Der zusätzlich Verzeichnisname ist mir in der Menge all dessen, was mit Mail zu tun hat, zunächst überhaupt nicht aufgefallen.

Erst die Änderung auf rsync /media/SSD/Mail /media/HD_1 funktionierte dann korrekt nach /media/HD_1/Mail.

Böse Falle

[Sv3n]

Ich bin jetzt so verblieben das ich es so löse:

Code: Alles auswählen

rsync -avR --delete /pfad/quelle user@server:/pfad/ziel

sollte jemand noch einen weitere Idee haben, kann er sich gerne melden.