[gelöst] rsync richtig einstellen

[TomL]

Moin @ all

Nach meinen zwar kurzen, aber bisher doch einigermaßen erfreulichen Erfahrungen mit meiner neuen SSD habe ich gerade eben die zweite bestellt, nun allerdings eine Crucial MX300 275GB für deutlich weniger Geld. Seit Wochen oder Monaten ärgert es mich nämlich, wenn ich auf die Server-Platten zugreife, dass die erst mal aufgeweckt werden müssen. Und da die Zugriffe ziemlich über den Tag verteilt sind, pennen sie halt immer wieder ein - was damals (und auch heute noch) aus Stromspargründen genau so erwünscht war. Aber es nervt, wenn man mal eben das Postfach öffnet, oder in seinen eigenen Arbeitsdateien rumwuselt. Die Platten sind wieder weg, wenn man nur mal zwischendurch im Web gelesen hat, so ca. nach 9 Minuten.

Zusammengenommen umfassen diese Daten, die ich als für schnellen Zugriff relevant betrachte und als aktuelle userbezogene "Bewegungsdaten" bezeichnen würde, so ca. um die 10 GB. Der Rest der eher "unbewegten" Daten in Terrabyte-Größe liegt eben auf den Platten und soll da auch bleiben. Und wenn man da mal 5 Sekunden warten muss, bis die Playlist in Deadbeef anläuft, ist mir das auch egal. Also, für diese 10 GB, auf die wohl eher oft zugegriffen wird, zumeist auch nur lesend, bin ich mit den 256 GB wohl ausreichend versorgt.

Ich möchte nur jetzt gerne folgendes tun. Die bisherige Struktur dieser wenigen Verzeichnisse und Daten soll 1:1 beibehalten werden, nur eben jetzt für den schnellen Zugriff auf SSD gespeichert, aber weiterhin zusätzlich auch wie gehabt auf der bestehende Platte. Aus Gründen der Datensicherheit sollen jetzt einmal täglich diese Dateien von SSD zur Platte gesynct werden, unidirektional, neue Files, geänderte Files, nicht mehr vorhandene auch auf der Platte löschen. So dass ich einmal täglich für diese Paar GB auf der HD eine Spiegelung habe. Einmal täglich ist allemal ausreichend.

Wie müsste ich einen solchen rsync starten, damit ich mir nix zerschiesse...?.... davor habe ich nämlich am meisten Respekt.... wegen der Fehlinterpretation eines rsync-Parameters vielleicht Schrott zu erzeugen.

Meine erste Überlegung wäre i.ü.S. ein solcher Aufruf:

Code: Alles auswählen

rsync --rlptgov --delete /media/SSD/Home /media/HD/Home >>DailyLog

Macht dieser Befehl das, was ich gerne möchte.... oder fehlt was oder ist etwas zuviel?

[schwedenmann]

Hallo


Afaik würden die Parameter -av ausreichen.

Testen kannst du alles per -avn (n steht für dry run) und wenn du

-avn --progress eingibst hast du auch eine Fortschrittsanzeige.

mfg
schwedenmann

[uname]

Neben stdout würde ich auch stderr in die Datei umleiten. Also am Ende folgendes mit Leerzeichen getrennt hinzufügen:

Code: Alles auswählen

2>&1

https://de.wikipedia.org/wiki/Standard-Datenstr%C3%B6me

Beachte auch dass nach dem Ausführen des Befehls die Daten wirklich synchron sind. Du kannst bei einem Fehler nicht mehr zurück. Du solltest daher zusätzlich echte Backups also Backup-Generationen anfertigen. Dein Verfahren ist so ähnlich wie ein RAID-System. Schützt vor einem Platten-Crash ... ist aber kein Backup. Huch: Gestern eine Datei gelöscht und der rsync-Prozess ist durchgelaufen. Werde den Text wohl neu schreiben müssen. Das Backup von gestern oder vorgestern existiert nicht mehr.

[MSfree]

Du solltest daher zusätzlich echte Backups also Backup-Generationen anfertigen.

Mit rsync
*duck*

[hikaru]

Afaik würden die Parameter -av ausreichen.

Was auch nicht überrascht, da -a äquivalent zu -rlptgoD ist, und -D hier keine Rolle spielen dürfte.

[uname]

@MSfree
Natürlich kann man für mehrere Backup-Generationen "rsync" verwenden. Am besten mit der Option "--link-dest" zur Verwendung von Hardlinks, um inkrementelle Backups zu erlauben.
Siehe Quellcode von https://wiki.ubuntuusers.de/Skripte/Backup_mit_RSYNC

Aber nach Backups wurde gar nicht gefragt. Ich gehe mal davon aus, dass es tägliche, wöchtliche und monatliche Backups in etlichen Generationen gibt.

[TomL]

Ich muss gestehen, dass ich rsync auf Grund völlig falscher Vorstellungen bislang konsequent gemieden habe. Ich habe immer gedacht, ich hätte das nicht im Griff, dass er mir möglicherweise unbemerkt beim bidirektionalen syncen meine "richtigen" Daten zerschiesst. Die Sorge geht ja auch schon aus meinem Eingangsposting hervovr.... Stichwort "unidirektional".

Und gestern war ich völlig überrascht, als es mir nicht gelungen ist, via rsync vom "Ziel" auf die "Quelle" zurückzuschreiben. Anscheinend ist es tatsächlich so, dass er wirklich nur von der Quelle aufs Ziel schreiben kann, aber eben nicht zurück. Und das Schreiben aufs Ziel kann man eben noch nach eigenen Bedürfnissen "gestalten".
Stimmt das so? Ist das ein richtiges Fazit, dass der sync immer nur aufs Ziel geht, aber nie gleichzeitig auch zurück auf die Quelle?

Ich habe mir gestern mit der Manpage die Parameter rausgefrickelt:

Code: Alles auswählen

    -a fasst folgende Optionen zusammen:
        -r  kopiert Unterverzeichnisse
        -l  kopiert symbolische Links
        -p  behält Rechte der Quelldatei bei
        -t  behält Zeiten der Quelldatei bei,
        -g  behält Gruppenrechte der Quelldatei bei
        -o  behält Besitzrechte der Quelldatei bei (nur root)
        -D  behält Gerätedateien der Quelldatei bei (nur root) 

        -u 	überspringt Dateien, die im Ziel neuer sind als in der Quelle       
        -v 	zeigt während des Synchronisierens alle ausgeführten Schritte an 
        -n 	simuliert nur was passieren würde ("dry run") 

und bin dann bei dieser Variante gelandet:

Code: Alles auswählen

rsync -rlptgouv --delete /media/SSD/Home /media/HD/Home

Das bereits vorhandene Backup-Prozedere ist davon unberührt und läuft sowieso. An dem Punkt ist meine Absicht, dass ich bei Störungen mit der SSD einfach nur den "bind" in der fstab des Servers wieder auf die HD einstelle, um binnen Sekunden wieder funktionsfähig zu sein. Das heisst, ein Comment-Tag # rein und eines raus, dann läufts wieder. Und schlimmstenfalls hätte ich dann den Stand 5 Uhr morgens, weil dann der letzte "rsync" diese betroffenen SSD->HD-Dirs gesynct hat.

[uname]

Für einen bidirektionalen Abgleich kannst du dir unison anschauen. Um bei rsync umgekehrt zu synchronisieren kannst du Quelle und Ziel tauschen.
Ich nutze immer den Parameter "-a". Leider weiß ich nicht wann "-D" mal relevant werden könnte. Liegt aber wohl daran welche Ordner man synchronisiert.

[TomL]

Einen bidirektionalen Sync mach ich immer mit viel "draufgucken" und mit von Fall zu Fall entscheiden .... und dann ausschließlich nur mit "FreeFileSync". Bei dem, was ich jetzt vorhabe, möchte ich auf keinen Fall einen bidirektionalen Sync... deswegen scheint "rsync" ja genau richtig für die Aufgabe zu sein... was mir aufgrund meiner falschen Vorstellungen überhaupt nicht bewusst war. Ich habe mir nun überlegt, dass ich den Job zwei, drei Tage von Hand starten werde, mit erst mal einem "-n" vorneweg und danach "in echt"....und dann, wenn das erfolgreich war, via Cron-Job und zwei, drei Tage das Log checken. *hmmm* Im Moment vermute ich, dass das ein vernüftiger Weg ist.

So müsste das dann aussehen.... bin mir nur gerade unsicher, ob die Umleitung so richtig ist:

Code: Alles auswählen

sync -rlptgouv --delete /media/SSD/Home /media/HD/Home 2>&1 >>DailyLog

[debianoli]

Schon mal so was wie backintime-qt4 genutzt?

[Dogge]

Für mich klingt es als wolltest du eigentlich sowas: http://www.admin-magazin.de/Das-Heft/20 ... enspeicher

Ich habe damit aber selbst keine Erfahrung und weiß nicht wie aktuell das noch ist. Aber vielleicht weiß hier jemand was dazu.