Problem mit rsync

Du hast Probleme mit Deinem eMail-Programm, Webbrowser oder Textprogramm? Dein Lieblingsprogramm streikt?
Antworten
Benutzeravatar
Yadgar
Beiträge: 954
Registriert: 22.11.2010 22:11:08
Wohnort: Qal'a-ye Nil, Bergisch-Afghanistan (linksrheinische Exklave)
Kontaktdaten:

Problem mit rsync

Beitrag von Yadgar » 18.12.2018 09:30:15

Hi(gh)!

Was muss ich an diesem Script:

Code: Alles auswählen

rsync -v -r -t -a -u --delete /home/* /media/yadgar/DATEN_BACKUP
ändern, damit auch nach einem Neustart des Systems nur die seit dem letzten Backup veränderten bzw. (--delete) gelöschten Dateien berücksichtigt werden und nicht etwa der gesamte Inhalt von /home (zur Zeit rund 2,3 Millionen Dateien - das dauert üblicherweise ca. 25 Stunden!) kopiert wird?
If operating systems were countries, Linux would be pre-1978 Afghanistan: an all-time favourite among alternative globetrotters, but shunned by mainstream tourists because of its lack of fancy beaches, shortage of alcoholic beverages and its fondness of beards...

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Problem mit rsync

Beitrag von heisenberg » 18.12.2018 09:51:23

Der Befehl ist dafür korrekt. Bedenke, dass zwar aber nicht alle Dateien tatsächlich kopiert werden, aber sich rsync tatsächlich das Änderungsdatum jeder einzelnen Datei (Quelle+Ziel) anschauen muß, um zu entscheiden, ob die Datei geändert wurde. Und auch das dauert seine Zeit.

Mögliche Lösung wäre, dass Du einen Teil der Dateien, die Du vielleicht nicht so häufig brauchst, in ein tar packst. Da müssen dann dementsprechend weniger Dateien untersucht werden. und dass ganze geht trotz gleicher Speichermenge wesentlich schneller.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

uname
Beiträge: 12046
Registriert: 03.06.2008 09:33:02

Re: Problem mit rsync

Beitrag von uname » 18.12.2018 10:54:12

25 Stunden für den Vergleich der Zeitstempel von 2.3 Millionnen Dateien ist schon sehr lang. Ich befürchte es wird immer eine Kopie erstellt oder die Ausgabe dauert so lange ;-)

Zum Befehl:

Code: Alles auswählen

 -a, --archive               archive mode; equals -rlptgoD (no -H,-A,-X)
-t und -r brauchst du nicht angeben
-u verwende ich bei Backups nicht (ich weiß nicht ob das kritisch sein kann, wenn ein Datum/Uhrzeit-Fehler vorliegt, z. B. Quelle zurückgesetzt auf 01.01.1970)

Führe den Befehl direkt zwei Mal hintereinander aus und poste die jeweiligen Zeiten.
Auch solltest du die Option "-v" weglassen bzw. in eine Datei umleiten, da die Ausgabe evtl. länger dauert als der Vergleich ;-)

Code: Alles auswählen

rsync -av --delete /home/* /media/yadgar/DATEN_BACKUP > log.txt
--delete würde ich aus Sicherheitsgründen auch weglassen, es sei denn du hast mehrere Backup-Generationen (Parameter --link-dest).

Benutzeravatar
Yadgar
Beiträge: 954
Registriert: 22.11.2010 22:11:08
Wohnort: Qal'a-ye Nil, Bergisch-Afghanistan (linksrheinische Exklave)
Kontaktdaten:

Re: Problem mit rsync

Beitrag von Yadgar » 18.12.2018 11:14:53

Hi(gh)!
heisenberg hat geschrieben: ↑ zum Beitrag ↑
18.12.2018 09:51:23
Der Befehl ist dafür korrekt. Bedenke, dass zwar aber nicht alle Dateien tatsächlich kopiert werden, aber sich rsync tatsächlich das Änderungsdatum jeder einzelnen Datei (Quelle+Ziel) anschauen muß, um zu entscheiden, ob die Datei geändert wurde. Und auch das dauert seine Zeit.

Mögliche Lösung wäre, dass Du einen Teil der Dateien, die Du vielleicht nicht so häufig brauchst, in ein tar packst. Da müssen dann dementsprechend weniger Dateien untersucht werden. und dass ganze geht trotz gleicher Speichermenge wesentlich schneller.
Jetzt läuft rsync seit 73 Minuten, und es ist erst einen Bruchteil der Dateien durchgegangen... und vom unterschiedlichen Abarbeitungstempo her (MP3-Files z. B. benötigen deutlich mehr Zeit als einfache HTML-Dateien) muss ich davon ausgehen, dass tatsächlich kopiert wird! Was soll das?!?

tar ist keine Option für mich, da rund die Hälfte des Gesamtdateiaufkommens von meinem aktuellen Videobearbeitungsprojekt herrührt - bei 7 ¼ Stunden Gesamtlänge kommen etliche hunderttausend Einzelframes zustande...
If operating systems were countries, Linux would be pre-1978 Afghanistan: an all-time favourite among alternative globetrotters, but shunned by mainstream tourists because of its lack of fancy beaches, shortage of alcoholic beverages and its fondness of beards...

Benutzeravatar
Yadgar
Beiträge: 954
Registriert: 22.11.2010 22:11:08
Wohnort: Qal'a-ye Nil, Bergisch-Afghanistan (linksrheinische Exklave)
Kontaktdaten:

Re: Problem mit rsync

Beitrag von Yadgar » 18.12.2018 11:25:39

Hi(gh)!
uname hat geschrieben: ↑ zum Beitrag ↑
18.12.2018 10:54:12
25 Stunden für den Vergleich der Zeitstempel von 2.3 Millionnen Dateien ist schon sehr lang. Ich befürchte es wird immer eine Kopie erstellt
Das ist wohl der Fall, andernfalls würde das Bearbeiten von HTML- und z. B. MP3-Files nicht so krass unterschiedlich lang dauern... daher frage ich ja: was soll der Quatsch? Vorgestern hatte ich nach einem erstmaligen 25-Stunden-Monsterbackup rsync testhalber nocheinmal aufgerufen - und da wurden dann auch nur die neu hinzugekommenen bzw. gelöschten Dateien aktualisiert, eine Sache von wenigen Minuten. Dann fuhr ich den Rechner herunter (ich muss Strom sparen, da arm... und öko sowieso!), startete anderntags neu - und schon meinte rsync wieder, alles komplett kopieren zu müssen! Warum???
uname hat geschrieben: ↑ zum Beitrag ↑
18.12.2018 10:54:12
Zum Befehl:

Code: Alles auswählen

 -a, --archive               archive mode; equals -rlptgoD (no -H,-A,-X)
-t und -r brauchst du nicht angeben
-u verwende ich bei Backups nicht (ich weiß nicht ob das kritisch sein kann, wenn ein Datum/Uhrzeit-Fehler vorliegt, z. B. Quelle zurückgesetzt auf 01.01.1970)

Führe den Befehl direkt zwei Mal hintereinander aus und poste die jeweiligen Zeiten.
Auch solltest du die Option "-v" weglassen bzw. in eine Datei umleiten, da die Ausgabe evtl. länger dauert als der Vergleich ;-)

Code: Alles auswählen

rsync -av --delete /home/* /media/yadgar/DATEN_BACKUP > log.txt
--delete würde ich aus Sicherheitsgründen auch weglassen, es sei denn du hast mehrere Backup-Generationen (Parameter --link-dest).
--delete kann ich wegen meines aktuell laufenden Bergensbanen-Videoprojekts nicht weglassen, da ich die Einzelframes mangels Platz auf der internen Platte (leider nur armselige zwei Terabytechen...) nur in Hunderttausender-Tranchen bearbeiten kann, die jedes Mal gelöscht werden - andernfalls wären sowohl die interne als auch auch die auch nur zwei Billiönchen Byte große externe Backup-Platte in kürzester Zeit voll...
If operating systems were countries, Linux would be pre-1978 Afghanistan: an all-time favourite among alternative globetrotters, but shunned by mainstream tourists because of its lack of fancy beaches, shortage of alcoholic beverages and its fondness of beards...

uname
Beiträge: 12046
Registriert: 03.06.2008 09:33:02

Re: Problem mit rsync

Beitrag von uname » 18.12.2018 12:29:05

Schau dir von ein paar Beispieldateien folgendes an:

Code: Alles auswählen

stat </media/yadgar/DATEN_BACKUP/pfad/zur/datei>
Wenn die Datei nicht neu kopiert wird (zwischen zwei Testdurchläufen), sollte sich die "Inode" nicht verändern.
Zudem gibt "Links" die Anzahl der Hardlinks an (nur relevant bei inkrementellen Backups), bei dir wahrscheinlich "1".

Benutzeravatar
Yadgar
Beiträge: 954
Registriert: 22.11.2010 22:11:08
Wohnort: Qal'a-ye Nil, Bergisch-Afghanistan (linksrheinische Exklave)
Kontaktdaten:

Re: Problem mit rsync

Beitrag von Yadgar » 18.12.2018 13:05:31

Hi(gh)!

Es lag wohl daran, dass ich vergessen hatte, vor dem Backup die externe Platte zu mounten - da hat rsynch dann kurzerhand ein neues Verzeichnis "DATEN_BACKUP" angelegt (natürlich auf der internen Platte) und das dann vollgeknattert... das habe jetzt korrigiert und den Backup nochmal neu gestartet (mit vorher gemounteter externer Platte!), jetzt läuft es wie erwartet!
If operating systems were countries, Linux would be pre-1978 Afghanistan: an all-time favourite among alternative globetrotters, but shunned by mainstream tourists because of its lack of fancy beaches, shortage of alcoholic beverages and its fondness of beards...

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Problem mit rsync

Beitrag von heisenberg » 18.12.2018 13:28:35

Hallo Yadgar,
Yadgar hat geschrieben:tar ist keine Option für mich, da rund die Hälfte des Gesamtdateiaufkommens von meinem aktuellen Videobearbeitungsprojekt herrührt - bei 7 ¼ Stunden Gesamtlänge kommen etliche hunderttausend Einzelframes zustande...
Ich verstehe den Bezug zu meiner Aussage mit tar nicht.

Wenn die Videodateien sehr klein sind und diese lediglich archiviert werden sollen, d. h. nicht mehr häufig in Benutzung, dann bedeutet das für mich, dass das die tar-Variante eine sehr gute Wahl wäre, in dem Sinne, wie ich sie empfohlen habe.

Gegenanzeige: Wenn die Videodateien sehr groß sind, dann ist eine Zusammenfassung mit tar sowieso nicht sinnvoll. Die Zeit geht bei vielen (tausend, millionen) ,vermutlich eher sehr kleinen, Dateien drauf. Und ansonsten, wenn die Dateien noch in Benutzung sind, dann ist es auch eher nervig, die dann ständig ein- und auspacken zu müssen.

Aber Du hast Dein Problem ja scheinbar gelöst. Insofern habe ich da jetzt auch nichts mehr weiter zu diskutieren.
Yadgar hat geschrieben:Jetzt läuft rsync seit 73 Minuten, und es ist erst einen Bruchteil der Dateien durchgegangen... , muss ich davon ausgehen, dass tatsächlich kopiert wird! Was soll das?!?
Hier ist also die Ursache - und daß meine ich jetzt nicht bösartig, arrogant oder abwertend, sondern schlicht als Realität:

zBuS. Das Problem existiert zwischen Bildschirm und Stuhl.

Ich spreche aus Erfahrung, denn ich mache regelmässig Fehler und es gibt auch schon Mal welche, die mich Stunden kosten. Mein Wunsch: Bevor Du hier im Forum Deinen Unmut einfach so reinkippst(was ich hier leider auch schon mal so getan habe)...
  1. Entspanne Dich, Atme tief durch, mach eine Pause, schalte den Computer mal eine Weile aus, geh spazieren
  2. Wiederhole den betreffenden Vorang, langsam, in Ruhe und gründlich
  3. Prüfe jeden einzelnen Schritt, den Du tust.
  4. Beschreibe die einzelnen Schritte sehr exakt, beschreibe das Problem und die Erwartung
Meine persönliche Erfahrung ist, dass ich bei Problemen, bei denen ich meine, ohne Hilfe nicht weiter zu kommen, oft spätestens bei Schritt 4 die Lösung selbst sehe.

Auf der anderen Seite: Wenn ich jemanden erlebe, der sich auskotzt, dann sehe ich keine Lösungswahrscheinlichkeit bzw. Lösungskapazität und ziehe mich aus dem Thread recht schnell zurück - wo ich hier auch halb an dem Punkt war.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Antworten