rsync löscht ausgeschlossenes Verzeichnis – warum?

Du hast Probleme mit Deinem eMail-Programm, Webbrowser oder Textprogramm? Dein Lieblingsprogramm streikt?
Antworten
debianoli
Beiträge: 4072
Registriert: 07.11.2007 13:58:49
Lizenz eigener Beiträge: MIT Lizenz

Re: rsync löscht ausgeschlossenes Verzeichnis – warum?

Beitrag von debianoli » 27.04.2019 11:10:47

Dann Versuch es mal mit einem neuen, leeren Zielverzeichnis und --dry-run

7Saturn
Beiträge: 19
Registriert: 04.02.2018 21:43:36

Re: rsync löscht ausgeschlossenes Verzeichnis – warum?

Beitrag von 7Saturn » 28.04.2019 23:48:17

Habe ich gemacht. Mit einem für mich überraschenden Ergebnis: rsync zeigt die Anwesenheit des Verzeichnisses nicht mal in der Liste der zu synchronisierenden Verzeichnisse an. Wenn man so will, konsistent mit dem Löschverhalten. Ein Verzeichnis, das beim Original nicht existiert, wird im Ziel entfernt. Aber wieso? Gerade eben nochmal vergewissert, dass ich auch ja nicht irgendwie total daneben bin: Nein, das Verzeichnis existiert im Original sehr wohl, ist ja auch ein Mount-Point. (So wie die anderen ausgeschlossenen Verzeichnisse auch, auch da sollte es keinen Unterschied geben...) Nähere Untersuchung zeigt aber: Wenn das Verzeichnis nicht gerade etwas gemountetes beherbergt (in meinem Fall das Virtual-Box-Verzeichnis, das physikalisch auf einer SSD liegt, aber den Ordner auf der Festplatte gemountet wird), wird es mit angezeigt. Dann ist freilich nichts drin und rsync scheint im dry-run alles zu machen, was zu erwarten wäre.

Nochmal kurz zusammengefasst, was ich feststelle: Die anderen Verzeichnisse, bei denen das problemlos so geht, haben als Quelle für den jeweiligen bind-Mount eine Festplatte, die »abschnittsweise« nochmal in die Platte gemountet wird. Damit da keine Doppelungen auftreten, lasse ich die Inhalte der mount points weg. Das einzige Problemverzeichnis liegt auf der SSD und wird auf die Festplatte gemountet. Scheint der einzige Unterschied zu sein, dass hier physikalisch unterschiedliche Dateisysteme vorliegen. Aber ich verstehe nicht, wieso das mal ein Problem und mal keines ist. Hätte gedacht, für rsync ist das erst mal transparent, das muss über das physikalische Dateisystem darunter nichts wissen, um zu entscheiden, ob etwas einfach nur da ist. Zumindest habe ich jetzt eben beim nochmaligen Überprüfen der Parameter auch nicht festgestellt, dass diese Dateisystemgrenzen überschreiten verbieten würden.

debianoli
Beiträge: 4072
Registriert: 07.11.2007 13:58:49
Lizenz eigener Beiträge: MIT Lizenz

Re: rsync löscht ausgeschlossenes Verzeichnis – warum?

Beitrag von debianoli » 29.04.2019 06:13:12

Dann teste das Sichern des Verzeichnisses mit tar und der exclude-from Option von tar. Jeweils mit Inhalt gemountet / ungemountet.

Wenn tar dann auch rumzickt, hat es evtl etwas mit deiner Art des mountens zu tun.

Wenn du das System per rsync sicherst, sind dann die virtuellen Maschinen aus?
Und wie mountest du die Festplatten?
Irgendwas wie apparmor am laufen? Das macht manchmal auch nervige Dinge.

7Saturn
Beiträge: 19
Registriert: 04.02.2018 21:43:36

Re: rsync löscht ausgeschlossenes Verzeichnis – warum?

Beitrag von 7Saturn » 29.04.2019 09:45:50

Das mit tar verstehe ich noch nicht ganz. Man muss vielleicht dazu sagen, dass wir von einer Gesamtdatenmenge von ca. 8 TB sprechen, die aus genau dem Grund auch nur »inkrementell« (also per Abgleich) auf die andere Platte kopiert werden. Würde tar nicht versuchen, den ganzen Schwung rüber zu kopieren?

Ja, die VMs sind aus. Das mount passiert über fstab und sieht von den Einträgen her so aus:

Code: Alles auswählen

/mnt/nas/original/nas/Videos /home/user_a/nas/Videos         none bind,errors=continue,gid=1001,uid=1001 0 0
/mnt/nas/original/nas/Videos /home/user_b/nas/Videos         none bind,errors=continue,gid=1000,uid=1000 0 0
/home/user_b/VirtualBox_VMs  /home/user_b/nas/VirtualBox_VMs none bind,errors=continue,gid=1000,uid=1000 0 0
Wenn ich apparmor_status eingebe, kommt:

Code: Alles auswählen

apparmor module is loaded.
apparmor filesystem is not mounted.

Benutzeravatar
MSfree
Beiträge: 10759
Registriert: 25.09.2007 19:59:30

Re: rsync löscht ausgeschlossenes Verzeichnis – warum?

Beitrag von MSfree » 29.04.2019 09:57:28

7Saturn hat geschrieben: ↑ zum Beitrag ↑
29.04.2019 09:45:50
Man muss vielleicht dazu sagen, dass wir von einer Gesamtdatenmenge von ca. 8 TB sprechen
Dann kannst du tar vergessen. Das wird zur Tortur, wenn man einzelne Dateien aus so einem Riesenarchiv wiederherstellen muß.
...die aus genau dem Grund auch nur »inkrementell« (also per Abgleich) auf die andere Platte kopiert werden.
Ich würde dir empfehlen, mal einen Blick auf die --link-dest= Option zu werfen.

debianoli
Beiträge: 4072
Registriert: 07.11.2007 13:58:49
Lizenz eigener Beiträge: MIT Lizenz

Re: rsync löscht ausgeschlossenes Verzeichnis – warum?

Beitrag von debianoli » 30.04.2019 13:18:30

7Saturn hat geschrieben: ↑ zum Beitrag ↑
29.04.2019 09:45:50
Das mit tar verstehe ich noch nicht ganz. Man muss vielleicht dazu sagen, dass wir von einer Gesamtdatenmenge von ca. 8 TB sprechen, die aus genau dem Grund auch nur »inkrementell« (also per Abgleich) auf die andere Platte kopiert werden. Würde tar nicht versuchen, den ganzen Schwung rüber zu kopieren?
Darum ging es mir auch nicht. Damit kannst du testen, ob tar bei dem einen Verzeichnis ein ähnliches Verhalten wie rsync zeigt. Schließlich funktioniert bei mir ein Testdurchlauf seiner rsync-Syntax. Also muss es an dem einen Verzeichnis liegen, das irgendwie anders ist.

7Saturn
Beiträge: 19
Registriert: 04.02.2018 21:43:36

Re: rsync löscht ausgeschlossenes Verzeichnis – warum?

Beitrag von 7Saturn » 26.05.2019 12:07:35

So, mal wieder dazu gekommen, mich mit dem Problem rum zu schlagen. Abgesetzt habe ich folgendes:

Code: Alles auswählen

tar cf ~/temp.tar --exclude=./VirtualBox_VMs/* --verbose ./V*
Ergebnis ist ein tar, was genau das enthält, was ich auch gerne für rsync als Ergebnis gehabt hätte: Die anderen Inhalte (mit V*) sind drin, das Verzeichnis VirtualBox_VMs auch, aber nicht dessen Inhalte. Und jetzt?

Antworten