rsync full/incremental Backup

[joe2017]

Schönen guten Morgen zusammen,

ich wollte euch nur kurz informieren, dass es nicht an meiner VM lag, sondern an meinem Backup Server (keine VM).
Hier wird die Onboard Netzwerkkarte nicht unterstützt. Nach Einbau einer Netzwerkkarte, werden meine Dateien mit der erwarteten Netzwerkgeschwindigkeit kopiert.

Mein Full Backup wird mit ca. 4GB in ca. 30 Sek erstellt.
Mein Incrementelles Backup dauert jedoch ca 75 Sek. Egal ob ich --link-dest oder --compare-dest verwende.

Code: Alles auswählen

sudo rsync -avre "ssh -i /path/to/key" --link-dest=/path/to/full/backup user@ServerIP:/path /path/to/incremental/backup

Hat hierzu noch jemand eine Idee?
Gibt es nicht die Möglichkeit nur die Files zu sichern welche nicht verändert wurden? Ohne Hardlinks zu erzeugen.
Vielleichet ändert das etwas?

[MSfree]

Hier wird die Onboard Netzwerkkarte nicht unterstützt.

Was ist denn das für ein Exot? Oder fehlt da nur Firmware?

Mein Full Backup wird mit ca. 4GB in ca. 30 Sek erstellt.

Was sit das für ein Netzwerk?
Wie viele Dateien sind das?
4GB in 30s ist über GBit-Ethernet unmögiich. Das müßtest du also noch präzisieren.

[joe2017]

Eigentlich ist das eine normale Realtek Karte. Jedoch ist der PC ein ziemlich neues Model. Wahrscheinlich wird die Karte nicht unterstützt.
Hab auch versucht diverse Debian Firmware zu installieren. Leider ohne Erfolg.

Ich habe lediglich eine 4GB ISO Datei (gerade überprüft ca. 3,4GB) als Test abgelegt. Diese wird auf meinem BackupServer auf eine externe Festplatte geschrieben.
Das wäre jetzt auch nicht das Problem. Das Problem ist, dass mein Incrementerlles Backup so viel länger dauert als mein Full Backup.

Gibt es nicht eine Möglichkeit, ohne Hardlinks zu arbeiten. Einfach nur die neuen Files zu übertragen?
Oder ist das Problem nicht bei den Hardlinks zu suchen, sondern ehr bei der Überprüfung welche Files verändert wurden.

Ich kenne das aktuell nur aus der Microsoft Welt mit robocopy. Hier wird ein Flac gesetzt sobald eine Datei bearbeitet wurde. Somit weiß Robocopy welche Files geschrieben werden müssen.
Ich habe bei rsync schon die Option --backup-dir versucht. Jedoch funktioniert das irgendwie überhaupt nicht.

Mit SCP gibt es ja leider keine Möglichkeit Inrementelle Files zu schreiben.

[MSfree]

Eigentlich ist das eine normale Realtek Karte. Jedoch ist der PC ein ziemlich neues Model. Wahrscheinlich wird die Karte nicht unterstützt.
Hab auch versucht diverse Debian Firmware zu installieren. Leider ohne Erfolg.

Das glaube ich nicht so recht. Realteks gehören zu den verbreitetsten NICs überhaupt und ich hatte bisher keine, die nicht funktioniert hätte.
Was geben

Code: Alles auswählen

lspci

und

Code: Alles auswählen

ip a

aus?

Ich habe lediglich eine 4GB ISO Datei (gerade überprüft ca. 3,4GB) als Test abgelegt. Diese wird auf meinem BackupServer auf eine externe Festplatte geschrieben.

OK, 3.4GB in 30s für nur eine Datei hört sich schon realistischer an.

Das wäre jetzt auch nicht das Problem. Das Problem ist, dass mein Incrementerlles Backup so viel länger dauert als mein Full Backup.

Was sind denn die genauen Optionen, die du rsync mitgibts?

Gibt es nicht eine Möglichkeit, ohne Hardlinks zu arbeiten. Einfach nur die neuen Files zu übertragen?

Das ist der Default. Du verlierst aber damit die Möglichkeit, das Backup eines ganz speziellen Tages herstellen zu können.Wenn du einen Emotet-Vorfall hast, willst du nicht die bereits verschlüsselten Dateien aus dem Backup kopieren sondern die Dateien, die noch intakt sind. Daher ist es sinnvoll, immer eine gewisse Backuphistory mitzuschleppen und das geht eben mit Hardlinks.

[joe2017]

Ich glaube ich habe den Fehler gefunden. Bin mir aber nicht sicher.

Ich verwende folgenden Befehl:
Full Backup

Code: Alles auswählen

sudo rsync -avre "ssh -i /path/to/key" user@ServerIP:"/source" "/destination/full-backup"

Soweit so gut. Das Script wird auf meinem Backup Server gestartet. Dieser verbindet sich mit dem ssh key zu meinem Samba Server und kopiert die Lokalen Daten aus "/source" auf meinen Backup Server "/destination/full-backup"

Incremental Backup

Code: Alles auswählen

sudo rsync -avre "ssh -i /path/to/key" --compare-dest="/destination/full-backup" user@ServerIP:"/source" "/destination/incr-backup"

Hier ist glaube ich der Fehler. Das Script wird wieder auf dem Backup Server ausgeführt. Dieser verbindet sich mit dem ssh key zu meinem Samba Server und kopiert die Lokalen Daten aus "/source" auf meinen Backup Server "/destination/full-backup". Zusätzlich sollten die Daten mit dem Verzeichnis auf dem Backup Server "/destination/full-backup" verglichen werden.

Ich denke das hier der Fehler liegt. Wenn ich das ohne ssh teste funktioniert der --compare-dest Befehl

Code: Alles auswählen

sudo rsync -avr --compare-dest="/destination/full-backup" "/source" "/destination/incr-backup"

Ich befürchte, dass in meinem obigen Befehl das --compare-dest Verzeichnis nicht überprüft werden kann?

Ich habe das auch schon umgestellt. Dann wird jedoch wieder alles kopiert.

Code: Alles auswählen

sudo rsync -avr --compare-dest="/destination/full-backup" -e "ssh -i /path/to/key" user@ServerIP:"/source" "/destination/incr-backup"

[joe2017]

Ich habe gerade einen interessanten Artikel gefunden.
https://www.linuxforen.de/forums/showth ... -erreichba
Hier wird mehr oder weniger die selbe Problematik beschrieben. Hier wird gesagt, dass während des Backups von einem Remote Server auf den Backup Server die Rechte auf dem Backup Server geändert werden. Somit würden sich die Dateien anschließend immer von dem Quell Server unterscheiden. Aus diesem Grund würde wieder alles kopiert werden.

Das muss aber doch zu lösen sein.
Mit Snapshots kann ich leider nicht arbeiten, da ich immer auf die einzelnen Folder/Files zugreifen muss.

[MSfree]

Welchen Benutzer nutzt du, um den SSH-Tunnel zu starten?
Hast du es auch mal als root versucht?

[Lord_Carlos]

Das muss aber doch zu lösen sein.

Ich bin leider nicht so der rsync experte. Aber ich stelle mal ein Paar dumme Fragen. Vielleicht hilft es. Alternativ einfach ignorieren.

Hast du es mal mit trailing slashes versucht?

Code: Alles auswählen

rsync -avre 'ssh -i /path/to/id_ecdsa' --link-dest=/backup/target/path/fullbackup/ admin@serverIP:/backup/source/path/ /backup/target/path/incrbackup/

Was passiert dann? Wird einfach alles nochmal uebertragen, und dann links erstellt? Oder werden gar keine links erstellt?
Eigentlich sollte das funktionieren: https://unix.stackexchange.com/question ... ot-linking

Mit Snapshots kann ich leider nicht arbeiten, da ich immer auf die einzelnen Folder/Files zugreifen muss.

Ich weis nicht wie es bei btrfs oder LVM ist, aber bei ZFS geht das ohne Probleme.
Ob ZFS bei dir jetzt alles besser macht kann ich aber auch nicht einschaetzen. Wahrscheinlich eher etwas was man sich in der Zukunft mal angucken kann.