[gelöst] Backup mit Rsync Dteien einzeln packen

Probleme mit Samba, NFS, FTP und Co.
Antworten
Benutzeravatar
chralt
Beiträge: 31
Registriert: 31.07.2016 10:34:14
Kontaktdaten:

[gelöst] Backup mit Rsync Dteien einzeln packen

Beitrag von chralt » 15.06.2021 17:45:30

Hallo Zusammen,

auf meinem Dateiserver befinden sich einige Terrabyte Daten die ich per "rsync" auf zwei weitere USB-Festplatten sichere

Ich würde aber gerne -abgesehen davon das ich mal aufräumen muß - die Dateien komprimieren, allerdings nicht als eine große Datei sondern jede einzeln für sich.

ich habe sowohl her im Forum als auch anderswo nur Informationen zum packen in eine große Datei gefunden.

Frage: funktioniert das grundsätzlich nicht?

Was ich denke ist, daß das zumindest den 1. Sicherungslauf deutlich verlängert da die Sicherungen bisher nicht gepackt sind, aber aber bei allen folgenden Sicherungen nur neue/geänderte Dateien synchronisiert werden, sollte das kein Problem sein.

Der betroffene Rechner steht bei mir zu Hause, die Sicherungen laufen per cron gesteuert morgens um 4:00

Neben dem umkopieren von bestimmten Dateien zum Trennen bestimmter Dateitypen (flac und wav von mp3, jpegs von RAW-Dateien) werden per Script auch die "home"-Verzeichnisse für jedes Konto einzeln gesichert, das Ganze sieht dann in etwa so aus_

Code: Alles auswählen

rsync -auvr  /mnt/sicherunng-1/ /sicherung-2
rsync -auvr /home/nutzer1/ /sicherung-1
rsync -auvr /home/nutzer2/ /sicherung-1
.
.
.
rsync -auvr --remove-source-files --exclude-from=rsync_Parameter_mp3  /flac/ /mp3
rsync -auvr --remove-source-files --exclude-from=rsync_Parameter_musik_gepackt /flac/ /musik_gepackt
.
.
.
Die Änderungen werden in eine Log-Datei geschrieben, zur nachträglichen Kontrolle

Gruß
chralt
Zuletzt geändert von chralt am 14.07.2021 11:53:35, insgesamt 1-mal geändert.

Benutzeravatar
bluestar
Beiträge: 2323
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Backup mit Rsync Dteien einzeln packen

Beitrag von bluestar » 15.06.2021 23:15:45

Du könntest auf deiner externen Platte einfach btrfs oder zfs einsetzen und die transparente Kompression des Dateisystems nutzen.

Benutzeravatar
chralt
Beiträge: 31
Registriert: 31.07.2016 10:34:14
Kontaktdaten:

Re: Backup mit Rsync Dteien einzeln packen

Beitrag von chralt » 16.06.2021 22:51:01

Hallo,

erst mal vielen Dank, ist einen Versuch wert.

Offensichtlich gibt es keinen anderen Weg!?

Ich gehe mal davon das sich das nicht direkt umstellen/migrieren läßt ohne die Platte neu zu formatieren.


Gruß
chralt.

Benutzeravatar
MSfree
Beiträge: 10657
Registriert: 25.09.2007 19:59:30

Re: Backup mit Rsync Dteien einzeln packen

Beitrag von MSfree » 16.06.2021 22:58:47

Hast du mal testweise probiert, deine Sicherung z.B. mit gzip zu komprimieren? Wenn du mengenmässig (Bytes, nicht Anzahl Dateien) hauptsächlich flac, wav, mp3, jpegs und RAW-Dateien hast, ist eine Kompression ziemlich sinnlos, viel mehr als 10% Platzersparnis wirst du kaum erreichen, und das auch nur zum Preis von hoeher CPU-Last.

Benutzeravatar
chralt
Beiträge: 31
Registriert: 31.07.2016 10:34:14
Kontaktdaten:

Re: Backup mit Rsync Dteien einzeln packen

Beitrag von chralt » 17.06.2021 11:23:19

Hallo,


Danke für den Hinweis, nein ich habe das noch nicht getestet - und auch nicht darüber nachgedacht.

Ja, die meisten Dateien sind Medien, also Foto und Musikdateien.

Also dann doch größere Festplatten.!?

Gruß
chralt

Benutzeravatar
MSfree
Beiträge: 10657
Registriert: 25.09.2007 19:59:30

Re: Backup mit Rsync Dteien einzeln packen

Beitrag von MSfree » 17.06.2021 11:45:42

chralt hat geschrieben: ↑ zum Beitrag ↑
17.06.2021 11:23:19
Ja, die meisten Dateien sind Medien, also Foto und Musikdateien.
Und die lassen sich nunmal nur sehr schlecht packen. Eine MP3-Datei schrumpft dabei typischerweise nur um 1-2%.
Also dann doch größere Festplatten.!?
Vielleicht ist es Zeit, über eine geeignetere Backupstrategie nachzudenken. Eigentlich muß man ja nur das sichern, was sich geändert hat. So viel kommt da täglich doch gar nicht zustande.

Statt einer täglichen, vollständigen Kopie kann rsync zunächst eine Kopie des Vortags erstellen, indem alle Dateien per Hardlink im aktuellen Verzeichnis auf die Kopie des Vortags zeigen. Der dafür nötige Plattenplatz ist nur das, was für den Dateibaum benötig wird. Anschließend fährt rsync nur einen Datenabglich zwischen dem aktuellen per Hardlinks erzeugten Dateibaum mit der Quelle durch und übertägt nur die Änderungen.

Bei mir habe ich auf meinem Backupsystem inzwischen rund 500 solcher Backups auf 15TB untergebracht, von einer Quelle, die 2TB Datenbestand hat, von der sich wiederum rund 3GB am Tag ändern. 500 Vollbackups würden sonst 1 Petabyte an Daten füllen.

slu
Beiträge: 2136
Registriert: 23.02.2005 23:58:47

Re: Backup mit Rsync Dteien einzeln packen

Beitrag von slu » 17.06.2021 17:04:29

Das was MSfree beschreibt geht mit rsync oder auch bequem mit Debianrsbackup.
Gruß
slu

Das Server Reinheitsgebot:
Debian Bookworm, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER

Benutzeravatar
chralt
Beiträge: 31
Registriert: 31.07.2016 10:34:14
Kontaktdaten:

Re: Backup mit Rsync Dteien einzeln packen

Beitrag von chralt » 14.07.2021 11:53:08

Hallo,

rsync synchronisiert doch sowieso nur die geänderten Dateien (bzw. deren geänderte Teile)!?.

Was mit meinem Vorgehen nicht funktioniert ist die Möglichkeit verschiedene Datenstände zurück zu spielen, deshalb habe ich 2 Backus: Schritt 1 = von Sicherung 1 auf Sicherung 2, Schritt 2 = Arbeitsplatte auf Sicherung 1. Siehe oben. Also habe ich immer den Datenstand vom Vortag und dem vor 2 Tagen.

Gruß
chralt

Benutzeravatar
MSfree
Beiträge: 10657
Registriert: 25.09.2007 19:59:30

Re: Backup mit Rsync Dteien einzeln packen

Beitrag von MSfree » 14.07.2021 12:08:15

chralt hat geschrieben: ↑ zum Beitrag ↑
14.07.2021 11:53:08
rsync synchronisiert doch sowieso nur die geänderten Dateien (bzw. deren geänderte Teile)!?.
Dateien, nicht Teile.

Willst du ein vollständiges Abbild dessen, was an einem bestimmten Tag vorhanden war, damit man es im Ernstfall einfach zurückspielen kann, brauchst du Vollbackups.

Das Problem mit inkrementellen Backups ist, daß Dateien, die in der Quelle gelöscht werden, dann im Backup trotzdem noch vorhanden sind. Mit einer Option kann man rsync natürllich zwingen, auch in der Quelle gelöschte Dateien im Backup zu entfernen. Was ist aber, wenn die Löschung ein Versehen war? Dann fehlt die Datei auch im Backup nach dem rsync.

Um inkrementelle und vollständige Backups zu vereinen, kommt die Sache mit den Hardlinks ins Spiel.

Antworten