Erforderliche Speichergröße fürs Archivieren+komprimieren (tar.gz)

[frankieboy]

Hallo Forum,
das Thema 'Datensicherung/Backups' habe ich bislang zwar nicht völlig vernachlässigt, aber - ich sag' mal so - da ist noch (viel) Platz nach oben. Das soll sich ändern, bevor es ein möglicherweise schlimmes Erwachen gibt ...

Aktuell befinde ich noch in der Phase Ideen zu sammeln, zu prüfen und zu bewerten. Eine Idee geht dahin, sämtliche (Nutzer-) Dateien zu archivieren, zu komprimieren (tar.gz) und auf einen externen Datenträger (USB-Platte) zu verschieben. Hier fehlt mir das Verständnis, wie groß die Festplatte (und ggf. auch der Arbeitsspeicher) sein muss, um ein solches tar.gz-Archiv erstellen zu können. Beispiel: Die Festplatte hat ein Volumen von 1 TB von denen 500 GB mit Dateien belegt sind. Nach meinem (eingeschränkten) Verständnis sollten die verbleibenden 500 GB ausreichen um das tar.gz-Archiv zu erstellen. Ich frage mich auch, wieviel Speicher sozusagen als "Rangierfläche" benötigt wird, um die Archiv-Datei zu erstellen?! Und wie sieht das aus, wenn von der 1TB-Festplatte bereits 650 GB belegt sind: Reichen die 350-Rest GB zur Erstellung des Speichers aus? Oder noch anders gefragt, um welchen Faktor muss die Festplatte größer als die aktuelle Belegung sein, um diese Belegung vollständig zu archivieren und zu komprimieren, Faktor 2,0 oder 1,8 oder 1,5. Wie seht ihr das?

Was mir bei diesem Gedankengang nicht so gut gefällt, ist der Sachverhalt, dass sehr viel freie Speicherfläche (bis zu 50%) als Reserve vorgehalten werden muss, bloß um eine Datensicherung zu erstellen. Irgendwie fühlt sich das an, wie Perlen vor die Säue werfen. Vielleicht liegt hier auch ein Gedankenfehler meinerseits vor oder ihr habt Lösungsvorschläge. Klärt mich auf und gerne immer her damit

[cosinus]

Wie stark kompimiert werden kann, hängt von den Daten selbst ab. Was schon komprimiert ist oder was sich wie komplett zufällig verhält, kann nicht weiter komprimiert werden (kleine Erklärung dort --> https://www.youtube.com/watch?v=340iGwuhdHk )
TAR.GZ Archive mach ich mittlerweile nur noch selten. Warum machst du Archive? Für ein regelmäßiges Backup ist rsync doch zweckdienlicher.

[hikaru]

"Rangierfläche" brauchst du eigentlich gar nicht, wenn du das tar.gz-Archiv direkt auf der Backup-HDD erstellst.
Ich nehme allerdings an, dass dir eine Kompression der Daten nicht, bzw. nur sehr wenig helfen wird. Bei 500GB nehme ich an, dass es sich im Wesentlichen bereits um komprimierte Daten handelt (z.B. Multimedia). Die nochmals mit einem effizienteren Algorithmus (dann eher bz2 als gz) zu komprimieren könnte etwas Platz sparen, steht aber für gewöhnlich in keinem Verhältnis zum Aufwand.
Ein "Verschnüren" der Daten in einem Archivformat würde außerdem das Aktualisieren des Backups deutlich erschweren, bis zu einem Punkt, wo inkrementelle Updates unpraktikabel werden.

Fazit:
Ich würde von der Idee der Archive Abstand nehmen und die zu sichernden Daten ganz normal auf eine entsprechend große Backup-HDD (2-4TB? - zwecks Zukunftssicherheit) kopieren.
Auch zu beachten ist, dass ein Backup kein Backup ist. Im nächsten Schritt kommen dann Themen wie On-Site- und Off-Site-Backups und die Transferproblematik auf. Am Ende läuft es oft darauf hinaus, dass man mindestens drei unabhängige Backups braucht um die relevanten Risiken abzudecken.

[MSfree]

Beispiel: Die Festplatte hat ein Volumen von 1 TB von denen 500 GB mit Dateien belegt sind. Nach meinem (eingeschränkten) Verständnis sollten die verbleibenden 500 GB ausreichen um das tar.gz-Archiv zu erstellen.

Richtig. Das komprimierte Archiv ist maximal so groß wie die Ursprungsdaten. OK, das stimmt nicht ganz, denn tar benötigt ein wenig zusätzlichen Platz für Dateiinformationen wie Zugriffsrechte. Da sich aber Daten immer ein wenig komprimieren lassen, kompensiert die Kompression die zusätzlichen Daten in der Regel.

Ich frage mich auch, wieviel Speicher sozusagen als "Rangierfläche" benötigt wird, um die Archiv-Datei zu erstellen?! Und wie sieht das aus, wenn von der 1TB-Festplatte bereits 650 GB belegt sind: Reichen die 350-Rest GB zur Erstellung des Speichers aus?

Genau hier sind wir im Reich der Spekulation. Verslustfreie Kompressionen führen nie zu eine konstanten Datenreduktion. Textdateien lassen sich beispielsweise sehr gut komprimieren, was mindestens in einer Reduktion um 66% resultiert, in der Regel eher bei 75% liegt, im Extremfall aber auch 95% ergeben kann. Den Komrpressionsfaktor kennt man aber nie im Voraus. JPG-Dateien und Videodateien sind bereits komprimiert und lassen sich nicht (oder nur extrem wenig) weiter eindampfen. Es ist also völlig unmöglich vorherzusagen, ob sich deiner 650GB so stark eindampen lassen, daß sie in den verbrleiebenden 350MB Platz finden. Es kommt hier auf die Ausgangsdaten an.

Ich stelle auch mal die Methode, Backups in tar.gz zu speichern, als fragwürdig hin. Sollte auf dem Backupmedium auch nur ein Datensektor unlesbar werden, ist unter Umständen das komplette Archiv unlesbar. Zumindest kann das Archiv aber nicht mehr bis zum Ende entpackt werden, je nach dem wo der Fehler ist. Das ist aber das Problem aller global komprimierten Archive. ZIP komprimiert beispielsweise Dateibasiert, das Archiv könnte also bis auf die eine fehlerhafte Datei extrahiert werden.

Man möchte vielleicht sein Backup auch so anlegen, daß es viele Backupgenerationen gibt, so daß man ein Backup für einen bestimmten Tag wiederherstellen kann. Dazu sind vollständige Backups nötig, die sehr viel Platz in Anspruch nehmen würden, wenn man nicht die geeignete Backupsoftware verwendet.