Wie sichert Ihr Eure private Daten ..

[freebeasty]

Hi Leute,

ich habe für meine Frage keine 100% passende Kategorie gefunden ... deswegen probiere ich es mal hier :

Es geht um die Sicherung meiner privaten Daten.

Ich habe bisher für die Sicherung meiner Daten zwei externe USB-Festplatten genutzt.

Die eine Festplatte nenne ich "Master" und mit ihr arbeite ich täglich und sie enthält immer den aktuellen Stand aller meiner Dateien.

In regelmäßigen Abständen mache ich eine Kopie der "Master"-Festplatte auf die andere USB-Festplatte namens "Secondary".
In der Regel mache ich die "Secondary" dann platt und kopiere per "cp -r" einfach alles von der Master auf die Secondary.

(Korrekterweise könnte ich mir mit "rsync" Zeit sparen, aber ich hab's bisher gescheut mich damit auseinanderzusetzen).

Auf meiner "Master" Festplatte habe ich den Inhalt von selten genutzten Ordnern mit sehr vielen kleinen Dateien (z. B. MPs, Bilder usw) in "7zip-Dateien" komprimiert, weil ich die Erfahrung gemacht habe, dass der Kopiervorgang dann schneller über die Bühne geht, also sich größere Dateien schneller kopieren als viele kleine.

Bei den Kopiervorgängen selbst sind mir bisher keine Fehler aufgfallen. Es gab nie Abbrüche, auch nicht hinsichtlich USB.
Dennoch hatte ich jetzt das Phänomen, dass einige wenige 7zip-Dateien CRC-Fehler enthielten, die ich mir nicht erklären kann.

ALso hab ich diese nun wieder entpackt und kopiere nun wieder eine Menge kleiner Dateien.

Hattet Ihr solche Phänomene auch schon ?

(Ich kann mir nur erklären, dass vielleicht der Kopiervorgang für mich so aussah, als wäre er abgeschlossen, aber sich die Daten noch
in Buffern befand und noch nicht komplett weggeschrieben waren, bevor ich meinen Rechner runtergefahren habe !?)

Ich gehe auch mal davon aus, dass die CRC-Fehler noch nicht beim Erzeugen der 7zip-Dateien enthalten waren.

Ich nutze übrigens Debian 9 und Ext4 als Dateisystem.

Was könnt Ihr mir als Tipp geben ? Hattet Ihr auch schon solche Phänomene ?
Was kann man an meiner Vorgehensweise verbessern ?

Was habt Ihr Für Euch für Lösungen gefunden, um z. B. solche CRC-Fehler, warum sie auch immer aufgetreten sind, zu vermeiden ?

Habt Ihr Eure Dateien auch in Archive gesteckt ? Wenn ja, welches Format ?
Oder sichert Ihr jede Datei einzeln weg ?

Ich fotografiere sehr viel, u. a. auch im RAW-Format. Meine Daten umfassen ca. 600 GB.

Eine zu komplizierte Lösung strebe ich natürlich auch nicht an.

Danke udn Grüße,
Raphael

[uname]

In der Regel mache ich die "Secondary" dann platt und kopiere per "cp -r" einfach alles von der Master auf die Secondary.
(Korrekterweise könnte ich mir mit "rsync" Zeit sparen, aber ich hab's bisher gescheut mich damit auseinanderzusetzen).

Genau:

Code: Alles auswählen

rsync -av /pfad/zur/quelle/ /pfad/zum/ziel/

(bitte auf abschließende Slashes achten, in dem Beispiel mit Slashes am Ende werden nur Inhalte kopiert, die Verzeichnisse existieren bereits, lese das Manual)

Auf meiner "Master" Festplatte habe ich den Inhalt von selten genutzten Ordnern mit sehr vielen kleinen Dateien (z. B. MPs, Bilder usw) in "7zip-Dateien" komprimiert, weil ich die Erfahrung gemacht habe, dass der Kopiervorgang dann schneller über die Bühne geht, also sich größere Dateien schneller kopieren als viele kleine.

Bei "rsync" praktisch egal, da die Dateien ja gar nicht erneut kopiert werden.

Dein Kopierkonzept hat leider einen Fehler.
Bei Problemen auf deinen Master kopierst du die Fehler auf den Secondary.
Löscht du auf den Master versehentlich eine Unterstruktur und merkst es nicht vor dem Backup, hast du verloren.

Ich arbeite auf echten Systemen und kopiere die Daten von dort zu den jeweiligen Backups.
Ich nutze zudem inkrementelle Backups. Schau evtl. mein uraltes Backup-Konzept: https://wiki.ubuntuusers.de/Skripte/Backup_mit_RSYNC/
Benutze evtl. fertige Backupsoftware. Teste deine Backups regelmäßig.

[Andy64]

Ich sichere mein /home und Untermengen mit Luckybackup auf USB3-Platte/Stick. Habe dafür verschiedene Jobs estellt. Sehr easy.

[TRex]

Code: Alles auswählen

0   5  *   *   *  [ -d /backup/Daten ] && /usr/bin/rsync -ax --stats /files/ /backup/ | mail -s "rsync backup report on nas" $meinemailaddy

Ich hab mich für ein dateibasiertes Backup entschieden, weil mir das zu groß wurde, um es als Image/tarball zu speichern. Snapshots mit rsync hatte ich glaub sogar mal angedacht, aber ist irgendwie verlaufen (und zu lange her, als dass mir die Gründe dafür einfallen würden) und andere Tools sind wieder zu sehr auf Blöcke optimiert.

Letztlich halte ich auch für wichtig, die Änderungen im täglichen Gebrauch zu berücksichtigen - also ob man viele neue Dateien hinzufügt/löscht (vs existierende Dateien ändert), wie groß die Änderungen sind und in welcher Frequenz das passiert. Den Container einer VM mit rsync inkrementell zu sichern ist zb eine eher blöde Idee (da nicht nur das delta gesichert wird).

[debianuser4782]

Ich wollte mir zwei interne Festplatten derselben Marke und Bauart gleichzeitig (offline in einem Geschäft) kaufen.

Auf eine schreibe ich mit Edding "Original" auf die andere "Kopie".

Sie sollten die Bauweisen 2,5 Zoll haben, da sie weniger Aufprallmasse haben und extra gegen Erschütterungen abgesichert sind.

Extra Funktionen/Hardware für einen stabilen Datenfluss auf den HDs selbst wären beim Kauf auch ratsam.

Die Daten die täglich anfallen will ich auf einem OfflinePC (meinen Arbeits-PC) sowie zusätzlich auf einem guten USB-Stick kopiert haben. Ist der USB-Stick fast voll, kopiere ich den Inhalt auf die "Original"-HD.

Danach lösche ich den USB Stick und beginne von vorn. (uU lasse ich die Daten auf dem Stick, beschrifte ihn, lege ihn sicher ab und kaufe mir einen Neuen. Das ist wohl eine reine Kostenfrage.)

Die Daten auf dem Rechner verfrachte ich in den Ordner "Gesichert - xx.xx.xxxx" (Datum). Sie bleiben auf dem Rechner, bis auch dieser fast voll ist. Ist dies der Fall, kopiere ich das Original und verifiziere das Ergebnis, soweit möglich. (bin noch am überlegen, ob es da sichere und schnelle Methoden gibt, bei baugleichen HDs)

Wie ich kopiere, bin ich noch am überlegen. Ich denke auch über eine Clone-Docking-Staion nach, die auch offline ganz ohne Anschluss am PC funktioniert.

Auch überlege ich besonders wichtige Daten auf langlebigen (teuren) optischen Medien zusätzlich zu kopieren. Es gibt da spezielle Angebote.

Mit "Original" und "Kopie" will ich sicherheitsbedingt so wenig wie möglich arbeiten.
Zudem sollten sie möglichst niemals an einen PC mit Internetanschluss angeschlossen werden.
Ich habe Internetzugang mit einem PC auf dem kaum persönliche Daten sind. Wie gesagt ist mein ArbeitsPC offline. Alles andere erscheint mir zunehmend unvernünftig.

Mit den hier zum Teil softwareseitig vorgeschlagenen professionellen Backuplösungen werde ich mich längerfristig auch noch befassen.

[wanne]

ALso hab ich diese nun wieder entpackt und kopiere nun wieder eine Menge kleiner Dateien.

Das hilft genau so wenig wie Augen zuhalten versteckt. Du bekommst jetzt nur nichts mehr mit.

Hattet Ihr solche Phänomene auch schon?

(Ich kann mir nur erklären, dass vielleicht der Kopiervorgang für mich so aussah, als wäre er abgeschlossen, aber sich die Daten noch
in Buffern befand und noch nicht komplett weggeschrieben waren, bevor ich meinen Rechner runtergefahren habe !?)

Nein. Meistens werden die schlicht nicht richtig geschrieben. Gerade bei USB-Geräten mit deren instabiler Stromversorgung passiert das ganz gerne mal. Sonst kippt ganz gerne auch mal ein Bit in allen Varianten von Flash-Speichern (USB-Sticks, SSDs, RAM...) Im Professionellen Bereich hast du deswegen z.B. ECC-RAM.

Ich nutze übrigens Debian 9 und Ext4 als Dateisystem.

Was könnt Ihr mir als Tipp geben ? Hattet Ihr auch schon solche Phänomene ?
Was kann man an meiner Vorgehensweise verbessern ?

Was habt Ihr Für Euch für Lösungen gefunden, um z. B. solche CRC-Fehler, warum sie auch immer aufgetreten sind, zu vermeiden ?

Da müsstest du ansetzen. ZFS oder BTRFS und Deren Snapshotfunktionen bieten deutlich sicherere Varianten für Backups. Daneben bieten sie "scrub" also das erkennen von kaputten Daten an.
Entweder du hast auf beiden Seiten ein RAID1/dup und lässt das automatisch korrigieren oder du kopierst die kaputten Teile erneut.

Ich fotografiere sehr viel, u. a. auch im RAW-Format. Meine Daten umfassen ca. 600 GB.

Dann tun dir die Fehler mitunter wenig weh. Trotzdem. Ich würde gerade da zu nem Professionellen Dateisystem Raten, weil auch die Kompression ganz nett hilft.

Eine zu komplizierte Lösung strebe ich natürlich auch nicht an.

Das ist so viel einfacher als die ganzen rsync-komprimier... Lösungen:
https://btrfs.wiki.kernel.org/index.php ... tal_Backup
Erfordert aber halt ne Eigene Partition mit btrfs. Im Notfall kannst du auch einfach eine Große Datei anlegen und die formatieren. (btrfs kannst du auch einfach zusätzliche Devices hinzufügen oder live vergrößern.)

Eine Andere Variante ist bup. Nie selbst ausprobiert aber auch die speicher so ab, dass du Fehler korrigieren kannst. Klingt eigentlich wie gemacht für deinen Zweck.
Ähnlich hilft es deutlich RARs zu nutzen. Das original RAR-Programm kann Fehler korrigieren. Leider die 7z Implementierung nicht. Erwischt aber natürlich keine Fehler im RAM.

[Korodny]

Ich würde prinzipiell 2.5-Platten weniger Vertrauen entgegen bringen als ihren größeren Verwandten. Dass komplizierte, hochtourige Mechanik durch Verkleinerung weniger fehleranfällig werden soll scheint mir nicht besonders schlüssig.

Für alle Backups immer entsprechende Spezialsoftware nutzen, rsync ist zuverlässig und sehr verbreitet, da lassen ich sich leicht dutzende brauchbarer Tutorials finden. "cp -r" bei 600 GB ist ja echt was für Masochisten Packen würde ich auch nicht, das erschwert im Unglücksfall die Datenrettung oder -Kontrolle.

Ich nutze ein NAS für tägliche Backups, weil sich das komplett automatisieren lässt (vorausgesetzt das NAS läuft immer) - je weniger ich Hand anlegen muss, desto wahrscheinlicher ist es, dass die Backups auch über einen längeren Zeitraum zuverlässig erledigt werden. Hat auch den Vorteil, dass man die Daten oder Teile davon auf mehreren Geräten (Desktop, Laptop, Smartphone) automatisch verfügbar machen kann. Auf modernen NAS lassen sich auch reichlich andere nützliche Dinge installieren - beispielsweise Nextcloud um Kalender, Adressbuch, ToDo-Liste, Notizen usw. zwischen Geräten zu synchronisieren.

Dazu dann zwei externe USB-Platten, auf die abwechselnd in bestimmten Abständen ein Backup gemacht wird, die eine von beiden Platten (die mit dem aktuelleren Backup) lagert immer auswärts (Arbeitsplatz, Vereinsheim, Bekanntenkreis...).

Klar hätte ich theoretisch auch das Problem, dass versehentlich gelöschte oder beschädigte Dateien irgendwann alle Backups "verseuchen", aber ich habe ja immer ein mehrere Wochen altes Backup auf einer externen Platte hier herumliegen. Über einen noch größeren GAU mache mir erst Sorgen, seit ich diesen Thread gelesen habe

[willy4711]

Na dann will ich auch mal:

Alle Sicherungen werden bei mir mit FreeFileSync (FFS) durchgeführt. Anstoßen: Zu Fuß

Mehr oder weniger täglich (ist auch abhängig davon, was ich so an Neuem "produziere"):

Starter ---> Sicherungsskript von FFS, läuft "hidden" ----> /home (stark eingeschränkt durch aus meiner Sicht nicht wichtige Dateien / Verzeichnisse)
Separate interne Platte ---> 5 x Versionierung. ---> Zum Schluss eine nette "Notification", das alles ok ist. Protokolle der Sicherungen werden erstellt.

Ca, 1 x Pro Monat: ICY-Box mit zwei 3 TB Platten:
1. Platte
Spiegelung meiner Musiksammlung die auf einer separaten Platte im Rechner liegt (z.Z. 2,5 TB)

2.Platte
Spiegelung von /home und /etc sowie 3 VM's, wo wichtige Daten drauf sind.

Nix komprimieren, nix Verschlüsseln. --> keine Spielereien,keine Probleme,

[TomL]

Ich fotografiere sehr viel, u. a. auch im RAW-Format. Meine Daten umfassen ca. 600 GB.

Mein Backup-Konzept basiert auf der eindeutigen Unterscheidung des voraussichtlichen Änderungsaufkommens von Dateien und des geschätzten Aufwands für die Wiederbeschaffung von verlorenen Dateien. Das bedeutet, Multimedia-Dateien wie Filme, Fotos, Bücher, Musik ändern sich, nachdem sie einmal bearbeitet wurde (wenn überhaupt), so gut wie nie. Und es bedeutet, ich sichere keine Daten, die ich sowieso jederzeit neu beschaffen kann. Also ist es auch nicht notwendig, täglich unsortiert alles zu sichern, was bereits einmal gesichert ist. Ich sichere aus dieser Kategorie also nur neu hinzugekommene oder veränderte Dateien auf die Backup-Platte, und da auch nur solche, deren Wiederbeschaffung nicht oder nur mit hohem Aufwand möglich ist. Das reduziert das regelmäßige Backup-Volumen für diese Kategorie auf eine eher kleine Größe und vergrößert gleichzeitig die Zeiträume zwischen den Backups... weil es ändert sich ja da nix ständig.

Auf der anderen Seite habe ich aber auch noch die die wirklich wichtigen und "aktiven" Dateien, die sehr dynamisch gehandhabt werden und meistens täglich aktualisiert sind, wie die persönlichen Mail-Verzeichnisse, Termine, Kontakte, von den User angelegte Office-Dateien und so weiter und so weiter. Das ist aber im Verhältnis zur Gesamt-Menge der gespeicherten Daten nur ein winziger Teil, der bei mir täglich bezogen auf Änderungen automatisch gesichert wird.

Ich habe meine Datenpartitionen auf dem Server also dahingehend an das Backup-Konzept angepasst, dass eben statische Dateien und dynamische User-Dateien getrennt abgelegt sind und ich sichere diese Partitionen auch mit unterschiedlicher Nachhaltigkeit. Wenn man regelmäßig 600 GB sichern muss/will, würde ich empfehlen, das Backupkonzept einmal neu zu denken.... weil sich niemals täglich 600 GB ändern.

Das wichtigste für mich ist aber, wegen der Unterscheidung durch den Relevanz-Aspekt und der damit einhergehenden Mengenverringerung, kann ich die wirklich wichtigen Daten regelmäßig maschinell auf meinen Web-Space -also nach außer Haus- sichern. Schlägt nämlich der Blitz zuhause ein, sind alle angeschlossenen Geräte einschließlich Backups gegrillt. Brennt die Bude ab, brennen auch die Backups... also müssen wichtige Daten raus aus dem Haus..... und das -soweit es mich angeht- ohne das es mir Arbeit bereitet. Für mich ist also weniger das Programm relevant, mit dem man Backups erstellt, das können nämlich haufenweise Programm, als vielmehr die Ordnung der Dateien... um das optimal zu unterstützen, worums eigentlich geht.... und zwar im Fall der Fälle das reproduzieren zu können, was wirklich notwendig ist.

[schwedenmann]

Hallo


1.PC-Debian-unstable
2. PC mit Anarchy (Archderivat)
3. PC mit Win10
4. PC mit Debian-stable (Asche über mein Haupt )
5. Backupserver mit freebsd 11.x + zfs + 2x3TB gemirrored)

PC 1-4 haben jeweils eine 2.interne lokale Backup-Platte

1. Sicherung
Gesichert wird mit rsync (luckybackup PC1+4), rsyncscript PC2 und PC3 mit cgwin + rsync auf die lokale Platte
meist alle 2 tage, kann aber auch erst nach 3-4 Tage wieder gesichert werden
Bei luckybackup behalte ich 2-3 snapshots, je nachdem was gesichert wird.

Bei PC1+3+4 werden nur das /home , bzw. C:/users/xyz gesichert
Bie PC1 zusätzlich zu /home noch /home /Mymusic (mp3-sammlung) /shared = Verzeichnis mit Daten (Bilder, pdf, texte, usw.) , sowie ein Verzeichnis mit ISO Dateien innerhalb von /shared von diversen Linuxdistris, letzteres ist nicht so wichtig, weshalb es nicht in der 2.Sicherung, auf den BSD-Server, enthalten ist.

2. Sicherung von lokalen Sicherungen auf 5.Backupserver per rsync, bzw. cgwin +rsync Scripten
meist 1x pro Woche am WE

Sicherungen werden manuell angestoßen

es wird nichts verschlüsselt oder komprimiert.

Außerdem sichere ich auf PC1 jeden Tag per Script in rc.lokal /etc und eine Liste der installierten Pakete und komprimiere beide backups jeweils mit bzip2 und halte diese 1 Monat vor.

mfg
schwedenmann

[jph]

Habt Ihr Eure Dateien auch in Archive gesteckt ? Wenn ja, welches Format ?
Oder sichert Ihr jede Datei einzeln weg ?

Ich fotografiere sehr viel, u. a. auch im RAW-Format. Meine Daten umfassen ca. 600 GB.

Meine Rechner sichern die home-Verzeichnisse wöchentlich automatisch und verschlüsselt per Déja-dup/duplicity auf meinen Fileserver. Den Fileserver sichere ich alle paar Monate mit rsync auf eine externe Platte, die außerhalb der eigenen vier Wände verwahrt wird.

Déja-dup integriert sich schön in GNOME bzw. Nautilus; ich kann das Rücksichern von Dateien oder Ordnern über das Kontextmenü auslösen. duplicity verwendet Prüfsummen.

Ich lege meine Digitalfotos chronologisch ab. Auf den lokalen Rechnern habe ich nur das laufende und das vorherige Jahr, der Rest liegt nur auf dem Fileserver.

[halo44]

... Ich nutze ein NAS für tägliche Backups, weil sich das komplett automatisieren lässt (vorausgesetzt das NAS läuft immer) ...

Auch ich sichere u.a. auf ein NAS, worauf ein Debian läuft. Das NAS schaltet sich selber um 17.00 Uhr ein und sichert über dirvish meine Datenpartitionen. Später schaltet es sich per autoshutdown ab.

Dirvish sichert tägliche snapshots und archiviert diese jeweils für vom Nutzer konfigurierte Zeiträume.

Gruss H.

[MSfree]

Ich würde prinzipiell 2.5-Platten weniger Vertrauen entgegen bringen als ihren größeren Verwandten. Dass komplizierte, hochtourige Mechanik durch Verkleinerung weniger fehleranfällig werden soll scheint mir nicht besonders schlüssig.

2.5"-Platten drehen nicht hochtouriger als 3.5"-Platte, allerdings muß der Motor weniger Masse bewegen. Die Mechanik ist auch nicht anders aufgebaut, der Hebelweg des Lesekopfes ist bei 2.5" aber kürzer, die Masse also kleiner. Insgesamt sehe ich in der Haltbarkeit eher keinen Unterschied. Gegen 2.5" spricht vor allem, daß die Kapazität geringer ist und sie pro Gigabyte teurer sind.

Ich nutze ein NAS für tägliche Backups, weil sich das komplett automatisieren lässt (vorausgesetzt das NAS läuft immer)

Warum muß es immer laufen? Die üblichen SOHO-NAS (QNAP, Synology...) kann man zeitgesteuert hochfahren lassen und nach dem Backup auch wieder runterfahren. Auch einen (alten) PC kann man als NAS nutzen und im BIOS zu bestimmten Uhrzeiten hochfahren lassen, um ein Backup zu machen mit anschließendem Shutdown.

Ich nutze auch ein NAS für mein Backup. Allerdings habe ich es so eingerichtet, daß sich das NAS die Dateien mit rsync von dem Rechner holt, der zu sichern ist, und es hat nichts freigegeben. So ist sichergestellt, daß Schadsoftware nicht von einem infizierten Rechner aus das NAS angreifen kann, zumindest nicht, ohne Login, SSH-Schlüssel und Paßphrase des SSH-Schlüssels zu kennen.

Für das Backup nutze ich rsync. Das ist allemal einfacher als sich mit "professionellen" Dateisystemen auseinander setzen zu müssen. OK, ein rsync-Snapshot dauert dann halt etwas länger, aber ich kommen im Moment auf ca. 10min Backupzeit bei 3TB Datenbestand. (Das initiale Backup hat selbstverständlich mehrere Stunden gedauert).

[flori78]

Prio 1-Daten (zwei Verzeichnisse auf meinem Dateiserver, etwa 1 TB) sichere ich doppelt: Erstens vom Dateiserver auf meinen Arbeitsrechner mit Areca Backup unter Windows. Die Daten auf dem Dateiserver liegen auf einem RAID-5.

Dann sichere ich sowieso alle Daten (11 TB, Prio 1 und Prio 2) inkrementell hinüber auf den Backupserver. Der fährt hoch, wenn Nennenswertes auf dem Dateiserver hinzugekommen ist bzw. sich dort geändert hat. Mache ich manchmal erst nach zwei Wochen oder mehrmals pro Woche.

Ich probiere gerade neue Backupprogramme aus. Bisher habe ich Back in Time verwendet. Vor Jahren rsnapshot. Derzeit teste ich borg backup. Gefällt mir bisher ganz gut.

Da ich zum Teil alte Festplatten einsetze (auf dem Backuprechner), sehe ich mir regelmässig auf dem Dateiserver wie auf dem Backuprechner die SMART-Werte der HDs an. Diesen Schritt werde ich, wenn geht, automatisieren. Ich muss aber erst nachschauen, wie leicht das möglich ist.

Zu externen Festplatten habe ich nicht so großes Vertrauen. Ohne mich wirklich gut auszukennen, kommt mir die USB-Schnittstelle nicht so stabil vor wie z. B. GBit-LAN.

[jph]

Da ich zum Teil alte Festplatten einsetze (auf dem Backuprechner), sehe ich mir regelmässig auf dem Dateiserver wie auf dem Backuprechner die SMART-Werte der HDs an. Diesen Schritt werde ich, wenn geht, automatisieren. Ich muss aber erst nachschauen, wie leicht das möglich ist.

Das kann der in den smartmontools enthaltene smartd. Der schreibt ins Log und kann bei Bedarf auch Mails erzeugen.

$ man 8 smartd