Backup: Was nutzt Ihr dafür?

Einrichten des lokalen Netzes, Verbindung zu anderen Computern und Diensten.
Benutzeravatar
heisenberg
Beiträge: 1539
Registriert: 04.06.2015 01:17:27

Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 14.12.2017 21:03:04

Hallo zusammen!

Was habt Ihr für Programme zur Datensicherung im Einsatz? Was sichert Ihr damit? Was gefällt Euch daran? Was gefällt Euch daran nicht?

Für Server setze ich BackupPC ein.

Pro

  • Speicherplatz sparen durch Deduplikation(auf dem Hauptsystem habe ich 50 TB Daten auf 5 TB physischem Festplattenplatz untergebracht)
  • Webinterface zur Benutzung(Einzeldateiwiederherstellung,...)+Konfiguration
  • Braucht auf dem Client nur rsync+ssh
  • Durch die Deduplikation kann man sehr viele Sicherungssätze platzsparend aufheben
Contra
  • Grosse Mengen an Dateien(> 50.000.000) verlangsamen den Sicherungsserver auf Dauer sehr stark
  • Grosse Rücksicherungen auf einem überlasteten BackupPC Server funktionieren bei mir nicht mehr über das Webinterface. Da muss ich über die Konsole ran.
  • Das Webinterface ist altbacken und die Konfiguration könnte wesentlich effizienter gelöst sein.
Privat nutze ich das auch um auf meinem VServer so ein paar Webseiten zu sichern, was eher recht statisch ist. Dafür ist das richtig genial.
Zuletzt geändert von heisenberg am 08.05.2019 14:18:54, insgesamt 3-mal geändert.
Die Welt und die Menschen brauchen Dich! Engagiere Dich für den Klimaschutz!

ann0see
Beiträge: 15
Registriert: 06.11.2017 20:03:42

Re: Backup: Was nutzt Ihr dafür?

Beitrag von ann0see » 14.12.2017 21:35:48

Ich nutze die Snapshotfunktion meines vServers bzw. einfach rSync auf meinem Heimserver. Da habe ich eine Festplatte. Ich habe auch mal Debianrdiff-backup genutzt. Das war meiner Meinung ein sehr gutes Tool ;-). Aber dann habe ich die Snapshotfunktion entdeckt... Man kann diese bei meinem Provider Herunterladen und zuhause sichern. Kostet leider 99ct/Export, ist aber sein Geld wert, obwohl die die Snapshots eigentlich gut aufbewahren müssten -> Herunterladen unnötig, eigentlich.

Radfahrer
Beiträge: 3644
Registriert: 15.12.2012 20:48:16
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Zu Hause

Re: Backup: Was nutzt Ihr dafür?

Beitrag von Radfahrer » 14.12.2017 21:56:45

Ich mache Komplettimages mit fsarchiver und die üblichen Backups mit rsnapshot.
"Don't make the same mistakes twice! Say NO to reincarnation!"
(Reformed Buddhists)

TomL
Beiträge: 4316
Registriert: 24.07.2014 10:56:59

Re: Backup: Was nutzt Ihr dafür?

Beitrag von TomL » 14.12.2017 22:21:51

Ich habe ein eigenes Programm geschrieben, welches ein mehrstufiges Backup-Konzept umsetzt - wobei zu erwähnen ist, dass die Gesamtmenge familiärer Daten keine 50 TB ausmachen *lol* und meine Lösung für eine solche Menge auch denkbar ungeeignet wäre.

Mehrstufig heisst:
  • 1. täglicher Sync von nicht-wieder-beschaffbaren Dateien auf ein zweites Medium
  • 2. für drei Datenteilbereiche dieser nicht-wieder-beschaffbaren Dateien je 4 sich überschreibende Backups pro Monat auf einem dritten Speichermedium erstellen, also 3*4 unterschiedlich alte Archive im Laufe des Monats
  • 3. für drei Datenteilbereiche jeweils das letzte Backup (aus Pkt. 2) AES256-verschlüsselt und sich überschreibend auf meinen Webspace übertragen, welches also immer nur maximal 1 Woche alt ist
Images oder ganze Platten sichere ich nicht mehr... ist mir zuviel heckmeck... nur noch das, was wirklich verloren gehen kann. Das ganze passiert völlig mannlos.... ohne Einwirkung durch mich, ohne Arbeit für mich.... ich muss nur die Info-Mails zur Kenntnis nehmen und die dann löschen. Mit der Prämisse "nur nicht-wieder-beschaffbare Dateien" ist das trotz 10-15 jährigem Datenaufkommen eine überschaubare Größe.
Zuletzt geändert von TomL am 14.12.2017 22:33:32, insgesamt 1-mal geändert.
vg, Thomas

Benutzeravatar
bluestar
Beiträge: 1056
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Backup: Was nutzt Ihr dafür?

Beitrag von bluestar » 14.12.2017 22:29:58

Ich nutze für rund 150TB die Kombination aus ZFS Snapshots, ZFS send über SSH und Bareos/Bacula für meine Backups.

Die dahinterliegende Strategie:
- tägliche Snapshots, inkrementell über SSH -> Aufbewahrungszeit 8-12 Wochen, teilweise auch Jahre
- wöchentliche & monatliche Backups bei Aufbewahrungszeiten von 10 Jahren (geplant)
- ZFS send über SSH und Bareos übertragen jeweils in unterschiedliche Brandabschnitte

Pros:
- schneller Zugriff über die Snapshots
- Bareos als Langzeitarchiv

Contra:
- Bareos ist bei Restores nicht ganz so schnell
- Strategie muss gut überlegt/dokumentiert sein
- Speicherplatzbedarf recht groß

Benutzeravatar
heisenberg
Beiträge: 1539
Registriert: 04.06.2015 01:17:27

Re: Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 14.12.2017 23:15:54

Die Frage, die ich mir auch stelle, ist ob ich ein Imagebackup(VMs) brauche und merke gerade, das es eigentlich nicht unbedingt notwendig ist. Die Umgebung bei mir ist gut überwacht. Plattenprobleme werden unmittelbar erkannt. Fast alles RAID. Die Vorfälle in den letzten Jahren, ein Vollbackup wieder herzustellen, kann ich an einer Hand abzählen.
Die Welt und die Menschen brauchen Dich! Engagiere Dich für den Klimaschutz!

uname
Beiträge: 10001
Registriert: 03.06.2008 09:33:02

Re: Backup: Was nutzt Ihr dafür?

Beitrag von uname » 15.12.2017 08:21:01

Vor mittlerweile fast 10 Jahren habe ich mal ein Programm geschrieben: https://wiki.ubuntuusers.de/Skripte/Backup_mit_RSYNC

Unterscheiden muss man vor allen zwischen 1:1-Backups mit einer Basis wie "rsync" und der Abhängigkeit von Dateisystemen und Tarball-Archive z.B. auf Basis von "tar", die eine Speicherung auf alternativen Dateisystemen ermöglichen.
heisenberg hat geschrieben:Die Vorfälle in den letzten Jahren, ein Vollbackup wieder herzustellen, kann ich an einer Hand abzählen.
Aber sie kommen trotz RAID (wenn auch vielleicht seltener) vor. RAID ist kein Backup und kann es nicht ersetzen.

Benutzeravatar
heisenberg
Beiträge: 1539
Registriert: 04.06.2015 01:17:27

Re: Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 15.12.2017 08:26:22

uname hat geschrieben: Aber sie kommen trotz RAID (wenn auch vielleicht seltener) vor. RAID ist kein Backup und kann es nicht ersetzen.
Ja natürlich ist RAID kein Backup. Und es geht genau darum, das man das Backup dann wesentlich seltener braucht. Weniger Downtime. Weniger Arbeit(kein vollständiger Recover notwendig, nur Plattentausch).

Und genau das war mein Punkt: Ich brauche kein "Imagebackup", damit der Restore schnell und problemlos vonstatten geht. Die wenigen Male, die das erforderlich war, konnte ich den Recover dateibasiert zurückspielen.
Die Welt und die Menschen brauchen Dich! Engagiere Dich für den Klimaschutz!

bmk555
Beiträge: 8
Registriert: 15.08.2017 16:42:44

Re: Backup: Was nutzt Ihr dafür?

Beitrag von bmk555 » 15.12.2017 13:43:50

Hallo,

ich nutze areca und habe dazu im letzten Jahr einen Foreneintrag verfasst:
Vorteile:
  • Java-Programm und dadurch OS-unabhängig
  • graph. Oberfläche aber auch über Konsole benutzbar (z.B. für Cronjob)
  • schreibt "normale" ZIP-Files, so dass man auch "händisch" an die gesicherten Daten heran kommt
Gruß bmk

slu
Beiträge: 1647
Registriert: 23.02.2005 23:58:47

Re: Backup: Was nutzt Ihr dafür?

Beitrag von slu » 15.12.2017 17:28:18

Nach Jahren BackupPC hab ich inzwischen auf Debianrsbackup umgestellt.
Normal kann man dort mehrere Festplatten rotieren, habe mich aber für ein Offsite Backup 1x die Woche mit rsync entschlossen.

Sie auch:
viewtopic.php?f=34&t=161703&hilit=rsbackup
Gruß
slu

Das Server Reinheitsgebot:
Debian Stretch, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER

Benutzeravatar
heisenberg
Beiträge: 1539
Registriert: 04.06.2015 01:17:27

Re: Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 15.12.2017 19:16:48

@slu: Gibt es etwas an rsbackup was Dir gefällt? Hast Du Lust etwas mehr darüber zu schreiben?
Zuletzt geändert von heisenberg am 16.12.2017 00:56:16, insgesamt 1-mal geändert.
Die Welt und die Menschen brauchen Dich! Engagiere Dich für den Klimaschutz!

Benutzeravatar
jph
Beiträge: 626
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Backup: Was nutzt Ihr dafür?

Beitrag von jph » 15.12.2017 22:45:03

Auf meinem Server erzeuge ich btrfs-Snapshots, die ich mittels btrfs-snap (gestartet per crontab) automatisch rotiere. Aber das ist kein echtes Backup. Alle paar Wochen schließe ich daher eine USB-Festplatte an und starte rsnapshot von Hand.

https://github.com/jf647/btrfs-snap

Mein Desktop sichert ~ per Déja Dup. Das ist fein in GNOME integriertes Frontend für duplicity. Das System an sich sichere ich nicht.

schwedenmann
Beiträge: 4368
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Backup: Was nutzt Ihr dafür?

Beitrag von schwedenmann » 15.12.2017 23:43:05

Hallo


Jeder PC hat eine 2. HDD zwecks Backup, darauf wird alle 2-3 tage per luckybackup mit 3 snapshots gesichert, das Ganze wird manuell angetoßen.
Am WE wird dann von diesen Backupplatten per script + rsync (auch manuell angestoßen) auf eine kleinen Server kopiert (im Moment Debian-Sid, geplant ist FreeBSD + ZFS), der Server wird nicht gesichert, weder OS noch Daten :D
Dann sichere ich einmal pro Woche per dar nur bei meinem Hauptrechner mit 4xOS, jedes OS komprimiert (auf die lokale Backupplatte) und in Häppchen zu 4.3GB um sie dann noch zusätzlich auf DVD-RW zu brennen.
Zuletzt sicher ich momentan nur bei meinem PC noch /etc und die Paketliste täglich per Script + anacron.

Geplant ist für die Zukunft, die Sicherung von den lokalen Platten auf den Server ev. mit Bareos, oder BackupPC zu realisieren.

mfg
schwedenmann

slu
Beiträge: 1647
Registriert: 23.02.2005 23:58:47

Re: Backup: Was nutzt Ihr dafür?

Beitrag von slu » 16.12.2017 12:27:16

heisenberg hat geschrieben: ↑ zum Beitrag ↑
15.12.2017 19:16:48
@slu: Gibt es etwas an rsbackup was Dir gefällt? Hast Du Lust etwas mehr darüber zu schreiben?
Nach Jahre langem BackupPC hatte ich immer öfter Probleme mit Windows Shares, dem Offsite Backup und der Laufzeit von BackupPC.

Genau diese Sachen konnte ich mit rsbackup lösen:
  • sehr schnelle Durchlaufzeit, da "einfacher" rsync
  • Windows Shares werden einfach lokal gemountet und dann mir rsync gesichert
  • Offsite Backup der letzten Sicherung einfach mir rsync auf wechsel Platten kopiert
Leider ergaben sich daraus auch Nachteile:
  • mehr Platzbedarf da kein Polling
  • kein Webinterface zum Browsen und herstellen der Daten
Alles in allem überwiegen für mich die Vorteile, es sollte auch eine Backuplösung sein die überschaubar ist und an jedem Linux PC die Daten gelesen werden können.
Das Offsite Backup ist übrigens verschlüsselt.
Gruß
slu

Das Server Reinheitsgebot:
Debian Stretch, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER

Benutzeravatar
heisenberg
Beiträge: 1539
Registriert: 04.06.2015 01:17:27

Re: Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 18.12.2017 14:35:08

Hier sind nochmal die Deduplizierungsstatistiken von meinen BackupPCs. Das sind jeweils die Zählungen der mehrfach gespeicherten Dateien.

Server 1(Sehr lange Backuphistorie, teilweise Jahre):

Code: Alles auswählen

Processed files:                       705,098,660
Files with duplicates:                  37,853,143
Duplicate files:                       679,891,171
Saved Space due to hardlinking: 41,367,875,664,614
Server 2(1 Monat Aufbewahrungszeit).

Code: Alles auswählen

Mo 18. Dez 09:23:00 CET 2017
76052790 files.txt
Processed files:                        76,052,790
Files with duplicates:                  11,783,091
Duplicate files:                        74,919,716
Saved Space due to hardlinking:  3,921,560,168,569
Server 3(Auch längere Aufbewahrungszeit)

Code: Alles auswählen

Processed files:                       230,955,464
Files with duplicates:                  21,870,079
Duplicate files:                       230,884,789
Saved Space due to hardlinking: 12,835,452,829,924
Script dazu ist hier:

https://github.com/megabert/script-past ... _space.lua
Die Welt und die Menschen brauchen Dich! Engagiere Dich für den Klimaschutz!

Antworten