Backup: Strategien - Programme - Erfahrungen

Einrichten des lokalen Netzes, Verbindung zu anderen Computern und Diensten.
Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 25.02.2018 15:47:39

Einer der Vertreter, die hier noch gar nicht genannt wurde ist:

borgbackup
  • Kommandozeile
  • Deduplikation
  • Verschlüsselung
  • hohe Geschwindigkeit
  • Backups kann man mounten
  • Einfach zu benutzen
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
spiralnebelverdreher
Beiträge: 1294
Registriert: 23.12.2005 22:29:03
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Frankfurt am Main

Re: Backup: Was nutzt Ihr dafür?

Beitrag von spiralnebelverdreher » 25.02.2018 17:20:01

heisenberg hat geschrieben: ↑ zum Beitrag ↑
14.12.2017 21:03:04
Was habt Ihr für Programme zur Datensicherung im Einsatz?
Debianrdiff-backup
heisenberg hat geschrieben: ↑ zum Beitrag ↑
14.12.2017 21:03:04
Was sichert Ihr damit?
/home, /etc und spezielle Partitionen (z.B. Fotosammlung)
heisenberg hat geschrieben: ↑ zum Beitrag ↑
14.12.2017 21:03:04
Was gefällt Euch daran?
Es ist einfach und dennoch mächtig
heisenberg hat geschrieben: ↑ zum Beitrag ↑
14.12.2017 21:03:04
Was gefällt Euch daran nicht?
Es ist einfach und man muss trotzdem die man pages genau lesen wenn man was ganz bestimmtes erreichen will.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 16.04.2018 10:10:15

Hier noch das passende Youtube-Video zur Motivation:

https://www.youtube.com/watch?v=jN5mICXIG9M
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Backup: Was nutzt Ihr dafür?

Beitrag von schwedenmann » 04.05.2018 23:38:02

Hallo

@heisenberg

Borg-Backup kann aber afaik keine Verzeichnisse, oder Dateitypen von der Sicherung ausnehmen, ich habe jedenfalls auf der HP nichts derartiges gefunden.

Sorry das geht doch, bleiben aber immer noch 1 Kritikpunkt-

Selbst wenn man bei create --compression-none angibt, wird ein Archiv erzeugt. man benötigt borg-backup also auf jeden Fall, wenn man an die Daten im Archiv kommen möchte. cp oder dergleichen tun es nicht.

mfg
schwedenmann

P.S.
Burp-backup wäre auch ein Backupkandidat.

JensArch
Beiträge: 2
Registriert: 02.03.2020 16:54:37

Re: Backup: Was nutzt Ihr dafür?

Beitrag von JensArch » 02.03.2020 17:22:01

Für ein lokal angeschlossenes Backup-Medium (zweite Festplatte, bzw. ein USB-Stick) empfehle ich https://github.com/Fitus/Zaloha.sh. Es ist einfach zu benutzen, und man hat Kontrolle über was gemacht wird.

DeletedUserReAsG

Re: Backup: Was nutzt Ihr dafür?

Beitrag von DeletedUserReAsG » 02.03.2020 17:28:45

Tipp: es macht absolut keinen guten, und auch keinen seriösen, Eindruck, wenn du jetzt alle kalten, toten Threads zum Thema „Backup“ aus ihrem Grab holst, um für dein Script da zu spammen.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 03.03.2020 02:07:34

JensArch hat geschrieben: ↑ zum Beitrag ↑
02.03.2020 17:22:01
Für ein lokal angeschlossenes Backup-Medium (zweite Festplatte, bzw. ein USB-Stick) empfehle ich https://github.com/Fitus/Zaloha.sh. Es ist einfach zu benutzen, und man hat Kontrolle über was gemacht wird.
Hallo Jens,

herzlich willkommen im Forum. Was hat Dich denn motiviert, Zaloha zu schreiben? Was hat Dir bei anderen Programmen gefehlt, was Du unbedingt dort haben möchtest? Was kann es, was cp oder rsync nicht können? Was waren die Erkenntnisse beim entwickeln des Programms? Mach dazu vielleicht einfach auch gerne mal einen neuen Thread auf - vielleicht in Softwareentwicklung und -paketierung, Scripting, stell das Script einfach mal vor, nimm meine Fragen als Anregungen darüber zu schreiben und mach Dir nicht all zu viel draus, falls da sehr viel Kritik kommen sollte ;-)

Der Ansatz hat dann auch den Mehrwert, dass jemand, der nach deinem Programm sucht, eine Diskussion findet, die vielleicht zusätzliche Einblicke beschert. (Ich habe Deinen Artikel zum Programm gelesen und auch mal kurz in den Code geschaut(Aus persönlicher Schmerzvermeidungstrategie gehe ich Shellscripten ab 200 Zeilen lieber aus dem Weg und nehme eine Scriptsprache(php,perl,lua,...)).

Viele Grüße,
h.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Backup: Was nutzt Ihr dafür?

Beitrag von MSfree » 03.03.2020 14:23:15

heisenberg hat geschrieben: ↑ zum Beitrag ↑
03.03.2020 02:07:34
Aus persönlicher Schmerzvermeidungstrategie gehe ich Shellscripten ab 200 Zeilen lieber aus dem Weg
Das hast du aber sehr diplomatisch ausgedrückt. :mrgreen:

Zumal dieses Zaloha.sh mit seinen 3804(!) Zeilen dem eigenen Anspruch:
Zaloha is a small and simple directory synchronizer
Nicht gerade gerecht wird.

Vor allem, wozu?
Was soll das besser können als rsync?

Solche Zuweisungsorgien aus dem Skript:

Code: Alles auswählen

f000="${metaDir}${f000Base}"
f100="${metaDir}${f100Base}"
f102="${metaDir}${f102Base}"
f104="${metaDir}${f104Base}"
f106="${metaDir}${f106Base}"
f110="${metaDir}${f110Base}"
f130="${metaDir}${f130Base}"
f150="${metaDir}${f150Base}"
f170="${metaDir}${f170Base}"
f190="${metaDir}${f190Base}"
f200="${metaDir}${f200Base}"
f210="${metaDir}${f210Base}"
f220="${metaDir}${f220Base}"
f300="${metaDir}${f300Base}"
f310="${metaDir}${f310Base}"
f320="${metaDir}${f320Base}"
f330="${metaDir}${f330Base}"
f340="${metaDir}${f340Base}"
f350="${metaDir}${f350Base}"
f360="${metaDir}${f360Base}"
f370="${metaDir}${f370Base}"
f380="${metaDir}${f380Base}"
f390="${metaDir}${f390Base}"
f405="${metaDir}${f405Base}"
f410="${metaDir}${f410Base}"
f420="${metaDir}${f420Base}"
f430="${metaDir}${f430Base}"
f490="${metaDir}${f490Base}"
f500="${metaDir}${f500Base}"
f505="${metaDir}${f505Base}"
f510="${metaDir}${f510Base}"
f520="${metaDir}${f520Base}"
f530="${metaDir}${f530Base}"
f540="${metaDir}${f540Base}"
f550="${metaDir}${f550Base}"
f555="${metaDir}${f555Base}"
f610="${metaDir}${f610Base}"
f620="${metaDir}${f620Base}"
f630="${metaDir}${f630Base}"
f640="${metaDir}${f640Base}"
f650="${metaDir}${f650Base}"
f690="${metaDir}${f690Base}"
f700="${metaDir}${f700Base}"
f800="${metaDir}${f800Base}"
f810="${metaDir}${f810Base}"
f820="${metaDir}${f820Base}"
f830="${metaDir}${f830Base}"
f840="${metaDir}${f840Base}"
f850="${metaDir}${f850Base}"
f860="${metaDir}${f860Base}"
f999="${metaDir}${f999Base}"
würde ich glatt den ersten Preis im Obfuscated Bash Programming Contest geben.

In meinen Augen ist völlig unverständlicher Code der extrem schwer nachvollziehbar ist. Meine Qualitätskontrolle hätte das nicht passiert. Ich kann nur davon abraten, das Ding zu benutzen. Ich habe auch keine Bock, herauszufinden, ob der Code nicht doch irgendwelche Strings zusammenbastelt, mit dem dann Emotett auf den Rechner gezogen wird.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 03.03.2020 16:08:40

Ich muss Jens allerdings Respekt zollen, dass er sein Programm selbst noch versteht.

Code: Alles auswählen

${awk} '{ print }' << PARAMFILE > "${f000}"
${TRIPLET}${FSTAB}sourceDir${FSTAB}${sourceDir}${FSTAB}${TRIPLET}
${TRIPLET}${FSTAB}sourceDirAwk${FSTAB}${sourceDirAwk}${FSTAB}${TRIPLET}
${TRIPLET}${FSTAB}sourceDirPattAwk${FSTAB}${sourceDirPattAwk}${FSTAB}${TRIPLET}
${TRIPLET}${FSTAB}sourceDirEsc${FSTAB}${sourceDirEsc}${FSTAB}${TRIPLET}
${TRIPLET}${FSTAB}sourceDirTerm${FSTAB}${sourceDirTerm}${FSTAB}${TRIPLET}
${TRIPLET}${FSTAB}backupDir${FSTAB}${backupDir}${FSTAB}${TRIPLET}
${TRIPLET}${FSTAB}backupDirAwk${FSTAB}${backupDirAwk}${FSTAB}${TRIPLET}
...
...(insgesamt 70 solcher zeilen mit langem awk code)... 
...
PARAMFILE
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Borg & Verschlüsselung

Beitrag von heisenberg » 26.07.2023 18:13:16

Ich möchte bei dem Thread-Thema noch etwas ergänzen, auch wenn der Thread schon eine Weile alt ist:

Ich mag Borg ja eigentlich nicht so, hauptsächlich wegen der Push-/Pull Problematik.

Wo ich gerade am umdenken bin, ist die Verschlüsselung von Backups. Das mochte ich die ganze Zeit eher nicht. Aber ich denke im Cloud-Zeitalter ist es eigentlich angemessen grundsätzlich alles an sensiblen Daten, die irgendwo anders als im eigenen RZ oder dem heimischen Rechner liegen zu verschlüsseln. Und da ist der Push-Ansatz von Borg ja doch etwas, was das ganze sicherer macht.

Ich schiebe irgendwo nur einen Bithaufen drauf und das Zielsystem weiss überhaupt nicht, was es für Daten hat. Ich denke, wenn ein remote-fs da nicht dauerhaft eingebunden ist, dürfte die automatische Trojaner-Verschlüsselung recht unwahrscheinlich werden, da ich diese Programme als hochgradig automatisiert operierend einschätzen würde. D. h. alles auf der Platte wird verschlüsselt. Aber das, was nicht direkt sichtbar ist, ist so erst einmal sicher.

---

Und apropos zaloha.sh: Es gibt mittlerweile zaloha2.sh: A Simple Local Directory Synchronizer Script for Linux (only 5391 Lines of Bash/AWK-Code).
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
GregorS
Beiträge: 2518
Registriert: 05.06.2008 09:36:37
Wohnort: Freiburg
Kontaktdaten:

Re: Borg & Verschlüsselung

Beitrag von GregorS » 27.07.2023 01:49:42

heisenberg hat geschrieben: ↑ zum Beitrag ↑
26.07.2023 18:13:16
Ich mag Borg ja eigentlich nicht so, ...
Ich mag bei Dingen, die mir besonders wichtig sind, grundsätzlich keine „Fremdprogramme“. Daher habe ich mir mein Backup-Script selbst geschrieben und dabei darauf geachtet, nur „alte und voraussichtlich langlebige 08/15-Tools“ wie rsync zu verwenden. So etwas anzustellen, macht zwar einmal viel Arbeit, aber wenn man es halbwegs schlau anstellt, hat man hinterher den absolut vollständigen Durchblick und ist im Notfall nicht auf andere(s) angewiesen.
Mein Backup-Script um Verschlüsselung und Upload irgendwo hin zu erweitern würde vielleicht zwei zusätzliche Zeilen mit ein/zwei Pipes erfordern.

Mach' sowas am besten selbst „zu Fuß“. Nur wenn Du es selbst machst, ist es wirklich so, wie Du es haben möchtest.

Gruß

Gregor
Wenn man keine Probleme hat, kann man sich welche machen. ("Großes Lötauge", Medizinmann der M3-Hopi [und sog. Maker])

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Backup: Was nutzt Ihr dafür?

Beitrag von schwedenmann » 27.07.2023 10:59:08

Hallo


@heisenberg
Wo ich gerade am umdenken bin, ist die Verschlüsselung von Backups. Das mochte ich die ganze Zeit eher nicht. Aber ich denke im Cloud-Zeitalter ist es eigentlich angemessen grundsätzlich alles an sensiblen Daten, die irgendwo anders als im eigenen RZ oder dem heimischen Rechner liegen zu verschlüsseln.
Wenn es um daten von Kunden geht (also backup einens Kunden), dann würde ich auf jedenfall verschklüseln,wenn du das Backup in der Cloud speicherst. Wenn du das lokal vorhälst,würde ich es eher nicht machen.

ich weiß ich bin ambivalent,was backups und Verschlüsselung angeht, auch was backups und Komprimierung angeht. Obwohl da wohl kein grund zu besteht,hätte ich immer Angst,das das dekomprimieren, Entschlüseln nciht klappt und genau dann,wenn das backup gebraucht wird. Ich mache auch aus denselebn Gründen keine inkrementellen,differentielle Backups (wenn was klemmt,klappt der restore nicht).

Bei Verschlüsselung eines backups für Kunden würde ich außerdem die Paßphrase dem Kunden als Kopie übergeben.

mfg
schwedenmann

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Borg & Verschlüsselung

Beitrag von heisenberg » 27.07.2023 13:07:42

GregorS hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 01:49:42
Mach' sowas am besten selbst „zu Fuß“. Nur wenn Du es selbst machst, ist es wirklich so, wie Du es haben möchtest.
Diese Strategie scheint wohl für Dich die passende gewesen zu sein. Was speziell hast Du da an Erfahrungen gemacht? Also negative Erfahrungen, bevor Du Dir diese Strategie angeeignet hast, als auch positive Erfahrungen, nachdem Du nach dieser Strategie verfährst?
schwedenmann hat geschrieben:Ich weiß ich bin ambivalent ...
Das geht mir da nicht anders. Ich habe Backupverschlüsselung bisher gemieden wie der Teufel das Weihwasser, weil mir ein funktionierendes Backup sehr wichtig ist und da möchte ich gerne alle unnötige Komplexität vermeiden. Aber Verschlüsselung ist - so wie ich das jetzt sehe - manchmal notwendig.

---

Ansonsten, was meine Strategie bzgl. Backup angeht, ist die ungefähr folgende:

Ich suche mir Software aus, die mir intuitiv gefällt und verabschiede mich davon, wenn ich merke, dass die sich nicht bewährt. Ich komme nicht auf die Idee, mir großartig selbst Skripte zu schreiben, sobald das einen gewissen Umfang überschreitet. Grundsätzlich könnte ich das natürlich alles auch selber schreiben, aber wenn ich sehe, was die Backupprogramme, die ich schätze (BackupPC, borg, rsnapshot), alles leisten und wie stabil und gereift diese Programme sind, dann sind das für mich die viel besseren Alternativen. Ich hätte nie den Nerv mich so lang andauernd damit zu beschäftigen und dementsprechend fehlerbehaftet wären meine Scripte dann.

Mir ist es wichtig, dass Backups absolut zuverlässig sind. Da hatte ich mit meiner Strategie bisher noch keine Reinfälle.

Ein Erlebnis in Bezug auf Backups bisher war, dass ich ein selbstgestricktes BackupSystem bei einem Kunden von irgend einem vorigen Admin gehabt habe. Der hat dann irgendwas mit rsync gemacht und das ganze dann mit zfs snapshots rotiert. Das fand der Admin bestimmt total cool. Doof ist halt, dass dieses Backupsystem keine Symlinks mitgesichert hat. Als ich das BackupSystem für eine volle Systemwiederherstellung brauchte, war das halt schon doof, dass da so 20-50 Symlinks gefehlt hatten. Das hat mich dann ca. 1 Tag gekostet, um das System in viel Kleinarbeit wieder zum Laufen zu bringen.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
cosinus
Beiträge: 3410
Registriert: 08.02.2016 13:44:11
Lizenz eigener Beiträge: GNU General Public License
Wohnort: Bremen

Re: Backup: Was nutzt Ihr dafür?

Beitrag von cosinus » 27.07.2023 13:53:33

Privat mach ich meine Backups auf externe Platten bzw normale Platten, die per HDD-Dock über USB angeschlossen sind. Dann etwa wöchentlich: von den wichtigsten Verzeichnissen wie etc, home oder var wird ein Archiv (SQUASHFS) gemacht und auf die ext. Platte geschrieben. Wenn ich Lust hab mach ich zusätzlich noch eine komplette Kopie meines Systemes mittels rsync :)

Im Büro: da unsere produktiven Server alle virtuell sind (VMWare ESXi) sichern wir alle VMs (Linux und Windows) täglich komplett mit Veeam Backup & Replication auf ein NAS. Monatlich noch ein Active Full Backup auf ein sekundäres NAS.

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Backup: Was nutzt Ihr dafür?

Beitrag von schwedenmann » 27.07.2023 14:20:11

Hallo

Momentan wird bei mir so gesichert.

Situation : 1 Hauptpc, 1 Multibootpc mit12 Linuxen und 1x backupserver mit freebsd, zfs und 2x 3Tb im mirror.

Jeden Tag wird vom HauptPC /etc und die Paketliste per anacron auf /shared (ist eine reine Datenpartition) gesichert.
Einmal im Momant sicher ich von einem 2.Linux auf dem Hauptpc aus sentimentalen Gründen das komplette / + /boot per dar auf /shared in 4,4GB Häppchen, dar erstellt ein Archiv.
Jeden 2. Tag sicher ich /home /shared sowie meine Musiksammlung per rsyncscript manuell auf eine 2.lokale Backupplatte,die Sicherung erfolgt manuell.
Jeden Sonntag sicher ich von dieser lokalen Platte per ssh + rsync auf den Freebsdserver. Somit hab eich quasi 3 backups von /home /shared und der mp3-Sammlung.
Den Multibootpc sicher ich auf eine 2.lokale Platte per
a. partclone + fsarchiver, siwie an einem anderen tag noch mit borgbackup. Hier geht es mir ums testen der backupsoftware (partclone,fsarchiver und borgbackup) zwecks Schnelligkeit ud Zuverlässigkeit.


dbms sicher ich alle 2 Tage per
mariabackup
pgbackrest + pgmetrics (gibt eine Textadtei aus mit Systemdaten,dbs, konfiguration der DB, incl Datenbanken und tables-Übersicht)


Bareos und backuppc hatte ich auch mal getestet, wobei ich bei backuppc an der konfiguration gescheietrt bin, bei bareos hat alles gejklappt,obwohl m.M. nach dessen einrichtung wesentlich fehleranfälliger ist als bei anderen backupsystemen. Was ich bei dieser art SW gut finde,ist die Speicherung und darstellung der Sicherungen in der Datenbank,womit man eine schnellen Überblick über alle sicvherungem datums, etc hat.



mfg
schwedenmann

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Backup: Was nutzt Ihr dafür?

Beitrag von MSfree » 27.07.2023 15:02:43

Warum braucht man so viele verschiedene Backupstrategien, daß es so viele verschiedene Programme geben muß?
  • Vollständige Backups? Die benötigen sehr viel Platz, was die Anzahl der Backupgenerationen stark einschränkt.
  • Inkrementelle Backups? Die sind Mist, weil sie Löschvorgänge nicht nachvollziehen können.
  • Backup mit Hardlinks? Vereinen die Vorteile eines vollständigen Backups mit inkrementellen Backups, ohne deren Nachteile zu übernehmen. Allerdings dauert der Backupvorgang sehr lange und sind für sehr große Datenbestände ungeeignet.
  • Snapshots? Funktionieren nur mit bestimmten Dateisystemen (teilweise problematisches Lizenzmodell). Sie sind aber verhältnismässig schnell gesichert.
  • Versionsunabhängig? Das Backup wird möglicherweise erst zwei Debianreleases später benötigt. Da paßt dann vieles aus dem Busterbackup nicht zum aktuellen Bookworm.
Auch die Frage, was alles gesichert werden soltle, stellt sich.
  • /etc? Konfigurationsdateien können sich mit dem nächsten OS-Release ändern und ggfls. inkompatibel werden. Mein letztes Aha-Elebnis war, daß bind9 nicht mehr nach /etc/bind schreiben darf und alles nach /var verlagert wurde.
  • /home? Ähnlich wie unter /etc können Konfigurationsdateien und ~/.config inkompatibel werden und den Desktop sogar abstüzen lassen.
  • /var? Kompatibilitätsproblemaitk wie /etc und /home. Das meiste hier ist sowieso eher temporärer Natur.
Die Zielsetzung:
  • Vollständigkeit? Also wirklich jede Datei oder Trennung von System und Nutzerstorage?
  • Geschwindigkeit des Backups
  • Geschwindigkeit der Wiederherstellung
  • Platzbedarf des Backups
  • Einfachheit der Einrichtung, Wartung
  • Wohin mit dem Backup? USB-Stick, externe Fastplatte, NAS, SAN, Cloud
rsync und seine davon abgeleiteten Abkömmlinge (z.B. rsnapshot) sind bis zu einer gewissen Datenmenge noch OK. Aber ein Seagate Corevault, das nicht einmal zu den besonders großen NAS/SANs gehört, will man mt rsync und Konsorten nicht mehr anfassen, wenn es mal mehr als 10% gefüllt ist.

Andererseits sind komplexe Methoden, wie snapshotfähige Dateisysteme, nicht für jeden und alles geeignet. Für Otto-Normalverbraucher, der seine Dateien per USB-Stick vom Desktoprechner zum 50cm daneben stehenden Laptop transportiert, sind diese Methoden viel zu kompliziert.

Benutzeravatar
cosinus
Beiträge: 3410
Registriert: 08.02.2016 13:44:11
Lizenz eigener Beiträge: GNU General Public License
Wohnort: Bremen

Re: Backup: Was nutzt Ihr dafür?

Beitrag von cosinus » 27.07.2023 20:40:10

MSfree hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 15:02:43
Auch die Frage, was alles gesichert werden soltle, stellt sich.
Bei uns nicht. Die VMs müssen komplett gesichert werden, ohne Wenn und Aber. Das Vollbackup wird 1x monatlich gemacht, ansonsten nur inkrementelle Sicherungen.
Wenn was wiederhergestellt werden muss, hat man dann alle Optionen. Entweder einzelne Dateien oder Verzeichnisse oder eben ganze Dateisysteme bzw. die gesamte VM.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Backup: Was nutzt Ihr dafür?

Beitrag von heisenberg » 27.07.2023 20:50:28

Zum Thema "alles sichern":

Ein Dienstleister eines Kunden hatte mal recht kurzfristig eine Anwendung programmiert. Irgendwann wurde das System dann mal neu gestartet und mit einem Mal waren die Daten weg. Was war geschehen? Der Dienstleister hatte die Daten unter /tmp abgelegt und nach dem Neustart waren die Daten dann eben weg und /tmp sichere ich natürlich nicht.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
GregorS
Beiträge: 2518
Registriert: 05.06.2008 09:36:37
Wohnort: Freiburg
Kontaktdaten:

Re: Borg & Verschlüsselung

Beitrag von GregorS » 27.07.2023 21:05:50

heisenberg hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 13:07:42
GregorS hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 01:49:42
Mach' sowas am besten selbst „zu Fuß“. Nur wenn Du es selbst machst, ist es wirklich so, wie Du es haben möchtest.
Diese Strategie scheint wohl für Dich die passende gewesen zu sein. Was speziell hast Du da an Erfahrungen gemacht? Also negative Erfahrungen, bevor Du Dir diese Strategie angeeignet hast, als auch positive Erfahrungen, nachdem Du nach dieser Strategie verfährst?
Wieso ich mir das angewöhnt habe, weiß ich gar nicht mehr. Vermutlich war es ein ganzes Bündel an Dingen. Ein Grund dafür, nicht zu packen oder gar zu verschlüsseln ist, dass ich so jederzeit ohne jedes Hilfsmittel auf die Daten zugreifen kann. „cp“ oder Drag-n-drop genügen. Und was den Platz angeht: Macht das denn wirklich noch irgendwo Probleme? So eine TB-HD koscht doch so gut wie nichts mehr.
... und dementsprechend fehlerbehaftet wären meine Scripte dann.
Bei mir traten nur wenige Fehler auf. Und jeder Fehler immer nur ein einziges Mal. Die ersten paar Wochen habe ich hier und da ein bisschen gefixt. Das letzte Mal ist viele Jahre her. Änderungen wie zusätzliche Rechner ausgenommen.
Mir ist es wichtig, dass Backups absolut zuverlässig sind. Da hatte ich mit meiner Strategie bisher noch keine Reinfälle.
Das Blöde ist nur, dass die Fehler immer da auftreten, wo man sie nicht erwartet. Shit happens nunmal. Ich stehe auf einfache Sachen, die mit Zuverlässigkeit und Langlebigkeit glänzen. Und ich stehe überhaupt nicht darauf, wenn mir irgendeine blöde Sache den Zugriff auf meine Daten erschwert oder gar Geld haben will.

Gruß

Gregor
Wenn man keine Probleme hat, kann man sich welche machen. ("Großes Lötauge", Medizinmann der M3-Hopi [und sog. Maker])

Benutzeravatar
cosinus
Beiträge: 3410
Registriert: 08.02.2016 13:44:11
Lizenz eigener Beiträge: GNU General Public License
Wohnort: Bremen

Re: Backup: Was nutzt Ihr dafür?

Beitrag von cosinus » 27.07.2023 21:07:44

heisenberg hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 20:50:28
Der Dienstleister hatte die Daten unter /tmp abgelegt
:facepalm: :mrgreen:
heisenberg hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 20:50:28
und /tmp sichere ich natürlich nicht.
Da /tmp bei nächsten reboot ja eh weg ist, bind ich es immer als ramdisk ein.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Borg & Verschlüsselung

Beitrag von heisenberg » 27.07.2023 22:22:13

GregorS hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 21:05:50
Wieso ich mir das angewöhnt habe, weiß ich gar nicht mehr. Vermutlich war es ein ganzes Bündel an Dingen. Ein Grund dafür, nicht zu packen oder gar zu verschlüsseln ist, dass ich so jederzeit ohne jedes Hilfsmittel auf die Daten zugreifen kann. „cp“ oder Drag-n-drop genügen. Und was den Platz angeht: Macht das denn wirklich noch irgendwo Probleme? So eine TB-HD koscht doch so gut wie nichts mehr.
Ja. Für den Privatbereich ist mit Sicherheit sehr angenehm so. Dass die Dateien/Verzeichnisse einfach so da lagen, dass habe ich an rsnapshot auch sehr geschätzt.
Mir ist es wichtig, dass Backups absolut zuverlässig sind. Da hatte ich mit meiner Strategie bisher noch keine Reinfälle.
Das Blöde ist nur, dass die Fehler immer da auftreten, wo man sie nicht erwartet. Shit happens nun mal. Ich stehe auf einfache Sachen, die mit Zuverlässigkeit und Langlebigkeit glänzen. Und ich stehe überhaupt nicht darauf, wenn mir irgendeine blöde Sache den Zugriff auf meine Daten erschwert oder gar Geld haben will.
Ja. Da kann recht wenig kaputt gehen, wenn man's so einfach hält. Das ist prinzipiell eine sehr sichere Methode, mit der man sich wenig Probleme einhandeln kann, weil je einfacher desto weniger mögliche Fehler. Geld muss man dank ausreichend vieler und hochqualitativer OSS-Möglichkeiten auch gar nicht ausgeben.

---

Ich sehe da, dass ich im Vergleich zu Dir wenig private Langzeitarchivierung habe.

Gleichzeitig schätze ich auch im privaten Umfeld eine GUI, mit der ich schnell durch die verschiedenen Backups navigieren kann und mit wenigen Klicks auch etwas auf entfernten Systemen wiederherstellen kann und nicht erst wissen muss, wo ich das hinkopieren muss und auch wie (ssh? ftp?). Im beruflichen Umfeld sowieso. Da sind einfach viel mehr Backupsätze und viel mehr Server. Das geht da einfach viel schneller von der Hand.

Was den Plattenplatz angeht, da bin ich auch privat recht dankbar für die Deduplikation. Ich habe eigentlich gar keinen richtigen Privat-PC mehr. Zeitweise gar keinen und aktuell nur noch einen alten Laptop als Surfstation. D. h. der steht für Die Sicherung nicht mehr zur Verfügung. Die Backups, die ich mache gehen auf meinen VServer und da bin ich froh, dass ich dank Deduplikation nur noch ca. Faktor 15-20 weniger an Speicherplatz brauche, sonst müsste ich für mehr Speicher im VServer doch mehr Asche auf den Tisch legen. Und auf der Arbeit ist die benötigte Sicherungskapazität dann halt nicht im 3 stelligen GB-Bereich sondern im 3-stelligen TB-Bereich und da sind dass dann schon ein paar mehr Platten, die das braucht.

Weiterhin bin ich froh über Leistungsmerkmale, die ich mal eben so schnell zusammen klicken und anpassen kann. Das könnte ich mir nie alles in der Qualität selbst zusammenscripten. (Ich habe schon viel gescriptet. Ich bin da realistisch. :) ) Auch denke ich mir: Wenn es so tolle OSS-Programme gibt, die so viele nützliche Dinge können und das zuverlässig, wieso sollte ich die dann nicht nutzen?

Der grosse Unterschied zwischen Privatumfeld und Firmenumfeld ist dann halt das Geld und die Arbeitszeit von einem Admin kostet sehr viel davon. Bzw. die Resource Arbeitszeit des Admins ist auch irgendwo endlich. Und weiterhin: Wenn eine Software dort entsprechende Ersparnisse bzw. Vorteile bringt, dann darf die meiner Meinung nach auch das entsprechende Geld kosten.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
GregorS
Beiträge: 2518
Registriert: 05.06.2008 09:36:37
Wohnort: Freiburg
Kontaktdaten:

Re: Borg & Verschlüsselung

Beitrag von GregorS » 27.07.2023 22:47:03

heisenberg hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 22:22:13
...
Der grosse Unterschied zwischen Privatumfeld und Firmenumfeld ist dann halt das Geld und die Arbeitszeit von einem Admin kostet sehr viel davon. Bzw. die Resource Arbeitszeit des Admins ist auch irgendwo endlich. Und weiterhin: Wenn eine Software dort entsprechende Ersparnisse bzw. Vorteile bringt, dann darf die meiner Meinung nach auch das entsprechende Geld kosten.
Da kann ich inzwischen nicht mehr so richtig mitreden. Im Umfeld einer Firma und wenn es um Geld geht (womöglich um irgendeinen juristischen Dünnsinn) hat man andere Prioritäten.

Und gegen eine GUI ist ansich ja auch nichts einzuwenden. Aber wirklich gut (für Backups) kann ich so etwas nur finden, wenn man die Wiederherstellung auch hinbekommen kann, ohne sich tage- oder wochenlang mit Doku beschäftigen zu müssen. Doku kann wirklich schlecht sein, v.A. Übersetzungen.

Gruß

Gregor
Wenn man keine Probleme hat, kann man sich welche machen. ("Großes Lötauge", Medizinmann der M3-Hopi [und sog. Maker])

Benutzeravatar
cosinus
Beiträge: 3410
Registriert: 08.02.2016 13:44:11
Lizenz eigener Beiträge: GNU General Public License
Wohnort: Bremen

Re: Borg & Verschlüsselung

Beitrag von cosinus » 27.07.2023 23:27:58

GregorS hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 22:47:03
wenn man die Wiederherstellung auch hinbekommen kann, ohne sich tage- oder wochenlang mit Doku beschäftigen zu müssen. Doku kann wirklich schlecht sein, v.A. Übersetzungen.
An für sich macht die Backupsoftware ja die Tests. Zumindest ob alles fehlerfrei kopiert/gesichert werden konnte. Dann müssen aber eigentlich noch regelmäßige Wiederherstellungstest gefahren werden.
Ein Nofallkonzept sollte aber aber so gestrickt sein, dass man nicht Wochen mit dem Studieren dieser Doku verplempert, das Wiederherstellen an sich kann ja ja schon sehr lange dauern.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Borg & Verschlüsselung

Beitrag von MSfree » 28.07.2023 08:23:53

GregorS hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 21:05:50
Und was den Platz angeht: Macht das denn wirklich noch irgendwo Probleme? So eine TB-HD koscht doch so gut wie nichts mehr.
Bei mir lungern 2.5TB auf dem Server, da kommt man mit einer 1TB-Platte nicht weit.

Ich habe auch den Anspruch, eine Backuphistory haben zu wollen. Im Zweifellsfall will ich das Backup vom 11. November 2021 zurückspielen können. Das ist inzwischen fast 700 Tage her, was den Backupumfang auf 1.8 Petabyte erhöhen würde, also 1800 Kost-ja-nüscht-1TB-Platten.
cosinus hat geschrieben: ↑ zum Beitrag ↑
27.07.2023 23:27:58
Ein Nofallkonzept sollte aber aber so gestrickt sein, dass man nicht Wochen mit dem Studieren dieser Doku verplempert, das Wiederherstellen an sich kann ja ja schon sehr lange dauern.
Siehe oben "Zielsetzung". Die 6 Punkte lassen sich nicht gleichzeitig erfüllen. Im Privatbereich ist es egal, ob das Restore 30 Minuten oder 3 Tage dauert. Haupsache, man kann den Datenbestand wiederherstellen. Im professionellen Umfeld muß die abgekachelte VM eines Kunden in 10 Minuten wiederhergestellt und hochgefahren sein. Entsprechend andere Strategien müssen gewählt werden, da muß dann schonmal die Backuphistory kurz gehalten werden, wenn man nicht 700 Vollkopien einer VM vorhalten kann und will.

Wie wichtig aber eine History sein kann, merkt man, wenn eine VM von einem Verschlüsselungstrojaner befallen wurde. Das letzte unverschlüsselte Backup ist unter Umständen 3 Tage alt. Mit nur einer täglichen Kopie ist man also längst nicht abgesichert.

Oft ist es ja nicht die Hardware, die das zeitliche segnet sondern menschliches Versagen. Wie einfach kommt man an eine versehentlich gelöschte Datei wieder ran? Bei einem rsync-Backup ist das ganz einfach, bei BTRFS/ZFS-Snapshots möglicherweise auch, bei ZIP/TGZ-Dateien schon wesentlich schwerer, von Bandlaufwerken eine Katastrophe, wenn man ein 18TB fassendes LTO9-Band komplett durchsuchen muß.

Benutzeravatar
cosinus
Beiträge: 3410
Registriert: 08.02.2016 13:44:11
Lizenz eigener Beiträge: GNU General Public License
Wohnort: Bremen

Re: Borg & Verschlüsselung

Beitrag von cosinus » 28.07.2023 09:02:49

MSfree hat geschrieben: ↑ zum Beitrag ↑
28.07.2023 08:23:53
Im professionellen Umfeld muß die abgekachelte VM eines Kunden in 10 Minuten wiederhergestellt und hochgefahren sein.
Das funktioniert aber nicht immer. Wenn die gesamte VM kaputt ist und man sie komplett wiederherstellen muss, dauert es so lange, bis alle Daten aus dem Backup aufs SAN zurücktransferiert sind. Wenn das mehrere TB sind kann das deutlich länger dauern als 10 Minuten.

MSfree hat geschrieben: ↑ zum Beitrag ↑
28.07.2023 08:23:53
Entsprechend andere Strategien müssen gewählt werden, da muß dann schonmal die Backuphistory kurz gehalten werden, wenn man nicht 700 Vollkopien einer VM vorhalten kann und will.
Dafür gibt es inkrementelle oder differentielle Backups. Selbstverständlich muss das Backup-NAS auch für inkrementelle Backups mit ausreichend großen Platten bestückt sein.

MSfree hat geschrieben: ↑ zum Beitrag ↑
28.07.2023 08:23:53
Mit nur einer täglichen Kopie ist man also längst nicht abgesichert.
Dann muss man öfter Backups machen oder weitere Features nutzen wie zB bei einem Windows-Fileserver Schattenkopien aktivieren.

MSfree hat geschrieben: ↑ zum Beitrag ↑
28.07.2023 08:23:53
Wie einfach kommt man an eine versehentlich gelöschte Datei wieder ran? Bei einem rsync-Backup ist das ganz einfach, bei BTRFS/ZFS-Snapshots möglicherweise auch, bei ZIP/TGZ-Dateien schon wesentlich schwerer, von Bandlaufwerken eine Katastrophe, wenn man ein 18TB fassendes LTO9-Band komplett durchsuchen muß.
Mit guter Backupsoftware ist das kein Problem. Da kann man per Dateibrowser sehen, was wiederhergestellt werden kann. Und dann stellt man selektiv einzelne Dateien oder Ordner wieder her. Oder man stellt eben die gesamte VM bzw. alle virtuellen Disks wieder her. Einzelne Dateien und Ordner auch per Schattenkopie wenn man wie oben schon erwähnt.
Bandlaufwerke nutzen wir schon seit fast 10 Jahren nicht mehr... :?

Antworten