Daten-Integrität sicherstellen (ZFS & Co.)

Probleme mit Samba, NFS, FTP und Co.
Antworten
mrserious
Beiträge: 266
Registriert: 22.06.2013 12:12:03

Daten-Integrität sicherstellen (ZFS & Co.)

Beitrag von mrserious » 27.07.2017 13:02:47

Hallo zusammen,

wir haben es vor kurzem schonmal hier diskutiert:

viewtopic.php?f=9&t=166141&start=15

Mich interessiert: Wie stellt ihr die Integrität der Daten auf euren Dateiservern sicher? Mit Debian Board-Mitteln ist das ja schwierig, da ext4 und andere Dateisysteme keine Checksummen unterstützen.
Ich z.B. nutze auf einigen Systemen ZFS, was mir checksumming ermöglicht. Scheinbar ist ZFS aber auf anderen Systemen (FreeBSD, Solaris etc.) besser entwickelt, bzw. wird allgemein besser unterstützt.

Also: Wie macht ihr das so? Gibt's da was von Debian?

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: Daten-Integrität sicherstellen (ZFS & Co.)

Beitrag von r4pt0r » 27.07.2017 14:32:55

mrserious hat geschrieben: ↑ zum Beitrag ↑
27.07.2017 13:02:47
Mich interessiert: Wie stellt ihr die Integrität der Daten auf euren Dateiservern sicher?
ZFS. Aber nicht nur auf den Servern sondern auch auf praktisch allen Clients - ZFS bietet neben der gesicherten Datenintegrität auch noch _viele_ andere Vorteile die einiges vereinfachen bzw erst möglich machen.

Z.B. werden neue Clients hier im Betrieb mit TrueOS per semi-automatisierter installation aufgesetzt - Windows muss noch für legacy-Anwendungen vorgehalten werden, was mit einheitlichen VM-images gelöst wurde. Dank ZFS werden diese images als zvol einfach als clone eines master-images einmalig bei der installation auf die clients repliziert und bei Updates werden die images auf den Clients einfach per incremental send/receive wieder mit dem master abgeglichen (und damit auch wieder auf einheitlichen Stand zurückgesetzt). Die Clients nutzen nie direkt das übertragene zvol/image (=readonly), sondern einen lokalen klon.
Zerlegt sich Windows auf einem der Clients, wird einfach auf das origale dataset zurückgerollt - das dauert <1sek und die Windows-VM ist wieder einsatzbereit. So kann man endlich vernünftig und wesentlich nervenschonender mit Windows in größeren Umgebungen umgehen (nein, "arbeiten" wäre übertrieben...).

Auch für Backups (server und clients) wird überall zfs send/receive genutzt - der Speicherbedarf dafür ist trotz massiv gestiegener Anzahl/Art der Backups gesunken und die Laufzeiten der Backups sind deutlich kürzer, da praktisch keine klassischen fullbackups mehr erzeugt und übertragen werden müssen; nur noch inkrementelle snapshots/pool-replikationen. Wiederherstellen einzelner Daten ist so auch absolut trivial geworden - man muss keine riesigen Archive oder Images mehr entpacken um ein paar MB wiederherzustellen...

Auch für den Abgleich von (sehr großen) Datenbeständen über langsame Verbindungen ist ZFS ideal - was zuvor eher wackelig und langsam mit rsync erledigt werden musste ist jetzt in kürzester Zeit erledigt. Für ein Archiv aus Handbüchern die z.t. jeweils aus ~50-100t winzigen Einzeldateien bestehen, dauert schon die Initalisierung durch rsync _EWIG_ - bis dahin ist ZFS oft schon lange fertig wenn sich nur wenige MB geändert haben. Statt nur 1x Nachts laufen diese abgleiche jetzt alle 2h.

Scheinbar ist ZFS aber auf anderen Systemen (FreeBSD, Solaris etc.) besser entwickelt, bzw. wird allgemein besser unterstützt.
"besser entwickelt" nicht, aber ZoL hinkt teilweise bei features etwas hinterher - auch bedingt durch einige grundlegende Unterschiede wie der Linux-Kernel manches handhabt (z.B. reservieren großer Speicherbereiche).
Die Integration ist ein allgemeines Problem unter Linux - das betrifft nicht nur ZFS.
Also: Wie macht ihr das so?
FreeBSD
Gibt's da was von Debian?
Nur ZoL und das Gefrickel mit GRUB, DKMS und systemd das mittlerweile ja auch in dateisystem-mounts reinpfuscht. Als Abhilfe gegen letzteres gibt es aber zumindest devuan - das läuft hier auch seit langem auf den letzten beiden verbliebenen linux-Systemen...

Antworten