100 TB Disk - ext4/LUKS oder besser anderes Filesystem?

[slu]

Wir wollen ein neues Backupsystem* aufsetzten das über einen Raid Controller (kein Software Raid) eine
100 TB Disk hat.

Das derzeitige System hat ca. 55 TB und ist ein verschlüsseltes ext4, damit sind wir gut gefahren.

Gibt es da Einwände gegen ext4 oder sogar was besseres wenn man schon dabei ist...?
Das System soll auch wieder mit LUKS verschlüsselt werden, eine Erweiterung ist nicht geplant.

*Dateien sind wild gemischt, kleine Dateien und auch große qcow2 Images.

[hikaru]

Raid Controller (kein Software Raid)

Den Punkt würde ich nochmal überdenken. Ich bin seit Jahren beruflich Nutzer in einer RAID-Umgebung (mehrere RAIDs zwischen 10 und 50TB - es gibt wohl auch Eines mit 700TB, aber das nutze ich nicht), und geschätzt 90% der Probleme die mich als Nutzer tatsächlich betroffen haben und nicht nur eine Anekdote in der Kaffeepause mit den Admins waren, waren auf defekte RAID-Controller zurückzuführen.
Seitdem wir vollständig auf Software-RAIDs (erst mdadm, inzwischen zfs) umgestiegen sind, höre ich maximal noch von einzelnen auszutauschenden HDDs, die mich als Nutzer nicht tangieren.

Was bei der Skalierung zu beachten ist, ist, dass in Arrays mit mehr Disks die kumulative Wahrscheinlichkeit für einzelne Plattenausfälle steigt. D.h., je mehr Disks du hast, desto wahrscheinlicher wird es, dass eine davon ausfällt und du die Redundanz in Anspruch nehmen musst.
Das könnte ein Argument für zfs RAID-Z3 (3 Disks Redundanz) gegenüber mdadm RAID6 (2 Disks Redundanz) sein. Wie viel Redundanz Hardware-Controller anbieten weiß ich nicht.

(Privat betreibe ich ein luks-verschlüsseltes RAID6 mit mdadm und ext4, mit 24TB, aber das ist ja für dich Kleinvieh. )

[uname]

Den Punkt würde ich nochmal überdenken. Ich bin seit Jahren beruflich Nutzer in einer RAID-Umgebung (mehrere RAIDs zwischen 10 und 50TB - es gibt wohl auch Eines mit 700TB, aber das nutze ich nicht), und geschätzt 90% der Probleme die mich als Nutzer tatsächlich betroffen haben und nicht nur eine Anekdote in der Kaffeepause mit den Admins waren, waren auf defekte RAID-Controller zurückzuführen.

Ahnung habe ich nicht. Hat mich aber an CSI:Munich erinnert.

[bluestar]

und geschätzt 90% der Probleme die mich als Nutzer tatsächlich betroffen haben und nicht nur eine Anekdote in der Kaffeepause mit den Admins waren, waren auf defekte RAID-Controller zurückzuführen.

Da kann ich hikaru nur zustimmen, defekte RAID-Controller oder noch besser defekte Cache-Module auf RAID Controllern sind echt Mist. Wir sind mit ZFS und der eingebauten Verschlüsselung deutlich deutlich schmerzfreier am Start als in der Vergangenheit.

[slu]

Tatsächlich hatten wir vor kurzem zum ersten Mal ein defekten Raid Controller in 15 Jahre.

Aber ja das Thema Software Raid haben wir auch schon besprochen, vermutlich werden wir hier Mal aus alter Hardware ein Testsystem bauen.
Auch wenn es jetzt OT ist, was passiert wenn man beim Software Raid den Strom zieht, die Daten im Festplatten Cache sind dann ja weg...?
(und ja wir haben eine USV, aber man weiß ja nie).

Wenn ich mir das von RedHat anschaue sollte ich wohl lieber ein xfs nehmen?
https://access.redhat.com/solutions/1532

Edit:
https://en.wikipedia.org/wiki/Ext4
Ext4 sollte bei 100 TB kein Problem sein gemäß dem Wikipedia Artikel.

[MSfree]

Wenn ich mir das von RedHat anschaue sollte ich wohl lieber ein xfs nehmen?

Lieber nicht. Die überlsten Datenverluste, die ich bisher mitmachen mußte, waren auf XFS.

https://access.redhat.com/solutions/1532

Edit:
https://en.wikipedia.org/wiki/Ext4
Ext4 sollte bei 100 TB kein Problem sein gemäß dem Wikipedia Artikel.

Keine Ahnung, was Redhat da für (künstliche) Beschränkngen eingebaut hat, aber ext4 kann problemlos 100TiB Volumes, 100TiB haben wir hier selbst im Einsatz. Maximal geht 1 EiB, was mehr als eine Million TiB sind.

[slu]

Keine Ahnung, was Redhat da für (künstliche) Beschränkngen eingebaut hat, aber ext4 kann problemlos 100TiB Volumes, 100TiB haben wir hier selbst im Einsatz. Maximal geht 1 EiB, was mehr als eine Million TiB sind.

Ja ich denke wir sind seither mit dem ext4 gut gefahren, dann nehmen wir das wieder

[MSfree]

Ja ich denke wir sind seither mit dem ext4 gut gefahren, dann nehmen wir das wieder

Ich hatte bisher auch keine Probleme mit ext4. Trotzdem könnte ein Blick auf alternative Dateisysteme nicht schaden. ZFS wurde ja schon erwähnt, und wenn das Lizenzmodell nocht stört, warum nicht.

Ext4 fehlen vor allem Prüfsummen für Dateien. Gegen Bitrot hilft leider kein RAID, Prüsummen verhindern das zwar auch nicht, machen es aber erkennbar, und man kann betroffene Daten aus anderen Backups wieder herstellen.

[slu]

Ext4 fehlen vor allem Prüfsummen für Dateien.

Das ist natürlich ein guter Punkt den ich gar nicht bedacht habe.

[heisenberg]

Bzgl. ZFS und Pools sollte man wissen, dass man kein komplettes VDEV aus einem Pool entfernen kann, sobald ein RAIDZ1/2/3 im Pool ist. Ebenso kann man von einem RAIDZ1/2/3 VDEV keine Festplatten dauerhaft entfernen (=das VDEV verkleinern).

Da man gerade bei großen Pools bestimmt - mehr als sonst - Flexibilität haben möchte, ist ZFS mit RAIDZ-Elementen da imho nicht brauchbar. Also entweder ZFS ohne RAIDZ oder etwas anderes.

[s_fischer]

100 TB ist schon eine Hausnummer. Da würde ich auch ZFS einsetzen. Es braucht dafür aber etwas Einarbeitung, um sich da zurecht zu finden und um das System zu begreifen. Schau mal bei den YT Kanälen @zfsrocks und @sysopstv rein. Sind beide von C. Zengel, Sysops GmbH aus Aschaffenburg.

Was jetzt evtl. Lizenzierungsgerangel anbelangt, weil da Oracle zwecks ZFS rein grätschen könnte, hat sich mit Openzfs imho erledigt. Soweit, wie mir das bis jetzt bekannt ist.

Thema Hardware Raid, teile ich die Ansichten der anderen hier. Es kommt auf den Support des Herstellers an. Auch wenn jetzt nach 10 - 15 Jahren der Controller hopps gehen sollte, muss dann ein Ersatz her. Oder man legt sich was für Notfälle ins Lager.

Ich habe seit Debian 11 ein BTRFS Raid10 mit 16 TB (4x8) am Laufen. Bis jetzt hatte ich noch keinen Ausfall, oder Probleme. Sollte ich irgendwann 32 TB, oder mehr haben wollen, dann werde ich auch ZFS dafür nehmen. Gerade was jetzt größere Daten Volumen betrifft, ist ZFS auf Grund seiner Struktur da bestens geeignet. Man muss aber leider auch die Besonderheiten mit in Kauf nehmen, was @heisenberg schon gepostet hat. Es hat alles seine Vor- und Nachteile.

Manchmal dauert es auch etwas, bevor man zum endgültigen Entschluss kommt. Vorplanung ist alles.

Grüße Sven

[chrbr]

Wenn man einen Überblick zu ZFS bekommen will, dann ist die Dokumentation von FreeBSD meiner Meinung nach sehr gut. https://docs.freebsd.org/en/books/handbook/zfs/

[s_fischer]

Noch mal zum Thema Einstieg in ZFS. Ich hab zufällig einen sehr guten Vortrag in deutsch dazu bei YT gefunden. Da wird verständlich erklärt, was es mit ZFS auf sich hat, die interne Struktur etc. Auch CoW wird erklärt. Bitte nicht wundern, das da als Datum 23.11.2009 steht, da hat noch vieles seine Gültigkeit.

Vortrag: Einführung in ZFS
Alles, was man über Solaris ZFS wissen muss. Prinzipien, Konzepte, Beispiele, inkl. Flash-Memory-Nutzung. Aufgenommen am 23.11.2009 an der Uni Passau.

https://youtu.be/7LdYZWZelOo

Je mehr man sich damit befasst, umso mehr erkennt man die Vorzüge vom ZFS. Ich würde es auch nur dort einsetzen, wo man auch die spezifischen Funktionen/Vorteile ausnutzen kann. Ansonsten hat sich ext4 bei mir über die Jahre als sehr robust und zuverlässig gezeigt. Daher ext4 auf dem ArbeitsPC und Schlepptop und brtfs, oder in Zukunft zfs auf dem NAS/Server.

Grüße Sven

[DaCoda]

Ich nutze auch luks2 Verschlüsselung an meinem PC und bin dabei auf einen interessanten Punkt gestoßen.
Mal angenommen jemand fremdes bekommt eine verschlüsselte Festplatte in die Hand (zB wird sie geklaut) und nach ein paar Wochen bekommst man sie zurück.
Kein Problem denkt man sich, ist ja verschlüsselt und man verwendet sie einfach weiter.
Leider ist es aber möglich, dass der Fremde Daten mit Bullshit überschrieben hat und wenn es nur ein einziges Byte ist.
Man hat erstmal keine Möglichkeit das festzustellen, selbst wenn man mit dd die gesamte Platte liest. Es kommt kein Fehler. Irgendwann später stellt man dann durch Zufall fest, dass Dateien beschädigt sind.
Es gibt aber bei luks2 integrity. Hat man das aktiviert (ist standardmäßig aus), kommt beim Lesen mit dd ein Fehler. Man kann also die Festplatte überprüfen, wenn man sie zurück erhält.
Leider ist integrity check aber sehr rechenintensiv und man sollte sich überlegen, ob man es braucht oder nicht.

[schwedenmann]

Hallo


Was exotisches,wenn man btrfs oder zfs nicht will.

https://stratis-storage.github.io/

Quasi lvm, dm + xfs

mfg
schwedenmann


P.S.
Zu ZFS gibt das sehr gute Buch "FreeBSB mastery: ZFS"

[heisenberg]

Stratis hat keine Checksummen / Datenintegrität.