RAID 10 gesucht, BTRFS oder ZFS?

[Knogle]

Hallo liebe Community.

Momentan möchte ich meinen Server auf ein SW-Raid umstellen, da die Performanceeinbußen durch meinen RAID Kontroller massiv sind.

Aktuell habe ich 8 2TB Festplatten an einem LSI 9210 8i im Passthrough mode. Also nun in Debian 8 einzelne Platten.
Bisher jedoch, hatte ich einen RAID 10 Verbund mit einem LSI 9264 8i RAID Controller am laufen, aber der Trend geht ja heutzutage eher zu SW-Raid.

Features welche ZFS und BTRFS bieten möchte ich nun auch mal ausprobieren, da dadurch ja eine hohe Flexibilität gegeben ist.
Nun bin ich jedoch an dem Punkt angekommen, an welchem ich mir denke, wie gehe ich nun vor?

BTRFS läuft ja nun nativ unter Debian, aber zu ZFS finde ich auch reichlich informationen.
Welches Dateisystem eignet sich eher für einen RAID 10 ? BTRFS oder ZFS? Und welches ist fehleranfälliger?

Bisher hat mich immer angekotzt an ZFS, dass ich nach einem Kernel Update erstmal 1-2 Wochen ohne Daten da stand, bis erst die neue ZFS Version draussen war.

[bluestar]

BTRFS läuft ja nun nativ unter Debian, aber zu ZFS finde ich auch reichlich informationen.
Welches Dateisystem eignet sich eher für einen RAID 10 ? BTRFS oder ZFS? Und welches ist fehleranfälliger?

Also aus meiner persönlichen Erfahrung ist ZFS deutlich stabiler als BTRFS.

Bisher hat mich immer angekotzt an ZFS, dass ich nach einem Kernel Update erstmal 1-2 Wochen ohne Daten da stand, bis erst die neue ZFS Version draussen war.

Dieses Problem sollte sich inzwischen durch "zfs-dkms" lösen lassen.

[jph]

btrfs hat noch diverse Bugs. Die Statusseite im Wiki https://btrfs.wiki.kernel.org/index.php/Status ist mit Vorsicht zu genießen, da sie sich immer auf den aktuellen Kernel bezieht. Viele gefixte Bugs sind im Kernel in Debian Stable noch vorhanden, namentlich der, dass ein Dateisystem auf Multidisk bei Ausfall eines Device unwiderruflich r/o werden kann. Der Bug ist mittlerweile gefixt, aber im Kernel in Stable noch vorhanden.

In meinem Heimserver versieht btrfs (RAID1) bislang zuverlässig seinen Dienst.

Zu ZFS kann ich nichts sagen.

Edit: die btrfs-Statusseite hat folgenden Hinweis zu RAID10: „The simple redundancy RAID levels utilize different mirrors in a way that does not achieve the maximum performance. The logic can be improved so the reads will spread over the mirrors evenly or based on device congestion.“

[Knogle]

Weisst du ob das im buster/testing Kernel auch so ist?
Auf meinem Server benutze ich aktuell nur buster.

[jph]

Weisst du ob das im buster/testing Kernel auch so ist?

Hm, meinst du mich in Bezug auf das unwiderrufliche r/o? Zitieren hilft.

Der Fehler scheint mit 4.14 behoben worden zu sein: „fine-grained check for degraded mount (verify raid constraints on chunk level, not device level)“ (Quelle: https://btrfs.wiki.kernel.org/index.php ... ov_2017.29).

[wanne]

btrfs läuft bei mir seit Jahren ziemlich stabiel auf diversen Systemen.
So bis auf das: viewtopic.php?f=13&t=170165 . Was nicht ganz die Schuld von btrfs ist.
Aber man hört doch immer mal wieder Horrorstorrys.
Dafür bindet es sich elegant ins System ein.
ZFS gilt dagegen weitestgehend als Stabil im Sinn, dass dir dein Dateisystem nicht kaputt geht. Fühlt sich aber halt immer wie ein Fremdkörper an. Das das sauber hoch kommt und an der richtigen Stelle gemountet wird ist mit unter ein bisschen Arbeit und ist mir auch schon relativ plötzlich (unter CentOS) abgeraucht.
Alles in allem Würde ich aber nicht damit rechnen, dass ein SW-RAID mit 8 Platten schneller wird wie dein HW-RAID 0 mit 4.
Vorteil ist ja eher die große Flexibilität mehr Platten rein zuhängen.

[schwedenmann]

Hallo


@bluestar

Dieses Problem sollte sich inzwischen durch "zfs-dkms" lösen lassen.

Oder man nimm halt sofort freebsd installiert zfsroot und hängt dann die Platten per zfs daran.


mfg
schwedenmann

[bluestar]

@bluestar

Dieses Problem sollte sich inzwischen durch "zfs-dkms" lösen lassen.

Oder man nimm halt sofort freebsd installiert zfsroot und hängt dann die Platten per zfs daran.

Gleich ein eine komplette OS Umstellung fände ich ein wenig zu aufwendig.

[schwedenmann]

Hallo

@bluestar

Gleich ein eine komplette OS Umstellung fände ich ein wenig zu aufwendig.

Dere TE will doch von hardwareraid weg und SW-raid einsetzen (Raid10).
Da käme mir persönlich kein btrfs auf die Platte (wenn die Daten wichtig sind und der PC nicht als Spielweise herhalten soll). Bleibt nur zfs und zfs in Freebsd ist schon länger im Einsatz, gilt dort als ausgereift für den Produktiveinsatz und ist afaik in der Entwicklung von ZFS weiter als das zfs in debian per dkms.

Und so schwierig ist die Installation von freebsd nciht, genauso einfach wie debian-netinstall und hat ncoh ein Vorteil, wol ist dort saueinfach umzusetzen, nur im Bios wol aktivieren, das wars

mfg
schwedenmann

[bluestar]

Da käme mir persönlich kein btrfs auf die Platte (wenn die Daten wichtig sind und der PC nicht als Spielweise herhalten soll). Bleibt nur zfs und zfs in Freebsd ist schon länger im Einsatz, gilt dort als ausgereift für den Produktiveinsatz und ist afaik in der Entwicklung von ZFS weiter als das zfs in debian per dkms.

Kannst du mir da direkt mal die Frage beantworten, ob freebsd mit ZFS direkt die native Verschlüsselung beinhaltet ... Das wäre echt ein sehr sehr gut Grund für die Migration von "holy Debian" zu freebsd.

[schorsch_76]

FreeBSD hat GELI. Du machst unter dein ZFS ein GELI Device und du bist verschlüsselt.

[bluestar]

Ja das kann ich mit LUKS unter Linux auch erreichen... Ich will ja "native" Verschlüsselung im ZFS Derzeit hab ich zfs-0.8.0-rc1 auf einem Testsystem deswegen im Einsatz.

[Knogle]

Bin momentan sehr zufrieden! Habe nun einen RAID 10 mit ZFS erstellt, und es performt sehr gut.
Dedup ist bei mir am fehlenden RAM gescheitert, weshalb ich jetzt gzip Compression aktiviert habe und so kriege ich Uebertragungsraten von bis zu 500MB/s hin.
Dabei rennt der Ryzen R7 1700 jedoch auf gut 100% auf allen Kernen.

Bei mehreren Platten, sind da Optionen wie RAID 45 eigentlich noch sinvoll? Was das bietet ja eigentlich maximale Ausfallsicherheit bei ausreichender Kapazitaet.

[bluestar]

Bei mehreren Platten, sind da Optionen wie RAID 45 eigentlich noch sinvoll? Was das bietet ja eigentlich maximale Ausfallsicherheit bei ausreichender Kapazitaet.

Da müsstest du schon mal definieren, was für dich max. Ausfallsicherheit und ausreichende Kapazität konkret in Zahlen bedeutet.

* Wie vielen deiner 8 HDDs gestattest du denn den spontanten Tod ohne Datenverlust?

[Knogle]

Das ist halt die Frage, dass kann ich nicht so abschaetzen.
Die Festplatten die ich gekauft habe waren halt alle gebraucht, mit ca. 3000 Stunden Laufzeit beim Kauf.

[heisenberg]

Dabei rennt der Ryzen R7 1700 jedoch auf gut 100% auf allen Kernen.

Wenn das ein Problem ist, dann kann man das auf LZ4 umstellen(geht wahrscheinlich im laufenden Betrieb, dauert aber seine Zeit, bis das nach und nach durch neuschreiben dann umgestellt ist). Ansonsten kann man das Kompressionslevel von gzip auch noch verändern, was sehr viel ausmacht.

Anders gesagt: Es ist eine Frage der Prioritäten: Möchtest Du niedrigere CPU-Belastung: dann nimm lz4. Im Endeffekt könnte bei einer starken Mehrkern-CPU gzip sogar den Durchsatz erhöhen, weil weniger tatsächlich auf die Platten geschrieben werden muss.

Vergleich gzip + lz4

Code: Alles auswählen

        Compressed Size     Percent     Time
gzip 5  102328357 (98M)     22.0%       14s
gzip 7  100128597 (96M)     21.5%       21s
gzip 9   99740486 (96M)     21.4%       33s

lz4     165844264 (159M)    35.6%      1.3s

https://forums.freenas.org/index.php?th ... kup.60824/

[bluestar]

Das ist halt die Frage, dass kann ich nicht so abschaetzen.
Die Festplatten die ich gekauft habe waren halt alle gebraucht, mit ca. 3000 Stunden Laufzeit beim Kauf.

Die Frage zielt nicht auf das Alter der Platten ab, sondern auf die Wichtigkeit deiner Daten und auf die Tatsache, wie gut du deine Platten überwachst um ggfs. Probleme frühzeitig beheben zu können.

Ich könnte dich auch fragen, ob du einfache, zweifache oder dreifache Redundanz haben möchtest ...
Je mehr Redundanz, je weniger Kapazität bzw. Vice versa ... Das ist halt die Krux.

[heisenberg]

In dem Zusammenhang ist für mich das neue Kompressionsverfahren ZStandard interessant. Da wird wohl schon dran gearbeitet um das in ZFS zu integrieren:

http://facebook.github.io/zstd/

Viel schneller(d .h. weniger cpu-resourcen benötigt) als gzip/zlib. Ähnliche/Bessere Kompressionsraten. Sehr schnelle dekompression.

[wanne]

Ja das kann ich mit LUKS unter Linux auch erreichen... Ich will ja "native" Verschlüsselung im ZFS

Ich würde ganz stark zur anderen Variante raten. ZFS in LUKS ist z.B. nicht malable. (Obwohl LUKS oder ZFS alleine es sind.)
Auch ansonsten hat LUKS sicherheitstechnisch einige Vorteile zur nativen ZFS crypto. (Schlüsselmanagement etc.) und ist vor allem viel besser evaluiert.
Ich würde fast wetten, dass es da noch ne ganze Reihe von Sicherheitslükcken hagelt nachdem was ZFS da von wegen Metadaten nicht verschlüsseln macht. Das haben mittlerweile genug versucht und nicht hinbekommen. Bis jetzt hat es noch weitestgehend jeden hingehauen, der versucht hat nur Daten zu verschlüsseln. Da gab es dafakto immer irgend welche Sidechannels um doch wieder an die Daten zu kommen.

[s_fischer]

Nick von unicks.eu, hat gerade in seinem YT Kanal, eine Serie für sein NAS Projekt seit einiger Zeit laufen. Er nutzt da auch btrfs in der RAID10 Variante. Allerdings kein debian, sondern arch. Evtl. ist da was dabei, was dir helfen könnte.
https://www.youtube.com/channel/UCnZIn_ ... /playlists

Grüße Sven

[bluestar]

Ich würde fast wetten, dass es da noch ne ganze Reihe von Sicherheitslükcken hagelt nachdem was ZFS da von wegen Metadaten nicht verschlüsseln macht.

Genau aus diesem Grund läuft es bei mir auf einem Testsystem.

[Knogle]

So, heute ist der Worst Case eingetreten, und ich erhalte die E-Mail, dass laut Smart ctl, 2 Platten fehlen.
Dann habe ich den Server aufgemacht, und gesehen ,dass sich 2 SATA Stecker durch Vibration gelöst haben.
Die Daten waren jedoch weiter verfügbar.
Nun aber die Frage: Wie mache ich nun einen Rebuild? Oder muss ich den Pool neu aufsetzen ?
Das System würde häufig verwendet, d.h. es sind neue Daten geschrieben worden, und 2 Platten waren während dieser Zeit offline.
Immerhin gut zu wissen, dass es zuverlässig läuft.

Momentan sind es noch die 8 Platten in einem RAID 10

[bluestar]

Poste mal die Ausgabe von:

Code: Alles auswählen

zpool status

[Knogle]

So hier mal die Ausgabe von zpool status

Code: Alles auswählen

zpool status
  pool: tank
 state: ONLINE
  scan: resilvered 13,1G in 0h1m with 0 errors on Sun Oct 14 09:24:10 2018
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            sda     ONLINE       0     0     0
            sdb     ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            sdc     ONLINE       0     0     0
            sdd     ONLINE       0     0     0
          mirror-2  ONLINE       0     0     0
            sde     ONLINE       0     0     0
            sdf     ONLINE       0     0     0
          mirror-3  ONLINE       0     0     0
            sdg     ONLINE       0     0     0
            sdh     ONLINE       0     0     0

errors: No known data errors

Und mal die Mails die ich gestern empfangen habe.

Code: Alles auswählen

This message was generated by the smartd daemon running on:

   host name:  debian
   DNS domain: [Empty]

The following warning/error was logged by the smartd daemon:

Device: /dev/sdg [SAT], unable to open device

Device info:
ST2000DL003-9VT166, S/N:5YD0ZVNK, WWN:5-000c50-02f06da36, FW:CC32, 2.00 TB

For details see host's SYSLOG.

You can also use the smartctl utility for further investigation.
Another message will be sent in 24 hours if the problem persists.

Code: Alles auswählen

This message was generated by the smartd daemon running on:

   host name:  debian
   DNS domain: [Empty]

The following warning/error was logged by the smartd daemon:

Device: /dev/sdh [SAT], unable to open device

Device info:
ST2000DL003-9VT166, S/N:5YD5RVVG, WWN:5-000c50-045ae8c49, FW:CC3C, 2.00 TB

For details see host's SYSLOG.

You can also use the smartctl utility for further investigation.
Another message will be sent in 24 hours if the problem persists.

[bluestar]

Dein Server hat sich selbstständig repariert und einen Resync des Pools ausgeführt, steht ja in der „scan:“ Zeile von zpool status und der „state“ ist auch in Ordnung