RAID 10 gesucht, BTRFS oder ZFS?

Warum Debian und/oder eine seiner Spielarten? Was muss ich vorher wissen? Wo geht es nach der Installation weiter?
Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von heisenberg » 11.10.2018 17:19:16

Dabei rennt der Ryzen R7 1700 jedoch auf gut 100% auf allen Kernen.
Wenn das ein Problem ist, dann kann man das auf LZ4 umstellen(geht wahrscheinlich im laufenden Betrieb, dauert aber seine Zeit, bis das nach und nach durch neuschreiben dann umgestellt ist). Ansonsten kann man das Kompressionslevel von gzip auch noch verändern, was sehr viel ausmacht.

Anders gesagt: Es ist eine Frage der Prioritäten: Möchtest Du niedrigere CPU-Belastung: dann nimm lz4. Im Endeffekt könnte bei einer starken Mehrkern-CPU gzip sogar den Durchsatz erhöhen, weil weniger tatsächlich auf die Platten geschrieben werden muss.

Vergleich gzip + lz4

Code: Alles auswählen

        Compressed Size     Percent     Time
gzip 5  102328357 (98M)     22.0%       14s
gzip 7  100128597 (96M)     21.5%       21s
gzip 9   99740486 (96M)     21.4%       33s

lz4     165844264 (159M)    35.6%      1.3s
https://forums.freenas.org/index.php?th ... kup.60824/
Zuletzt geändert von heisenberg am 12.10.2018 10:54:06, insgesamt 2-mal geändert.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von bluestar » 11.10.2018 17:21:44

Knogle hat geschrieben: ↑ zum Beitrag ↑
11.10.2018 17:01:04
Das ist halt die Frage, dass kann ich nicht so abschaetzen.
Die Festplatten die ich gekauft habe waren halt alle gebraucht, mit ca. 3000 Stunden Laufzeit beim Kauf.
Die Frage zielt nicht auf das Alter der Platten ab, sondern auf die Wichtigkeit deiner Daten und auf die Tatsache, wie gut du deine Platten überwachst um ggfs. Probleme frühzeitig beheben zu können.

Ich könnte dich auch fragen, ob du einfache, zweifache oder dreifache Redundanz haben möchtest ...
Je mehr Redundanz, je weniger Kapazität bzw. Vice versa ... Das ist halt die Krux.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von heisenberg » 12.10.2018 11:04:29

In dem Zusammenhang ist für mich das neue Kompressionsverfahren ZStandard interessant. Da wird wohl schon dran gearbeitet um das in ZFS zu integrieren:

http://facebook.github.io/zstd/

Viel schneller(d .h. weniger cpu-resourcen benötigt) als gzip/zlib. Ähnliche/Bessere Kompressionsraten. Sehr schnelle dekompression.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von wanne » 12.10.2018 13:25:58

bluestar hat geschrieben: ↑ zum Beitrag ↑
02.10.2018 13:35:41
Ja das kann ich mit LUKS unter Linux auch erreichen... Ich will ja "native" Verschlüsselung im ZFS ;)
Ich würde ganz stark zur anderen Variante raten. ZFS in LUKS ist z.B. nicht malable. (Obwohl LUKS oder ZFS alleine es sind.)
Auch ansonsten hat LUKS sicherheitstechnisch einige Vorteile zur nativen ZFS crypto. (Schlüsselmanagement etc.) und ist vor allem viel besser evaluiert.
Ich würde fast wetten, dass es da noch ne ganze Reihe von Sicherheitslükcken hagelt nachdem was ZFS da von wegen Metadaten nicht verschlüsseln macht. Das haben mittlerweile genug versucht und nicht hinbekommen. Bis jetzt hat es noch weitestgehend jeden hingehauen, der versucht hat nur Daten zu verschlüsseln. Da gab es dafakto immer irgend welche Sidechannels um doch wieder an die Daten zu kommen.
rot: Moderator wanne spricht, default: User wanne spricht.

s_fischer
Beiträge: 106
Registriert: 03.11.2002 16:17:17

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von s_fischer » 12.10.2018 14:10:46

Nick von unicks.eu, hat gerade in seinem YT Kanal, eine Serie für sein NAS Projekt seit einiger Zeit laufen. Er nutzt da auch btrfs in der RAID10 Variante. Allerdings kein debian, sondern arch. Evtl. ist da was dabei, was dir helfen könnte.
https://www.youtube.com/channel/UCnZIn_ ... /playlists

Grüße Sven

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von bluestar » 13.10.2018 14:15:41

wanne hat geschrieben: ↑ zum Beitrag ↑
12.10.2018 13:25:58
Ich würde fast wetten, dass es da noch ne ganze Reihe von Sicherheitslükcken hagelt nachdem was ZFS da von wegen Metadaten nicht verschlüsseln macht.
Genau aus diesem Grund läuft es bei mir auf einem Testsystem.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von Knogle » 14.10.2018 10:44:55

So, heute ist der Worst Case eingetreten, und ich erhalte die E-Mail, dass laut Smart ctl, 2 Platten fehlen.
Dann habe ich den Server aufgemacht, und gesehen ,dass sich 2 SATA Stecker durch Vibration gelöst haben.
Die Daten waren jedoch weiter verfügbar.
Nun aber die Frage: Wie mache ich nun einen Rebuild? Oder muss ich den Pool neu aufsetzen ?
Das System würde häufig verwendet, d.h. es sind neue Daten geschrieben worden, und 2 Platten waren während dieser Zeit offline.
Immerhin gut zu wissen, dass es zuverlässig läuft.

Momentan sind es noch die 8 Platten in einem RAID 10

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von bluestar » 14.10.2018 10:58:21

Poste mal die Ausgabe von:

Code: Alles auswählen

zpool status

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von Knogle » 14.10.2018 13:32:07

So hier mal die Ausgabe von zpool status

Code: Alles auswählen

zpool status
  pool: tank
 state: ONLINE
  scan: resilvered 13,1G in 0h1m with 0 errors on Sun Oct 14 09:24:10 2018
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            sda     ONLINE       0     0     0
            sdb     ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            sdc     ONLINE       0     0     0
            sdd     ONLINE       0     0     0
          mirror-2  ONLINE       0     0     0
            sde     ONLINE       0     0     0
            sdf     ONLINE       0     0     0
          mirror-3  ONLINE       0     0     0
            sdg     ONLINE       0     0     0
            sdh     ONLINE       0     0     0

errors: No known data errors
Und mal die Mails die ich gestern empfangen habe.

Code: Alles auswählen

This message was generated by the smartd daemon running on:

   host name:  debian
   DNS domain: [Empty]

The following warning/error was logged by the smartd daemon:

Device: /dev/sdg [SAT], unable to open device

Device info:
ST2000DL003-9VT166, S/N:5YD0ZVNK, WWN:5-000c50-02f06da36, FW:CC32, 2.00 TB

For details see host's SYSLOG.

You can also use the smartctl utility for further investigation.
Another message will be sent in 24 hours if the problem persists.

Code: Alles auswählen

This message was generated by the smartd daemon running on:

   host name:  debian
   DNS domain: [Empty]

The following warning/error was logged by the smartd daemon:

Device: /dev/sdh [SAT], unable to open device

Device info:
ST2000DL003-9VT166, S/N:5YD5RVVG, WWN:5-000c50-045ae8c49, FW:CC3C, 2.00 TB

For details see host's SYSLOG.

You can also use the smartctl utility for further investigation.
Another message will be sent in 24 hours if the problem persists.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von bluestar » 14.10.2018 13:39:55

Dein Server hat sich selbstständig repariert und einen Resync des Pools ausgeführt, steht ja in der „scan:“ Zeile von zpool status und der „state“ ist auch in Ordnung

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von Knogle » 14.10.2018 14:49:30

bluestar hat geschrieben: ↑ zum Beitrag ↑
14.10.2018 13:39:55
Dein Server hat sich selbstständig repariert und einen Resync des Pools ausgeführt, steht ja in der „scan:“ Zeile von zpool status und der „state“ ist auch in Ordnung
Oha, jetzt habe ich es verstanden! Ist ja ne ziemlich geniale Sache! Werde das so lassen mit dem RAID 10 und ZFS!

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID 10 gesucht, BTRFS oder ZFS?

Beitrag von bluestar » 14.10.2018 19:42:12

Anhand deiner Pool-Konfiguration, kann ich dir jetzt auch sagen, dass im besten Fall 4 HDDs versagen dürfen und du keine Daten verlierst. Apropos „Resync“, du kannst diesem Prozess jederzeit auch von Hand anstoßen:

Code: Alles auswählen

zpool scrub tank

Antworten