Was ist eure Erfahrung mit ZFS unter Debian?

Probleme mit Samba, NFS, FTP und Co.
Benutzeravatar
Lord_Carlos
Beiträge: 4560
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 07.10.2019 23:31:07

Moin

Dachte vielleicht daran ein paar 5x 8TB zu kaufen. Eine habe ich bereits. 6x 8TB mit raidz2 waere es dann. Will damit denn mein SnapRaid abloesen. Bisschen zu fummelig.
Und dann auch gleich ZFS 0.8 aus den backports und alles verschluesseln.

Wie laeuft das so bei auch?
Hat euch was ueberrascht?

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

sergej2018
Beiträge: 166
Registriert: 19.09.2017 21:35:18

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von sergej2018 » 08.10.2019 08:11:46

Moin!

Nutze ZFS schon ein paar Jahre, hatte es sogar schon im Produktiveinsatz.
Allerdings bisher nie besonders große oder komplexe Pools aufgebaut. Eher sowas, wie du gerade vor hast.
Insgesamt: Ich bin SEHR zufrieden, insbesondere mit der Prüfsummen-Funktion, weil die wirklich ein wichtiges Problem löst.
Ich hatte hin und wieder mal "Abstürze" von ZFS. ZB hat sich ein Pool beim export ("dismount") aufgehängt. Das führte dann dazu, dass die anderen Pools zwar weiter funktionierten, ich das ZFS-System aber nicht mehr bedienen konnte. Also kein In/Export mehr möglich war.
Das war aber jedes Mal nach nem Neustart behoben.
Ansonsten ne prima Sache! Angeblich ist die Performance nicht so super wie bei HW/SW-RAID, aber zumindest in meinen Umgebungen war die Datensicherheit auch immer deutlich wichtiger als die Performance.

Was möchtest du ansonsten wissen, hast du konkrete Fragen?

Benutzeravatar
bluestar
Beiträge: 1098
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von bluestar » 08.10.2019 08:54:43

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
07.10.2019 23:31:07
Wie laeuft das so bei auch?
Es läuft wirklich gut, allerdings habe ich bewusst entschieden, dass /boot kein ZFS wie in der Anleitung (https://github.com/zfsonlinux/zfs/wiki/ ... oot-on-ZFS) vorgeschlagen ist.
Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
07.10.2019 23:31:07
Hat euch was ueberrascht?
Ich würde dir auf jeden Fall dazu raten einen Debian-Live-System auf nem USB-Stick einschl. der ZFS debs für Notfälle bereit zu halten, es ist nämlich nervig, wenn beim Kernel Update mal die ZFS Module nicht gebaut wurden und du nach dem Reboot kein ZFS mehr hast.

Benutzeravatar
Lord_Carlos
Beiträge: 4560
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 08.10.2019 10:18:38

Noe, ich wollte einfach nur algemeine Erfahrungsberichte von Leuten die es auch wirklich benutzten.
Root wird ext4 bleiben, nur mit den Datenplatten will ich ein raidz2 machen. Dann kann ich das System auch immer booten wenn was mit den ZFS Modulen ist.

Habt ihr schon 0.8 aus den backports ausprobiert? Weil das hat native encryption.
Momentarn habe ich kein "richtiges" raid, ich benutzte snapraid (nicht live parity) und mergerfs um die Platten als eine "mounten" zu koennen. Geschwindichkeit ist da nur so schnell wie die Platte auf die man gerad schreibt.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

sergej2018
Beiträge: 166
Registriert: 19.09.2017 21:35:18

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von sergej2018 » 08.10.2019 11:05:39

0.8 noch nicht benutzt, nein.
Native Verschlüsselung ist für mich selbst jetzt auch nicht das riesen Argument, luks tut's halt sehr gut, von daher...

bluestar hat nen wichtigen Punkt genannt mit dem Kernelmodul. Man vergisst gern, bei nem Kernel-Update die linux-headers nach zu installieren... erst nach nem Reboot bemerkt man dann, dass man seine Volumes plötzlich nicht mehr einbinden kann.

Benutzeravatar
Lord_Carlos
Beiträge: 4560
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 08.10.2019 11:12:47

Werden die ZFS Module nicht automatisch gebaut?

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

wanne
Moderator
Beiträge: 6035
Registriert: 24.05.2010 12:39:42

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von wanne » 08.10.2019 11:24:19

Ich würde dir auf jeden Fall dazu raten einen Debian-Live-System auf nem USB-Stick einschl. der ZFS debs für Notfälle bereit zu halten, es ist nämlich nervig, wenn beim Kernel Update mal die ZFS Module nicht gebaut wurden und du nach dem Reboot kein ZFS mehr hast.
Ja. Und das passiert in allen Systemen, die ich kenne recht regelmäßig.
Deswegen würde ich fett davon abraten ZFS auf /boot zu nutzen. Wenn man sowas haben will, ist man mit btrfs besser bedient.
Aber da du ja volgendes meinst, ist das für dich eher irrelevant:
Root wird ext4 bleiben, nur mit den Datenplatten will ich ein raidz2 machen.
Werden die ZFS Module nicht automatisch gebaut?
Sollten. Am Ende Hakt es halt doch relativ häufig insbesondere bei Upgrades der Debianversion. Am Ende ist das halt immer ein bisschen ein Geschiss, wenn du GPL-verletzende Software hast. Gleiches kennst du eventuell von den NVIDIA-Treibern.
Native Verschlüsselung ist für mich selbst jetzt auch nicht das riesen Argument, luks tut's halt sehr gut, von daher...
Vor allem ist ZFS auf LUKS manipulationssicher. (Im Gegensatz zur eingebauten Crypto.)
Und nein. – Ich werde jetzt keinen streit mit irgend welchen Leuten anfangen, die noch nie ne crypto-Vorlesung gehört haben. – Geht wieder WEP nutzen. Das ist für nen unbedarften auch sicher und hat genau die gleiche Schutzidee wie die ZFS Crypto.
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
Lord_Carlos
Beiträge: 4560
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 08.10.2019 11:47:11

wanne hat geschrieben: ↑ zum Beitrag ↑
08.10.2019 11:24:19
Native Verschlüsselung ist für mich selbst jetzt auch nicht das riesen Argument, luks tut's halt sehr gut, von daher...
Vor allem ist ZFS auf LUKS manipulationssicher. (Im Gegensatz zur eingebauten Crypto.)
Und nein. – Ich werde jetzt keinen streit mit irgend welchen Leuten anfangen, die noch nie ne crypto-Vorlesung gehört haben. – Geht wieder WEP nutzen. Das ist für nen unbedarften auch sicher und hat genau die gleiche Schutzidee wie die ZFS Crypto.
Ich will kein Streit :0
Was meinst du mit manipulationssicher?
Wenn ich dir oder einen anderen ZFS Ehrfahrenden eine mit ZFS eingebauten crypto gebe, kannst du die Daten lesen?
Koennen es Staatliche Organe?

WEP konnte in minuten von einem Script geknakt werden ohne das man Zugriff auf die Hardware hatte. Ich vermute mal das beispiel ist etwas zugespitzt?

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

wanne
Moderator
Beiträge: 6035
Registriert: 24.05.2010 12:39:42

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von wanne » 08.10.2019 17:00:25

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
08.10.2019 11:47:11
Wenn ich dir oder einen anderen ZFS Ehrfahrenden eine mit ZFS eingebauten crypto gebe, kannst du die Daten lesen?
Nein. Aber manipulieren. Dazu muss man nicht lesen können. Das klingt erst mal unintuitiv ist aber so. Und das wurde für diverse andere ähnlich funktionierende Cryptosysteme gezeigt. Allen voran liefen die angriffe WEP und BEAST arbeiteten auf gleiche Art und weise. (Mit dem Unterschied dass sie danach die Möglichkeit nutzten um durch die Manipulation die Teilnehmer dazu zu bringen ihre Schlüssel zu verraten.) Auf für LUKS 1 mit nem klassischen ext4 wurde das auch schon vorgeführt.
LUKS2 oder ZFS auf einem LUKS1 würden die Manipulationen erkennen.
Der große Unterschied ist, dass man bei nem Netzwerkprotokoll viel mehr mist bauen kann, wenn man manipulieren kann. Das ist der Grund warum WEP so derartig kaputt ist.
Bei ner Festplatte hilft das erst mal wenig. Ein Dieb hat deinen Laptop. Wenn er nichts lesen kann hilft es ihm wenig, dass er da jetzt zeug unbemerkt ändern kann.
Der plausibelste Angriff ist, dass jemand dir das Laptop klaut einen Trojaner einspielt und dann zurück gibt. Der Trojaner gibt dem Angreifer dann das Passwort oder die passenden Daten, wenn du dich das nächste mal einloggst.
Das ist IMHO nicht wirklich tragisch. Wer den Laptop mal in der Hand hatte hat auch andere Möglichkeiten (z.B. Hardwarekeylogger) aber es sollte einem Klar sein, dass die ZFS eigene Verschlüsslung davor nicht schützt.
Btw. ist das ein feature, dass die extra eingebaut haben: So ist es möglich als Dienstleistung in einem RAIDZ Fehler zu korrigieren ohne das Passwort zu haben.
Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
08.10.2019 11:47:11
WEP konnte in minuten von einem Script geknakt werden ohne das man Zugriff auf die Hardware hatte.
Die unterschiedlichen Angriffe gegen WEP mit open auth sind Cryptografisch extrem anspruchsvoll und die implementiert garantiert nicht mal eben ein unbedarfter. Da du insbesondere auch noch spezielle Treiber für die Angriffshardware brauchst. Aber irgend wann haben sich verschiedene Leute die Mühe gemacht die theoretischen Angriffe zu implementieren. Und dann war es eben ganz einfach. So ist das bei der Manipulation von ZFS. Im Moment eher kompliziert und Theoretisch aber irgend wann wird jemand kommen und das passende Script schreiben. Da der Weg von der Idee her bekannt ist, dürfte das nur eine Frage der Zeit sein. Und dann ist es ganz einfach.
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
Lord_Carlos
Beiträge: 4560
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 08.10.2019 21:17:39

Ah cool. Danke.
Muss ich mir mal ueberlegen wegen der crypto. Noch waere es wohl das einfachste mir ein Keylogger auf den Windows PC zu installieren mit dem ich auf den Server zugreifen werde.
Ich bin mir auch noch nicht sicher ob und wie ich das OS verschluesseln will.

So, 5x 8TB @ 160 EUR sind bestellt.
Dell H310 (SI 9211-8i), 2x SAS zu 4x Sata, Raspberry Pi 4 .. aber den bloeden HDMI Adapter vergessen.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
jph
Beiträge: 649
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von jph » 09.10.2019 18:38:35

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
08.10.2019 21:17:39
Ich bin mir auch noch nicht sicher ob und wie ich das OS verschluesseln will.
Wenn dein / auf ext4 bleiben soll, dann richte dafür ein LUKS-verschlüsseltes LVM ein. Damit wird dann auch gleich swap mitverschlüsselt.

Dabei bitte das hier beachten: https://www.debian.org/releases/buster/ ... etup-luks2

Benutzeravatar
Lord_Carlos
Beiträge: 4560
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 09.10.2019 20:49:43

ZFS crypto ist wohl momentan nicht Hardware beschleunigt, es sei denn man patch sein kernel.
------------------------------
Mal ein wenig rumgemalt:
2316
jph hat geschrieben: ↑ zum Beitrag ↑
09.10.2019 18:38:35
Wenn dein / auf ext4 bleiben soll, dann richte dafür ein LUKS-verschlüsseltes LVM ein.
Jo, wie beim booten entschlüsseln?
Habe hier auf reddit auch mal ein wenig nachgefragt wie andere das machen: https://www.reddit.com/r/homelab/commen ... al_server/
IPMI und Mandos muss ich mich mal einlesen, klinkt erstmal etwas overkill fuer meinen kleinen Server.
Ich dachte einfach an ein USB stick. Ist ein wenig security by obscurity da jeder der weis wo der USB stick ist kann es untschluesseln. Aber irgendwo muss man den Ausgleich finden. ¯\_(ツ)_/¯

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

wanne
Moderator
Beiträge: 6035
Registriert: 24.05.2010 12:39:42

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von wanne » 09.10.2019 23:56:28

Im Allgemeinen halte ich Festplattenverschlüsslung für Server quatsch. Wenn der Server läuft muss die Platte ja entschlüsselt sein.
Bei jeder Hausdurchsuchng hat die Polizei mittlerweile passendes Gerät zum auslesen ohne runter fahren dabei.
=> Es gibt mittlerweile Massenmarkt für passende Tools.
=> Ich nehme stark an, dass Kriminielle mindestens ähnlich ausgestattet sind.
Wenn du also nicht zusätzliche Hardwarehindernisse hast, die das öffnen des Gehäuses verhindern ist das eher sinnlos.
dann richte dafür ein LUKS-verschlüsseltes LVM ein.
Warum um himmels willen einen LVM wenn eh nur root mit ext4 läuft. ZFS-Volumes sind doch 100 mal schöner.
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
jph
Beiträge: 649
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von jph » 10.10.2019 07:15:10

wanne hat geschrieben: ↑ zum Beitrag ↑
09.10.2019 23:56:28
dann richte dafür ein LUKS-verschlüsseltes LVM ein.
Warum um himmels willen einen LVM wenn eh nur root mit ext4 läuft. ZFS-Volumes sind doch 100 mal schöner.
Der OP sprach davon, dass / auf ext4 und nicht auf zfs liegen soll. (Für einen Moderator bist du bemerkenswert aufbrausend.)

Benutzeravatar
Lord_Carlos
Beiträge: 4560
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 10.10.2019 09:06:52

wanne hat geschrieben: ↑ zum Beitrag ↑
09.10.2019 23:56:28
Im Allgemeinen halte ich Festplattenverschlüsslung für Server quatsch. Wenn der Server läuft muss die Platte ja entschlüsselt sein.
Bei jeder Hausdurchsuchng hat die Polizei mittlerweile passendes Gerät zum auslesen ohne runter fahren dabei.
Deswegen will ich ne nette Balance finden. Etwas was das taegliche Arbeiten nicht erschwert, aber mich dennoch in manchen situationen absichert. So eine art Tuerschloss oder Sicherheitsgurt.
Bin auch son Typ der mit Fahrradhelm faehrt. Sicherlich ganz nett wen man mal hinfaellt, wenn mich ein Auto mit 160KM/h erwischt nicht so viel.

Dachte auch an LVM und luks fuer /

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Antworten