Was ist eure Erfahrung mit ZFS unter Debian?

Probleme mit Samba, NFS, FTP und Co.
Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 22.10.2019 15:38:38

So, konnte durch reddit und lesen ein paar meiner Fragen beantworten.
  • Recordsize beim torrent download ist wohl ok mit 1M. Ggf den Schreibbuffer etwas erhoehen, so das ZFS nicht so schnell flushed.
  • Torrent benuzt kein sync, also ist SLOG nicht zu gebrauchen
  • Nur ich und mein torrent Klient lesen von dem pool mit 1 Gbit/s also ergibt L2ARC kein sinn. Dazu nur 16GB ram.
  • Was dazu fuert das ich die 2x 120GB SSDs nicht gebrauchen kann.
  • Hardlinks auf dem gleichen dataset sind kein Problem
  • ZFS encryption hat kein hardware support, kommt aber vielleicht mit 0.8.3 .. was vielleicht in den Backports landet.
Keine Verschluesselung, ZFS encryption oder LUKS? Weis ich noch nicht.
Festplatten sind eh noch ein paar Tage beschaeftig auf Fehler ueberprueft zu werden.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 24.10.2019 19:25:58

2344
^ Heute habe ich die 5 Platten aus dem Gehäuse gepult
2343
^ Bewerte mein Server. Ich wuerde sagen 10/10 👌

Code: Alles auswählen

sdb      8:16   0   7.3T  0 disk
sdc      8:32   0   7.3T  0 disk
sdd      8:48   0   7.3T  0 disk
sde      8:64   0   7.3T  0 disk
sdf      8:80   0   7.3T  0 disk
Jetzt muss ich nur noch ZFS verstehen :))))
Dazu spiele ich mit diesen 5 Platten auf einem frischen System ein wenig rum. Und wenn ich mir sicher bin kommen die alten Platten + OS SSD an das neue Mobo.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 30.10.2019 18:36:43

Hallo liebes Tagebuch Blog

Bevor ich von Intel auf neues Mainboard und Ryzen CPU + neue Platten umgestiegen bin habe ich erstmal auf Buster geupgraded.
Dazu noch Kernel aus Backports. 5.2.0-0.bpo.3-amd64 Ist zwar nicht letzte generation Ryzen, aber ich wollte sicher sein.
Dann ZFS installiert, geguckt ob sich das Modul laden liest bevor ich auf neue Hardware umgestiegen bin.

Den ZFS pool will man gerne mit id der Festplatte erstellen und nicht /dev/sdX. Aber das ist ja heutzutage bei fstab auch nicht anders.
ll /dev/disk/by-id/ata*

Code: Alles auswählen

sudo zpool create -o ashift=12 -O mountpoint=none tank0 raidz2 ata-WDC_WD80EZAZ-11TDBA0_XXXXX ....
ashift=12 sollte ZoL gerne selber erkennen, aber ich habe es explicit nochmal angegeben. 512 vs 4k Sektoren Festplatten.
mountpoint=none ist Wichtig, komme ich gleich zu.
tank0 Names des pools. Sollte Serverubergreifent einzigartig sein habe ich mir sagen lassen. Wenn man mal exportiert und woanders importiert etc.
Dann die liste der Festplatten IDs.

Code: Alles auswählen

sudo zfs set compression=lz4 tank0
sudo zfs set compression=on tank0
sudo zfs set recordsize=1M tank0
sudo zfs set dedup=off tank0
sudo zfs set relatime=on tank0
Komprimierung immer an, ZFS findet selber raus wenn es sich nicht lohnt. Und CPU heutzutage sind recht fix.
Recordsize optimiert fuer grosse Daten. Ich habe andere Datasets mit kleinerer recordsize. Mehr dazu hier: https://jrs-s.net/2019/04/03/on-zfs-recordsize/
Dedub will ich nicht. Braucht angeblich richtig viel ram und ich habe auch nicht so viele duplizierte Daten das es sich lohnen wuerde.
relatime=on wegen angeblich besserer Performance. Ich glaube default wird immer gespeichert wenn jemand die Datei liest? Mit relatime=on wird es aehnlich wie XFS oder EXT sein.

Code: Alles auswählen

sudo zfs create -o encryption=aes-256-gcm -o keyformat=passphrase -o keylocation=prompt -o mountpoint=/media/raid tank0/main
Oder mit keyfile:

Code: Alles auswählen

sudo zfs create -o encryption=aes-256-gcm -o keyformat=raw -o keylocation=file:///home/niemand/ich_nackt.jpeg -o mountpoint=/media/raid tank0/main
Dann habe ich ein "haupt" Dataset erstellt und ein mountpoint gegeben. Eigentlich kann man auch den ganzen pool (tank0) verschluesseln. Aber so kann ich immernoch datasets erstellen die nicht Verschluesselt sind.

Dann habe ich weitere Datasets unter dem verschluesseltem tank0/main erstellt. Die sind dann auch gleich eingebunden und verschluesselt. Erscheinen also als einfache Ordner:

Code: Alles auswählen

sudo zfs create tank0/main/backup
So ein dataset kann ich ein anderes recordsize geben, individuel snapshot erstellen und diese dann mit zfs send offsite absichern.

6 mal 8 TB, bei raidz2 sind 31.8 TB, oder 29 TiB
Davon wird aber noch slop space abgezogen. Sowas aehnliches wie die bei Debian oft uebliche 5% root Reserve.
Am ende habe ich ~28TiB freien speicher.
df -h sagt mir 27T, kein Plan warum.
__________________________________

Noch nicht sicher warum, aber beim befuellen das ist der Pool auch gleich erstmal degraded. Da hatte ich email notification noch nicht aufgesetzt und es zufaellig mitbekommen.
Sas Kabel oder vielleicht HBA Karte. Vielleicht ein Wackel. Ist hier alles etwas provisorisch aufgebaut. HBA hat auch erst spaeter ein Lueft bekommen.
Mal sehen.
Aber resilver (rebuild des pools) ging automtisch los als ich die Festplatte an einem anderen sas Stecker angeschlossen habe.
__________________________________

Als alles rueberkopiert wurde und ich den torrent Klienten wieder angeschmissen habe stellte ich fest das einige Daten korrupt waren :0
wat.jpeg
Vorher hatte ich ein "raid' durch mergerfs. Beim kopieren auf das neue NAS habe ich aber auf die Individuellen Festplatten zugegriffen. Irgendwie war in einer Handvoll Daten der Wurm drinne. Die waren dann auf zwei Festplatten, und auf der einen davon nur so halb.
Kein plan, mergerfs wieder gemountet, davon fix rsync auf das ZFS raid. ~100Gb kopiert und alles war komplett.

_________________________________
Noch habe ich keine Hardwarebeschleunigung. Aber fix ist upstream fertig und wird sogar backportet. Yay.
_________________________________
MTA Email einrichten so das der ZFS Zed dings bums mail benutzten konnte war richtig kacke. viewtopic.php?f=8&t=175245
Laeuft jetzt aber. Und smart kann mir auch email senden.
_________________________________
lm-sensors kann leider nicht mit neuen Ryzen boards umgehen.
Aber hier gibt es abhilfe, mal sehen ob ich dazu komme: https://github.com/electrified/asus-wmi-sensors


Muss sagen ZFS ist nett. Einfach zu verstehen als lvm ist es alle mal.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

sergej2018

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von sergej2018 » 04.11.2019 16:44:19

Jap, hat man ZFS einmal nen bisschen verstanden und damit experimentiert, ist man damit als professioneller Heimuser schnell überzeugt davon!

Wie hast du die HDDs eigentlich auf Fehler überprüft?

Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 04.11.2019 18:26:47

sergej2018 hat geschrieben: ↑ zum Beitrag ↑
04.11.2019 16:44:19
Wie hast du die HDDs eigentlich auf Fehler überprüft?
Mit badblocks aus Debiane2fsprogs

Code: Alles auswählen

#Non destructive read only or something.
sudo badblocks -nsv -b 4096 /dev/sdb1
#Destructive read/write test. Best.
sudo badblocks -b 4096 -ws /dev/sdg1
Zweiteres.
Dauert ein paar Tage.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

sergej2018

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von sergej2018 » 04.11.2019 18:35:15

Muss ich mal probieren, danke!

Colttt
Beiträge: 2915
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Colttt » 06.11.2019 12:09:59

Was ist eure Erfahrung mit ZFS unter Debian?
gut wir nutzen das hier produktiv mit mehreren Server, als Nextcloud und vmwarestorage backend, läuft super..

ich hoffe trotzdem das bcachefs[1][2] bald in den Kernel kommt und dann endlich DAS Linux dateisystem wird

[1] https://bcachefs.org/
[2] https://www.patreon.com/bcachefs
Debian-Nutzer :D

ZABBIX Certified Specialist

Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 07.11.2019 07:32:04

Zol und OpenZFS mergen und bekommen eine gemeisamme codebasis. https://twitter.com/FreeBSDHelp/status/ ... 0428367873
🎉
________________
Debian fuegt automatisch ein cron job fuer das scrubbing hinzu. Habe ein systemd.timer erwartet.
/etc/cron.d/zfsutils-linux
________________
Ein 2TB torrent seeden mit deluge aus stable verursacht 100% CPU usage. Deluge 2 hat wohl einige Performance Verbesserungen, leider hat es das nicht in Stable geschafft. Windows remote Klient fehlt auch noch.
Mal sehen ob ich apt pinning benutzte oder einfach in ein docker stecke.
________________
Edit: Oh, und Linux Hardware Beschleunigung wurde in ZoL master gemerged, backport pull request fuer 0.8.2 steht auch schon. Also wird es wohl auch irgendwann in Debian ankommen. Hoffe ich.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 13.11.2019 19:02:55

Oh wie cool.
Man kann zfs snapshot via samba an windows Klients weitergeben.

2361

War auch recht einfach. Debianzfs-auto-snapshot Installieren.
Dann erstmal die ganzen cron job ausschalten. /etc/cron.monthly/zfs-auto-snapshot etc. Mit systemd timers waere das einfacher.

Code: Alles auswählen

sudo zfs-auto-snapshot  --label=frequent --keep=4 --default-exclude tank0/main/test
Und samba.conf

Code: Alles auswählen

[test]
        vfs objects = shadow_copy2
        shadow: snapdir = .zfs/snapshot
        shadow: sort = desc
        shadow: format = -%Y-%m-%d-%H%M
        shadow: snapprefix = ^zfs-auto-snap_\(frequent\)\{0,1\}\(hourly\)\{0,1\}\(daily\)\{0,1\}\(monthly\)\{0,1\}
        shadow: delimiter = -20
        shadow: localtime = no
        path = /media/raid/test
        writable = yes
        guest ok = yes

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 28.01.2020 21:16:33

Ich dachte ich haette schonmal die lese und schreibgeschwindichkeit getestet. Habe ich wohl nicht.
Stellt sich raus ich kann momentan nur mit ~80 MiB/s lesen von einem verschluesselten ZFS pool.

Pool wurde mit -o encryption=aes-256-gcm erstellt, was auf software Langsamer ist als der default encryption Algo, aber mit Hardware schneller ist.

Schreiben (enc): 187MiB/s
Lesen (enc): 77.6MiB/s

Schreiben: 326MiB/s
Lesen: 362MiB/s

0.8.3 welches Hardwarebeschleunigung wiederbringt ist schon in unstable: https://tracker.debian.org/pkg/zfs-linux

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
niemand
Beiträge: 13651
Registriert: 18.07.2004 16:43:29

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von niemand » 29.01.2020 07:59:59

Es sollte sich halt keiner der Illusion hingeben, dass zfs mal nativ im Kernel sein würde: https://www.heise.de/newsticker/meldung ... 33302.html
non serviam.

Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 14.02.2020 21:39:48

Ahh :( Omg
ZFS 0.8.3 installiert, performance ist besser, aber immernoch kaka.
Nach stunden von tests und IRC siehst es so aus als wenn ZFS encryption einfach noch etwas langsam ist :( https://github.com/zfsonlinux/zfs/pull/9749
Wird wohl aber besser mit ZoL 2.0, also der naechsten major version.

16.4GiB 0:00:48 [ 343MiB/s]
16.4GiB 0:01:55 [ 145MiB/s]

Immerhin besser als die 77MiB/s von 0.8.2 ;_;

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 12.05.2020 21:20:24

0.8.4 ist draussen https://github.com/openzfs/zfs/releases/tag/zfs-0.8.4
Das sollte ordentlich Geschwindigkeit bringen.
ICP: gcm-avx: Support architectures lacking the MOVBE instruction #10029
ICP: Improve AES-GCM performance #9749
Werde ich mal testen wenn es in den Backports eintrudelt.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
bluestar
Beiträge: 1495
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von bluestar » 12.05.2020 21:51:58

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
12.05.2020 21:20:24
Werde ich mal testen wenn es in den Backports eintrudelt.
Ich warte auch fleissig :D

Benutzeravatar
Lord_Carlos
Beiträge: 5138
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 25.05.2020 16:42:14

bluestar hat geschrieben: ↑ zum Beitrag ↑
12.05.2020 21:51:58
Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
12.05.2020 21:20:24
Werde ich mal testen wenn es in den Backports eintrudelt.
Ich warte auch fleissig :D
https://tracker.debian.org/news/1147366 ... backports/
🎉
Spaeter mal testen.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Antworten