Allgemeiner ZFS unter Debian Faden.

Probleme mit Samba, NFS, FTP und Co.
Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 22.10.2019 15:38:38

So, konnte durch reddit und lesen ein paar meiner Fragen beantworten.
  • Recordsize beim torrent download ist wohl ok mit 1M. Ggf den Schreibbuffer etwas erhoehen, so das ZFS nicht so schnell flushed.
  • Torrent benuzt kein sync, also ist SLOG nicht zu gebrauchen
  • Nur ich und mein torrent Klient lesen von dem pool mit 1 Gbit/s also ergibt L2ARC kein sinn. Dazu nur 16GB ram.
  • Was dazu fuert das ich die 2x 120GB SSDs nicht gebrauchen kann.
  • Hardlinks auf dem gleichen dataset sind kein Problem
  • ZFS encryption hat kein hardware support, kommt aber vielleicht mit 0.8.3 .. was vielleicht in den Backports landet.
Keine Verschluesselung, ZFS encryption oder LUKS? Weis ich noch nicht.
Festplatten sind eh noch ein paar Tage beschaeftig auf Fehler ueberprueft zu werden.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 24.10.2019 19:25:58

2344
^ Heute habe ich die 5 Platten aus dem Gehäuse gepult
2343
^ Bewerte mein Server. Ich wuerde sagen 10/10 👌

Code: Alles auswählen

sdb      8:16   0   7.3T  0 disk
sdc      8:32   0   7.3T  0 disk
sdd      8:48   0   7.3T  0 disk
sde      8:64   0   7.3T  0 disk
sdf      8:80   0   7.3T  0 disk
Jetzt muss ich nur noch ZFS verstehen :))))
Dazu spiele ich mit diesen 5 Platten auf einem frischen System ein wenig rum. Und wenn ich mir sicher bin kommen die alten Platten + OS SSD an das neue Mobo.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 30.10.2019 18:36:43

Hallo liebes Tagebuch Blog

Bevor ich von Intel auf neues Mainboard und Ryzen CPU + neue Platten umgestiegen bin habe ich erstmal auf Buster geupgraded.
Dazu noch Kernel aus Backports. 5.2.0-0.bpo.3-amd64 Ist zwar nicht letzte generation Ryzen, aber ich wollte sicher sein.
Dann ZFS installiert, geguckt ob sich das Modul laden liest bevor ich auf neue Hardware umgestiegen bin.

Den ZFS pool will man gerne mit id der Festplatte erstellen und nicht /dev/sdX. Aber das ist ja heutzutage bei fstab auch nicht anders.
ll /dev/disk/by-id/ata*

Code: Alles auswählen

sudo zpool create -o ashift=12 -O mountpoint=none tank0 raidz2 ata-WDC_WD80EZAZ-11TDBA0_XXXXX ....
ashift=12 sollte ZoL gerne selber erkennen, aber ich habe es explicit nochmal angegeben. 512 vs 4k Sektoren Festplatten.
mountpoint=none ist Wichtig, komme ich gleich zu.
tank0 Names des pools. Sollte Serverubergreifent einzigartig sein habe ich mir sagen lassen. Wenn man mal exportiert und woanders importiert etc.
Dann die liste der Festplatten IDs.

Code: Alles auswählen

sudo zfs set compression=lz4 tank0
sudo zfs set compression=on tank0
sudo zfs set recordsize=1M tank0
sudo zfs set dedup=off tank0
sudo zfs set relatime=on tank0
Komprimierung immer an, ZFS findet selber raus wenn es sich nicht lohnt. Und CPU heutzutage sind recht fix.
Recordsize optimiert fuer grosse Daten. Ich habe andere Datasets mit kleinerer recordsize. Mehr dazu hier: https://jrs-s.net/2019/04/03/on-zfs-recordsize/
Dedub will ich nicht. Braucht angeblich richtig viel ram und ich habe auch nicht so viele duplizierte Daten das es sich lohnen wuerde.
relatime=on wegen angeblich besserer Performance. Ich glaube default wird immer gespeichert wenn jemand die Datei liest? Mit relatime=on wird es aehnlich wie XFS oder EXT sein.

Code: Alles auswählen

sudo zfs create -o encryption=aes-256-gcm -o keyformat=passphrase -o keylocation=prompt -o mountpoint=/media/raid tank0/main
Oder mit keyfile:

Code: Alles auswählen

sudo zfs create -o encryption=aes-256-gcm -o keyformat=raw -o keylocation=file:///home/niemand/ich_nackt.jpeg -o mountpoint=/media/raid tank0/main
Dann habe ich ein "haupt" Dataset erstellt und ein mountpoint gegeben. Eigentlich kann man auch den ganzen pool (tank0) verschluesseln. Aber so kann ich immernoch datasets erstellen die nicht Verschluesselt sind.

Dann habe ich weitere Datasets unter dem verschluesseltem tank0/main erstellt. Die sind dann auch gleich eingebunden und verschluesselt. Erscheinen also als einfache Ordner:

Code: Alles auswählen

sudo zfs create tank0/main/backup
So ein dataset kann ich ein anderes recordsize geben, individuel snapshot erstellen und diese dann mit zfs send offsite absichern.

6 mal 8 TB, bei raidz2 sind 31.8 TB, oder 29 TiB
Davon wird aber noch slop space abgezogen. Sowas aehnliches wie die bei Debian oft uebliche 5% root Reserve.
Am ende habe ich ~28TiB freien speicher.
df -h sagt mir 27T, kein Plan warum.
__________________________________

Noch nicht sicher warum, aber beim befuellen das ist der Pool auch gleich erstmal degraded. Da hatte ich email notification noch nicht aufgesetzt und es zufaellig mitbekommen.
Sas Kabel oder vielleicht HBA Karte. Vielleicht ein Wackel. Ist hier alles etwas provisorisch aufgebaut. HBA hat auch erst spaeter ein Lueft bekommen.
Mal sehen.
Aber resilver (rebuild des pools) ging automtisch los als ich die Festplatte an einem anderen sas Stecker angeschlossen habe.
__________________________________

Als alles rueberkopiert wurde und ich den torrent Klienten wieder angeschmissen habe stellte ich fest das einige Daten korrupt waren :0
wat.jpeg
Vorher hatte ich ein "raid' durch mergerfs. Beim kopieren auf das neue NAS habe ich aber auf die Individuellen Festplatten zugegriffen. Irgendwie war in einer Handvoll Daten der Wurm drinne. Die waren dann auf zwei Festplatten, und auf der einen davon nur so halb.
Kein plan, mergerfs wieder gemountet, davon fix rsync auf das ZFS raid. ~100Gb kopiert und alles war komplett.

_________________________________
Noch habe ich keine Hardwarebeschleunigung. Aber fix ist upstream fertig und wird sogar backportet. Yay.
_________________________________
MTA Email einrichten so das der ZFS Zed dings bums mail benutzten konnte war richtig kacke. viewtopic.php?f=8&t=175245
Laeuft jetzt aber. Und smart kann mir auch email senden.
_________________________________
lm-sensors kann leider nicht mit neuen Ryzen boards umgehen.
Aber hier gibt es abhilfe, mal sehen ob ich dazu komme: https://github.com/electrified/asus-wmi-sensors


Muss sagen ZFS ist nett. Einfach zu verstehen als lvm ist es alle mal.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

sergej2018

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von sergej2018 » 04.11.2019 16:44:19

Jap, hat man ZFS einmal nen bisschen verstanden und damit experimentiert, ist man damit als professioneller Heimuser schnell überzeugt davon!

Wie hast du die HDDs eigentlich auf Fehler überprüft?

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 04.11.2019 18:26:47

sergej2018 hat geschrieben: ↑ zum Beitrag ↑
04.11.2019 16:44:19
Wie hast du die HDDs eigentlich auf Fehler überprüft?
Mit badblocks aus Debiane2fsprogs

Code: Alles auswählen

#Non destructive read only or something.
sudo badblocks -nsv -b 4096 /dev/sdb1
#Destructive read/write test. Best.
sudo badblocks -b 4096 -ws /dev/sdg1
Zweiteres.
Dauert ein paar Tage.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

sergej2018

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von sergej2018 » 04.11.2019 18:35:15

Muss ich mal probieren, danke!

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Colttt » 06.11.2019 12:09:59

Was ist eure Erfahrung mit ZFS unter Debian?
gut wir nutzen das hier produktiv mit mehreren Server, als Nextcloud und vmwarestorage backend, läuft super..

ich hoffe trotzdem das bcachefs[1][2] bald in den Kernel kommt und dann endlich DAS Linux dateisystem wird

[1] https://bcachefs.org/
[2] https://www.patreon.com/bcachefs
Debian-Nutzer :D

ZABBIX Certified Specialist

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 07.11.2019 07:32:04

Zol und OpenZFS mergen und bekommen eine gemeisamme codebasis. https://twitter.com/FreeBSDHelp/status/ ... 0428367873
🎉
________________
Debian fuegt automatisch ein cron job fuer das scrubbing hinzu. Habe ein systemd.timer erwartet.
/etc/cron.d/zfsutils-linux
________________
Ein 2TB torrent seeden mit deluge aus stable verursacht 100% CPU usage. Deluge 2 hat wohl einige Performance Verbesserungen, leider hat es das nicht in Stable geschafft. Windows remote Klient fehlt auch noch.
Mal sehen ob ich apt pinning benutzte oder einfach in ein docker stecke.
________________
Edit: Oh, und Linux Hardware Beschleunigung wurde in ZoL master gemerged, backport pull request fuer 0.8.2 steht auch schon. Also wird es wohl auch irgendwann in Debian ankommen. Hoffe ich.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 13.11.2019 19:02:55

Oh wie cool.
Man kann zfs snapshot via samba an windows Klients weitergeben.

2361

War auch recht einfach. Debianzfs-auto-snapshot Installieren.
Dann erstmal die ganzen cron job ausschalten. /etc/cron.monthly/zfs-auto-snapshot etc. Mit systemd timers waere das einfacher.

Code: Alles auswählen

sudo zfs-auto-snapshot  --label=frequent --keep=4 --default-exclude tank0/main/test
Und samba.conf

Code: Alles auswählen

[test]
        vfs objects = shadow_copy2
        shadow: snapdir = .zfs/snapshot
        shadow: sort = desc
        shadow: format = -%Y-%m-%d-%H%M
        shadow: snapprefix = ^zfs-auto-snap_\(frequent\)\{0,1\}\(hourly\)\{0,1\}\(daily\)\{0,1\}\(monthly\)\{0,1\}
        shadow: delimiter = -20
        shadow: localtime = no
        path = /media/raid/test
        writable = yes
        guest ok = yes

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 28.01.2020 21:16:33

Ich dachte ich haette schonmal die lese und schreibgeschwindichkeit getestet. Habe ich wohl nicht.
Stellt sich raus ich kann momentan nur mit ~80 MiB/s lesen von einem verschluesselten ZFS pool.

Pool wurde mit -o encryption=aes-256-gcm erstellt, was auf software Langsamer ist als der default encryption Algo, aber mit Hardware schneller ist.

Schreiben (enc): 187MiB/s
Lesen (enc): 77.6MiB/s

Schreiben: 326MiB/s
Lesen: 362MiB/s

0.8.3 welches Hardwarebeschleunigung wiederbringt ist schon in unstable: https://tracker.debian.org/pkg/zfs-linux

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

DeletedUserReAsG

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von DeletedUserReAsG » 29.01.2020 07:59:59

Es sollte sich halt keiner der Illusion hingeben, dass zfs mal nativ im Kernel sein würde: https://www.heise.de/newsticker/meldung ... 33302.html

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 14.02.2020 21:39:48

Ahh :( Omg
ZFS 0.8.3 installiert, performance ist besser, aber immernoch kaka.
Nach stunden von tests und IRC siehst es so aus als wenn ZFS encryption einfach noch etwas langsam ist :( https://github.com/zfsonlinux/zfs/pull/9749
Wird wohl aber besser mit ZoL 2.0, also der naechsten major version.

16.4GiB 0:00:48 [ 343MiB/s]
16.4GiB 0:01:55 [ 145MiB/s]

Immerhin besser als die 77MiB/s von 0.8.2 ;_;

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 12.05.2020 21:20:24

0.8.4 ist draussen https://github.com/openzfs/zfs/releases/tag/zfs-0.8.4
Das sollte ordentlich Geschwindigkeit bringen.
ICP: gcm-avx: Support architectures lacking the MOVBE instruction #10029
ICP: Improve AES-GCM performance #9749
Werde ich mal testen wenn es in den Backports eintrudelt.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von bluestar » 12.05.2020 21:51:58

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
12.05.2020 21:20:24
Werde ich mal testen wenn es in den Backports eintrudelt.
Ich warte auch fleissig :D

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 25.05.2020 16:42:14

bluestar hat geschrieben: ↑ zum Beitrag ↑
12.05.2020 21:51:58
Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
12.05.2020 21:20:24
Werde ich mal testen wenn es in den Backports eintrudelt.
Ich warte auch fleissig :D
https://tracker.debian.org/news/1147366 ... backports/
🎉
Spaeter mal testen.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 28.05.2020 23:20:05

Einfaches sequenzielles lesen von einem encrypted Dataset ist jetzt genau so schnell wie unencryptet \o/
Kann jetzt von meinen guenstig raidz2 mit 350 MB/s lesen und schreiben.
Vorher war nur 200MB lesen drinne.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 10.06.2020 10:03:31

Ich habe Debianzfs-auto-snapshot deinstalliert und jetzt sanoid runtergeladen.

Da kann ich in einer config alles einstellen.
Erst ein oder mehrere Templates:

Code: Alles auswählen

[template_production]
        frequently = 0
        hourly = 36
        daily = 30
        monthly = 3
Und dann den Datasets die Templates zuweisen:

Code: Alles auswählen

[data/home]
	use_template = production
In diesem Beispiel wird vom data/home jede Stunde ein Snapshot erstellt, wenn 36 vorhanden sind wird das aelteste automatisch geloescht.
Bei den Template kann man auch noch scripts hinzufuegen.
pre_snapshot_script = /path/to/script.sh
Sehr nett und einfach das Ganze.

Das Packet enthaelt auch syncoid
syncoid data/images/vm root@remotehost:backup/images/vm
Damit kann man sein Dataset, inclusive snapshots einfach auf ein remote host pushen.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 12.06.2020 22:36:43

Weil mir gerade lustig war auch mal fix ein encryption read test auf einer billigen NVMe Platte gemacht.
1281MiB/s seq read
Top.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
ThorstenS
Beiträge: 2875
Registriert: 24.04.2004 15:33:31

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von ThorstenS » 22.06.2020 22:41:47

Man kann ja leider keinen Post liken, daher: :THX:

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Colttt » 26.06.2020 13:57:38

kann mir jemand sagen ob zfs 0.8.x auf Debian stretch läuft?
Debian-Nutzer :D

ZABBIX Certified Specialist

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 15.07.2020 11:32:17

Man kan mit einem Kommando eine Reihe von Snapshops loeschen.
zfs destroy zpool1/dataset@20160918%20161107

Damit wird alles von zpool1/dataset@20160918 bis zpool1/dataset@20161107 geloescht. Ganz nett wenn man sehr viele Snapshots hat die man loswerden will.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von heisenberg » 10.08.2020 10:37:16

Ich verwende jetzt seit einigen Monaten auch ZFS auf VMHosts. Dabei sind auch regelmässig länger gebrauchte und noch für gut befundene Platten im Einsatz.

Mit ZFS - monatliche scrubs sind aktiv - fallen da durchaus öfters auch einzelne Datenfehler auf, die es bestimmt vorher schon auch gegeben hat, aber aufgrund von mangelnder Fähigkeit von HW-RAID-Controllern das online zu erkennen nicht bemerkt worden sind. (Also auch nicht bei den RAID-Überprüfungen der HW-RAID-Controller)

Also einzelne Datenfehler, die dann durch ein Repair direkt behoben werden könne. Aber das ganze doch in einer Häufigkeit, die mich da durchaus nachdenklich macht, ob ich nicht vielleicht einfach mal besser ein paar mehr Platten wegwerfe oder lieber doch mehr als nur 1 Platte Redundanz konfiguriere.

Insgesamt also eine gute Sache, dass hier schleichende Datenfehler durch ZFS entdeckt wurden, bevor Datenverlust entsteht.

Nachtrag:

Es passiert auch schon mal recht schnell, dass eine Platte komplett rausfliegt. Also nach ca. 20-40 Lesefehlern. Das ist recht unangenehm. Denn wenn die falsche 2. Platte auch noch rausfliegt, dann ist der Server tot.
Zuletzt geändert von heisenberg am 21.08.2020 14:54:33, insgesamt 1-mal geändert.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 21.08.2020 11:28:50

zstd kompression hat es endlich in OpenZFS geschafft: https://github.com/openzfs/zfs/commit/1 ... 66e64ec0a0
Es war schon vorher in der BSD version von ZFS und in BTRFS.

zstd wurde von facebook entwickelt https://github.com/facebook/zstd

Hier gibt es ein paar Grafen ab wann sich was lohnt: https://github.com/openzfs/zfs/pull/973 ... -570082078
lz4 ist weiterhin verwendbar.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von wanne » 21.08.2020 15:03:24

lz4 ist bei denen immer deutlich schneller als gzip. gefühlt habe ich das auch schon bemerkt. Das ist interessant.
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 25.08.2020 10:40:44

FreeBSD wechselt jetzt zu OpenZFS code, damit wird der code unter Linux und BSD geteilt und nicht jeder kocht seine eigene Suppe.
Gemeinsam ist man stark \o/ ZFS ist die Zukunft.

https://www.golem.de/news/dateisystem-f ... 50449.html
EN Primaer quelle: https://svnweb.freebsd.org/base?view=re ... ion=364746
_____________________
Noch was zu ZSDT
As the person who made those graphs and the testscript behind it, there are some important noted about the tests and graphs that might be lost in translation:
- Those are primarily meant to give a basic understanding of performance, not to represent actual performance
- Those are somewhat outdated, I expect a little more performance in the version thats actually merged.

Those tests are done in a VM, with other software running on the host... That certainly influenced the outcome.

But, I agree LZ4 still has it's place, but ZSTD-FAST-3 is pretty close...
Also, look at the general graphs in the PR description... those are little more clear than those detail graphs :)
PR: https://github.com/openzfs/zfs/pull/10278
Compression: https://user-images.githubusercontent.c ... 91ffee.png
Decompression: https://user-images.githubusercontent.c ... c71909.png

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Antworten