Allgemeiner ZFS unter Debian Faden.
- heisenberg
- Beiträge: 3670
- Registriert: 04.06.2015 01:17:27
- Lizenz eigener Beiträge: MIT Lizenz
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Ich bleib auch nochmal bei dem Off-Topic Thema Hausdurchsuchung:
Das erwähnte Gespräch von mir handelte von einer geplanten, simultan ausgeführten Razzia, um eine um eine Bande von Internetkriminellen festzunehmen. Da war nix mehr mit: Ich schau mal, wer da vor der Tür steht.
Das erwähnte Gespräch von mir handelte von einer geplanten, simultan ausgeführten Razzia, um eine um eine Bande von Internetkriminellen festzunehmen. Da war nix mehr mit: Ich schau mal, wer da vor der Tür steht.
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Festplatten sind eingetroffen. Da laeuft die naechsten tage erstmal badblocks.
Auch 1x Sas zu 4x Sata Kabel habe ich. Fehlt nur noch die HBA Karte. Aus Asien, dauert etwas.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Yay, HBA Karte ist jetzt auch da.
_______
Ich habe mal aufgezeichnet was so mein Plan ist:
(SVG link)
Dazu habe ich jetzt auch ein paar konkrete Fragen. (reddit thread)
_______
Ich habe mal aufgezeichnet was so mein Plan ist:
(SVG link)
Dazu habe ich jetzt auch ein paar konkrete Fragen. (reddit thread)
- Recordsize fuer das dataset auf dem ich torrents runterlade. Manche sagen 16KB, andere 1M.
- Verschluesselung. Hardwarebeschleunigung geht wohl gerade nur wenn man den Kernel patched. Eigentich sollte was in ZoL 0.8.2 drinne sein, aber das wahr wohl zu unstabil. Hat luks ein nachteil in Verbindung mit ZFS?
- Bei meinem mickrigen Anwendungsfall von 1 Gbit/s torrent, lohnt sich SLOG auf einer NVMe?
- Gibt es was tolles was ich mit 2x 120GB SSD machen kann? Ich vertraue den platten nicht mehr. Also hoechsten read cache. Aber bei 16GB ram soll sich das wohl nicht lohnen?
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Noch ne Frage.
Momentarn ist 0.8.2 in den Backports. Wie funktioniert das normal so in den Backports, ist es wahrscheinlich das neue versionen erscheinen und wird 0.8.2 in den Backports bleiben?
Momentarn ist 0.8.2 in den Backports. Wie funktioniert das normal so in den Backports, ist es wahrscheinlich das neue versionen erscheinen und wird 0.8.2 in den Backports bleiben?
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Wenn eine neuere Version hochgeladen wird (und das kann durchaus passieren), dann fliegt die 0.8.2er raus.
Ergo solltest du sie dir mit apt download $paket (inkl. sämtlicher Abhängigkeiten von bpo) herunterladen und archivieren.
Edith: reprepro würde ich dir empfehlen, wenn du eigene debs in einem repo vorhalten magst.
Ergo solltest du sie dir mit apt download $paket (inkl. sämtlicher Abhängigkeiten von bpo) herunterladen und archivieren.
Edith: reprepro würde ich dir empfehlen, wenn du eigene debs in einem repo vorhalten magst.
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
So, konnte durch reddit und lesen ein paar meiner Fragen beantworten.
Festplatten sind eh noch ein paar Tage beschaeftig auf Fehler ueberprueft zu werden.
- Recordsize beim torrent download ist wohl ok mit 1M. Ggf den Schreibbuffer etwas erhoehen, so das ZFS nicht so schnell flushed.
- Torrent benuzt kein sync, also ist SLOG nicht zu gebrauchen
- Nur ich und mein torrent Klient lesen von dem pool mit 1 Gbit/s also ergibt L2ARC kein sinn. Dazu nur 16GB ram.
- Was dazu fuert das ich die 2x 120GB SSDs nicht gebrauchen kann.
- Hardlinks auf dem gleichen dataset sind kein Problem
- ZFS encryption hat kein hardware support, kommt aber vielleicht mit 0.8.3 .. was vielleicht in den Backports landet.
Festplatten sind eh noch ein paar Tage beschaeftig auf Fehler ueberprueft zu werden.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
^ Heute habe ich die 5 Platten aus dem Gehäuse gepult
^ Bewerte mein Server. Ich wuerde sagen 10/10 👌
Code: Alles auswählen
sdb 8:16 0 7.3T 0 disk
sdc 8:32 0 7.3T 0 disk
sdd 8:48 0 7.3T 0 disk
sde 8:64 0 7.3T 0 disk
sdf 8:80 0 7.3T 0 disk
Dazu spiele ich mit diesen 5 Platten auf einem frischen System ein wenig rum. Und wenn ich mir sicher bin kommen die alten Platten + OS SSD an das neue Mobo.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Hallo liebes Tagebuch Blog
Bevor ich von Intel auf neues Mainboard und Ryzen CPU + neue Platten umgestiegen bin habe ich erstmal auf Buster geupgraded.
Dazu noch Kernel aus Backports. 5.2.0-0.bpo.3-amd64 Ist zwar nicht letzte generation Ryzen, aber ich wollte sicher sein.
Dann ZFS installiert, geguckt ob sich das Modul laden liest bevor ich auf neue Hardware umgestiegen bin.
Den ZFS pool will man gerne mit id der Festplatte erstellen und nicht /dev/sdX. Aber das ist ja heutzutage bei fstab auch nicht anders.
ll /dev/disk/by-id/ata*
ashift=12 sollte ZoL gerne selber erkennen, aber ich habe es explicit nochmal angegeben. 512 vs 4k Sektoren Festplatten.
mountpoint=none ist Wichtig, komme ich gleich zu.
tank0 Names des pools. Sollte Serverubergreifent einzigartig sein habe ich mir sagen lassen. Wenn man mal exportiert und woanders importiert etc.
Dann die liste der Festplatten IDs.
Komprimierung immer an, ZFS findet selber raus wenn es sich nicht lohnt. Und CPU heutzutage sind recht fix.
Recordsize optimiert fuer grosse Daten. Ich habe andere Datasets mit kleinerer recordsize. Mehr dazu hier: https://jrs-s.net/2019/04/03/on-zfs-recordsize/
Dedub will ich nicht. Braucht angeblich richtig viel ram und ich habe auch nicht so viele duplizierte Daten das es sich lohnen wuerde.
relatime=on wegen angeblich besserer Performance. Ich glaube default wird immer gespeichert wenn jemand die Datei liest? Mit relatime=on wird es aehnlich wie XFS oder EXT sein.
Oder mit keyfile:
Dann habe ich ein "haupt" Dataset erstellt und ein mountpoint gegeben. Eigentlich kann man auch den ganzen pool (tank0) verschluesseln. Aber so kann ich immernoch datasets erstellen die nicht Verschluesselt sind.
Dann habe ich weitere Datasets unter dem verschluesseltem tank0/main erstellt. Die sind dann auch gleich eingebunden und verschluesselt. Erscheinen also als einfache Ordner:
So ein dataset kann ich ein anderes recordsize geben, individuel snapshot erstellen und diese dann mit zfs send offsite absichern.
6 mal 8 TB, bei raidz2 sind 31.8 TB, oder 29 TiB
Davon wird aber noch slop space abgezogen. Sowas aehnliches wie die bei Debian oft uebliche 5% root Reserve.
Am ende habe ich ~28TiB freien speicher.
df -h sagt mir 27T, kein Plan warum.
__________________________________
Noch nicht sicher warum, aber beim befuellen das ist der Pool auch gleich erstmal degraded. Da hatte ich email notification noch nicht aufgesetzt und es zufaellig mitbekommen.
Sas Kabel oder vielleicht HBA Karte. Vielleicht ein Wackel. Ist hier alles etwas provisorisch aufgebaut. HBA hat auch erst spaeter ein Lueft bekommen.
Mal sehen.
Aber resilver (rebuild des pools) ging automtisch los als ich die Festplatte an einem anderen sas Stecker angeschlossen habe.
__________________________________
Als alles rueberkopiert wurde und ich den torrent Klienten wieder angeschmissen habe stellte ich fest das einige Daten korrupt waren :0
wat.jpeg
Vorher hatte ich ein "raid' durch mergerfs. Beim kopieren auf das neue NAS habe ich aber auf die Individuellen Festplatten zugegriffen. Irgendwie war in einer Handvoll Daten der Wurm drinne. Die waren dann auf zwei Festplatten, und auf der einen davon nur so halb.
Kein plan, mergerfs wieder gemountet, davon fix rsync auf das ZFS raid. ~100Gb kopiert und alles war komplett.
_________________________________
Noch habe ich keine Hardwarebeschleunigung. Aber fix ist upstream fertig und wird sogar backportet. Yay.
_________________________________
MTA Email einrichten so das der ZFS Zed dings bums mail benutzten konnte war richtig kacke. viewtopic.php?f=8&t=175245
Laeuft jetzt aber. Und smart kann mir auch email senden.
_________________________________
lm-sensors kann leider nicht mit neuen Ryzen boards umgehen.
Aber hier gibt es abhilfe, mal sehen ob ich dazu komme: https://github.com/electrified/asus-wmi-sensors
Muss sagen ZFS ist nett. Einfach zu verstehen als lvm ist es alle mal.
Bevor ich von Intel auf neues Mainboard und Ryzen CPU + neue Platten umgestiegen bin habe ich erstmal auf Buster geupgraded.
Dazu noch Kernel aus Backports. 5.2.0-0.bpo.3-amd64 Ist zwar nicht letzte generation Ryzen, aber ich wollte sicher sein.
Dann ZFS installiert, geguckt ob sich das Modul laden liest bevor ich auf neue Hardware umgestiegen bin.
Den ZFS pool will man gerne mit id der Festplatte erstellen und nicht /dev/sdX. Aber das ist ja heutzutage bei fstab auch nicht anders.
ll /dev/disk/by-id/ata*
Code: Alles auswählen
sudo zpool create -o ashift=12 -O mountpoint=none tank0 raidz2 ata-WDC_WD80EZAZ-11TDBA0_XXXXX ....
mountpoint=none ist Wichtig, komme ich gleich zu.
tank0 Names des pools. Sollte Serverubergreifent einzigartig sein habe ich mir sagen lassen. Wenn man mal exportiert und woanders importiert etc.
Dann die liste der Festplatten IDs.
Code: Alles auswählen
sudo zfs set compression=lz4 tank0
sudo zfs set compression=on tank0
sudo zfs set recordsize=1M tank0
sudo zfs set dedup=off tank0
sudo zfs set relatime=on tank0
Recordsize optimiert fuer grosse Daten. Ich habe andere Datasets mit kleinerer recordsize. Mehr dazu hier: https://jrs-s.net/2019/04/03/on-zfs-recordsize/
Dedub will ich nicht. Braucht angeblich richtig viel ram und ich habe auch nicht so viele duplizierte Daten das es sich lohnen wuerde.
relatime=on wegen angeblich besserer Performance. Ich glaube default wird immer gespeichert wenn jemand die Datei liest? Mit relatime=on wird es aehnlich wie XFS oder EXT sein.
Code: Alles auswählen
sudo zfs create -o encryption=aes-256-gcm -o keyformat=passphrase -o keylocation=prompt -o mountpoint=/media/raid tank0/main
Code: Alles auswählen
sudo zfs create -o encryption=aes-256-gcm -o keyformat=raw -o keylocation=file:///home/niemand/ich_nackt.jpeg -o mountpoint=/media/raid tank0/main
Dann habe ich weitere Datasets unter dem verschluesseltem tank0/main erstellt. Die sind dann auch gleich eingebunden und verschluesselt. Erscheinen also als einfache Ordner:
Code: Alles auswählen
sudo zfs create tank0/main/backup
6 mal 8 TB, bei raidz2 sind 31.8 TB, oder 29 TiB
Davon wird aber noch slop space abgezogen. Sowas aehnliches wie die bei Debian oft uebliche 5% root Reserve.
Am ende habe ich ~28TiB freien speicher.
df -h sagt mir 27T, kein Plan warum.
__________________________________
Noch nicht sicher warum, aber beim befuellen das ist der Pool auch gleich erstmal degraded. Da hatte ich email notification noch nicht aufgesetzt und es zufaellig mitbekommen.
Sas Kabel oder vielleicht HBA Karte. Vielleicht ein Wackel. Ist hier alles etwas provisorisch aufgebaut. HBA hat auch erst spaeter ein Lueft bekommen.
Mal sehen.
Aber resilver (rebuild des pools) ging automtisch los als ich die Festplatte an einem anderen sas Stecker angeschlossen habe.
__________________________________
Als alles rueberkopiert wurde und ich den torrent Klienten wieder angeschmissen habe stellte ich fest das einige Daten korrupt waren :0
wat.jpeg
Vorher hatte ich ein "raid' durch mergerfs. Beim kopieren auf das neue NAS habe ich aber auf die Individuellen Festplatten zugegriffen. Irgendwie war in einer Handvoll Daten der Wurm drinne. Die waren dann auf zwei Festplatten, und auf der einen davon nur so halb.
Kein plan, mergerfs wieder gemountet, davon fix rsync auf das ZFS raid. ~100Gb kopiert und alles war komplett.
_________________________________
Noch habe ich keine Hardwarebeschleunigung. Aber fix ist upstream fertig und wird sogar backportet. Yay.
_________________________________
MTA Email einrichten so das der ZFS Zed dings bums mail benutzten konnte war richtig kacke. viewtopic.php?f=8&t=175245
Laeuft jetzt aber. Und smart kann mir auch email senden.
_________________________________
lm-sensors kann leider nicht mit neuen Ryzen boards umgehen.
Aber hier gibt es abhilfe, mal sehen ob ich dazu komme: https://github.com/electrified/asus-wmi-sensors
Muss sagen ZFS ist nett. Einfach zu verstehen als lvm ist es alle mal.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Jap, hat man ZFS einmal nen bisschen verstanden und damit experimentiert, ist man damit als professioneller Heimuser schnell überzeugt davon!
Wie hast du die HDDs eigentlich auf Fehler überprüft?
Wie hast du die HDDs eigentlich auf Fehler überprüft?
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Mit badblocks aus e2fsprogssergej2018 hat geschrieben:04.11.2019 16:44:19Wie hast du die HDDs eigentlich auf Fehler überprüft?
Code: Alles auswählen
#Non destructive read only or something.
sudo badblocks -nsv -b 4096 /dev/sdb1
#Destructive read/write test. Best.
sudo badblocks -b 4096 -ws /dev/sdg1
Dauert ein paar Tage.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Muss ich mal probieren, danke!
Re: Was ist eure Erfahrung mit ZFS unter Debian?
gut wir nutzen das hier produktiv mit mehreren Server, als Nextcloud und vmwarestorage backend, läuft super..Was ist eure Erfahrung mit ZFS unter Debian?
ich hoffe trotzdem das bcachefs[1][2] bald in den Kernel kommt und dann endlich DAS Linux dateisystem wird
[1] https://bcachefs.org/
[2] https://www.patreon.com/bcachefs
Debian-Nutzer
ZABBIX Certified Specialist
ZABBIX Certified Specialist
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Zol und OpenZFS mergen und bekommen eine gemeisamme codebasis. https://twitter.com/FreeBSDHelp/status/ ... 0428367873
________________
Debian fuegt automatisch ein cron job fuer das scrubbing hinzu. Habe ein systemd.timer erwartet.
/etc/cron.d/zfsutils-linux
________________
Ein 2TB torrent seeden mit deluge aus stable verursacht 100% CPU usage. Deluge 2 hat wohl einige Performance Verbesserungen, leider hat es das nicht in Stable geschafft. Windows remote Klient fehlt auch noch.
Mal sehen ob ich apt pinning benutzte oder einfach in ein docker stecke.
________________
Edit: Oh, und Linux Hardware Beschleunigung wurde in ZoL master gemerged, backport pull request fuer 0.8.2 steht auch schon. Also wird es wohl auch irgendwann in Debian ankommen. Hoffe ich.
________________
Debian fuegt automatisch ein cron job fuer das scrubbing hinzu. Habe ein systemd.timer erwartet.
/etc/cron.d/zfsutils-linux
________________
Ein 2TB torrent seeden mit deluge aus stable verursacht 100% CPU usage. Deluge 2 hat wohl einige Performance Verbesserungen, leider hat es das nicht in Stable geschafft. Windows remote Klient fehlt auch noch.
Mal sehen ob ich apt pinning benutzte oder einfach in ein docker stecke.
________________
Edit: Oh, und Linux Hardware Beschleunigung wurde in ZoL master gemerged, backport pull request fuer 0.8.2 steht auch schon. Also wird es wohl auch irgendwann in Debian ankommen. Hoffe ich.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Oh wie cool.
Man kann zfs snapshot via samba an windows Klients weitergeben.
War auch recht einfach. zfs-auto-snapshot Installieren.
Dann erstmal die ganzen cron job ausschalten. /etc/cron.monthly/zfs-auto-snapshot etc. Mit systemd timers waere das einfacher.
Und samba.conf
Man kann zfs snapshot via samba an windows Klients weitergeben.
War auch recht einfach. zfs-auto-snapshot Installieren.
Dann erstmal die ganzen cron job ausschalten. /etc/cron.monthly/zfs-auto-snapshot etc. Mit systemd timers waere das einfacher.
Code: Alles auswählen
sudo zfs-auto-snapshot --label=frequent --keep=4 --default-exclude tank0/main/test
Code: Alles auswählen
[test]
vfs objects = shadow_copy2
shadow: snapdir = .zfs/snapshot
shadow: sort = desc
shadow: format = -%Y-%m-%d-%H%M
shadow: snapprefix = ^zfs-auto-snap_\(frequent\)\{0,1\}\(hourly\)\{0,1\}\(daily\)\{0,1\}\(monthly\)\{0,1\}
shadow: delimiter = -20
shadow: localtime = no
path = /media/raid/test
writable = yes
guest ok = yes
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Ich dachte ich haette schonmal die lese und schreibgeschwindichkeit getestet. Habe ich wohl nicht.
Stellt sich raus ich kann momentan nur mit ~80 MiB/s lesen von einem verschluesselten ZFS pool.
Pool wurde mit -o encryption=aes-256-gcm erstellt, was auf software Langsamer ist als der default encryption Algo, aber mit Hardware schneller ist.
Schreiben (enc): 187MiB/s
Lesen (enc): 77.6MiB/s
Schreiben: 326MiB/s
Lesen: 362MiB/s
0.8.3 welches Hardwarebeschleunigung wiederbringt ist schon in unstable: https://tracker.debian.org/pkg/zfs-linux
Stellt sich raus ich kann momentan nur mit ~80 MiB/s lesen von einem verschluesselten ZFS pool.
Pool wurde mit -o encryption=aes-256-gcm erstellt, was auf software Langsamer ist als der default encryption Algo, aber mit Hardware schneller ist.
Schreiben (enc): 187MiB/s
Lesen (enc): 77.6MiB/s
Schreiben: 326MiB/s
Lesen: 362MiB/s
0.8.3 welches Hardwarebeschleunigung wiederbringt ist schon in unstable: https://tracker.debian.org/pkg/zfs-linux
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Es sollte sich halt keiner der Illusion hingeben, dass zfs mal nativ im Kernel sein würde: https://www.heise.de/newsticker/meldung ... 33302.html
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Ahh Omg
ZFS 0.8.3 installiert, performance ist besser, aber immernoch kaka.
Nach stunden von tests und IRC siehst es so aus als wenn ZFS encryption einfach noch etwas langsam ist https://github.com/zfsonlinux/zfs/pull/9749
Wird wohl aber besser mit ZoL 2.0, also der naechsten major version.
16.4GiB 0:00:48 [ 343MiB/s]
16.4GiB 0:01:55 [ 145MiB/s]
Immerhin besser als die 77MiB/s von 0.8.2 ;_;
ZFS 0.8.3 installiert, performance ist besser, aber immernoch kaka.
Nach stunden von tests und IRC siehst es so aus als wenn ZFS encryption einfach noch etwas langsam ist https://github.com/zfsonlinux/zfs/pull/9749
Wird wohl aber besser mit ZoL 2.0, also der naechsten major version.
16.4GiB 0:00:48 [ 343MiB/s]
16.4GiB 0:01:55 [ 145MiB/s]
Immerhin besser als die 77MiB/s von 0.8.2 ;_;
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
0.8.4 ist draussen https://github.com/openzfs/zfs/releases/tag/zfs-0.8.4
Das sollte ordentlich Geschwindigkeit bringen.
Das sollte ordentlich Geschwindigkeit bringen.
Werde ich mal testen wenn es in den Backports eintrudelt.ICP: gcm-avx: Support architectures lacking the MOVBE instruction #10029
ICP: Improve AES-GCM performance #9749
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Ich warte auch fleissigLord_Carlos hat geschrieben:12.05.2020 21:20:24Werde ich mal testen wenn es in den Backports eintrudelt.
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
https://tracker.debian.org/news/1147366 ... backports/bluestar hat geschrieben:12.05.2020 21:51:58Ich warte auch fleissigLord_Carlos hat geschrieben:12.05.2020 21:20:24Werde ich mal testen wenn es in den Backports eintrudelt.
Spaeter mal testen.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Einfaches sequenzielles lesen von einem encrypted Dataset ist jetzt genau so schnell wie unencryptet \o/
Kann jetzt von meinen guenstig raidz2 mit 350 MB/s lesen und schreiben.
Vorher war nur 200MB lesen drinne.
Kann jetzt von meinen guenstig raidz2 mit 350 MB/s lesen und schreiben.
Vorher war nur 200MB lesen drinne.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Ich habe zfs-auto-snapshot deinstalliert und jetzt sanoid runtergeladen.
Da kann ich in einer config alles einstellen.
Erst ein oder mehrere Templates:
Und dann den Datasets die Templates zuweisen:
In diesem Beispiel wird vom data/home jede Stunde ein Snapshot erstellt, wenn 36 vorhanden sind wird das aelteste automatisch geloescht.
Bei den Template kann man auch noch scripts hinzufuegen.
pre_snapshot_script = /path/to/script.sh
Sehr nett und einfach das Ganze.
Das Packet enthaelt auch syncoid
syncoid data/images/vm root@remotehost:backup/images/vm
Damit kann man sein Dataset, inclusive snapshots einfach auf ein remote host pushen.
Da kann ich in einer config alles einstellen.
Erst ein oder mehrere Templates:
Code: Alles auswählen
[template_production]
frequently = 0
hourly = 36
daily = 30
monthly = 3
Code: Alles auswählen
[data/home]
use_template = production
Bei den Template kann man auch noch scripts hinzufuegen.
pre_snapshot_script = /path/to/script.sh
Sehr nett und einfach das Ganze.
Das Packet enthaelt auch syncoid
syncoid data/images/vm root@remotehost:backup/images/vm
Damit kann man sein Dataset, inclusive snapshots einfach auf ein remote host pushen.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Weil mir gerade lustig war auch mal fix ein encryption read test auf einer billigen NVMe Platte gemacht.
1281MiB/s seq read
Top.
1281MiB/s seq read
Top.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Was ist eure Erfahrung mit ZFS unter Debian?
Man kann ja leider keinen Post liken, daher:
Re: Was ist eure Erfahrung mit ZFS unter Debian?
kann mir jemand sagen ob zfs 0.8.x auf Debian stretch läuft?
Debian-Nutzer
ZABBIX Certified Specialist
ZABBIX Certified Specialist