Allgemeiner ZFS unter Debian Faden.

Probleme mit Samba, NFS, FTP und Co.
wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von wanne » 10.10.2019 17:32:10

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
10.10.2019 09:06:52
Deswegen will ich ne nette Balance finden. Etwas was das taegliche Arbeiten nicht erschwert, aber mich dennoch in manchen situationen absichert. So eine art Tuerschloss oder Sicherheitsgurt.
Und genau diese Balance habe ich halt bei Verschlüsslung für nen Server nicht gegeben. Ein bisschen wie ein nierengurt im Flugzeug: Wenn bei 800km/h was schief läuft hilft dir der halt auch nicht mehr. Der ist überflüssig.
Wenn irgend ein Einbrecher durch die meist recht ordentlich abgesicherten Türen des RZs kommt ist es recht wahrscheinlich dass er auch passendes Gerät dabei hat (Im Sinn von nem BlackArch USB-Stick oder nem Firewire Memory dumper) um den Key auszulesen.
Im allgemeinen funktioniert ein bisschen sicher mit Software und Bösewichten halt nicht. Wenn deine Konzept auch nur einen ganz kleinen Fehler hat ist es sinnlos. Die passende Software (in dem Fall aeskeyfinder) ist liegt irgend wo auf GitHub. Eegal wie kompliziert es ist den Key da raus zu lesen. (Defakto sind es ein paar awk und grep Befehle und ein Linux das mir den richtigen Optionen kompiliert ist.) Und jeder noch so einfach gestrickte Bösewicht kann und wird das nutzen.
Wenn du den Schlüssel im Blumentopf vor der Tür hast, muss der Einbrecher erst mal selber drauf kommen. Die Software sucht selber automatisch. Da ist kein Geschick mehr vom Einbrecher erforderlich. Alles was der machen muss ist die nutzen. Vor ein paar Jahren war das noch was anderes. Aber seit Verschlüsslung Massenphänomen geworden ist, kann man davon ausgehen, dass der das auch tut.
Deswegen lasse ich das auf Servern sein. Es macht den Bootforgang kompliziereter und den Nutzen halte ich für Marginal bis nicht feststellbar.
Das ist bei einem Taschendieb etwas anderes.Da kannst du hoffen, dass du an nen ahnungslosen geraten bist. Aber unter Einbrechern stelle ich mir jetzt keine Leute vor, die gar keine Ahnung von ihrem "Geschäft" haben und den Rechner erstmal ordnungsgemäß runter fahren, damit die Crypto greift.
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 10.10.2019 18:52:34

wanne hat geschrieben: ↑ zum Beitrag ↑
10.10.2019 17:32:10
Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
10.10.2019 09:06:52
Deswegen will ich ne nette Balance finden. Etwas was das taegliche Arbeiten nicht erschwert, aber mich dennoch in manchen situationen absichert. So eine art Tuerschloss oder Sicherheitsgurt.
Und genau diese Balance habe ich halt bei Verschlüsslung für nen Server nicht gegeben. Ein bisschen wie ein nierengurt im Flugzeug: Wenn bei 800km/h was schief läuft hilft dir der halt auch nicht mehr. Der ist überflüssig.
Anschnallen ist einfach und hilft bei Turbolenzen :)

Rechner steht zu Hause. Von der Tuer aus ein Schritt zurueck und ich kann ihn herunterfahren. Vom Wohnzimmer auch.
Die vorteile and die ich dachte waren so:
* Diebstahl und die Platten landen dann bei einem Random Typen via ebay.
* Beim Weiterverkauf muss ich mir weniger Muehe geben die Platten zu ueberschreiben.
* Hausdurchsuchung, wo man erst den Richterlichen Beschluss lesen kann bevor die alle drinne stehen.

Sind jetzt nicht die staerksten Argumente, weis ich selber. Aber ich dachte mir wenn ich mir das relativ einfach machen kann ist es das vielleicht wert. Wenn man dann nur den USB stick von unter der Matratze einstecken muss, oder ein service im LAN anschlaten, das finde ich fast ok.

Ich sehe kein kommerziellen Wert in meinen Daten, glaube nicht das ein Einbrecher die Stehlen will.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
jph
Beiträge: 1049
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von jph » 10.10.2019 19:02:46

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
10.10.2019 09:06:52
wanne hat geschrieben: ↑ zum Beitrag ↑
09.10.2019 23:56:28
Im Allgemeinen halte ich Festplattenverschlüsslung für Server quatsch. Wenn der Server läuft muss die Platte ja entschlüsselt sein.
Bei jeder Hausdurchsuchng hat die Polizei mittlerweile passendes Gerät zum auslesen ohne runter fahren dabei.
Deswegen will ich ne nette Balance finden. Etwas was das taegliche Arbeiten nicht erschwert, aber mich dennoch in manchen situationen absichert. So eine art Tuerschloss oder Sicherheitsgurt.
Kommt auf das Bedrohungsszenario an, gegen das man sich mit Verschlüsselung schützen will. Bei mir ist es Diebstahl: ich gehe davon aus, dass ein Dieb am Materialwert interessiert sein wird, und keinen Aufwand in eine Entschlüsselung investieren wird. Und den Käufer wird es auch nicht interessieren bzw. der Dieb wird die Platten löschen, um Beweismittel zu vernichten. (Solange nicht die Alternativen Fakten regieren, mache ich mir um die Polizei keine Gedanken.)

Noch eine Anmerkung: bei einem Server das Betriebssystem oder andere Platten zu verschlüsseln ist möglich, halte ich aber wie wanne für sinnlos bis kontraproduktiv, da ein Server unbeaufsichtigt/headless booten können soll. Da ist es sinnvoller, wenn auf den Clients verschlüsselt wird.
Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
10.10.2019 09:06:52
Bin auch son Typ der mit Fahrradhelm faehrt. Sicherlich ganz nett wen man mal hinfaellt, wenn mich ein Auto mit 160KM/h erwischt nicht so viel.
Ein Helm ist nicht nur „nett“. Ich habe im Frühjahr eine Autoscheibe mit dem Kopf zertrümmert – ohne Helm wäre ich jetzt ein Pflegefall oder tot.

Benutzeravatar
ThorstenS
Beiträge: 2875
Registriert: 24.04.2004 15:33:31

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von ThorstenS » 10.10.2019 21:05:03

Ich wollte mal darauf hinweisen, dass ich 16GB RAM bei 6x8TB Platten für zu wenig halte.

160€ für eine 8TB Platte? Kannst du mir bitte per PN sagen, wo du die kaufst?

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 11.10.2019 08:48:40

ThorstenS hat geschrieben: ↑ zum Beitrag ↑
10.10.2019 21:05:03
Ich wollte mal darauf hinweisen, dass ich 16GB RAM bei 6x8TB Platten für zu wenig halte.
Sind dicke Binaere Daten, ohne dedup, meiste mit 1M block size, nur Gbit uplink. Ich dachte eigentlich das langt.
ThorstenS hat geschrieben: ↑ zum Beitrag ↑
10.10.2019 21:05:03
160€ für eine 8TB Platte? Kannst du mir bitte per PN sagen, wo du die kaufst?
WD My Book and WD Elements sind externe die eine WD Whitelabel enthalten. Keiner weis so richtig was der unterschied zwischen White and Red ist, aber viele haben die schon laenger im homeserver im Einsatz.
Gibt auch 6TB fuer 130 EUR.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von wanne » 11.10.2019 11:26:47

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
10.10.2019 18:52:34
* Diebstahl und die Platten landen dann bei einem Random Typen via ebay.
* Beim Weiterverkauf muss ich mir weniger Muehe geben die Platten zu ueberschreiben.
[…]
Ich sehe kein kommerziellen Wert in meinen Daten, glaube nicht das ein Einbrecher die Stehlen will.
Das sind tatsächlich valide Argumente. Unter Server habe ich mir jetzt auch eher ein Blade in nem RZ und nicht nen homeserver vorgestellt. Da macht das wieder mehr Sinn.

* Hausdurchsuchung, wo man erst den Richterlichen Beschluss lesen kann bevor die alle drinne stehen.
Gab in letzter Zeit leider ein paar Hausdurchsuchungen in meinem Bekanntenkreis. (Btw. fast immer schön brav als Zeuge.) Im Moment sind die Maker ja leider irgend wie verdächtig.
Glaub mir wenn du versuchst deinen Rechner auszuschalten hast du vorher zwei gebrochene Arme. (Esseiden du bist jemand der immer guckt wer vor der Tür steht bevor du auf machst.)
Die sind zwar üblicherweise sehr freundlich aber wenn du dich schnell bewegst sind die gut eingeübt und trainiert dass sie dich aufhalten. Könntest ja auch eine Bome oder sonst was auslösen.
Und die kommen immer mit passender USV damit sie deine Rechner angeschaltet abtransportieren können. Laptops machen sie aber aus...
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von heisenberg » 11.10.2019 19:13:53

wanne hat geschrieben:Und die kommen immer mit passender USV damit sie deine Rechner angeschaltet abtransportieren können.
Dumme Frage: Wie klemmt man die Stromversorgung des Rechners um ohne dass der aus geht?

Nachtrag

Interessanterweise habe ich mich gerade mit jemandem unterhalten, der mir das sagen konnte:
  1. Das Stromkabel wird abgemantelt (Äußerer Mantel).
  2. Die USV-Anschlüsse werden draufgeschoben(durch die Ummantelung der Einzeladern).
  3. Das angeschlossene Kabel wird hinter der angeschlossenen USV mit einer Zange abgetrennt.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

sergej2018

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von sergej2018 » 11.10.2019 21:52:20

Mich wundert immer, wie viele Leute sich gegen eine Hausdurchsuchung schützen müssen.
Natürlich kann das theoretisch jedem von uns passieren, aber es scheint für viele Leute ja ein Szenario zu sein, auf das sie vorbereitet sein wollen...

Allein wegen des schon genannten Schutzes der Daten bei plumpem Diebstahl der Hardware finde ich Verschlüsselung gut.
Außerdem kann man die Datenträger recht unbesorgt entsorgen.
Glaube auch kaum, dass es viele handelsübliche Einbrecher gibt, die mit einer USV etc. vorbeikommen...

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von wanne » 12.10.2019 01:14:19

sergej2018 hat geschrieben: ↑ zum Beitrag ↑
11.10.2019 21:52:20
Mich wundert immer, wie viele Leute sich gegen eine Hausdurchsuchung schützen müssen.
Die Polizei ist halt der mit Abstand häufigste Einbrecher.
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
HZB
Beiträge: 486
Registriert: 22.10.2003 11:52:15
Wohnort: Wien

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von HZB » 13.10.2019 09:01:24

wanne hat geschrieben: ↑ zum Beitrag ↑
11.10.2019 11:26:47
(Esseiden du bist jemand der immer guckt wer vor der Tür steht bevor du auf machst.)
Ähm wer macht das nicht ?

Wenn ich anscheinend zu einem gefährdeten Kreis ( warum auch immer ) gehöre, dann glaube ich schon das ich erst mal schauen würde wer vor meiner Türe steht.
Bringt man ja auch schon kleinen Kindern bei.

Sorry fürs Offtopic

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von heisenberg » 13.10.2019 16:10:05

Ich bleib auch nochmal bei dem Off-Topic Thema Hausdurchsuchung:

Das erwähnte Gespräch von mir handelte von einer geplanten, simultan ausgeführten Razzia, um eine um eine Bande von Internetkriminellen festzunehmen. Da war nix mehr mit: Ich schau mal, wer da vor der Tür steht.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 20.10.2019 22:06:37

2337

Festplatten sind eingetroffen. Da laeuft die naechsten tage erstmal badblocks.
Auch 1x Sas zu 4x Sata Kabel habe ich. Fehlt nur noch die HBA Karte. Aus Asien, dauert etwas.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 21.10.2019 18:14:46

Yay, HBA Karte ist jetzt auch da.
_______

Ich habe mal aufgezeichnet was so mein Plan ist:
2339
(SVG link)

Dazu habe ich jetzt auch ein paar konkrete Fragen. (reddit thread)
  • Recordsize fuer das dataset auf dem ich torrents runterlade. Manche sagen 16KB, andere 1M.
  • Verschluesselung. Hardwarebeschleunigung geht wohl gerade nur wenn man den Kernel patched. Eigentich sollte was in ZoL 0.8.2 drinne sein, aber das wahr wohl zu unstabil. Hat luks ein nachteil in Verbindung mit ZFS?
  • Bei meinem mickrigen Anwendungsfall von 1 Gbit/s torrent, lohnt sich SLOG auf einer NVMe?
  • Gibt es was tolles was ich mit 2x 120GB SSD machen kann? Ich vertraue den platten nicht mehr. Also hoechsten read cache. Aber bei 16GB ram soll sich das wohl nicht lohnen?

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 22.10.2019 09:03:53

Noch ne Frage.
Momentarn ist 0.8.2 in den Backports. Wie funktioniert das normal so in den Backports, ist es wahrscheinlich das neue versionen erscheinen und wird 0.8.2 in den Backports bleiben?

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
ThorstenS
Beiträge: 2875
Registriert: 24.04.2004 15:33:31

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von ThorstenS » 22.10.2019 10:48:45

Wenn eine neuere Version hochgeladen wird (und das kann durchaus passieren), dann fliegt die 0.8.2er raus.
Ergo solltest du sie dir mit apt download $paket (inkl. sämtlicher Abhängigkeiten von bpo) herunterladen und archivieren.
Edith: Debianreprepro würde ich dir empfehlen, wenn du eigene debs in einem repo vorhalten magst.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 22.10.2019 15:38:38

So, konnte durch reddit und lesen ein paar meiner Fragen beantworten.
  • Recordsize beim torrent download ist wohl ok mit 1M. Ggf den Schreibbuffer etwas erhoehen, so das ZFS nicht so schnell flushed.
  • Torrent benuzt kein sync, also ist SLOG nicht zu gebrauchen
  • Nur ich und mein torrent Klient lesen von dem pool mit 1 Gbit/s also ergibt L2ARC kein sinn. Dazu nur 16GB ram.
  • Was dazu fuert das ich die 2x 120GB SSDs nicht gebrauchen kann.
  • Hardlinks auf dem gleichen dataset sind kein Problem
  • ZFS encryption hat kein hardware support, kommt aber vielleicht mit 0.8.3 .. was vielleicht in den Backports landet.
Keine Verschluesselung, ZFS encryption oder LUKS? Weis ich noch nicht.
Festplatten sind eh noch ein paar Tage beschaeftig auf Fehler ueberprueft zu werden.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 24.10.2019 19:25:58

2344
^ Heute habe ich die 5 Platten aus dem Gehäuse gepult
2343
^ Bewerte mein Server. Ich wuerde sagen 10/10 👌

Code: Alles auswählen

sdb      8:16   0   7.3T  0 disk
sdc      8:32   0   7.3T  0 disk
sdd      8:48   0   7.3T  0 disk
sde      8:64   0   7.3T  0 disk
sdf      8:80   0   7.3T  0 disk
Jetzt muss ich nur noch ZFS verstehen :))))
Dazu spiele ich mit diesen 5 Platten auf einem frischen System ein wenig rum. Und wenn ich mir sicher bin kommen die alten Platten + OS SSD an das neue Mobo.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 30.10.2019 18:36:43

Hallo liebes Tagebuch Blog

Bevor ich von Intel auf neues Mainboard und Ryzen CPU + neue Platten umgestiegen bin habe ich erstmal auf Buster geupgraded.
Dazu noch Kernel aus Backports. 5.2.0-0.bpo.3-amd64 Ist zwar nicht letzte generation Ryzen, aber ich wollte sicher sein.
Dann ZFS installiert, geguckt ob sich das Modul laden liest bevor ich auf neue Hardware umgestiegen bin.

Den ZFS pool will man gerne mit id der Festplatte erstellen und nicht /dev/sdX. Aber das ist ja heutzutage bei fstab auch nicht anders.
ll /dev/disk/by-id/ata*

Code: Alles auswählen

sudo zpool create -o ashift=12 -O mountpoint=none tank0 raidz2 ata-WDC_WD80EZAZ-11TDBA0_XXXXX ....
ashift=12 sollte ZoL gerne selber erkennen, aber ich habe es explicit nochmal angegeben. 512 vs 4k Sektoren Festplatten.
mountpoint=none ist Wichtig, komme ich gleich zu.
tank0 Names des pools. Sollte Serverubergreifent einzigartig sein habe ich mir sagen lassen. Wenn man mal exportiert und woanders importiert etc.
Dann die liste der Festplatten IDs.

Code: Alles auswählen

sudo zfs set compression=lz4 tank0
sudo zfs set compression=on tank0
sudo zfs set recordsize=1M tank0
sudo zfs set dedup=off tank0
sudo zfs set relatime=on tank0
Komprimierung immer an, ZFS findet selber raus wenn es sich nicht lohnt. Und CPU heutzutage sind recht fix.
Recordsize optimiert fuer grosse Daten. Ich habe andere Datasets mit kleinerer recordsize. Mehr dazu hier: https://jrs-s.net/2019/04/03/on-zfs-recordsize/
Dedub will ich nicht. Braucht angeblich richtig viel ram und ich habe auch nicht so viele duplizierte Daten das es sich lohnen wuerde.
relatime=on wegen angeblich besserer Performance. Ich glaube default wird immer gespeichert wenn jemand die Datei liest? Mit relatime=on wird es aehnlich wie XFS oder EXT sein.

Code: Alles auswählen

sudo zfs create -o encryption=aes-256-gcm -o keyformat=passphrase -o keylocation=prompt -o mountpoint=/media/raid tank0/main
Oder mit keyfile:

Code: Alles auswählen

sudo zfs create -o encryption=aes-256-gcm -o keyformat=raw -o keylocation=file:///home/niemand/ich_nackt.jpeg -o mountpoint=/media/raid tank0/main
Dann habe ich ein "haupt" Dataset erstellt und ein mountpoint gegeben. Eigentlich kann man auch den ganzen pool (tank0) verschluesseln. Aber so kann ich immernoch datasets erstellen die nicht Verschluesselt sind.

Dann habe ich weitere Datasets unter dem verschluesseltem tank0/main erstellt. Die sind dann auch gleich eingebunden und verschluesselt. Erscheinen also als einfache Ordner:

Code: Alles auswählen

sudo zfs create tank0/main/backup
So ein dataset kann ich ein anderes recordsize geben, individuel snapshot erstellen und diese dann mit zfs send offsite absichern.

6 mal 8 TB, bei raidz2 sind 31.8 TB, oder 29 TiB
Davon wird aber noch slop space abgezogen. Sowas aehnliches wie die bei Debian oft uebliche 5% root Reserve.
Am ende habe ich ~28TiB freien speicher.
df -h sagt mir 27T, kein Plan warum.
__________________________________

Noch nicht sicher warum, aber beim befuellen das ist der Pool auch gleich erstmal degraded. Da hatte ich email notification noch nicht aufgesetzt und es zufaellig mitbekommen.
Sas Kabel oder vielleicht HBA Karte. Vielleicht ein Wackel. Ist hier alles etwas provisorisch aufgebaut. HBA hat auch erst spaeter ein Lueft bekommen.
Mal sehen.
Aber resilver (rebuild des pools) ging automtisch los als ich die Festplatte an einem anderen sas Stecker angeschlossen habe.
__________________________________

Als alles rueberkopiert wurde und ich den torrent Klienten wieder angeschmissen habe stellte ich fest das einige Daten korrupt waren :0
wat.jpeg
Vorher hatte ich ein "raid' durch mergerfs. Beim kopieren auf das neue NAS habe ich aber auf die Individuellen Festplatten zugegriffen. Irgendwie war in einer Handvoll Daten der Wurm drinne. Die waren dann auf zwei Festplatten, und auf der einen davon nur so halb.
Kein plan, mergerfs wieder gemountet, davon fix rsync auf das ZFS raid. ~100Gb kopiert und alles war komplett.

_________________________________
Noch habe ich keine Hardwarebeschleunigung. Aber fix ist upstream fertig und wird sogar backportet. Yay.
_________________________________
MTA Email einrichten so das der ZFS Zed dings bums mail benutzten konnte war richtig kacke. viewtopic.php?f=8&t=175245
Laeuft jetzt aber. Und smart kann mir auch email senden.
_________________________________
lm-sensors kann leider nicht mit neuen Ryzen boards umgehen.
Aber hier gibt es abhilfe, mal sehen ob ich dazu komme: https://github.com/electrified/asus-wmi-sensors


Muss sagen ZFS ist nett. Einfach zu verstehen als lvm ist es alle mal.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

sergej2018

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von sergej2018 » 04.11.2019 16:44:19

Jap, hat man ZFS einmal nen bisschen verstanden und damit experimentiert, ist man damit als professioneller Heimuser schnell überzeugt davon!

Wie hast du die HDDs eigentlich auf Fehler überprüft?

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 04.11.2019 18:26:47

sergej2018 hat geschrieben: ↑ zum Beitrag ↑
04.11.2019 16:44:19
Wie hast du die HDDs eigentlich auf Fehler überprüft?
Mit badblocks aus Debiane2fsprogs

Code: Alles auswählen

#Non destructive read only or something.
sudo badblocks -nsv -b 4096 /dev/sdb1
#Destructive read/write test. Best.
sudo badblocks -b 4096 -ws /dev/sdg1
Zweiteres.
Dauert ein paar Tage.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

sergej2018

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von sergej2018 » 04.11.2019 18:35:15

Muss ich mal probieren, danke!

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Colttt » 06.11.2019 12:09:59

Was ist eure Erfahrung mit ZFS unter Debian?
gut wir nutzen das hier produktiv mit mehreren Server, als Nextcloud und vmwarestorage backend, läuft super..

ich hoffe trotzdem das bcachefs[1][2] bald in den Kernel kommt und dann endlich DAS Linux dateisystem wird

[1] https://bcachefs.org/
[2] https://www.patreon.com/bcachefs
Debian-Nutzer :D

ZABBIX Certified Specialist

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 07.11.2019 07:32:04

Zol und OpenZFS mergen und bekommen eine gemeisamme codebasis. https://twitter.com/FreeBSDHelp/status/ ... 0428367873
🎉
________________
Debian fuegt automatisch ein cron job fuer das scrubbing hinzu. Habe ein systemd.timer erwartet.
/etc/cron.d/zfsutils-linux
________________
Ein 2TB torrent seeden mit deluge aus stable verursacht 100% CPU usage. Deluge 2 hat wohl einige Performance Verbesserungen, leider hat es das nicht in Stable geschafft. Windows remote Klient fehlt auch noch.
Mal sehen ob ich apt pinning benutzte oder einfach in ein docker stecke.
________________
Edit: Oh, und Linux Hardware Beschleunigung wurde in ZoL master gemerged, backport pull request fuer 0.8.2 steht auch schon. Also wird es wohl auch irgendwann in Debian ankommen. Hoffe ich.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 13.11.2019 19:02:55

Oh wie cool.
Man kann zfs snapshot via samba an windows Klients weitergeben.

2361

War auch recht einfach. Debianzfs-auto-snapshot Installieren.
Dann erstmal die ganzen cron job ausschalten. /etc/cron.monthly/zfs-auto-snapshot etc. Mit systemd timers waere das einfacher.

Code: Alles auswählen

sudo zfs-auto-snapshot  --label=frequent --keep=4 --default-exclude tank0/main/test
Und samba.conf

Code: Alles auswählen

[test]
        vfs objects = shadow_copy2
        shadow: snapdir = .zfs/snapshot
        shadow: sort = desc
        shadow: format = -%Y-%m-%d-%H%M
        shadow: snapprefix = ^zfs-auto-snap_\(frequent\)\{0,1\}\(hourly\)\{0,1\}\(daily\)\{0,1\}\(monthly\)\{0,1\}
        shadow: delimiter = -20
        shadow: localtime = no
        path = /media/raid/test
        writable = yes
        guest ok = yes

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Was ist eure Erfahrung mit ZFS unter Debian?

Beitrag von Lord_Carlos » 28.01.2020 21:16:33

Ich dachte ich haette schonmal die lese und schreibgeschwindichkeit getestet. Habe ich wohl nicht.
Stellt sich raus ich kann momentan nur mit ~80 MiB/s lesen von einem verschluesselten ZFS pool.

Pool wurde mit -o encryption=aes-256-gcm erstellt, was auf software Langsamer ist als der default encryption Algo, aber mit Hardware schneller ist.

Schreiben (enc): 187MiB/s
Lesen (enc): 77.6MiB/s

Schreiben: 326MiB/s
Lesen: 362MiB/s

0.8.3 welches Hardwarebeschleunigung wiederbringt ist schon in unstable: https://tracker.debian.org/pkg/zfs-linux

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Antworten