Warum Debian und/oder eine seiner Spielarten? Was muss ich vorher wissen? Wo geht es nach der Installation weiter?
-
heisenberg
- Beiträge: 3540
- Registriert: 04.06.2015 01:17:27
- Lizenz eigener Beiträge: MIT Lizenz
Beitrag
von heisenberg » 11.10.2018 17:19:16
Dabei rennt der Ryzen R7 1700 jedoch auf gut 100% auf allen Kernen.
Wenn das ein Problem ist, dann kann man das auf LZ4 umstellen(geht wahrscheinlich im laufenden Betrieb, dauert aber seine Zeit, bis das nach und nach durch neuschreiben dann umgestellt ist). Ansonsten kann man das Kompressionslevel von gzip auch noch verändern, was sehr viel ausmacht.
Anders gesagt: Es ist eine Frage der Prioritäten: Möchtest Du niedrigere CPU-Belastung: dann nimm lz4. Im Endeffekt könnte bei einer starken Mehrkern-CPU gzip sogar den Durchsatz erhöhen, weil weniger tatsächlich auf die Platten geschrieben werden muss.
Vergleich gzip + lz4
Code: Alles auswählen
Compressed Size Percent Time
gzip 5 102328357 (98M) 22.0% 14s
gzip 7 100128597 (96M) 21.5% 21s
gzip 9 99740486 (96M) 21.4% 33s
lz4 165844264 (159M) 35.6% 1.3s
https://forums.freenas.org/index.php?th ... kup.60824/
Zuletzt geändert von
heisenberg am 12.10.2018 10:54:06, insgesamt 2-mal geändert.
Jede Rohheit hat ihren Ursprung in einer Schwäche.
-
bluestar
- Beiträge: 2346
- Registriert: 26.10.2004 11:16:34
- Wohnort: Rhein-Main-Gebiet
Beitrag
von bluestar » 11.10.2018 17:21:44
Knogle hat geschrieben: 11.10.2018 17:01:04
Das ist halt die Frage, dass kann ich nicht so abschaetzen.
Die Festplatten die ich gekauft habe waren halt alle gebraucht, mit ca. 3000 Stunden Laufzeit beim Kauf.
Die Frage zielt nicht auf das Alter der Platten ab, sondern auf die Wichtigkeit deiner Daten und auf die Tatsache, wie gut du deine Platten überwachst um ggfs. Probleme frühzeitig beheben zu können.
Ich könnte dich auch fragen, ob du einfache, zweifache oder dreifache Redundanz haben möchtest ...
Je mehr Redundanz, je weniger Kapazität bzw. Vice versa ... Das ist halt die Krux.
-
heisenberg
- Beiträge: 3540
- Registriert: 04.06.2015 01:17:27
- Lizenz eigener Beiträge: MIT Lizenz
Beitrag
von heisenberg » 12.10.2018 11:04:29
In dem Zusammenhang ist für mich das neue Kompressionsverfahren ZStandard interessant. Da wird wohl schon dran gearbeitet um das in ZFS zu integrieren:
http://facebook.github.io/zstd/
Viel schneller(d .h. weniger cpu-resourcen benötigt) als gzip/zlib. Ähnliche/Bessere Kompressionsraten. Sehr schnelle dekompression.
Jede Rohheit hat ihren Ursprung in einer Schwäche.
-
wanne
- Moderator
- Beiträge: 7462
- Registriert: 24.05.2010 12:39:42
Beitrag
von wanne » 12.10.2018 13:25:58
bluestar hat geschrieben: 02.10.2018 13:35:41
Ja das kann ich mit LUKS unter Linux auch erreichen... Ich will ja "native" Verschlüsselung im ZFS
Ich würde ganz stark zur anderen Variante raten. ZFS in LUKS ist z.B. nicht malable. (Obwohl LUKS oder ZFS alleine es sind.)
Auch ansonsten hat LUKS sicherheitstechnisch einige Vorteile zur nativen ZFS crypto. (Schlüsselmanagement etc.) und ist vor allem viel besser evaluiert.
Ich würde fast wetten, dass es da noch ne ganze Reihe von Sicherheitslükcken hagelt nachdem was ZFS da von wegen Metadaten nicht verschlüsseln macht. Das haben mittlerweile genug versucht und nicht hinbekommen. Bis jetzt hat es noch weitestgehend jeden hingehauen, der versucht hat nur Daten zu verschlüsseln. Da gab es dafakto immer irgend welche Sidechannels um doch wieder an die Daten zu kommen.
rot: Moderator wanne spricht, default: User wanne spricht.
-
bluestar
- Beiträge: 2346
- Registriert: 26.10.2004 11:16:34
- Wohnort: Rhein-Main-Gebiet
Beitrag
von bluestar » 13.10.2018 14:15:41
wanne hat geschrieben: 12.10.2018 13:25:58
Ich würde fast wetten, dass es da noch ne ganze Reihe von Sicherheitslükcken hagelt nachdem was ZFS da von wegen Metadaten nicht verschlüsseln macht.
Genau aus diesem Grund läuft es bei mir auf einem Testsystem.
-
Knogle
- Beiträge: 465
- Registriert: 06.05.2016 19:29:00
- Lizenz eigener Beiträge: MIT Lizenz
Beitrag
von Knogle » 14.10.2018 10:44:55
So, heute ist der Worst Case eingetreten, und ich erhalte die E-Mail, dass laut Smart ctl, 2 Platten fehlen.
Dann habe ich den Server aufgemacht, und gesehen ,dass sich 2 SATA Stecker durch Vibration gelöst haben.
Die Daten waren jedoch weiter verfügbar.
Nun aber die Frage: Wie mache ich nun einen Rebuild? Oder muss ich den Pool neu aufsetzen ?
Das System würde häufig verwendet, d.h. es sind neue Daten geschrieben worden, und 2 Platten waren während dieser Zeit offline.
Immerhin gut zu wissen, dass es zuverlässig läuft.
Momentan sind es noch die 8 Platten in einem RAID 10
-
bluestar
- Beiträge: 2346
- Registriert: 26.10.2004 11:16:34
- Wohnort: Rhein-Main-Gebiet
Beitrag
von bluestar » 14.10.2018 10:58:21
Poste mal die Ausgabe von:
-
Knogle
- Beiträge: 465
- Registriert: 06.05.2016 19:29:00
- Lizenz eigener Beiträge: MIT Lizenz
Beitrag
von Knogle » 14.10.2018 13:32:07
So hier mal die Ausgabe von zpool status
Code: Alles auswählen
zpool status
pool: tank
state: ONLINE
scan: resilvered 13,1G in 0h1m with 0 errors on Sun Oct 14 09:24:10 2018
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
sda ONLINE 0 0 0
sdb ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
sdc ONLINE 0 0 0
sdd ONLINE 0 0 0
mirror-2 ONLINE 0 0 0
sde ONLINE 0 0 0
sdf ONLINE 0 0 0
mirror-3 ONLINE 0 0 0
sdg ONLINE 0 0 0
sdh ONLINE 0 0 0
errors: No known data errors
Und mal die Mails die ich gestern empfangen habe.
Code: Alles auswählen
This message was generated by the smartd daemon running on:
host name: debian
DNS domain: [Empty]
The following warning/error was logged by the smartd daemon:
Device: /dev/sdg [SAT], unable to open device
Device info:
ST2000DL003-9VT166, S/N:5YD0ZVNK, WWN:5-000c50-02f06da36, FW:CC32, 2.00 TB
For details see host's SYSLOG.
You can also use the smartctl utility for further investigation.
Another message will be sent in 24 hours if the problem persists.
Code: Alles auswählen
This message was generated by the smartd daemon running on:
host name: debian
DNS domain: [Empty]
The following warning/error was logged by the smartd daemon:
Device: /dev/sdh [SAT], unable to open device
Device info:
ST2000DL003-9VT166, S/N:5YD5RVVG, WWN:5-000c50-045ae8c49, FW:CC3C, 2.00 TB
For details see host's SYSLOG.
You can also use the smartctl utility for further investigation.
Another message will be sent in 24 hours if the problem persists.
-
bluestar
- Beiträge: 2346
- Registriert: 26.10.2004 11:16:34
- Wohnort: Rhein-Main-Gebiet
Beitrag
von bluestar » 14.10.2018 13:39:55
Dein Server hat sich selbstständig repariert und einen Resync des Pools ausgeführt, steht ja in der „scan:“ Zeile von zpool status und der „state“ ist auch in Ordnung
-
Knogle
- Beiträge: 465
- Registriert: 06.05.2016 19:29:00
- Lizenz eigener Beiträge: MIT Lizenz
Beitrag
von Knogle » 14.10.2018 14:49:30
bluestar hat geschrieben: 14.10.2018 13:39:55
Dein Server hat sich selbstständig repariert und einen Resync des Pools ausgeführt, steht ja in der „scan:“ Zeile von zpool status und der „state“ ist auch in Ordnung
Oha, jetzt habe ich es verstanden! Ist ja ne ziemlich geniale Sache! Werde das so lassen mit dem RAID 10 und ZFS!
-
bluestar
- Beiträge: 2346
- Registriert: 26.10.2004 11:16:34
- Wohnort: Rhein-Main-Gebiet
Beitrag
von bluestar » 14.10.2018 19:42:12
Anhand deiner Pool-Konfiguration, kann ich dir jetzt auch sagen, dass im besten Fall 4 HDDs versagen dürfen und du keine Daten verlierst. Apropos „Resync“, du kannst diesem Prozess jederzeit auch von Hand anstoßen: