ZFS: RaidZ2 ungewöhnlich langsam

[sergej2018]

Hallo zusammen,

nutze schon seit einer ganzen Weile ZFS und bin überwiegend zufrieden damit.
Habe neuerdings jedoch ein Problem, das ich mir nicht erklären kann:

Habe mein bisheriges RaidZ1 ersetzt durch andere Platten und aus diesen ein RaidZ2 gemacht.
Alles andere an Hardware, OS, ZFS-Version usw. ist also identisch geblieben.
Nun stelle ich jedoch fest: Das Raid hat exakt die Geschwindigkeit einer einzelnen Platte. Allerdings nur schreibend. Lesend erreiche ich die Geschwindigkeit, die für diese Raid-Konstellation zu erwarten ist.

Habt ihr eine Erklärung dafür? Mir kommt es sehr merkwürdig vor.
Ich habe die Platten sogar schon zu einem Raid0 geschaltet (auch mit ZFS) und komme zum selben Ergebnis...

Edit: Getestet habe ich mit

Code: Alles auswählen

dd if=/dev/urandom of=test.file bs=1M count=5000

Mit dem alten RaidZ1 bestand das Problem definitiv nicht.

[bluestar]

Mit dem alten RaidZ1 bestand das Problem definitiv nicht.

Wenn du ein RAIDZ1 und ein RAIDZ2 miteinander vergleichst, dann ist es nur logisch, dass die Schreib-Performance bei RAIDZ2 schlechter ist als bei einem RAIDZ1.
Bei RAIDZ2 werden im Vergleich zu RAIDZ1 doppelte Wiederherstellungs-Daten berechnet und geschrieben, daher ist der nutzbare Speicherplatz bei RAIDZ2 auch kleiner.

Dazu noch ein kleiner Link: https://de.wikipedia.org/wiki/RAID#RAID ... nformation

Für alle RAID-6-Implementierungen gilt gemeinsam: Der Performance-Malus bei Schreiboperationen (Write Penalty) ist bei RAID 6 etwas größer als bei RAID 5, die Leseleistung ist bei gleicher Gesamtplattenzahl geringer (eine Nutzdatenplatte weniger) beziehungsweise der Preis pro nutzbarem Gigabyte erhöht sich um eine Festplatte je RAID-Verbund, also im Schnitt um ein Siebtel bis zu ein Fünftel. Ein RAID-6-Verbund benötigt mindestens vier Festplatten.

[sergej2018]

Jap, ist völlig klar soweit!
Bloß: Wenn ich selbst mit einem RAID0 (auf ZFS-Basis) über alle Platten nur auf exakt den Schreibwert komme, den eine der Platten schafft...

[bluestar]

Bloß: Wenn ich selbst mit einem RAID0 (auf ZFS-Basis) über alle Platten nur auf exakt den Schreibwert komme, den eine der Platten schafft...

Na dann orakeln wir doch mal alle technischen Fakten zu deinem Setup...

Fail... Orakel kaputt

[sergej2018]

Total unspektakulär:

Desktop-PC mit Ryzen, 16GB RAM und Buster stable.
SATA-Platten (4 Stück, je 2 TB), genutzt wird der Onboard-SATA-Controller.
Wie gesagt: Mit anderen Platten (5 Stück, je 1 TB) trat das Problem nicht auf.

Ich habe die vorhandenen 4 Platten auch schon in alle möglichen Formen von RAIDs gebracht (0, Z1, Z2), hat aber alles nichts geändert.
Außerdem sind die Platten mit cryptsetup verschlüsselt.

[bluestar]

Spontane Gedanken:
- 32GB RAM
- Partitionen nicht sauber ausgerichtet
- 4k/512b Sektor Problem in Kombi

Fakten?
Messmethode: ????

[sergej2018]

Partitionierung spielt bei ZFS - soweit ich weiß - keine so große Rolle mehr wie zB bei md.
Habe auch schlicht jeweils die ganze Platte verschlüsselt, die Platten sind baugleich.
Meine Messmethode ist ziemlich stümperhaft per "dd" geschehen, siehe weiter oben.
Sektoren sind alle 512, habe das beim Anlegen auch berücksichtigt per ashift=9

32GB RAM... unwahrscheinlich, die Auslastung ist minimal und wie gesagt: Vorher steckte auch nicht mehr drin.

[bluestar]

Habe auch schlicht jeweils die ganze Platte verschlüsselt, die Platten sind baugleich.

Ah wieder ein Broken Fakten mehr...

Platten Modelle?
Controller Modell?
Smartctl Ausgaben??

Ich geb mangels brauchbarer Fakten hier auf.

[sergej2018]

Herrjechen
Nun sei doch nicht so eine Mimose. Ich antworte gerne auf alles, möchte hier aber auch nicht einen Berg unnützer Fakten abladen.

die SMART-Werte aller Platten (sind ja immer nur bedingt hilfreich) habe ich vorher überprüft. Absolut nichts auffälliges, insbesondere keine Re-allokierten Sektoren.
Das genaue Controller-Modell müsste ich heraussuchen. Genutzt werden wie gesagt die SATA-Anschlüsse auf einem Ryzen-Board mit B450-Chipsatz.

Bei den Platten handelt es sich um:
SAMSUNG HD204UI

[bluestar]

Ich würd mal ohne cryptsetup Layer die Tests wiederholen.

Herrjechen
Nun sei doch nicht so eine Mimose.

Einmal Ignore-Liste, aber gerne doch

[sergej2018]

Das kann ich auf jeden Fall später nochmal testen, ja!
Meiner Erfahrung nach macht's bei modernen CPUs (also mit AES-NI) aber fast keinen Unterschied mehr, ob man's einsetzt oder nicht.
Die 4 Platten wurden einzeln verschlüsselt und dem RAIDZ2 dann als /dev/mapper/platte1, /dev/mapper/platte2 usw. hinzugefügt.

[sergej2018]

*push*

hat niemand eine weitere Idee?

[bluestar]

hat niemand eine weitere Idee?

Gibt‘s denn neuere Testergebnisse oder mal mehr Details von deiner Seite?