btrfs reif für RAID 6 ?

[whisper]

Es scheint ja, dass btrfs so langsam reif für raid geworden ist, aber immer noch nicht als stable bezeichnet wird.
Setzt ihr btrfs auf einem raid ein?
Erfahrungen?

[MSfree]

Grundsätzlich konnte man schon immer ein mit mdadm erstelltes RAIDx mit btrfs formatieren. Z.B. Synology hat btrfs das schon seit vielen Jahren auf ihren NASen als Defaultdateisystem. Etwaige Unstabilitäten hätten es sonst wohl schon in zahlreiche Newsticker im Internet geschafft.

Ob mdadm eine ideale Lösung darstellt, kann ich nicht beurteilen. Grundsätzlich wird ja an einem eigenen RAID-Mechanismus innerhalb von btrfs gearbeitet, der mdadm komplett umgeht und direkt auf dien Blockdevices aufsetzt. Aber da habe ich bisher nur von RAID-1 gehört, das stabil laufen soll.

[jph]

RAID56 wird von den Entwicklern noch immer als unstable deklariert. Es soll leidlich nutzbar sein, wenn man für Metadaten RAID1C3 verwendet. Darüber hinaus ist aber problematisch, dass ein Scrub wohl ewig dauert, weil das noch nicht richtig mit RAID56 umgehen kann.

Siehe auch https://btrfs.readthedocs.io/en/latest/ ... -practices

Den großen Playern, die hinter btrfs stehen, ist RAID56 halt völlig egal. Das sind RAID-Level für Heimanwender mit schmalem Budget, aber nichts für den professionellen Einsatz.

[cosinus]

Den großen Playern, die hinter btrfs stehen, ist RAID56 halt völlig egal. Das sind RAID-Level für Heimanwender mit schmalem Budget, aber nichts für den professionellen Einsatz.

Wirklich? RAID 5 und 6 werden doch auch in vielen NAS genutzt, die in KMUs stehen.

[MSfree]

Wirklich? RAID 5 und 6 werden doch auch in vielen NAS genutzt, die in KMUs stehen.

Du willst doch jetzt nicht ein NAS mit 48 Platte je 22TB von QNAP/Synology oder ein Seagate Exos Corevault als "professionell" bezeichnen wollen?

[cosinus]

Du willst doch jetzt nicht ein NAS mit 48 Platte je 22TB von QNAP/Synology oder ein Seagate Exos Corevault als "professionell" bezeichnen wollen?

Wie könnte ich nur

[whisper]

Ok, dann bleibe ich privat bei meinem softraid6 mit ext4.
Mir kam gerade ein Dell Rack mit hardware Raid 5 unter, da sieht es ja wieder anders aus. das btrfs wird ja davon nix merken und nur eine platte sehen.
Als da kann man das ruhigen Gewissens machen..
Gedanke richtig?

[MSfree]

Mir kam gerade ein Dell Rack mit hardware Raid 5 unter, da sieht es ja wieder anders aus. das btrfs wird ja davon nix merken und nur eine platte sehen.

Wie gesagt, du kannst btrfs auf einem Softraid6 betreiben. Ob das RAID nun ein Dell Rack ist, das sich als eine Platte ausgibt, oder ob es ein mdadm Softraid6 ist, das sich als eine Platte ausgibt, ist egal, beides funktioniert.

Die Frage ist dann auch, wie "hard" das "Hardware"-RAID des Dell Racks ist. Letztlich sind das immer softwarebasierte Systeme. Wenn man RAID-Software, die auf einem Controller läuft, als Hardware bezeichnen möchte, OK. Möglicherweise kannst du das Rack aber auch so konfigurieren, daß du jede Platte einzeln siehst, so daß du es mit mdadm nutzen kannst.

Ich habe auch ein ext4 auf einem Softraid5 laufen. Der Nachteil von ext4 ist halt, daß es im Gegensatz zu btrfs keine Prüfsummen kann.

[whisper]

Eben, die Prüfsummen Geschichte ist interessant.
Nee das Raid6 ist zu hause auf einem HP Proliant.
Der Rack ist Firma, ja ich weiß, dass man die Platten auch ohne raid konfigurieren kann, wenn man sich durch die Eingeweide von iDrack quält.
Dort sind etliche poweredge Server, die alle das Hardware raid 5 benutzen. Seit etlichen Jahren problemlos.Das werde ich nicht ändern, ohne Not

[MSfree]

Der Rack ist Firma

OK, den Stromverbrauch von vielen Platten und die Lautstärke der Lüfter und Platten, will man sich zuhause ja ohnehin nicht antun.

Eben, die Prüfsummen Geschichte ist interessant.

Was hält dich dann noch davon ab, es auf einem "Hardware"-RAID56 einzurichten?

Meine Erfahtung mit btrfs auf einem Softraid1 (2-Platten Synology) sind allerdings schon 5-6 Jahre alt. Das lief zwar sehr zuverlässig, wurde aber ab einem Füllstand von ca. 85% immer langsamer. Als ich das Teil dann gegen etwas größeres tauschen mußte, war die Schreibgeschwindigkeit auf 10MByte/s eingebrochen. Ob btrfs heute immer noch so einbricht, wenn nur noch 10% Platz frei ist, weiß ich nicht.

[whisper]

Was hält dich dann noch davon ab, es auf einem "Hardware"-RAID56 einzurichten?

Meine Erfahtung mit btrfs auf einem Softraid1 (2-Platten Synology) sind allerdings schon 5-6 Jahre alt. Das lief zwar sehr zuverlässig, wurde aber ab einem Füllstand von ca. 85% immer langsamer. Als ich das Teil dann gegen etwas größeres tauschen mußte, war die Schreibgeschwindigkeit auf 10MByte/s eingebrochen. Ob btrfs heute immer noch so einbricht, wenn nur noch 10% Platz frei ist, weiß ich nicht.

soll bei XFS bleiben, obwohl der suse installer sogar btrfs vorschlägt. Wird ein SAP HANA und soll eins ablösen.
Aber egal, danke dir für deine Antworten, vielleicht wäre es auch einen Versuch wert. Muss mal diskutieren.

[oln]

Moin,

Die Frage ist dann auch, wie "hard" das "Hardware"-RAID des Dell Racks ist. Letztlich sind das immer softwarebasierte Systeme. Wenn man RAID-Software, die auf einem Controller läuft, als Hardware bezeichnen möchte, OK.

ganz so einfach ist es dann aber auch nicht. Klar ist ein Raid-Controller erst einmal teuer. Aber es kommt doch darauf an, was man mit dem System erreichen will.
Die Vorteile sind:
-belasten nicht das System(Performance)
-WriteCache bei Ausfall
-einfaches Austauschen einer defekten Platte
-Hotspare mit autom. Rebuild

Wenn ich länger nachdenken würde, kommen bestimmt noch mehr Vorteile aber bestimmt auch Nachteile. Ich wollte das nur nicht so pauschal stehen lassen.

[MSfree]

Die Vorteile sind:
-belasten nicht das System(Performance)

Nunja, einierseits sind heutige CPUs so schnell, daß die selbst bei maximaler Schreibgeschwindigkeit auf das RAID nur 2-3% CPU-Last verursachen. Ich habe bei mir einen Low-End Pentium Gold stecken (Coffee Lake), der sich zu Tode langweilt. Andererseits kann auch der Hardwarecontroller einbrechen.

-WriteCache bei Ausfall

Du meinst batteriegebufferte Caches? Das Problem ist, daß der Controller zwar seine letzten Schreiboperationen puffern kann. Der Hostrechner cacht und puffert aber auch, und das ist dann bei einem Stromausfall trotzdem verloren. Eine USV ist für kritische Systeme sowieso ratsam.

-einfaches Austauschen einer defekten Platte

Das ist aber hauptsächlich ein mechanisches Problem. Platteneinschübe mit Abschaltung bei Entriegelung gibt es auch für "normale" Desktops. SATA ist sowieso hotplugfähig (zumindest, wenn der Hersteller es nicht komplett verbockt).

-Hotspare mit autom. Rebuild

Hotspare hatte ich zwar noch nie im Einsatz, weil unsere Anforderungen an die Erreichbarkeit der Daten nicht so hoch ist. Aber das sollte mit mdadm eigentlich auch gehen.

Wenn ich länger nachdenken würde, kommen bestimmt noch mehr Vorteile aber bestimmt auch Nachteile.

Nachteilig dürfte in erster Linie der Kostenpunkt sein. "Hardware"-RAIDs lassen sich die Hersteller gerne fürstlich entlohnen, konverntionelle x64-Hardware ist in der Regel deutlich günstiger.

Kompatibilität zwischen zwei Herstellern ist nicht gegeben. Will ich von Dell auf HP wechseln, kann es sein, daß ich die Festplatten nicht einfach umstecken kann, Vendor Lockin. Selbst über zwei Hardwaregenerationen ist die Kompatibilität nicht gewährleistet. (mit mdadm ist das kein Problem). Wer in 3-Jahres Leasingintervallen denkt, dem ist das aber wohl egal.

Letzten Endes ist es wohl egal, ob man auf Herstellerhardware oder Softraid setzt.

[heisenberg]

-einfaches Austauschen einer defekten Platte

Das ist aber hauptsächlich ein mechanisches Problem. Platteneinschübe mit Abschaltung bei Entriegelung gibt es auch für "normale" Desktops. SATA ist sowieso hotplugfähig (zumindest, wenn der Hersteller es nicht komplett verbockt).

Na ein alte Platte raus und neue Platte rein und automatischer rebuild geht damit schon mal nicht. D. h. es braucht schon mal mindestens einen Admin, der die Kommandozeile und mdadm bedienen kann. Mit dem RAID-Controller muss dass noch nicht mal ein Linux-Admin sein. Das fände ich mit Linux-Software-RAID schon auch nett, wenn das gehen würde.

[TRex]

Also ganz theoretisch könnte man das in nem udev-Script lösen

[MSfree]

Na ein alte Platte raus und neue Platte rein und automatischer rebuild geht damit schon mal nicht.

Automatisches Rebuild findet aber auch bei "professionellen Hardwarelösungen" nicht unbedingt statt. Ich habe in den letzten 25 Jahren genug RAID-Systeme in den Fingern gehabt, bei denen man das Rebuild manuell anstossen mußte.

[oln]

Moin,

Automatisches Rebuild findet aber auch bei "professionellen Hardwarelösungen" nicht unbedingt statt. Ich habe in den letzten 25 Jahren genug RAID-Systeme in den Fingern gehabt, bei denen man das Rebuild manuell anstossen mußte.

mag sein, dass es so etwas gitbt. Aber die letzten 15Jahre von namenhaften Herstellern ist mir so etwas nicht unter gekommen.
Auch die Kompatibilität ist dort nie ein Problem gewesen. Klar wenn ich eine neue Kiste bekomme, dann setze ich den komplett neu auf und überspiele die Daten. Da jetzt die Festplatten mit rüber zu nehmen ergibt dann keinen Sinn, da die ja auch schon eine gewisse Laufzeit hinter sich haben.
Ich sitze in Berlin und wir haben eine Filiale in München. Da sitzt kein ITler. Da hat selbst unsere Buchhalterin mal ein Platte gewechselt, weil Sie die erste im Büro war und sie das piepen aus den Serverraum gestört hat.
Klar ist der Preis von ~300 - 400€ ein Kostenpunkt. Aber über 5Jahre(solagnge laufen die Kisten bei uns) ist das ein kleines Übel. Teurer wäre, wenn ich nach München müsste.