Filesystem über mehrere Festplatten?

Probleme mit Samba, NFS, FTP und Co.
Antworten
Alternativende
Beiträge: 2090
Registriert: 07.07.2006 18:32:05

Filesystem über mehrere Festplatten?

Beitrag von Alternativende » 16.10.2018 13:47:14

Hallo zusammen,
ich betreibe bei der Arbeit ein NAS (Openmediavault) zu Backupzwecken. Verbaut sind bisher 2 10TB Festplatten im Software RAID 1. Diese beiden Platten werden bisher halbautomatisch morgens auf eine externe gespiegelt. Halbautomatisch deshalb weil wir die Platte aus dem Tresor holen und dann am NAS anschließen. Anschließend läuft rsync automatisch an und erledigt den Rest.

Nun sind die 10TB Nutzplatz viel zu knapp bemessen und wir müssen dringend weitere Platten einbauen.

Meine Frage nun ist welche Möglichkeiten ich habe da ein großes 20TB Filesystem draus zu machen, auch in Anbetracht der zusätzlichen Sicherung auf Platte im Tresor.

Folgende Eckpunkte habe ich also.

- 20 TB Platz sollen es hinterher sein.
- Mindestens eine Spiegelung der Platten im NAS muss automatisch erfolgen (wie bisher im RAID 1)
- Eine externe Sicherung wie bisher auf Platte sollte möglichst komfortabel weiter möglich sein.
- Am liebsten wäre mir auch hinterher wenn das OS es alles für ein Filesystem hält da Bareos quasi 90% des Platzes benötigt und es einfacher für mich ist alles an einem Pfad liegen zu haben.
- Am besten wäre es wenn die Lösung nicht kompliziert zu handeln ist und möglichst ausgereift ist.

Welche kreativen Ideen habt ihr da so?

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Filesystem über mehrere Festplatten?

Beitrag von bluestar » 16.10.2018 13:56:19

Alternativende hat geschrieben: ↑ zum Beitrag ↑
16.10.2018 13:47:14
Welche kreativen Ideen habt ihr da so?
* Ordentliches Backup-Konzept erstellen
* ZFS Pool
* Tresor-Speicherung durch verschlüsselte Speicherung an anderem Standort/Online/Cloud realisieren
* Desaster Recovery auch einmal wirklich zu Testzwecken ausführen

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Filesystem über mehrere Festplatten?

Beitrag von Lord_Carlos » 16.10.2018 14:14:35

Alternativende hat geschrieben: ↑ zum Beitrag ↑
16.10.2018 13:47:14
- Mindestens eine Spiegelung der Platten im NAS muss automatisch erfolgen (wie bisher im RAID 1)
Also meinst du damit das die Haelfte der Platten ausfallen kann?
Oder das es eine platte Parity gibt?
Alternativende hat geschrieben: ↑ zum Beitrag ↑
16.10.2018 13:47:14
- 20 TB Platz sollen es hinterher sein.
- Eine externe Sicherung wie bisher auf Platte sollte möglichst komfortabel weiter möglich sein.
Da es keine 20 TB Platte gibt, wird dies nicht ganz so einfach.
Wenn das internet es abkann, wuerde ich auch offsite backup empfehlen.

Sonnst muesste man sich vielleicht ein USB Gehaeuse kaufen wo zwei HDDs Platz haben?

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Alternativende
Beiträge: 2090
Registriert: 07.07.2006 18:32:05

Re: Filesystem über mehrere Festplatten?

Beitrag von Alternativende » 17.10.2018 12:03:16

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
16.10.2018 14:14:35

Also meinst du damit das die Haelfte der Platten ausfallen kann?
Oder das es eine platte Parity gibt?
Genau die Hälfte der Platten sollte ausfallen können ohne Verlust.

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
16.10.2018 14:14:35
Da es keine 20 TB Platte gibt, wird dies nicht ganz so einfach.
Wenn das internet es abkann, wuerde ich auch offsite backup empfehlen.

Sonnst muesste man sich vielleicht ein USB Gehaeuse kaufen wo zwei HDDs Platz haben?
Das Backup auf die separate Tresorplatte ist derzeit auch mit LUKS verschlüsselt, von daher ist das jetzt nicht so ein großes Problem. Der Raum ist auch durch diverse Dinge vor unbefugtem Zutritt geschützt.

Das Offsitebackup habe ich derzeit auch noch als Idee im Kopf herumschwirren, da aber unsere Internetanbindung viel zu schlecht ist, fällt dieser Weg auf absehbare Zeit erst mal raus. Eventuell könnte ich das über LWL mit einem anderen Standort lösen, aber das wäre auch ein Projekt für nächste Jahr.

Momentan drückt der Schuh eben Aufgrund zu geringer Kapazitäten. Ein USB-Gehäuse mit mehreren Platten hilft mir vermutlich auch nicht weiter, denn irgendwo muss die Intelligenz ja untergebracht sein die weiß das die Platten ein Filesystem zusammen bilden. Je länger ich darüber nachdenke desto mehr habe ich das Gefühl das ich ein gespiegeltes NAS aufbauen muss. Das könnte vorerst auch hier am Standort in einem anderen Brandabschnitt stehen bis die LWL Anbindung klar ist.

Gibt es zu ZFS nicht noch Alternativen? Ich habe mit ZFS bisher noch nichts zu tun gehabt, das was ich gesehen habe sah recht kompliziert aus. Ich dachte ich hätte mal von einer Technik gehört die aus mehreren Platten einfach ein FS macht und dem OS zur Verfügung stellt, das dann per OpenMediaVault als RAID1 konfigurieren, gespiegeltes NAS einrichten und fertig :D.

hec_tech
Beiträge: 1093
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Filesystem über mehrere Festplatten?

Beitrag von hec_tech » 17.10.2018 12:33:30

Wenn du 20TB haben willst brauchst du nun mal irgend eine Art von Raid.

Ich würde auf jeden Fall zu ZFS raten. So kompliziert finde ich ZFS auch nicht.

Ich würde auch mehrere Disken und dafür nicht so große Disken verwenden. Da kann das Reconstruct sonst Wochen dauern.
Ich würde auch keine Platten im Tresor lagern. Jedes mal die Platte hochfahren da würde ich irgendwann Angst bekommen. Ein Durchlaufen ist wesentlich unproblematischer.

Du kannst ja mit LVM mirrored Volumes machen. Das wäre eventuell eine Alternative für ZFS. Ich würde aber immer ZFS vorziehen.

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Filesystem über mehrere Festplatten?

Beitrag von wanne » 17.10.2018 13:51:08

Zuerstmal gibt es natürlich klassiche raids mit mdadm
Du kannst mit einem RAID 0 ja beliebig viele (gleich große) RAID 1 zusammen schließen. Das ist rasend schnell. Du verlierst aber halt die Hälfte deines Speichers und erkennst kein Bitrot (Beides ja jetzt schon der Fall).
Bei nem NAS kommt es ja nicht so auf Speed an. Da würde ich eher auf RAID 6 (Oder falls nur wenigen <=3 Platten zusammen kommen RAID 5) setzen. Das mehr als 2 platten gleichzeitig ausfallen ist extrem unwahrscheinlich. Und du verlierst halt nur 2 statt die hälfte der Platten. Je nachdem wie viele Platten das sind kann das ein ordentlicher Unterschied sein.
Das kannst du natürlich auch mit externen machen. Steckst du alle ein, baut er dir ein Device aus denen zusammen.

Alternative ist ZFS mit RAID Z2 was recht ähnliche Eigenschaften wie RAID 6 hat aber Bitrot erkennen kann und beliebig viele Partitionen frisst. Hat vor allem den Vorteil, dass es je nach bedarf um platten erweitert werden kann. Daneben lassen sich bei ZFS Snapshots machen und die übertragen. Danach kannst du dann die änderungen seit dem Snapshot übertragen was das kopieren auf extern deutlich einfacher macht. (Und vor allem kann man dank der Snapshots alte Versionen von Dateien wieder herstellen.)
btrfs ist das gleiche in Grün aber deutlich angenehmer zu bedienen. (Siehe auch https://btrfs.wiki.kernel.org/index.php ... tal_Backup) Aber lass die Finger von RAID5/6! Das ist da noch nicht wirklich stabiel. (Zumindest in dem von Debian.)

Alles in allem würde ich aber eher dazu über gehen statt externen Platten einen kleines NAS in den Tresor zu legen. Strom und LAN dran und das Ding lässt sich viel angenehmer Handeln.

Zuletzt kann Kannst du ein GlusterFS oder so über deine Dateisysteme Legen. Das kann dann automatisiert ein Backup auf ein 2. Dateisystem legen.
rot: Moderator wanne spricht, default: User wanne spricht.

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Filesystem über mehrere Festplatten?

Beitrag von Colttt » 17.10.2018 21:16:15

+1 für btrfs mit Raid1

Raid 5/6 wenn überhaupt nur mit aktuellem Kernel und mit metadaten =raid1
Debian-Nutzer :D

ZABBIX Certified Specialist

Benutzeravatar
jph
Beiträge: 1049
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Filesystem über mehrere Festplatten?

Beitrag von jph » 17.10.2018 22:15:16

Colttt hat geschrieben: ↑ zum Beitrag ↑
17.10.2018 21:16:15
+1 für btrfs mit Raid1

Raid 5/6 wenn überhaupt nur mit aktuellem Kernel und mit metadaten =raid1
Unter btrfs sollte man https://btrfs.wiki.kernel.org/index.php/RAID56 zufolge RAID 5/6 nur zu Testzwecken einsetzen.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Filesystem über mehrere Festplatten?

Beitrag von bluestar » 18.10.2018 08:40:42

Alternativende hat geschrieben: ↑ zum Beitrag ↑
17.10.2018 12:03:16
Gibt es zu ZFS nicht noch Alternativen? Ich habe mit ZFS bisher noch nichts zu tun gehabt, das was ich gesehen habe sah recht kompliziert aus. Ich dachte ich hätte mal von einer Technik gehört die aus mehreren Platten einfach ein FS macht und dem OS zur Verfügung stellt, das dann per OpenMediaVault als RAID1 konfigurieren, gespiegeltes NAS einrichten und fertig :D.
Kannst du vielleicht konkretisieren, was genau du an ZFS kompliziert findest?

Code: Alles auswählen

zpool create -o ashift=12 mirror Poolname /dev/sda1 /dev/sdb1
Damit wäre dein Pool/ZFS schon erstellt und einsatzbereit ;)

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Filesystem über mehrere Festplatten?

Beitrag von Colttt » 18.10.2018 10:45:44

jph hat geschrieben: ↑ zum Beitrag ↑
17.10.2018 22:15:16
Unter btrfs sollte man https://btrfs.wiki.kernel.org/index.php/RAID56 zufolge RAID 5/6 nur zu Testzwecken einsetzen.
kommt drauf an, siehe (und ff)
https://www.spinics.net/lists/linux-btrfs/msg81767.html
Debian-Nutzer :D

ZABBIX Certified Specialist

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Filesystem über mehrere Festplatten?

Beitrag von heisenberg » 18.10.2018 11:54:22

Hier nochmal ein struktureller Blick auf das Thema. Es geht da imo um 4 Themen:

Dateisystem

Es braucht irgendein Dateisystem. Jedes hat seine Vorteile und Charakteristika. ZFS und btrfs haben Checksummen, Snapshots und Komprimierung. Ext4 hat bzgl. Robustheit und Dauereinsatz allen anderen viele Jahre voraus(Die Zeit von ext2/ext3 miteingerechnet.). XFS gibt's ja auch noch. Manche finden das toll. Ich hab's noch nie eingesetzt. Gerade die Checksummen finde ich sehr wichtig und vor allem die Möglichkeit, dass sich das selbst überprüft und repariert ist Gold wert.

Es wurde geschrieben das ZFS vielleicht zu kompliziert sei. Ich finde ZFS super einfach und angenehm zu benutzen.

Volume Manager

Das Thema ist eigentlich getrennt vom Dateisystem, auch wenn ZFS und btrfs das selbst auch können. Volume Management ist das zusammenfassen von mehreren Datenträgern und die Bereitstellung als eine Speichereinheit z. B. für ein Dateisystem. Ich finde Linux-LVM(Logical Volume Manager) sehr sinnvoll, weil es sehr viel Flexibilität bringt. Man kann beliebige Speichergeräte(RAID-Sets, Einzelplatten, USB-Sticks, Whatever) zusammenfassen und alles im laufenden Betrieb transparent unterhalb der Dateisystemebene austauschen. Ich verwende das wo immer mögilch.

ZFS im Vergleich dazu ist mir zu unflexibel.

Beispiel: Ich sah mal einen Server, der hatte nach und nach immer wieder RAID1-VDEVs drangepappt bekommen, immer wenn der Speicherplatz halt knapp geworden ist. Kann man dass jetzt auf der Ebene unterhalb des Dateisystems lösen? Nein. Geht nicht. Man kann nur VDEVs ersetzen, nicht aber löschen oder die Daten auf andere VDEVs hinzufügen. Man muss die Altlasten mitschleppen oder muß ein neues Dateisystem erstellen und die Daten kopieren. Bei LVM gibt's da den Befehl pvmove. Mit dem kann man das VDEV-Equivalent da ersetzen oder entfernen, wobei die Daten dann auf die übrigen Speichergeräte umgezogen werden.

Ob der Fall bei Dir auftreten wird, weiss ich nicht. Aber wenn ich über das Thema Speicherplatzerweiterung in diesem Fall nachdenke, dann scheint mir das auf eine ähnliche Konstellation hinauslaufen zu können. Btrfs scheint sich da ähnlich zu verhalten.

Plattenredundanz

Bei so einer Größenordnung möchte man auf jeden Fall - wie der TE schon auch möchte eine Ausfallsicherheit gegen X Platten haben. RAID5 bzw. ZFS-RAIDZ(max 1 Platte Ausfall ohne Datenverlust), RAID6 bzw. ZFS-RAIDZ2(max. 2 Platten Ausfall) oder ZFS-RAIDZ3(max. 3 Platten Ausfall) wären da von mir bevorzugte Varianten. Ich habe auch Vielfach die Empfehlung gelesen in die einzelnen RAID-Verbünde nicht zu viele Platten zu packen, weil das ganze sonst sehr langsam wird. Lieber mehrere kleine(mit je 3-5 Platten) RAIDs zusammenfassen. Weiterhein kann man noch ein oder mehrere Hot-Spares verwenden, die für einen sofortigen automatischen Rebuild bereit stehen.

Das RAID kann man jetzt sowohl mit einem Hardware-RAID-Controller oder mit Linux Software-RAID(bzw. ZFS-RAIDZ/Mirror).

Als Möglichkeit für so etwas hier RAID5/6 von btrfs zu verwenden, was lt. den Entwicklern explizit mit Warnhinweisen versehen ist, ist für nicht nachvollziehbar. Ich kann selbst - unwissend über den weiteren detailierten Reifegrad dieser Funktionalität - nur absolut davon abraten. Oder anders gesagt: Wer das tut, sollte wissen was er tut: Here be Dragons!

Monitoring

Ich selbst habe alle meine Systeme so, dass max. 1 Platte ausfallen darf oder es gibt Datenverlust(zusätzlich gibt's natürlich noch ein Backup) . (Hauptsächlich RAID1/RAID5/RAID10). Ich hatte noch nie einen Ausfall von 2 Platten gleichzeitig. Es kam 2-3 Mal vor, dass mir 1 defekte Platte den ganzen RAID-Controller weggerissen hat und damit den Server. Ich habe auch keine Hotspares im Einsatz. Grundsätzlich kommt man aber, meiner Erfahrung nach, wenn es dazu kommt dass 2 Platten auch nur angeschlagen sind, in Schwierigkeiten, weil dann das Recovery evtl. nicht mehr möglich ist. Diesen Fall hatte ich auch schon 1-2 Mal.

Was ich aber habe, ist eine gute Plattenüberwachung. D. h. sowohl die SMART-Werte als auch der RAID-Status wird kontinuierlich überwacht und Fehler werden sofort erkannt, wonach schwächelnde oder defekte Platten sofort ersetzt werden können. Die Variante Backup wiederherstellen geht natürlich immer, aber das ist dann halt um Größenordnungen aufwändiger und braucht mehr Zeit(Es sei denn man hat entsprechend Leistungesfähige Storage-Systeme und Snapshots, mit denen das mehr oder weniger sofort geht.)

Sonstiges

Ich denke mir, dass die Methode, die Platten ständig rumzutragen sowei ein und auszuschalten, der Lebensdauer der Platten sehr abträglich sein dürfte.

Ich selbst verwende LVM zusammen mit ext4. Zusammen mit btrfs oder ZFS habe ich LVM noch nicht verwendet. Zumindest ZFS und LVM wird nicht erst Mal nicht empfohlen. Bzgl. btrfs + LVM gibt's einen Bereich in der btrfs-FAQ: https://btrfs.wiki.kernel.org/index.php/FAQ
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Filesystem über mehrere Festplatten?

Beitrag von bluestar » 18.10.2018 14:36:29

Erst mal Hut ab vor heisenberg, dein Post ist von der Ausführlichkeit nicht zu toppen! :hail:
heisenberg hat geschrieben: ↑ zum Beitrag ↑
18.10.2018 11:54:22
ZFS im Vergleich dazu ist mir zu unflexibel.

Beispiel: Ich sah mal einen Server, der hatte nach und nach immer wieder RAID1-VDEVs drangepappt bekommen, immer wenn der Speicherplatz halt knapp geworden ist. Kann man dass jetzt auf der Ebene unterhalb des Dateisystems lösen? Nein. Geht nicht. Man kann nur VDEVs ersetzen, nicht aber löschen oder die Daten auf andere VDEVs hinzufügen. Man muss die Altlasten mitschleppen oder muß ein neues Dateisystem erstellen und die Daten kopieren. Bei LVM gibt's da den Befehl pvmove. Mit dem kann man das VDEV-Equivalent da ersetzen oder entfernen, wobei die Daten dann auf die übrigen Speichergeräte umgezogen werden.
Ich würde bei diesem Beispiel allerdings fairerweise nicht ZFS die Schuld geben, sondern letztlich dem Betreuer des Systems ... Das liebe rm ist ja auch nicht per se gefährlich, außer man führt es falsch aus, z.B. in der Form: sudo rm -rf /. Aber ja du hast Recht ein pvmove-Äquivalent würde ZFS noch ein gutes Stück besser machen.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Filesystem über mehrere Festplatten?

Beitrag von heisenberg » 18.10.2018 15:07:55

Ich würde bei diesem Beispiel allerdings fairerweise nicht ZFS die Schuld geben, sondern letztlich dem Betreuer des Systems ...
Ich habe mich gefragt, wie man das da hätte besser machen können. Man braucht mehr Speicher, möchte aber gerne die vorhandenen Platten weiter nutzen wollen. Also geht imo nur: Neues VDEV dazu. Alternative wäre gewesen größere Platten zu nehmen und anschließend durch autoexend das VDEV zu vergrößern zu lassen. Da habe ich aber wieder die alten Platten, die ich dann nicht mehr im Verbund habe. Andere Möglichkeit wäre: Neues VDEV mit neuen grösseren Platten und VDEV ersetzen. Gleiches Spiel: Die alten Platten sind dann über.

Bei LVM hänge ich temporär vielleicht mal 2 große Platten als RAID1 rein, schieb das rüber, bau mir aus den 5 x RAID1-Sets vielleicht 1/2 RAID5 Sets, schiebe den Kram wieder zurück und entferne schließlich die temporären Platten wieder.

Es gab da wohl vor vielen Jahren bei OpenSolaris auch mal einen Feature Request. Da ist aber wohl nix draus geworden:

"RFE 4852783" (need for an equivalent to LVM2's pvmove)
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Filesystem über mehrere Festplatten?

Beitrag von bluestar » 18.10.2018 17:08:22

heisenberg hat geschrieben: ↑ zum Beitrag ↑
18.10.2018 15:07:55
Ich habe mich gefragt, wie man das da hätte besser machen können. Man braucht mehr Speicher, möchte aber gerne die vorhandenen Platten weiter nutzen wollen. Also geht imo nur: Neues VDEV dazu. Alternative wäre gewesen größere Platten zu nehmen und anschließend durch autoexend das VDEV zu vergrößern zu lassen. Da habe ich aber wieder die alten Platten, die ich dann nicht mehr im Verbund habe. Andere Möglichkeit wäre: Neues VDEV mit neuen grösseren Platten und VDEV ersetzen. Gleiches Spiel: Die alten Platten sind dann über.
Ich glaube du musst hier mal berücksichtigen, dass ZFS nicht für "Pfennigfuchser" entwickelt wurde, die "olle Platten/SSDs bis zum Tode" betreiben wollen. Wenn bei uns die Platten/SSDs soweit voll sind, dass wir den Speicher vergrößern müssen, dann haben die Platten/SSDs (dank entsprechend guter Planung 3-4 Jahre durchgehalten) und werden einfach durch neue größere ersetzt... Einfach auch um das Risiko eines Ausfalls auf Grund des Alters zu minimieren.

Benutzeravatar
jph
Beiträge: 1049
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Filesystem über mehrere Festplatten?

Beitrag von jph » 18.10.2018 17:54:22

Colttt hat geschrieben: ↑ zum Beitrag ↑
18.10.2018 10:45:44
kommt drauf an, siehe (und ff)
https://www.spinics.net/lists/linux-btrfs/msg81767.html
Vielen Dank für den Link. Die ausführliche Betrachtung dort ist deutlich differenzierter als das Kernel-Wiki. Man benötigt, so wie ich die es verstanden habe, jedoch mindestens Kernel 4.17 samt zugehöriger Debianbtrfs-progs, wird unter Stable also in die Backports greifen müssen.

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Filesystem über mehrere Festplatten?

Beitrag von Colttt » 19.10.2018 09:30:03

heisenberg hat geschrieben: ↑ zum Beitrag ↑
18.10.2018 11:54:22
ZFS im Vergleich dazu ist mir zu unflexibel.

Beispiel: Ich sah mal einen Server, der hatte nach und nach immer wieder RAID1-VDEVs drangepappt bekommen, immer wenn der Speicherplatz halt knapp geworden ist. Kann man dass jetzt auf der Ebene unterhalb des Dateisystems lösen? Nein. Geht nicht. Man kann nur VDEVs ersetzen, nicht aber löschen oder die Daten auf andere VDEVs hinzufügen. Man muss die Altlasten mitschleppen oder muß ein neues Dateisystem erstellen und die Daten kopieren. Bei LVM gibt's da den Befehl pvmove. Mit dem kann man das VDEV-Equivalent da ersetzen oder entfernen, wobei die Daten dann auf die übrigen Speichergeräte umgezogen werden.

Ob der Fall bei Dir auftreten wird, weiss ich nicht. Aber wenn ich über das Thema Speicherplatzerweiterung in diesem Fall nachdenke, dann scheint mir das auf eine ähnliche Konstellation hinauslaufen zu können. Btrfs scheint sich da ähnlich zu verhalten.
ich hoffe ich verstehe dich richtig, wenn ja dann ist das so nicht ganz korrekt: https://github.com/zfsonlinux/zfs/relea ... -0.8.0-rc1 dort kann man auch Geräte wieder entfernen.
Debian-Nutzer :D

ZABBIX Certified Specialist

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Filesystem über mehrere Festplatten?

Beitrag von heisenberg » 19.10.2018 09:47:38

Ich hoffe ich verstehe dich richtig, wenn ja dann ist das so nicht ganz korrekt: https://github.com/zfsonlinux/zfs/relea ... -0.8.0-rc1 dort kann man auch Geräte wieder entfernen.
Ja, das hört sich doch schon Mal gut an. Danke für's finden!

Leider steht hier noch: https://github.com/zfsonlinux/zfs/pull/6900
Note that when a device is removed, we do not verify the checksum of the
data that is copied. This makes the process much faster, but if it were
used on redundant vdevs (i.e. mirror or raidz vdevs), it would be
possible to copy the wrong data, when we have the correct data on e.g.
the other side of the mirror. Therefore, mirror and raidz devices can
not be removed.
Und wer verwendet denn bitte ZFS ohne ein redundantes VDEV? Also war's leider doch noch nix damit. Aber wer weiß. Ich könnte mir vorstellen, daß dass auch noch entwickelt wird. Eine Basis für das Feature ist ja schon einmal da. In der Unterhaltung zu dem Pull-Request steht auch irgendwas von mirror-removal drin. Vielleicht ist das Feature tatsächlich schon in der Mache.

Nachtrag

Wie vermutet, scheint dass entfernen von beliebigen VDEVs wohl schon das klare Ziel zu sein. Siehe Aussage von "Alex Reece" hier:

https://www.delphix.com/blog/delphix-en ... ce-removal
Currently, device removal only works if all top level vdevs are plain disks / files.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Filesystem über mehrere Festplatten?

Beitrag von bluestar » 19.10.2018 10:32:45

Colttt hat geschrieben: ↑ zum Beitrag ↑
19.10.2018 09:30:03
ich hoffe ich verstehe dich richtig, wenn ja dann ist das so nicht ganz korrekt: https://github.com/zfsonlinux/zfs/relea ... -0.8.0-rc1 dort kann man auch Geräte wieder entfernen.
Ich würde auch nicht unbedingt einen -RC1 eines Filesystems als Lösungsweg vorschlagen aber zusammen mit den Details von heisenberg bleibt doch zu sagen, dass sich im Bereich ZFS noch einiges tut und da ist die Chance sehr gut, das bis zu dem nächsten Punkt Platten voll die Features und der Komfort des Dateisystems noch gewachsen sind.

Ich war auch lange Zeit ein Anhänger von LVM, bin inzwischen aber echt ein großer Fan von ZFS und bedauere das die Entwicklung von BtRfs leider sehr schleppend vorangeht und das FS somit für mich noch nicht als Alternative zu ZFS zählen kann.

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Filesystem über mehrere Festplatten?

Beitrag von wanne » 19.10.2018 16:20:44

heisenberg hat geschrieben: ↑ zum Beitrag ↑
18.10.2018 11:54:22
Das Thema ist eigentlich getrennt vom Dateisystem, auch wenn ZFS und btrfs das selbst auch können. Volume Management ist das zusammenfassen von mehreren Datenträgern und die Bereitstellung als eine Speichereinheit z. B. für ein Dateisystem. Ich finde Linux-LVM(Logical Volume Manager) sehr sinnvoll, weil es sehr viel Flexibilität bringt. Man kann beliebige Speichergeräte(RAID-Sets, Einzelplatten, USB-Sticks, Whatever) zusammenfassen und alles im laufenden Betrieb transparent unterhalb der Dateisystemebene austauschen. Ich verwende das wo immer mögilch.

ZFS im Vergleich dazu ist mir zu unflexibel.

Beispiel: Ich sah mal einen Server, der hatte nach und nach immer wieder RAID1-VDEVs drangepappt bekommen, immer wenn der Speicherplatz halt knapp geworden ist. Kann man dass jetzt auf der Ebene unterhalb des Dateisystems lösen? Nein. Geht nicht. Man kann nur VDEVs ersetzen, nicht aber löschen oder die Daten auf andere VDEVs hinzufügen. Man muss die Altlasten mitschleppen oder muß ein neues Dateisystem erstellen und die Daten kopieren. Bei LVM gibt's da den Befehl pvmove. Mit dem kann man das VDEV-Equivalent da ersetzen oder entfernen, wobei die Daten dann auf die übrigen Speichergeräte umgezogen werden.

Ob der Fall bei Dir auftreten wird, weiss ich nicht. Aber wenn ich über das Thema Speicherplatzerweiterung in diesem Fall nachdenke, dann scheint mir das auf eine ähnliche Konstellation hinauslaufen zu können. Btrfs scheint sich da ähnlich zu verhalten.
Ich mag LVM bzw. dm-raid ja auch lieber, weil ich es einfach übersichtlicher finde, wenn eine Schicht eine Aufgabe erledigt. Aber mangelnde Flexibilität sehe ich absolut gar nicht.

Code: Alles auswählen

btrfs device remove olddev
Das ist halt noch viel flexibler so als beispiel:
Ich merke: Oh mein SMART meint, meine Platte ist am abkratzen.
Also schmeiß ich erst mal Kompression an und remove das problematische device. Dann habe ich die neue Platte gekauft. Also schmeiße ich wieder ein rebalance rein, damit die auch mit genutzt wird. (Performance)...
Insbesondere bei völlig unteschiedlichen Devices. Die sind ja auch unterschiedlich schnell. Willst du nicht in einem LVM haben. Dann hast du auch die Probleme von zu großen RAIDS nicht. btrfs und zfs machen eben keine raids.
rot: Moderator wanne spricht, default: User wanne spricht.

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Filesystem über mehrere Festplatten?

Beitrag von Colttt » 22.10.2018 09:08:40

btrfs ruf beruht wohl oder übel auf frühe versionen, ähnlich wie bei systemd wo frühere versionen viele bugs hatten und einiges nicht funktionierte.. btrfs ist mittlerweile recht stabil, bei raid5/6 muss man entsprechend aufpassen (siehe link weiter oben). was mich nach wie vor dort am meisten stört ist die relativ miese performance was aber überwiegend dem CoW feature zugeschoben werden kann, das soll bei ZFS ähnlich sein wenn man es nur mit einer platte betreibt.


Edit:
wie der Zufall es so will soll wohl im Kernel 4.20 ein paar Performanceverbesserungen bezüglich btrfs bekommen..
https://marc.info/?l=linux-btrfs&m=154025442601840&w=2
Debian-Nutzer :D

ZABBIX Certified Specialist

Antworten