Mehrere Festplatten auf NAS zusammenfassen

Warum Debian und/oder eine seiner Spielarten? Was muss ich vorher wissen? Wo geht es nach der Installation weiter?
Antworten
Langly
Beiträge: 262
Registriert: 15.12.2004 17:19:39
Lizenz eigener Beiträge: MIT Lizenz

Mehrere Festplatten auf NAS zusammenfassen

Beitrag von Langly » 26.12.2018 11:16:08

Einen schönen zweiten Feiertag an alle Leser!

Ich verwende privat ein Selbstbau-NAS und nutze gerade die ruhige Zeit, um mir Gedanken um eine Erweiterung der Speicherkapazität zu machen. Aktuell ist nur eine einzige Festplatte als ganz normales ext 4-Volume verbaut, die ich gerne demnächst um eine zweite Platte ergänzen möchte.

Dafür würde ich mir wünschen, beide Platten zu einem gemeinsamen Speicherverbund zusammenzufassen.

Mir sind verschiedene Möglichkeiten wie LVM, JBOD oder eine entsprechende Funktion von ZFS-Dateisystemen bekannt. Wenn ich es richtig verstehe, haben solche Lösungen allerdings den Nachteil, dass das Dateisystem des gemeinsamen Volumes über alle Platten hinweg angelegt wird. Mit etwas Pech liegen eigentlich zusammenhängende Daten also fragmentiert über mehrere Festplatten vor. Beim Ausfall einer einzelnen Platte wären dann auch die Datenbestandteile auf den funktionierenden Platten nicht mehr verwendbar.

Welche Möglichkeiten gibt es abgesehen von den oben genannten noch, Festplatten zu einem einigen Volume zusammenzufassen, ohne gleich die Datensicherheit zu riskieren? Wie wird so etwas im produktiven Umfeld auf professionellen Storageservern umgesetzt? Kann mir hier jemand einen Lesetipp geben?

Es geht mir explizit nicht um die Einrichtung eines RAIDs. Eine externe Datensicherung ist vorhanden, mehr Redundanz braucht es für meine Mediensammlung nicht.

Das Projekt Mergerfs [1] geht für mich in die richtige Richtung. Abgesehen von einem Bericht hier im Forum fehlt es mir allerdings an konkreten Erfahrungsberichten dazu, um das beurteilen zu können.

[1] https://github.com/trapexit/mergerfs

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Mehrere Festplatten auf NAS zusammenfassen

Beitrag von schwedenmann » 26.12.2018 11:23:35

Hallo

Es geht mir explizit nicht um die Einrichtung eines RAIDs. Eine externe Datensicherung ist vorhanden, mehr Redundanz braucht es für meine Mediensammlung nicht.

dann mach doch 2 Platten, jeweils 1 eigenes dateiusystem und mounte die in jeweils 2 Ordnern (wenn du da deine mediensammlung aufbewarst, dann eben 12 HDd für Videos, die andere für mp3, Fotos). Backup hast du ja.

Klar kann man lvm oder raid0 (zfs btrfs) einsetzen, muß man aber nicht. :mrgreen:

mfg
schwedenmann

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Mehrere Festplatten auf NAS zusammenfassen

Beitrag von Lord_Carlos » 26.12.2018 18:46:25

Ich benutzte auch mergerfs.
Man hat ja immernoch die guten alten mounts, aber man muss sich nicht drum kuemmern auf welcher Festplatte jetzt genug Platz ist. Oder auf welcher Platte die datei sich jetzt befindet. War sie doch in Filme1? oder Filme2?

Schiess los wenn du Fragen hast.


Redundanz mache ich dann mit snapraid.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
smutbert
Moderator
Beiträge: 8316
Registriert: 24.07.2011 13:27:39
Wohnort: Graz

Re: Mehrere Festplatten auf NAS zusammenfassen

Beitrag von smutbert » 26.12.2018 22:20:57

Langly hat geschrieben: ↑ zum Beitrag ↑
26.12.2018 11:16:08
[…]
Wenn ich es richtig verstehe, haben solche Lösungen allerdings den Nachteil, dass das Dateisystem des gemeinsamen Volumes über alle Platten hinweg angelegt wird. Mit etwas Pech liegen eigentlich zusammenhängende Daten also fragmentiert über mehrere Festplatten vor.[…]
Das Verteilen der Daten in kleinen Portionen über mehrere Platten ist imho eine Eigenschaft von raid0.

Wenn man dagegen mit lvm ein logisches Volume aus Physical Volumes mehrer Platten zusammensetzt und vielleicht auch noch die PE Size, also die Portionsgröße mit der der physikalische Speicher verwaltet wird vom relativ kleinen Default (als ich das letzte Mal mit lvm etwas gemacht habe waren das 2 MiB, glaube ich) auf einen vernünftigen größeren Wert setzt – ich habe immer 2 GB gnommen – und nicht raid0 verwendet, sollten die Dateien meiner Ansicht nach auch nicht fragmentierter auf den Festplatten liegen als sie es bei einem Dateisystem auf nur einer Partition/Platte tun würden. Ähnliches gilt denke ich für btrfs (und vermutlich zfs).

Probleme sehe ich allerdings darin, dass man trotzdem erst einmal das komplette Dateisystem verliert, wenn nur eine Platte ausfällt. Schließlich fehlen Daten und möglicherweise auch wichtige Metadaten und ich bezweifle, dass man ein Dateisystem findet, das sich in diesem Zustand mounten lässt.
Im Endeffekt erreicht man dadurch (glaube ich) nur, dass das Retten der Daten mit Tools wie photorec, die nicht versuchen das Dateisystem zu lesen sondern nur die Dateien nach Mustern sucht, wahrscheinlicher klappt. Dabei gehen aber wieder alle Metadaten, inklusive Rechten, Dateinamen und Verzeichnisstruktur verloren. Bevor man diesen Vorteil also ausnutzt wird man wahrscheinlich wieder lieber auf das Backup zurückgreifen.

Langly
Beiträge: 262
Registriert: 15.12.2004 17:19:39
Lizenz eigener Beiträge: MIT Lizenz

Re: Mehrere Festplatten auf NAS zusammenfassen

Beitrag von Langly » 27.12.2018 14:17:03

Hallo zusammen,

danke erst einmal für die Antworten.

Je mehr ich mich in das Thema einlese, desto sympathischer wird mir mergerfs. smutbert hat die Problematik von Hardwareausfällen bei plattenübergreifenden Dateisystemen besser in Worte gefasst, als ich es im Eingangspost gemacht habe. Mich bestärkt das in dem Gedanken, dass ich genau diesen Weg nicht einschlagen möchte. Meine Motivation, Backups im zweistelligen Terrabytebereich wiederherzustellen, hält sich jedenfalls in sehr engen Grenzen.

Mein Kommentar mit den fragmentierten Daten bezog sich auf den Gedanken, dass Daten nach meinen sehr rudimentären Verständnis auf einem Dateisystem ja nicht unbedingt fortlaufend vorliegen, sondern je nach Belegungszustand auch einmal auf nicht zusammenhängende Sektorbereiche gestückelt sein können. Mit etwas Pech könnte also von einer 10 Gb großen Datei die ersten 7 Gb auf Platte 1 und die restlichen 3 Gb auf Platte 2 vorliegen. Bei einem Ausfall von Platte 2 müsste man also selbst auf der verbliebenen intakten Platte mit beschädigten Daten rechnen, selbst wenn man das Dateisystem wiederherstellen könnte.

Da mergerfs ja auf den bestehenden Dateisystemen der Einzelplatten aufsetzt entgehe ich solchen Risiken. Auch die Flexibilität kommt mir sehr entgegen. So wie ich es verstehe kann ich meine bestehenden Daten einfach in ein mergerfs-Volume mounten, die neue leere Platte hinzufügen und fertig.
Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
26.12.2018 18:46:25
Schiess los wenn du Fragen hast.
Sehr gerne!

Folgendes ist mir nach dem Einlesen in mergerfs noch nicht ganz klar geworden:
  • Kann ich trotz des gemeinsamen Volumes immer noch Dateien auf den Einzelpartitionen bearbeiten? Ich würde die neue Platte gleich doppelt anschaffen und eine in meinen Backupserver packen. Dort möchte ich die Konfiguration so einfach lassen wie möglich und würde den Inhalt der Einzelplatten sichern. Also NAS-Platte 1 --> Backup-Platte 1 und NAS-Platte 2 auf Backup-Platte 2. Im Falle des Falles könnte ich nach meinem Verständnis doch einfach die Einzelplatten aufs NAS zurücksichern und daraus wieder ein mergerfs-Volume mounten, richtig?
  • Gibt es im Zusammenspiel mit Samba etwas zu beachten?
  • Wie ist die Auswirkung auf Schreib- und Lesegeschwindigkeit?
  • Wie beurteilst du die Zuverlässigkeit?

eggy
Beiträge: 3331
Registriert: 10.05.2008 11:23:50

Re: Mehrere Festplatten auf NAS zusammenfassen

Beitrag von eggy » 27.12.2018 14:25:33

Was spricht denn gegen klassisches Mounten von Unterverzeichnissen?
In der Regel bekommt man doch rechtzeitig mit, dass eine der Platten am volllaufen ist, ggfs wird das Monitoring Bescheid geben. Dann kann man in Ruhe Zeug rumschieben bzw Platten/Partitionen anders mounten. Wenn mans komplizierter will: pro Platte mehrere Partitionen, z.B. Drittel oder Viertel, dann ist man flexibel und kann sich später schnell dort weiteren Platz besorgen, wo er gebraucht wird.

Langly
Beiträge: 262
Registriert: 15.12.2004 17:19:39
Lizenz eigener Beiträge: MIT Lizenz

Re: Mehrere Festplatten auf NAS zusammenfassen

Beitrag von Langly » 27.12.2018 14:33:40

eggy hat geschrieben: ↑ zum Beitrag ↑
27.12.2018 14:25:33
Was spricht denn gegen klassisches Mounten von Unterverzeichnissen?
Ist natürlich eine Möglichkeit, aber ein zentrales Verzeichnis /mnt/Kram finde ich deutlich angenehmer zu handhaben. Und auf das spätere Verschieben von Daten möchte ich soweit wie möglich verzichten. Im Moment sind es nur 6 Tb, die neue Platte würde eine mit 10 Tb werden. Das umzulagern ist eine Sache von Tagen.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Mehrere Festplatten auf NAS zusammenfassen

Beitrag von Lord_Carlos » 27.12.2018 18:11:00

Langly hat geschrieben: ↑ zum Beitrag ↑
27.12.2018 14:17:03
  • Kann ich trotz des gemeinsamen Volumes immer noch Dateien auf den Einzelpartitionen bearbeiten? Ich würde die neue Platte gleich doppelt anschaffen und eine in meinen Backupserver packen. Dort möchte ich die Konfiguration so einfach lassen wie möglich und würde den Inhalt der Einzelplatten sichern. Also NAS-Platte 1 --> Backup-Platte 1 und NAS-Platte 2 auf Backup-Platte 2. Im Falle des Falles könnte ich nach meinem Verständnis doch einfach die Einzelplatten aufs NAS zurücksichern und daraus wieder ein mergerfs-Volume mounten, richtig?
  • Gibt es im Zusammenspiel mit Samba etwas zu beachten?
  • Wie ist die Auswirkung auf Schreib- und Lesegeschwindigkeit?
  • Wie beurteilst du die Zuverlässigkeit?
1: Ja, da die Platten immernoch fuer sich gemountet sind kannst du die auch gezielt beschreiben / lesen.

2: Ich teile meine Daten ohne problem via Samba. Aber nur lesend. Guck dir die github Seite and und suche nach "samba". Da stehen ein paar Tips: https://github.com/trapexit/mergerfs#sa ... ries-fails

3: Weis ich nicht. Auf der github Seite steht etwas. Da ich aber maximal nur Gigabit Geschwindichkeit brauche habe ich da nichts gemacht.

4: benutze es seit einem Jahr. Ich hatte die letzten Tage mein erstes Problem. Ein Musik Programm (Airsonic) hatte keine neuen Lieder gefunden. Das macht irgendeine schnell suche die nur auf Timestamps oder sowas guckt. Im wiki steht:
Kodi, Plex, Subsonic, etc. can use directory mtime to more efficiently determine whether to scan for new content rather than simply performing a full scan. If using the default getattr policy of ff its possible those programs will miss an update on account of it returning the first directory found's stat info and its a later directory on another mount which had the mtime recently updated. To fix this you will want to set func.getattr=newest. Remember though that this is just stat. If the file is later open'ed or unlink'ed and the policy is different for those then a completely different file or directory could be acted on.
Nachdem ich es auf func.getattr=newest umgestellt habe funktioniert es wieder, aber mein torrent client meldte ein paar Probleme. Erstmal wieder zureuck gestellt. Kein Datenverlust! Kann auch sein das es nicht an mergerfs liegt, gerade keine Zeit / Lust remote rum zu dueddeln.
eggy hat geschrieben: ↑ zum Beitrag ↑
27.12.2018 14:25:33
Was spricht denn gegen klassisches Mounten von Unterverzeichnissen?
Hat man ja immernoch. Mergerfs macht es nur einfacher. Ich habe 4 Platten die nach /media/raid remounted werden. Dann kann ich neue Daten immer nach /media/raid/filme oder /media/raid/Download runterladen. Und Kodi kann immer vom gleichen Verzeichnis lesen.

Geht auch ohne, aber es macht das ganze Einfacher. Letztens eine Festplatte hinzugefuegt. Ich musste nichts an Kodi, Emby, Airsonic oder Samba config aendern.
Wenn man was sucht muss man auch nur einen Ordner durchsuchen, und nicht $anzahlFestplatten.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Langly
Beiträge: 262
Registriert: 15.12.2004 17:19:39
Lizenz eigener Beiträge: MIT Lizenz

Re: Mehrere Festplatten auf NAS zusammenfassen

Beitrag von Langly » 27.12.2018 18:30:31

Herzlichen Dank @Lord_Carlos für die ausführliche Erklärung!

Ich werde wohl einfach mal in einer VM etwas herumprobieren und dann entscheiden. Hört sich auf jeden Fall schon sehr vielversprechend an. Danke übrigens auch für den Hinweis zu den Timestamps. Mein Anwendungszenario umfasst ebenfalls Kodi und für Musik Clementine, die auf den Clients einen Index über neu hinzugekommene Daten pflegen. Wahrscheinlich hätte mich recht schnell das gleiche Problem erwischt.

Wer noch etwas hinzuzufügen hat ist herzlich willkommen. Ich bin für alle Ideen (nicht nur mergerfs) offen.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Mehrere Festplatten auf NAS zusammenfassen

Beitrag von Lord_Carlos » 27.12.2018 18:49:33

Kodi und Airsonic gingen bis jetzt immer gut. Kein plan warum auf einmal Airsonic nicht mehr wollte. Ich wuerde es erstmal ohne den Parameter versuchen.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Antworten