Synology NAS durch Debian Homeserver ersetzen

[Simaryp]

Ich habe noch ne Frage zum Thema Boot des Servers und Verschlüsselung.
Wenn / in einem Luks Container ist, wie kann ich dann beim Boot von einem anderen Rechner im Netzwerk das Passwort eingeben? Ich hoffe das geht irgendwie auf ähnliche Weise, wie auch eine Installation möglich ist.

[schwedenmann]

Hallo

Habe dazu folgendes gefunden

https://hamy.io/post/0009/how-to-instal ... unlocking/

und hier

https://www.thomas-krenn.com/de/wiki/Vo ... f_Dropbear

mfg
schwedenmann

[Simaryp]

Sehr cool! Vielen Dank. Es geht schon mal auf jeden Fall. Ich hatte gehofft, dass es genauso geht, wie der Install mit IPMI zum Beispiel. Ohne, dass ich das bereits selbst einmal ausgeführt habe. Aber darüber habe ich gelesen, habe ich per Browser einen Zugriff auf das Board und eine Konsole über die ich zum Beispiel ein Medium laden kann und ein System installieren kann. Vielleicht geht das auch und ich habe bloß noch nicht das richtige gesucht.

Ich habe das Gefühl, das ganze Projekt ist doch etwas komplexer als anfänglich gedacht. Wenn ich damit fertig bin, bin ich wohl auch halber sysadmin.

Außerdem habe ich mich gefragt, ob es vielleicht ein System eine Software gibt, die den Zustand des Systems monitored und mich alarmieren kann, falls irgendwelche Probleme auftauchen. Also wenn die Festplatten degradieren oder bei einem Scrub irgendein Problem aufgetaucht ist etc.

[schwedenmann]

Hallo


https://www.techgrube.de/tutorials/mdad ... -versenden


Ansonsten zur allg. Überwachung des Systems z.B. munin oder monitorix.

mfg
schwedenmann

P.S. Bitte nächtes mal selber Tante Google nutzen

[Simaryp]

Vielen Dank. Du hast schon recht. Ich hoffe immer noch, dass ich über einen Beitrag/ eine Anleitung stolpere, wo jemand so ziemlich das gleiche erreichen wollte und die ich für Themen mit denen ich noch gar keine Berührung hatte als Guide nutzen kann.
Mir weht auch gerade von allen Seiten Wind entgegen, ich sollte doch einfach unraid nehmen, aber irgendwie bin ich davon nicht überzeugt. Auch wenn das vermutlich recht einfach konfiguriert wäre.

Ich muss mir das auch noch mal mit der ZFS Konfiguration überlegen. Ich habe bei weiterer Recherche mehrfach gelesen, dass von Raidz abgeraten wird und man entweder Raidz2 oder ein Raid10 durch mehrere mirror vdevs machen soll. Ich verstehe die Pros und Cons aber die Entscheidung fällt mir doch nicht leicht. Die Verwendung von großen Platten spricht wohl für Raid10, die Verwendung von wenigen Platten wohl auch. Die generelle Ausfallsicherheit ist leicht höher als bei Raidz. Aber in beiden Fällen steht man während des Ausfalls und vorm Abschluss des Resilverings ohne Paritätsdaten da und es gibt die Möglichkeit des Totalausfalls. Wie sieht das denn mit der Datenintegrität aus? Wenn ich nur eine Paritätsplatte habe und die ausfällt und getauscht werden muss und dann gibt es eine inkosistenz in der verbliebenen Platte, dann müsste ZFS das doch trotzdem erkennen und ich könnte dann die Datei aus einem Backup wieder herstellen oder?

[Lord_Carlos]

Außerdem habe ich mich gefragt, ob es vielleicht ein System eine Software gibt, die den Zustand des Systems monitored und mich alarmieren kann, falls irgendwelche Probleme auftauchen. Also wenn die Festplatten degradieren oder bei einem Scrub irgendein Problem aufgetaucht ist etc.

Mails fuer ZFS benutzt man zed.d zfs-zed Das sendet dir dann emails bei scrubs.
Fuer allgemeine Festplatten Probleme gibt es S.M.A.R.T. werte die sich mit smartmontools auslesen lassen. https://wiki.archlinux.org/index.php/S.M.A.R.T.

Beides ist recht einfach aufzusetzen. Das groesse problem hatte ich damit den email sende kack einzurichten. Habe es dann mit dieser Anleitung geschafft: https://wiki.debian.org/Exim4Gmail Runterscrollen zu "Using Exim4 to Send Messages through Gmail"

Ich habe bei weiterer Recherche mehrfach gelesen, dass von Raidz abgeraten wird und man entweder Raidz2 oder ein Raid10 durch mehrere mirror vdevs machen soll.

Wenn du ein backup hast, dann ist raid5 / raidz auch wunderbar. Es sei denn du brauchst 99.9% uptime.

Edit:
Monitoring wuerde ich mal grafana angucken. Ich habe bei mir grafana + telegraf am laufen.
munin und monitorix sehen wirklich altbacken aus.

[Simaryp]

Es heißt halt immer das Resilvern würde dann so viel Stress machen, gerade bei den großen Platten, dass dann die Wahrscheinlichkeit sehr groß ist, dass die nächste auch in die Binsen geht. Dann gibt es noch dieses Thema, dass man die Anzahl der Platten optimieren kann für die verschiedenen Modi, wobei wiederum auch keine Einigkeit besteht.

[Lord_Carlos]

Es heißt halt immer das Resilvern würde dann so viel Stress machen, gerade bei den großen Platten, dass dann die Wahrscheinlichkeit sehr groß ist, dass die nächste auch in die Binsen geht. Dann gibt es noch dieses Thema, dass man die Anzahl der Platten optimieren kann für die verschiedenen Modi, wobei wiederum auch keine Einigkeit besteht.

Ja aber ein scrub macht auch Stress. Bei Debian ist sowohl bei MDADM und ZFS Monatliche scrubs vorgesehen.

Gibt ja diese Theorie das nach ~12 - 14TB lesen die Platte statistisch ein URE schmeisst. Weil das so im Datenblatt angegeben ist, als minimum vom Hersteller.
Dann wuerde ja jeden Monat ZFS ein Fehler finden.

Und ich meine selbst wenn du ein URE beim resivern bekommst, verlierst du nicht alle Daten. Nur eine Datei. Die du dann fix vom backup holen kannst.
Selbst MDADM kann das.
Problem ist wenn der Fehler in einem der Metadaten ist. Dann sind die Daten weg und das Backup muss her.

Ich benutzte raidz2 weil ich kein backup habe.
Zu raidz2 vs raid10'ish kann ich nichts sagen. Aber kannst ja mal in /r/zfs auf reddit fragen. Gibt auch einige ZFS channels auf freenode. z.B. #zfsonlinux

[Simaryp]

Dann schaue ich vlt. noch mal auf Reddit.
Danke für deine Hinweise.

[Lord_Carlos]

Dann schaue ich vlt. noch mal auf Reddit.
Danke für deine Hinweise.

Was ich auch empfehlen kann ist /r/DataHoarder/ fuer alles Moegliche rund um Heimrechner die Daten Speichern. Da gibt es einige die Snapraid, ZFS oder UnRaid benutzten. Kann manchmal ganz nett sein.
/r/homelab/ und /r/selfhosted/ gibt es auch noch.

[Simaryp]

Ich beschäftige mich zwar gerade noch vor allem mit ZFS, wenn ich mal dazu komme, möchte aber eine weitere debianspezifische Frage aufwerfen.
Debian wird ja über einen Installer installiert und nachdem der durch ist rebooted. Wenn ich es richtig sehe, wir dabei auch standardmäßig grub installiert.

Unter Arch habe ich mir angewöhnt root zu verschlüsseln und statt einer extra boot Patition einfach die ESP nach /efi zu mounten und auf der ESP einen ordner als mountpoint anzulegen zum Beispiel "arch" oder "debian" und einen mount bind auf /boot dort hin zu machen. Statt grub nutze ich dort auch lieber refind. Das muss bei der Konfiguration zwar auch manuell installiert werden, aber erscheint mir weniger overhead als grub, bei dem ich noch nie wirklich wusste, was ich eigentlich da mache.

Kriegt man das bei der Debianinstallation auch ähnlich hin? Oder ist es sogar ratsam nicht zu sehr von dem default Debian weg abzuweichen?

[jph]

Bei Synology war das ganze einfach: Ich wollte Bitrot-Detection, also habe ich ein BTRFS Volume erstellt, einen Zeitplan für das Scrubbing und für Snapshots erstellt und das ganze war fertig. BTRFS scheint aber unter Debian nicht so einfach zu managen zu sein. Und scheinbar gibt es auch wohl ein paar Bedenken bezüglich Stabilität, wie hier zB https://btrfs.wiki.kernel.org/index.php/RAID56.

Ich schwenke mal das btrfs-Fähnchen, denn zu ZFS wurde in diesem Thread ja schon einiges gesagt. btrfs ist ab Buster völlig unproblematisch mit Ausnahme von RAID56, welches in Upstream bereits gelöst ist (neue Profile für Metadaten). Scrubbing etc. geht mit btrfsmaintenance.

Hintergrund: ich bin selbst vor ein paar Jahren von einem Synology-NAS auf einen Selbstbau-Debianserver gewechselt. Meine Erfahrungen mit btrfs habe ich im Wiki festgehalten: Btrfs.

[Simaryp]

Jetzt verteidigt doch noch jemand BTRFS .
Ich bin hier ähnlich, wie bei der Diskussion NFS vs CIFS, bei der du mir ja auch geholfen hast, undogmatisch. BTRFS kenne ich schon länger von der Synology. Ich habe jetzt mittlerweile schon recht viel mit Zeit in das Verständnis von ZFS gesteckt und tatsächlich wirkt das ganze Recht überzeugend. Ist natürlich auch meistens von Nutzern von ZFS geschrieben, also natürlich auch etwas biased. Bei BTRFS ist das Feedback immer eher etwas gespalten. Das Raid 5/6 nicht geht, stört mich nicht so sehr. Ich glaube ich gehe doch lieber Richtung Raid10. Da habe ich aber gelesen, dass dies bei BTRFS auch eher unkonventionnel sowas wie Raid01 ist und nur maximal eine Platte ausfallen darf.

[Simaryp]

Bin bei reddit drüber gestolpert, dass Duplicati für meine Backups großer Mist ist, weil das ab 3stelligen GB Mengen bereits anfangen soll instabil zu werden.

Eine gängige Lösung scheint wohl zu sein, rclone zum mounten von cloudspeicher zu nutzen und dann zum Beispiel borg für die Backups. Ich informiere mich da auch bei /r/DataHoarder, aber vielleicht hat hier ja auch noch jemand nen Tipp. Borg und rclone machen es wohl auch notwendig local ein Backup gemountet zu haben, was wieder mehr hardware Aufwand bedeutet. Und das ganze hat auch so schon Potential ein riesen Gefrickel zu werden.

[jph]

Ich glaube ich gehe doch lieber Richtung Raid10. Da habe ich aber gelesen, dass dies bei BTRFS auch eher unkonventionnel sowas wie Raid01 ist und nur maximal eine Platte ausfallen darf.

Hast du eine Quelle parat? Diese Infos könnten für den Wiki-Artikel relevant sein.

[Simaryp]

Das habe ich aus dieser Diskussion mitgenommen:
viewtopic.php?t=173284

[Simaryp]

@Lord_Carlos:
Du hast ja ebenfalls die WD MyBook aus der Schale gepellt. Ich hab noch ein paar Fragen dazu.

Hattest du da echte Reds drin oder die mit dem weißen Label. Ich habe gehört, es gibt da doch ein paar Unterschiede. Das 3.3V Problem ist für mich zwar irrelevant, da meine Backplane MOLEX nutzt, aber trotzdem interessant.

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller? Ich weiß nicht, ob sich die MyBook von den easystore aus den USA unterscheiden, aber über die habe ich einige Videos gesehen, dass der Ausbau, das Gehäuse beschädigen kann und die Garantie damit futsch ist. Daher würde ich gerne vorm Basteln wissen, dass die Platten 1a sind. Hintergrund ist, dass ich schon von Fällen gelesen habe, wo größere Platten verbaut wurden, was man erst durch Anschluss per SATA gesehen hat. Nicht, dass der Test vorher mit USB sinnlos ist.

Ich habe mittlerweile sehr viel über ZFS gelesen und was das angeht auch einen groben Plan, ich schaue mal, dass ich als nächsten Schritt mir die genaue Einrichtung überlege. Ist alles etwas ins Stocken gekommen, weil ich mich nebenher mit meinem Heimnetzwerk beschäftige.

[schwedenmann]

Hallo

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller?

ja mit Adaptern SATA/IDE auf USB. Damit die Plastte per USB an einen beliebigen PC anschließen, dann kannst du badblocks auf das device loslassen.


mfg
schwedenmann


P.S.
Hierfür habe ich einen Adapter von Logilonk AU0006D-new v.50 bei mir im Einsatz, funktioniert mt SATA ohne Probleme, man muß nur zuerst die externe Stromversorgung an die Platte anschließen, dann circa 6-10s warten und dann erst den adapter per USB mit dem PC verbinden!

[Simaryp]

Danke, aber ist der Adapter nicht dazu da, um SATA-Platten an den USB-Port des PCs anzuschließen?
Mir geht es ja darum, ob ich die USB-Platte vorm zerlegen mit Badblocks testen kann.

[Lord_Carlos]

Hattest du da echte Reds drin oder die mit dem weißen Label. Ich habe gehört, es gibt da doch ein paar Unterschiede. Das 3.3V Problem ist für mich zwar irrelevant, da meine Backplane MOLEX nutzt, aber trotzdem interessant.

Ich hatte Whitelabel
Bei Whitelabel ist TLER ist bei power on nicht an. Ich weis aber nicht ob man das bei ZFS ueberhaupt braucht. Ich glaube ist nicht wichtig.
Sonnst weis keiner 100% was der unterschied ist. Manche meinen es ist eine HGST die einfach nur auf 5400 rpm reduziert ist. Andere meinen es ist eine red mit leicht anderer Firmware.
Manche meinen es koennten Platten sein die Qualitaetsanforderungen fuer WD Red nicht geschafft haben. Weis keiner.

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller?

Ja, habe ich auch so gemacht.

Ich weiß nicht, ob sich die MyBook von den easystore aus den USA unterscheiden, aber über die habe ich einige Videos gesehen, dass der Ausbau, das Gehäuse beschädigen kann und die Garantie damit futsch ist.

Ja, bei mir sind oft ein paar Plastik dinger abgebrochen, aber wiso sollte die Garantie futsch sein?

Aber ich kann es die Tage testen. Sieht so aus als wenn eine Platte ausgefallen. Zick zack ne mail von ZFS bekommen
Ich werde versuchen die Wieder ins Gehaeuse zu packen, sonnst sende ich die einfach so ein.

[Simaryp]

Oh ich bin gespannt, du hattest 6x 8TB im raidz2, oder? Kannst ja mal dann schreiben, wie lange das Resilvern gedauert hat.
Wobei ich mich schon ziemlich auf striped mirrors eingeschossen habe.

[Lord_Carlos]

Oh ich bin gespannt, du hattest 6x 8TB im raidz2, oder? Kannst ja mal dann schreiben, wie lange das Resilvern gedauert hat.
Wobei ich mich schon ziemlich auf striped mirrors eingeschossen habe.

Festplatte geht wieder ¯\(°_o)/¯

Code: Alles auswählen

state: ONLINE
  scan: resilvered 1.07G in 0 days 00:00:13 with 0 errors on Thu Jan  2 13:19:33 2020

[jph]

Jetzt verteidigt doch noch jemand BTRFS .

Wir sind hier ja alle nett zueinander. Für Trolle und Fanbois gibt es bekanntermaßen das Heise-Forum; die haben gerade wieder Anlass, aufeinander loszugehen.

„Linus Torvalds erteilt ZFS im Linux-Kernel erneute Absage“: https://www.heise.de/newsticker/meldung ... 33302.html

[Lord_Carlos]

Und hast du schon was zusammen gebastelt?
ZFS 0.8.3 ist jetzt auch raus gekommen. Damit sollte native encryption endlich auch wieder hardware Beschleunigung haben.

[Simaryp]

Jein,

bei mir geht alles etwas langsam, wegen Beruf und Säugling; ist halt so .

Ich habe außerdem noch parallel die Erneuerung meiner Netzwerkinfrastruktur als Projekt laufen. Das hat sich ergeben, weil ich durch den Server nen Switch brauche und die Thematik dann etwas eskaliert ist... Da bastele ich gerade ein Gehäuse um, worin dann ein opnSense Router leben soll.

Aktuell sieht es wie folgt aus:
Vor Weihnachten kam noch ein schönes Servergehäuse aus England zu mir.

Seit einer Woche habe ich einen Netzwerkschrank, wo alles rein soll. Dass heißt die richtig grobe Hardware ist da.

Mitte der Woche gab es die WD MyBook 10TB für 179€ und da habe ich zugeschlagen, habe mir 4 gekauft für den Pool und noch mal eine als Backup Platte. Denn meine aktuelle externe Backup-Platte kommt jetzt auch an ihre Grenzen und es kann auch nicht schaden, ein Backup von der Synology in den Schrank zu legen, um den Zustand erst mal einzufrieren.

Seit Donnerstag läuft auf den ersten vier Platten badblocks. Heute kann ich die 5 starten. Die hatte ich bei Amazon noch nachträglich bestellt und die kam etwas später.

Parallel habe ich angefangen, meine Konfigurationsideen des Servers mal in ein .md File zu gießen. Auch wenn bei der realen Umsetzung vermutlich manches noch mal angepasst werden muss, hilft mir das sehr, die ganzen Themen zu sortieren und nicht bei jedem Schritt wieder erst mal Stunden recherchieren zu müssen.

Dass du die Encryption erwähnst, passt da gerade ganz gut. Denn eigentlich war mein Plan, jetzt alle vier Platten mit LUKS zu verschlüsseln und die per Crypttab beim Boot zu mounten. Das Manko der ZFS-Encryption, dass, soweit ich das verstanden habe, unverschlüsselte Metadaten Aufschluss darüber geben, wo Dateien liegen und wie groß diese sind, wäre für mich nämlich nicht so schlimm, ich habe bloß zuletzt noch gelesen, dass die Verschlüsselung bei ZFS ein Performance Killer ist und daher das ad acta gelegt. Vielleicht sollte ich mir das jetzt noch mal anschauen. Kann man da auch ein keyfile auf dem verschlüsselten root anlegen, um den Pool gleich beim Boot zu mounten?