Synology NAS durch Debian Homeserver ersetzen

Warum Debian? Was muss ich vorher wissen? Wo geht's nach der Installation weiter?
Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 14.12.2019 19:43:23

Ich habe noch ne Frage zum Thema Boot des Servers und Verschlüsselung.
Wenn / in einem Luks Container ist, wie kann ich dann beim Boot von einem anderen Rechner im Netzwerk das Passwort eingeben? Ich hoffe das geht irgendwie auf ähnliche Weise, wie auch eine Installation möglich ist.

schwedenmann
Beiträge: 4565
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von schwedenmann » 14.12.2019 21:04:57


Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 14.12.2019 21:33:10

Sehr cool! Vielen Dank. Es geht schon mal auf jeden Fall. Ich hatte gehofft, dass es genauso geht, wie der Install mit IPMI zum Beispiel. Ohne, dass ich das bereits selbst einmal ausgeführt habe. Aber darüber habe ich gelesen, habe ich per Browser einen Zugriff auf das Board und eine Konsole über die ich zum Beispiel ein Medium laden kann und ein System installieren kann. Vielleicht geht das auch und ich habe bloß noch nicht das richtige gesucht.

Ich habe das Gefühl, das ganze Projekt ist doch etwas komplexer als anfänglich gedacht. Wenn ich damit fertig bin, bin ich wohl auch halber sysadmin.

Außerdem habe ich mich gefragt, ob es vielleicht ein System eine Software gibt, die den Zustand des Systems monitored und mich alarmieren kann, falls irgendwelche Probleme auftauchen. Also wenn die Festplatten degradieren oder bei einem Scrub irgendein Problem aufgetaucht ist etc.

schwedenmann
Beiträge: 4565
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von schwedenmann » 15.12.2019 07:24:54

Hallo


https://www.techgrube.de/tutorials/mdad ... -versenden


Ansonsten zur allg. Überwachung des Systems z.B. munin oder monitorix.

mfg
schwedenmann

P.S. Bitte nächtes mal selber Tante Google nutzen :!:

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 15.12.2019 10:39:14

Vielen Dank. Du hast schon recht. Ich hoffe immer noch, dass ich über einen Beitrag/ eine Anleitung stolpere, wo jemand so ziemlich das gleiche erreichen wollte und die ich für Themen mit denen ich noch gar keine Berührung hatte als Guide nutzen kann.
Mir weht auch gerade von allen Seiten Wind entgegen, ich sollte doch einfach unraid nehmen, aber irgendwie bin ich davon nicht überzeugt. Auch wenn das vermutlich recht einfach konfiguriert wäre.

Ich muss mir das auch noch mal mit der ZFS Konfiguration überlegen. Ich habe bei weiterer Recherche mehrfach gelesen, dass von Raidz abgeraten wird und man entweder Raidz2 oder ein Raid10 durch mehrere mirror vdevs machen soll. Ich verstehe die Pros und Cons aber die Entscheidung fällt mir doch nicht leicht. Die Verwendung von großen Platten spricht wohl für Raid10, die Verwendung von wenigen Platten wohl auch. Die generelle Ausfallsicherheit ist leicht höher als bei Raidz. Aber in beiden Fällen steht man während des Ausfalls und vorm Abschluss des Resilverings ohne Paritätsdaten da und es gibt die Möglichkeit des Totalausfalls. Wie sieht das denn mit der Datenintegrität aus? Wenn ich nur eine Paritätsplatte habe und die ausfällt und getauscht werden muss und dann gibt es eine inkosistenz in der verbliebenen Platte, dann müsste ZFS das doch trotzdem erkennen und ich könnte dann die Datei aus einem Backup wieder herstellen oder?

Benutzeravatar
Lord_Carlos
Beiträge: 5057
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 15.12.2019 12:11:35

Simaryp hat geschrieben: ↑ zum Beitrag ↑
14.12.2019 21:33:10
Außerdem habe ich mich gefragt, ob es vielleicht ein System eine Software gibt, die den Zustand des Systems monitored und mich alarmieren kann, falls irgendwelche Probleme auftauchen. Also wenn die Festplatten degradieren oder bei einem Scrub irgendein Problem aufgetaucht ist etc.
Mails fuer ZFS benutzt man zed.d Debianzfs-zed Das sendet dir dann emails bei scrubs.
Fuer allgemeine Festplatten Probleme gibt es S.M.A.R.T. werte die sich mit Debiansmartmontools auslesen lassen. https://wiki.archlinux.org/index.php/S.M.A.R.T.

Beides ist recht einfach aufzusetzen. Das groesse problem hatte ich damit den email sende kack einzurichten. Habe es dann mit dieser Anleitung geschafft: https://wiki.debian.org/Exim4Gmail Runterscrollen zu "Using Exim4 to Send Messages through Gmail"
Simaryp hat geschrieben: ↑ zum Beitrag ↑
15.12.2019 10:39:14
Ich habe bei weiterer Recherche mehrfach gelesen, dass von Raidz abgeraten wird und man entweder Raidz2 oder ein Raid10 durch mehrere mirror vdevs machen soll.
Wenn du ein backup hast, dann ist raid5 / raidz auch wunderbar. Es sei denn du brauchst 99.9% uptime.

Edit:
Monitoring wuerde ich mal grafana angucken. Ich habe bei mir grafana + telegraf am laufen.
munin und monitorix sehen wirklich altbacken aus.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 15.12.2019 16:09:46

Es heißt halt immer das Resilvern würde dann so viel Stress machen, gerade bei den großen Platten, dass dann die Wahrscheinlichkeit sehr groß ist, dass die nächste auch in die Binsen geht. Dann gibt es noch dieses Thema, dass man die Anzahl der Platten optimieren kann für die verschiedenen Modi, wobei wiederum auch keine Einigkeit besteht.

Benutzeravatar
Lord_Carlos
Beiträge: 5057
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 15.12.2019 18:29:39

Simaryp hat geschrieben: ↑ zum Beitrag ↑
15.12.2019 16:09:46
Es heißt halt immer das Resilvern würde dann so viel Stress machen, gerade bei den großen Platten, dass dann die Wahrscheinlichkeit sehr groß ist, dass die nächste auch in die Binsen geht. Dann gibt es noch dieses Thema, dass man die Anzahl der Platten optimieren kann für die verschiedenen Modi, wobei wiederum auch keine Einigkeit besteht.
Ja aber ein scrub macht auch Stress. Bei Debian ist sowohl bei MDADM und ZFS Monatliche scrubs vorgesehen.

Gibt ja diese Theorie das nach ~12 - 14TB lesen die Platte statistisch ein URE schmeisst. Weil das so im Datenblatt angegeben ist, als minimum vom Hersteller.
Dann wuerde ja jeden Monat ZFS ein Fehler finden.

Und ich meine selbst wenn du ein URE beim resivern bekommst, verlierst du nicht alle Daten. Nur eine Datei. Die du dann fix vom backup holen kannst.
Selbst MDADM kann das.
Problem ist wenn der Fehler in einem der Metadaten ist. Dann sind die Daten weg und das Backup muss her.

Ich benutzte raidz2 weil ich kein backup habe.
Zu raidz2 vs raid10'ish kann ich nichts sagen. Aber kannst ja mal in /r/zfs auf reddit fragen. Gibt auch einige ZFS channels auf freenode. z.B. #zfsonlinux

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 16.12.2019 06:55:48

Dann schaue ich vlt. noch mal auf Reddit.
Danke für deine Hinweise.

Benutzeravatar
Lord_Carlos
Beiträge: 5057
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 16.12.2019 09:37:08

Simaryp hat geschrieben: ↑ zum Beitrag ↑
16.12.2019 06:55:48
Dann schaue ich vlt. noch mal auf Reddit.
Danke für deine Hinweise.
Was ich auch empfehlen kann ist /r/DataHoarder/ fuer alles Moegliche rund um Heimrechner die Daten Speichern. Da gibt es einige die Snapraid, ZFS oder UnRaid benutzten. Kann manchmal ganz nett sein.
/r/homelab/ und /r/selfhosted/ gibt es auch noch.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 20.12.2019 19:43:21

Ich beschäftige mich zwar gerade noch vor allem mit ZFS, wenn ich mal dazu komme, möchte aber eine weitere debianspezifische Frage aufwerfen.
Debian wird ja über einen Installer installiert und nachdem der durch ist rebooted. Wenn ich es richtig sehe, wir dabei auch standardmäßig grub installiert.

Unter Arch habe ich mir angewöhnt root zu verschlüsseln und statt einer extra boot Patition einfach die ESP nach /efi zu mounten und auf der ESP einen ordner als mountpoint anzulegen zum Beispiel "arch" oder "debian" und einen mount bind auf /boot dort hin zu machen. Statt grub nutze ich dort auch lieber refind. Das muss bei der Konfiguration zwar auch manuell installiert werden, aber erscheint mir weniger overhead als grub, bei dem ich noch nie wirklich wusste, was ich eigentlich da mache.

Kriegt man das bei der Debianinstallation auch ähnlich hin? Oder ist es sogar ratsam nicht zu sehr von dem default Debian weg abzuweichen?

Benutzeravatar
jph
Beiträge: 741
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von jph » 21.12.2019 11:43:20

Simaryp hat geschrieben: ↑ zum Beitrag ↑
29.11.2019 15:26:30
Bei Synology war das ganze einfach: Ich wollte Bitrot-Detection, also habe ich ein BTRFS Volume erstellt, einen Zeitplan für das Scrubbing und für Snapshots erstellt und das ganze war fertig. BTRFS scheint aber unter Debian nicht so einfach zu managen zu sein. Und scheinbar gibt es auch wohl ein paar Bedenken bezüglich Stabilität, wie hier zB https://btrfs.wiki.kernel.org/index.php/RAID56.
Ich schwenke mal das btrfs-Fähnchen, denn zu ZFS wurde in diesem Thread ja schon einiges gesagt. :-) btrfs ist ab Buster völlig unproblematisch mit Ausnahme von RAID56, welches in Upstream bereits gelöst ist (neue Profile für Metadaten). Scrubbing etc. geht mit Debianbtrfsmaintenance.

Hintergrund: ich bin selbst vor ein paar Jahren von einem Synology-NAS auf einen Selbstbau-Debianserver gewechselt. Meine Erfahrungen mit btrfs habe ich im Wiki festgehalten: Wiki-Artikel zum Thema Btrfs.

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 21.12.2019 22:28:50

Jetzt verteidigt doch noch jemand BTRFS :).
Ich bin hier ähnlich, wie bei der Diskussion NFS vs CIFS, bei der du mir ja auch geholfen hast, undogmatisch. BTRFS kenne ich schon länger von der Synology. Ich habe jetzt mittlerweile schon recht viel mit Zeit in das Verständnis von ZFS gesteckt und tatsächlich wirkt das ganze Recht überzeugend. Ist natürlich auch meistens von Nutzern von ZFS geschrieben, also natürlich auch etwas biased. Bei BTRFS ist das Feedback immer eher etwas gespalten. Das Raid 5/6 nicht geht, stört mich nicht so sehr. Ich glaube ich gehe doch lieber Richtung Raid10. Da habe ich aber gelesen, dass dies bei BTRFS auch eher unkonventionnel sowas wie Raid01 ist und nur maximal eine Platte ausfallen darf.

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 23.12.2019 13:40:48

Bin bei reddit drüber gestolpert, dass Duplicati für meine Backups großer Mist ist, weil das ab 3stelligen GB Mengen bereits anfangen soll instabil zu werden.

Eine gängige Lösung scheint wohl zu sein, rclone zum mounten von cloudspeicher zu nutzen und dann zum Beispiel borg für die Backups. Ich informiere mich da auch bei /r/DataHoarder, aber vielleicht hat hier ja auch noch jemand nen Tipp. Borg und rclone machen es wohl auch notwendig local ein Backup gemountet zu haben, was wieder mehr hardware Aufwand bedeutet. Und das ganze hat auch so schon Potential ein riesen Gefrickel zu werden.

Benutzeravatar
jph
Beiträge: 741
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von jph » 23.12.2019 19:41:13

Simaryp hat geschrieben: ↑ zum Beitrag ↑
21.12.2019 22:28:50
Ich glaube ich gehe doch lieber Richtung Raid10. Da habe ich aber gelesen, dass dies bei BTRFS auch eher unkonventionnel sowas wie Raid01 ist und nur maximal eine Platte ausfallen darf.
Hast du eine Quelle parat? Diese Infos könnten für den Wiki-Artikel relevant sein.

Antworten