Synology NAS durch Debian Homeserver ersetzen

Warum Debian und/oder eine seiner Spielarten? Was muss ich vorher wissen? Wo geht es nach der Installation weiter?
Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 29.11.2019 15:26:30

Ich habe vor grob irgendwann in den nächsten Monaten meine NAS durch einen eigenen Homeserver zu ersetzen.
Die Gründe dafür sind:
1. Die Bitrot Detection funktioniert wohl auf meinem BTRFS-Volume, aber ohne ECC-Ram ist eine wirkliche Datenintegrität wohl auch nicht abgesichert.
2. Ich müsste für ein bald fällig werdendes Upgrade entweder die Platten tauschen oder ein größeres NAS kaufen. Wahrscheinlich werde ich trotzdem auch im eigenen Server erst mal nur mit 2 neuen Platten starten, aber mir offen halten, das dann später auf bis zu 6 Platten erweitern zu können.
3. Die Power der NAS ist zu klein, um mal einen reenkodierten Stream in Emby zu leisten.
4. Ich würde gerne das DVB-T zu Hause von meinem HTPC entflechten und dort nur noch einen TVHeadend-Client haben und den Server wirklich als Server zu haben, damit mehr Clients drauf zugreifen können, ohne dass der HTPC laufen muss.

Ich habe zunächst an OMV gedacht und mich bereits ein bisschen damit beschäftigt. Aber irgendwie ist mein Eindruck, dass der Mehrwert vor allem darin liegt, dass man über den Browser eine GUI für einige Basiskonfigurationen hat, die man aber schnell mal hinter sich lassen muss. Letzten Endes ist es ein Einmannprojekt und es erscheint mir, dass man den gleichen Funktionsumfang auch ohne Probleme über eine Debian-Serverinstallation erreichen kann. Kann sein, dass ich was übersehe, aber jedenfalls bin ich jetzt hier, um die Option für mich abzuwägen.

Ich habe schon eine grobe Vorstellung, wie ich ein Teil meiner Funktionen umsetzen kann. Für Emby und TVHeadend würde ich mir wohl Docker einrichten. Eine super Alternative für verschlüsselte Backups in die Cloud scheint Duplicati zu sein. Für ein USB-Backup wird sich bestimmt auch etwas finden. Für den Filezugriff im Netzwerk würde ich wie zuvor Samba benutzen. Das sind eigentlich auch schon alle Dienste, die ich brauche.

Viel schwieriger und unklar sind für mich jedoch Entscheidungen, was das Grundlegende System betrifft. Vor allem was das Filesystem angeht.
Ich plane eine M2-SSD als Systemlaufwerk. Ich habe Debian bislang nur mal in Form von Ubuntu und direkter über Raspbian berührt, aber adhoc würde ich da einen Luks Container mit einem LVM oder direkt mit einer ext4 Partition nehmen. Für die Datenplatten sieht das ganze aber ganz anders aus. Bei Synology war das ganze einfach: Ich wollte Bitrot-Detection, also habe ich ein BTRFS Volume erstellt, einen Zeitplan für das Scrubbing und für Snapshots erstellt und das ganze war fertig. BTRFS scheint aber unter Debian nicht so einfach zu managen zu sein. Und scheinbar gibt es auch wohl ein paar Bedenken bezüglich Stabilität, wie hier zB https://btrfs.wiki.kernel.org/index.php/RAID56. Bei OMV wurde ich auf die Idee von einer Kombi aus MergerFS und snapRaid gestoßen. Das ganze klingt recht simpel, aber halt ohne CoW. ZFS on Linux wäre auch eine Alternative, mit der ich mich noch nicht umfassend befasst habe. Nachteil ist wohl, dass meine Idee meine vorerst zwei Platten später um nochmal zwei Platten zu erweitern, um dann sowas wie ein Raid 10 äquivalent zu haben nicht möglich.
Das ist eigentlich mein größtes Dilemma. Verschlüsseln würde ich das ganze auch noch gerne.

Darüber hinaus ist mir noch ein bisschen unklar, wie ich das Konzept der "Geteilten Ordner" von Synology und die zugehörige Benutzer- und Zugriffsverwaltung und Linux am besten adaptiere oder ersetze. Aber das sind nachgelagerte Probleme. Für mich am kritischsten ist, ein zufriedenstellendes Konzept für meine Datenplatten zu haben, dass ich sicher einrichten und warten kann und das stabil läuft.

Vielleicht noch zu meiner Linuxerfahrung. Ich würde mich als sowas wie einen erfahreneren Benutzer bezeichnen. Ich bin kein erfahrener Admin, der alles im Schalf einrichtet, aber ich nutze seit ca. 15 Jahren Linux, die meiste Zeit Ubuntu, ein bisschen Fedora und seit diesem Jahr bin ich auf Arch umgestiegen. Ich habe mir da meine eigene Installationsanleitung zusammengestellt, wodurch ich einiges gelernt habe. Außerdem nutze ich seit vielen Jahren Libreelec. Angst vor der Konsole und Wartung über ssh habe ich also nicht.

Ich hoffe, ihr könnt mir etwas weiter helfen, mein Konzept für meinen Selbstbauserver weiter auszugestalten.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 29.11.2019 16:18:34

Emby im Docker geht recht einfach und bequem. Wenn du eine Intel CPU mit iGPU hast, kannst du mehrere streams auch Transcoden ohne viel CPU last zu haben. Habe ich mit einem Pentium g4560 gemacht, der hat nur 2 cores.**

Ich hatte Debian + Intel g4560 + SnapRaid + Mergerfs: viewtopic.php?f=9&t=167801

Bin jetzt auf AMD Ryzen 7 2700x + ZFS umgestiegen.

Du kannst die platten ja mit BTRFS formatieren und dann mit mergerfs zu einem grossen mount "freigeben"
Dazu machst du mit Snapraid die Paritet.
Bei Snapraid muss man etwas fummeln. Erstmal script schreiben oder eins finden und anpassen damit es taeglich syncs / scrubs macht und dir ein Rapport via mail schickt.
Ich hatte ein Anwendungsfall mit Hardlinks, wenn du jetzt Daten von einer HDD zu anderen schicken willst musst du das bedenken etc. Sonnst hast du auf einmal Daten doppelt.

Aber ich will es nicht schlecht reden. Es ist recht simple und flexible. Dazu hat man wenig Datenverlust, selbst wenn mehr Festplatten ausfallen als man Parity hat.

ZFS ist richtig nett, aber wie du selber Festgestellt hast nicht so flexible.
Aber du koenntest jetzt z.B. 2x 8TB platten in einem mirror haben. (~8TB nutzbar*)
Und dann spaeter in den gleichen pool wieder 2x 8TB hinzufuegen. (~16TB nutzbar*)
Problem: Wenn beide Platten aus dem gleichen mirror ausfallen, verlierst du alles.
ZFS hat auch native encryption.*** Aber man kann wohl meta Daten sehen.

ZFS ist komplex, aber wenn man es mit LVM + luks + MDraid vergleicht ist es sooo viel angenehmer und leichter.
#NieWiederLVM
Hier ist auch ein allgemeiner ZFS Faden viewtopic.php?f=9&t=174992

Ist auch gerade Black Friday. 10TB Platten fuer 180 EUR: https://www.amazon.de/dp/B07CRZK9BX
Kauf dir ein paar davon und mach gleich ZFS. Dann musst du so schnell nicht mehr updaten :)

** So nebenbei, Emby ist nicht mehr Open Source. Aber ein recht aktiver Fork ist vor ca. einem halben Jahr entstanden. jellyfin. Geht auch wunderbar im docker.
* Man kann nicht alles nutzen, denn ZFS reserviert sachen. Padding und slob?
*** Encryption ist gerade nicht so schnell, bei mir jetzt 120MB/s oder so, aber die Arbeiten dran. Hardware Beschleunigung ist schon wieder im master branch und kommt mit der naechsten Version.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 29.11.2019 16:46:35

Die sind wohl schon aus. Ich dachte ursprünglich an 2*12TB. Dann habe ich von den Duo gehört und an 2*14TB für 750 gedacht. Ist das nur zum BlackFriday so günstig? Bei Geizhals ist die 28TB Duo bereits seit vier Wochen für den Preis. 4x 10TB wäre natürlich auch nicht schlecht.

Ich sehe gerade, die sind bloß nicht lieferbar, aber für den Preis zu bestellen. Oh mann, da muss ich wohl vlt. eine spontane Entscheidung aus dem Bauch heraus machen. 4*10TB wären dann unter ZFS wahrscheinlich auch so ca. 20TB nutzbarer Platz oder sind das sogar 30TB? Dann brauche ich wohl länger kein Upgrade mehr machen und nur noch tote Platten tauschen. Aktuell habe ich von meinen 2*6TB WD Red noch ca 1TB Platz übrig, der bald von den Daten meiner Frau voll wird. Wobei da auch etwas drauf geht fürs OS. Da ich keine Sachen downloade, würde das echt dann sehr lange reichen.

Auf der anderen Seite, muss ich vlt. auch nichts überstürzen, die 10TB Version gibt es auch immer mal wieder woanders für 180-200€. Auf jeden Fall aber viel günstiger als die regulären 300€ für die WD Red. Oder meine geplanten 2*12TB für insgesamt 850€.
Zuletzt geändert von Simaryp am 29.11.2019 17:22:29, insgesamt 1-mal geändert.

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 29.11.2019 17:06:09

Vielleicht noch mal zum Topic FS:
Wenn ich auf BTRFS setzen würde, dann möchte ich von der Bitrot-Detection dort profitieren und dazu müsste ich ein BTRFS-"Raid" machen, sonst geht das ja nicht. Bei der Methode MergerFS und snapRaid könnte ich ja auch einfach dann luks+ext4 für die Datenplatten nehmen.

Das ich ZFS so erweitern könnte, wusste ich nicht. Das ist ja dann doch im Prinzip wie Raid 10, da wäre es ja auch so, dass entweder eine oder zwei ausfallen können, zwei aber nur, wenn es nicht die beiden gespiegelten sind. Wenn ich ZFS von Anfang an mit 4 Platten mache, habe ich dann nur eine Parity Platte und damit ca. 3/4 des Gesamtspeichers zur Verfügung und es wäre egal, welche Platte ausfällt?

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 29.11.2019 17:34:14

Oh ja, 10TB scheint ausverkauft zu sein.
8TB fuer 135EUR ist auch nicht schlecht.
750 fuer 2* 14TB hoert sich teuer an. Aber ich habe den TB preis jetzt nicht ausgerechnet.
Ich habe hier noch 3x 6TB orginal Red + 1x 6TB WD Green. Kannst abkaufen. Zusammen mit deinen beiden koennest du ein ~24TB raid erstellen mit 2 parity Platten.

Edit: Die 12TB Platten waren auf 209 runter: https://de.camelcamelcamel.com/product/B07W7YBB9H
Kannst ja einfach ein alert fuer die 10, 12, und 14TB setzte und wenn ein gutes Angebot rein kommt zuschlagen. Das passiert alle paar Wochen mal, wenn du also warten kannst sollte das kein ding sein.

Bei ZFS kommt es drauf an wie du die Platten zusammen stellst. Wahrscheinlich willst du bei so 4 Festplatten pro vdev nur raidz machen. Also eine Parity platte.
Dann hast du so ca. 3/4 Platz, etwas weniger weil ZFS Magie. Grob kannst du das hier ausrechnen: https://raidcalculators.com/zfs-raidz-capacity.php Genauer hier: https://wintelguy.com/zfs-calc.pl

Du kannst dann spaeter einfach nochmal 4 platten hinzufuegen, in einem vdev fuer sich. Dann verdoppelt sich glaube auch die Performance?
Bild
^ hier ein Bild wo einer 6 Platten hat, mit 2 parity. Also Raidz2, in einem vdev.
Von diesem vdev gibt es zwei in einem ZFS pool.

So viel ich weis kann BTRFS auch ohne raid bitrot erkennen, aber nicht beheben. Ggf ist das ok? Also wenn von wichtigen Daten ein backup hast. Vielleicht kann Snapraid das auch beheben, solange es vor einem sync erkannt wurde? Bin da nicht so sicher.
BTRFS und ZFS haben auch snapshots, die sind wunderbar. Das geht mit EXT4 nicht so einfach. Also geht, aber ehh. Bei ZFS ist das richtig nett.

Ja, bei raidz / raidz2 ist es egal welche Platte ausfaellt. Genau wie bei raid5/6 mit MDADM. Und MDADM ist ja auch nochmal ne moeglichkeit :)

Hier auch nochmal was zum lesen warum ZFS nicht unbedingt optimal fuer home user ist: https://louwrentius.com/the-hidden-cost ... e-nas.html
So nebenbei, es wird dran gearbeitet das man ein vdev erweitern kann. Also raidz grow nennt sich das. https://github.com/zfsonlinux/zfs/pull/8853 Aber ich wuerde jetzt nicht ein NAS Bauen was auf der Hoffnung basiert das du dein ZFS vdev einfach erweitern kannst.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 29.11.2019 18:06:04

Danke für das Angebot, aber beim Neubau will ich meine aktuellen Platten nicht sofort mit einbeziehen. Ich will lieber, das alte System noch eine weile erhalten, bis ich das Gefühl habe, ich habe alles eingerichtet und ein initiales Cloud-Backup ist abgeschlossen. Also muss das unverändert noch einige Monate rumstehen. Danach verkaufe ich das.

Vorhin war es schon ausverkauft und jetzt wieder da. Aber wie gesagt, laut Geizhals https://geizhals.de/western-digital-wd- ... 18213.html ist der Preis auch auf regulärer Basis ohne Black Friday nicht super ungewöhnlich. Ich glaube, ich lasse das daher doch erst mal. Selbst, wenn ich dann pro Platte später mal 20€ mehr bezahlen muss. Sonst liegen die hier nachher ein halbes Jahr rum, bevor es richtig los geht. Hardware ist ja nicht wie guter Wein.

snapRaid kann auch Bitrot erkennen und auch beheben. Das muss man aber manuell starten, genau wie den Sync. Nicht gesyncte Dateien können natürlich nicht repariert und auch nicht wiederhergestellt werden. Höchstens die letzte gesyncte Version. Das ist auch schon besser als gar nichts, aber es gibt halt immer ein Zeitfenster, indem die Datenintegrität nicht gewährleistet ist. Dafür kann man, wie du schriebst, die verbliebenen Daten auch beim Ausfall mehrerer Platten noch lesen. Da ich aber Backups habe, ist das nicht das killing feature für mich. Das nicht alle Platten gleichzeitig laufen müssen, ist was Betriebsstunden der Platten und Stromverbrauch angeht schon netter.
Bei BTRFS und ZFS ist es so, wenn ich es richtig verstanden habe, dass bei jedem Dateizugriff die Datenintegrität gecheckt wird und bei einem Fehler, wenn möglich, repariert wird. Außerdem kann man einen komplett check per Zeitplan triggern.

Den Link zu dem Kosten von ZFS kenne ich, daher bin ich ja auch vorgewarnt, was das nachträgliche erweitern angeht. Das von dir geschilderte verhalten, was Raid10 ähnelt wäre im Prinzip auch ok. Dann könnte ich mit 10TB Starten und auf 20TB erweitern und habe im Prinzip eine Ausfalltolleranz von 1-2 Platten, je nachdem welche ausfallen. Wenn ich direkt mit 4 Anfange habe ich dann ca. 30TB, aber es darf auf jeden Fall nur maximal eine ausfallen.

Der Grund warum ich bislang meist eher mit zwei Anfangen und später erweitern wollte, waren Strom und Lautstärke am Anfang und Investitionskosten und Preisverfall. Die 2 6TB platten habe ich Anfang 2017 gekauft. Da haben ich pro Platte 220€ bezahlt. Jetzt, wo ich bald mehr Speicher brauche, sind die günstiger. Ich bin aber jetzt auch lange kein Doktorand mehr und das ist nicht so wichtig. Jetzt 700-800€ für 4*10TB mit effektiven 27TB oder auch ca. 520-560 für 4*8TB mit effektiven 21,8TB wäre preislich im Rahmen und ich halte es momentan für ausgeschlossen, dass ich in den nächsten 10 Jahren das voll bekomme. Aber sag niemals nie. Ich muss dann bloß irgendwann ne passende USB-Platte extra kaufen, weil die aktuelle dann nicht mehr reicht.

Edit: Das mit Emby habe ich verpasst. Müsste das eh mal updaten, aber vlt. wechsel ich dann gleich :) Danke für den Hinweis.

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 29.11.2019 20:24:42

Kann man ZFS mit Luks kombinieren? Ich tendiere gerade etwas zu einem 4 Platten ZFS RaidZ pool. Aber ich werde versuchen mich weiter zu belesen.
Hat jemand vielleicht nen Link wo gut vorgestellt wird, wie ich diesen Pool dann idealerweise nutze? Im DSM ist die komplette Rechteverwaltung an den Ordnern ausgelegt. Ich kann einen Hauptordner anlegen und dann für jeden Benutzer festlegen, ob er Zugriff auf den Ordner hat und ob er nur lesen oder auch schreiben darf. Das wird dann entsprechend alles vererbt. Ich habe dort für Familienmitglieder Benutzer eingerichtet und jeweils eigene Ordner für diese. Außerdem habe ich noch einen Nutzer für Emby und meinen HTPC. Diese sollen zum Beispiel nur die notwendigen Ordner lesen aber keinesfalls schreiben dürfen. Nicht das mir durch nen Config Fehler Emby alles mit nfos zu spammt. Ich bin vollkommen offen, dass auch anders zu realisieren, aber die Grundfunktionalität sollte erhalten bleiben.

Bezüglich der Hardware bin ich auch noch nicht ganz entschlossen. Ich schwanke zwischen sowas wie einem Intel Pentium Gold G4620 und einem ASRock Rack EPYC3101D4I-2T. Bei letzterem recherchiere ich noch, was ich an Transkodierung unter Emby oder dann wohl Jellyfin erwarten kann. Auch sollte ich wohl noch mal schauen, ob die vom Kernel unterstützt werden. Debian ist ja nicht immer ganz aktuell. Meine TV-Karte sollte unterstützt werden.

Falls jemand Duplicati nutzt, ist es besser, dass nativ oder über Docker zu installieren? Ich würde tendenziell TVHeadend, Jellyfin und Duplicati im Docker installieren, weil ich dann die config easy mit sichern kann und auch eine Rekonstruktion, falls mal was schiefgeht, easy ist.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 29.11.2019 21:56:49

Ja, ZFS geht auch mit luks. Aber dann auf jeder platte fuer sich, und dann machst du dadrauf dann ZFS.
Welchen Nachteil das hat weis ich nicht.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 01.12.2019 09:24:15

Ok, ich glaube, Debian ist der weg für mich. Letzten Endes setzten gefühlt viele kommerzielle und freie Systeme darauf auf. Da kann es beim Selbstbau keine dumme Idee sein, den gleichen Weg zu gehen. Vielleicht ist es sinnvoll, meine Fragen in den Unterforen ein bisschen aufzuteilen und zu spezifizieren.
Mein Ziel ist, dass ich mir, ähnlich wie für meine arch-Installationen, ein Skript aufstelle, in welchem ich die Konfiguration dokumentiere. Ich fand das bei meinen Rechnern extrem hilfreich, weil man nach ein paar Monaten dann doch wieder schnell vergisst, wie man dieses oder jenes damals eingerichtet hat. Dann habe ich beim Start hoffentlich die offensichtlichen Fragen geklärt und kann einen Systemwechsel ohne viel Hickups hinbekommen.

Habe mir übrigens überlegt, vlt. behalte ich meine Synology NAS auch und ändere, wenn ich sie nicht mehr brauche, das Volume in sowas wie ein Raid0 und habe dann eine 12TB Maschine, um lokale Backups zu machen. Ich denke für meine 2x6TB + DS216+II bekomme ich nicht so viel Geld, dass es sich lohnt, die gegen eine größere externe zu tauschen. Mal schauen.

AxelMD
Beiträge: 1350
Registriert: 15.03.2009 08:02:11

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von AxelMD » 07.12.2019 14:23:06

Hallo, schau dir mal an:

OpenMediaVault

https://de.wikipedia.org/wiki/OpenMediaVault

https://openmediavault.readthedocs.io/e ... sites.html

DOCKER funktioniert einwandfrei, weil ein reines Debian.
BTRFS Raid 5/6 funktioniert nicht, als mehr oder weniger.

FreeNas (ZFS, mehr RAM wird benötigt)

https://de.wikipedia.org/wiki/FreeNAS

https://www.freenas.org/hardware-requirements/

Beides sind Supersysteme, wie ein Synology NAS, nur besser, günstiger, FOSS, und dauerhafter Support.

an.

MfG

Axel

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 07.12.2019 17:28:24

Hallo Axel,

mit OMV habe ich mich schon beschäftigt. Ich habe mich aber dagegen und für ein reines Debian entschieden.

FreeNAS ist bestimmt auch nicht schlecht, aber ich habe von BSD gar keine Ahnung und ich habe auch gelesen, dass man dort mehr Beschränkungen hat, was Soft- und Hardware angeht.

Momentan bin ich dabei die Konfiguration zusammen zustellen. Bislang ist die Hardware grob klar, das OS wird Debian. Ich habe die Tage das Rechtesystem überlegt. Wahrscheinlich bleibt es weiterhin bei Samba. Mit Docker spiele ich schon auf der NAS und auf meinem HTPC rum und sammle dort Erfahrungen.

Wenn ich einzelne Punkte ausdefiniert habe, dann poste ich das gerne hier. Ich mache für mich selbst ein kleines skript, damit ich genau reproduzieren kann, was ich machen will und getan habe. Das hilft mir immer sehr, wenn es nach langer Zeit Probleme gibt.

TomL

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von TomL » 07.12.2019 18:31:42

Simaryp hat geschrieben: ↑ zum Beitrag ↑
07.12.2019 17:28:24
mit OMV habe ich mich schon beschäftigt. Ich habe mich aber dagegen und für ein reines Debian entschieden.
Das halte ich auch für eine gute Entscheidung. OMV ist imho ne eierlegendewollmilchsau, die dermaßen viel an Funktionen mitbringt, dass es mMn sehr hoher Sachkenntnis bedarf, das alles sicher einzustellen und potentielle Exploits auszumerzen.
Bislang ist die Hardware grob klar, das OS wird Debian. Ich habe die Tage das Rechtesystem überlegt. Wahrscheinlich bleibt es weiterhin bei Samba.
Ich habe Dir mal nen Link per PM gesendet, über meine eigene Lösung mit userbezogenen Mounts. Das sollte allemal dafür gut sein, sich notwendige Anregungen zu holen, um zu sehen, wie man's besser nicht machen sollte :D Mit OpenVPN habe ich mich da auch schon befasst....

AxelMD
Beiträge: 1350
Registriert: 15.03.2009 08:02:11

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von AxelMD » 07.12.2019 19:12:51

Hallo Linuxer,

Ihr habt euch nicht wirklich mit OMV beschäftigt, meine Basis für OMV war ist ein reines, zur Zeit noch Debian 9 Stretch.

OMV stellt eigentlich nur ein "geiles" Webinterface zu Verfügung.
Das kann man sich natürlich auch alles selbst hinbasteln.

Bei mir dient das System noch zusätzlich als Druck- und Scanserver.
Diese Funktionalität ist von OMV eigentlich nicht vorgesehen.

Ein alter Bürorechner, ein Notebook langt zum Betrieb.

MfG

Axel
Zuletzt geändert von AxelMD am 07.12.2019 19:22:39, insgesamt 1-mal geändert.

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 07.12.2019 19:21:17

Danke für die Infos, ich werd das mal durchstöbern, komm momentan nur immer häppchenweise dazu. openVPN habe ich bei mir schon durch pivpn zusammen mit pihole auf einem raspi3 realisiert. Das läuft zur Zeit eigentlich ganz gut. Ich muss nur noch mal das Thema domain und localhostnames aufrollen, aber das ist hier etwas offtopic.

Edit: Mit den userbezogenen Mounts meinst du deine Lösung für Multiuser-Clients oder mit den Mountbinds, dass ein Nutzer das Verzeichnis von Samba nur ro bekommt, die andern aber rw? Ich glaube, ich werde, wie in dem anderen Thread beschrieben, das über Nutzer und Gruppenrechte lösen und die Verzeichnisse nur sehr einfach in der smb.conf eintragen. Aber da gibt es bestimmt auch so sehr viel weiteres zum abgucken.

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 10.12.2019 07:57:40

Mir sind noch zwei weitere technische Fragen eingefallen:
1. Hat jemand Erfahrung mit https://networkupstools.org/. Mein Server soll wie bisher an eine USP angeschlossen werden.

2. Es wäre schon super, wenn ich den Server in den Schlafmodus bringen kann, wenn er nicht gebraucht wird. Wakeonlan ist wahrscheinlich etwas, was recht ootb funktioniert. Aber da auch ein TV Server installiert werden soll, frage ich mich, wie ich den Server einschlafen und aufwachen lassen kann, um die geplanten Aufnahmen herum. Bislang habe ich vor allem Infos zu unraid gefunden, aber nichts zu debian.

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 14.12.2019 19:43:23

Ich habe noch ne Frage zum Thema Boot des Servers und Verschlüsselung.
Wenn / in einem Luks Container ist, wie kann ich dann beim Boot von einem anderen Rechner im Netzwerk das Passwort eingeben? Ich hoffe das geht irgendwie auf ähnliche Weise, wie auch eine Installation möglich ist.

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von schwedenmann » 14.12.2019 21:04:57


Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 14.12.2019 21:33:10

Sehr cool! Vielen Dank. Es geht schon mal auf jeden Fall. Ich hatte gehofft, dass es genauso geht, wie der Install mit IPMI zum Beispiel. Ohne, dass ich das bereits selbst einmal ausgeführt habe. Aber darüber habe ich gelesen, habe ich per Browser einen Zugriff auf das Board und eine Konsole über die ich zum Beispiel ein Medium laden kann und ein System installieren kann. Vielleicht geht das auch und ich habe bloß noch nicht das richtige gesucht.

Ich habe das Gefühl, das ganze Projekt ist doch etwas komplexer als anfänglich gedacht. Wenn ich damit fertig bin, bin ich wohl auch halber sysadmin.

Außerdem habe ich mich gefragt, ob es vielleicht ein System eine Software gibt, die den Zustand des Systems monitored und mich alarmieren kann, falls irgendwelche Probleme auftauchen. Also wenn die Festplatten degradieren oder bei einem Scrub irgendein Problem aufgetaucht ist etc.

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von schwedenmann » 15.12.2019 07:24:54

Hallo


https://www.techgrube.de/tutorials/mdad ... -versenden


Ansonsten zur allg. Überwachung des Systems z.B. munin oder monitorix.

mfg
schwedenmann

P.S. Bitte nächtes mal selber Tante Google nutzen :!:

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 15.12.2019 10:39:14

Vielen Dank. Du hast schon recht. Ich hoffe immer noch, dass ich über einen Beitrag/ eine Anleitung stolpere, wo jemand so ziemlich das gleiche erreichen wollte und die ich für Themen mit denen ich noch gar keine Berührung hatte als Guide nutzen kann.
Mir weht auch gerade von allen Seiten Wind entgegen, ich sollte doch einfach unraid nehmen, aber irgendwie bin ich davon nicht überzeugt. Auch wenn das vermutlich recht einfach konfiguriert wäre.

Ich muss mir das auch noch mal mit der ZFS Konfiguration überlegen. Ich habe bei weiterer Recherche mehrfach gelesen, dass von Raidz abgeraten wird und man entweder Raidz2 oder ein Raid10 durch mehrere mirror vdevs machen soll. Ich verstehe die Pros und Cons aber die Entscheidung fällt mir doch nicht leicht. Die Verwendung von großen Platten spricht wohl für Raid10, die Verwendung von wenigen Platten wohl auch. Die generelle Ausfallsicherheit ist leicht höher als bei Raidz. Aber in beiden Fällen steht man während des Ausfalls und vorm Abschluss des Resilverings ohne Paritätsdaten da und es gibt die Möglichkeit des Totalausfalls. Wie sieht das denn mit der Datenintegrität aus? Wenn ich nur eine Paritätsplatte habe und die ausfällt und getauscht werden muss und dann gibt es eine inkosistenz in der verbliebenen Platte, dann müsste ZFS das doch trotzdem erkennen und ich könnte dann die Datei aus einem Backup wieder herstellen oder?

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 15.12.2019 12:11:35

Simaryp hat geschrieben: ↑ zum Beitrag ↑
14.12.2019 21:33:10
Außerdem habe ich mich gefragt, ob es vielleicht ein System eine Software gibt, die den Zustand des Systems monitored und mich alarmieren kann, falls irgendwelche Probleme auftauchen. Also wenn die Festplatten degradieren oder bei einem Scrub irgendein Problem aufgetaucht ist etc.
Mails fuer ZFS benutzt man zed.d Debianzfs-zed Das sendet dir dann emails bei scrubs.
Fuer allgemeine Festplatten Probleme gibt es S.M.A.R.T. werte die sich mit Debiansmartmontools auslesen lassen. https://wiki.archlinux.org/index.php/S.M.A.R.T.

Beides ist recht einfach aufzusetzen. Das groesse problem hatte ich damit den email sende kack einzurichten. Habe es dann mit dieser Anleitung geschafft: https://wiki.debian.org/Exim4Gmail Runterscrollen zu "Using Exim4 to Send Messages through Gmail"
Simaryp hat geschrieben: ↑ zum Beitrag ↑
15.12.2019 10:39:14
Ich habe bei weiterer Recherche mehrfach gelesen, dass von Raidz abgeraten wird und man entweder Raidz2 oder ein Raid10 durch mehrere mirror vdevs machen soll.
Wenn du ein backup hast, dann ist raid5 / raidz auch wunderbar. Es sei denn du brauchst 99.9% uptime.

Edit:
Monitoring wuerde ich mal grafana angucken. Ich habe bei mir grafana + telegraf am laufen.
munin und monitorix sehen wirklich altbacken aus.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 15.12.2019 16:09:46

Es heißt halt immer das Resilvern würde dann so viel Stress machen, gerade bei den großen Platten, dass dann die Wahrscheinlichkeit sehr groß ist, dass die nächste auch in die Binsen geht. Dann gibt es noch dieses Thema, dass man die Anzahl der Platten optimieren kann für die verschiedenen Modi, wobei wiederum auch keine Einigkeit besteht.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 15.12.2019 18:29:39

Simaryp hat geschrieben: ↑ zum Beitrag ↑
15.12.2019 16:09:46
Es heißt halt immer das Resilvern würde dann so viel Stress machen, gerade bei den großen Platten, dass dann die Wahrscheinlichkeit sehr groß ist, dass die nächste auch in die Binsen geht. Dann gibt es noch dieses Thema, dass man die Anzahl der Platten optimieren kann für die verschiedenen Modi, wobei wiederum auch keine Einigkeit besteht.
Ja aber ein scrub macht auch Stress. Bei Debian ist sowohl bei MDADM und ZFS Monatliche scrubs vorgesehen.

Gibt ja diese Theorie das nach ~12 - 14TB lesen die Platte statistisch ein URE schmeisst. Weil das so im Datenblatt angegeben ist, als minimum vom Hersteller.
Dann wuerde ja jeden Monat ZFS ein Fehler finden.

Und ich meine selbst wenn du ein URE beim resivern bekommst, verlierst du nicht alle Daten. Nur eine Datei. Die du dann fix vom backup holen kannst.
Selbst MDADM kann das.
Problem ist wenn der Fehler in einem der Metadaten ist. Dann sind die Daten weg und das Backup muss her.

Ich benutzte raidz2 weil ich kein backup habe.
Zu raidz2 vs raid10'ish kann ich nichts sagen. Aber kannst ja mal in /r/zfs auf reddit fragen. Gibt auch einige ZFS channels auf freenode. z.B. #zfsonlinux

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 108
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 16.12.2019 06:55:48

Dann schaue ich vlt. noch mal auf Reddit.
Danke für deine Hinweise.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 16.12.2019 09:37:08

Simaryp hat geschrieben: ↑ zum Beitrag ↑
16.12.2019 06:55:48
Dann schaue ich vlt. noch mal auf Reddit.
Danke für deine Hinweise.
Was ich auch empfehlen kann ist /r/DataHoarder/ fuer alles Moegliche rund um Heimrechner die Daten Speichern. Da gibt es einige die Snapraid, ZFS oder UnRaid benutzten. Kann manchmal ganz nett sein.
/r/homelab/ und /r/selfhosted/ gibt es auch noch.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Antworten