Synology NAS durch Debian Homeserver ersetzen

Warum Debian? Was muss ich vorher wissen? Wo geht's nach der Installation weiter?
Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 23.12.2019 19:49:19

Das habe ich aus dieser Diskussion mitgenommen:
viewtopic.php?t=173284

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 02.01.2020 09:31:27

@Lord_Carlos:
Du hast ja ebenfalls die WD MyBook aus der Schale gepellt. Ich hab noch ein paar Fragen dazu.

Hattest du da echte Reds drin oder die mit dem weißen Label. Ich habe gehört, es gibt da doch ein paar Unterschiede. Das 3.3V Problem ist für mich zwar irrelevant, da meine Backplane MOLEX nutzt, aber trotzdem interessant.

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller? Ich weiß nicht, ob sich die MyBook von den easystore aus den USA unterscheiden, aber über die habe ich einige Videos gesehen, dass der Ausbau, das Gehäuse beschädigen kann und die Garantie damit futsch ist. Daher würde ich gerne vorm Basteln wissen, dass die Platten 1a sind. Hintergrund ist, dass ich schon von Fällen gelesen habe, wo größere Platten verbaut wurden, was man erst durch Anschluss per SATA gesehen hat. Nicht, dass der Test vorher mit USB sinnlos ist.

Ich habe mittlerweile sehr viel über ZFS gelesen und was das angeht auch einen groben Plan, ich schaue mal, dass ich als nächsten Schritt mir die genaue Einrichtung überlege. Ist alles etwas ins Stocken gekommen, weil ich mich nebenher mit meinem Heimnetzwerk beschäftige.

schwedenmann
Beiträge: 4565
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von schwedenmann » 02.01.2020 10:09:52

Hallo

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller?
ja mit Adaptern SATA/IDE auf USB. Damit die Plastte per USB an einen beliebigen PC anschließen, dann kannst du badblocks auf das device loslassen.


mfg
schwedenmann


P.S.
Hierfür habe ich einen Adapter von Logilonk AU0006D-new v.50 bei mir im Einsatz, funktioniert mt SATA ohne Probleme, man muß nur zuerst die externe Stromversorgung an die Platte anschließen, dann circa 6-10s warten und dann erst den adapter per USB mit dem PC verbinden!

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 02.01.2020 10:38:29

Danke, aber ist der Adapter nicht dazu da, um SATA-Platten an den USB-Port des PCs anzuschließen?
Mir geht es ja darum, ob ich die USB-Platte vorm zerlegen mit Badblocks testen kann.

Benutzeravatar
Lord_Carlos
Beiträge: 5057
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 02.01.2020 11:16:35

Simaryp hat geschrieben: ↑ zum Beitrag ↑
02.01.2020 09:31:27
Hattest du da echte Reds drin oder die mit dem weißen Label. Ich habe gehört, es gibt da doch ein paar Unterschiede. Das 3.3V Problem ist für mich zwar irrelevant, da meine Backplane MOLEX nutzt, aber trotzdem interessant.
Ich hatte Whitelabel
Bei Whitelabel ist TLER ist bei power on nicht an. Ich weis aber nicht ob man das bei ZFS ueberhaupt braucht. Ich glaube ist nicht wichtig.
Sonnst weis keiner 100% was der unterschied ist. Manche meinen es ist eine HGST die einfach nur auf 5400 rpm reduziert ist. Andere meinen es ist eine red mit leicht anderer Firmware.
Manche meinen es koennten Platten sein die Qualitaetsanforderungen fuer WD Red nicht geschafft haben. Weis keiner.
Simaryp hat geschrieben: ↑ zum Beitrag ↑
02.01.2020 09:31:27
Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller?
Ja, habe ich auch so gemacht.
Simaryp hat geschrieben: ↑ zum Beitrag ↑
02.01.2020 09:31:27
Ich weiß nicht, ob sich die MyBook von den easystore aus den USA unterscheiden, aber über die habe ich einige Videos gesehen, dass der Ausbau, das Gehäuse beschädigen kann und die Garantie damit futsch ist.
Ja, bei mir sind oft ein paar Plastik dinger abgebrochen, aber wiso sollte die Garantie futsch sein?

Aber ich kann es die Tage testen. Sieht so aus als wenn eine Platte ausgefallen. Zick zack ne mail von ZFS bekommen :)
Ich werde versuchen die Wieder ins Gehaeuse zu packen, sonnst sende ich die einfach so ein.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 02.01.2020 11:21:59

Oh ich bin gespannt, du hattest 6x 8TB im raidz2, oder? Kannst ja mal dann schreiben, wie lange das Resilvern gedauert hat.
Wobei ich mich schon ziemlich auf striped mirrors eingeschossen habe.

Benutzeravatar
Lord_Carlos
Beiträge: 5057
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 02.01.2020 14:01:24

Simaryp hat geschrieben: ↑ zum Beitrag ↑
02.01.2020 11:21:59
Oh ich bin gespannt, du hattest 6x 8TB im raidz2, oder? Kannst ja mal dann schreiben, wie lange das Resilvern gedauert hat.
Wobei ich mich schon ziemlich auf striped mirrors eingeschossen habe.
Festplatte geht wieder ¯\(°_o)/¯

Code: Alles auswählen

state: ONLINE
  scan: resilvered 1.07G in 0 days 00:00:13 with 0 errors on Thu Jan  2 13:19:33 2020

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
jph
Beiträge: 741
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von jph » 11.01.2020 10:41:46

Simaryp hat geschrieben: ↑ zum Beitrag ↑
21.12.2019 22:28:50
Jetzt verteidigt doch noch jemand BTRFS :).
Wir sind hier ja alle nett zueinander. Für Trolle und Fanbois gibt es bekanntermaßen das Heise-Forum; die haben gerade wieder Anlass, aufeinander loszugehen. :-)

„Linus Torvalds erteilt ZFS im Linux-Kernel erneute Absage“: https://www.heise.de/newsticker/meldung ... 33302.html

Benutzeravatar
Lord_Carlos
Beiträge: 5057
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 25.01.2020 10:11:07

Und hast du schon was zusammen gebastelt?
ZFS 0.8.3 ist jetzt auch raus gekommen. Damit sollte native encryption endlich auch wieder hardware Beschleunigung haben.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 25.01.2020 10:38:32

Jein,

bei mir geht alles etwas langsam, wegen Beruf und Säugling; ist halt so ;).

Ich habe außerdem noch parallel die Erneuerung meiner Netzwerkinfrastruktur als Projekt laufen. Das hat sich ergeben, weil ich durch den Server nen Switch brauche und die Thematik dann etwas eskaliert ist... Da bastele ich gerade ein Gehäuse um, worin dann ein opnSense Router leben soll.

Aktuell sieht es wie folgt aus:
Vor Weihnachten kam noch ein schönes Servergehäuse aus England zu mir.

Seit einer Woche habe ich einen Netzwerkschrank, wo alles rein soll. Dass heißt die richtig grobe Hardware ist da.

Mitte der Woche gab es die WD MyBook 10TB für 179€ und da habe ich zugeschlagen, habe mir 4 gekauft für den Pool und noch mal eine als Backup Platte. Denn meine aktuelle externe Backup-Platte kommt jetzt auch an ihre Grenzen und es kann auch nicht schaden, ein Backup von der Synology in den Schrank zu legen, um den Zustand erst mal einzufrieren.

Seit Donnerstag läuft auf den ersten vier Platten badblocks. Heute kann ich die 5 starten. Die hatte ich bei Amazon noch nachträglich bestellt und die kam etwas später.

Parallel habe ich angefangen, meine Konfigurationsideen des Servers mal in ein .md File zu gießen. Auch wenn bei der realen Umsetzung vermutlich manches noch mal angepasst werden muss, hilft mir das sehr, die ganzen Themen zu sortieren und nicht bei jedem Schritt wieder erst mal Stunden recherchieren zu müssen.

Dass du die Encryption erwähnst, passt da gerade ganz gut. Denn eigentlich war mein Plan, jetzt alle vier Platten mit LUKS zu verschlüsseln und die per Crypttab beim Boot zu mounten. Das Manko der ZFS-Encryption, dass, soweit ich das verstanden habe, unverschlüsselte Metadaten Aufschluss darüber geben, wo Dateien liegen und wie groß diese sind, wäre für mich nämlich nicht so schlimm, ich habe bloß zuletzt noch gelesen, dass die Verschlüsselung bei ZFS ein Performance Killer ist und daher das ad acta gelegt. Vielleicht sollte ich mir das jetzt noch mal anschauen. Kann man da auch ein keyfile auf dem verschlüsselten root anlegen, um den Pool gleich beim Boot zu mounten?

Benutzeravatar
Lord_Carlos
Beiträge: 5057
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 25.01.2020 11:07:16

Simaryp hat geschrieben: ↑ zum Beitrag ↑
25.01.2020 10:38:32
dass die Verschlüsselung bei ZFS ein Performance Killer ist und daher das ad acta gelegt. Vielleicht sollte ich mir das jetzt noch mal anschauen. Kann man da auch ein keyfile auf dem verschlüsselten root anlegen, um den Pool gleich beim Boot zu mounten?
Selbst mit CPU ist es immernoch schneller als gigabit. Aber ja, Hardware Beschleunigung ging kurz nicht in einer Übergangsphase. Man musste den Kernel oder ZFS patchen. Jetzt ist es in ZFS 0.8.3, ist schon in unstable. Mal sehen wann es in die Backports kommt.
Ja, mit key file geht auch ohne Probleme.

Wenn es bei dir nicht klappt, dann sag bescheid. Ggf muss ein systemd script ganz leicht angepasst werden.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 25.01.2020 12:49:55

Ok, würde Stable nehmen mit Backports. Da könnte ich das jetzt einrichten und wenn das Update in den Backports ist, ab dann hätte ich Hardwareunterstützung, richtig?

Benutzeravatar
Lord_Carlos
Beiträge: 5057
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 25.01.2020 14:25:35

Simaryp hat geschrieben: ↑ zum Beitrag ↑
25.01.2020 12:49:55
Ok, würde Stable nehmen mit Backports. Da könnte ich das jetzt einrichten und wenn das Update in den Backports ist, ab dann hätte ich Hardwareunterstützung, richtig?
Ganz genau so have ich das auch. Stable mit backports + zfs native encrypt, was momentan 0.8.2 ist.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Simaryp
Beiträge: 86
Registriert: 29.11.2019 14:09:49

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Simaryp » 25.01.2020 15:06:12

Durch das Angebot habe ich jetzt die Platten da und teste die, aber ich hab auch schon überlegt, ob ich erst mal den Netzwerkumbau abschließe und dann erst mit dem Server weiter mache. Kann aber auch nicht abschätzen, wie lange ich dafür brauche. Für beides sind immerhin die Rahmen relativ klar gesetzt. Aber in der Umsetzung gibt es bei den Details noch einige Lücken^^.

Hier mal meine bisherige Ausarbeitung für den Server. Bislang habe ich nur Nutzer und Rechte definiert. Über ZFS habe ich mich ausführlich informiert, da sollte es einigermaßen schnell gehen.

Bei den Backups will ich für die externe USB Platte auf borg setzen. Da habe ich mich auch schon ein wenig eingelesen, die Synology wird ein Borg-Server, wenn erst mal alles fertig ist. Das geht aber erst, wenn der Server so weit steht, dass ich die NAS im Prinzip nicht mehr brauche. Für GDrive habe ich überlegt, ob ich vlt. einfach RClone nehme. Das sollte doch auch direkt verschlüsselte, inkrementelle und versionierte Backups können, da habe ich mich noch nicht eingelesen.

Die Docker-Themen habe ich schon in nem anderen File fertig beschrieben. Das muss ich nur noch live mal überarbeiten, weil ich mit dem Initsetup von TVH nicht zufrieden bin und das lieber manuell mache.

Bei Maintainance habe ich außer ein paar Toolnamen und ein paar Skripte über die ich gestolpert bin noch nichts.

Vermutlich habe ich auch noch was vergessen. Feedback ist sehr willkommen.

#Homeserver Configuration
##Core installation

##ssh hardening

##Network

##Automatic updates

##ZFS Pool Creation and Configuration
###Preparation of Devices
####Luks
####Automatic Decryption
###Creation of pool
###Creation of datasets
The following datasets have to be created:
* tick (ticks stuff)
* trick (tricks stuff)
* track (tracks stuff)
* media (music, movies, and tvshows)
* fotos (photographs and home videos)
* tmp (tmp)

###Automatic Snapshots
###Automatic Scrubbing

##Users and Groups
A lot of groups and users is needed to get a KISS like right management for stored data. The idea is to create one group for each dataset and add all the users to it that should have access to the folder. For not too complicated use cases the access can be controlled with the posix rules and no ACLs are needed. In principle some users don't need a home on the server for current needs but since there is no harm and maybe usefull if needs change, they are created anyway.

###Creation of users
The following users need to be created:
* tick
* trick
* track
* htpc (for access with HTPC)
* docker (for running docker containers)

For each do the following:
adduser <username> --gecos ""
and follow the instructions.

###Creation of groups
For each dataset we need an extra group. Groups can be added with the groupadd command, gid can be specified with the -g <number> option. Since a group for each user is added automatically, the folders with usernames are created already.
Check first if GIDs are available and copy the following to console:
groupadd -g 1003 media
groupadd -g 1004 fotos
groupadd -g 1005 tmp

###Setting rights for files
The idea is that all datasets and the recursive files and folders belong to the group with the dataset name. The owner of the files is set initially to one user that has to be member of that group. By setting the rights to ether 770 or 740 one can define if the other group members can only read or in addition write to the files and folders.

####Adding users to groups
usermod -aG track media fotos tmp tick
usermod -aG track media fotos tmp trick
usermod -aG media htpc
usermod -aG media docker

####Setting owner and file mode
chown -R tick:tick /pool/tick
chown -R trick:trick /pool/trick
chown -R tick:track /pool/track
chown -R tick:media /pool/media
chown -R tick:fotos /pool/fotos
chown -R tick:tmp /pool/tmp

find /pool/tick/ -type d -exec chmod 770 {} +
find /pool/tick/ -type f -exec chmod 660 {} +
find /pool/trick/ -type d -exec chmod 770 {} +
find /pool/trick/ -type f -exec chmod 660 {} +
find /pool/track/ -type d -exec chmod 770 {} +
find /pool/track/ -type f -exec chmod 660 {} +
find /pool/media/ -type d -exec chmod 750 {} +
find /pool/media/ -type f -exec chmod 640 {} +
find /pool/fotos/ -type d -exec chmod 770 {} +
find /pool/fotos/ -type f -exec chmod 660 {} +
find /pool/tmp/ -type d -exec chmod 770 {} +
find /pool/tmp/ -type f -exec chmod 660 {} +

##SMB server

##Backups
###USB-HDD Borg
###Cloud
###Synology Borg backup server

##Docker
###Easyepg
###TVHeadend server
###Emby server

##Maintainance
###Monitoring
###Email allerts
###Suspend

Benutzeravatar
Lord_Carlos
Beiträge: 5057
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Synology NAS durch Debian Homeserver ersetzen

Beitrag von Lord_Carlos » 25.01.2020 15:21:41

Wenn du ZFS und zfs snapshots benutzt, brauchst du dann noch borg?
Vielleicht ist ZFS send besser. (Ich habe beides nicht benutzt)

Damit kannst du snapshots einfach und inkrementell auf ein remote system oder andere platte kopieren. Und es ist auch alles verschluesselt wenn du native ZFS benutzt.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Antworten