Synology NAS durch Debian Homeserver ersetzen

[Simaryp]

Ich beschäftige mich zwar gerade noch vor allem mit ZFS, wenn ich mal dazu komme, möchte aber eine weitere debianspezifische Frage aufwerfen.
Debian wird ja über einen Installer installiert und nachdem der durch ist rebooted. Wenn ich es richtig sehe, wir dabei auch standardmäßig grub installiert.

Unter Arch habe ich mir angewöhnt root zu verschlüsseln und statt einer extra boot Patition einfach die ESP nach /efi zu mounten und auf der ESP einen ordner als mountpoint anzulegen zum Beispiel "arch" oder "debian" und einen mount bind auf /boot dort hin zu machen. Statt grub nutze ich dort auch lieber refind. Das muss bei der Konfiguration zwar auch manuell installiert werden, aber erscheint mir weniger overhead als grub, bei dem ich noch nie wirklich wusste, was ich eigentlich da mache.

Kriegt man das bei der Debianinstallation auch ähnlich hin? Oder ist es sogar ratsam nicht zu sehr von dem default Debian weg abzuweichen?

[jph]

Bei Synology war das ganze einfach: Ich wollte Bitrot-Detection, also habe ich ein BTRFS Volume erstellt, einen Zeitplan für das Scrubbing und für Snapshots erstellt und das ganze war fertig. BTRFS scheint aber unter Debian nicht so einfach zu managen zu sein. Und scheinbar gibt es auch wohl ein paar Bedenken bezüglich Stabilität, wie hier zB https://btrfs.wiki.kernel.org/index.php/RAID56.

Ich schwenke mal das btrfs-Fähnchen, denn zu ZFS wurde in diesem Thread ja schon einiges gesagt. btrfs ist ab Buster völlig unproblematisch mit Ausnahme von RAID56, welches in Upstream bereits gelöst ist (neue Profile für Metadaten). Scrubbing etc. geht mit btrfsmaintenance.

Hintergrund: ich bin selbst vor ein paar Jahren von einem Synology-NAS auf einen Selbstbau-Debianserver gewechselt. Meine Erfahrungen mit btrfs habe ich im Wiki festgehalten: Btrfs.

[Simaryp]

Jetzt verteidigt doch noch jemand BTRFS .
Ich bin hier ähnlich, wie bei der Diskussion NFS vs CIFS, bei der du mir ja auch geholfen hast, undogmatisch. BTRFS kenne ich schon länger von der Synology. Ich habe jetzt mittlerweile schon recht viel mit Zeit in das Verständnis von ZFS gesteckt und tatsächlich wirkt das ganze Recht überzeugend. Ist natürlich auch meistens von Nutzern von ZFS geschrieben, also natürlich auch etwas biased. Bei BTRFS ist das Feedback immer eher etwas gespalten. Das Raid 5/6 nicht geht, stört mich nicht so sehr. Ich glaube ich gehe doch lieber Richtung Raid10. Da habe ich aber gelesen, dass dies bei BTRFS auch eher unkonventionnel sowas wie Raid01 ist und nur maximal eine Platte ausfallen darf.

[Simaryp]

Bin bei reddit drüber gestolpert, dass Duplicati für meine Backups großer Mist ist, weil das ab 3stelligen GB Mengen bereits anfangen soll instabil zu werden.

Eine gängige Lösung scheint wohl zu sein, rclone zum mounten von cloudspeicher zu nutzen und dann zum Beispiel borg für die Backups. Ich informiere mich da auch bei /r/DataHoarder, aber vielleicht hat hier ja auch noch jemand nen Tipp. Borg und rclone machen es wohl auch notwendig local ein Backup gemountet zu haben, was wieder mehr hardware Aufwand bedeutet. Und das ganze hat auch so schon Potential ein riesen Gefrickel zu werden.

[jph]

Ich glaube ich gehe doch lieber Richtung Raid10. Da habe ich aber gelesen, dass dies bei BTRFS auch eher unkonventionnel sowas wie Raid01 ist und nur maximal eine Platte ausfallen darf.

Hast du eine Quelle parat? Diese Infos könnten für den Wiki-Artikel relevant sein.

[Simaryp]

Das habe ich aus dieser Diskussion mitgenommen:
viewtopic.php?t=173284

[Simaryp]

@Lord_Carlos:
Du hast ja ebenfalls die WD MyBook aus der Schale gepellt. Ich hab noch ein paar Fragen dazu.

Hattest du da echte Reds drin oder die mit dem weißen Label. Ich habe gehört, es gibt da doch ein paar Unterschiede. Das 3.3V Problem ist für mich zwar irrelevant, da meine Backplane MOLEX nutzt, aber trotzdem interessant.

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller? Ich weiß nicht, ob sich die MyBook von den easystore aus den USA unterscheiden, aber über die habe ich einige Videos gesehen, dass der Ausbau, das Gehäuse beschädigen kann und die Garantie damit futsch ist. Daher würde ich gerne vorm Basteln wissen, dass die Platten 1a sind. Hintergrund ist, dass ich schon von Fällen gelesen habe, wo größere Platten verbaut wurden, was man erst durch Anschluss per SATA gesehen hat. Nicht, dass der Test vorher mit USB sinnlos ist.

Ich habe mittlerweile sehr viel über ZFS gelesen und was das angeht auch einen groben Plan, ich schaue mal, dass ich als nächsten Schritt mir die genaue Einrichtung überlege. Ist alles etwas ins Stocken gekommen, weil ich mich nebenher mit meinem Heimnetzwerk beschäftige.

[schwedenmann]

Hallo

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller?

ja mit Adaptern SATA/IDE auf USB. Damit die Plastte per USB an einen beliebigen PC anschließen, dann kannst du badblocks auf das device loslassen.


mfg
schwedenmann


P.S.
Hierfür habe ich einen Adapter von Logilonk AU0006D-new v.50 bei mir im Einsatz, funktioniert mt SATA ohne Probleme, man muß nur zuerst die externe Stromversorgung an die Platte anschließen, dann circa 6-10s warten und dann erst den adapter per USB mit dem PC verbinden!

[Simaryp]

Danke, aber ist der Adapter nicht dazu da, um SATA-Platten an den USB-Port des PCs anzuschließen?
Mir geht es ja darum, ob ich die USB-Platte vorm zerlegen mit Badblocks testen kann.

[Lord_Carlos]

Hattest du da echte Reds drin oder die mit dem weißen Label. Ich habe gehört, es gibt da doch ein paar Unterschiede. Das 3.3V Problem ist für mich zwar irrelevant, da meine Backplane MOLEX nutzt, aber trotzdem interessant.

Ich hatte Whitelabel
Bei Whitelabel ist TLER ist bei power on nicht an. Ich weis aber nicht ob man das bei ZFS ueberhaupt braucht. Ich glaube ist nicht wichtig.
Sonnst weis keiner 100% was der unterschied ist. Manche meinen es ist eine HGST die einfach nur auf 5400 rpm reduziert ist. Andere meinen es ist eine red mit leicht anderer Firmware.
Manche meinen es koennten Platten sein die Qualitaetsanforderungen fuer WD Red nicht geschafft haben. Weis keiner.

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller?

Ja, habe ich auch so gemacht.

Ich weiß nicht, ob sich die MyBook von den easystore aus den USA unterscheiden, aber über die habe ich einige Videos gesehen, dass der Ausbau, das Gehäuse beschädigen kann und die Garantie damit futsch ist.

Ja, bei mir sind oft ein paar Plastik dinger abgebrochen, aber wiso sollte die Garantie futsch sein?

Aber ich kann es die Tage testen. Sieht so aus als wenn eine Platte ausgefallen. Zick zack ne mail von ZFS bekommen
Ich werde versuchen die Wieder ins Gehaeuse zu packen, sonnst sende ich die einfach so ein.

[Simaryp]

Oh ich bin gespannt, du hattest 6x 8TB im raidz2, oder? Kannst ja mal dann schreiben, wie lange das Resilvern gedauert hat.
Wobei ich mich schon ziemlich auf striped mirrors eingeschossen habe.

[Lord_Carlos]

Oh ich bin gespannt, du hattest 6x 8TB im raidz2, oder? Kannst ja mal dann schreiben, wie lange das Resilvern gedauert hat.
Wobei ich mich schon ziemlich auf striped mirrors eingeschossen habe.

Festplatte geht wieder ¯\(°_o)/¯

Code: Alles auswählen

state: ONLINE
  scan: resilvered 1.07G in 0 days 00:00:13 with 0 errors on Thu Jan  2 13:19:33 2020

[jph]

Jetzt verteidigt doch noch jemand BTRFS .

Wir sind hier ja alle nett zueinander. Für Trolle und Fanbois gibt es bekanntermaßen das Heise-Forum; die haben gerade wieder Anlass, aufeinander loszugehen.

„Linus Torvalds erteilt ZFS im Linux-Kernel erneute Absage“: https://www.heise.de/newsticker/meldung ... 33302.html

[Lord_Carlos]

Und hast du schon was zusammen gebastelt?
ZFS 0.8.3 ist jetzt auch raus gekommen. Damit sollte native encryption endlich auch wieder hardware Beschleunigung haben.

[Simaryp]

Jein,

bei mir geht alles etwas langsam, wegen Beruf und Säugling; ist halt so .

Ich habe außerdem noch parallel die Erneuerung meiner Netzwerkinfrastruktur als Projekt laufen. Das hat sich ergeben, weil ich durch den Server nen Switch brauche und die Thematik dann etwas eskaliert ist... Da bastele ich gerade ein Gehäuse um, worin dann ein opnSense Router leben soll.

Aktuell sieht es wie folgt aus:
Vor Weihnachten kam noch ein schönes Servergehäuse aus England zu mir.

Seit einer Woche habe ich einen Netzwerkschrank, wo alles rein soll. Dass heißt die richtig grobe Hardware ist da.

Mitte der Woche gab es die WD MyBook 10TB für 179€ und da habe ich zugeschlagen, habe mir 4 gekauft für den Pool und noch mal eine als Backup Platte. Denn meine aktuelle externe Backup-Platte kommt jetzt auch an ihre Grenzen und es kann auch nicht schaden, ein Backup von der Synology in den Schrank zu legen, um den Zustand erst mal einzufrieren.

Seit Donnerstag läuft auf den ersten vier Platten badblocks. Heute kann ich die 5 starten. Die hatte ich bei Amazon noch nachträglich bestellt und die kam etwas später.

Parallel habe ich angefangen, meine Konfigurationsideen des Servers mal in ein .md File zu gießen. Auch wenn bei der realen Umsetzung vermutlich manches noch mal angepasst werden muss, hilft mir das sehr, die ganzen Themen zu sortieren und nicht bei jedem Schritt wieder erst mal Stunden recherchieren zu müssen.

Dass du die Encryption erwähnst, passt da gerade ganz gut. Denn eigentlich war mein Plan, jetzt alle vier Platten mit LUKS zu verschlüsseln und die per Crypttab beim Boot zu mounten. Das Manko der ZFS-Encryption, dass, soweit ich das verstanden habe, unverschlüsselte Metadaten Aufschluss darüber geben, wo Dateien liegen und wie groß diese sind, wäre für mich nämlich nicht so schlimm, ich habe bloß zuletzt noch gelesen, dass die Verschlüsselung bei ZFS ein Performance Killer ist und daher das ad acta gelegt. Vielleicht sollte ich mir das jetzt noch mal anschauen. Kann man da auch ein keyfile auf dem verschlüsselten root anlegen, um den Pool gleich beim Boot zu mounten?

[Lord_Carlos]

dass die Verschlüsselung bei ZFS ein Performance Killer ist und daher das ad acta gelegt. Vielleicht sollte ich mir das jetzt noch mal anschauen. Kann man da auch ein keyfile auf dem verschlüsselten root anlegen, um den Pool gleich beim Boot zu mounten?

Selbst mit CPU ist es immernoch schneller als gigabit. Aber ja, Hardware Beschleunigung ging kurz nicht in einer Übergangsphase. Man musste den Kernel oder ZFS patchen. Jetzt ist es in ZFS 0.8.3, ist schon in unstable. Mal sehen wann es in die Backports kommt.
Ja, mit key file geht auch ohne Probleme.

Wenn es bei dir nicht klappt, dann sag bescheid. Ggf muss ein systemd script ganz leicht angepasst werden.

[Simaryp]

Ok, würde Stable nehmen mit Backports. Da könnte ich das jetzt einrichten und wenn das Update in den Backports ist, ab dann hätte ich Hardwareunterstützung, richtig?

[Lord_Carlos]

Ok, würde Stable nehmen mit Backports. Da könnte ich das jetzt einrichten und wenn das Update in den Backports ist, ab dann hätte ich Hardwareunterstützung, richtig?

Ganz genau so have ich das auch. Stable mit backports + zfs native encrypt, was momentan 0.8.2 ist.

[Simaryp]

Durch das Angebot habe ich jetzt die Platten da und teste die, aber ich hab auch schon überlegt, ob ich erst mal den Netzwerkumbau abschließe und dann erst mit dem Server weiter mache. Kann aber auch nicht abschätzen, wie lange ich dafür brauche. Für beides sind immerhin die Rahmen relativ klar gesetzt. Aber in der Umsetzung gibt es bei den Details noch einige Lücken^^.

Hier mal meine bisherige Ausarbeitung für den Server. Bislang habe ich nur Nutzer und Rechte definiert. Über ZFS habe ich mich ausführlich informiert, da sollte es einigermaßen schnell gehen.

Bei den Backups will ich für die externe USB Platte auf borg setzen. Da habe ich mich auch schon ein wenig eingelesen, die Synology wird ein Borg-Server, wenn erst mal alles fertig ist. Das geht aber erst, wenn der Server so weit steht, dass ich die NAS im Prinzip nicht mehr brauche. Für GDrive habe ich überlegt, ob ich vlt. einfach RClone nehme. Das sollte doch auch direkt verschlüsselte, inkrementelle und versionierte Backups können, da habe ich mich noch nicht eingelesen.

Die Docker-Themen habe ich schon in nem anderen File fertig beschrieben. Das muss ich nur noch live mal überarbeiten, weil ich mit dem Initsetup von TVH nicht zufrieden bin und das lieber manuell mache.

Bei Maintainance habe ich außer ein paar Toolnamen und ein paar Skripte über die ich gestolpert bin noch nichts.

Vermutlich habe ich auch noch was vergessen. Feedback ist sehr willkommen.

#Homeserver Configuration
##Core installation

##ssh hardening

##Network

##Automatic updates

##ZFS Pool Creation and Configuration
###Preparation of Devices
####Luks
####Automatic Decryption
###Creation of pool
###Creation of datasets
The following datasets have to be created:
* tick (ticks stuff)
* trick (tricks stuff)
* track (tracks stuff)
* media (music, movies, and tvshows)
* fotos (photographs and home videos)
* tmp (tmp)

###Automatic Snapshots
###Automatic Scrubbing

##Users and Groups
A lot of groups and users is needed to get a KISS like right management for stored data. The idea is to create one group for each dataset and add all the users to it that should have access to the folder. For not too complicated use cases the access can be controlled with the posix rules and no ACLs are needed. In principle some users don't need a home on the server for current needs but since there is no harm and maybe usefull if needs change, they are created anyway.

###Creation of users
The following users need to be created:
* tick
* trick
* track
* htpc (for access with HTPC)
* docker (for running docker containers)

For each do the following:
adduser <username> --gecos ""
and follow the instructions.

###Creation of groups
For each dataset we need an extra group. Groups can be added with the groupadd command, gid can be specified with the -g <number> option. Since a group for each user is added automatically, the folders with usernames are created already.
Check first if GIDs are available and copy the following to console:
groupadd -g 1003 media
groupadd -g 1004 fotos
groupadd -g 1005 tmp

###Setting rights for files
The idea is that all datasets and the recursive files and folders belong to the group with the dataset name. The owner of the files is set initially to one user that has to be member of that group. By setting the rights to ether 770 or 740 one can define if the other group members can only read or in addition write to the files and folders.

####Adding users to groups
usermod -aG track media fotos tmp tick
usermod -aG track media fotos tmp trick
usermod -aG media htpc
usermod -aG media docker

####Setting owner and file mode
chown -R tick:tick /pool/tick
chown -R trick:trick /pool/trick
chown -R tick:track /pool/track
chown -R tick:media /pool/media
chown -R tick:fotos /pool/fotos
chown -R tick:tmp /pool/tmp

find /pool/tick/ -type d -exec chmod 770 {} +
find /pool/tick/ -type f -exec chmod 660 {} +
find /pool/trick/ -type d -exec chmod 770 {} +
find /pool/trick/ -type f -exec chmod 660 {} +
find /pool/track/ -type d -exec chmod 770 {} +
find /pool/track/ -type f -exec chmod 660 {} +
find /pool/media/ -type d -exec chmod 750 {} +
find /pool/media/ -type f -exec chmod 640 {} +
find /pool/fotos/ -type d -exec chmod 770 {} +
find /pool/fotos/ -type f -exec chmod 660 {} +
find /pool/tmp/ -type d -exec chmod 770 {} +
find /pool/tmp/ -type f -exec chmod 660 {} +

##SMB server

##Backups
###USB-HDD Borg
###Cloud
###Synology Borg backup server

##Docker
###Easyepg
###TVHeadend server
###Emby server

##Maintainance
###Monitoring
###Email allerts
###Suspend

[Lord_Carlos]

Wenn du ZFS und zfs snapshots benutzt, brauchst du dann noch borg?
Vielleicht ist ZFS send besser. (Ich habe beides nicht benutzt)

Damit kannst du snapshots einfach und inkrementell auf ein remote system oder andere platte kopieren. Und es ist auch alles verschluesselt wenn du native ZFS benutzt.

[Simaryp]

Die Synology kann kein ZFS, damit fällt das dort schon mal weg.
Man könnte natürlich überlegen, ob man die USB Platte als ZFS-Pool formatiert und dann ZFS send nutzt. Aber dann müsste ich drei verschiedene Backupsysteme lernen...
Ich dachte ja ursprünglich, ich könnte einfach Duplicati nutzen, aber das ist wohl für große Datensätze nicht zu gebrauchen.

[Simaryp]

@Lord_Carlos: Ich habe beim Arch-Wiki das so verstanden, dass man entweder ein Key oder ein Passwort nutzen, kann man auch beides machen? Bei LUKS geht das ja. Mit Keys ist es praktischer mit dem automatischen boot. Aber ich habe gerne ein Password, welches ich mir merke, damit ich im Zweifel immer noch an die Daten dran komme, wenn das System zerschossen ist.

[Lord_Carlos]

Weis ich leider nicht.
Ich habe vom key ein backup gemacht.

[Simaryp]

Ich denke, ich bleibe bei luks.

So würde ich das ganze einrichten. Ganze HDD als cryptdevice mit komfortablen Namen, Entschlüsselung mit keyfile und komprimierung. Mal schauen, ob das mit dem auto-snapshot-skript so klappt. Scrubb einmal im Monat.

##ZFS Pool Creation and Configuration
###Preparation of Disks
Write down the serial numbers of the disks and note in which bay they are installed.

####Checking for quality
Run badblocks on the disks to be sure they are ok. Because they are big -b 4096 option is needed. All partitions and files will be destroyed.

badblocks -b 4096 -wsv /dev/sdx

####Create luks containers for encryption
Since ZFS natice encryption still has some drawbacks, luks containers are used. All disks will be encrypted as a hole, and decrypted on boot up via a keyfile.

Create the keyfile:

dd if=/dev/urandom of=/root/key bs=1024 count=4
chmod 0400 /root/key

Check the ids of the disks by:
ls /dev/disk/by-id

One should recognize the serial numbers. The cryptdevices get a name according to their bay like cryptbay1. Repeat the following for all pool disks:
1. cryptsetup luksFormat /dev/disk/by-id/<disk>
enter <password>

2. Check if it worked by opening the container with:
cryptsetup open --type luks /dev/disk/by-id/<disk> crypthome
3. Add the key for decryption and create an entry in crypttab:
nano /etc/crypttab
add "cryptbay<number> /dev/disk/by-id/<disk> /root/key luks"
cryptsetup luksAddkey /dev/disk/by-id/<disk> /root/key

4. Reboot to see if it's working properly.

###Creation of pool
Create the pool of 2 striped mirrors:
zpool create -o ashift=12 -O compression=lz4 -O relatime=on pool \
mirror \
cryptbay1 \
cryptbay2 \
mirror \
cryptbay3 \
cryptbay4

###Creation of datasets
The following datasets have to be created:
* tick (ticks stuff)
* trick (tricks stuff)
* track (track' stuff)
* media (music, movies, and tvshows)
* fotos (photographs and home videos)
* tmp (tmp)

zfs create pool/tick
zfs create pool/trick
zfs create pool/track
zfs create pool/media
zfs create pool/fotos
zfs create pool/tmp

###Automatic Snapshots
Use the zfs-auto-snapshot script.

cd /root
wget https://github.com/zfsonlinux/zfs-auto- ... 2.4.tar.gz
tar -xzf 1.2.4.tar.gz
cd zfs-auto-snapshot-upstream-1.2.4
make install

###Automatic Scrubbing
Open crontab with:
crontab -e
Enter the following:
0 2 1 * * /sbin/zpool scrub pool

[Lord_Carlos]

zfs-auto-snapshot ist im debian repo und legt automatisch alle cron jobs an. Aber pass auf, sobald du es installierst faengt es gleich damit an stuendliche, tagliche, wochentliche etc. snapshots zu machen.

Scrubbing wird automatisch zu den cron hinzugefuegt.

Dataset mit grossen Daten, Videos, Music vielleicht grosse Bilder von Camera wuerde ich recordsize gross machen.
sudo zfs set recordsize=1M pool/media

Dedup sollte aus sein, nur um sicher zu sein habe ich nochmal ein sudo zfs set dedup=off tank0 gemacht.

So ganz 100% verstehe ich es nicht, aber dies hier wird wohl empfehlen:
sudo zfs set xattr=sa tank0
sudo zfs set dnodesize=auto tank0
https://www.reddit.com/r/zfs/comments/8 ... dium=web2x
und https://wiki.debian.org/ZFS#Advanced_Topics

In deinen Notizen wuerde ich compression=on schreiben. Momentan das gleiche wie compression=lz4 aber wenn du in ein paar Jahren nochmal ein pool erstellst, kannst du sicher sein das du ein aktuellen cpression algo bekommst.
Edit: Wenn du compression=on machst, dann wird immer der default genommen. "when the default changes, all new writes will use the new algo, but pre-existing data will remain as-is"
Ob das gut oder schlecht ist kann ich nicht sagen.