Synology NAS durch Debian Homeserver ersetzen

[Simaryp]

Das habe ich aus dieser Diskussion mitgenommen:
viewtopic.php?t=173284

[Simaryp]

@Lord_Carlos:
Du hast ja ebenfalls die WD MyBook aus der Schale gepellt. Ich hab noch ein paar Fragen dazu.

Hattest du da echte Reds drin oder die mit dem weißen Label. Ich habe gehört, es gibt da doch ein paar Unterschiede. Das 3.3V Problem ist für mich zwar irrelevant, da meine Backplane MOLEX nutzt, aber trotzdem interessant.

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller? Ich weiß nicht, ob sich die MyBook von den easystore aus den USA unterscheiden, aber über die habe ich einige Videos gesehen, dass der Ausbau, das Gehäuse beschädigen kann und die Garantie damit futsch ist. Daher würde ich gerne vorm Basteln wissen, dass die Platten 1a sind. Hintergrund ist, dass ich schon von Fällen gelesen habe, wo größere Platten verbaut wurden, was man erst durch Anschluss per SATA gesehen hat. Nicht, dass der Test vorher mit USB sinnlos ist.

Ich habe mittlerweile sehr viel über ZFS gelesen und was das angeht auch einen groben Plan, ich schaue mal, dass ich als nächsten Schritt mir die genaue Einrichtung überlege. Ist alles etwas ins Stocken gekommen, weil ich mich nebenher mit meinem Heimnetzwerk beschäftige.

[schwedenmann]

Hallo

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller?

ja mit Adaptern SATA/IDE auf USB. Damit die Plastte per USB an einen beliebigen PC anschließen, dann kannst du badblocks auf das device loslassen.


mfg
schwedenmann


P.S.
Hierfür habe ich einen Adapter von Logilonk AU0006D-new v.50 bei mir im Einsatz, funktioniert mt SATA ohne Probleme, man muß nur zuerst die externe Stromversorgung an die Platte anschließen, dann circa 6-10s warten und dann erst den adapter per USB mit dem PC verbinden!

[Simaryp]

Danke, aber ist der Adapter nicht dazu da, um SATA-Platten an den USB-Port des PCs anzuschließen?
Mir geht es ja darum, ob ich die USB-Platte vorm zerlegen mit Badblocks testen kann.

[Lord_Carlos]

Hattest du da echte Reds drin oder die mit dem weißen Label. Ich habe gehört, es gibt da doch ein paar Unterschiede. Das 3.3V Problem ist für mich zwar irrelevant, da meine Backplane MOLEX nutzt, aber trotzdem interessant.

Ich hatte Whitelabel
Bei Whitelabel ist TLER ist bei power on nicht an. Ich weis aber nicht ob man das bei ZFS ueberhaupt braucht. Ich glaube ist nicht wichtig.
Sonnst weis keiner 100% was der unterschied ist. Manche meinen es ist eine HGST die einfach nur auf 5400 rpm reduziert ist. Andere meinen es ist eine red mit leicht anderer Firmware.
Manche meinen es koennten Platten sein die Qualitaetsanforderungen fuer WD Red nicht geschafft haben. Weis keiner.

Du hast die Platten ja vor Einbau auf fehlerhafte Sektoren vorher gründlich getestet. Geht das auch über USB und den Controller?

Ja, habe ich auch so gemacht.

Ich weiß nicht, ob sich die MyBook von den easystore aus den USA unterscheiden, aber über die habe ich einige Videos gesehen, dass der Ausbau, das Gehäuse beschädigen kann und die Garantie damit futsch ist.

Ja, bei mir sind oft ein paar Plastik dinger abgebrochen, aber wiso sollte die Garantie futsch sein?

Aber ich kann es die Tage testen. Sieht so aus als wenn eine Platte ausgefallen. Zick zack ne mail von ZFS bekommen
Ich werde versuchen die Wieder ins Gehaeuse zu packen, sonnst sende ich die einfach so ein.

[Simaryp]

Oh ich bin gespannt, du hattest 6x 8TB im raidz2, oder? Kannst ja mal dann schreiben, wie lange das Resilvern gedauert hat.
Wobei ich mich schon ziemlich auf striped mirrors eingeschossen habe.

[Lord_Carlos]

Oh ich bin gespannt, du hattest 6x 8TB im raidz2, oder? Kannst ja mal dann schreiben, wie lange das Resilvern gedauert hat.
Wobei ich mich schon ziemlich auf striped mirrors eingeschossen habe.

Festplatte geht wieder ¯\(°_o)/¯

Code: Alles auswählen

state: ONLINE
  scan: resilvered 1.07G in 0 days 00:00:13 with 0 errors on Thu Jan  2 13:19:33 2020

[jph]

Jetzt verteidigt doch noch jemand BTRFS .

Wir sind hier ja alle nett zueinander. Für Trolle und Fanbois gibt es bekanntermaßen das Heise-Forum; die haben gerade wieder Anlass, aufeinander loszugehen.

„Linus Torvalds erteilt ZFS im Linux-Kernel erneute Absage“: https://www.heise.de/newsticker/meldung ... 33302.html

[Lord_Carlos]

Und hast du schon was zusammen gebastelt?
ZFS 0.8.3 ist jetzt auch raus gekommen. Damit sollte native encryption endlich auch wieder hardware Beschleunigung haben.

[Simaryp]

Jein,

bei mir geht alles etwas langsam, wegen Beruf und Säugling; ist halt so .

Ich habe außerdem noch parallel die Erneuerung meiner Netzwerkinfrastruktur als Projekt laufen. Das hat sich ergeben, weil ich durch den Server nen Switch brauche und die Thematik dann etwas eskaliert ist... Da bastele ich gerade ein Gehäuse um, worin dann ein opnSense Router leben soll.

Aktuell sieht es wie folgt aus:
Vor Weihnachten kam noch ein schönes Servergehäuse aus England zu mir.

Seit einer Woche habe ich einen Netzwerkschrank, wo alles rein soll. Dass heißt die richtig grobe Hardware ist da.

Mitte der Woche gab es die WD MyBook 10TB für 179€ und da habe ich zugeschlagen, habe mir 4 gekauft für den Pool und noch mal eine als Backup Platte. Denn meine aktuelle externe Backup-Platte kommt jetzt auch an ihre Grenzen und es kann auch nicht schaden, ein Backup von der Synology in den Schrank zu legen, um den Zustand erst mal einzufrieren.

Seit Donnerstag läuft auf den ersten vier Platten badblocks. Heute kann ich die 5 starten. Die hatte ich bei Amazon noch nachträglich bestellt und die kam etwas später.

Parallel habe ich angefangen, meine Konfigurationsideen des Servers mal in ein .md File zu gießen. Auch wenn bei der realen Umsetzung vermutlich manches noch mal angepasst werden muss, hilft mir das sehr, die ganzen Themen zu sortieren und nicht bei jedem Schritt wieder erst mal Stunden recherchieren zu müssen.

Dass du die Encryption erwähnst, passt da gerade ganz gut. Denn eigentlich war mein Plan, jetzt alle vier Platten mit LUKS zu verschlüsseln und die per Crypttab beim Boot zu mounten. Das Manko der ZFS-Encryption, dass, soweit ich das verstanden habe, unverschlüsselte Metadaten Aufschluss darüber geben, wo Dateien liegen und wie groß diese sind, wäre für mich nämlich nicht so schlimm, ich habe bloß zuletzt noch gelesen, dass die Verschlüsselung bei ZFS ein Performance Killer ist und daher das ad acta gelegt. Vielleicht sollte ich mir das jetzt noch mal anschauen. Kann man da auch ein keyfile auf dem verschlüsselten root anlegen, um den Pool gleich beim Boot zu mounten?

[Lord_Carlos]

dass die Verschlüsselung bei ZFS ein Performance Killer ist und daher das ad acta gelegt. Vielleicht sollte ich mir das jetzt noch mal anschauen. Kann man da auch ein keyfile auf dem verschlüsselten root anlegen, um den Pool gleich beim Boot zu mounten?

Selbst mit CPU ist es immernoch schneller als gigabit. Aber ja, Hardware Beschleunigung ging kurz nicht in einer Übergangsphase. Man musste den Kernel oder ZFS patchen. Jetzt ist es in ZFS 0.8.3, ist schon in unstable. Mal sehen wann es in die Backports kommt.
Ja, mit key file geht auch ohne Probleme.

Wenn es bei dir nicht klappt, dann sag bescheid. Ggf muss ein systemd script ganz leicht angepasst werden.

[Simaryp]

Ok, würde Stable nehmen mit Backports. Da könnte ich das jetzt einrichten und wenn das Update in den Backports ist, ab dann hätte ich Hardwareunterstützung, richtig?

[Lord_Carlos]

Ok, würde Stable nehmen mit Backports. Da könnte ich das jetzt einrichten und wenn das Update in den Backports ist, ab dann hätte ich Hardwareunterstützung, richtig?

Ganz genau so have ich das auch. Stable mit backports + zfs native encrypt, was momentan 0.8.2 ist.

[Simaryp]

Durch das Angebot habe ich jetzt die Platten da und teste die, aber ich hab auch schon überlegt, ob ich erst mal den Netzwerkumbau abschließe und dann erst mit dem Server weiter mache. Kann aber auch nicht abschätzen, wie lange ich dafür brauche. Für beides sind immerhin die Rahmen relativ klar gesetzt. Aber in der Umsetzung gibt es bei den Details noch einige Lücken^^.

Hier mal meine bisherige Ausarbeitung für den Server. Bislang habe ich nur Nutzer und Rechte definiert. Über ZFS habe ich mich ausführlich informiert, da sollte es einigermaßen schnell gehen.

Bei den Backups will ich für die externe USB Platte auf borg setzen. Da habe ich mich auch schon ein wenig eingelesen, die Synology wird ein Borg-Server, wenn erst mal alles fertig ist. Das geht aber erst, wenn der Server so weit steht, dass ich die NAS im Prinzip nicht mehr brauche. Für GDrive habe ich überlegt, ob ich vlt. einfach RClone nehme. Das sollte doch auch direkt verschlüsselte, inkrementelle und versionierte Backups können, da habe ich mich noch nicht eingelesen.

Die Docker-Themen habe ich schon in nem anderen File fertig beschrieben. Das muss ich nur noch live mal überarbeiten, weil ich mit dem Initsetup von TVH nicht zufrieden bin und das lieber manuell mache.

Bei Maintainance habe ich außer ein paar Toolnamen und ein paar Skripte über die ich gestolpert bin noch nichts.

Vermutlich habe ich auch noch was vergessen. Feedback ist sehr willkommen.

#Homeserver Configuration
##Core installation

##ssh hardening

##Network

##Automatic updates

##ZFS Pool Creation and Configuration
###Preparation of Devices
####Luks
####Automatic Decryption
###Creation of pool
###Creation of datasets
The following datasets have to be created:
* tick (ticks stuff)
* trick (tricks stuff)
* track (tracks stuff)
* media (music, movies, and tvshows)
* fotos (photographs and home videos)
* tmp (tmp)

###Automatic Snapshots
###Automatic Scrubbing

##Users and Groups
A lot of groups and users is needed to get a KISS like right management for stored data. The idea is to create one group for each dataset and add all the users to it that should have access to the folder. For not too complicated use cases the access can be controlled with the posix rules and no ACLs are needed. In principle some users don't need a home on the server for current needs but since there is no harm and maybe usefull if needs change, they are created anyway.

###Creation of users
The following users need to be created:
* tick
* trick
* track
* htpc (for access with HTPC)
* docker (for running docker containers)

For each do the following:
adduser <username> --gecos ""
and follow the instructions.

###Creation of groups
For each dataset we need an extra group. Groups can be added with the groupadd command, gid can be specified with the -g <number> option. Since a group for each user is added automatically, the folders with usernames are created already.
Check first if GIDs are available and copy the following to console:
groupadd -g 1003 media
groupadd -g 1004 fotos
groupadd -g 1005 tmp

###Setting rights for files
The idea is that all datasets and the recursive files and folders belong to the group with the dataset name. The owner of the files is set initially to one user that has to be member of that group. By setting the rights to ether 770 or 740 one can define if the other group members can only read or in addition write to the files and folders.

####Adding users to groups
usermod -aG track media fotos tmp tick
usermod -aG track media fotos tmp trick
usermod -aG media htpc
usermod -aG media docker

####Setting owner and file mode
chown -R tick:tick /pool/tick
chown -R trick:trick /pool/trick
chown -R tick:track /pool/track
chown -R tick:media /pool/media
chown -R tick:fotos /pool/fotos
chown -R tick:tmp /pool/tmp

find /pool/tick/ -type d -exec chmod 770 {} +
find /pool/tick/ -type f -exec chmod 660 {} +
find /pool/trick/ -type d -exec chmod 770 {} +
find /pool/trick/ -type f -exec chmod 660 {} +
find /pool/track/ -type d -exec chmod 770 {} +
find /pool/track/ -type f -exec chmod 660 {} +
find /pool/media/ -type d -exec chmod 750 {} +
find /pool/media/ -type f -exec chmod 640 {} +
find /pool/fotos/ -type d -exec chmod 770 {} +
find /pool/fotos/ -type f -exec chmod 660 {} +
find /pool/tmp/ -type d -exec chmod 770 {} +
find /pool/tmp/ -type f -exec chmod 660 {} +

##SMB server

##Backups
###USB-HDD Borg
###Cloud
###Synology Borg backup server

##Docker
###Easyepg
###TVHeadend server
###Emby server

##Maintainance
###Monitoring
###Email allerts
###Suspend

[Lord_Carlos]

Wenn du ZFS und zfs snapshots benutzt, brauchst du dann noch borg?
Vielleicht ist ZFS send besser. (Ich habe beides nicht benutzt)

Damit kannst du snapshots einfach und inkrementell auf ein remote system oder andere platte kopieren. Und es ist auch alles verschluesselt wenn du native ZFS benutzt.

[Simaryp]

Die Synology kann kein ZFS, damit fällt das dort schon mal weg.
Man könnte natürlich überlegen, ob man die USB Platte als ZFS-Pool formatiert und dann ZFS send nutzt. Aber dann müsste ich drei verschiedene Backupsysteme lernen...
Ich dachte ja ursprünglich, ich könnte einfach Duplicati nutzen, aber das ist wohl für große Datensätze nicht zu gebrauchen.

[Simaryp]

@Lord_Carlos: Ich habe beim Arch-Wiki das so verstanden, dass man entweder ein Key oder ein Passwort nutzen, kann man auch beides machen? Bei LUKS geht das ja. Mit Keys ist es praktischer mit dem automatischen boot. Aber ich habe gerne ein Password, welches ich mir merke, damit ich im Zweifel immer noch an die Daten dran komme, wenn das System zerschossen ist.

[Lord_Carlos]

Weis ich leider nicht.
Ich habe vom key ein backup gemacht.

[Simaryp]

Ich denke, ich bleibe bei luks.

So würde ich das ganze einrichten. Ganze HDD als cryptdevice mit komfortablen Namen, Entschlüsselung mit keyfile und komprimierung. Mal schauen, ob das mit dem auto-snapshot-skript so klappt. Scrubb einmal im Monat.

##ZFS Pool Creation and Configuration
###Preparation of Disks
Write down the serial numbers of the disks and note in which bay they are installed.

####Checking for quality
Run badblocks on the disks to be sure they are ok. Because they are big -b 4096 option is needed. All partitions and files will be destroyed.

badblocks -b 4096 -wsv /dev/sdx

####Create luks containers for encryption
Since ZFS natice encryption still has some drawbacks, luks containers are used. All disks will be encrypted as a hole, and decrypted on boot up via a keyfile.

Create the keyfile:

dd if=/dev/urandom of=/root/key bs=1024 count=4
chmod 0400 /root/key

Check the ids of the disks by:
ls /dev/disk/by-id

One should recognize the serial numbers. The cryptdevices get a name according to their bay like cryptbay1. Repeat the following for all pool disks:
1. cryptsetup luksFormat /dev/disk/by-id/<disk>
enter <password>

2. Check if it worked by opening the container with:
cryptsetup open --type luks /dev/disk/by-id/<disk> crypthome
3. Add the key for decryption and create an entry in crypttab:
nano /etc/crypttab
add "cryptbay<number> /dev/disk/by-id/<disk> /root/key luks"
cryptsetup luksAddkey /dev/disk/by-id/<disk> /root/key

4. Reboot to see if it's working properly.

###Creation of pool
Create the pool of 2 striped mirrors:
zpool create -o ashift=12 -O compression=lz4 -O relatime=on pool \
mirror \
cryptbay1 \
cryptbay2 \
mirror \
cryptbay3 \
cryptbay4

###Creation of datasets
The following datasets have to be created:
* tick (ticks stuff)
* trick (tricks stuff)
* track (track' stuff)
* media (music, movies, and tvshows)
* fotos (photographs and home videos)
* tmp (tmp)

zfs create pool/tick
zfs create pool/trick
zfs create pool/track
zfs create pool/media
zfs create pool/fotos
zfs create pool/tmp

###Automatic Snapshots
Use the zfs-auto-snapshot script.

cd /root
wget https://github.com/zfsonlinux/zfs-auto- ... 2.4.tar.gz
tar -xzf 1.2.4.tar.gz
cd zfs-auto-snapshot-upstream-1.2.4
make install

###Automatic Scrubbing
Open crontab with:
crontab -e
Enter the following:
0 2 1 * * /sbin/zpool scrub pool

[Lord_Carlos]

zfs-auto-snapshot ist im debian repo und legt automatisch alle cron jobs an. Aber pass auf, sobald du es installierst faengt es gleich damit an stuendliche, tagliche, wochentliche etc. snapshots zu machen.

Scrubbing wird automatisch zu den cron hinzugefuegt.

Dataset mit grossen Daten, Videos, Music vielleicht grosse Bilder von Camera wuerde ich recordsize gross machen.
sudo zfs set recordsize=1M pool/media

Dedup sollte aus sein, nur um sicher zu sein habe ich nochmal ein sudo zfs set dedup=off tank0 gemacht.

So ganz 100% verstehe ich es nicht, aber dies hier wird wohl empfehlen:
sudo zfs set xattr=sa tank0
sudo zfs set dnodesize=auto tank0
https://www.reddit.com/r/zfs/comments/8 ... dium=web2x
und https://wiki.debian.org/ZFS#Advanced_Topics

In deinen Notizen wuerde ich compression=on schreiben. Momentan das gleiche wie compression=lz4 aber wenn du in ein paar Jahren nochmal ein pool erstellst, kannst du sicher sein das du ein aktuellen cpression algo bekommst.
Edit: Wenn du compression=on machst, dann wird immer der default genommen. "when the default changes, all new writes will use the new algo, but pre-existing data will remain as-is"
Ob das gut oder schlecht ist kann ich nicht sagen.

[Simaryp]

Vielleicht ist das Tutorial von Aaron Toponce https://pthree.org/2013/01/02/zfs-admin ... roperties/ etwas out of date. Ich habe halt das zum Einlesen und Planen genommen. Dort steht zur Recordsize:

recordsize: Specifies a suggested block size for files in the file system. This property is designed solely for use with database workloads that access files in fixed-size records. ZFS automatically tunes block sizes according to internal algorithms optimized for typical access patterns. The size specified must be a power of two greater than or equal to 512 and less than or equal to 128 KB. Changing the file system's recordsize affects only files created afterward; existing files are unaffected. This property can also be referred to by its shortened column name, "recsize".

Damit wäre doch 1M out of range?

Bei Compression nehme ich lieber das lz4, was auch der default ist. Der Ausblick, dass sich der Default ändert und ich das nicht mitkriege und dann einfach damit automatisch sich was am Pool ändert ist eher nicht so toll.

Bezüglich dedup: das sollte ja auch der default sein, aber klar vlt. nehme ich es zur Sicherheit noch mit rein.

Bezüglich xattr da steht bei Toponce es gäbe nur on und off. Beim Arch-Wiki gibt es da auch dieses sa. dnodesize wird gar nicht thematisiert. Muss ich mir mal durchlesen. Ich habe von xattr vor allem im Zusammenhang mit ACL gelesen, die ich ja eignentlich gar nicht nutzen will.

Vielen Dank fürs Feedback.

Edit: Habe das hier gelesen https://jrs-s.net/2019/04/03/on-zfs-recordsize/ und denke mit Filmen, Musik, Fotos, Scans Textdokumenten usw. kann ich auch global mit -O recordsize=1M das groß setzen und es sollte passen. Die paar asci-Files etc. sollten da dann auch passen.

xattr=sa bringt wohl was für performance, macht aber probleme sollte man mal nicht zol nutzen wollen. Letzteres ist für mich kein Problem.

Damit wäre ich dann bei:
zpool create -o ashift=12 -o autoexpand=on -O recordsize=1M -O xattr=sa -O dnodesize=auto -O compression=lz4 -O dedup=off-O relatime=on pool \
mirror \
cryptbay1 \
cryptbay2 \
mirror \
cryptbay3 \
cryptbay4

Das ich das snapshot tool aus den quellen installieren kann ist super, beim suchen in den Quellen hatte ich nur was von zol und zed gelesen.

[Lord_Carlos]

Hier ein 2019 Eintrag zu recordsize: https://jrs-s.net/2019/04/03/on-zfs-recordsize/

xattr=sa hat kein Nachteil, es sei denn du willst es auf nicht linux systemen mounten.

[Simaryp]

^^ Siehe edit .

[Simaryp]

Die ganze Server-Hardware ist bestellt, langsam wirds ernst .

Mal ne Frage zur Installation von ZFS. Auf der ZoL Seite wird für Debian vorgeschlagen das so zu machen:
nano /etc/apt/sources.list.d/buster-backports.list
deb http://deb.debian.org/debian buster-backports main contrib
deb-src http://deb.debian.org/debian buster-backports main contrib

nano /etc/apt/preferences.d/90_zfs
Package: libnvpair1linux libuutil1linux libzfs2linux libzpool2linux spl-dkms zfs-dkms zfs-test zfsutils-linux zfsutils-linux-dev zfs-zed
Pin: release n=buster-backports
Pin-Priority: 990

apt update
apt install --yes dpkg-dev linux-headers-$(uname -r) linux-image-amd64
apt-get install zfs-dkms zfsutils-linux

Da wird also ein pinning vorgenommen. Im Wiki wird geschrieben, man solle sich das gut überlegen. Ist das wirklich notwendig oder würde es auch reichen, einfach backports main hinzuzfügen und zfs-dkms und zfsutils-linux zu installieren?

[Lord_Carlos]

Ich habe nichts mit pinning gemacht. Kenne mich da nicht so aus.
Aber ja, ich benutzte auch backports.

Aber vor wenigen Tagen das hier gefunden. Eigentlich nur dazu damit nicht immer der neuste Kernel installiert wird der ggf nicht mit ZFS zusammen passt.
ZFS wurde von mir auskommentiert.

Code: Alles auswählen

#!/bin/bash

declare -a ZFS KERNEL

#ZFS=(spl spl-dkms zfs-dkms zfsutils-linux libnvpair1linux libuutil1linux libzfs2linux libzpool2linux)

KERNEL=(linux-image-amd64 linux-headers-amd64)

apt-get update

#apt-get install "${ZFS[@]}"
apt-get install "${KERNEL[@]}"

apt-mark hold "${KERNEL[@]}" #"${ZFS[@]}"

ZFS 0.8.3 ist jetzt in Testing :3 Freu mich schon wenn es in Backports ist.