Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Probleme mit Samba, NFS, FTP und Co.
Antworten
kale
Beiträge: 11
Registriert: 07.03.2019 17:35:11

Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von kale » 08.03.2019 15:59:05

Hallo

Ich habe mir einen Debian 9 Homeserver aufgesetzt, installiert auf einem Sandisk Extreme 64 GB USB-Stick.
Läuft soweit auch ganz gut mit meiner Hardware.

Ich möchte sämtliche interne und externe Festplatten, die sich bisher auf PC und Laptop verteilen im NAS bündeln.
Die HDs möchte ich alle mit Luks verschlüsseln, bis auf die Sat-Aufnahmen HD.

Ich habe eine 8 TB HD gekauft, auf die jetzt alle HDs einzeln kopiert werden, mit Luks verschlüsselt und wieder zurück kopiert werden.

Bisher bin ich mit ext2 sehr gut gefahren, was Stabilität und Geschwindigkeit angeht.

Luks wird mit ext4 angelegt. Bedeutet das nicht unnötiges Journaling und Schreibzugriffe? Die Hds sind nur für Daten.

Testweise habe ich eine 4 TB WD Portable HD mit Luks verschlüsselt.

Anschliesend mit sudo tune2fs -O ^has_journal /dev/mapper/luks-ec30... das Journal entfernt.

Dann noch mit sudo tune2fs -m 0.3 /dev/sdx das Dateisystem verkleinert.

Nach einem Reboot funktionierte die Luks-HD nicht mehr, Fehlermeldung betraf falsche Inoden und Böcke.

Mit sudo e2fsck -f -y /dev/sdx habe ich versucht zu reparieren. Als das Programm nach 1 Stunde immer noch lief habe ich abgebrochen und in ext2 formatiert.

Nun weiß ich nicht ob die falschen Blöcke und Inoden das Resultat vom Journaling deaktivieren und der Dateisystemverkleinerung sind oder andere Ursache haben. Ich kann mich noch erinnern das obwohl der Laptop aus war die LED der HD noch geblinkt hat und ich sie abgezogen habe. Kann es daran liegen?

Wie gesagt ich würde gerna alle HDs in Luks verschlüsseln und dann das Dateisystem verkleinern und das Journaling abschalten.
Kann man das mit ruhigem Gewissen machen oder gibt es handfeste Gründe die dagegen sprechen?

Benutzeravatar
jph
Beiträge: 1049
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von jph » 08.03.2019 17:52:25

kale hat geschrieben: ↑ zum Beitrag ↑
08.03.2019 15:59:05
Wie gesagt ich würde gerna alle HDs in Luks verschlüsseln und dann das Dateisystem verkleinern und das Journaling abschalten.
Kann man das mit ruhigem Gewissen machen oder gibt es handfeste Gründe die dagegen sprechen?
Gibt es an und für sich nicht, aber ohne dir nahetreten zu wollen, solltest du da erst mal die Finger von lassen. Deinem obigen Erfahrungsbericht zufolge fehlt dir ein grundlegendes Verständnis von Dateisystemen und Geräten, da weiß ich gar nicht, wo ich mit dem Erklären anfangen soll. Und tune2fs -m verkleinert nicht das Dateisystem.

Ich rate dir dringend, zu lesen, lesen, lesen und nochmals zu lesen, sowie Experimente in einer VM zu beginnen. Die kann man einfach snapshotten und wiederherstellen.

kale
Beiträge: 11
Registriert: 07.03.2019 17:35:11

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von kale » 08.03.2019 18:21:08

Danke für den Hinweis

Bin schon seit Tagen am Lesen, Habe mich jetzt aber wegen Details wo ich nicht weiter komme hier angemeldet.

Das mit dem tune2fs -m mache ich schon lange wenn ich HDs in ext2 formatiere und habe damit jedes mal etliche GB mehr freien Speicherplatz herausgeholt.

Wegen dem Journaling hatte ich gelesen, dass es eher kontraproduktiv ist wenn es sich nicht um eine System (Boot) Partition handelt wegen unnötigen Schreibzugriffen und damit Verschleis der HDs.

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von Tintom » 08.03.2019 19:19:39

kale hat geschrieben: ↑ zum Beitrag ↑
08.03.2019 18:21:08
Das mit dem tune2fs -m mache ich schon lange wenn ich HDs in ext2 formatiere und habe damit jedes mal etliche GB mehr freien Speicherplatz herausgeholt.
Um mal etwas Licht ins Dunkel zu bringen: In den Standardeinstellungen wird beim Formatieren mit ext*-Dateisystemen ein bestimmter Prozentsatz (5% ?) des zur Verfügung stehenden Speichers den normalen Usern und Prozessen vorenthalten. Das hat folgende Bewandtnis: Schreibt ein Prozess die gesamte Festplatte voll, ist das System ohne Puffer nur noch schwer kontrollierbar. Mit dem Sicherheitspuffer hingegen bleibt das System für priviligierte Prozesse/User noch benutzbar. Mit deinem Befehl verkleinerst du den Puffer und gibst diesen Speicherplatz wieder frei. Am Dateisystem änderst du dadurch nichts.

Ich weiß nicht, wo du das Argument mit der verminderten Lebensdauer einer HD bei LUKS + FS-Journal hernimmst, aber die HD meines Notebooks läuft in diesem Aufbau seit ~ 9 Jahren.

Benutzeravatar
jph
Beiträge: 1049
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von jph » 08.03.2019 23:29:47

Andere Theorie: wer 2019 ernsthaft vorgibt, ext2 einzusetzen, muss ein Troll sein. (Wer außer mir erinnert sich noch an die nervigen erzwungenen fsck alle soundso Tage/soundso Mounts? Das war auf einem P6-Celeron und vergleichbaren Geschossen nicht vergnügungssteuerpflichtig.)

Radfahrer

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von Radfahrer » 09.03.2019 00:07:04

Was mich interessiert:
Warum möchtest du Festplatten, die bei dir zuhause stehen, verschlüsseln? Dir ist schon klar, dass die Verschlüsselung nur schützt, wenn die Festplatte nicht läuft, oder?
Bei einem Notebook, das man durch die Gegend schleppt ist das natürlich absolut empfehlenswert. Obwohl ich auch Leute kennen, die ihr Notebook verschlüsseln und es dann im Suspend to RAM-Zustand rumtragen, weil ihnen das Hochfahren sonst zu lange dauert. :lol:
Aber zuhause? OK, man kann sich natürlich den Fall vorstellen, dass eingebrochen und die Platte geklaut wird. Aber das ist so unwahrscheinlich, dass ich mir deswegen nicht die ganzen Unbequemlichkeiten einer Verschlüsselung (z.B. Backupgeschichten) antuen würde. Auch dürften die meisten der Daten sowieso nicht kritisch sein.
Für die wenigen Daten, die wirklich nicht in fremde Hände geraten dürfen, habe ich einen verschlüsselten Ordner auf der Platte. Das hat den Vorteil, dass man auch bei laufendem System ohne Schlüssel nicht drankommt.

Was ext2 angeht, stimme ich jph zu. Man muss schon ziemlich schmerzfrei sein, um das heute noch zu benutzen. :mrgreen:

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von bluestar » 09.03.2019 12:17:06

Radfahrer hat geschrieben: ↑ zum Beitrag ↑
09.03.2019 00:07:04
Was mich interessiert:
Warum möchtest du Festplatten, die bei dir zuhause stehen, verschlüsseln?
Die Antwort kann ich dir geben, nun auch wir verschlüsseln alle Platten per se, einfach um keine Datenschutzprobleme bei Defekt/Austausch zu bekommen.

kale
Beiträge: 11
Registriert: 07.03.2019 17:35:11

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von kale » 09.03.2019 13:27:10

In meinem Fall ist es so das ich seit 10 Jahren Linuxmint benutze und noch nie Probleme mit ext2 hatte. Ich nehme ext2 für interne und extern Hds, ssd und usb sticks.

Ich habe jetzt eine Anleitung gefunden wie man HDs über Terminal mit Luks formatiert und dabei ext2 auswählen kann.
Es hat funktioniert und das Journaling deaktivieren hat sich damit erledigt.

Habe heute eine 5 TB HD mit Luks-ext2 formatiert. Danach waren 250 GB belegt.
Mit sudo tune2fs -m 0.8 habe ich 210 GB Speicherplatz freigegeben. Es sind nur noch 40 GB belegt.
210 GB haben und nicht haben ;-)

Das Problem was sich jetzt ergibt, die 5 TB HD wird über Samba nur mit 31 GB verfügbarem Speicher angezeigt, das betrifft auch alle anderen internen und externen Datenträger und Ordner. Ich kann quasi nichts kopieren was größer wie 31 GB ist.

Wenn jemand hierzu eine Lösung hat, das wäre super.

Wegen dem warum mit Luks verschlüssen.

Ich bin damals mit den Snowden Veröffentlichungen hellhörig geworden.
Irgendwann später bekam ich eine ungerechtfertigte Abmahnung von einer Anwaltskanzlei, ich hätte irgendeinen Heidi Film auf Redtube gestreamt.
Dem Anwalt wurde später die Anwaltslizenz entzogen, aber ich blieb auf ein paar 100 Euro Anwaltskosten sitzen.

Ab da hatte ich mir vorgenommen nie mehr "nackt" im Internet unterwegs zu sein und benutze bis heute konsequent openvpn routerseitig.
Nur für Amazon Prime Video habe ich eine "nackte" Leitung.

Seit dem Snowden Fall informiere ich mich regelmäßig auf Seiten wie privacy-handbuch, kuketz-blog, Tarnkappe.info usw.
Ich finde die Thematik sehr interessant.

Wenn man bedenkt das der Staat wegen einem nicht bezahltem Knöllchen Clouds und Emailpostfächer durchsuchen kann, Stichwort "Bestandsdatenauskunft".

Deshalb will ich mein privatestes so gut wie möglich schützen, eben auch mit Verschlüsselung.
Bargeld kommt ja auch in den Tresor und bleibt nicht vor dem Tresor liegen, weil ein Einbruch eh unwahrscheinlich ist ;-)

Derselben Meinung wie der Vorredner bin ich auch.
Eine 1 Monat alte WD Blue ist von jetzt auf gleich nicht mehr angelaufen. Weil ich private Unterlagen darauf gespeichert hatte, habe ich sie trotz Garantie nicht eingesendet und 110 Euro in den Wind geschossen.

Mit Luks verschlüsselt hätte ich keine Bedenken gehabt.
Ich denke viele Hersteller haben das schon einkalkuliert und sparen sich ne schöne Stange Geld.

Das mit dem Container erstellen ist eine gute Idee. Das könnte ich noch zusätzlich auf der Luks HD machen.
Hoffe dass das Container erstellen und entschlüsseln über Client per ssh geht.

dirk11
Beiträge: 2812
Registriert: 02.07.2013 11:47:01

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von dirk11 » 09.03.2019 21:19:10

kale hat geschrieben: ↑ zum Beitrag ↑
09.03.2019 13:27:10
Ab da hatte ich mir vorgenommen nie mehr "nackt" im Internet unterwegs zu sein und benutze bis heute konsequent openvpn routerseitig.
:facepalm: Schon wieder einer, der VPN nicht verstanden hat...

Bzgl. LUKS stimme ich zu.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von bluestar » 10.03.2019 11:24:50

kale hat geschrieben: ↑ zum Beitrag ↑
09.03.2019 13:27:10
Habe heute eine 5 TB HD mit Luks-ext2 formatiert. Danach waren 250 GB belegt.
Die waren nicht belegt, sondern "reserviert für root", wenn du die Platte rein für Benutzerdaten verwendest, dann kannst du auch direkt sudo tune2fs -m 0.0 machen.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von bluestar » 10.03.2019 11:29:30

kale hat geschrieben: ↑ zum Beitrag ↑
09.03.2019 13:27:10
Das Problem was sich jetzt ergibt, die 5 TB HD wird über Samba nur mit 31 GB verfügbarem Speicher angezeigt, das betrifft auch alle anderen internen und externen Datenträger und Ordner. Ich kann quasi nichts kopieren was größer wie 31 GB ist.

Wenn jemand hierzu eine Lösung hat, das wäre super.
Was sagt denn smbstatus -p auf dem Samba-Server, wenn eine Verbindung zu einer Freigabe besteht, insbesondere Protocol Version ist interessant.

Wenn dort SMB3_02, dann wird bei mir die korrekte Größe angezeigt, anderenfalls verwendest du eine zu alte Version des Samba Protokolls.

kale
Beiträge: 11
Registriert: 07.03.2019 17:35:11

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von kale » 10.03.2019 14:35:46

Danke für den Tip

Server:
Samba version 4.5.16-Debian, neueste Version von https://pkgs.org/download/samba
smbstatus -p Protocol = NT1

Client:
smbclient_4.3.11 Ubuntu 16.04 LTS (Xenial Xerus)

Bei Client Samba-Verbindung auf die Dreambox 900 und den Router werden die Verzeichnisse mit richtiger Größe und verfügbarem Speicherplatz angezeigt.

smbstatus lässt sich bei dream und router jedoch nicht auslesen: bash: smbstatus: command not found

in der Server smb.conf hab ich noch versucht

[global]
min protocol = SMB2
max protocol = SMB2
client min protocol = SMB2
client max protocol = SMB2

Hat auch nichts gebracht. Client Samba bekommt Verbindung, es wird aber nur eine leere Seite mit 0 Dateien angezeigt.

kale
Beiträge: 11
Registriert: 07.03.2019 17:35:11

Re: Luks Festplatten: Dateisystem verkleinern und Journaling deaktivieren sinnvoll?

Beitrag von kale » 11.03.2019 13:10:47

Jetzt hab ich es hin bekommen. Die Größe und der verfügbare Speicherplatz werden richtig angezeigt. :)

Es lag an Einstellungen in der smb.conf

die mountpoints müssen direkt auf die Festplatte gehen, z.B. path = /mnt/hd1 und nicht path = /mnt

mit der smb.conf funktioniert es:

#======================= Global Settings =======================
[global]

workgroup = smb
server string = debian
dns proxy = no
log level = 0
log file = /var/log/samba/log.%m
max log size = 1000
logging = syslog
panic action = /usr/share/samba/panic-action %d
encrypt passwords = true
passdb backend = tdbsam
obey pam restrictions = no
unix password sync = no
passwd program = /usr/bin/passwd %u
passwd chat = *Enter\snew\s*\spassword:* %n\n *Retype\snew\s*\spassword:* %n\n *password\supdated\ssuccessfully* .
pam password change = yes
socket options = TCP_NODELAY IPTOS_LOWDELAY
guest account = nobody
load printers = no
disable spoolss = yes
printing = bsd
printcap name = /dev/null
unix extensions = yes
wide links = no
create mask = 0777
directory mask = 0777
use sendfile = yes
aio read size = 16384
aio write size = 16384
local master = no
time server = no
wins support = no
client min protocol = CORE
max disk size = 0


[home]
comment = HOME
path = /home
read only = no
guest ok = no
user = otto


[HD1]
comment = The hard disk drive
path = /mnt/hd1
read only = no
guest ok = no
user = otto sabine paul

[HD2]
comment = The hard disk drive
path = /mnt/hd2
read only = no
guest ok = no
user = otto sabine paul

[HD3]
comment = The hard disk drive
path = /mnt/hd3
read only = no
guest ok = no
user = otto

[USB]
comment = USB
path = /media/otto/luks-hd
read only = No
public = no
guest ok = no
user = otto

Jetzt bleibt nur noch das Problem das sich ein samba client erst verbinden kann wenn nach dem server booten manuell ein sudo systemctl restart smbd.service auf dem server durchgeführt wurde.

Wie ist das einzustellen das samba während oder nach dem booten automatisch gestartet wird?

Antworten