btrfs send legt Server lahm

Probleme mit Samba, NFS, FTP und Co.
Antworten
Klausimausi
Beiträge: 3
Registriert: 21.01.2019 20:42:59

btrfs send legt Server lahm

Beitrag von Klausimausi » 21.01.2019 21:10:59

Hallo liebe Community,

wie auch der ein oder andere versuche ich einen Server (Debian 9.5) mit btrfs (Standard aus der offiziellen Paketquelle) aufzusetzen und zu btreiben. Auf diesem Server laufen diverse virtuelle Maschinen (KVM), die sich in qcow2-Dateien in separaten Subvolumes auf einem btrfs-Pool tummeln. So kann man während des Betriebs einen Snapshot der VM's erstellen und diesen dann im Betrieb auf einen Backup-Server schicken. Das funktioniert auch bis jetzt sehr gut mit Windows und Ubuntu-VM's (bis zu 300GB pro VM).

Jetzt gibt es noch eine 15TB qcow2-Datei mit ganz vielen Daten (welche in einer Windows-VM eingebunden ist), die bisher nicht gesichert wurde. Beim Versuch diese auf dieselbe Weise zu sichern, laufen alle VM's nur noch sehr langsam - oder reagieren gar nicht mehr. Der Befehl "btrfs send ... " nutzt nach HTOP 100% CPU eines Kerns (von 16) und übertragt die Daten mit 1Byte/s bis 100MB/s. Leider schafft er im Schnitt beim initialen Backup nur 100GB/10h. Der Zielserver befindet sich im idle und wartet die ganze Zeit auf Daten, die Verbindung ist nicht ausgelastet. Das ist für meinen Geschmack viel zu langsam und unpraktikabel.

Das Dateisystem selbst gibt keine Fehler beim Selbsttest aus (btrfs scrub).

Ich bin für eine Hilfe - auch für den Ansatz zur Findung der Ursache - sehr dankbar :hail: und kann alle noch fehlenden und nötigen Informationen bereitstellen.

Herzlichen Dank
Klaus

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: btrfs send legt Server lahm

Beitrag von rendegast » 22.01.2019 13:24:44

Sind die VM mit dem 'C'- resp. No_COW-Attribut versehen/angelegt?
(Am einfachsten, wenn die Verzeichnisse, in denen VM-Images erstellt werden, damit versehen werden)
Siehe 'man chattr'.

Du könntest auch mit dem Einstellungen für den Host-Cache herumspielen.



----------------------------------
Vielleicht ist btrfs für das Vorhalten von VM-Images nicht ideal,
-> ext4 oder xfs?
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: btrfs send legt Server lahm

Beitrag von Colttt » 22.01.2019 15:45:49

bitte probiere den kernel + btrfs-tools aus den Backports und prüfe das ganze dann nochmal..

und respekt das du btrfs produktiv nutzt, umso mehr ich mir das angucke um so "komischer" find ich das
Debian-Nutzer :D

ZABBIX Certified Specialist

Klausimausi
Beiträge: 3
Registriert: 21.01.2019 20:42:59

Re: btrfs send legt Server lahm

Beitrag von Klausimausi » 22.01.2019 21:41:12

Vielen Dank für die Antworten.

Ich habe mal einen neuen Pool angelegt, welcher mit nodatacow gemountet wird. Der Transfer der Daten dahin wird etwas Zeit in Anspruch nehmen. Leider tritt das Problem auch beim lokalen Kopieren im Server von einem Pool auf dem anderen auf, sodass ich derzeit mit rsync kopiere, was deutlich schneller agiert.

Den Backport werde ich die Tage ebenfalls mal installieren und den Befehl erneut testen.

Beste Grüße
Klaus

Klausimausi
Beiträge: 3
Registriert: 21.01.2019 20:42:59

Re: btrfs send legt Server lahm

Beitrag von Klausimausi » 30.01.2019 14:22:18

Hallo nochmal,

die ersten Tests mit der Option nodatacow verliefen positiv, d.h. das Netzwerk begrenzt die Übertragungsgeschwindigkeit und die laufenden VM's büßen sehr wenig Performance ein.

Den Backport werde ich daher nicht testen und das Update in diesem Jahr abwarten.

Vielen Dank für die ganzen Tipps. Der Thread kann somit zu den Akten gelegt werden.
Klaus

Antworten