Wie kann ich mein Backup schneller absetzen?

Du suchst ein Programm für einen bestimmten Zweck?
Antworten
Alternativende
Beiträge: 2091
Registriert: 07.07.2006 18:32:05

Wie kann ich mein Backup schneller absetzen?

Beitrag von Alternativende » 23.12.2020 12:52:28

Hallo zusammen,
ich stehe hier vor folgendem Problem mit meiner Backupumgebung.

Folgendes Szenario ist derzeit vorhanden:

Ein Proxmoxserver mit einer 10G NIC und zwei VMs, angeschlossen am internen 10G-Netz woraus viel gesichert werden muss.

Zu den VMs:
Da ist einmal ein Debian mit einem Bareos-Server. Die andere VM ist ein OpenMediaVault (OMV). Beide haben die Virtio-Treiber installiert, die Platten von der OMV-NAS-VM sind direkt an die VM durchgereicht.

Zum Problem:
Derzeit sichert Bareos seine Files über ein SSHFS auf die Platten. Die Daten kommen aus einem Enterprise-Storage. Der Durchsatz ist aber zum Einen weit hinter den, bspw. mit iperf gemessenen Möglichkeiten, von 10G. Aktuell bekomme ich über SSHFS nur gut 1G/s über die Leitung. Ich würde nur ungern eine NFS-Freigabe erstellen und das nur per IP-Access absichern können. Der Transport des Backups ist mittlerweile standardmäßig mit Bareos verschlüsselt, aber die Daten an sich möchte ich nur ungern offen liegen haben.

Frage ist also: Wie würdet ihr das beschleunigen?

Das NAS da rausnehmen und die Platten direkt an den Backupserver durchreichen, vorhandenes RAID übernehmen?

Bin für eure Vorschläge dankbar!

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Wie kann ich mein Backup schneller absetzen?

Beitrag von bluestar » 23.12.2020 13:34:16

Du könntest von VMs auf Container wechseln, damit reduzierst du noch mal ganz deutlich den Overhead...

Wir hatten früher auch Bareos (damals noch Bacula) im Einsatz und auch einen recht miesen Durchsatz, die Ursachenforschung bei uns ergeben, dass der bareos-fd seine Daten gar nicht schneller zum Backup-Server liefert und somit haben wir einfach mehrere Systeme parallel gesichert um die Netzwerk-Anbindung des Backup-Servers wirklich auszulasten.

Alternativende
Beiträge: 2091
Registriert: 07.07.2006 18:32:05

Re: Wie kann ich mein Backup schneller absetzen?

Beitrag von Alternativende » 23.12.2020 16:04:05

Ich verwende Container bisher ganz ehrlich gesagt nur im privaten Umfeld, für eine Nextcloud und ein paar andere Kleinigkeiten. Aber einen zentralen Backupserver, einfach mal zu dockerisieren, weiß nicht ob ich das gut über die Bühne bekomme :lol:.
Deiner Logik kann ich aber folgen.

Wie habt ihr denn gemessen um herauszubekommen das es Bareos Schuld war? Kompression noch von GZIP6 auf LZO umstellen, das sollte auch etwas bringen oder?

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Wie kann ich mein Backup schneller absetzen?

Beitrag von bluestar » 23.12.2020 16:12:53

Alternativende hat geschrieben: ↑ zum Beitrag ↑
23.12.2020 16:04:05
Ich verwende Container bisher ganz ehrlich gesagt nur im privaten Umfeld, für eine Nextcloud und ein paar andere Kleinigkeiten. Aber einen zentralen Backupserver, einfach mal zu dockerisieren,
Kein Docker Container, sondern LXC das wird von Proxmox aus unterstützt und fühlt sich wie ne VM an.
Alternativende hat geschrieben: ↑ zum Beitrag ↑
23.12.2020 16:04:05
Wie habt ihr denn gemessen um herauszubekommen das es Bareos Schuld war?
Wir haben je Server einfach mal einen Ordner mit 10x10GB gesichert, da war die Performance gut, wie wir es erwartet hatten. Bei kleineren Dateien auf dem Server geht die Performance halt in den Keller, bei uns waren es E-Mails, PDFs und Office Dokumente in rauhen Mengen.

Analysiere daher mal „Was du sicherst“

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Wie kann ich mein Backup schneller absetzen?

Beitrag von wanne » 24.12.2020 12:20:32

mit sshfs kommst du vermutlich auch auch nativ net auf 2GBit/s Der unterschied zwischen container und VM ist marginal.
Leider kenne ich auch keinen.schönen weg:
NFS3 kann crypto und Authentifizierung. Ist aber mega schmerzhaft einzurichten. FTP und SSL ist ne lösung die will aber in die 90er zurück. Und die Kompatibilität zwischen sicheren clienten und Servern lässt vorsichtig gesagt zu Wünschen übrig.
Mehrere parallele rsyncs sind für statische Daten ne Lösung. Verursachen sonst aber inkonsistenzen.
rot: Moderator wanne spricht, default: User wanne spricht.

Antworten