[gelöst] Zusätzlicher Backup-Server für das NAS

[hobbyadmin]

Hallo zusammen!
Ich bewundere Eure Ausführungen und verstehe nahezu gar nichts : )
Das ist echt noch zu viel für mich....

Wahrscheinlich werde ich das Skript zunächst einmal manuell starten und rsync durch laufen lassen. Das wird wahrscheinlich eine oder zwei Wochen dauern. Wie gesagt, das Backup ist wirklich riesig.
Erst danach werde ich es in crontab eintragen. Die nachfolgenden Backups müssten dann deutlich schneller fertig sein, weil ja dann nur noch die Änderungen gesichert werden.

[hobbyadmin]

Ich hatte gerade eine Idee.

Ich habe die Möglichkeit, den Inhalt das Quellverzeichnis auf HDD zu kopieren und dann manuell in das Zielverzeichnis zu kopieren.
Das würde den ersten Backup-Prozess von rsync erheblich verkürzen.

Meine Frage:
Kann man das einfach so machen oder kommt rsync dann irgendwie durch einander?

[MSfree]

Wahrscheinlich werde ich das Skript zunächst einmal manuell starten und rsync durch laufen lassen. Das wird wahrscheinlich eine oder zwei Wochen dauern. Wie gesagt, das Backup ist wirklich riesig.
Erst danach werde ich es in crontab eintragen.

Das hätte ich dir sowieso geraten, um genau der cron-Problematik und damit mehrfach laufenden rsyncs aus dem Weg zu gehen.

Ich habe die Möglichkeit, den Inhalt das Quellverzeichnis auf HDD zu kopieren und dann manuell in das Zielverzeichnis zu kopieren.
Das würde den ersten Backup-Prozess von rsync erheblich verkürzen.

Ich denke nicht, daß cp wesentlich schneller als rsync ist.

Kann man das einfach so machen oder kommt rsync dann irgendwie durch einander?

rsync kommt damit nicht durcheinander. Du mußt nur darauf achten, daß des Name der Zielverzeichnises der ersten Kopie in den folgenden rsyncs identisch sind.

[hobbyadmin]

Ich glaube, so wird meine Lösung aussehen.

1.
Den gesamten Inhalt vom Quellverzeichnis /share/Public/ auf eine externe HDD kopieren.

2.
Die externe HDD an den Backup-Server einhängen und den Inhalt von /share/Public/ manuell in das Zielverzeichnis /media/daten/arbeit kopieren.

3.
Das rsync-Skript auf dem QNAP-NAS einrichten.

Ich hoffe jetzt nur, dass rsync auch erkennt, dass die Daten bereits im Zielverzeichnis vorhanden sind.
Gibt es dabei ein bestimmtes Vorgehen, damit rsync die bereits existierenden Daten im Zielverzeichnis auch erkennt?
Vielleicht sollte ich für das Kopieren auf die externe HDD das gleiche Skript nehmen und nur den Zielordner ändern?
Wenn ich das dann manuell in den Zielordner kopiert habe, das Skript wieder in den ursprünglichen Zustand zurück bringen und danach automatisieren?
Was meint Ihr?

[hobbyadmin]

Wahrscheinlich werde ich das Skript zunächst einmal manuell starten und rsync durch laufen lassen. Das wird wahrscheinlich eine oder zwei Wochen dauern. Wie gesagt, das Backup ist wirklich riesig.
Erst danach werde ich es in crontab eintragen.

Das hätte ich dir sowieso geraten, um genau der cron-Problematik und damit mehrfach laufenden rsyncs aus dem Weg zu gehen.

Ich habe die Möglichkeit, den Inhalt das Quellverzeichnis auf HDD zu kopieren und dann manuell in das Zielverzeichnis zu kopieren.
Das würde den ersten Backup-Prozess von rsync erheblich verkürzen.

Ich denke nicht, daß cp wesentlich schneller als rsync ist.

Kann man das einfach so machen oder kommt rsync dann irgendwie durch einander?

rsync kommt damit nicht durcheinander. Du mußt nur darauf achten, daß des Name der Zielverzeichnises der ersten Kopie in den folgenden rsyncs identisch sind.

OK, das kam während meines Schreibens rein.
Also ein Kopiervorgang mit cp auf eine externe HDD mit USB 3.1 ist nicht schneller als ein Backup mit rsync über das Internet?
Wir haben zwar eine einigermaßen schnelle Verbindung (100 Mbit) aber ich dachte, dass USB 3.1 schneller sei. Das habe ich aber auch noch nie getestet oder verglichen. Das war nur so ein Gefühl : )

[MSfree]

Also ein Kopiervorgang mit cp auf eine externe HDD mit USB 3.1 ist nicht schneller als ein Backup mit rsync über das Internet?

OK, da hatte ich die Voraussetzungen nicht auf dem Schirm.

Aber, ein cp über USB3.1 sollte nicht wesentlich schneller sein als ein rsync über USB3.1.

Ob du nun

Code: Alles auswählen

cp -r /share/Public /media/daten/arbeit

ausführst, oder

Code: Alles auswählen

rsync /share/Public /media/daten/arbeit

sollte fast gleich schnell sein.

Im Grunde könntest du so dein Skript sogar schonmal testen. Mehr als die Zielangabe brauchst du ja nicht zu ändern, also statt SSH.... eben /media/daten/arbeit.

[hobbyadmin]

Es wird ernst!
Alles ist vorbereitet. Das Backup mit rsync kann beginnen. Dry-run läuft ohne Fehler durch.

Wenn ich nun auf dem QNAP-NAS das Skript starte mit:

Code: Alles auswählen

./rsync_arbeit.sh

dann startet das Skript und ich sehe den Fortschritt im Terminal.
Aber wie komme ich dann aus der SSH-Verbindung wieder raus ohne das Skript zu stoppen?
Das habe ich noch nie genacht.

[MSfree]

Aber wie komme ich dann aus der SSH-Verbindung wieder raus ohne das Skript zu stoppen?

Das geht leider nicht.

Du hättest das Skript aber mit nohup starten können, dann kann man sich ausloggen und das Skript läuft im Hintergrund weiter.

Code: Alles auswählen

nohup ./rsync_arbeit.sh

Aber so, wie es jetzt ist, mußt du wohl oder überl dein Skript abbrechen.

[hobbyadmin]

Oh man,

den Befehl nohup kennt das sch*** NAS nicht.
Ich verzweifle so langsam an dem Ding!

[heisenberg]

Kann das Dingens screen?

[hobbyadmin]

Keine Ahnung.
Wie soll ich das testen?

Meine neuste Idee:
Ich erstelle einen Eintrag in crontab (das gibt es).
Dort möchte ich einen cronjob erstellen, der nur einmal jährlich ausgeführt wird.
Das wird hoffentlich funktionieren.
Der cronjob soll einmal jährlich, am 23.06., um 20:00 Uhr ausgeführt werden.
Meine Eintrag dafür sieht so aus:

Code: Alles auswählen

0 20 23 6 * /share/homes/admin/rsync_arbeit.sh

In einigen Wochen, wenn rsync mit dem ersten Durchlauf fertig ist, werde ich den cronjob dann auf täglich ändern.
Schaut bitte wieder die Syntax an. Ist das so in Ordnung?

[JTH]

Keine Ahnung.
Wie soll ich das testen?

Das ist ein Kommando. Also probierst du,

Code: Alles auswählen

~$ screen

auszuführen

In einer screen-Session kannst du etwas ausführen, dich davon detachen, SSH-Verbindung trennen und später wieder zu der screen-Session attachen. Wäre eine Lösung für das, was du vorhattest. (Und screen kann vieles mehr.)

[heisenberg]

Siehe z. B. hier:

https://wiki.ubuntuusers.de/Screen/

[MSfree]

Das ist ein Kommando. Also probierst du,

Code: Alles auswählen

~$ screen

auszuführen

Ich fürchte, wenn es schon kein nohup auf dem QNAP gibt, werden tmux und screen genauso fehlen.

Aber ein jährlich, also quasi einmalig laufender cron-Job geht natürlich auch.

[hobbyadmin]

Richtig vermutet, screen gibt es auch nicht.
Was ist das für ein komisches Linux...

Ich habe jetzt den cronjob eingerichtet. Mal abwarten, ob das funktioniert.
Vielleicht melde ich mich in ein paar Wochen wieder.
Oder ich werfe das Ding zum Fenster raus : )

[MSfree]

Was ist das für ein komisches Linux...

Ein ziemlich minimalistisches. Das QNAP soll ja im normalen Betrieb nicht viel mehr als Dateien über SMB und NFS zur Verfügung stellen, und dazu braucht es halt nur wenig Software. Das ist bei der Konkurrenz Synology auch ähnlich, wobei die zumindest nohup kennt.

Ich habe jetzt den cronjob eingerichtet. Mal abwarten, ob das funktioniert.

Wenn dein Skript keine Fehler hat, wird das schon klappen.

[hobbyadmin]

Ich habe das Skript in crontab eingetragen.
Ich hoffe, dass es funktioniert aber ich weiß es ja nicht.
Wie kann ich denn überprüfen, ob rsync fehlerfrei läuft?

[MSfree]

Wie kann ich denn überprüfen, ob rsync fehlerfrei läuft?

Wenn es mal läuft, ist das nicht so einfach. Du bekommst zwar raus, ob rsync läuft, aber nicht, was es gerade tut.

Ich habe in meinem Skript rsync mit -v als Parameter gestartet und leite die Ausgabe in eine Logdatei um.

Code: Alles auswählen

rsync -v [...] > LogDatei

Damit kann ich während des Laufs schon die Logdatei mit

Code: Alles auswählen

tail -f LogDatei

verfolgen.

[hobbyadmin]

OK, ich habe es kontrolliert, es funktioniert nicht.
Und es liegt irgendwie am NAS. Jetzt habe ich keine Lust mehr.

Letzte Frage:
Wie kann ich einen einzelnen Eintrag aus crontab löschen?

[hobbyadmin]

Asche auf mein Haupt.
Es lag diesmal an mir.
Das Zielverzeichnis hatte die falschen Rechte.
Ich versuche es nochmal!

[MSfree]

Asche auf mein Haupt.
Es lag diesmal an mir.

Dann pack auch gleich noch die Ausgabeumleitung in eine Logdatei mit ins Skript.

Ich versuche es nochmal!

Ja, nur nicht aufgeben.

[hobbyadmin]

Das ist eine super Idee. Bin ich natürlich nicht selbst drauf gekommen...

Wie und wo muss ich das in meinen Befehl einfügen?
Ich möchte jetzt keinen Fehler mehr machen.

Code: Alles auswählen

rsync -avzSAXHP -e "ssh -p PORT" --stats --log-file=/share/homes/admin/rsync_arbeit_$(date "+%F-%H_%M_%S").log /share/Public/ arbeit@ip.adresse:/mnt/arbeit/

[MSfree]

Wie und wo muss ich das in meinen Befehl einfügen?

--log-file ist schon der richtige Ansatz.

Ich möchte jetzt keinen Fehler mehr machen.

Du kannst dein Skript doch erstmal auf der Kommandozeile starten und nach ein paar Mintuen abbrechen, nachdem die ersten paar Dateien übertragen wurden.

Wenn du kurz darauf dein Skript neu startest, macht es an der Stelle weiter, wo es vorher abgebrochen wurde, das ist doch der Vorteil von rsync. Das erlaubt dir, auch mal einen Fehler zu machen und ggfls. das bisher kopierte zu löschen und es nochmal zu probieren.

Wenn dann alles zu deiner Zufriedenhait läuft, baust du das Skript in die crontab ein und läßßt es endgültig laufen.

[hobbyadmin]

Hurra, es funktioniert!
Seit gestern Abend läuft das Backup und bisher scheinbar ohne Probleme. Bei Netzwerkunterbrechung durch den DSL-Anbieter (nachts um 3 Uhr) wartet rsync 180 Sekunden und startet dann wieder neu.
Und das Backup läuft offensichtlich in sehr hoher Geschwindigkeit. Wenn das so weiter geht, ist es in ca. 6 Tagen fertig. Das wäre echt phenomenal!
Kein Vergleich zu der komischen Backup-App von QNAP.

Vielen Dank für Eure Hilfe!
Ich melde mich nochmal, wenn das Backup durch ist.

[hobbyadmin]

Ich brauche nochmal Hilfe. Es funktioniert leider nicht so wie gedacht.

Mein Backup-Script startet und kopiert auch fleißig Daten auf den Zielrechner.
Nach 24 Stunden erfolgt jedoch immer eine Zwangsunterbrechung durch den DSL-Anbieter.
Danach scheint rsync aus dem Tritt zu kommen, ich habe auch eine Idee was da passiert:

1.
Vom Server erfolgt täglich um 19 Uhr ein Backup auf das QNAP-NAS im lokalen Netzwerk.
Das soll auch so gemacht werden.

2.
rsync beginnt um 21 Uhr mit der Syncronitation der Daten vom QNAP-NAS auf den entfernten Rechner,
wird aber aufgrund der Datenmenge in 24 Stunden damit nicht fertig.

3.
Der Server macht nach 24 Stunden ein neues Backup auf das QNAP-NAS.
Wie gesagt, das soll er auch so machen.

4.
Der DSL-Anbieter unterbricht nach 24 Stunden die DSL-Verbindung. Rsync bricht ab, wartet 180 Sekunden und startet dann wieder.
ABER, mittlerweile gibt es ja wieder neue Daten auf dem QNAP-NAS. Der Server hat ja mittlerweile ein neues Backup rüber geschoben.

5.
Also beginnt rsync wieder von vorne, liest die File-Listen neu ein, usw.


D.h. rsync kommt nicht vom Fleck. Selbst wenn im Zielverzeichnis 400 oder 500 GB angekommen sind, ist rsync einen Tag später wieder bei 140 oder 180 GB.
Wie ihr sehen könnt, habe ich mir schon eine Erklärung zurecht gebastelt aber was kann ich denn jetzt machen?
Wie bekomme ich rsync dazu, dass es (zumindest beim ersten Mal) stumpf durch läuft?

Vielen Dank für Eure Hilfe!