[gelöst] Zusätzlicher Backup-Server für das NAS

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 23.06.2021 18:49:25

Keine Ahnung.
Wie soll ich das testen?

Meine neuste Idee:
Ich erstelle einen Eintrag in crontab (das gibt es).
Dort möchte ich einen cronjob erstellen, der nur einmal jährlich ausgeführt wird.
Das wird hoffentlich funktionieren.
Der cronjob soll einmal jährlich, am 23.06., um 20:00 Uhr ausgeführt werden.
Meine Eintrag dafür sieht so aus:

Code: Alles auswählen

0 20 23 6 * /share/homes/admin/rsync_arbeit.sh
In einigen Wochen, wenn rsync mit dem ersten Durchlauf fertig ist, werde ich den cronjob dann auf täglich ändern.
Schaut bitte wieder die Syntax an. Ist das so in Ordnung?

JTH
Moderator
Beiträge: 3014
Registriert: 13.08.2008 17:01:41
Wohnort: Berlin

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von JTH » 23.06.2021 18:55:32

hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
23.06.2021 18:49:25
Keine Ahnung.
Wie soll ich das testen?
Das ist ein Kommando. Also probierst du,

Code: Alles auswählen

~$ screen
auszuführen :wink:

In einer screen-Session kannst du etwas ausführen, dich davon detachen, SSH-Verbindung trennen und später wieder zu der screen-Session attachen. Wäre eine Lösung für das, was du vorhattest. (Und Debianscreen kann vieles mehr.)
Manchmal bekannt als Just (another) Terminal Hacker.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von heisenberg » 23.06.2021 19:21:21

... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von MSfree » 23.06.2021 19:38:37

JTH hat geschrieben: ↑ zum Beitrag ↑
23.06.2021 18:55:32
Das ist ein Kommando. Also probierst du,

Code: Alles auswählen

~$ screen
auszuführen :wink:
Ich fürchte, wenn es schon kein nohup auf dem QNAP gibt, werden tmux und screen genauso fehlen.

Aber ein jährlich, also quasi einmalig laufender cron-Job geht natürlich auch.

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 23.06.2021 20:19:54

Richtig vermutet, screen gibt es auch nicht.
Was ist das für ein komisches Linux...

Ich habe jetzt den cronjob eingerichtet. Mal abwarten, ob das funktioniert.
Vielleicht melde ich mich in ein paar Wochen wieder.
Oder ich werfe das Ding zum Fenster raus : )

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von MSfree » 23.06.2021 20:31:38

hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
23.06.2021 20:19:54
Was ist das für ein komisches Linux...
Ein ziemlich minimalistisches. Das QNAP soll ja im normalen Betrieb nicht viel mehr als Dateien über SMB und NFS zur Verfügung stellen, und dazu braucht es halt nur wenig Software. Das ist bei der Konkurrenz Synology auch ähnlich, wobei die zumindest nohup kennt.
Ich habe jetzt den cronjob eingerichtet. Mal abwarten, ob das funktioniert.
Wenn dein Skript keine Fehler hat, wird das schon klappen.

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 24.06.2021 10:05:18

Ich habe das Skript in crontab eingetragen.
Ich hoffe, dass es funktioniert aber ich weiß es ja nicht.
Wie kann ich denn überprüfen, ob rsync fehlerfrei läuft?

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von MSfree » 24.06.2021 10:18:59

hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
24.06.2021 10:05:18
Wie kann ich denn überprüfen, ob rsync fehlerfrei läuft?
Wenn es mal läuft, ist das nicht so einfach. Du bekommst zwar raus, ob rsync läuft, aber nicht, was es gerade tut.

Ich habe in meinem Skript rsync mit -v als Parameter gestartet und leite die Ausgabe in eine Logdatei um.

Code: Alles auswählen

rsync -v [...] > LogDatei
Damit kann ich während des Laufs schon die Logdatei mit

Code: Alles auswählen

tail -f LogDatei
verfolgen.

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 24.06.2021 11:29:52

OK, ich habe es kontrolliert, es funktioniert nicht.
Und es liegt irgendwie am NAS. Jetzt habe ich keine Lust mehr.

Letzte Frage:
Wie kann ich einen einzelnen Eintrag aus crontab löschen?

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 24.06.2021 16:11:58

Asche auf mein Haupt.
Es lag diesmal an mir.
Das Zielverzeichnis hatte die falschen Rechte.
Ich versuche es nochmal!

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von MSfree » 24.06.2021 16:19:04

hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
24.06.2021 16:11:58
Asche auf mein Haupt.
Es lag diesmal an mir.
Dann pack auch gleich noch die Ausgabeumleitung in eine Logdatei mit ins Skript.
Ich versuche es nochmal!
Ja, nur nicht aufgeben. :THX:

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 25.06.2021 09:27:07

Das ist eine super Idee. Bin ich natürlich nicht selbst drauf gekommen...

Wie und wo muss ich das in meinen Befehl einfügen?
Ich möchte jetzt keinen Fehler mehr machen.

Code: Alles auswählen

rsync -avzSAXHP -e "ssh -p PORT" --stats --log-file=/share/homes/admin/rsync_arbeit_$(date "+%F-%H_%M_%S").log /share/Public/ arbeit@ip.adresse:/mnt/arbeit/

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von MSfree » 25.06.2021 09:46:39

hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
25.06.2021 09:27:07
Wie und wo muss ich das in meinen Befehl einfügen?
--log-file ist schon der richtige Ansatz.
Ich möchte jetzt keinen Fehler mehr machen.
Du kannst dein Skript doch erstmal auf der Kommandozeile starten und nach ein paar Mintuen abbrechen, nachdem die ersten paar Dateien übertragen wurden.

Wenn du kurz darauf dein Skript neu startest, macht es an der Stelle weiter, wo es vorher abgebrochen wurde, das ist doch der Vorteil von rsync. Das erlaubt dir, auch mal einen Fehler zu machen und ggfls. das bisher kopierte zu löschen und es nochmal zu probieren.

Wenn dann alles zu deiner Zufriedenhait läuft, baust du das Skript in die crontab ein und läßßt es endgültig laufen.

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 26.06.2021 12:27:58

Hurra, es funktioniert!
Seit gestern Abend läuft das Backup und bisher scheinbar ohne Probleme. Bei Netzwerkunterbrechung durch den DSL-Anbieter (nachts um 3 Uhr) wartet rsync 180 Sekunden und startet dann wieder neu.
Und das Backup läuft offensichtlich in sehr hoher Geschwindigkeit. Wenn das so weiter geht, ist es in ca. 6 Tagen fertig. Das wäre echt phenomenal!
Kein Vergleich zu der komischen Backup-App von QNAP.

Vielen Dank für Eure Hilfe!
Ich melde mich nochmal, wenn das Backup durch ist.

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 30.06.2021 17:40:34

Ich brauche nochmal Hilfe. Es funktioniert leider nicht so wie gedacht.

Mein Backup-Script startet und kopiert auch fleißig Daten auf den Zielrechner.
Nach 24 Stunden erfolgt jedoch immer eine Zwangsunterbrechung durch den DSL-Anbieter.
Danach scheint rsync aus dem Tritt zu kommen, ich habe auch eine Idee was da passiert:

1.
Vom Server erfolgt täglich um 19 Uhr ein Backup auf das QNAP-NAS im lokalen Netzwerk.
Das soll auch so gemacht werden.

2.
rsync beginnt um 21 Uhr mit der Syncronitation der Daten vom QNAP-NAS auf den entfernten Rechner,
wird aber aufgrund der Datenmenge in 24 Stunden damit nicht fertig.

3.
Der Server macht nach 24 Stunden ein neues Backup auf das QNAP-NAS.
Wie gesagt, das soll er auch so machen.

4.
Der DSL-Anbieter unterbricht nach 24 Stunden die DSL-Verbindung. Rsync bricht ab, wartet 180 Sekunden und startet dann wieder.
ABER, mittlerweile gibt es ja wieder neue Daten auf dem QNAP-NAS. Der Server hat ja mittlerweile ein neues Backup rüber geschoben.

5.
Also beginnt rsync wieder von vorne, liest die File-Listen neu ein, usw.


D.h. rsync kommt nicht vom Fleck. Selbst wenn im Zielverzeichnis 400 oder 500 GB angekommen sind, ist rsync einen Tag später wieder bei 140 oder 180 GB.
Wie ihr sehen könnt, habe ich mir schon eine Erklärung zurecht gebastelt aber was kann ich denn jetzt machen?
Wie bekomme ich rsync dazu, dass es (zumindest beim ersten Mal) stumpf durch läuft?

Vielen Dank für Eure Hilfe!

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von Tintom » 30.06.2021 17:56:09

hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
30.06.2021 17:40:34
4.
Der DSL-Anbieter unterbricht nach 24 Stunden die DSL-Verbindung. Rsync bricht ab, wartet 180 Sekunden und startet dann wieder.
ABER, mittlerweile gibt es ja wieder neue Daten auf dem QNAP-NAS. Der Server hat ja mittlerweile ein neues Backup rüber geschoben.
Wie wird denn das Backup Server -> NAS durchgeführt?

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von schwedenmann » 30.06.2021 18:01:08

Hallo

Wie bekomme ich rsync dazu, dass es (zumindest beim ersten Mal) stumpf durch läuft?
Es manuell vor 19:00 anstoßen :mrgreen:

mfg
schwedenmann
P.S.
Das nach dem ersten Vollbackup immer noch 140-180 GB ankommen,ist m.M. nach sehr viel für nur neuere geänderte Daten.

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 30.06.2021 19:12:04

Tintom hat geschrieben: ↑ zum Beitrag ↑
30.06.2021 17:56:09
hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
30.06.2021 17:40:34
4.
Der DSL-Anbieter unterbricht nach 24 Stunden die DSL-Verbindung. Rsync bricht ab, wartet 180 Sekunden und startet dann wieder.
ABER, mittlerweile gibt es ja wieder neue Daten auf dem QNAP-NAS. Der Server hat ja mittlerweile ein neues Backup rüber geschoben.
Wie wird denn das Backup Server -> NAS durchgeführt?
Der Server ist eine virtuelle Maschine (leider Windows, muss leider so sein). Das Backup läuft so ab, dass der Host des Servers einmal täglich die virtuelle Maschine stoppt, dann die VM auf das QNAP-NAS kopiert und danach die VM wieder startet.

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von Tintom » 30.06.2021 20:17:08

Das bedeutet also es gibt relativ wenige, aber dafür große Dateien, die allesamt jeden Tag überschrieben werden?
Bei rsync werden die Daten im Quell- und Zielverzeichnis anhand der Prüfsummen abgeglichen. Ändern sich alle Dateien täglich werden alle Daten erneut übertragen. Du könntest jetzt dein Skript erweitern und für jeden Tag einen eigenen Ordner anlegen lassen, welcher dann von rsync komplett kopiert werden könnte.

Eleganter wäre etwas anderes, aber ich vermute die QNAP-Software macht uns hier einen Strich durch die Rechnung.

PS: Wenn du dich mit dem Themen Snapshots und wbadmin beschäftigen möchtest, dann müsstest du die VM nicht mal stoppen und könntest während des laufenden Betriebs einen Snapshot ziehen :wink:

slu
Beiträge: 2137
Registriert: 23.02.2005 23:58:47

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von slu » 01.07.2021 11:39:48

Tintom hat geschrieben: ↑ zum Beitrag ↑
30.06.2021 20:17:08
PS: Wenn du dich mit dem Themen Snapshots und wbadmin beschäftigen möchtest, dann müsstest du die VM nicht mal stoppen und könntest während des laufenden Betriebs einen Snapshot ziehen :wink:
Ist jetzt etwas OT, aber was macht der RAM der VM bei einem Snapshot auf dem Dateisystem/Storage?
Gruß
slu

Das Server Reinheitsgebot:
Debian Bookworm, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von Tintom » 01.07.2021 13:26:38

Zugegeben: Ein Snapshot ist nicht immer der Weisheit letzter Schluss, erleichtert jedoch in den meisten Fällen enorm.

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 05.07.2021 12:21:36

Ich danke Euch!
Mit Snapshots bei VM kenne ich mich gar nicht aus. Zumal ist das ja ein Windows-Server. Da will ich nicht rum fummeln.

Da ja offensichtlich die Größe des Backup das Problem ist, werde ich wohl das Backup-Script ändern und die erste Sicherung auf eine externe HDD kopieren.
Damit fahre ich dann zum Backup-Server und kopieren die Daten dann manuell auf den Backup-Server. (Irgendwie 80er Jahre Feeling, oder???)
Danach starte ich das Backup-Script wieder ganz normal. Wenn alles gut geht, erkennt rsync, dass die Daten schon im Ziel-Verzeichnis vorhanden sind und überträgt nur noch die Änderungen.

Wünscht mir Glück....

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von Tintom » 05.07.2021 12:41:08

hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
05.07.2021 12:21:36
Danach starte ich das Backup-Script wieder ganz normal. Wenn alles gut geht, erkennt rsync, dass die Daten schon im Ziel-Verzeichnis vorhanden sind und überträgt nur noch die Änderungen.
Kannst du diesbezüglich:
Tintom hat geschrieben: ↑ zum Beitrag ↑
30.06.2021 20:17:08
Das bedeutet also es gibt relativ wenige, aber dafür große Dateien, die allesamt jeden Tag überschrieben werden?
noch etwas sagen?

Ich denke, wenn wenige, aber dafür große Dateien übertragen werden, musst du deinen Ansatz überdenken. Durch die Zwangstrennung wird dann nämlich die Übertragung der letzten Datei erneut von Beginn angestoßen. Das ist blöd, wenn es sich dabei dann um ein 30GB-VM-Image handelt, von dem bereits 28GB übertragen wurden. Dann rennst du erneut in das schon bestehende Zeitproblem, wenn der Server nach 24 Stunden sein Backup überschreibt.

Bei großen Dateien kann hier die Option --partial helfen, dann wird die Übertragung an der Stelle fortgesetzt, wo die Verbindung unterbrochen wurde.

hobbyadmin
Beiträge: 127
Registriert: 26.12.2020 18:13:43

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von hobbyadmin » 05.07.2021 12:52:28

Ja, das ist so wie Du vermutet hast.
Es sind relativ wenige Dateien (ich glaube 58), die sind dafür aber sehr groß. Sodass insgesamt ca. 1,5 TB zusammen kommen.
Zur Problemlösung mit der Zwangstrennung habe ich mit überlegt, dass ich in beiden Routern eine Trennung der DSL-Verbindung auf 2-3 Uhr einstelle und damit der Zwangstrennung durch den Anbieter zuvor komme.
Das Backup-Script lasse ich dann über cron ab 3 Uhr nachts starten. Auf diese Weise hoffe ich, dass rsync 23 Sunden Zeit hat, um nur die Änderungen zu übertragen. Wenn die Zeit allerdings auch dafür noch nicht reicht, bin ich Schach matt : )

Den Schalter --partial habe ich auch gefunden. Ich habe jedoch -P genommen. Da ist doch --partial und --progress mit drin, oder?

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Zusätzlicher Backup-Server für das NAS

Beitrag von Tintom » 05.07.2021 14:53:56

hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
05.07.2021 12:52:28
Wenn die Zeit allerdings auch dafür noch nicht reicht, bin ich Schach matt : )
Nicht unbedingt, du könntest (genügend Speicherplatz vorausgesetzt) Unterordner mit dem jeweiligen Datum einrichten und deinen Server in den Ordner mit dem aktuellen Datum sichern lassen.

Über rsync sicherst du dann den aktuellen Ordner. Nach 24h startet dann dein Server ein neues Backup aber rsync bleibt davon unberührt, weil es noch den Ordner des Vortages sichert. Damit bekommst du dann vollständige Sicherungen hin, aber schiebst gleichzeitig eine größer werdende Welle von noch ausstehenden Sicherungen vor dir her.

Bleibt die Frage, ob wirklich jeden Tag 1,5TB an Daten gesichert werden müssen oder ob man das Konzept anpassen kann.

Naja, erstmal schauen was deine Änderungen bringen.
hobbyadmin hat geschrieben: ↑ zum Beitrag ↑
05.07.2021 12:52:28
Den Schalter --partial habe ich auch gefunden. Ich habe jedoch -P genommen. Da ist doch --partial und --progress mit drin, oder?
Ja.

Antworten