[gelöst] Zusätzlicher Backup-Server für das NAS
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Hallo zusammen!
Ich bewundere Eure Ausführungen und verstehe nahezu gar nichts : )
Das ist echt noch zu viel für mich....
Wahrscheinlich werde ich das Skript zunächst einmal manuell starten und rsync durch laufen lassen. Das wird wahrscheinlich eine oder zwei Wochen dauern. Wie gesagt, das Backup ist wirklich riesig.
Erst danach werde ich es in crontab eintragen. Die nachfolgenden Backups müssten dann deutlich schneller fertig sein, weil ja dann nur noch die Änderungen gesichert werden.
Ich bewundere Eure Ausführungen und verstehe nahezu gar nichts : )
Das ist echt noch zu viel für mich....
Wahrscheinlich werde ich das Skript zunächst einmal manuell starten und rsync durch laufen lassen. Das wird wahrscheinlich eine oder zwei Wochen dauern. Wie gesagt, das Backup ist wirklich riesig.
Erst danach werde ich es in crontab eintragen. Die nachfolgenden Backups müssten dann deutlich schneller fertig sein, weil ja dann nur noch die Änderungen gesichert werden.
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Ich hatte gerade eine Idee.
Ich habe die Möglichkeit, den Inhalt das Quellverzeichnis auf HDD zu kopieren und dann manuell in das Zielverzeichnis zu kopieren.
Das würde den ersten Backup-Prozess von rsync erheblich verkürzen.
Meine Frage:
Kann man das einfach so machen oder kommt rsync dann irgendwie durch einander?
Ich habe die Möglichkeit, den Inhalt das Quellverzeichnis auf HDD zu kopieren und dann manuell in das Zielverzeichnis zu kopieren.
Das würde den ersten Backup-Prozess von rsync erheblich verkürzen.
Meine Frage:
Kann man das einfach so machen oder kommt rsync dann irgendwie durch einander?
Re: Zusätzlicher Backup-Server für das NAS
Das hätte ich dir sowieso geraten, um genau der cron-Problematik und damit mehrfach laufenden rsyncs aus dem Weg zu gehen.hobbyadmin hat geschrieben:23.06.2021 09:00:05Wahrscheinlich werde ich das Skript zunächst einmal manuell starten und rsync durch laufen lassen. Das wird wahrscheinlich eine oder zwei Wochen dauern. Wie gesagt, das Backup ist wirklich riesig.
Erst danach werde ich es in crontab eintragen.
Ich denke nicht, daß cp wesentlich schneller als rsync ist.hobbyadmin hat geschrieben:23.06.2021 09:50:07Ich habe die Möglichkeit, den Inhalt das Quellverzeichnis auf HDD zu kopieren und dann manuell in das Zielverzeichnis zu kopieren.
Das würde den ersten Backup-Prozess von rsync erheblich verkürzen.
rsync kommt damit nicht durcheinander. Du mußt nur darauf achten, daß des Name der Zielverzeichnises der ersten Kopie in den folgenden rsyncs identisch sind.Kann man das einfach so machen oder kommt rsync dann irgendwie durch einander?
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Ich glaube, so wird meine Lösung aussehen.
1.
Den gesamten Inhalt vom Quellverzeichnis /share/Public/ auf eine externe HDD kopieren.
2.
Die externe HDD an den Backup-Server einhängen und den Inhalt von /share/Public/ manuell in das Zielverzeichnis /media/daten/arbeit kopieren.
3.
Das rsync-Skript auf dem QNAP-NAS einrichten.
Ich hoffe jetzt nur, dass rsync auch erkennt, dass die Daten bereits im Zielverzeichnis vorhanden sind.
Gibt es dabei ein bestimmtes Vorgehen, damit rsync die bereits existierenden Daten im Zielverzeichnis auch erkennt?
Vielleicht sollte ich für das Kopieren auf die externe HDD das gleiche Skript nehmen und nur den Zielordner ändern?
Wenn ich das dann manuell in den Zielordner kopiert habe, das Skript wieder in den ursprünglichen Zustand zurück bringen und danach automatisieren?
Was meint Ihr?
1.
Den gesamten Inhalt vom Quellverzeichnis /share/Public/ auf eine externe HDD kopieren.
2.
Die externe HDD an den Backup-Server einhängen und den Inhalt von /share/Public/ manuell in das Zielverzeichnis /media/daten/arbeit kopieren.
3.
Das rsync-Skript auf dem QNAP-NAS einrichten.
Ich hoffe jetzt nur, dass rsync auch erkennt, dass die Daten bereits im Zielverzeichnis vorhanden sind.
Gibt es dabei ein bestimmtes Vorgehen, damit rsync die bereits existierenden Daten im Zielverzeichnis auch erkennt?
Vielleicht sollte ich für das Kopieren auf die externe HDD das gleiche Skript nehmen und nur den Zielordner ändern?
Wenn ich das dann manuell in den Zielordner kopiert habe, das Skript wieder in den ursprünglichen Zustand zurück bringen und danach automatisieren?
Was meint Ihr?
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
OK, das kam während meines Schreibens rein.MSfree hat geschrieben:23.06.2021 10:33:22Das hätte ich dir sowieso geraten, um genau der cron-Problematik und damit mehrfach laufenden rsyncs aus dem Weg zu gehen.hobbyadmin hat geschrieben:23.06.2021 09:00:05Wahrscheinlich werde ich das Skript zunächst einmal manuell starten und rsync durch laufen lassen. Das wird wahrscheinlich eine oder zwei Wochen dauern. Wie gesagt, das Backup ist wirklich riesig.
Erst danach werde ich es in crontab eintragen.
Ich denke nicht, daß cp wesentlich schneller als rsync ist.hobbyadmin hat geschrieben:23.06.2021 09:50:07Ich habe die Möglichkeit, den Inhalt das Quellverzeichnis auf HDD zu kopieren und dann manuell in das Zielverzeichnis zu kopieren.
Das würde den ersten Backup-Prozess von rsync erheblich verkürzen.rsync kommt damit nicht durcheinander. Du mußt nur darauf achten, daß des Name der Zielverzeichnises der ersten Kopie in den folgenden rsyncs identisch sind.Kann man das einfach so machen oder kommt rsync dann irgendwie durch einander?
Also ein Kopiervorgang mit cp auf eine externe HDD mit USB 3.1 ist nicht schneller als ein Backup mit rsync über das Internet?
Wir haben zwar eine einigermaßen schnelle Verbindung (100 Mbit) aber ich dachte, dass USB 3.1 schneller sei. Das habe ich aber auch noch nie getestet oder verglichen. Das war nur so ein Gefühl : )
Re: Zusätzlicher Backup-Server für das NAS
OK, da hatte ich die Voraussetzungen nicht auf dem Schirm.hobbyadmin hat geschrieben:23.06.2021 10:46:42Also ein Kopiervorgang mit cp auf eine externe HDD mit USB 3.1 ist nicht schneller als ein Backup mit rsync über das Internet?
Aber, ein cp über USB3.1 sollte nicht wesentlich schneller sein als ein rsync über USB3.1.
Ob du nun
Code: Alles auswählen
cp -r /share/Public /media/daten/arbeit
Code: Alles auswählen
rsync /share/Public /media/daten/arbeit
Im Grunde könntest du so dein Skript sogar schonmal testen. Mehr als die Zielangabe brauchst du ja nicht zu ändern, also statt SSH.... eben /media/daten/arbeit.
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Es wird ernst!
Alles ist vorbereitet. Das Backup mit rsync kann beginnen. Dry-run läuft ohne Fehler durch.
Wenn ich nun auf dem QNAP-NAS das Skript starte mit:
dann startet das Skript und ich sehe den Fortschritt im Terminal.
Aber wie komme ich dann aus der SSH-Verbindung wieder raus ohne das Skript zu stoppen?
Das habe ich noch nie genacht.
Alles ist vorbereitet. Das Backup mit rsync kann beginnen. Dry-run läuft ohne Fehler durch.
Wenn ich nun auf dem QNAP-NAS das Skript starte mit:
Code: Alles auswählen
./rsync_arbeit.sh
Aber wie komme ich dann aus der SSH-Verbindung wieder raus ohne das Skript zu stoppen?
Das habe ich noch nie genacht.
Re: Zusätzlicher Backup-Server für das NAS
Das geht leider nicht.hobbyadmin hat geschrieben:23.06.2021 17:58:07Aber wie komme ich dann aus der SSH-Verbindung wieder raus ohne das Skript zu stoppen?
Du hättest das Skript aber mit nohup starten können, dann kann man sich ausloggen und das Skript läuft im Hintergrund weiter.
Code: Alles auswählen
nohup ./rsync_arbeit.sh
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Oh man,
den Befehl nohup kennt das sch*** NAS nicht.
Ich verzweifle so langsam an dem Ding!
den Befehl nohup kennt das sch*** NAS nicht.
Ich verzweifle so langsam an dem Ding!
- heisenberg
- Beiträge: 3555
- Registriert: 04.06.2015 01:17:27
- Lizenz eigener Beiträge: MIT Lizenz
Re: Zusätzlicher Backup-Server für das NAS
Kann das Dingens screen?
Jede Rohheit hat ihren Ursprung in einer Schwäche.
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Keine Ahnung.
Wie soll ich das testen?
Meine neuste Idee:
Ich erstelle einen Eintrag in crontab (das gibt es).
Dort möchte ich einen cronjob erstellen, der nur einmal jährlich ausgeführt wird.
Das wird hoffentlich funktionieren.
Der cronjob soll einmal jährlich, am 23.06., um 20:00 Uhr ausgeführt werden.
Meine Eintrag dafür sieht so aus:
In einigen Wochen, wenn rsync mit dem ersten Durchlauf fertig ist, werde ich den cronjob dann auf täglich ändern.
Schaut bitte wieder die Syntax an. Ist das so in Ordnung?
Wie soll ich das testen?
Meine neuste Idee:
Ich erstelle einen Eintrag in crontab (das gibt es).
Dort möchte ich einen cronjob erstellen, der nur einmal jährlich ausgeführt wird.
Das wird hoffentlich funktionieren.
Der cronjob soll einmal jährlich, am 23.06., um 20:00 Uhr ausgeführt werden.
Meine Eintrag dafür sieht so aus:
Code: Alles auswählen
0 20 23 6 * /share/homes/admin/rsync_arbeit.sh
Schaut bitte wieder die Syntax an. Ist das so in Ordnung?
Re: Zusätzlicher Backup-Server für das NAS
Das ist ein Kommando. Also probierst du,
Code: Alles auswählen
~$ screen
In einer screen-Session kannst du etwas ausführen, dich davon detachen, SSH-Verbindung trennen und später wieder zu der screen-Session attachen. Wäre eine Lösung für das, was du vorhattest. (Und screen kann vieles mehr.)
Manchmal bekannt als Just (another) Terminal Hacker.
- heisenberg
- Beiträge: 3555
- Registriert: 04.06.2015 01:17:27
- Lizenz eigener Beiträge: MIT Lizenz
Re: Zusätzlicher Backup-Server für das NAS
Jede Rohheit hat ihren Ursprung in einer Schwäche.
Re: Zusätzlicher Backup-Server für das NAS
Ich fürchte, wenn es schon kein nohup auf dem QNAP gibt, werden tmux und screen genauso fehlen.JTH hat geschrieben:23.06.2021 18:55:32Das ist ein Kommando. Also probierst du,auszuführenCode: Alles auswählen
~$ screen
Aber ein jährlich, also quasi einmalig laufender cron-Job geht natürlich auch.
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Richtig vermutet, screen gibt es auch nicht.
Was ist das für ein komisches Linux...
Ich habe jetzt den cronjob eingerichtet. Mal abwarten, ob das funktioniert.
Vielleicht melde ich mich in ein paar Wochen wieder.
Oder ich werfe das Ding zum Fenster raus : )
Was ist das für ein komisches Linux...
Ich habe jetzt den cronjob eingerichtet. Mal abwarten, ob das funktioniert.
Vielleicht melde ich mich in ein paar Wochen wieder.
Oder ich werfe das Ding zum Fenster raus : )
Re: Zusätzlicher Backup-Server für das NAS
Ein ziemlich minimalistisches. Das QNAP soll ja im normalen Betrieb nicht viel mehr als Dateien über SMB und NFS zur Verfügung stellen, und dazu braucht es halt nur wenig Software. Das ist bei der Konkurrenz Synology auch ähnlich, wobei die zumindest nohup kennt.
Wenn dein Skript keine Fehler hat, wird das schon klappen.Ich habe jetzt den cronjob eingerichtet. Mal abwarten, ob das funktioniert.
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Ich habe das Skript in crontab eingetragen.
Ich hoffe, dass es funktioniert aber ich weiß es ja nicht.
Wie kann ich denn überprüfen, ob rsync fehlerfrei läuft?
Ich hoffe, dass es funktioniert aber ich weiß es ja nicht.
Wie kann ich denn überprüfen, ob rsync fehlerfrei läuft?
Re: Zusätzlicher Backup-Server für das NAS
Wenn es mal läuft, ist das nicht so einfach. Du bekommst zwar raus, ob rsync läuft, aber nicht, was es gerade tut.hobbyadmin hat geschrieben:24.06.2021 10:05:18Wie kann ich denn überprüfen, ob rsync fehlerfrei läuft?
Ich habe in meinem Skript rsync mit -v als Parameter gestartet und leite die Ausgabe in eine Logdatei um.
Code: Alles auswählen
rsync -v [...] > LogDatei
Code: Alles auswählen
tail -f LogDatei
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
OK, ich habe es kontrolliert, es funktioniert nicht.
Und es liegt irgendwie am NAS. Jetzt habe ich keine Lust mehr.
Letzte Frage:
Wie kann ich einen einzelnen Eintrag aus crontab löschen?
Und es liegt irgendwie am NAS. Jetzt habe ich keine Lust mehr.
Letzte Frage:
Wie kann ich einen einzelnen Eintrag aus crontab löschen?
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Asche auf mein Haupt.
Es lag diesmal an mir.
Das Zielverzeichnis hatte die falschen Rechte.
Ich versuche es nochmal!
Es lag diesmal an mir.
Das Zielverzeichnis hatte die falschen Rechte.
Ich versuche es nochmal!
Re: Zusätzlicher Backup-Server für das NAS
Dann pack auch gleich noch die Ausgabeumleitung in eine Logdatei mit ins Skript.
Ja, nur nicht aufgeben.Ich versuche es nochmal!
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Das ist eine super Idee. Bin ich natürlich nicht selbst drauf gekommen...
Wie und wo muss ich das in meinen Befehl einfügen?
Ich möchte jetzt keinen Fehler mehr machen.
Wie und wo muss ich das in meinen Befehl einfügen?
Ich möchte jetzt keinen Fehler mehr machen.
Code: Alles auswählen
rsync -avzSAXHP -e "ssh -p PORT" --stats --log-file=/share/homes/admin/rsync_arbeit_$(date "+%F-%H_%M_%S").log /share/Public/ arbeit@ip.adresse:/mnt/arbeit/
Re: Zusätzlicher Backup-Server für das NAS
--log-file ist schon der richtige Ansatz.
Du kannst dein Skript doch erstmal auf der Kommandozeile starten und nach ein paar Mintuen abbrechen, nachdem die ersten paar Dateien übertragen wurden.Ich möchte jetzt keinen Fehler mehr machen.
Wenn du kurz darauf dein Skript neu startest, macht es an der Stelle weiter, wo es vorher abgebrochen wurde, das ist doch der Vorteil von rsync. Das erlaubt dir, auch mal einen Fehler zu machen und ggfls. das bisher kopierte zu löschen und es nochmal zu probieren.
Wenn dann alles zu deiner Zufriedenhait läuft, baust du das Skript in die crontab ein und läßßt es endgültig laufen.
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Hurra, es funktioniert!
Seit gestern Abend läuft das Backup und bisher scheinbar ohne Probleme. Bei Netzwerkunterbrechung durch den DSL-Anbieter (nachts um 3 Uhr) wartet rsync 180 Sekunden und startet dann wieder neu.
Und das Backup läuft offensichtlich in sehr hoher Geschwindigkeit. Wenn das so weiter geht, ist es in ca. 6 Tagen fertig. Das wäre echt phenomenal!
Kein Vergleich zu der komischen Backup-App von QNAP.
Vielen Dank für Eure Hilfe!
Ich melde mich nochmal, wenn das Backup durch ist.
Seit gestern Abend läuft das Backup und bisher scheinbar ohne Probleme. Bei Netzwerkunterbrechung durch den DSL-Anbieter (nachts um 3 Uhr) wartet rsync 180 Sekunden und startet dann wieder neu.
Und das Backup läuft offensichtlich in sehr hoher Geschwindigkeit. Wenn das so weiter geht, ist es in ca. 6 Tagen fertig. Das wäre echt phenomenal!
Kein Vergleich zu der komischen Backup-App von QNAP.
Vielen Dank für Eure Hilfe!
Ich melde mich nochmal, wenn das Backup durch ist.
-
- Beiträge: 127
- Registriert: 26.12.2020 18:13:43
Re: Zusätzlicher Backup-Server für das NAS
Ich brauche nochmal Hilfe. Es funktioniert leider nicht so wie gedacht.
Mein Backup-Script startet und kopiert auch fleißig Daten auf den Zielrechner.
Nach 24 Stunden erfolgt jedoch immer eine Zwangsunterbrechung durch den DSL-Anbieter.
Danach scheint rsync aus dem Tritt zu kommen, ich habe auch eine Idee was da passiert:
1.
Vom Server erfolgt täglich um 19 Uhr ein Backup auf das QNAP-NAS im lokalen Netzwerk.
Das soll auch so gemacht werden.
2.
rsync beginnt um 21 Uhr mit der Syncronitation der Daten vom QNAP-NAS auf den entfernten Rechner,
wird aber aufgrund der Datenmenge in 24 Stunden damit nicht fertig.
3.
Der Server macht nach 24 Stunden ein neues Backup auf das QNAP-NAS.
Wie gesagt, das soll er auch so machen.
4.
Der DSL-Anbieter unterbricht nach 24 Stunden die DSL-Verbindung. Rsync bricht ab, wartet 180 Sekunden und startet dann wieder.
ABER, mittlerweile gibt es ja wieder neue Daten auf dem QNAP-NAS. Der Server hat ja mittlerweile ein neues Backup rüber geschoben.
5.
Also beginnt rsync wieder von vorne, liest die File-Listen neu ein, usw.
D.h. rsync kommt nicht vom Fleck. Selbst wenn im Zielverzeichnis 400 oder 500 GB angekommen sind, ist rsync einen Tag später wieder bei 140 oder 180 GB.
Wie ihr sehen könnt, habe ich mir schon eine Erklärung zurecht gebastelt aber was kann ich denn jetzt machen?
Wie bekomme ich rsync dazu, dass es (zumindest beim ersten Mal) stumpf durch läuft?
Vielen Dank für Eure Hilfe!
Mein Backup-Script startet und kopiert auch fleißig Daten auf den Zielrechner.
Nach 24 Stunden erfolgt jedoch immer eine Zwangsunterbrechung durch den DSL-Anbieter.
Danach scheint rsync aus dem Tritt zu kommen, ich habe auch eine Idee was da passiert:
1.
Vom Server erfolgt täglich um 19 Uhr ein Backup auf das QNAP-NAS im lokalen Netzwerk.
Das soll auch so gemacht werden.
2.
rsync beginnt um 21 Uhr mit der Syncronitation der Daten vom QNAP-NAS auf den entfernten Rechner,
wird aber aufgrund der Datenmenge in 24 Stunden damit nicht fertig.
3.
Der Server macht nach 24 Stunden ein neues Backup auf das QNAP-NAS.
Wie gesagt, das soll er auch so machen.
4.
Der DSL-Anbieter unterbricht nach 24 Stunden die DSL-Verbindung. Rsync bricht ab, wartet 180 Sekunden und startet dann wieder.
ABER, mittlerweile gibt es ja wieder neue Daten auf dem QNAP-NAS. Der Server hat ja mittlerweile ein neues Backup rüber geschoben.
5.
Also beginnt rsync wieder von vorne, liest die File-Listen neu ein, usw.
D.h. rsync kommt nicht vom Fleck. Selbst wenn im Zielverzeichnis 400 oder 500 GB angekommen sind, ist rsync einen Tag später wieder bei 140 oder 180 GB.
Wie ihr sehen könnt, habe ich mir schon eine Erklärung zurecht gebastelt aber was kann ich denn jetzt machen?
Wie bekomme ich rsync dazu, dass es (zumindest beim ersten Mal) stumpf durch läuft?
Vielen Dank für Eure Hilfe!