Synchronisation über Netzwerk - Server zu TrueNAS

Einrichten des lokalen Netzes, Verbindung zu anderen Computern und Diensten.
Antworten
Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 10:58:04

Hallo,

ich bin hier mal wieder am verzweifeln, ich versuche eine Sicherung auf TrueNAS zurückzuspielen.

FreeFileSync - läuft, aber es kommen ein/ausgabefehler, die ich ignorieren lasse und dann die Dateien nochmals synchronisiere. Es ist egal ob Festplatte über USB angeschlossen wird oder ob ich von einem Rechner im Netzwerk auf TrueNAS kopiere. Es kommt nach kurzer Zeit immer ein ein/ausgabefehler. Auch bleibt die Geschwindigkeit nicht konstant, fängt schnell an, dann geht es bis auf 0 runter, steigt dann wieder für ein paar sekunden und dann wieder runter auf 0.

LuckyBackup - Quellordner wäre leer, daher findet keine Synchronisation statt.

BackinTime - funktioniert auch nicht, fängt gar nicht an, wahrscheinlich auch weil die Quelle angeblich leer.

Ich binde die Netzwerkordner über /run/User/1000/gvfs/smb..... ein. Diese Netzwerkorder binde ich über "Files", den Dateimanager für Gnome, ein, dann findet man sie in dem angegebenen run Ordner.

Es muß doch eine einfache Möglichkeit geben ohne ein Lexikon vorher lesen zu müssen.

Hat da vielleicht jemand einen Tip?
Danke
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

ToterEngel
Beiträge: 75
Registriert: 12.06.2021 21:12:18

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von ToterEngel » 26.09.2021 11:07:48

Versuche doch dann einfach den klassischen Weg zb. mit rsync in der Konsole, wo du auch mehr Einblick hast, wo es hängen könnte.

Ohne konkrete Fehlermeldungen kann da niemand wirklich direkt helfen. ;)

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von schwedenmann » 26.09.2021 12:17:34

Hallo

1. Was willst du wohin zurücksichern ?


2. Wie schon angesprochen,würde ich auch rsync + ssh wählen

mfg
schwedenmann

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 12:29:40

ToterEngel hat geschrieben: ↑ zum Beitrag ↑
26.09.2021 11:07:48
Versuche doch dann einfach den klassischen Weg zb. mit rsync in der Konsole, wo du auch mehr Einblick hast, wo es hängen könnte.
...
Davor habe ich ja "Angst", mir wäre es lieber mit klicken und machen. Ja, ich mache auch schon einiges über Konsole, aber manches hätte ich lieber schön über eine GUI.
schwedenmann hat geschrieben: ↑ zum Beitrag ↑
26.09.2021 12:17:34
Hallo

1. Was willst du wohin zurücksichern ?
Ich möchte die Sicherung von Bilder und Daten, die ich vorher überall aufgeteilt hatte, zwecks baus des TrueNAS Servers und formatierung der vorhandenen Festplatten, jetzt auf dem TrueNAS Server sichern. Ein zusätzliches Backup wird auf externer Festplatte gemacht.
schwedenmann hat geschrieben: ↑ zum Beitrag ↑
26.09.2021 12:17:34
2. Wie schon angesprochen,würde ich auch rsync + ssh wählen

mfg
schwedenmann
Dann muss ich mich wohl doch mal mit der Sicherung über Konsole beschäftigen. Danke :-)
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Benutzeravatar
debilian
Beiträge: 1162
Registriert: 21.05.2004 14:03:04
Wohnort: 192.168.43.7
Kontaktdaten:

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debilian » 26.09.2021 12:37:28

Angst vor rsync gibt es nicht:

Code: Alles auswählen

rsync -av --numeric-ids -e ssh /home/name/verzeichnis root@192.168.34.75:/daten/name/
legt über ssh auf dem Zielserver unter /daten/name/ den lokalen Ordner "verzeichnis" mit dessen Inhalt an.

gruss


ps. rsync wurde uns geschenkt um es zu nutzen! die Optionen (av) und (numeric-ids) sind am End meiner Faulheit geschuldet...
-- nichts bewegt Sie wie ein GNU --

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 12:42:07

debilian hat geschrieben: ↑ zum Beitrag ↑
26.09.2021 12:37:28
Angst vor rsync gibt es nicht:
....
Na gut, ich teste es :D
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von schwedenmann » 26.09.2021 12:56:55

hallo

rsync
https://wiki.ubuntuusers.de/rsync/

-n ist dry.run,also simuliert das ganze,das kannst du ja fürs erste backup benutzen.

mfg
schwedenmann

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 13:31:22

Aha, da haben wir den Fehler:
The source and destination cannot both be remote.
rsync error: syntax or usage error (code 1) at main.c(1420) [Receiver=3.2.3]
Demnach müßte ich erst ca. 12 TB auf den Laptop kopieren und von dort auf den Server? Das ist ja wohl etwas zu kompliziert.

Der Befehl war dieser hier:

Code: Alles auswählen

rsync -avn -e ssh andy@192.168.178.24:/public_4TB_1/Testordner/ andy@datenserver.local:/Daten/Testordner
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Benutzeravatar
debilian
Beiträge: 1162
Registriert: 21.05.2004 14:03:04
Wohnort: 192.168.43.7
Kontaktdaten:

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debilian » 26.09.2021 13:58:38

kann die TrueNAS kein rsync lokal?
die 12TB würde ich stückeln....
-- nichts bewegt Sie wie ein GNU --

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 14:01:42

debilian hat geschrieben: ↑ zum Beitrag ↑
26.09.2021 13:58:38
kann die TrueNAS kein rsync lokal?
die 12TB würde ich stückeln....
klar, das läuft dort ja auch, und shell ist dort auch.... Danke für den Tip :-)
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Benutzeravatar
debilian
Beiträge: 1162
Registriert: 21.05.2004 14:03:04
Wohnort: 192.168.43.7
Kontaktdaten:

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debilian » 26.09.2021 14:08:44

Code: Alles auswählen

die 12TB würde ich stückeln....
da muss ich mir nun fast selbst widersprechen, das Beste an rsync ist ja, dass er, bei Abruch, wieder da weitermacht, wo er war....
darum nutze ich resync mittlerweile für fast alle Kopiervorgänge über Netzwerk... oftmals auch in einer screen....
-- nichts bewegt Sie wie ein GNU --

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 14:15:14

Danke, wenn ich das in der Konsole von TrueNAS eingebe:

Code: Alles auswählen

rsync -av -e ssh andy@192.168.178.24:/media/4TB_1/Testordner/ /mnt/Daten/Testordner
läuft das auch.

Jetzt muss ich nur noch herausfinden warum das so langsam ist. Ich habe alles per LAN Kabel angeschlossen, aber Übertragung bricht immer ein, mal schnell, dann wieder langsamer werdend, dann wieder schnell. Laut dem Dashboard von TrueNAS ist der Prozessor seltenst mal mehr ausgelastet, der RAM hat noch ca. 0,4GB frei (von 16GB).
Ich habe das Laufwerk (zfs-z1) verschlüsselt und auch doppelte Dateien aktiviert, das soll ja Leistung kosten, aber tatsächlich so viel das das während der Übertragung so einknickt?
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Benutzeravatar
debilian
Beiträge: 1162
Registriert: 21.05.2004 14:03:04
Wohnort: 192.168.43.7
Kontaktdaten:

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debilian » 26.09.2021 14:20:59

was hast du denn an MB pro Sekunde übers Netz?
12 Terra ist ja kein Pappenstiel....

;-)
-- nichts bewegt Sie wie ein GNU --

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 14:32:36

debilian hat geschrieben: ↑ zum Beitrag ↑
26.09.2021 14:20:59
was hast du denn an MB pro Sekunde übers Netz?
12 Terra ist ja kein Pappenstiel....

;-)
Das geht mal von ca. 50MB/s auf 0 zurück, innerhalb von ca. 30 sekunden, dann ist wieder volle Geschwindigkeit, dann wieder auf 0. Immer wieder.
Ich muß allerdings dazu sagen, die Dateien sind relativ klein, meistens ca. 25MB bis kleiner. Fotos im RAW und jpg Format.
Die ca. 12 TB habe ich auf mehrere Festplatten aufgeteilt, die ersten ca. 670GB hatte ich gestern abend angefangen zu kopieren, sollten nach ca. 8 Stunden fertig sein. Diese Daten kamen von einer mit Veracrypt verschlüsselten externen 10TB Platte. Heute morgen (lange nach den insgesamt 8 Stunden) waren noch immer ca. 150GB zu kopieren, da hatte ich mal gestoppt. Evtl. war die Festplatte etwas warm geworden, Gehäuse war wärmer wie normal. Aber auch über Netzwerk ging es nicht wirklich schneller. Ich versuche jetzt mal mit dem rsync und der Fortschrittsanzeige.

Ansonsten habe ich auch schon mal 100 oder etwas mehr MB/s, je nachdem von wo ich auf was zugreife. Auf jeden Fall ist alles mit LAN Kabel verbunden, auch der Laptop, mein "Hauptarbeitsgerät".
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Benutzeravatar
debilian
Beiträge: 1162
Registriert: 21.05.2004 14:03:04
Wohnort: 192.168.43.7
Kontaktdaten:

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debilian » 26.09.2021 14:35:27

50MB/Sek. sind in Ordnung, denke ich - die Verschlüsselung wird schon bremsen, imho....
Vielleicht macht es die Pausen, weil es mit dem lesen/schreiben nicht nachkommt, ist immer die Frage, was das Nadelöhr ist.....

kannst ja mal im "top" den Wert für "wa" angucken.....
(wa, IO-wait : time waiting for I/O completion)

wenn ich z.B. eine 300GB grosse VM kopiere, dauert das auch um die 3 Stunden....
-- nichts bewegt Sie wie ein GNU --

ToterEngel
Beiträge: 75
Registriert: 12.06.2021 21:12:18

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von ToterEngel » 26.09.2021 14:50:32

Wenn der Buffer der Festplatte einmal gefüllt ist und je nach Bereich das schreiben eh länger dauert, sseh ich das schon als normales Verhalten an.

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 15:12:16

Jetzt habe ich noch ein Problem, ich habe Leerzeichen im Ordnernamen, z.B. "private Bilder - Shootings", daher kommt jetzt wahrscheinlich eine Fehlermeldung. Wie kann man das umgehen?

Der gleiche Befehl, nur mit einem normalen Ordnernamen, also nur ein Wort, funktioniert.
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Benutzeravatar
debilian
Beiträge: 1162
Registriert: 21.05.2004 14:03:04
Wohnort: 192.168.43.7
Kontaktdaten:

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debilian » 26.09.2021 15:14:04

aus

Code: Alles auswählen

"name namezwei"
wird

Code: Alles auswählen

"name\ namezwei"
-- nichts bewegt Sie wie ein GNU --

Benutzeravatar
debilian
Beiträge: 1162
Registriert: 21.05.2004 14:03:04
Wohnort: 192.168.43.7
Kontaktdaten:

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debilian » 26.09.2021 15:14:48

gewöhn dir einfach Leerzeichen und Umlaute in Dateinamen und Verzeichnissen ab - so mach ich das seit Jahrezehnten...

sorry - just my 2 cent
-- nichts bewegt Sie wie ein GNU --

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 15:16:13

also müßte ich für diesen Ordner dann "private\ Bilder\ -\ Shootings" eingeben?
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Benutzeravatar
debilian
Beiträge: 1162
Registriert: 21.05.2004 14:03:04
Wohnort: 192.168.43.7
Kontaktdaten:

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debilian » 26.09.2021 15:17:20

probier es doch mit
da zeigt er dir ja, was rauskommt....
-- nichts bewegt Sie wie ein GNU --

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 15:17:34

debilian hat geschrieben: ↑ zum Beitrag ↑
26.09.2021 15:14:48
gewöhn dir einfach Leerzeichen und Umlaute in Dateinamen und Verzeichnissen ab - so mach ich das seit Jahrezehnten...
...
Ja, wird wohl das beste sein, bisher mußte ich auch noch nie solche Mengen und Ordner kopieren, bzw. es ging immer ohne Probleme über GUI.
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Benutzeravatar
debilian
Beiträge: 1162
Registriert: 21.05.2004 14:03:04
Wohnort: 192.168.43.7
Kontaktdaten:

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debilian » 26.09.2021 15:19:13

wenn es nicht um so riesen Daten ginge würde ich sagen, pack das ganze und kopier es dann - aber: TB nix gut für sowas ;-)
-- nichts bewegt Sie wie ein GNU --

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 15:20:12

debilian hat geschrieben: ↑ zum Beitrag ↑
26.09.2021 15:17:20
probier es doch mit
da zeigt er dir ja, was rauskommt....
Danke, da wird das komplette Verzeichnis aufgelistet. Danke, wieder was gelernt :-)
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Benutzeravatar
debianuser69
Beiträge: 40
Registriert: 19.10.2020 14:30:08

Re: Synchronisation über Netzwerk - Server zu TrueNAS

Beitrag von debianuser69 » 26.09.2021 19:23:32

ToterEngel hat geschrieben: ↑ zum Beitrag ↑
26.09.2021 14:50:32
Wenn der Buffer der Festplatte einmal gefüllt ist und je nach Bereich das schreiben eh länger dauert, sseh ich das schon als normales Verhalten an.
Ich hatte den Datensatz unter TrueNAS wieder gelöscht, waren erst ca. 700GB rüberkopiert...

Dann habe ich einen neuen Datensatz angelegt, zuerst ohne die Funktion mit doppelten Dateien und ohne Komprimierung, das kopieren ging dann sauschnell, keine Einbrüche.

Danach habe ich den Datensatz wieder gelöscht und einen neuen angelegt, ohne die Funktion mit den doppelten Dateien, aber mit Komprimierung, das kopieren geht jetzt noch immer sehr schnell, und keine Einbrüche bemerkbar.

Demnach holt die Funktion mit den doppelten Dateien tatsächlich sehr viel Leistung weg.

Ich kopiere übrigens gerade mit rsync :-)

Danke für die Hilfe hier :-)
Betriebssystem: Debian GNU/Linux 11
KDE-Plasma-Version: 5.20.5
KDE-Frameworks-Version: 5.78.0
Qt-Version: 5.15.2
Kernel-Version: 5.10.0-8-amd64
Art des Betriebssystems: 64-bit
Prozessoren: 8 × Intel® Core™ i5-8265U CPU @ 1.60GHz
Speicher: 15,5 GiB Arbeitsspeicher
Grafikprozessor: Mesa Intel® UHD Graphics 620

Antworten