rsync immer wieder defunct

[Taomon]

Code: Alles auswählen

alex@Taomon:~$ lsb_release -rc
Release:	8.8
Codename:	jessie
alex@Taomon:~$ 

Bei Anschluß einer bestimmten Festplatte wird ein Backup mit rsync gestartet. Leider hängt sich das ganze immer wieder auf.

Code: Alles auswählen

alex@Taomon:~$ ps aux | grep rsync
alex     21307 13.9  1.5 151448 96596 ?        S    10:38  14:54 rsync -aAXEovchx --log-file=/home/alex/.rsync.log --exclude=/home/alex/iso-images /home/alex/ /media/debianhome/alex
alex     21308  9.4  0.9  97696 56512 ?        D    10:38  10:06 rsync -aAXEovchx --log-file=/home/alex/.rsync.log --exclude=/home/alex/iso-images /home/alex/ /media/debianhome/alex
alex     21776  0.3  0.2 158404 14360 ?        S    10:42   0:18 rsync -aAXEovchx --log-file=/home/alex/.rsync.log --exclude=/home/alex/iso-images /home/alex/ /media/debianhome/alex

Wie krieg ich solche Prozesse los ohne das gesamte Backup-skript (Systemd-Unit) zu killen?

Gruß Taomon

[uname]

Warum hängt es sich auf? Ich denke "-a" fasst auch einige deiner Parameter zusammen. Du kannst also den Befehl kürzen.

Die Prozesse kannst du so killen:

Code: Alles auswählen

kill <pid-id>
kill -9 <pid-id>

also z.B.

Code: Alles auswählen

kill -9 21307

"-9" ist nicht immer nötig und auch nicht immer sinnvoll. Sigkill hilft aber am besten

[Taomon]

Hat mir leider das gesamte Backup ins Nirwana geschossen.

Code: Alles auswählen

Jun 06 12:48:36 Taomon backup-home-skript[21306]: rsync: [sender] write error: Broken pipe (32)
Jun 06 12:48:36 Taomon backup-home-skript[21306]: rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at io.c(820) [sender=3.1.1]

Warum hängt es sich auf?

Das wenn ich wüßte.

Gruß Taomon

[uname]

Du könntest deinem rsync ja mal den Parameter "v" noch zusätzlich spendieren. Vielleicht wird dir angezeigt bei welcher Datei es fehlschlägt.

Code: Alles auswählen

-v, --verbose               increase verbosity

[tobo]

Und außerdem sind S und D ja auch keine Zombies.

D uninterruptible sleep (usually IO)
S interruptible sleep (waiting for an event to complete)
Z defunct ("zombie") process, terminated but not reaped by its parent

Wie kommen denn da überhaupt mehrere gleiche Prozesse zustande und sind deine iso-images so tatsächlich ausgeblendet? Ein Blick ins geschriebene Log-File könnte sich lohnen!?

[Taomon]

Uff,

Code: Alles auswählen

ps aux | grep rsync
alex      3174 11.0  0.5 135668 32068 ?        D    13:04   2:01 rsync -aAXEovvchx --log-file=/home/alex/.rsync.log --exclude=/home/alex/iso-images /home/alex/ /media/debianhome/alex
alex      3175 10.6  0.1  28196  7976 ?        S    13:04   1:57 rsync -aAXEovvchx --log-file=/home/alex/.rsync.log --exclude=/home/alex/iso-images /home/alex/ /media/debianhome/alex
alex      3533  0.0  0.0 119452  4272 ?        S    13:09   0:00 rsync -aAXEovvchx --log-file=/home/alex/.rsync.log --exclude=/home/alex/iso-images /home/alex/ /media/debianhome/alex
alex      4873  0.0  0.0   5844   736 pts/3    S+   13:22   0:00 tail -f .rsync.log
root      4951  0.0  0.0  12748  2104 pts/1    S+   13:23   0:00 grep rsync

Wie kommen denn da überhaupt mehrere gleiche Prozesse zustande und sind deine iso-images so tatsächlich ausgeblendet?

Auch das weiß ich nicht, ich hatte aber immer 3 Prozesse. Auch als es funktionierte.

Ich denke schon, das damit meine Iso-images ausgeblendet sind. Da ich selten welche anlege, kann ich das jetzt auf die schnelle nicht übeprüfen. Im Moment erzählt mir rsync was alles uptodate ist.

Gruß Taomon

[edit] jetzt hängt er seit ca. 1 Stunde

Code: Alles auswählen

alex@Taomon:~$ tail -n15 .rsync.log 
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/bladesio1/Makefile.am is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/bladesio1/gui.c is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/bladesio1/settings.c is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/bladesio1/settings.h is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/bladesio1/sio1.c is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/bladesio1/sio1.h is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/bladesio1/sio1.ui is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/dfcdrom/Makefile.am is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/dfcdrom/cdr-libcdio.c is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/dfcdrom/cdr-linux.c is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/dfcdrom/cdr-null.c is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/dfcdrom/cdr.c is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/dfcdrom/cdr.h is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/dfcdrom/cfg.c is uptodate
2017/06/06 13:59:32 [3174] Downloads/pcsxr/plugins/dfcdrom/util.c is uptodate
alex@Taomon:~$ 

Ist das nervig.

[seep]

Bei Anschluß einer bestimmten Festplatte wird ein Backup mit rsync gestartet. Leider hängt sich das ganze immer wieder auf.

Schuss ins Blaue: Platte (teilweise) kaputt oder zu voll? Ist es schlau, rsync dort loggen zu lassen, wo auch weggesichert wird?

[Taomon]

Die Platte sollte noch in Ordnung sein habe ich nicht lange und ich bin ein Sicherungs-Muffel.
Ob Sie Platz hat habe ich überprüft. Hat'se.

Ist es schlau, rsync dort loggen zu lassen, wo auch weggesichert wird?

Die Sicherung läuft mit User-Rechten, da es $HOME ist. Daher wußte ich nicht wohin damit.

Code: Alles auswählen

alex@Taomon:~$ lsof /dev/sdb2
COMMAND  PID USER   FD   TYPE DEVICE  SIZE/OFF     NODE NAME
rsync   3175 alex  cwd    DIR   8,18     20480 31457281 /media/debianhome/alex
rsync   3175 alex    0r   REG   8,18 805637840 33687915 /media/debianhome/alex/Filme/Texas Chainsaw Massacre/Texas Chainsaw Massacre - Michael Bay (SMVCD)/Michael Bay's - Texas Chainsaw Massacre (SMVCD).mpg
rsync   3533 alex  cwd    DIR   8,18     20480 31457281 /media/debianhome/alex
alex@Taomon:~$ 

Mittlerweile bequemt sich das Programm weiter. Ist das zach. Das läuft jetzt 2 1/2 Stunden.

[uname]

Musst du unbedingt die Filme sichern? Ich sichere nur das, was ich nicht wiederbeschaffen könnte. Und den genannten Film kann man sogar bei Youtube schauen. Wahrscheinlich kann man ihn per Youtube-Downloader schneller aus dem Internet ziehen als von deiner externen Festplatte. Generell solltest du das Sichern von großen Dateien immer hinterfragen.

[Taomon]

Wahrscheinlich kann man ihn per Youtube-Downloader schneller aus dem Internet ziehen als von deiner externen Festplatte.

Hust, ist das nicht illegal? Außerdem habe ich nur ein schmale Internet-Anbindung.
Und den ganzen Schrott nochmal von DVD holen, eher nicht. Aber ich könnte es auf eine andere Partition rübersichern und es aus dem Backup vom $HOME rausnehmen. Wird ja hoffentlich irgendwann fertig werden.


Gruß Taomon

[seep]

Wird ja hoffentlich irgendwann fertig werden.

Code: Alles auswählen

rsync --progress

[Taomon]

Funktioniert das auch wenn rsync über eine Systemd-Unit aufgerufen wird?

Udev-Regel-->Systemd-Unit-->Rsync-Befehl

Gruß Taomon

[seep]

Weiß ich nicht, musst Du halt ausprobieren. Könnte die Logfiles ein wenig voll(er) machen.

[Taomon]

Endlich durch. Knapp 30GB sind rüber geschaufelt worden. Vielleicht sollte ich öfter sichern.
USB2 ist halt nicht so schnell.


Gruß Taomon

[scientific]

Ich genieße meine 2 usb3-Buchsen am Laptop schon SEHR.
USB2 ist nur für die Maus u. ä. im Einsatz.

[Taomon]

Ich genieße meine 2 usb3-Buchsen am Laptop schon SEHR.
USB2 ist nur für die Maus u. ä. im Einsatz.

Pffft.

Sieht so aus, als wenn meine interne Festplatte grätscht.

[MSfree]

Sieht so aus, als wenn meine interne Festplatte grätscht.

30GB sollten auch über USB2 in 1000 bis 1500 Sekunden übertragen sein, also in 17 bis 25 Minuten.

OK, über USB3 schafft man das dann in 5-10 Mintuen, aber ist das wirklich relevant?
Wenn es bei dir deutlich länger als eine halbe Stunde dauert, könnte wirklich irgendetwas nicht in Ordnung sein.

[Taomon]

So, ich habe jetzt eine neue Platte, aber rsync mag immer noch nicht.

Beim nächsten Mal stoppe ich meine Unit und stoße das Backup von Hand an. Mal schauen ob es dann durchläuft.


Taomon

[Cae]

Doofe Frage, aber wo siehst du da ein "defunct"? Das S oder D im ps-Output kann nicht gemeint sein, da es fuer "sleep" (Prozess tut nix) und "uninterruptible sleep" (Prozess tut nix, wartet auf die Platte) steht.

Die drei rsync-Prozesse sind leicht erklaert: Der aus der Shell gestartete Prozess (Master) startet fuer Quelle und Ziel jeweils noch einen Client-Prozess. Der Quell-Client liest nur, der Ziel-Client schreibt nur auf die Platte. Der Master-Prozess tunnelt die Kommunikation zwischen den Clients und ueberwacht sie (z.B. wird der zweite Client gekillt, wenn der erste stirbt). Man hat bei diesem Aufbau den Vorteil, dass man "rsync --sender" (Quell-Client) auch durch "ssh user@host rsync --sender" ersetzen kann, wodurch transparent von einem remote-Host kopiert wird.

Wenn im --log-file nichts sinnvolles steht, wuerde ich mich mit strace draufhaengen:

Code: Alles auswählen

$ pgrep rsync | sed 's/^/-p /' | xargs strace -f

oder jeweils einzeln per strace -fp PID. Tun' die da wirklich nix? Dann steht da vermutlich read(0, (blockt im read(2)-Syscall) oder dasselbe fuer wait4(2).

Gruss Cae

[Taomon]

Nach weit über 2 stunden sollte rsync doch mal fertig werden. So viel Daten habe ich nicht auf /home

Code: Alles auswählen

alex@Taomon:~$ df -h /home/
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/sda3       879G    386G  448G   47% /home

Ich weiß nicht was da schief geht. Ich klemm mal meine Vor-Platte ran und versuch von dort das Backup nochmal auf meine alte Backup-Platte. Vielleicht hat die Installation einen Schuß weg.


Gruß Taomon

[MSfree]

Nach weit über 2 stunden sollte rsync doch mal fertig werden. So viel Daten habe ich nicht auf /home

Code: Alles auswählen

alex@Taomon:~$ df -h /home/
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/sda3       879G    386G  448G   47% /home

Naja, wenn bei dir 386GB nicht "so viel" ist, weiß ich auch nicht weiter.

Ich hatte ja schon weiter oben geschrieben, daß man für 30GB etwa 20 Minuten benötigt. Wenn nun wirklich so gut wie alles von den 386GB synchronisiert werden müssen, dauert es wohl mindestens 12 mal so lange, also 240 Minuten bzw. 4 Stunden.

Manchmal hilft es, mal eine Überschlagsrechnung zu machen statt ungeduldig Frust zu schieben.

[Taomon]

Also ich habe die Option

Code: Alles auswählen

 --ignore-existing 

so verstanden, das rsync die Finger von Dateien läßt die im Ziel schon vorhanden sind. Und nur neue Dateien überträgt, die es noch nicht gibt. Liege ich da falsch?

Manchmal hilft es, mal eine Überschlagsrechnung zu machen statt ungeduldig Frust zu schieben.

Ich habe auch schon mal den ganzen Nachmittag abgewartet.

Das hat doch vorher auch gut funktioniert.

Code: Alles auswählen

alex@Taomon:~$ cat /usr/local/bin/backup-home-skript
#!/bin/bash

/bin/sleep 60 && rsync  -aAXEovvchx --ignore-existing --exclude=/home/alex/iso-images/ /home/alex/ /media/debianhome/alex && /usr/bin/aplay -q /home/alex/Musik/Wave/game-over.wav

exit 0

Irgendwas falsch daran? Das Backup wird als User gestartet.

Code: Alles auswählen

alex@Taomon:~$ cat /etc/systemd/system/backup-home-skript.service 
[Unit]
Description=backup-home-skript 
RequiresMountsFor=/media/debianhome
After=media-debianhome.mount

[Service]
Type=simple
User=alex
ExecStart=/usr/local/bin/backup-home-skript
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartSec=15s

[Install]
WantedBy=multiuser.target 


alex@Taomon:~$ 

Die Partition wird über udev an den Mountpunkt

Code: Alles auswählen

/media/debianhome

gemountet über udisks2. Da bei mir nur selten neue Dateien hinzukommen, habe ich vorher das Zeugs mit cp einfach rübergezogen, d.h. ich arbeite noch nicht lange mit rsync.

Gruß Taomon

[MSfree]

Code: Alles auswählen

alex@Taomon:~$ cat /usr/local/bin/backup-home-skript
#!/bin/bash

/bin/sleep 60 && rsync  -aAXEovvchx --ignore-existing --exclude=/home/alex/iso-images/ /home/alex/ /media/debianhome/alex && /usr/bin/aplay -q /home/alex/Musik/Wave/game-over.wav

exit 0

Irgendwas falsch daran?

Wozu soll das sleep 60 vor dem rsync gut sein?
Warum kein Loging?

Code: Alles auswählen

#!/bin/bash

while ! \
  rsync  -aAXEovvchx --ignore-existing --verbose \
       --exclude=/home/alex/iso-images/ \
       --exclude=/home/alex/rsync.log \
       /home/alex/ /media/debianhome/alex >> /home/alex/rsync.log
do
  sleep 60
  echo "retrying" >> /home/alex/rsync.log
done

/usr/bin/aplay -q /home/alex/Musik/Wave/game-over.wav

exit 0

Dabei wird bei einem Fehler einer Minute gewartet und nochmal probiert.
Während des rsyncs entsteht eine Log in der Datei /home/alex/rsync.log, das auch schon während des rsyncs beobachtet werden kann, z.B. mit tail -f /home/alex/rsync.log.

Das Log sollte dann auch Aufschluß darüber geben, was wie lange dauert, wie oft es abbricht und retrying in Log schreibt.

[Taomon]

Wozu soll das sleep 60 vor dem rsync gut sein?
Warum kein Loging?

Als Vorsichtsmaßnahme, Es dauert manchmal bis die Partition startklar eingebunden ist, und mir die /-Partition vollgelaufen ist. Ich hatte schon mal geloggt, und hätte fast die Datei nicht mehr losgekriegt, weil sie ein irgendein append-flag hatte.

Code: Alles auswählen

lsattr damalige Log-Datei -----a-------e--

deshalb habe ich das Logging rausgenommen.

Ich werde das Skript entsprechend Deines Vorschlags anpassen. Und es nochmal probieren.


Gruß und Danke Taomon

[MSfree]

Als Vorsichtsmaßnahme, Es dauert manchmal bis die Partition startklar eingebunden ist

OK, dann solltest du das Skript von mir dahingehend ergänzen, indem du ein Sleep vor das while steckst:

Code: Alles auswählen

#!/bin/bash

echo "wating for device to become ready" >> /home/alex/rsync.log

# mehr als 30 Sekunden sollte es hier eigentlich nicht benötigen
Sleep 30

while ! \
  rsync  -aAXEovvchx --ignore-existing --verbose \
       --exclude=/home/alex/iso-images/ \
       --exclude=/home/alex/rsync.log \
       /home/alex/ /media/debianhome/alex >> /home/alex/rsync.log
do
  sleep 60
  echo "retrying" >> /home/alex/rsync.log
done

/usr/bin/aplay -q /home/alex/Musik/Wave/game-over.wav
echo "rsync done" >> /home/alex/rsync.log

exit 0