[gelöst] "lange" Pausen beim Kopieren

[martinelli]

Hallo Gemeinde,

ich habe folgendes Problem: Beim Kopieren diverser Daten (Mailverzeichnisse u. a.) über das Netzwerk auf eine NFS-Share auf einem Qnap gerät der Kopiervorgang immer wieder ins Stocken. Das Kopieren (zum Beispiel von drei .iso-Dateien, Größe 1 GB und 2x 2 GB) selber ist sehr schnell - wenn man den Fortschrittbalken betrachtet - aber nach Übertragung jeder einzelnen Datei passiert ziemlich genau 20 Sekunden lang gar nichts, dann geht es weiter mit der nächsten Datei. Auch nach dieser stockt der Kopiervorgang für 20 Sekunden, bevor die dritte Datei aufs Qnap kopiert wird. Dann erneut 20 Sekunden warten und das Kopieren ist beendet.

Diese Pausen gibt es auch beim Kopieren von Verzeichnissen, abhängig von deren Inhalt, mal längere, mal kürzere, aber nie läuft der Kopiervorgang unterbrechungsfrei durch.

Bisher hatte ich das Qnap oder die Netzwerkinfrastruktur verdächtigt, es ist aber definitiv mein Rechner (Intel i5/4C/2,5 GHz/16 GB RAM, Debian Buster/64 Bit), denn ich habe heute einen Test mit einem anderen Rechner durchgeführt, mit einer älteren Atom-CPU (N270) und einer frischen Buster-Installation (i386). Hier ist der Kopiervorgang natürlich etwas langsamer, aber die Denkpause gibt es nicht, die 3 Dateien oder auch alles andere, was auf dem Haupt-Arbeitsrechner immer gestockt hat, läuft flüssig von Anfang bis Ende durch.

Ich habe die verschiedensten Mount-Optionen für die NFS-Share ausprobiert, hat aber alles nichts gebracht.

Kennt jemand das Problem, gibt es dafür eine Erklärung oder vielleicht sogar Abhilfe?

Danke im Voraus für jeden Tipp!

[uname]

Kannst du die Dateien über einen alternativen Weg (also nicht NFS) hochladen? Hast du dann ein anderes Verhalten?
Wenn nicht liegt es vielleicht an NFS. Nur leider kenne ich mich damit gar nicht aus.

[MSfree]

Ich nehme mal an, du hast GBit-Netzwerk. Das heißt, daß ein GByte in etwa 10s zu übertragen sind.

Eine Datei wird praktisch erstmal nur in den Cache des lokalen Rechners kopiert und von da auf den NFS-Server gerschoben. Der Fortschrittsbalken zeigt nur die Zeit an, die zum Kopieren in den Cache benötigt wird, was extrem schnell geht. Die 20s für eine 2GB-Datei ist dann also die ganz nocrmale Zeit, um die Datei durch das Netz auf das QNap zu schleusen.

Dein Netbook hat nur ein 100MBit-Netzwerk und auch viel weniger RAM. Daten passen also gar nicht vollständig ins RAM, so daß hier der Cache immer wieder zwischendurch geleert werden muß. Für das Programm, das den Fortschrittsbalken anzeigt, ist die Kopie also erst abgeschlossen, wenn schon ein erheblicher Teil der Datei auf dem QNap ist und nur noch ein kleiner Rest im Cache liegt. Insgesamt dauert das Kopieren zwar zehn mal so lange, aber der Fortschrittsbalken scheint besser synchronisiert zu sein, aber das ist nur ein kosmetischer Effekt.

[hikaru]

Zur Verdeutlichung von MSfrees Beschreibung kannst du dir z.B. mit nload anschauen, wie viel tatsächlich über's Netz geht. Da wirst du dann sehen, dass der Fortschrittsbalken deines Dateimanagers nur bedingt etwas mit dem eigentlichen Transfer zu tun hat.

Das selbe Phänomen ist übrigens auch an anderer Stelle zu sehen. Beliebte Kombination: Rechner mit viel RAM und langsamer USB-Stick:
Der PC meiner Eltern hat 16GB RAM und der Lieblingsstick meiner Mutter ist so ein billiger Figurenstick (ohne LED), der kaum 10MB/s schafft. Es hat eine ganze Weile gedauert, ihr klarzumachen, dass sie insbesondere beim Kopieren von Videos (gern mal mehrere GB pro Datei) den Stick eben nicht gleich abziehen kann, wenn der Ladebalken verschwunden ist, sondern dass sie den Stick "Auswerfen" und auf die Rückmeldung warten muss.

[martinelli]

Ich nehme mal an, du hast GBit-Netzwerk. Das heißt, daß ein GByte in etwa 10s zu übertragen sind.

Eine Datei wird praktisch erstmal nur in den Cache des lokalen Rechners kopiert und von da auf den NFS-Server gerschoben...

Danke, das war’s. Habe die Swappartition deaktiviert und schon ist es gerannt, ohne Aussetzer! Da wäre ich nie drauf gekommen!

Wobei mir das nicht ganz klar ist, denn soweit ich mich an meine Anfangszeit in der IT erinnere, wird erst dann ausgelagert, wenn nicht mehr ausreichend Arbeitsspeicher vorhanden ist. Aber bei 16 GB...?

Egal, Swap bleibt ab sofort off und das Problem ist gelöst.

Danke nochmals, auch den beiden anderen, die auf meinen Hilferuf reagiert haben... 

[martinelli]

Eine Datei wird praktisch erstmal nur in den Cache des lokalen Rechners kopiert und von da auf den NFS-Server geschoben.

Ich habe gestern beim Kopiertest einen Fehler gemacht und somit war auch das Resultat falsch. Ich habe Cache gelesen und swap verstanden...

Habe heute noch einmal in Ruhe geprüft und getestet, mit und ohne swap und dabei richtig hingesehen; klar - mit Cache ist natürlich ein Teil vom RAM gemeint, d. h. das Deaktivieren der swap-Partition bringt überhaupt nichts, denn es spielt sich (fast?) alles im RAM ab, die swap-Nutzung ändert sich beim Kopieren so gut wie gar nicht.

1 GB in 10 Sekunden passt dann ungefähr, wenn 5 GB in 60 Sekunden übertragen werden, war also viel Lärm um nichts? Die Pause war einfach nicht erklärbar.

Auch war das Beobachten mit nload war sehr aufschlussreich, wobei dort am Ende der Übertragung mehr als "10 GB gesamt übertragen" angezeigt wurden, tatsächlich waren es aber nur 5 GB. Ich muss damit noch ein wenig spielen.

Also noch einmal danke euch beiden und jetzt habe ich's...

[rhHeini]

Das NAS könnte auch einen Cache besitzen und vor dem Ablegen der Datei(en) diese erst mal zwischenspeichern.

Rolf