Öffnen von kleiner, lokaler Datei dauert ewig, wenn übers Netzwerk kopiert wird

[fred0815]

Ich kopiere gerade >100GB von meinem PC mit Debian Bookworm und M.2-SSD-990-PRO-2TB auf meinen Raspberry Pi4 mit USB3-SSD-1TB über das lokale Netz via NFS.
Dabei fällt mir auf, dass das mit ~9MB/s ein bisschen langsam ist.
Zunächst dachte ich an ein langsames Netzwerk oder an den Pi4.
Aber wenn ich am PC ein noch so kleines Bild öffnen will, dann dauert das ewig (>30 Sek.), also vermute ich das Problem am PC.
Wie kann ich herausfinden, wo es hakt ?
dmesg spukt nichts dazu aus, der Taskmanager auch nicht.
MfG

P.S.
Der PC:
Samsung M.2 SSD-990-PRO-2TB
AMD 600 Series Chipset
CPU: 8-core AMD Ryzen 7 7800X3D
GPU: AMD Navi 31 [Radeon RX 7900 XT/7900 XTX] driver: amdgpu v: kernel
Kernel: 6.1.0-34-amd64 x86_64 Up: 16h 59m Mem: 16532.9/63411.0 MiB (26.1%)
Display: x11 server: X.Org v: 1.21.1.7 with: Xwayland v: 22.1.9 driver: X:
loaded: amdgpu unloaded: fbdev,modesetting,radeon,vesa dri: radeonsi
gpu: amdgpu resolution: 3840x2160~60Hz
API: OpenGL v: 4.6 Mesa 22.3.6 renderer: AMD Radeon Graphics (gfx1100
LLVM 15.0.6 DRM 3.49 6.1.0-34-amd64)

[Meillo]

Generell sind kleine Dateien langsamer als grosse, weil der Overhead dort mehr Anteil hat als der Datentransfer selbst. Es kann also gut sein, dass das Kopieren von 1 100MB-Datei nur 30% der Zeit braucht als 100 1MB-Dateien, und womoeglich nur 10% der Zeit von 100000 1kB-Dateien.

Es kann auch noch andere Faktoren geben, wie beispielsweise die Verlangsamung beim Zugriff auf eine Datei in einem Verzeichnis, das viele Tausend Dateien enthaelt. Das haengt dann auch vom jeweiligen Dateisystem ab.

Beim RaspberryPi kann es auch daran liegen, wie der Speicher angebunden ist und was fuer ein Datendurchsatz da ueberhaupt moeglich ist, bzw. wie sehr er durch andere Prozesse ausgelastet ist. Ebenso beim PC wenn dessen IO gerade voll ausgelastet ist und zu zudem auch noch eine Datei oeffnen willst, dann muss halt irgendwas warten.

Es ist also schwer pauschal zu sagen, weil es viele Faktoren gibt, die reinspielen. Am meisten wuerde helfen, wenn du dein Szenario immer wieder an einem Faktor abaenderst und die Unterschiede beobachtest. So kannst du vielleicht Muster erkennen. Es kommt aber natuerlich auch darauf an, wieviel Aufwand du in die Sache stecken willst.


Btw: Ich habe mal von `iotop' gehoert, also sowas wie `top' nur fuer IO. Vielleicht ist das interessant. Ich hab's aber nie selber verwendet, darum kann ich nicht mehr als den Namen nennen.

[fred0815]

Die >100GB sind meine Filme, also große Dateien.
Beide sind ext4. Der PC und der Pi4 langweilen sich laut top iotop und htop.

[mat6937]

Ich kopiere gerade >100GB von meinem PC mit Debian Bookworm und M.2-SSD-990-PRO-2TB auf meinen Raspberry Pi4 mit USB3-SSD-1TB über das lokale Netz via NFS.
...
Wie kann ich herausfinden, wo es hakt ?

Versuch mal den Kopiervorgang in einer service-unit "unterzubrigen" und dann den Ressourcenverbrauch (beim kopieren), über diese service-unit sinnvoll zu limitieren.

[fred0815]

Hat sich überschnitten:
Der PC und der Pi4 langweilen sich laut top iotop und htop.

[mat6937]

Der PC und der Pi4 langweilen sich laut top iotop und htop.

Das muss noch nichts heißen. Evtl. als Test, mit wget (oder gleichwertig) übertragen, die Übertragungsrate limitieren und den CPU-Verbrauch mit nice (oder gleichwertig) für den Dienst (wget) begrenzen.

[fred0815]

Was gibt es da zu limitieren bei 9 MB/s und sich langweilender CPU ?
Das schreiben auf den PC geht es übrigens flott, nur das öffnen einer Datei braucht ewig.
Egal, in 6 Minuten soll er fertig sein mit kopieren, dann sollte der PC auch wieder normal laufen.

[mat6937]

Was gibt es da zu limitieren bei 9 MB/s und sich langweilender CPU ?

Ja, aber auch wenn/weil es so ist, weißt Du nicht was dafür vorgesehen ist bzw. "reserviert" ist.

[MSfree]

Versuch mal den Kopiervorgang in einer service-unit "unterzubrigen" und dann den Ressourcenverbrauch (beim kopieren), über diese service-unit sinnvoll zu limitieren.

Abgesehen davon, daß ich das für Schießen mit Kanonen auf Spatzen halte, ist das für einen einmaligen Kopiervorgang dann doch ziemlich umständlich.

Mal vorab, mein Raspi-4, an dem eine billige Intenso SATA-SSD via USB-3 hängt (ähnlich wie beim OP), schafft beim Kopieren einer 2.8GB großen Datei rund 96MB/s. Kopiert habe ich via SCP, was durch die Verschlüsselung über SSH viel mehr CPU-Leistung benötigt. Die CPUs stellen also weder auf PC-Seite noch auf Raspi-4-Seite einen ernsthaften Flaschenhals dar. Auch USB-3 stellt hier keine ernsthafte Bremse dar. NFS habe ich jetzt nicht probiert, da das aber unverschlüsselt überträgt, könnte das bei mir noch ein wenig schneller laufen, das theoretische Limit über GBit-Ethernet liegt jedenfalls bei um die 110MB/s, was ich in meinem LAN zwischen beliebigen Rechnern fast immer erreiche.

Die Frage an den OP ist nun, wie sind Raspi und PC im LAN verbunden?
Nutzt du vielleicht en einem der beiden oder auch beiden Rechnern WLAN?

[MSfree]

Ja, aber auch wenn/weil es so ist, weißt Du nicht was dafür vorgesehen ist bzw. "reserviert" ist.

Ich glaube, du bist hier völlig auf dem Holzweg.

[mat6937]

... für einen einmaligen Kopiervorgang dann doch ziemlich umständlich.

BTW: Es geht um einen Test, wenn man nach der Ursache schauen/suchen will. Wer das nicht will, der macht es nicht.

[fred0815]

Sind beide per LAN verbunden.
Der Kopiervorgang ist jetzt beendet und lokale Dateien öffnen sich am PC wieder wie gewohnt superschnell.

[mat6937]

Ja, aber auch wenn/weil es so ist, weißt Du nicht was dafür vorgesehen ist bzw. "reserviert" ist.

Ich glaube, du bist hier völlig auf dem Holzweg.

Und ich glaube Du hast wie immer, die Weisheit mit dem Löffel gefressen.

[debianoli]

Wie kopierst du denn, vom Dateimanager aus oder direkt per ssh und Terminal?

[fred0815]

Dateimanager.

[debianoli]

Dann könnte der Dateimanager der Flaschenhals sein. Gerade bei sehr großen Dateien kopiere ich lieber per zB rsync direkt vom Terminal aus.

Wie ist das Zieldevice angebunden? ssh, smb, nfs ... ?
Das ist auch noch ein Faktor der reinspielt.

[fred0815]

NFS. Habe ich schon im ersten Satz des Posts geschrieben.

[cosinus]

NFS. Habe ich schon im ersten Satz des Posts geschrieben.

Und was ist nun aus dem Test geworden, direkt an der Konsole mit rsync zu kopieren?
Auch ein zweiter Test mit iperf wäre interessant.
Jede Station ist auch wirklich mit 1 GBit angebunden?

[fred0815]

Nochmal:
Wenn ich während des Netzkopiervorgangs lokal am PC ein noch so kleines Bild auf der lokalen M.2 öffnen will, dann dauert das ewig.
Das sollte nicht sein, völlig egal wie lahm das Netzwerk ist, selbst wenn nur 64kb/s durch die Leitung gehen.

[cosinus]

Das sollte nicht sein, völlig egal wie lahm das Netzwerk ist, selbst wenn nur 64kb/s durch die Leitung gehen.

Ja, aber wieviel geht denn durch die Leitung? Wenn die Disk ausgelastet ist, dann ist sie das.
Und vllt solltest du auch mal deine Probleme weniger missverständlich formulieren, ich bin nicht der einzige hier im Thread, der sich durch deine Formulierungen auf Netzwerkdurchsatz konzentriert hat.

[fred0815]

Tut mir leid, wenn ich mich missverständlich ausgedrückt habe.
Ich dachte, der Titel wäre eindeutig, wie auch der Satz:
Aber wenn ich am PC ein noch so kleines Bild öffnen will, dann dauert das ewig (>30 Sek.), also vermute ich das Problem am PC.

[kreuzschnabel]

Tut mir leid, wenn ich mich missverständlich ausgedrückt habe.

Hast du. Ich dachte bei …

Aber wenn ich am PC ein noch so kleines Bild öffnen will, dann dauert das ewig (>30 Sek.)

… auch daran, dass du das Bild zwar auf dem PC öffnest, es aber übers Netzwerk vom entfernten Rechner geladen werden muss.

Aber jetzt hast du’s ja klargestellt: Also während Datei A lediglich übers Netzwerk übertragen wird, kann Datei B, die lokal auf dem PC liegt, nur sehr verzögert geöffnet werden? Und du vermutest, dass das eine gemeinsame Ursache mit der gefühlten Langsamkeit des Netzwerks hat?

--ks

[MSfree]

Aber wenn ich am PC ein noch so kleines Bild öffnen will, dann dauert das ewig (>30 Sek.), also vermute ich das Problem am PC.

So etwas passiert immer dann, wenn das Medium, von dem du lesen willst, hoffnungslos überlastet ist. Das sollte bei einer M.2-NVME aber nicht passieren. Datenraten von 9MB/s, die du beim Kopieren verursachst, sind schlicht viel zu gering,um eine M.2 ins Schwitzen zu bringen.

Eine CPU-Überlastung würde ich mal ausschließen. Kopieren und gleichzeitiges Dateiöffnen bringen nicht mal meinen Core2 ins Schwitzen. Selbst dann nicht, wenn ich über die auch noch eingebaute rotierende Festplatte kopiere und gleichzeitig irgendeine Datei von dort öffne.

OK, die 9MB/s sind ein Nebenschauplatz, der aber ursächlich sein kann. Ich hatte oben ja geschrieben, daß ich zwischen PC und Raspi-4 völlig problemlos 96MB/schaffe. Dabei ist mein PC sogar noch im "Nachteil", weil der nicht über eine M.2-NVME verfügt sondern nur eine SATA-SSD hat. Trotzdem kann ich parallel zum Kopieren mit meine PC weiterarbeiten und beliebig Dateien öffnen, ohne länger als üblich warten zu müssen.

Du hattest ja geschrieben, daß sich die CPUs in PC und Raspi langweilen, was umso deutlicher auf ein Problem mit der NVME deutet. Daß du ohne kopieren normal am PC arbeiten kannst, ist kein Indikator dafür, daß alles in Ordnung ist. Mit genug RAM im PC puffert Linux sehr viel weg, in dem es Lese- und Schreibzugriffe cacht.

Wie verhält sich der PC, wenn du größere Kopieraktionen auf dem PC durchführst? Du könntest z.B. dieselbe Kopieraktion auf ein zu Testzwecken angelegtes Unterverzeichnis auf der NVME durchführen.

Interessant hierbei ist, ob so eine Kopie auch nur an die 9MB/s erreicht, und ob du währenddessen auch beim Öffnen von Dateien behindert wirst.

[fred0815]

Beim lokalen kopieren mit dem Dateimanager von Ordner A zu Ordner B sind es locker über 1GB/Sekunde.
Während des kopierens kann ich auch problemlos andere Dateien öffnen, da fluppt alles.
Vom Pi4 zum PC kopiert er mit ~10MB/s. Auch da kann ich problemlos andere Dateien lokal auf dem PC öffnen.
Kopiere ich etwas vom PC zum Pi4 dauert das öffnen einer beliebigen Datei lokal auf dem PC eine Ewigkeit.
Der Dateimanager reagiert dann auch nicht mehr auf "schliessen" etc.
Der Pi4 ist aber per ssh problemlos erreichbar und langweilt sich genauso wie der PC.
Kopiere ich vom PC aus einen Ordner von Netzfreigabe1 auf Netzfreigabe2 vom Pi4 hängt der PC auch wieder.
Mache ich nebenher nichts am PC, dann kopiert er problemlos von einer auf die andere Freigabe.
Nur wenn ich nebenher etwas anderes anklicke, dann hängt er.
Ich kann auch problemlos einen Film, der auf dem Pi4 liegt über Jellyfin gucken und nebenher einen anderen Film vom PC auf den Pi4 kopieren.
Ich kann dann nur den Dateimanager nebenher nicht nutzen, weil er sonst hängt.
Und wenn ich per Konsole vom PC zum Pi4 kopiere, hängt der Dateimanager während des kopierens auch.

P.S.
Der PC:
Samsung M.2 SSD-990-PRO-2TB
AMD 600 Series Chipset
CPU: 8-core AMD Ryzen 7 7800X3D
GPU: AMD Navi 31 [Radeon RX 7900 XT/7900 XTX] driver: amdgpu v: kernel
Kernel: 6.1.0-34-amd64 x86_64 Up: 16h 59m Mem: 16532.9/63411.0 MiB (26.1%)
Display: x11 server: X.Org v: 1.21.1.7 with: Xwayland v: 22.1.9 driver: X:
loaded: amdgpu unloaded: fbdev,modesetting,radeon,vesa dri: radeonsi
gpu: amdgpu resolution: 3840x2160~60Hz
API: OpenGL v: 4.6 Mesa 22.3.6 renderer: AMD Radeon Graphics (gfx1100
LLVM 15.0.6 DRM 3.49 6.1.0-34-amd64)

[MSfree]

Danke für die Hardwareinformationen, die ist ausreichend schnell und sollte kein Problem haben.

Mich irritieren diese 10MB/s über das Netz immer noch. 10MB/s riechen nach 100MBit Ethernet. Das ist heutzutage eigentlich veraltet. Mit GBit-Ethernet sind über 100MByte/s drin, also 10 mal so schnell. Das dürfte auch deine Probleme mit dem Dateimanager reduzieren.

Wie sieht deine Netzwerkhardware aus? Also Kabel, Switches, Router, sind die nur 100MBit-fähig?

Offenbar taucht das Problem ja nur auf, wenn irgendwas im Netz passiert, und das wirkt sich zumindest im Dateimanager auch auf lokale Dateien aus. Kannst du denn während solcher Blockaden in einem Terminal lokale Dateien ausreichend schnell öffnen?

Welcher Dateimanager wird von dir denn benutzt? Unter Linux gibt es Dutzende.