Schlechte R/W Performance auf NAS, via SMB und FTP
Schlechte R/W Performance auf NAS, via SMB und FTP
Ich grüße euch liebe Community.
Ich habe aktuell ein Setup bestehend aus einem Pentium G4400 Skylake Dual Core, 8GB DDR4 RAM und einem ASRock B250 Pro4 Motherboard.
Weiterhin habe ich 2 Mellanox ConnectX 2 Karten mit 10GBits (Habe mein 40GBit/s Kit Mellanox ConnectX2 VPI aufgrund von Treiberschwierigkeiten ausgemustert)
Weiterhin eine NVMe SSD installiert vom Typ SM961 256GB welche ca. 3000MB/s Lesen macht, maximal.
Auf dieser SSD ist auch Debian, inzwischen Debian Buster, installiert.
Seit einiger Zeit, oder eventuell schon länger, bricht die Performance im Netwerk extrem zusammen.
Zumindest fällt es mir jetzt erstmals massiv auf.
Ich übertrage via FTP und SMB meist sehr große Dateien, größer als 4GB, jedoch habe ich momentan nur eine Performance von 100MB/s, häufig sogar weniger.
Client ist Windows momentan, aufn Server Debian.
Es besteht eine Punkt-zu-Punkt Verbindung zwischen Server und Client mit 255.255.255.254er Subnetz
Hier kopiere ich von meinem Client (NVMe SSD) auf meinen Server (NVMe SSD), da sollte es mit meinen 10GBit Mellanox ConnectX2 Karten ja eigentlich auch mit 10GBit/s voran gehen.
Wie gehe ich die Fehlersuche am besten an?
Letztendlich kann es ja leider alles sein.
Ich habe aktuell ein Setup bestehend aus einem Pentium G4400 Skylake Dual Core, 8GB DDR4 RAM und einem ASRock B250 Pro4 Motherboard.
Weiterhin habe ich 2 Mellanox ConnectX 2 Karten mit 10GBits (Habe mein 40GBit/s Kit Mellanox ConnectX2 VPI aufgrund von Treiberschwierigkeiten ausgemustert)
Weiterhin eine NVMe SSD installiert vom Typ SM961 256GB welche ca. 3000MB/s Lesen macht, maximal.
Auf dieser SSD ist auch Debian, inzwischen Debian Buster, installiert.
Seit einiger Zeit, oder eventuell schon länger, bricht die Performance im Netwerk extrem zusammen.
Zumindest fällt es mir jetzt erstmals massiv auf.
Ich übertrage via FTP und SMB meist sehr große Dateien, größer als 4GB, jedoch habe ich momentan nur eine Performance von 100MB/s, häufig sogar weniger.
Client ist Windows momentan, aufn Server Debian.
Es besteht eine Punkt-zu-Punkt Verbindung zwischen Server und Client mit 255.255.255.254er Subnetz
Hier kopiere ich von meinem Client (NVMe SSD) auf meinen Server (NVMe SSD), da sollte es mit meinen 10GBit Mellanox ConnectX2 Karten ja eigentlich auch mit 10GBit/s voran gehen.
Wie gehe ich die Fehlersuche am besten an?
Letztendlich kann es ja leider alles sein.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Ich würde dir raten einen Netzwerk-Durchsatz-Test machen z.B. mit netperf.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Moin
Netpdrf habe ich mal gemacht in beide Richtungen, ergab jedoch 10GBit, also muss das Problem irgendwo anders liegen:/
Netpdrf habe ich mal gemacht in beide Richtungen, ergab jedoch 10GBit, also muss das Problem irgendwo anders liegen:/
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Dann würde ich dir mal raten eine 6GB Test Datei von einem ramfs auf ein ramfs des anderen Rechners zu kopieren.
Wenn du 14.614 Objekte nacheinander kopieren willst, dann wirst du niemanls die 10GBit annähernd erreichen.
Kannst ja mal den Test machen und ein Verzeichnis mit 1 Millionen 1 Byte Dateien erstellen und das kopieren... Du wirst dich wundern.
Was ich dir auch noch mal nahe legen kann ist folgende Url: http://www.admin-magazin.de/Das-Heft/20 ... up-im-Test
Wenn du 14.614 Objekte nacheinander kopieren willst, dann wirst du niemanls die 10GBit annähernd erreichen.
Kannst ja mal den Test machen und ein Verzeichnis mit 1 Millionen 1 Byte Dateien erstellen und das kopieren... Du wirst dich wundern.
Was ich dir auch noch mal nahe legen kann ist folgende Url: http://www.admin-magazin.de/Das-Heft/20 ... up-im-Test
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Er kopiert ja schon ne dicke .iso datei.
Aber von und nach ram wuerde ich auch mal testen.
Aber schon komisch das es exakt in 1 Gbit/s uebertragt. 111MB/s ist auch das was ich bei meiner Leitung schaffe.
Edit: Kann es sein das es irgendwie automatisch ueber das "normale" nicht direkte Netzwerk gesendet wird? Im Taskmanager gucken welche Netzwerkkarte ausgelastet ist.
Aber von und nach ram wuerde ich auch mal testen.
Aber schon komisch das es exakt in 1 Gbit/s uebertragt. 111MB/s ist auch das was ich bei meiner Leitung schaffe.
Edit: Kann es sein das es irgendwie automatisch ueber das "normale" nicht direkte Netzwerk gesendet wird? Im Taskmanager gucken welche Netzwerkkarte ausgelastet ist.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Naja 570 MB laut https://www.archlinux.org/releng/releases/2018.06.01/ sind bei 10GBit Ethernet doch mehr Kleinkram statt große Datei ...
Mal davon abgesehen, das 8GB RAM und ne Dual Core CPU garantiert nicht das Optium sind um 10GBit Ethernet auch wirklich auszulasten.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Das mit dem RAM werde ich mal probieren.
Aktuell habe ich eine 10GB Testdatei mit /dev/zero gebaut, und die kopiert, da klappt das ziemlich gut, jedoch mit maximal ca. 600MB/s, also auch nichtmal 5GBit/s
Beim Kopieren auf den Server bricht es jedoch wieder auf ca. 140MBs zusammen
Also dadurch konnte ich bisher eingrenzen, dass das Problem nur besteht, wenn auf den Server geschrieben wird.
Hier mal die durchschnittliche Auslastung waehrend des Kopierens.
Aktuell habe ich eine 10GB Testdatei mit /dev/zero gebaut, und die kopiert, da klappt das ziemlich gut, jedoch mit maximal ca. 600MB/s, also auch nichtmal 5GBit/s
Beim Kopieren auf den Server bricht es jedoch wieder auf ca. 140MBs zusammen
Also dadurch konnte ich bisher eingrenzen, dass das Problem nur besteht, wenn auf den Server geschrieben wird.
Hier mal die durchschnittliche Auslastung waehrend des Kopierens.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Teste mal das parallele Kopieren von 2,3 oder 4 großen Dateien.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Habe ich mal probiert.
Wenn ich von meinem PC auf den Server kopiere habe ich maximal die etwa 160MB/s, bei 2 Dateien halt dann durch 2 geteilt.
Weiterhin ist dabei dann jeglicher Zugriff auf dem Server extrem verlangsamt, bzw. nahezu nicht moeglich.
Auch SSH timed dann out, waehrend ich auf den Server kopiere.
Auch wenn ich via VLC Musik hoere ueber den Server bleibt diese stehen.
Auf umgekehrten Wege werde ich mal testen
Von Server auf PC schaut es so aus
Wenn ich von meinem PC auf den Server kopiere habe ich maximal die etwa 160MB/s, bei 2 Dateien halt dann durch 2 geteilt.
Weiterhin ist dabei dann jeglicher Zugriff auf dem Server extrem verlangsamt, bzw. nahezu nicht moeglich.
Auch SSH timed dann out, waehrend ich auf den Server kopiere.
Auch wenn ich via VLC Musik hoere ueber den Server bleibt diese stehen.
Auf umgekehrten Wege werde ich mal testen
Von Server auf PC schaut es so aus
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Dann würde ich mal RAM und CPU im Server auf einen aktuellen Stand bringen. 16 oder 32GB und nen Quadcore solltest du schon nutzen.
Ansonsten bleibt dir noch MTU auf 9000 erhöhen und via sysctl den TCP/IP Stack optimieren...
Ansonsten bleibt dir noch MTU auf 9000 erhöhen und via sysctl den TCP/IP Stack optimieren...
Code: Alles auswählen
net.core.wmem_max=12582912
net.core.rmem_max=12582912
net.ipv4.tcp_rmem=10240 87380 12582912
net.ipv4.tcp_wmem=10240 87380 12582912
Zuletzt geändert von bluestar am 20.06.2018 19:42:53, insgesamt 1-mal geändert.
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Kopierst du in den Ram oder auf die SSD?
Mal mit atop geguckt wie doll die beim schreiben ausgelastet ist?
Mal mit atop geguckt wie doll die beim schreiben ausgelastet ist?
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Habe ich mal gemacht, leider kann ich die Werte von atop nicht interpretieren.
Momentan kopiere ich noch SSD --> SSD, werde mich mal erkundigen wie ich eine RAM Disk erstelle.
Hier mal ein Bild:
Wenn ich iotop nutze, dann sehe ich dass die SSD kaum ausgelastet wird.
Aus irgendeinem Grund habe ich gerade spontan schnellere Raten, jedoch bricht es nach ca. 30 Sekunden auf 80MB/s ein.
Habe vor die Tage meinen Server auf einen 8 Kern Ryzen umzustellen, RAM wird dennoch bei 8GB DDR4, wie aktuell auch, bleiben.
Momentan kopiere ich noch SSD --> SSD, werde mich mal erkundigen wie ich eine RAM Disk erstelle.
Hier mal ein Bild:
Wenn ich iotop nutze, dann sehe ich dass die SSD kaum ausgelastet wird.
Aus irgendeinem Grund habe ich gerade spontan schnellere Raten, jedoch bricht es nach ca. 30 Sekunden auf 80MB/s ein.
Habe vor die Tage meinen Server auf einen 8 Kern Ryzen umzustellen, RAM wird dennoch bei 8GB DDR4, wie aktuell auch, bleiben.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Sieht für mich nach iowait aus. Deine Performance bricht exakt ein, wenn deine Dateisystem Buffer voll sind => Mehr RAM
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
ram disk gibt es unter /dev/shm
atop zeigt DSK nicht an, haelt es also fuer nicht wichtig.
Aber du hast 1160 number of pages swapped out per second SWOUT. Laut man ist groesser als 10 ein anzeichen dafuer das ram knapp ist.
Was ich leider nicht verstehe, sollte doch gerne direkt auf die platte geschrieben werden koennen?
Vielleicht geht es besser mit einem anderen IO schedular?
atop zeigt DSK nicht an, haelt es also fuer nicht wichtig.
Aber du hast 1160 number of pages swapped out per second SWOUT. Laut man ist groesser als 10 ein anzeichen dafuer das ram knapp ist.
Was ich leider nicht verstehe, sollte doch gerne direkt auf die platte geschrieben werden koennen?
Vielleicht geht es besser mit einem anderen IO schedular?
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Also wenn ich es richtig verstehe, schiebt der alles in den RAM? Das macht ja irgendwie wenig Sinn wenn ich auf eine NVMe SSD schreibe.
Kann man das irgendwie ausmachen? DDR4 RAM ist leider alles andere als preiswert aktuell :/
So sah es noch vor einigen Wochen aus, als ich mein 40GBit Set drin hatte, da war das noch drastischer.
Kann man das irgendwie ausmachen? DDR4 RAM ist leider alles andere als preiswert aktuell :/
So sah es noch vor einigen Wochen aus, als ich mein 40GBit Set drin hatte, da war das noch drastischer.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Aus deiner Sicht mag das stimmen, allerdings aus Sicht des Kernels macht Caching auf jeden Fall Sinn.Knogle hat geschrieben:20.06.2018 19:56:42Also wenn ich es richtig verstehe, schiebt der alles in den RAM? Das macht ja irgendwie wenig Sinn wenn ich auf eine NVMe SSD schreibe.
Normalerweise sollte der Kernel den passenden Scheduler für NVMe SSDs automatisch korrekt auswählen. Du kannst das ja mal prüfen:
Code: Alles auswählen
cat /sys/block/nvme0n1/queue/scheduler
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Habe eine 16GB grosse SWAP Partition auf der SSD.
Weiterhin sind irgendwie maximal 1GB des RAMs ausgelastet, auch wenn ich gerade am kopieren bin.
HDD habe ich aktuell keine drin.
Der genannte Befehl gibt folgendes aus
Weiterhin sind irgendwie maximal 1GB des RAMs ausgelastet, auch wenn ich gerade am kopieren bin.
HDD habe ich aktuell keine drin.
Der genannte Befehl gibt folgendes aus
Code: Alles auswählen
[none] mq-deadline
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Das ist absolut korrekt, dann bleibt dir nur ein RAM Upgrade.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
In dem atop-Bildchen weiter oben sehe ich, daß neben smbd der kswapd ziemlich viel CPU-Last produziert. Das deutet für mich darauf hin, daß unnötigerweise RAM ausgelagert wird, um den Cache zu vergrößern. Da aber RAM auslagern Schreiboperationen bedeuten, die mit den Schreiboprationen von smbd konkurieren, reduziert sich der IO-Durchsatz entsprechend.bluestar hat geschrieben:21.06.2018 08:46:53Das ist absolut korrekt, dann bleibt dir nur ein RAM Upgrade.
Da ansonsten das RAM nur vom Cache ausgelastet ist, sehe ich hier keinen Grund für eine RAM-Aufrüstung. Ich würde als erstes den Swap komplett deaktivieren:
Code: Alles auswählen
swapoff -a
Code: Alles auswählen
echo "1" > /proc/sys/vm/swappiness
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Vielen Dank MSFree!!!!
hat es gebracht!! Habe jetzt konstant meine 600-700MB/s
Jedoch liegt die CPU Auslastung auf beiden Kernen dann bei 100%
Code: Alles auswählen
swapoff -a
Jedoch liegt die CPU Auslastung auf beiden Kernen dann bei 100%
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Dann wird es Zeit für mehr RAM und ne neue CPU mit mehr PowerKnogle hat geschrieben:21.06.2018 09:15:57Jedoch liegt die CPU Auslastung auf beiden Kernen dann bei 100%
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Der Pentium G4400 ist bereits eine 3.3GHz CPU, also nicht so schlecht. Die nächste Stufe wäre dann ein Quad-Core, ein Dual-Core i3 mit Hyperthreading reißt da nun auch nicht soviel raus. Ob das Meinboard aber z.B. den relativ preiswerten i3-8100 unterstützt, weiß ich nicht. Ansonsten müßte man i5-6500, i5-6600 oder i7 in Betracht ziehen, was aber ein paar hundert Euro kostet.bluestar hat geschrieben:21.06.2018 09:22:44Dann wird es Zeit für mehr RAM und ne neue CPU mit mehr Power
Mehr RAM? Wozu? von den 8GB wird doch nur 1GB wirklich benötigt, der Rest ist Cache. Ob du nun 7GB Cache hast oder 15GB Cache, wird die IO-Performance nicht mehr beeinflussen, zumal die Swap-Bremse ja nun beseitigt ist.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Am Samstag kommt bei mir ein Ryzen R7 1700 8 Kerner rein.
Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
Bin nun jedoch extrem zufrieden, dass die Ursache gefunden wurde!
Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
Bin nun jedoch extrem zufrieden, dass die Ursache gefunden wurde!
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Naja, der ist im Vergleich zu deinem Pentium in der Single-Thread Performance aber ca. 20-25% schlechter.Knogle hat geschrieben:21.06.2018 09:39:51Am Samstag kommt bei mir ein Ryzen R7 1700 8 Kerner rein.
SFTP dürfte aber nur einen Kern auslasten, siehe oben: Single-Thread Performance. Ausserdem frißt die Verschlüsselung einiges an CPU. Eigentlich sollte der G4400 AES unterstützen, so daß die Verschlüsselung nicht in Software stattfinden müßte. Ich weiß aber gerade nicht, of SFTP schon die AES-Einheiten nutzen kann. Die 100MB/s deuten darauf hin, daß das nicht genutzt wird.Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
Re: Schlechte R/W Performance auf NAS, via SMB und FTP
Hast du mal versucht einen Apache2-Webserver mit einen File-Uploader wie z. B. [1] für Up- und Download zu verwenden? Würde gerne wissen wie dann der Durchsatz ist. Und wo du dabei bist könntest du auch gleich mal wget (gibt es das für Windows) versuchen.Knogle hat geschrieben:Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
[1] https://github.com/jcampbell1/simple-file-manager