Schlechte R/W Performance auf NAS, via SMB und FTP

Hast Du Probleme mit Hardware, die durch die anderen Foren nicht abgedeckt werden? Schau auch in den "Tipps und Tricks"-Bereich.
Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 17.06.2018 21:33:39

Ich grüße euch liebe Community.

Ich habe aktuell ein Setup bestehend aus einem Pentium G4400 Skylake Dual Core, 8GB DDR4 RAM und einem ASRock B250 Pro4 Motherboard.
Weiterhin habe ich 2 Mellanox ConnectX 2 Karten mit 10GBits (Habe mein 40GBit/s Kit Mellanox ConnectX2 VPI aufgrund von Treiberschwierigkeiten ausgemustert)

Weiterhin eine NVMe SSD installiert vom Typ SM961 256GB welche ca. 3000MB/s Lesen macht, maximal.

Auf dieser SSD ist auch Debian, inzwischen Debian Buster, installiert.
Seit einiger Zeit, oder eventuell schon länger, bricht die Performance im Netwerk extrem zusammen.
Zumindest fällt es mir jetzt erstmals massiv auf.
Ich übertrage via FTP und SMB meist sehr große Dateien, größer als 4GB, jedoch habe ich momentan nur eine Performance von 100MB/s, häufig sogar weniger.

Client ist Windows momentan, aufn Server Debian.
Es besteht eine Punkt-zu-Punkt Verbindung zwischen Server und Client mit 255.255.255.254er Subnetz


Hier kopiere ich von meinem Client (NVMe SSD) auf meinen Server (NVMe SSD), da sollte es mit meinen 10GBit Mellanox ConnectX2 Karten ja eigentlich auch mit 10GBit/s voran gehen.

Bild

Wie gehe ich die Fehlersuche am besten an?
Letztendlich kann es ja leider alles sein.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 17.06.2018 22:44:37

Ich würde dir raten einen Netzwerk-Durchsatz-Test machen z.B. mit netperf.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 20.06.2018 14:02:45

Moin
Netpdrf habe ich mal gemacht in beide Richtungen, ergab jedoch 10GBit, also muss das Problem irgendwo anders liegen:/

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 20.06.2018 14:06:29

Dann würde ich dir mal raten eine 6GB Test Datei von einem ramfs auf ein ramfs des anderen Rechners zu kopieren.

Wenn du 14.614 Objekte nacheinander kopieren willst, dann wirst du niemanls die 10GBit annähernd erreichen.
Kannst ja mal den Test machen und ein Verzeichnis mit 1 Millionen 1 Byte Dateien erstellen und das kopieren... Du wirst dich wundern.

Was ich dir auch noch mal nahe legen kann ist folgende Url: http://www.admin-magazin.de/Das-Heft/20 ... up-im-Test

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Lord_Carlos » 20.06.2018 14:20:06

Er kopiert ja schon ne dicke .iso datei.
Aber von und nach ram wuerde ich auch mal testen.

Aber schon komisch das es exakt in 1 Gbit/s uebertragt. 111MB/s ist auch das was ich bei meiner Leitung schaffe.

Edit: Kann es sein das es irgendwie automatisch ueber das "normale" nicht direkte Netzwerk gesendet wird? Im Taskmanager gucken welche Netzwerkkarte ausgelastet ist.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 20.06.2018 14:24:51

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
20.06.2018 14:20:06
Er kopiert ja schon ne dicke .iso datei.
Naja 570 MB laut https://www.archlinux.org/releng/releases/2018.06.01/ sind bei 10GBit Ethernet doch mehr Kleinkram statt große Datei ...
Mal davon abgesehen, das 8GB RAM und ne Dual Core CPU garantiert nicht das Optium sind um 10GBit Ethernet auch wirklich auszulasten.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 20.06.2018 16:08:37

Das mit dem RAM werde ich mal probieren.
Aktuell habe ich eine 10GB Testdatei mit /dev/zero gebaut, und die kopiert, da klappt das ziemlich gut, jedoch mit maximal ca. 600MB/s, also auch nichtmal 5GBit/s

Bild

Beim Kopieren auf den Server bricht es jedoch wieder auf ca. 140MBs zusammen
Also dadurch konnte ich bisher eingrenzen, dass das Problem nur besteht, wenn auf den Server geschrieben wird.


Bild


Hier mal die durchschnittliche Auslastung waehrend des Kopierens.


Bild

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 20.06.2018 19:23:48

Teste mal das parallele Kopieren von 2,3 oder 4 großen Dateien.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 20.06.2018 19:29:52

Habe ich mal probiert.

Wenn ich von meinem PC auf den Server kopiere habe ich maximal die etwa 160MB/s, bei 2 Dateien halt dann durch 2 geteilt.
Weiterhin ist dabei dann jeglicher Zugriff auf dem Server extrem verlangsamt, bzw. nahezu nicht moeglich.
Auch SSH timed dann out, waehrend ich auf den Server kopiere.
Auch wenn ich via VLC Musik hoere ueber den Server bleibt diese stehen.

Auf umgekehrten Wege werde ich mal testen


Bild


Von Server auf PC schaut es so aus


Bild

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 20.06.2018 19:41:33

Dann würde ich mal RAM und CPU im Server auf einen aktuellen Stand bringen. 16 oder 32GB und nen Quadcore solltest du schon nutzen.

Ansonsten bleibt dir noch MTU auf 9000 erhöhen und via sysctl den TCP/IP Stack optimieren...

Code: Alles auswählen

net.core.wmem_max=12582912
net.core.rmem_max=12582912
net.ipv4.tcp_rmem=10240 87380 12582912
net.ipv4.tcp_wmem=10240 87380 12582912
Zuletzt geändert von bluestar am 20.06.2018 19:42:53, insgesamt 1-mal geändert.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Lord_Carlos » 20.06.2018 19:42:06

Kopierst du in den Ram oder auf die SSD?
Mal mit atop geguckt wie doll die beim schreiben ausgelastet ist?

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 20.06.2018 19:44:43

Habe ich mal gemacht, leider kann ich die Werte von atop nicht interpretieren.


Momentan kopiere ich noch SSD --> SSD, werde mich mal erkundigen wie ich eine RAM Disk erstelle.

Hier mal ein Bild:

Bild

Wenn ich iotop nutze, dann sehe ich dass die SSD kaum ausgelastet wird.


Aus irgendeinem Grund habe ich gerade spontan schnellere Raten, jedoch bricht es nach ca. 30 Sekunden auf 80MB/s ein.

Habe vor die Tage meinen Server auf einen 8 Kern Ryzen umzustellen, RAM wird dennoch bei 8GB DDR4, wie aktuell auch, bleiben.

Bild

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 20.06.2018 19:52:25

Sieht für mich nach iowait aus. Deine Performance bricht exakt ein, wenn deine Dateisystem Buffer voll sind => Mehr RAM

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Lord_Carlos » 20.06.2018 19:52:51

ram disk gibt es unter /dev/shm

atop zeigt DSK nicht an, haelt es also fuer nicht wichtig.
Aber du hast 1160 number of pages swapped out per second SWOUT. Laut man ist groesser als 10 ein anzeichen dafuer das ram knapp ist.

Was ich leider nicht verstehe, sollte doch gerne direkt auf die platte geschrieben werden koennen?
Vielleicht geht es besser mit einem anderen IO schedular?

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 20.06.2018 19:56:42

Also wenn ich es richtig verstehe, schiebt der alles in den RAM? Das macht ja irgendwie wenig Sinn wenn ich auf eine NVMe SSD schreibe.
Kann man das irgendwie ausmachen? DDR4 RAM ist leider alles andere als preiswert aktuell :/

So sah es noch vor einigen Wochen aus, als ich mein 40GBit Set drin hatte, da war das noch drastischer.

Bild

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 08:17:56

Knogle hat geschrieben: ↑ zum Beitrag ↑
20.06.2018 19:56:42
Also wenn ich es richtig verstehe, schiebt der alles in den RAM? Das macht ja irgendwie wenig Sinn wenn ich auf eine NVMe SSD schreibe.
Aus deiner Sicht mag das stimmen, allerdings aus Sicht des Kernels macht Caching auf jeden Fall Sinn.
Knogle hat geschrieben: ↑ zum Beitrag ↑
20.06.2018 19:56:42
Kann man das irgendwie ausmachen?
Normalerweise sollte der Kernel den passenden Scheduler für NVMe SSDs automatisch korrekt auswählen. Du kannst das ja mal prüfen:

Code: Alles auswählen

cat /sys/block/nvme0n1/queue/scheduler
Mal ne wichtige Frage am Rande: Wo liegt deine SWAP-Partition? SSD oder HDD?

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 08:21:01

Habe eine 16GB grosse SWAP Partition auf der SSD.
Weiterhin sind irgendwie maximal 1GB des RAMs ausgelastet, auch wenn ich gerade am kopieren bin.
HDD habe ich aktuell keine drin.


Der genannte Befehl gibt folgendes aus

Code: Alles auswählen

[none] mq-deadline

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 08:46:53

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 08:21:01

Code: Alles auswählen

[none] mq-deadline
Das ist absolut korrekt, dann bleibt dir nur ein RAM Upgrade.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 09:02:36

bluestar hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 08:46:53
Das ist absolut korrekt, dann bleibt dir nur ein RAM Upgrade.
In dem atop-Bildchen weiter oben sehe ich, daß neben smbd der kswapd ziemlich viel CPU-Last produziert. Das deutet für mich darauf hin, daß unnötigerweise RAM ausgelagert wird, um den Cache zu vergrößern. Da aber RAM auslagern Schreiboperationen bedeuten, die mit den Schreiboprationen von smbd konkurieren, reduziert sich der IO-Durchsatz entsprechend.

Da ansonsten das RAM nur vom Cache ausgelastet ist, sehe ich hier keinen Grund für eine RAM-Aufrüstung. Ich würde als erstes den Swap komplett deaktivieren:

Code: Alles auswählen

swapoff -a
Alternativ kann man auch den swappiness Parameter auf Minimum setzen und so das Auslagern weitgehend verhindern:

Code: Alles auswählen

echo "1" > /proc/sys/vm/swappiness
Die Benchmarks, die ich zu der 512GB-Version der Samsung SSD (SM961) gefunden habe, kommen auf etwa 650MB/s IO-Durchsatz um Praxisbetrieb. Mit speziellen Benchmarks werden 2.6GByte/s lesen und 1.7GByte/s schreiben erreicht, was aber nur zeigt, wie sinnlos solche rohen Benchmarkwerte sind. Die 256GB-Version dürfte (möglicherweise deutlich) langsamer sein, weil nur halb soviel Speicher verbaut ist und nur halb soviel parallelisiert werden kann. Unter Umständen ist die damit also sogar nur halb so schnell. Das 10GBit-Netzwerk wird man also sowieso nicht sättigen können.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 09:15:57

Vielen Dank MSFree!!!!

Code: Alles auswählen

swapoff -a
hat es gebracht!! Habe jetzt konstant meine 600-700MB/s :D

Jedoch liegt die CPU Auslastung auf beiden Kernen dann bei 100%

Bild

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 09:22:44

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 09:15:57
Jedoch liegt die CPU Auslastung auf beiden Kernen dann bei 100%
Dann wird es Zeit für mehr RAM und ne neue CPU mit mehr Power

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 09:37:07

bluestar hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 09:22:44
Dann wird es Zeit für mehr RAM und ne neue CPU mit mehr Power
Der Pentium G4400 ist bereits eine 3.3GHz CPU, also nicht so schlecht. Die nächste Stufe wäre dann ein Quad-Core, ein Dual-Core i3 mit Hyperthreading reißt da nun auch nicht soviel raus. Ob das Meinboard aber z.B. den relativ preiswerten i3-8100 unterstützt, weiß ich nicht. Ansonsten müßte man i5-6500, i5-6600 oder i7 in Betracht ziehen, was aber ein paar hundert Euro kostet.

Mehr RAM? Wozu? von den 8GB wird doch nur 1GB wirklich benötigt, der Rest ist Cache. Ob du nun 7GB Cache hast oder 15GB Cache, wird die IO-Performance nicht mehr beeinflussen, zumal die Swap-Bremse ja nun beseitigt ist.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 09:39:51

Am Samstag kommt bei mir ein Ryzen R7 1700 8 Kerner rein.

Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
Bin nun jedoch extrem zufrieden, dass die Ursache gefunden wurde!

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 09:56:42

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 09:39:51
Am Samstag kommt bei mir ein Ryzen R7 1700 8 Kerner rein.
Naja, der ist im Vergleich zu deinem Pentium in der Single-Thread Performance aber ca. 20-25% schlechter.
Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
SFTP dürfte aber nur einen Kern auslasten, siehe oben: Single-Thread Performance. Ausserdem frißt die Verschlüsselung einiges an CPU. Eigentlich sollte der G4400 AES unterstützen, so daß die Verschlüsselung nicht in Software stattfinden müßte. Ich weiß aber gerade nicht, of SFTP schon die AES-Einheiten nutzen kann. Die 100MB/s deuten darauf hin, daß das nicht genutzt wird.

uname
Beiträge: 12045
Registriert: 03.06.2008 09:33:02

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von uname » 21.06.2018 11:16:47

Knogle hat geschrieben:Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
Hast du mal versucht einen Apache2-Webserver mit einen File-Uploader wie z. B. [1] für Up- und Download zu verwenden? Würde gerne wissen wie dann der Durchsatz ist. Und wo du dabei bist könntest du auch gleich mal Debianwget (gibt es das für Windows) versuchen.

[1] https://github.com/jcampbell1/simple-file-manager

Antworten