Schlechte R/W Performance auf NAS, via SMB und FTP

Hast Du Probleme mit Hardware, die durch die anderen Foren nicht abgedeckt werden? Schau auch in den "Tipps und Tricks"-Bereich.
Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 08:17:56

Knogle hat geschrieben: ↑ zum Beitrag ↑
20.06.2018 19:56:42
Also wenn ich es richtig verstehe, schiebt der alles in den RAM? Das macht ja irgendwie wenig Sinn wenn ich auf eine NVMe SSD schreibe.
Aus deiner Sicht mag das stimmen, allerdings aus Sicht des Kernels macht Caching auf jeden Fall Sinn.
Knogle hat geschrieben: ↑ zum Beitrag ↑
20.06.2018 19:56:42
Kann man das irgendwie ausmachen?
Normalerweise sollte der Kernel den passenden Scheduler für NVMe SSDs automatisch korrekt auswählen. Du kannst das ja mal prüfen:

Code: Alles auswählen

cat /sys/block/nvme0n1/queue/scheduler
Mal ne wichtige Frage am Rande: Wo liegt deine SWAP-Partition? SSD oder HDD?

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 08:21:01

Habe eine 16GB grosse SWAP Partition auf der SSD.
Weiterhin sind irgendwie maximal 1GB des RAMs ausgelastet, auch wenn ich gerade am kopieren bin.
HDD habe ich aktuell keine drin.


Der genannte Befehl gibt folgendes aus

Code: Alles auswählen

[none] mq-deadline

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 08:46:53

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 08:21:01

Code: Alles auswählen

[none] mq-deadline
Das ist absolut korrekt, dann bleibt dir nur ein RAM Upgrade.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 09:02:36

bluestar hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 08:46:53
Das ist absolut korrekt, dann bleibt dir nur ein RAM Upgrade.
In dem atop-Bildchen weiter oben sehe ich, daß neben smbd der kswapd ziemlich viel CPU-Last produziert. Das deutet für mich darauf hin, daß unnötigerweise RAM ausgelagert wird, um den Cache zu vergrößern. Da aber RAM auslagern Schreiboperationen bedeuten, die mit den Schreiboprationen von smbd konkurieren, reduziert sich der IO-Durchsatz entsprechend.

Da ansonsten das RAM nur vom Cache ausgelastet ist, sehe ich hier keinen Grund für eine RAM-Aufrüstung. Ich würde als erstes den Swap komplett deaktivieren:

Code: Alles auswählen

swapoff -a
Alternativ kann man auch den swappiness Parameter auf Minimum setzen und so das Auslagern weitgehend verhindern:

Code: Alles auswählen

echo "1" > /proc/sys/vm/swappiness
Die Benchmarks, die ich zu der 512GB-Version der Samsung SSD (SM961) gefunden habe, kommen auf etwa 650MB/s IO-Durchsatz um Praxisbetrieb. Mit speziellen Benchmarks werden 2.6GByte/s lesen und 1.7GByte/s schreiben erreicht, was aber nur zeigt, wie sinnlos solche rohen Benchmarkwerte sind. Die 256GB-Version dürfte (möglicherweise deutlich) langsamer sein, weil nur halb soviel Speicher verbaut ist und nur halb soviel parallelisiert werden kann. Unter Umständen ist die damit also sogar nur halb so schnell. Das 10GBit-Netzwerk wird man also sowieso nicht sättigen können.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 09:15:57

Vielen Dank MSFree!!!!

Code: Alles auswählen

swapoff -a
hat es gebracht!! Habe jetzt konstant meine 600-700MB/s :D

Jedoch liegt die CPU Auslastung auf beiden Kernen dann bei 100%

Bild

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 09:22:44

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 09:15:57
Jedoch liegt die CPU Auslastung auf beiden Kernen dann bei 100%
Dann wird es Zeit für mehr RAM und ne neue CPU mit mehr Power

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 09:37:07

bluestar hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 09:22:44
Dann wird es Zeit für mehr RAM und ne neue CPU mit mehr Power
Der Pentium G4400 ist bereits eine 3.3GHz CPU, also nicht so schlecht. Die nächste Stufe wäre dann ein Quad-Core, ein Dual-Core i3 mit Hyperthreading reißt da nun auch nicht soviel raus. Ob das Meinboard aber z.B. den relativ preiswerten i3-8100 unterstützt, weiß ich nicht. Ansonsten müßte man i5-6500, i5-6600 oder i7 in Betracht ziehen, was aber ein paar hundert Euro kostet.

Mehr RAM? Wozu? von den 8GB wird doch nur 1GB wirklich benötigt, der Rest ist Cache. Ob du nun 7GB Cache hast oder 15GB Cache, wird die IO-Performance nicht mehr beeinflussen, zumal die Swap-Bremse ja nun beseitigt ist.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 09:39:51

Am Samstag kommt bei mir ein Ryzen R7 1700 8 Kerner rein.

Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
Bin nun jedoch extrem zufrieden, dass die Ursache gefunden wurde!

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 09:56:42

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 09:39:51
Am Samstag kommt bei mir ein Ryzen R7 1700 8 Kerner rein.
Naja, der ist im Vergleich zu deinem Pentium in der Single-Thread Performance aber ca. 20-25% schlechter.
Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
SFTP dürfte aber nur einen Kern auslasten, siehe oben: Single-Thread Performance. Ausserdem frißt die Verschlüsselung einiges an CPU. Eigentlich sollte der G4400 AES unterstützen, so daß die Verschlüsselung nicht in Software stattfinden müßte. Ich weiß aber gerade nicht, of SFTP schon die AES-Einheiten nutzen kann. Die 100MB/s deuten darauf hin, daß das nicht genutzt wird.

uname
Beiträge: 12045
Registriert: 03.06.2008 09:33:02

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von uname » 21.06.2018 11:16:47

Knogle hat geschrieben:Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
Hast du mal versucht einen Apache2-Webserver mit einen File-Uploader wie z. B. [1] für Up- und Download zu verwenden? Würde gerne wissen wie dann der Durchsatz ist. Und wo du dabei bist könntest du auch gleich mal Debianwget (gibt es das für Windows) versuchen.

[1] https://github.com/jcampbell1/simple-file-manager

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 11:24:06

Hmm ok.
Kann es sein dass Samba mehrere Cores nutzt?
Habe es gerade mal probiert.
Beim Kopieren mit Samba auf beiden Cores 100% Auslastung, bei SFTP 100% aber nur auf einem Core.

Zuvor hatte ich einen Xeon E5 2628L v4 als Engineering Sample drin mit 1,4GHz Turbo Takt pro Kern


@uname:

Mit Firefox habe ich das gerade mal probiert, da kriege ich maximal 40MB/s Download hin.

uname
Beiträge: 12045
Registriert: 03.06.2008 09:33:02

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von uname » 21.06.2018 11:26:06

Ist die serverseitige Auslastung bei Verwendung von Firefox auch bei 100% ?

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 11:27:14

Die serverseitige Auslastung liegt bei unter 15% auf einem Kern

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 11:50:44

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 11:27:14
Die serverseitige Auslastung liegt bei unter 15% auf einem Kern
Dafür dürfte der Firefox clientseitig die CPU voll auslasten. Der Flaschenhals steckt halt immer im schwächsten Glied. Firefox war aber noch nie für hohen Durchsatz gut, eine Optimierung diesbezüglich ist auch kaum sinnvoll, bei den Geschwindigkeiten, die man mit einer DSL-Leitung bekommt, ist das vergebliche Liebesmühe.

Bezüglich Hardware-Acceleration für AES unter SSH/SFTP habe ich diesen Artikel gefunden:
https://turecki.net/content/getting-mos ... ing-aes-ni

uname
Beiträge: 12045
Registriert: 03.06.2008 09:33:02

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von uname » 21.06.2018 12:15:45

Insgesamt würde ich behaupten, dass die CPU deines Servers nicht für den möglichen Durchsatz der Leitung geeignet ist. Um Fehler in der Konfiguration auszuschließen könntest du mal ein Live-System (z. B. https://grml.org) booten und den Datentransfer per sftp wiederholen.
Zuletzt geändert von uname am 21.06.2018 12:17:37, insgesamt 1-mal geändert.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 12:17:23

uname hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 12:15:45
Insgesamt würde ich behaupten, dass die CPU deines Servers nicht für den möglichen Durchsatz der Leitung geeignet ist.
Danke das du dich meiner Einschätzung anschließt. :THX:

Milbret
Beiträge: 827
Registriert: 26.05.2008 12:04:54
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Nörten-Hardenberg
Kontaktdaten:

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Milbret » 22.06.2018 23:54:27

Wie sieht es den mit Tuning über sysctl aus?
Ich würde gerade beim schreiben von großen Dateien empfehlen die Parameter für vm.dirty_ratio und vm.dirty_background_ratio zu setzen.
Damit kannst du den RAM mit guten Werten als Schreibpuffer tunen und den Durchsatz vom Netzwerk besser ausnutzen.
Dann kann wirklich nur nochdie Schreibrate der SSD limitieren.

Bei mit stehen die auf folgenden Werten:
vm.dirty_background_ratio = 50
vm.dirty_ratio = 80

Damit kann ich über Samba rund 700 MBit/s bei meinem Homeserver mit 16 GB RAM + Dual Core auslasten bei Backups.
Wenn es mal gut läuft sogar fast konstant 800 MBits, hängt aber vom Backup ab

Martin
Es gibt keine if Schleife -> http://www.if-schleife.de/
Ansonsten GPL/GNU/Linux/Debian/Free Software 4 Ever :D

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 30.06.2018 12:07:08

So,nun als Update.

Habe nun den Ryzen R7 1700 drin, und zumindest via Samba reize ich jetzt die vollen 10GBit/s aus!
Leider ist SSH immernoch ein bisschen mau, da habe ich aktuell nur max. 250MB/s

Hat jemand da eine Idee wie man das optimieren kann?

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Lord_Carlos » 30.06.2018 15:21:53

Wenn sicherheit nicht so wichtig ist, kannst arcfour aktivieren.
https://mgalgs.github.io/2014/10/22/ena ... enssh.html

Und bei ssh / rsync sagen es soll arcfour benutzten. Dann ist die verschluesselung nicht so geil, geht aber flotter.

Oh, und du hattest ein hardware raid 0 mit ZFS oben drauf? Ich habe mir mal sagen lassen das dies nicht so geil ist.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 30.06.2018 15:23:16

Ja einige Jahre lang habe ich das so betrieben. Lief meiner Ansicht nach eigentlich ganz gut.

Anfangs lief das ZFS unter FreeNAS, und dann nach 1-2 Jahren FreeNAS habe ich das so in Debian uebernommen.

Gibt es die Moeglichkeit, das was der -evp Parameter bei openssl -speed macht, irgendwie fuer SSH Verbindungen festzulegen? Weil das beschleunigt bei mir das ganze um das 5 fache

Antworten