Schlechte R/W Performance auf NAS, via SMB und FTP

Hast Du Probleme mit Hardware, die durch die anderen Foren nicht abgedeckt werden? Schau auch in den "Tipps und Tricks"-Bereich.
Benutzeravatar
bluestar
Beiträge: 646
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 08:17:56

Knogle hat geschrieben: ↑ zum Beitrag ↑
20.06.2018 19:56:42
Also wenn ich es richtig verstehe, schiebt der alles in den RAM? Das macht ja irgendwie wenig Sinn wenn ich auf eine NVMe SSD schreibe.
Aus deiner Sicht mag das stimmen, allerdings aus Sicht des Kernels macht Caching auf jeden Fall Sinn.
Knogle hat geschrieben: ↑ zum Beitrag ↑
20.06.2018 19:56:42
Kann man das irgendwie ausmachen?
Normalerweise sollte der Kernel den passenden Scheduler für NVMe SSDs automatisch korrekt auswählen. Du kannst das ja mal prüfen:

Code: Alles auswählen

cat /sys/block/nvme0n1/queue/scheduler
Mal ne wichtige Frage am Rande: Wo liegt deine SWAP-Partition? SSD oder HDD?

Knogle
Beiträge: 245
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: GNU General Public License

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 08:21:01

Habe eine 16GB grosse SWAP Partition auf der SSD.
Weiterhin sind irgendwie maximal 1GB des RAMs ausgelastet, auch wenn ich gerade am kopieren bin.
HDD habe ich aktuell keine drin.


Der genannte Befehl gibt folgendes aus

Code: Alles auswählen

[none] mq-deadline

Benutzeravatar
bluestar
Beiträge: 646
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 08:46:53

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 08:21:01

Code: Alles auswählen

[none] mq-deadline
Das ist absolut korrekt, dann bleibt dir nur ein RAM Upgrade.

MSfree
Beiträge: 3553
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 09:02:36

bluestar hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 08:46:53
Das ist absolut korrekt, dann bleibt dir nur ein RAM Upgrade.
In dem atop-Bildchen weiter oben sehe ich, daß neben smbd der kswapd ziemlich viel CPU-Last produziert. Das deutet für mich darauf hin, daß unnötigerweise RAM ausgelagert wird, um den Cache zu vergrößern. Da aber RAM auslagern Schreiboperationen bedeuten, die mit den Schreiboprationen von smbd konkurieren, reduziert sich der IO-Durchsatz entsprechend.

Da ansonsten das RAM nur vom Cache ausgelastet ist, sehe ich hier keinen Grund für eine RAM-Aufrüstung. Ich würde als erstes den Swap komplett deaktivieren:

Code: Alles auswählen

swapoff -a
Alternativ kann man auch den swappiness Parameter auf Minimum setzen und so das Auslagern weitgehend verhindern:

Code: Alles auswählen

echo "1" > /proc/sys/vm/swappiness
Die Benchmarks, die ich zu der 512GB-Version der Samsung SSD (SM961) gefunden habe, kommen auf etwa 650MB/s IO-Durchsatz um Praxisbetrieb. Mit speziellen Benchmarks werden 2.6GByte/s lesen und 1.7GByte/s schreiben erreicht, was aber nur zeigt, wie sinnlos solche rohen Benchmarkwerte sind. Die 256GB-Version dürfte (möglicherweise deutlich) langsamer sein, weil nur halb soviel Speicher verbaut ist und nur halb soviel parallelisiert werden kann. Unter Umständen ist die damit also sogar nur halb so schnell. Das 10GBit-Netzwerk wird man also sowieso nicht sättigen können.

Knogle
Beiträge: 245
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: GNU General Public License

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 09:15:57

Vielen Dank MSFree!!!!

Code: Alles auswählen

swapoff -a
hat es gebracht!! Habe jetzt konstant meine 600-700MB/s :D

Jedoch liegt die CPU Auslastung auf beiden Kernen dann bei 100%

Bild

Benutzeravatar
bluestar
Beiträge: 646
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von bluestar » 21.06.2018 09:22:44

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 09:15:57
Jedoch liegt die CPU Auslastung auf beiden Kernen dann bei 100%
Dann wird es Zeit für mehr RAM und ne neue CPU mit mehr Power

MSfree
Beiträge: 3553
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 09:37:07

bluestar hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 09:22:44
Dann wird es Zeit für mehr RAM und ne neue CPU mit mehr Power
Der Pentium G4400 ist bereits eine 3.3GHz CPU, also nicht so schlecht. Die nächste Stufe wäre dann ein Quad-Core, ein Dual-Core i3 mit Hyperthreading reißt da nun auch nicht soviel raus. Ob das Meinboard aber z.B. den relativ preiswerten i3-8100 unterstützt, weiß ich nicht. Ansonsten müßte man i5-6500, i5-6600 oder i7 in Betracht ziehen, was aber ein paar hundert Euro kostet.

Mehr RAM? Wozu? von den 8GB wird doch nur 1GB wirklich benötigt, der Rest ist Cache. Ob du nun 7GB Cache hast oder 15GB Cache, wird die IO-Performance nicht mehr beeinflussen, zumal die Swap-Bremse ja nun beseitigt ist.

Knogle
Beiträge: 245
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: GNU General Public License

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 09:39:51

Am Samstag kommt bei mir ein Ryzen R7 1700 8 Kerner rein.

Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
Bin nun jedoch extrem zufrieden, dass die Ursache gefunden wurde!

MSfree
Beiträge: 3553
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 09:56:42

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 09:39:51
Am Samstag kommt bei mir ein Ryzen R7 1700 8 Kerner rein.
Naja, der ist im Vergleich zu deinem Pentium in der Single-Thread Performance aber ca. 20-25% schlechter.
Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
SFTP dürfte aber nur einen Kern auslasten, siehe oben: Single-Thread Performance. Ausserdem frißt die Verschlüsselung einiges an CPU. Eigentlich sollte der G4400 AES unterstützen, so daß die Verschlüsselung nicht in Software stattfinden müßte. Ich weiß aber gerade nicht, of SFTP schon die AES-Einheiten nutzen kann. Die 100MB/s deuten darauf hin, daß das nicht genutzt wird.

uname
Beiträge: 9539
Registriert: 03.06.2008 09:33:02

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von uname » 21.06.2018 11:16:47

Knogle hat geschrieben:Habe vorallem manchmal Probleme was SFTP betrifft, da habe ich ca. 100MB/s und dann 100% CPU Auslastung.
Hast du mal versucht einen Apache2-Webserver mit einen File-Uploader wie z. B. [1] für Up- und Download zu verwenden? Würde gerne wissen wie dann der Durchsatz ist. Und wo du dabei bist könntest du auch gleich mal Debianwget (gibt es das für Windows) versuchen.

[1] https://github.com/jcampbell1/simple-file-manager

Knogle
Beiträge: 245
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: GNU General Public License

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 11:24:06

Hmm ok.
Kann es sein dass Samba mehrere Cores nutzt?
Habe es gerade mal probiert.
Beim Kopieren mit Samba auf beiden Cores 100% Auslastung, bei SFTP 100% aber nur auf einem Core.

Zuvor hatte ich einen Xeon E5 2628L v4 als Engineering Sample drin mit 1,4GHz Turbo Takt pro Kern


@uname:

Mit Firefox habe ich das gerade mal probiert, da kriege ich maximal 40MB/s Download hin.

uname
Beiträge: 9539
Registriert: 03.06.2008 09:33:02

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von uname » 21.06.2018 11:26:06

Ist die serverseitige Auslastung bei Verwendung von Firefox auch bei 100% ?

Knogle
Beiträge: 245
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: GNU General Public License

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von Knogle » 21.06.2018 11:27:14

Die serverseitige Auslastung liegt bei unter 15% auf einem Kern

MSfree
Beiträge: 3553
Registriert: 25.09.2007 19:59:30

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von MSfree » 21.06.2018 11:50:44

Knogle hat geschrieben: ↑ zum Beitrag ↑
21.06.2018 11:27:14
Die serverseitige Auslastung liegt bei unter 15% auf einem Kern
Dafür dürfte der Firefox clientseitig die CPU voll auslasten. Der Flaschenhals steckt halt immer im schwächsten Glied. Firefox war aber noch nie für hohen Durchsatz gut, eine Optimierung diesbezüglich ist auch kaum sinnvoll, bei den Geschwindigkeiten, die man mit einer DSL-Leitung bekommt, ist das vergebliche Liebesmühe.

Bezüglich Hardware-Acceleration für AES unter SSH/SFTP habe ich diesen Artikel gefunden:
https://turecki.net/content/getting-mos ... ing-aes-ni

uname
Beiträge: 9539
Registriert: 03.06.2008 09:33:02

Re: Schlechte R/W Performance auf NAS, via SMB und FTP

Beitrag von uname » 21.06.2018 12:15:45

Insgesamt würde ich behaupten, dass die CPU deines Servers nicht für den möglichen Durchsatz der Leitung geeignet ist. Um Fehler in der Konfiguration auszuschließen könntest du mal ein Live-System (z. B. https://grml.org) booten und den Datentransfer per sftp wiederholen.
Zuletzt geändert von uname am 21.06.2018 12:17:37, insgesamt 1-mal geändert.

Antworten