RAID5 mit mdadm langsam...

Probleme mit Samba, NFS, FTP und Co.
Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

RAID5 mit mdadm langsam...

Beitrag von TheBear » 16.02.2019 10:16:12

Abgetrennt von hier: viewtopic.php?f=9&t=133633
AlliedEnemy hat geschrieben: ↑ zum Beitrag ↑
09.01.2012 06:58:08
...
Wo könnte hier noch der wurm begraben liegen?

Gruß
Moin!
Lag es jetzt nur an den Controller? Oder auch an den sämtlichen configs die davor passiert sind?

Jedenfalls habe ich gleiche Performanceprobleme und bekomme max. 4MB/s.
Das Performanceproblem wird in mehreren Foren erwähnt auch hier: https://forum.ubuntuusers.de/topic/mdad ... ptimieren/
Ich finde einfach den Flaschenhals nicht. :cry:

Gruß TheBear

EDIT:

Code: Alles auswählen

40960 Bytes (41 kB, 40 KiB) kopiert, 0,000465468 s, 88,0 MB/s
root@pi:~ $ sudo dd if=/dev/md0 of=/dev/null bs=4096 count=100
100+0 Datensätze ein
100+0 Datensätze aus
409600 Bytes (410 kB, 400 KiB) kopiert, 0,00181302 s, 226 MB/s
root@pi:~ $ sudo dd if=/dev/md0 of=/dev/null bs=4096 count=1000
1000+0 Datensätze ein
1000+0 Datensätze aus
4096000 Bytes (4,1 MB, 3,9 MiB) kopiert, 0,0101557 s, 403 MB/s
root@pi:~ $ sudo dd if=/dev/md0 of=/dev/null bs=4096 count=10000
10000+0 Datensätze ein
10000+0 Datensätze aus
40960000 Bytes (41 MB, 39 MiB) kopiert, 0,095217 s, 430 MB/s
root@pi:~ $ sudo dd if=/dev/md0 of=/dev/null bs=4096 count=20000
20000+0 Datensätze ein
20000+0 Datensätze aus
81920000 Bytes (82 MB, 78 MiB) kopiert, 0,115713 s, 708 MB/s
root@pi:~ $ sudo dd if=/dev/md0 of=/dev/null bs=4096 count=40000
40000+0 Datensätze ein
40000+0 Datensätze aus
163840000 Bytes (164 MB, 156 MiB) kopiert, 8,17091 s, 20,1 MB/s
root@pi:~ $ sudo dd if=/dev/md0 of=/dev/null bs=4096 count=40000
40000+0 Datensätze ein
40000+0 Datensätze aus
163840000 Bytes (164 MB, 156 MiB) kopiert, 0,34933 s, 469 MB/s

oder

Code: Alles auswählen

root@pi:~ $ sudo dd if=/dev/md0 of=/dev/null bs=32M count=512
512+0 Datensätze ein
512+0 Datensätze aus
17179869184 Bytes (17 GB, 16 GiB) kopiert, 537,353 s, 32,0 MB/s
root@pi:~ $
Wenn ich aber von Client(Smartphone, WIN10, etc) Daten kopiere dann bekomme ich ~4MB/s.
Zum Beispiel:
2064
Zuletzt geändert von TRex am 02.03.2019 09:38:23, insgesamt 1-mal geändert.
Grund: Thema geteilt, um Referenzen auf 2012 zu vermeiden
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

Re: RAID5 mit mdadm langsam...

Beitrag von TheBear » 26.02.2019 19:49:15

Keine Idee?
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID5 mit mdadm langsam...

Beitrag von bluestar » 26.02.2019 20:42:32

2012 - ups
Zuletzt geändert von bluestar am 02.03.2019 10:00:41, insgesamt 1-mal geändert.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: RAID5 mit mdadm langsam...

Beitrag von Lord_Carlos » 26.02.2019 21:01:47

bluestar hat geschrieben: ↑ zum Beitrag ↑
26.02.2019 20:42:32
Soweit ich das sehe sind deine Platten aus unterschiedlichen Hardware-Revisionen:
Was du zitierst ist von 2012.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

ChoMar
Beiträge: 1184
Registriert: 26.01.2004 19:51:47
Kontaktdaten:

Re: RAID5 mit mdadm langsam...

Beitrag von ChoMar » 28.02.2019 11:09:15

Ja, das ist das Problem wenn man solche Alt-Threads wiederbelebt.
Das aktuelle Problem sollte nicht am Raid liegen, wenn ich das richtig überflogen habe läuft lokal alles mit der erwarteten Geschwindigkeit, nur die Clients sind langsam.
Also liegts am SAMBA.
Ich habe hier vor JAHREN mal eine smb.conf mit diversen Performance-Optimierungen gepostet.
Die ist für ältere SMB - Protokolle auf jeden Fall zu gebrauchen. Evtl. muss man Samba dann aber auf smb 2 festnageln.
Samba 3 habe ich auch bisher nicht mit vernünftiger Geschwindigkeit zum Laufen gebracht.
Linux und Windows laufen bei mir zusammen. Ich zocke halt gerne.

Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

Re: RAID5 mit mdadm langsam...

Beitrag von TheBear » 01.03.2019 22:47:42

ChoMar hat geschrieben: ↑ zum Beitrag ↑
28.02.2019 11:09:15
Ja, das ist das Problem wenn man solche Alt-Threads wiederbelebt.
Ich wollte jetzt nicht Spamen und neuen Thread aufmachen.
Ich verwende "Version 4.5.16-Debian".
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
TRex
Moderator
Beiträge: 8040
Registriert: 23.11.2006 12:23:54
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: KA

Re: RAID5 mit mdadm langsam...

Beitrag von TRex » 02.03.2019 09:34:53

Du spammst nicht, wenn du nen neuen Thread aufmachst. Dass Leute sich erstmal den Eingangsbeitrag ansehen könnten (und nicht aufs Datum achten), hast du nicht einkalkuliert. Ich trenne die Beiträge in nen eigenen Thread ab.

Edit: Done
Jesus saves. Buddha does incremental backups.
Windows ist doof, Linux funktioniert nichtDon't break debian!Wie man widerspricht

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID5 mit mdadm langsam...

Beitrag von bluestar » 02.03.2019 09:59:00

@TheBear: Lese ich da in deinen Codeblöcken wirklich pi? Das ist aber kein RasPi oder???

Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

Re: RAID5 mit mdadm langsam...

Beitrag von TheBear » 02.03.2019 10:47:12

TRex hat geschrieben: ↑ zum Beitrag ↑
02.03.2019 09:34:53
Du spammst nicht, wenn du nen neuen Thread aufmachst. Dass Leute sich erstmal den Eingangsbeitrag ansehen könnten (und nicht aufs Datum achten), hast du nicht einkalkuliert. Ich trenne die Beiträge in nen eigenen Thread ab.

Edit: Done
@TRex
Durch die Trennung ist es ehe unübersichtlich geworden, aber OK.

@bluestar
Ja richtig PI 3B+ mit Gbit LAN und USB2.
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID5 mit mdadm langsam...

Beitrag von bluestar » 02.03.2019 12:23:52

Und wie hast du deine Platten an den Pi angeschlossen?

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: RAID5 mit mdadm langsam...

Beitrag von MSfree » 02.03.2019 12:50:51

TheBear hat geschrieben: ↑ zum Beitrag ↑
16.02.2019 10:16:12

Code: Alles auswählen

root@pi:~ $ sudo dd if=/dev/md0 of=/dev/null bs=4096 count=40000
40000+0 Datensätze ein
40000+0 Datensätze aus
163840000 Bytes (164 MB, 156 MiB) kopiert, 8,17091 s, 20,1 MB/s
oder

Code: Alles auswählen

root@pi:~ $ sudo dd if=/dev/md0 of=/dev/null bs=32M count=512
512+0 Datensätze ein
512+0 Datensätze aus
17179869184 Bytes (17 GB, 16 GiB) kopiert, 537,353 s, 32,0 MB/s
root@pi:~ $
Nunja, mehr als 20-30MB/s schafft der Raspi über seine per USB2 angebundene Peripherie nicht, was deine Meßwerte ja bestätigen. Die anderen, besseren Meßwerten kommen nur dadurch zustande, indem in der Kernel Daten cachet.
Wenn ich aber von Client(Smartphone, WIN10, etc) Daten kopiere dann bekomme ich ~4MB/s
Eine Halbierung auf 10-16MB/s ist schon dadurch zu erklären, weil hier nicht nach /dev/null geschrieben wird, sondern Daten über das Netz transportiert werden müssen, was durch das selbe USB2-Nadelöhr muß.

4MB/s hört sich für mich allerdings nach grottigem WLAN an, dein Smartphone wird wohl kaum am Ethernet hängen.

Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

Re: RAID5 mit mdadm langsam...

Beitrag von TheBear » 02.03.2019 12:56:18

Hallo MSfree. Gute Herleitung. WLAN hatte ich auch bereits ausgeschlossen und per Gbit verbunden gehabt, null Veränderung an der Datenrate. Ich muss irgendwie mit Ausschlussverfahren Schnittstelle für Schnittstelle oder Device ausschließen können.

EDIT
Nunja, mehr als 20-30MB/s schafft der Raspi
, Raspi ist klar, ich erwarte keine Highperformance aber mehr wie 4MB/s muss schon drin sein. Ich wäre ja mit 10MB/s schon sehr zu frieden.
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID5 mit mdadm langsam...

Beitrag von bluestar » 02.03.2019 13:04:23

Ist der Pi das Ziel deiner Kopieraktion oder die Quelle?

Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

Re: RAID5 mit mdadm langsam...

Beitrag von TheBear » 02.03.2019 13:22:12

bluestar hat geschrieben: ↑ zum Beitrag ↑
02.03.2019 13:04:23
Ist der Pi das Ziel deiner Kopieraktion oder die Quelle?
Client-->Netz-->Router-->Pi-->USB-Hub-->Festplatten
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID5 mit mdadm langsam...

Beitrag von bluestar » 02.03.2019 13:37:42

TheBear hat geschrieben: ↑ zum Beitrag ↑
02.03.2019 13:22:12
Client-->Netz-->Router-->Pi-->USB-Hub-->Festplatten
Dann frage ich mich echt, warum du mit dd Lesetests machst? Und die zum Vergleich heranziehst?

Also RAID5 über ein USB-Kabel auf 3 Platten?

Da hast du max. 480 MBit USB die du aufteilst:
- Gbit-Lan
- HDD1
- HDD2
- HDD3

Und da erwartest du wirklich mehr als 4MB/Sekunde?

Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

Re: RAID5 mit mdadm langsam...

Beitrag von TheBear » 02.03.2019 14:22:08

Ich versuche etwas Licht in die Dunkelheit zu bringen.
Ich möchte in meiner Konstellation den Flaschenhals der Datenrate zu finden.

Client --> Netz --> Router --> Pi --> USB-Hub --> Festplatten
^ ^ ^ ^ ^ ^
Gbit/s --> ??? --> Gbit/s --> Gbit/s --> USB3.0 --> USB3.0
USB2.0 incl. Netzteil
warum du mit dd Lesetests machst?
<-- irgendwie muss ich anfangen und Schnittstellen oder Device ausschließen, oder? Wenn ich von Controller auf HDD schnell lesen oder kopieren kann dann kann ich doch diese Stelle schon mal ausschließen.
Also RAID5 über ein USB-Kabel auf 3 Platten?
Nein, RAID1 und zwei Platten.

Ich möchte nicht raten sondern genau die Stelle fixen!


EDIT:
2077
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: RAID5 mit mdadm langsam...

Beitrag von MSfree » 02.03.2019 14:38:24

Kannst du mal am Raspi einen Bildschirm und eine Tastatur anschließen (alternativ ginge auch ein SSH login) und dann und

Code: Alles auswählen

iotop
auf dem PI mitlaufen lassen, während du etwas auf deinen Windowsrechner kopierst?

Grundsätzlich halte ich den Rapis als Datengrab fürs Netzwerk eher ungeignet. Der interne USB des Raspis ist dabei sehr schnell überfordert. Ich habe hier zum Rumspielen gerade eine Synology DS218 stehen. Die hat auch "nur" einen 1.4GHz ARM-Prozessor mit 4 Kernen, ähnlich dem Raspi 3+. Die pustet aber fast immer mehr als 90MB/s durch das GBit-Ethernet, nur bei vielen kleinen Dateien bricht die Datenrate erwartungsgemäß ein, aber nicht auf 4MB/s.

Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

Re: RAID5 mit mdadm langsam...

Beitrag von TheBear » 02.03.2019 14:51:49

top:
2078
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: RAID5 mit mdadm langsam...

Beitrag von MSfree » 02.03.2019 15:02:55

Wie vermutet, die CPU langweilt sich.

Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

Re: RAID5 mit mdadm langsam...

Beitrag von TheBear » 02.03.2019 15:05:18

MSfree hat geschrieben: ↑ zum Beitrag ↑
02.03.2019 15:02:55
Wie vermutet, die CPU langweilt sich.
Genau das hatte ich ja bereits gesagt. Gut das wir schon mal zur zwei sind. :D
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
TheBear
Beiträge: 17
Registriert: 16.02.2019 09:44:06

Re: RAID5 mit mdadm langsam...

Beitrag von TheBear » 02.03.2019 15:07:42

iotop tut sich kaum was:
2080

ausser ein paar mal war der kworker ausgelastet:
2081
„Der Zweifel ist der Beginn der Wissenschaft. Wer nichts anzweifelt, prüft nichts. Wer nichts prüft, entdeckt nichts. Wer nichts entdeckt, ist blind und bleibt blind.“
Meine ThreemaID: NZNR5X9S

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: RAID5 mit mdadm langsam...

Beitrag von MSfree » 02.03.2019 15:47:37

Code: Alles auswählen

apt-get install sysstat
und dann mal mit

Code: Alles auswählen

iostat -x 1
den iowait-Wert beim Kopieren beobachten.

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID5 mit mdadm langsam...

Beitrag von bluestar » 02.03.2019 16:24:05

TheBear hat geschrieben: ↑ zum Beitrag ↑
02.03.2019 14:22:08
Ich möchte nicht raten sondern genau die Stelle fixen!
Ich fänd es hilfreich, wenn dein Setup mal soweit dokumentiert wäre, das man da überhaupt sinnvoll das Problem suchen kann.

Spontan würde ich dir zu einem ODROID-H2 raten, der ist für deinen Einsatzzweck besser geeignet.

Benutzeravatar
Lord_Carlos
Beiträge: 5578
Registriert: 30.04.2006 17:58:52
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Dänemark

Re: RAID5 mit mdadm langsam...

Beitrag von Lord_Carlos » 04.03.2019 12:29:46

Mit Netz meinst du Internet?
Bei client1 ist der upload auch schneller als ~40 Mbit/s / 5 MB/s? Und dein Download auch.

Code: Alles auswählen

╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: RAID5 mit mdadm langsam...

Beitrag von bluestar » 04.03.2019 12:43:16

Lord_Carlos hat geschrieben: ↑ zum Beitrag ↑
04.03.2019 12:29:46
Mit Netz meinst du Internet?
Meine Glaskugel sagt: Er meint sein LAN

Antworten