RAID 10 höllisch lahm (mdadm)

Probleme mit Samba, NFS, FTP und Co.
Antworten
Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

RAID 10 höllisch lahm (mdadm)

Beitrag von Knogle » 14.06.2022 12:24:15

Hey Freunde :=)

Ich habe meinen Server nun ein bisschen aufgerüstet, und nutze ihn vorallem zur Virtualisierung mit QEMU mit cockpit-machines.
Das ganze läuft wunderbar. Nun leider war die SSD auf welcher das System sitzt zu klein.
Daher habe ich 4x Crucial P1 1TB SSDs genommen welche noch aus meinen Desktop PCs rumlagen, und habe daraus einen md-RAID 10 gezaubert.
Leider ist die Performance bei FTP/SSH Kopiervorgängen unterirdisch, und selbst rsync, oder cp brauchen ewig.
Habe daher mal spaßeshalber hdparm laufen lassen, und das Ergebnis ist echt schlecht wie ich finde.
Woran kann das liegen? Ist es normal , dass ein RAID hier so schlecht performt?
Wenn das nicht zu bessern ist, würde ich alternativ eine 4TB Samsung PM9A3 stattdessen bestellen.

Code: Alles auswählen

root@millenium-fbe48:~# hdparm -tT --direct /dev/md127

/dev/md127:
 Timing O_DIRECT cached reads:   724 MB in  2.00 seconds = 361.47 MB/sec
 Timing O_DIRECT disk reads: 1642 MB in  3.00 seconds = 547.16 MB/sec

Code: Alles auswählen

root@millenium-fbe48:~# lsblk
NAME        MAJ:MIN RM   SIZE RO TYPE   MOUNTPOINT
sda           8:0    1 931.5G  0 disk   
└─sda1        8:1    1 931.5G  0 part   
sdb           8:16   0     3T  0 disk   
sdc           8:32   0     3T  0 disk   
sdd           8:48   0   675G  0 disk   
nvme3n1     259:0    0 931.5G  0 disk   
└─md127       9:127  0   1.8T  0 raid10 
  ├─md127p1 259:8    0    64G  0 part   [SWAP]
  └─md127p2 259:9    0   1.8T  0 part   /var/lib/libvirt/images-nvme
nvme1n1     259:1    0 931.5G  0 disk   
└─md127       9:127  0   1.8T  0 raid10 
  ├─md127p1 259:8    0    64G  0 part   [SWAP]
  └─md127p2 259:9    0   1.8T  0 part   /var/lib/libvirt/images-nvme
nvme2n1     259:2    0 931.5G  0 disk   
└─md127       9:127  0   1.8T  0 raid10 
  ├─md127p1 259:8    0    64G  0 part   [SWAP]
  └─md127p2 259:9    0   1.8T  0 part   /var/lib/libvirt/images-nvme
nvme4n1     259:3    0 476.9G  0 disk   
├─nvme4n1p1 259:4    0   512M  0 part   /boot/efi
├─nvme4n1p2 259:5    0 475.5G  0 part   /
└─nvme4n1p3 259:6    0   976M  0 part   [SWAP]
nvme0n1     259:7    0 931.5G  0 disk   
└─md127       9:127  0   1.8T  0 raid10 
  ├─md127p1 259:8    0    64G  0 part   [SWAP]
  └─md127p2 259:9    0   1.8T  0 part   /var/lib/libvirt/images-nvme
Und die Bootplatte, eine 1st Gen NVMe Samsung PM961 SSD

Code: Alles auswählen

root@millenium-fbe48:/tmp# hdparm -tT --direct /dev/nvme4n1

/dev/nvme4n1:
 Timing O_DIRECT cached reads:   2766 MB in  2.00 seconds = 1383.02 MB/sec
 Timing O_DIRECT disk reads: 2300 MB in  3.00 seconds = 766.65 MB/sec

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: RAID 10 höllisch lahm (mdadm)

Beitrag von MSfree » 14.06.2022 15:33:35

Ist das RAID10 noch im Aufbau begriffen?
siehe
cat /proc/mdstat

Welches Dateisystem hast du verwendet? Z.B. ext4 hat einen "lazy" Modus, das Dateisystem wird dabei nach und nach komplettiert.

Beides zerrt an der Datenrate. Bei Festplatten kann man derlei Aktivitäten auch hören, SSDs sind "leider" lautlos.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID 10 höllisch lahm (mdadm)

Beitrag von Knogle » 14.06.2022 16:01:39

Vielen Dank für deine Nachricht!
Das Dateisystem ist tatsächlich ext4.

Code: Alles auswählen

root@millenium-fbe48:~# blkid /dev/md127p2
/dev/md127p2: UUID="9379427d-4b84-4b81-9b28-918e81a598b3" BLOCK_SIZE="4096" TYPE="ext4" PARTUUID="5424c743-c967-7c4a-8ce4-cfb98f541518"
Hier auch mal cat /proc/mdstat

Code: Alles auswählen

root@millenium-fbe48:~# cat /proc/mdstat 
Personalities : [raid10] [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] 
md127 : active raid10 nvme0n1[2] nvme1n1[0] nvme3n1[1] nvme2n1[3]
      1953260976 blocks super 1.2 4K chunks 2 near-copies [4/4] [UUUU]
      bitmap: 4/15 pages [16KB], 65536KB chunk

unused devices: <none>

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: RAID 10 höllisch lahm (mdadm)

Beitrag von MSfree » 14.06.2022 16:15:27

Sollte bei dir noch ein Prozeß namens ext4lazyinit laufen sollte sich die Geschwinidkgiet bessern, sobald der fertig ist. Man kann auch erzwingen, daß dieser lazy Init mit höherer Priorität läuft, was ich mit meinem RAID5 damals gemacht habe, weil der sonst eine Woche beschäftigt gewesen wäre. Bei netto 2TB im RAID10 sollte das aber relativ schnell gehen.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID 10 höllisch lahm (mdadm)

Beitrag von Knogle » 14.06.2022 16:17:12

Vielen Dank dir.
Habe mal geschaut, der läuft nicht mehr.
Das RAID wurde vor ca. 6 Monaten aufgesetzt.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: RAID 10 höllisch lahm (mdadm)

Beitrag von MSfree » 14.06.2022 16:24:01

Knogle hat geschrieben: ↑ zum Beitrag ↑
14.06.2022 16:17:12
Das RAID wurde vor ca. 6 Monaten aufgesetzt.
Dann kann es auch nichts mit den Initialisierungsroutinen zu tun haben. :mrgreen:

Daß die PM961 schneller ist als die Crucials sollte erstmal nicht verwundern. Erstere ist eine NVMe, die über PCIe mit 4 Lanes angebunden ist. Letztere sind "nur" SATA-Laufwerke. Mit SATA schafft man nicht viel mehr als 500MB/s, im RAID10 hätte ich aber schon mehr als 300MB/s erwartet.

Knogle
Beiträge: 465
Registriert: 06.05.2016 19:29:00
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID 10 höllisch lahm (mdadm)

Beitrag von Knogle » 14.06.2022 16:39:28

Oh danke dir.
Tatsächlich sind die Crucial P1 sogar NVMe Laufwerk mit PCIe Schnitstelle.
Einzeln machen die ca. 1600MB/s im Lesen, daher verwundert mich dieser Einbruch so massiv.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: RAID 10 höllisch lahm (mdadm)

Beitrag von MSfree » 14.06.2022 17:24:12

Knogle hat geschrieben: ↑ zum Beitrag ↑
14.06.2022 16:39:28
Tatsächlich sind die Crucial P1 sogar NVMe Laufwerk mit PCIe Schnitstelle.
Ich hatte im Internet nur die 2.5" SATA Version gesehen, aber die Bauform kennst du besser als ich das hier durch meine Glaskugel sehen kann, :wink:

Aber wie hast du denn insgesamt fünf NVMe auf das Mainboard bekommen? Übliche Mainboards haben nur ein bis zwei M.2-Sockel.

Antworten