RAID und NIC gleiche IOMMUGroup - Performance Problem?

slu · Beitrag von **slu** » 27.12.2022 11:12:58

Leider stecke ich nicht so tief in der Hardware drin, suche aber derzeit ein performance Problem.

Mainboard [1] CPU [2], 32 GB RAM
RAID ASR8805 (Raid 6, Status Optimal), RAM 1024 MB

dd liefert folgende Ergebnisse auf dem Server:

Code: Alles auswählen

dd if=/dev/zero of=test.img bs=8M count=10000
10000+0 Datensätze ein
10000+0 Datensätze aus
83886080000 Bytes (84 GB, 78 GiB) kopiert, 154,001 s, 545 MB/s

Code: Alles auswählen

dd if=test.img of=/dev/zero bs=8M
10000+0 Datensätze ein
10000+0 Datensätze aus
83886080000 Bytes (84 GB, 78 GiB) kopiert, 179,17 s, 468 MB/s

Aber über das Netzwerk kommen maximal ~ 250 MB/s wenn man eine 800 GB große Datei kopiert (das Ziel kann die Menge um Faktor x aufnehmen),
das Netzwerk bringt knapp 10 GBit/s, mit

iperf mehrmals getestet.

Sobald die NIC im Spiel ist halbieren sich die Leseraten der Festplatte:

Code: Alles auswählen

You did not select any stats, using -cdngy by default.
--total-cpu-usage-- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai stl| read  writ| recv  send|  in   out | int   csw 
  1   2  95   2   0|  37M   34M|   0     0 |  32B   51B|  19k   51k
  3   7  88   2   0| 292M    0 |1932k  307M|   0     0 |  11k   32k
  3   6  89   2   0| 232M    0 |1962k  243M|   0     0 |  10k   25k
  3   6  88   3   0| 195M   32M|1692k  204M|   0     0 |9448    22k
  3   8  88   1   0| 263M    0 |1876k  275M|   0     0 |  11k   29k
  3   7  88   2   0| 303M   28k|1894k  318M|   0     0 |  12k   33k
  2   7  90   1   0| 245M    0 |1736k  257M|   0     0 |  10k   27k
  3   7  90   0   0| 309M    0 |1894k  324M|   0     0 |  12k   34k
  2   7  90   1   0| 309M    0 |2123k  325M|   0     0 |  12k   34k
  3   9  87   1   0| 301M    0 |1983k  315M|   0     0 |  12k   32k
  3   7  89   1   0| 243M   28k|1817k  255M|   0     0 |  10k   26k
  3   8  89   0   0| 316M    0 |1989k  331M|   0     0 |  12k   33k
  4   7  89   0   0| 287M    0 |1894k  301M|   0     0 |  11k   31k
  3   7  90   1   0| 293M    0 |2006k  307M|   0     0 |  12k   32k
  3   7  90   0   0| 288M    0 |2060k  303M|   0     0 |  12k   33k
  2   7  89   1   0| 312M   12k|1976k  327M|   0     0 |  12k   34k
  3   7  90   0   0| 317M    0 |1982k  333M|   0     0 |  12k   34k
  2   6  90   2   0| 195M    0 |1712k  204M|   0     0 |9663    22

Die Frage ist jetzt liegt es an der Hardware (Kombination der Slots)?
Was mir aufgefallen ist das beide in der selben IOMMU Gruppe liegen, ist das ein Problem?

Code: Alles auswählen

Slot:	01:00.0
Class:	Ethernet controller
Vendor:	Intel Corporation
Device:	Ethernet Controller 10G X550T
SVendor:	Super Micro Computer Inc
SDevice:	Ethernet Controller 10G X550T
Rev:	01
IOMMUGroup:	1

Slot:	02:00.0
Class:	RAID bus controller
Vendor:	Adaptec
Device:	Series 8 12G SAS/PCIe 3
SVendor:	Adaptec
SDevice:	Series 8 - ASR-8805 - 8 internal 0 external 12G SAS Port/PCIe 3.0
Rev:	01
IOMMUGroup:	1

Edit:
Der Raid Controller sitz auf Slot 4 und die Nic auf Slot 6, damit wäre vom PCI Bus genug Bandbreite vorhanden.
Cache r/w ist am Raid Controller aktiv.

[1] https://www.supermicro.com/en/products/ ... d/x11sca-f
[2] https://www.intel.de/content/www/de/de/ ... tions.html