Hohe Latenz bei X710 10GbE SFP+

[mistersixt]

Moin moin,

ich habe hier zwei Testrechner stehen ("Core i7-13700K" + "Ryzen 7 7700X"), beide mit Kernel 6.0 und Debian Bookworm, gebootet mit "mitigations=off", nur niedrige C-States erlaubt, preempt=full, mit cpupower den Takt hochgedreht (bei der Intel CPU die Efficiency-Cores im BIOS deaktiviert).

Beide Rechner haben eine Intel X710 10GbE SFP+ Netzwerkkarte verbaut, dazwischen hängt ein "Twinax-Direct-Attached-Copper"-Kabel.

Mache ich einen ping von Rechner A nach B bekomme ich ca. 500usec Latenz. Mache ich einen ping von B nach A sind es 700usec. Beide Werte sind also extrem zu hoch, dazu noch unterschiedlich je nach ping-Richtung.

WTF?

Nun SPF+-Module eingebaut und Fibre-Kabel genommen (weiterhin ohne Switch dazwischen). ping von Rechner A nach B sind 220usec, von B nach A 450 usec. Also immer noch viel zu hoch, und wieder mit grosser Varianz.

Mache ich die Tests über Realtek 1Gbits/s Karten (8169) - dazu über einen fummeligen Switch - bekomme ich 60 usec.

Hat Jemand eine Idee, was hier faul sein könnte? Ich bin ratlos.

mistersixt.

[feltel]

Irgend ein Firmware-Bug bzw. Problem? Die Karte braucht doch bestimmt nachladbare Firmware. Vielleicht mal eine neuere Version direkt von Intel probieren?

[mistersixt]

Irgend ein Firmware-Bug bzw. Problem? Die Karte braucht doch bestimmt nachladbare Firmware. Vielleicht mal eine neuere Version direkt von Intel probieren?

Firmware ist aktuell, und ich hatte auch mal den Intel-Treiber von Intel compiliert, das hatte leider keine Veränderung gebracht.

[feltel]

und mal einen 10G-Switch dazwischen klemmen? Hatte auch mal mit einer Intel 10G-Karte ein lustiges Problem unter ESXi, da flappte die Karte (Link da, Link weg und das im Sekundentakt) dauernd und nur eine spezifische Powermanagement-Einstellung am Switch hat das (bis zu einem Firmware- bzw. Treiber-Update seitens Intel) behoben.

[mistersixt]

Ja, das probiere ich mal... danke!

[JTH]

Ich hab hier grad in der Uni eine verwandte *710-Karte in Benutzung. Die RTT (zumindest bei Pings) war da eher eine Konfigurations-, keine Firmwarefrage.

Benutze hier tuned mit dem Profil network-latency plus unter anderem

Code: Alles auswählen

ethtool -C DEV adaptive-rx off adaptive-tx off rx-usecs 0 tx-usecs 10

Ob das der Weisheit letzter Schluss ist, bin ich mir allerdings noch nicht sicher. Hat zumindest die RTT auf ein Zehntel gesenkt.

„Intel Ethernet Controller X710/ XL710 […] Family Linux Performance Tuning Guide“ liefert in den Abschnitten 3 und 4 noch ein paar Hinweise und Ansätze.

[mistersixt]

"Auf ein Zehntel" gesenkt... was hast Du da für Grössenordnungen?

Ich habe auch mal "network-latency" mit tuned gemacht + "rx-usecs 0 tx-usecs 0 adaptive-rx off adaptive-tx off rx-usecs-high 0", keine Verbesserung.

Erstmal einen Switch suchen und darüber probieren... via CrossConnect ist das zumindest alles bisher miserabel schlecht.

[mistersixt]

Hat sich geklärt: der neue AMD-Hobel ist strubbelig, MainBoard vermutlich (oder ein beklopptes Setting im BIOS, da gibt es ja mittlerweile so viele "dubiose" Einträge), die Intel-NIC in einen anderen (älteren) Server gesteckt und man ist direkt bei <15 usec RTT, und ohne grosse Varianz.

Gruss, mistersixt.

[feltel]

Mysteriös. Aber konnte ja fast nur irgend so eine blöde Inkompatibilität sein. Hatte die Karte wenigstens den angedachten Datendurchsatz gebracht oder lag das auch jenseits von gut und böse?

[mistersixt]

Mysteriös. Aber konnte ja fast nur irgend so eine blöde Inkompatibilität sein. Hatte die Karte wenigstens den angedachten Datendurchsatz gebracht oder lag das auch jenseits von gut und böse?

Ich brauche minimale Latenz, daher hatte ich den Durchsatz gar nicht geprüft. Die beiden CPUs "Core i7-13700K" und "Ryzen 7 7700X" sind vom Speed her ähnlich flott unterwegs (je nach Anwendung mal dieser und mal jener etwas schneller), und die NICs waren ja indentisch, daher kann es irgendwie nur am Board oder an einer blöden Einstellung im BIOS liegen (die ich aber nicht herausbekommen habe). Damit kann man viele, viele Stunden mit verbringen ...

[JTH]

Damit kann man viele, viele Stunden mit verbringen ...

Ja, das kann man wohl, je nach Anforderung.

"Auf ein Zehntel" gesenkt... was hast Du da für Grössenordnungen?

Wenn ich mich richtig erinner, war das ein Schritt von mehreren 100µs runter zu ~50µs.