Hohe Latenz bei X710 10GbE SFP+
- mistersixt
- Beiträge: 6601
- Registriert: 24.09.2003 14:33:25
- Lizenz eigener Beiträge: GNU Free Documentation License
Hohe Latenz bei X710 10GbE SFP+
Moin moin,
ich habe hier zwei Testrechner stehen ("Core i7-13700K" + "Ryzen 7 7700X"), beide mit Kernel 6.0 und Debian Bookworm, gebootet mit "mitigations=off", nur niedrige C-States erlaubt, preempt=full, mit cpupower den Takt hochgedreht (bei der Intel CPU die Efficiency-Cores im BIOS deaktiviert).
Beide Rechner haben eine Intel X710 10GbE SFP+ Netzwerkkarte verbaut, dazwischen hängt ein "Twinax-Direct-Attached-Copper"-Kabel.
Mache ich einen ping von Rechner A nach B bekomme ich ca. 500usec Latenz. Mache ich einen ping von B nach A sind es 700usec. Beide Werte sind also extrem zu hoch, dazu noch unterschiedlich je nach ping-Richtung.
WTF?
Nun SPF+-Module eingebaut und Fibre-Kabel genommen (weiterhin ohne Switch dazwischen). ping von Rechner A nach B sind 220usec, von B nach A 450 usec. Also immer noch viel zu hoch, und wieder mit grosser Varianz.
Mache ich die Tests über Realtek 1Gbits/s Karten (8169) - dazu über einen fummeligen Switch - bekomme ich 60 usec.
Hat Jemand eine Idee, was hier faul sein könnte? Ich bin ratlos.
mistersixt.
ich habe hier zwei Testrechner stehen ("Core i7-13700K" + "Ryzen 7 7700X"), beide mit Kernel 6.0 und Debian Bookworm, gebootet mit "mitigations=off", nur niedrige C-States erlaubt, preempt=full, mit cpupower den Takt hochgedreht (bei der Intel CPU die Efficiency-Cores im BIOS deaktiviert).
Beide Rechner haben eine Intel X710 10GbE SFP+ Netzwerkkarte verbaut, dazwischen hängt ein "Twinax-Direct-Attached-Copper"-Kabel.
Mache ich einen ping von Rechner A nach B bekomme ich ca. 500usec Latenz. Mache ich einen ping von B nach A sind es 700usec. Beide Werte sind also extrem zu hoch, dazu noch unterschiedlich je nach ping-Richtung.
WTF?
Nun SPF+-Module eingebaut und Fibre-Kabel genommen (weiterhin ohne Switch dazwischen). ping von Rechner A nach B sind 220usec, von B nach A 450 usec. Also immer noch viel zu hoch, und wieder mit grosser Varianz.
Mache ich die Tests über Realtek 1Gbits/s Karten (8169) - dazu über einen fummeligen Switch - bekomme ich 60 usec.
Hat Jemand eine Idee, was hier faul sein könnte? Ich bin ratlos.
mistersixt.
--
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
- feltel
- Webmaster
- Beiträge: 10371
- Registriert: 20.12.2001 13:08:23
- Lizenz eigener Beiträge: MIT Lizenz
- Wohnort: Leipzig, Germany
-
Kontaktdaten:
Re: Hohe Latenz bei X710 10GbE SFP+
Irgend ein Firmware-Bug bzw. Problem? Die Karte braucht doch bestimmt nachladbare Firmware. Vielleicht mal eine neuere Version direkt von Intel probieren?
debianforum.de unterstützen? Hier! | debianforum.de Verhaltensregeln | Bitte keine Supportanfragen per PM
- mistersixt
- Beiträge: 6601
- Registriert: 24.09.2003 14:33:25
- Lizenz eigener Beiträge: GNU Free Documentation License
Re: Hohe Latenz bei X710 10GbE SFP+
Firmware ist aktuell, und ich hatte auch mal den Intel-Treiber von Intel compiliert, das hatte leider keine Veränderung gebracht.feltel hat geschrieben:21.03.2023 13:02:24Irgend ein Firmware-Bug bzw. Problem? Die Karte braucht doch bestimmt nachladbare Firmware. Vielleicht mal eine neuere Version direkt von Intel probieren?
--
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
- feltel
- Webmaster
- Beiträge: 10371
- Registriert: 20.12.2001 13:08:23
- Lizenz eigener Beiträge: MIT Lizenz
- Wohnort: Leipzig, Germany
-
Kontaktdaten:
Re: Hohe Latenz bei X710 10GbE SFP+
und mal einen 10G-Switch dazwischen klemmen? Hatte auch mal mit einer Intel 10G-Karte ein lustiges Problem unter ESXi, da flappte die Karte (Link da, Link weg und das im Sekundentakt) dauernd und nur eine spezifische Powermanagement-Einstellung am Switch hat das (bis zu einem Firmware- bzw. Treiber-Update seitens Intel) behoben.
debianforum.de unterstützen? Hier! | debianforum.de Verhaltensregeln | Bitte keine Supportanfragen per PM
- mistersixt
- Beiträge: 6601
- Registriert: 24.09.2003 14:33:25
- Lizenz eigener Beiträge: GNU Free Documentation License
Re: Hohe Latenz bei X710 10GbE SFP+
Ja, das probiere ich mal... danke!
--
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
Re: Hohe Latenz bei X710 10GbE SFP+
Ich hab hier grad in der Uni eine verwandte *710-Karte in Benutzung. Die RTT (zumindest bei Pings) war da eher eine Konfigurations-, keine Firmwarefrage.
Benutze hier tuned mit dem Profil network-latency plus unter anderem
Ob das der Weisheit letzter Schluss ist, bin ich mir allerdings noch nicht sicher. Hat zumindest die RTT auf ein Zehntel gesenkt.
„Intel Ethernet Controller X710/ XL710 […] Family Linux Performance Tuning Guide“ liefert in den Abschnitten 3 und 4 noch ein paar Hinweise und Ansätze.
Benutze hier tuned mit dem Profil network-latency plus unter anderem
Code: Alles auswählen
ethtool -C DEV adaptive-rx off adaptive-tx off rx-usecs 0 tx-usecs 10
„Intel Ethernet Controller X710/ XL710 […] Family Linux Performance Tuning Guide“ liefert in den Abschnitten 3 und 4 noch ein paar Hinweise und Ansätze.
Manchmal bekannt als Just (another) Terminal Hacker.
- mistersixt
- Beiträge: 6601
- Registriert: 24.09.2003 14:33:25
- Lizenz eigener Beiträge: GNU Free Documentation License
Re: Hohe Latenz bei X710 10GbE SFP+
"Auf ein Zehntel" gesenkt... was hast Du da für Grössenordnungen?
Ich habe auch mal "network-latency" mit tuned gemacht + "rx-usecs 0 tx-usecs 0 adaptive-rx off adaptive-tx off rx-usecs-high 0", keine Verbesserung.
Erstmal einen Switch suchen und darüber probieren... via CrossConnect ist das zumindest alles bisher miserabel schlecht.
Ich habe auch mal "network-latency" mit tuned gemacht + "rx-usecs 0 tx-usecs 0 adaptive-rx off adaptive-tx off rx-usecs-high 0", keine Verbesserung.
Erstmal einen Switch suchen und darüber probieren... via CrossConnect ist das zumindest alles bisher miserabel schlecht.
--
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
- mistersixt
- Beiträge: 6601
- Registriert: 24.09.2003 14:33:25
- Lizenz eigener Beiträge: GNU Free Documentation License
Re: Hohe Latenz bei X710 10GbE SFP+
Hat sich geklärt: der neue AMD-Hobel ist strubbelig, MainBoard vermutlich (oder ein beklopptes Setting im BIOS, da gibt es ja mittlerweile so viele "dubiose" Einträge), die Intel-NIC in einen anderen (älteren) Server gesteckt und man ist direkt bei <15 usec RTT, und ohne grosse Varianz.
Gruss, mistersixt.
Gruss, mistersixt.
--
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
- feltel
- Webmaster
- Beiträge: 10371
- Registriert: 20.12.2001 13:08:23
- Lizenz eigener Beiträge: MIT Lizenz
- Wohnort: Leipzig, Germany
-
Kontaktdaten:
Re: Hohe Latenz bei X710 10GbE SFP+
Mysteriös. Aber konnte ja fast nur irgend so eine blöde Inkompatibilität sein. Hatte die Karte wenigstens den angedachten Datendurchsatz gebracht oder lag das auch jenseits von gut und böse?
debianforum.de unterstützen? Hier! | debianforum.de Verhaltensregeln | Bitte keine Supportanfragen per PM
- mistersixt
- Beiträge: 6601
- Registriert: 24.09.2003 14:33:25
- Lizenz eigener Beiträge: GNU Free Documentation License
Re: Hohe Latenz bei X710 10GbE SFP+
Ich brauche minimale Latenz, daher hatte ich den Durchsatz gar nicht geprüft. Die beiden CPUs "Core i7-13700K" und "Ryzen 7 7700X" sind vom Speed her ähnlich flott unterwegs (je nach Anwendung mal dieser und mal jener etwas schneller), und die NICs waren ja indentisch, daher kann es irgendwie nur am Board oder an einer blöden Einstellung im BIOS liegen (die ich aber nicht herausbekommen habe). Damit kann man viele, viele Stunden mit verbringen ...feltel hat geschrieben:22.03.2023 18:17:21Mysteriös. Aber konnte ja fast nur irgend so eine blöde Inkompatibilität sein. Hatte die Karte wenigstens den angedachten Datendurchsatz gebracht oder lag das auch jenseits von gut und böse?
--
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
System: Debian Bookworm, 6.5.x.-x-amd64, ext4, AMD Ryzen 7 3700X, 8 x 4.0 Ghz., Radeon RX 5700 XT, 16 GB Ram, XFCE
Re: Hohe Latenz bei X710 10GbE SFP+
Ja, das kann man wohl, je nach Anforderung.mistersixt hat geschrieben:22.03.2023 19:22:23Damit kann man viele, viele Stunden mit verbringen ...
Wenn ich mich richtig erinner, war das ein Schritt von mehreren 100µs runter zu ~50µs.mistersixt hat geschrieben:21.03.2023 14:15:12"Auf ein Zehntel" gesenkt... was hast Du da für Grössenordnungen?
Manchmal bekannt als Just (another) Terminal Hacker.