Hardware gesucht ( ersatz für HP Microserver Gen8 )

[speefak]

Software gesucht gibt es ja schon ein Board für Hardware gesucht wäre toll, denn es gibt hier im Forum verteilt Einiges was darunter fallen würde.

U.A. auch mein Anliegen ( Vorgeschichte ):

Moin - "Never touch a running system" geht irgendwann nicht mehr, spätestens wenn die Software zu alt oder die Hardware nicht performant genug ist. Bei mir fing es mit der Software an, da Debian 10 bald keinen Support mehr hat und ich somit Debian 12 auf meinem HP Microserver Gen 8 installiert habe. Damit ging der Horror los !

Nach der Installation von Debian 12 bekam ich mir noch nichts sagende Fehlermeldungen, BIOS defekt, DMAR / DMA Fehler etc. Das Schlimmste war allerdings, das keine 64 Bit VM mehr lief und somit alle WEB/LAN Dienste (Webseiten/VDR etc) nicht mehr aktiv waren. Das war Hölle 1 ... (viewtopic.php?p=1335722#p1335722) - nach knapp 10 Tagen habe ich dann den Fehler gefunden, der mir bis heute suspekt ist. Bei der Installation von Debian 12 wurde im Server BIOS VT-d/VT-X deaktiviert. Wie auch immer, ob durch Autoconfig vom BIOS, Heinzelmännchen oder über Debian selbst ( wie auch immer das funktionieren sollte ). Jedenfalls war VT-D/X im Bios als aktiv eingestellt, im OS wurde das Flag ( cat /proc/cpuinfo ) auch angezeigt (vmd) und unter Virtualbox kam auch keine Fehlermeldung, dass VT-D/X nicht aktiv ist. Nachdem ich dann einfach mal JEDE Bioskonfiguration ausprobiert habe - u.a alle Multifunktionen abgestellt ( VT-D/X, Hyperthreadding etc ) und wieder angestellt hatte - liefen dann endlich die VMs wieder und alles sah gut aus - dachte ich ....

Ein paar Tage später hing der Server und es half nur noch ein Powerreset über ILO. Das ging ziemlich nach hinten los => 2 TB weg aufgrund ext4 Korrekturen. Damit war die Überzeugung mit dem Gen8 Server sicher vor Datenverlust zu sein Geschichte ( das System lief seit 10 Jahren ohne Probleme und Datenverlust ).

Danach habe ich dann BIOS und ILO aktualisiert und bin damit dann gleich eine weitere Etage in die IT-Hölle hinabgestiegen Jetzt hieß es lt. ILO Health der NanD Speicher sei defekt und sollte formatiert werden. Nach 5-6 Verschiedenen Ansätzen habe ich es dann endlich hinbekommen den NanD zu formatieren. Jetzt hieß es dann im ILO das BIOS sei defekt und ich habe zwischen aktuellen BIOS und altem Backup BIOS gewechselt - ohne Erfolg. Ein BIOS Reset hat dann scheinbar dazu geführt das nun endlich - zumindest bei ILO Ruhe ist - unter Debian 12 wird nach wie vor die Warnung eines defekten BIOS angezeigt:

Code: Alles auswählen

[0.071122] DMAR: [Firmware Bug]: No firmware reserved region can cover this RMRR [0x00000000000e8000-0x00000000000e8fff], contact BIOS vendor for fixes
[0.071188] DMAR: [Firmware Bug]: Your BIOS is broken; bad RMRR [0x00000000000e8000-0x00000000000e8fff]

Solange ILO nicht meckert kann man die OS Meldung wohl ignorieren

Allerdings funktioniert die ILO HTML Konsole nur noch wenige Minuten nach dem Serverstart, die Eingabe ist extrem langsam und die Bildwiederholrate bei ca. 1 Sekunde. Boote ich Debian 10 ( das alte System ) macht ILO keine Probleme.

Nach zwei weiteren Wochen Recherche und immer seltsameren Fehlern kam ich dem Grund näher - Es scheint mit neueren Kerneln und der HP Implementation der Speichermanager Probleme zu geben. Nachdem "VM CVE" wurde mit "iommr" eine sichere Speicherverwaltung implementiert, die allerdings in o.g Fall dazu führt, dass sich das System nach wenigen Stunden bis Tagen, je nach Speicherauslastung komplett aufhängt. Wenn ich das Richtig verstanden habe werden getrennte Speicherbereiche (für VMS z.B.) aufgrund o.g. Implementierungsfehler doppelt Beschrieben, bzw nicht schnell genug wieder freigeben.

Es gab dazu mehrere Lösungen, wie z.B. die betreffenden Funktionen abzuschalten. Entweder im BIOS, durch drücken von CTRL + A sieht man ein Spezialmenupunkt ( https://community.hpe.com/t5/image/serv ... 2x496?v=v2 ), oder durch Deaktivieren von Kernelparametern mittels Grub /etc/default/grub Einträge). Geholfen hat nur das Deaktivieren der "Share Memory Configurtion" über den versteckten Menüpunkt im Server BIOS. Die letzten 48 Stunden scheint der Server nun ohne Zicken zu laufen. Es kommt mir auch vor, als ob die VMs schneller reagieren, gerade was Speicher, Cache, Latenz etc angeht.

Lösung => viewtopic.php?p=1340010#p1340010



Neue Hardware

Da der HP Microserver nur max. 16 GB RAM verwalten kann und etwas mehr Platz im Gehäuse und mehr RAM auch nicht schlecht wäre überlege ich folgendes:

Einen HP Microserver Gen 8 kaufen und mit CPU ( Xeon E3 1265L) und RAM (16GB) aus dem Microserver aufrüsten. Kostet ca 120 € in der Bucht

- ODER -

Neueres HP Server Model Gen 9 CPU müsste da ggf aufrüsten, denn der Alte E1265L (4c/8t) ist schneller und sparsamer als der 1220 v3 ( 4c/4t).

Wenn ich Pech habe und bei HP bleibe tritt o.g. Fehler u.U. allerdings wieder auf. Daher habe ich mich auch bei Lenovo umgeschaut und dort auch einige Modelle gefunden.
Hier könnte ich den RAM wiederverwenden : https://www.kleinanzeigen.de/s-anzeige/ ... 3-228-1907

- ODER -

Lieber gleich etwas Neueres kaufen ? ( https://www.kleinanzeigen.de/s-anzeige/ ... 3-278-7531 ). Können die Netzteile ggf. gegen eins mit größerem Lüfter getauscht werden, hat jmd mal so ein Model gehabt oder hat es noch ? Die 40 mm Lüfter scheinen mir recht laut zu sein.

Am liebsten würde ich den Microserver Gen 8 behalten und nochmal 32 GB RAM dazu packen. Das wäre perfekt - geht aber nicht und vllt ist der Server auch hin - zumindest das BIOS ( das werde ich den nächsten Tagen sehen ob ILO noch herumeckert ). Die Kleinen Server verbrauchen im Schnitt auch weniger Strom und sind nicht laut die großen Kisten ( https://www.ebay.de/itm/386131192045 )

Hauptpräferenz ist der Stromverbrauch und Lautstärke sowie ein separates ManagementInterface ( ILO, iDRAC, IPMC etc ). Bekommt man die Großen Server wie z.B. einen ]hpe-proliant-ml350-gen-9-server auf einen ähnlich niedrigen Verbrauch wie die kleineren o.g. Server ( vergleichbare CPU/RAM/HDD Bestückung )

Was würdet Ihr machen/kaufen ?

[GregorS]

Was würdet Ihr machen/kaufen ?

Ich habe kürzlich sehr gute Erfahrungen mit einem „refurbished“ Gerät gemacht (sog. 2-in-1-Notebook). Da kann man vielleicht nicht das gerade Top-of-the-Pops-Gerät ergattern, aber sehr viel Geld sparen. „Refurbished“-Geräte sind (meinem vermutl. veraltetem Wissen nach) Geräte, die lediglich „zur Ansicht ausgepackt“ mal bei einem Kunden waren. Inzwischen wird das wohl auch mehr allgemein für „Second Hand“/aufbereitet benutzt.

Gib doch mal „refurbished computer kaufen“ in eine Suchmaschine ein.

V.A. „kaufen“ dürfte für „Ergebnisse“ sorgen.

Gruß

Gregor

[MSfree]

„Refurbished“-Geräte sind (meinem vermutl. veraltetem Wissen nach) Geräte, die lediglich „zur Ansicht ausgepackt“ mal bei einem Kunden waren.

Nein, refurbished heißt wieder aufbereitet. Es handelt sich also schon immer um Gebrauchtgeräte, üblicherweise um Leasing Rückläufer. Natürlich sind auch hin und wieder Vorführgeräte dabei, die in Läden in der Auslage standen, die machen aber nicht die Masse der Geräte aus.

Da man bei Rechnern praktisch nichts wiederaufbereiten kann, beschränkt sich die Wiederaufarbeitung auf Reinigung vom Staub.

[GregorS]

„Refurbished“-Geräte sind (meinem vermutl. veraltetem Wissen nach) Geräte, die lediglich „zur Ansicht ausgepackt“ mal bei einem Kunden waren.

Nein, refurbished heißt wieder aufbereitet. Es handelt sich also schon immer um Gebrauchtgeräte, üblicherweise um Leasing Rückläufer. Natürlich sind auch hin und wieder Vorführgeräte dabei, die in Läden in der Auslage standen, die machen aber nicht die Masse der Geräte aus.

Naja, ich schrub ja, dass mein Verständnis des Begriffs veraltet sein dürfte. Ich habe dieses Wort zum ersten Mal '91 in den USA kennen gelernt. IIRC ist „Pearl“ (Versender) mit derlei groß geworden.

Da man bei Rechnern praktisch nichts wiederaufbereiten kann, beschränkt sich die Wiederaufarbeitung auf Reinigung vom Staub.

Bei Notebooks u. dgl. kommt zumindest noch eine Desinfektion/Reinigung von Tastatur und Touchpadd dazu.

Gruß

Gregor

[TRex]

Mein Beileid. Hab das gleiche Modell, aber bislang keinerlei Probleme mit debian 12. Ich benutze keine Virtualisierung, vielleicht rettet mich das.

[heisenberg]

Frag' doch mal im SSF nach. Bzw. suche mal nach Microserver dort.

Ansonsten wäre Unraid (=proprietäres Linux-System für NAS- und Virtualisierungszwecke im Heim-/Kleingeschäftsbereich) noch eine Möglichkeit um Strom zu sparen, weil es die Platten anders ansteuert, so dass bei mehreren Platten nur wenige jeweils laufen. (Ich weiß, das ist Bäh, weil kein Open Source). Aber: Wenn's schee macht! Strom spart?

[whisper]

Da man bei Rechnern praktisch nichts wiederaufbereiten kann, beschränkt sich die Wiederaufarbeitung auf Reinigung vom Staub.

es gibt midenstens eine Firma, die bedruckt das Keybord von Lenovo Notebooks neu. Mach was her, sieh dann aus wie neu.
Wobei ich aus $Gründen da nicht mehr kaufe.

[speefak]

Mein Beileid. Hab das gleiche Modell, aber bislang keinerlei Probleme mit debian 12. Ich benutze keine Virtualisierung, vielleicht rettet mich das.

JA! DAS ! rettet dich

Ist bei dir VT-d / VT-X Aktiv ? VT-X ist für Paravirtualisierung ( XEN/VirtualBOX/ESXi ) und VT-D für die Speicherzuweisungen/Trennungen und das Durchreichen von Geräte an die VM. Letzteres ist in meinem Fall nicht so wichtig, da die VMs nur von mir administriert und verwaltet werden. Ich habe es nun ausgeschaltet.

Was gibt denn ein "sudo dmesg | grep DMAR" bei dir aus ? Bei mir sieht das so aus :

Code: Alles auswählen

 dmesg | grep DMAR
[    0.007034] ACPI: DMAR 0x00000000F1DE4A80 0001D4 (v01 HP     ProLiant 00000001 \xd2?   0000162E)
[    0.007066] ACPI: Reserving DMAR table memory at [mem 0xf1de4a80-0xf1de4c53]
[    0.071108] DMAR: Host address width 39
[    0.071109] DMAR: DRHD base: 0x000000fed90000 flags: 0x1
[    0.071115] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c9008020660262 ecap f010da
[    0.071117] DMAR: RMRR base: 0x000000f1ffd000 end: 0x000000f1ffffff
[    0.071119] DMAR: RMRR base: 0x000000f1ff6000 end: 0x000000f1ffcfff
[    0.071120] DMAR: RMRR base: 0x000000000f4000 end: 0x000000000f4fff
[    0.071121] DMAR: RMRR base: 0x000000000e8000 end: 0x000000000e8fff
[    0.071122] DMAR: [Firmware Bug]: No firmware reserved region can cover this RMRR [0x00000000000e8000-0x00000000000e8fff], contact BIOS vendor for fixes
[    0.071188] DMAR: [Firmware Bug]: Your BIOS is broken; bad RMRR [0x00000000000e8000-0x00000000000e8fff]
[    0.071190] DMAR: RMRR base: 0x000000f1dee000 end: 0x000000f1deefff
[    0.071192] DMAR-IR: IOAPIC id 8 under DRHD base  0xfed90000 IOMMU 0
[    0.071194] DMAR-IR: HPET id 0 under DRHD base 0xfed90000
[    0.071195] DMAR-IR: x2apic is disabled because BIOS sets x2apic opt out bit.
[    0.071196] DMAR-IR: Use 'intremap=no_x2apic_optout' to override the BIOS setting.
[    0.071478] DMAR-IR: Enabled IRQ remapping in xapic mode
[    0.267504] DMAR: No ATSR found
[    0.267505] DMAR: No SATC found
[    0.267507] DMAR: dmar0: Using Queued invalidation
[    0.271577] DMAR: Intel(R) Virtualization Technology for Directed I/O
[    1.160023] DMAR: DRHD: handling fault status reg 2
[    1.160093] DMAR: [INTR-REMAP] Request device [01:00.0] fault index 0x14 [fault reason 0x26] Blocked an interrupt request due to source-id verification failure

Wenn VT-D/X nicht aktiv ist, kannst du es bei Gelegenheit mal aktivieren und das System starten und mit "sudo dmesg | grep DMAR" mal schauen ob sich ein ähnliches Fehlerprofil bei ergibt ? Ich würde gern wissen ob es am Host OS oder an der Serversoftware ( iLO BIOS ) liegt, damit ich ggf. schon mal nen Serverwechsel ( Hardware ) in Auge fassen kann.

[speefak]

Frag' doch mal im SSF nach. Bzw. suche mal nach Microserver dort.

Ansonsten wäre Unraid (=proprietäres Linux-System für NAS- und Virtualisierungszwecke im Heim-/Kleingeschäftsbereich) noch eine Möglichkeit um Strom zu sparen, weil es die Platten anders ansteuert, so dass bei mehreren Platten nur wenige jeweils laufen. (Ich weiß, das ist Bäh, weil kein Open Source). Aber: Wenn's schee macht! Strom spart?

Unter Unraid tritt genau das gleiche Problem auf mit der Info VT-D / IOMMU zu deaktivieren. Unraid, Proxmox, ESXi sind für meine Anforderung zu überladen und man benötigt eine VM zum steuern des Hypervisors ( Host OS für die VMs ). Bei einer nativen intallation und einem Hypervisor Class 2 ist das Management interface direkt im Host OS/Hypervisor mit dabei und benötigt keine extrem VM - Virtualbox ist ein Hypervisor 2 und mit phpVirtualbox gibt es auch ein Webinterface. Die ganzen vorgefertigten NAS Lösungen sind alle zu sehr auf NAS Funktionen beschränkt und die ganzen Zusatzfunktionen brauche ich nicht. SSH server und sshfs = NAS = fertig = extrem Recourcen sparend. Dienste wie den VDR Zoneminder und co lagere ich auch ungern aus da VM in dem Context da recht langsam sind.

[speefak]

Notebook und Desktoprechner sind raus. Keine HDD Slots wie bei Servern, kein ECC Speicher, keine Management Software ( iLO, i DRAC, IPMI etc. ) und ich denke im allg sind die Serverboards und Komponenten stabiler ausgereifter als die Desktop Pendants.

[TRex]

Mal eben rebooted:

1. VT-d ist enabled
2. nix im Log von DMAR. 41972

Ansonsten vielleicht relevant: ich hab 2+8GB ECC RAM... und libvirt ist noch aktiv, nur halt ohne Gast.

[fireburner]

Ich hab auch den G8 Microserver mit aktiviertem VT-x und ich meine auch VT-d (nicht sicher, da ichs nicht nutze). Darauf läuft auch Debian 12.
Ich habe mehrere VMs mit libvirt am laufen und bisher noch keine Probleme gehabt. Teu teu teu.

Die beiden Formware Bug Meldungen habe ich auch, aber ich meine, dass die schon immer da wären, seit ich das teil nutze (angefangen mit Debian Buster).
Ob Shared Memory an oder aus ist, kann ich gerade nicht sagen.

Beim G9, meine ich hat kein ILO mehr, würde also vermutlich dann durch deine Anforderungen ausscheiden.

Ich habe vor mir nen Ryzen System mit Consumer Board zu basteln. Die Ryzen sollen auch ECC unterstützden heisst es. Fernzugriff fällt leider dann weg, aber es gibt ja dann immer noch sowas wie pikvm, was man sich notfalls zulegen könnte. Solange das Teil läuft hab ich aber ja eh Zugriff per ssh ud per virt-manager kann man sogar die VMs per ssh per GUI managen.

[speefak]

Wenn VT-x aktiviert wird, wird VT-d automatisch mit aktiviert ( im Server BIOS CTRL + A => Servicemenu => Shared Memory Funktions ( VT-D ) ), ergo wird bei VT-d dir an sein. Bei den Preisen für gebrauchte Server lohnt ein Eigenbau gar nicht mehr, bei Topaktueller Hardware spart man ein paar Euros, dafür ist man schon etwas weiter im vierstelligen Bereich unterwegs.

Die großen Gen 9 Server haben noch iLO (https://www.ebay.de/itm/204420700462?ha ... R_7MvbnZYg ), die kleinen aber auch noch, man sieht zwar am Gehäuse keine Port mehr aber einer der beiden NIC wird wohl für iLO sein, beim Booten sieht an hier ja eindeutig iLO : https://www.ebay.de/itm/145222020366?ha ... R_Tg4bnZYg bei anderen Gen9 hatte ich da auch eine IP gesehen bei 2 NICs

2x8 BG ECC hab ich auch im Gen8 verbaut - Komisch. funktioniert dei HTML Remote Konsole übers ILO bei euch ? habt ihr die neuste ILO Version ? So ganz hab ich den Gen 8 noch nicht aufgeben

Scheinbar scheint es bei euch mit dem Gen8 ohne Probleme zu laufen. Seitdem ich VT-D deaktiviert habe gab es keinen Hänger mehr. die HTML Konsole geht allerdings wie gesagt nur wenige Minuten nach dem Hochfahren und ist dann komplett blockiert, Systemmeldungen wie z.b. DMAR etc sieht man aber in der iLO Konsole.

Welche BIOS / iLO Version läuft bei euch ?

Code: Alles auswählen

System ROM => J06 04/04/2019
System ROM Date => 04/04/2019
Backup System ROM => J06 06/06/2014
	
License Type => iLO Advanced
iLO Firmware Version => 2.82 Feb 06 2023

Das wäre ggf. noch eine Option wenn es da Abweichungen gibt ein Downgrade durchzuführen.

PS : ich bin mir nun nach einigen Tagen aber auch sicher, dass wenn VT-D nicht aktiv ist, der Speicher merklich schneller reagiert und 2+-0.5 GB weniger belegt ist.

[TRex]

Code: Alles auswählen

System ROM J06 06/06/2014
System ROM Date 06/06/2014
Backup System ROM J06 06/06/2014

System ROM ist bei mir 5 Jahre älter, aber trotzdem "J06".
iLO ist die gleiche Version, bei fireburner vermutlich auch, weil er mich auf das Update im Chat hingewiesen hat Hab ich laut Log im Juni aktualisiert.

Aber dass du DMAR-Einträge im Log hast und ich nicht, macht mich etwas stutzig.

[speefak]

Ist zwar beides J06 aber in 5 Jahren wirds wohl ein paar Änderungen geben haben, ich kanns die Tage nochmal mit dem Backup ROM ( gleiches Datum wie dein "aktuelles" ) und VT-d an (wie bei dir) versuchen.

Wenn das nix Hilft überlege ich mir grad den Gen8 (X v2 CPU) oder Gen8 v2 (X v3 CPU) anzuschaffen. beim Gen8 könnte ich meine 1265L v2 CPU weiternutzen und die 2x8 GB zum System dazupacken.

Eine "neuer" Server Gen8 (Xeon v2 CPU / 1220L v2 ) kostet mich knapp130€ und zum Verkauf steht dann der Gen Microserver mit Celeron CPU und 8 GB RAM ( 170 € in Bucht ? ), Grob überschlagen wären das +- 0 Euro aber 2 RAM Bänke mehr, 8 GB RAM ( 2x4 ) mehr, mehr Platz im Gehäuse und funktionierendes iLO / BIOS.

Alternativ ein Gen8 v2 (Xeon v3 CPU / 1265L v3 ), kostet mich knapp 160€, RAM könnte ich wieder aus dem Gen8 nehmen, aber entweder gibs das System ohne HDD Caddies ( + 50 € für 4 Stück ) oder mit einer 1220 v3 CPU ( + 60 € für den 1265L v3 ). Dafür würde ich dann für den MicroGen8 mit der 1265L v2 CPU und 8 GB RAM auch etwas mehr in der Bucht bekommen

Wobei sich Performance und Verbrauch zwischen v2 und v3 CPUs kaum unterscheidet. Ich neige gerade zum "Lösung auswürfeln"

[TRex]

Ah, da ist der Hund begraben. Ich hab nen G1610T drin - der unterstützt überhaupt kein VT-d

[speefak]

"Kompatibel aufgrund von Hardwaredowngrade" - hat auch was

Die CPU muss VT-x für die Virtuelle Geräteverwaltung haben. VT-d dagegen ist für den Speicher zuständig und im Chipsatz integriert. Keine unserer CPUs hat demnach VT-d
=> https://www.thomas-krenn.com/de/wiki/In ... 9Cberblick

Ich grab den Hund dann mal wieder aus ...

Zwischen Gen8 v1 und Gen8 v2 tut sich nicht wirklich viel, werde was Performance noch was Leistungsaufnahme angeht. Egal wie man es rechnet kommt auch fast das gleiche in Bezug auf Euros dabei raus. Einzig der Chipsatz könnte variieren ... da könnt ich nochma nachschauen.

Fakt ist die 1265L / 1275L CPUs sind eine der effizientesten CPUs der Core i3/Xv2 und i4/Xv3 Reihen. Dabei wollte ich bei 24/7 schon bleiben.

[MSfree]

Keine unserer CPUs hat demnach VT-d

Der E3-1265L v2 hat VT-x und VT-d:

https://www.intel.de/content/www/de/de/ ... tions.html

[speefak]

mhhh => https://www.thomas-krenn.com/de/wiki/In ... 9Cberblick

Ist doch wieder sch***** such lange genug findet man garantiert die Falschen infos - oder doch die Richtigen ?

Wenn VT-d beim Celeron gar nicht aktiv ist, ist es wohl nur ein "Nice2Have" Feature und eher für Rechenzentren wichtig als für unsereins. Mhhh dann kann ich den Gen8 auch weiter nutzen wobei 32 GB RAM schon toll wären Bis aufs Gehäuse ändert sich bei o.g. "Upgrades" ja nichts.

Was mich da nun aber wieder wundert. Seit Debian 9 läuft der Gen8 Microserver mit der XEON 1265L CPU und nur seit ich D12 installiert habe spinnt die Kiste. Wenigstens ist nun im iLo endlich ruhe. die iLO HTML Konsole geht aber nach wie vor nicht ;/

Bei VT-d lese ich immer wieder von PCI Passthrought - soweit ich weis hängen die PCI Lanes doch am Chipsatz ?! Daher müsste VT-d im Chipsatz integriert sein und nicht in der CPU ?!

ChatGPT sagt :

Die Virtualization Technology for Directed I/O (VT-d) ist eine Funktion, die in den Intel-Prozessoren selbst integriert ist. VT-d ermöglicht die Virtualisierung von Ein- und Ausgabegeräten, indem es die Verwaltung des direkten Zugriffs auf physische Geräte in virtualisierten Umgebungen verbessert. Dies ermöglicht es Virtual Machines (VMs), auf hardwarenahe Funktionen zuzugreifen, während die Isolation und Sicherheit aufrechterhalten wird.

Obwohl VT-d in den Intel-Prozessoren integriert ist, ist seine Unterstützung auch von der Hauptplatine (Motherboard) abhängig. Das bedeutet, dass sowohl die CPU als auch das Mainboard VT-d unterstützen müssen, damit Sie von dieser Virtualisierungsfunktion profitieren können. Vor der Nutzung von VT-d sollten Sie sicherstellen, dass Ihre Hardware (CPU und Mainboard) diese Funktion unterstützt und dass Sie die entsprechenden BIOS-Einstellungen konfiguriert haben, um sie zu aktivieren.

Wenn es Intel auf den CPU SpecInfos schreibt und CGPT es dann so schön ausformuliert wird es wohl richtig sein. Demnach kann ich auf VT-d verzichten ( lief ja mit dem Celeron die ersten Jahre auch nicht ), zum Glück kann man VT-d separat abschalten. Mysteriös ist das ganze aber schon irgendwie. D9 / D10 mit VT-d läuft Jahre lang ohne Probleme und bei Debian 12 geht die Welt dann unter ?!

Ich überlege aber dennoch ab ich den Micro gegen ein normalen Server tausche. Mehr Steckplätze, mehr RAM und ein paar Euros bleiben wohl auch noch über wenn ich den Gen8 Micro in die Bucht setze.

[MSfree]

Bei VT-d lese ich immer wieder von PCI Passthrought - soweit ich weis hängen die PCI Lanes doch am Chipsatz ?! Daher müsste VT-d im Chipsatz integriert sein und nicht in der CPU ?!

PCI-Passthroug ist ein Synonym für VT-d in vielen BIOS/UEFIs. Meist kann man VT-d an- bzw. ausschalten, wenn man die Option im BIOS/UEFI an/ausschaltet.

Falls du meinen Link zu deiner CPU-Spezifikation noch nicht angeklickt haben solltest, PCIe ist schon lange nicht mehr im Chipsatz sondern in der CPU.

[fireburner]

Code: Alles auswählen

System ROM
	J06 04/04/2019
Backup System ROM
	J06 11/02/2015
iLO Firmware Version
	2.82 Feb 06 2023

HTML Konsole funktioniert problemlos bei mir

CPU ist bei mir der Intel Xeon E3-1235 (offiziell nicht unterstützt, aber wurde vom Vorbesitzer eingebaut und der hat auch noch n paar kleine Lüfter reingebastelt, um den höheren TDP zu kühlen)
Laut ARK kann der VT-d

[speefak]

Bei VT-d lese ich immer wieder von PCI Passthrought - soweit ich weis hängen die PCI Lanes doch am Chipsatz ?! Daher müsste VT-d im Chipsatz integriert sein und nicht in der CPU ?!

PCI-Passthroug ist ein Synonym für VT-d in vielen BIOS/UEFIs. Meist kann man VT-d an- bzw. ausschalten, wenn man die Option im BIOS/UEFI an/ausschaltet.

Falls du meinen Link zu deiner CPU-Spezifikation noch nicht angeklickt haben solltest, PCIe ist schon lange nicht mehr im Chipsatz sondern in der CPU.

Den Link hatte ich mir angeschaut, die PCI Aussage wundert mich auch zumal es ja für den gleichen Chipsatz mit einer andere CPU andere Specs für Speicher und PCIe Karten gibt ( Datendurchsatz etc, die PCIe Version selbst wiederum hängt vom Chipsatz ab ?! ) Wie gesagt ist einige Jahre her, dass ich mich Hardware so eingehend beschäftigen muss.

Dass Bezeichnungen aus der IT immer wieder "Missbraucht" werden, ist leider nichts Neues. PIN heißt PI-NUMBER und wird für Passphrases, Passwörter etc als Synonym benutzt. VT-d umfasst die Trennung der Speicherbereiche, PCIe, Passthrougt und DMA (DMA bin ich mir gerade nicht sicher, da es DMA schon Ewigkeiten gibt aber VT-d "recht neu" ist ). In Intel Systemen müssten daher 3 Konfigurationspunkte sein. Bei HP heißt das "Shared Memory Configuration" und ist in einem Spezialmenu versteckt ( bis man das erstmal raus hat .... ), ziemlich schlecht gelöst von HP.

Es scheint aber ein "Hardwarefehler" der HP Server zu sein : https://support.hpe.com/hpesc/public/do ... 31952en_us - PCI Passthrougt gibt es da nur mit Einschränkungen.

[speefak]

Code: Alles auswählen

System ROM
	J06 04/04/2019
Backup System ROM
	J06 11/02/2015
iLO Firmware Version
	2.82 Feb 06 2023

HTML Konsole funktioniert problemlos bei mir

CPU ist bei mir der Intel Xeon E3-1235 (offiziell nicht unterstützt, aber wurde vom Vorbesitzer eingebaut und der hat auch noch n paar kleine Lüfter reingebastelt, um den höheren TDP zu kühlen)
Laut ARK kann der VT-d

Und sonst keine Fehler in den Logs ( DMAR seg fault etc ? ). CPU Specs dürften keinen Unterschied machen, Biosversion ist die, die ich auch schon einige Tage am Laufen hatte ( aktuell wieder die als von 2014/12 ) und iLO ist auch identisch

Am Server selbst wurde nichts im BIOS eingestellt ? Sprich da wurde nichts umgestellt bzw. SMC ist aktiv ? https://speefak.spdns.de/oss_lifestyle/ ... cemenu.png

Nachdem ich nun per Grub CMD iommu deaktiviert und Share Memory Configuration im BIOS deaktiviert habe sieht der LOG so aus :

Code: Alles auswählen

dmesg | grep DMAR
[    0.006927] ACPI: DMAR 0x00000000F1DE4A80 0001D4 (v01 HP     ProLiant 00000001 \xd2?   0000162E)
[    0.006960] ACPI: Reserving DMAR table memory at [mem 0xf1de4a80-0xf1de4c53]
[    0.070777] DMAR: Host address width 39
[    0.070778] DMAR: DRHD base: 0x000000fed90000 flags: 0x1
[    0.070783] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c9008020660262 ecap f010da
[    0.070786] DMAR: RMRR base: 0x000000f1ffd000 end: 0x000000f1ffffff
[    0.070787] DMAR: RMRR base: 0x000000f1ff6000 end: 0x000000f1ffcfff
[    0.070788] DMAR: RMRR base: 0x000000000f4000 end: 0x000000000f4fff
[    0.070789] DMAR: RMRR base: 0x000000000e8000 end: 0x000000000e8fff
[    0.070790] DMAR: [Firmware Bug]: No firmware reserved region can cover this RMRR [0x00000000000e8000-0x00000000000e8fff], contact BIOS vendor for fixes
[    0.070856] DMAR: [Firmware Bug]: Your BIOS is broken; bad RMRR [0x00000000000e8000-0x00000000000e8fff]
[    0.070858] DMAR: RMRR base: 0x000000f1dee000 end: 0x000000f1deefff
[    0.070860] DMAR-IR: IOAPIC id 8 under DRHD base  0xfed90000 IOMMU 0
[    0.070861] DMAR-IR: HPET id 0 under DRHD base 0xfed90000
[    0.070863] DMAR-IR: x2apic is disabled because BIOS sets x2apic opt out bit.
[    0.070863] DMAR-IR: Use 'intremap=no_x2apic_optout' to override the BIOS setting.
[    0.071144] DMAR-IR: Enabled IRQ remapping in xapic mode
[    0.263183] DMAR: No ATSR found
[    0.263183] DMAR: No SATC found
[    0.263185] DMAR: dmar0: Using Queued invalidation
[    0.267301] DMAR: Intel(R) Virtualization Technology for Directed I/O
[    1.164288] DMAR: DRHD: handling fault status reg 2
[    1.164357] DMAR: [INTR-REMAP] Request device [01:00.0] fault index 0x15 [fault reason 0x26] Blocked an interrupt request due to source-id verification failure

1:00.0 ist das iLo, so ganz passt da immernoch was nicht.

Sobald die Meldung kommt sind ILO eingaben nicht mehr möglich : gallery/image/4295

[speefak]

Ich glaube ich hab DIE Lösung gefunden

Der Vergleich einer nicht VT-d und einer VT-d CPU machte mich dann doch etwas stutzig. Nachdem auch die o.g. Info von HP zu keinem Erfolg führte ( Abschalten der Shared Memory Configuration , sowie grub line "intel_iommu=off" ) bin ich das gesamte BIOS noch einmal Punkt für Punkt durchgegangen und habe dann letzten Endes zusätzlich auch noch VT-d komplett abgeschaltet (unter CPU Optionen). Jetzt habe ich keine DMAR Fehlermeldung im dmesg Log . Dann habe ich alles wieder so einstellt wie es vorher unter D10 lief und nur noch VT-d deaktiviert. Welch Wunder: keine DMAR Fehlermeldung mehr, die iLO Konsole geht auch wieder wie gewohnt und knapp 1 GB Speicher wird weniger benutzt.

Ergo : bei ALLEN HP Servern der Gen 8 und 9 ? und 10 ? hilft nur die vollständige Deaktivierung der VT-d Funktionen unter dem Punkt der CPU Konfiguration. Entgegen sämtlicher Anleitungen/HowTos/Supporttipps reicht es NICHT!!! einfach nur die "Shared Memory Configuration" (SMC) im versteckten Menu zu deaktivieren.
=> https://support.hpe.com/hpesc/public/do ... 31952en_us

Wird nur SMC deaktiviert gibt es immer noch DMAR Fehler im System und iLO funktioniert nur bis iLO das erste mal auf den Speicher zugreift - danach ist eine iLO Eingabe nicht mehr möglich aber das System läuft stabil. Meine DVB-S2 Karte allerdings verursachte "Seg fault" Errors ( s.o. Screenshot HP iLO Konsole ) und alle paar Tage hing sich der VDR mit der Meldung "No Channel Data" auf ).

[heisenberg]

Danke für das posten der Lösung.

Wenn ich mir VT-d so durchlese ...

Intel VT-d (Intel Virtualization Technology for Directed I/O)

Intel VT-d ermöglicht das Durchreichen eines PCI Gerätes direkt an ein Gastsystem mit Hilfe der bereitgestellten IOMMU. Damit kann etwa eine Netzwerkkarte dediziert einem Gastsystem bereitgestellt werden. Dadurch kann eine höhere Netzwerkperformance als mit einer emulierten Netzwerkkarte erreicht werden. Allerdings ist derzeit mit einer solchen Durchreichung dann keine live migration des Gastsystems möglich. Unter VMware konfigurieren Sie ein solches Setup bei aktiviertem Intel VT-d mit VMware VMDirectPath zum Durchreichen von PCI Karten.

... dann scheint das nichts zu sein, was man im Normalfall so braucht.