Hardware gesucht ( ersatz für HP Microserver Gen8 )

[speefak]

Die "RAM Sicherheitsfunktionen" machen in Serverzentren Sinn - wo anders eher weniger. Was aber vllt gar nicht so schlecht ist sind die PCIe passthrougt Funktionen. USB passthrought funktioniert ohne VT-d ( meine beim Celeron lief es damals und der hat kein VT-d ). Hypervisoren Class 1 sind damit de facto für HP Server komplett raus, da PCIe Karten nicht über das Host OS ( sprich den Hypervisor ) betrieben werden können ( Host OS Hypervisor Class 1 sind keine vollständigen OS ) und aufgrund von zwangsweise deaktiviertem VT-d nicht an eine VM durchgereicht werden können. Wo der Schuldige nun zu suchen ist (HP Debian/OS) ist eine gute Frage und ich kann mir nur schwer vorstellen, dass dieser Umstand bei neuerer Hardware (Gen 10 Server) auch noch zum tragen kommt. ESxi, Proxmox etc - sämtliche Hypervisoren der Klasse 1 sind damit auf allen HP Server de Facto nicht nutzbar.

Lt HP funktionieren nur Netzwerkkarten ohne Glasfaser und VGA Adapter:

"HP ProLiant Servers do not support PCI Pass-Through of Fibre Channel
HBAs. Only network cards and VGA adapters are supported. For details,"

=> https://support.hpe.com/hpesc/public/do ... 31952en_us

Eine DVB-S2 Karte fällt jedenfalls nicht darunter :/

Ich nutze einen Hypervisor Klasse 2 ( Vollständiges OS mit Virtualisierungssoftware on top wie z.B. Virtualbox oder VM ware Player ). Somit kann ich die DVB-S2 Karte auf dem Host OS betreiben. Nur was macht man wenn man z.B. einen RAID Controller oder eine Grafikkarte in eine VM durchreichen muss und aufgrund von einem rudimentären Host OS ( Hypervisor 1 ) keine Treiber installieren/compilieren kann ?

Da ich VT-d nicht benötige und mir VT-x reicht ist das Problem in meinem Fall damit behoben - Ein fader Beigeschmack bleibt bei HP Server aber dennoch.

Dokumentation => https://speefak.spdns.de/oss_lifestyle/ ... error-faq/

[GregorS]

Wenn ich mir VT-d so durchlese ...
... dann scheint das nichts zu sein, was man im Normalfall so braucht.

Was ist schon normal ...
Das mit dem „Durchreichen“ von Resourcen jeglicher Art ermöglicht ziemlich exotische Spielereien. Z.B. wenn es um Hardware geht, die irgendwann nicht mehr unterstützt wurde.

Gruß

Gregor

[speefak]

Wenn es denn funktioniert ...

[Colttt]

nur mal so aus neugier, was selber bauen magst du nicht?
Ansonsten evtl noch die Dell t40

[TRex]

Ich glaub, die Option war offen - deswegen ja die Frage nach Hardware. Ich war in der selben Situation, hab dann aber einfach größere Platten gekauft, um den direkten Bedarf zu senken. Neben dem Würfel steht noch eine Workstation mit 10 SATA-Anschlüssen, aber typisch Workstation: frisst viel zu viel Strom, ist proprietär (kann kein Standard-NT einbauen ohne zu basteln) und laut ists auch. Ich hätte gerne mehr als 4 Platten als Option (und dieses Ding war verfügbar) und ECC-Speicher wäre auch nett, weil mich das in Kombination mit RAID-5 vor den meisten Hardwarefehlern lange genug schützt, um meinen Hintern zu retten, bevor ich das Backup einspielen muss.

[fireburner]

Ich hatte wie geschrieben noch nie Probleme mit ILO, aber keine Ahnung was im BIOS aktiv ist.
Sobald ich mal wieder neu starte, schau ich mal, was bei mir im BIOS konfiguriert ist.
Das sind alle dmesg Meldungen mit "DMAR":

Code: Alles auswählen

[    0.007423] ACPI: DMAR 0x00000000F1DE4A80 000378 (v01 HP     ProLiant 00000001 \xd2?   0000162E)
[    0.007456] ACPI: Reserving DMAR table memory at [mem 0xf1de4a80-0xf1de4df7]
[    0.276630] DMAR: Host address width 39
[    0.276631] DMAR: DRHD base: 0x000000fed90000 flags: 0x1
[    0.276639] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c9008020660262 ecap f010da
[    0.276641] DMAR: RMRR base: 0x000000f1ffd000 end: 0x000000f1ffffff
[    0.276643] DMAR: RMRR base: 0x000000f1ff6000 end: 0x000000f1ffcfff
[    0.276644] DMAR: RMRR base: 0x000000f1f93000 end: 0x000000f1f94fff
[    0.276645] DMAR: RMRR base: 0x000000f1f8f000 end: 0x000000f1f92fff
[    0.276646] DMAR: RMRR base: 0x000000f1f7f000 end: 0x000000f1f8efff
[    0.276647] DMAR: RMRR base: 0x000000f1f7e000 end: 0x000000f1f7efff
[    0.276648] DMAR: RMRR base: 0x000000000f4000 end: 0x000000000f4fff
[    0.276649] DMAR: RMRR base: 0x000000000e8000 end: 0x000000000e8fff
[    0.276650] DMAR: [Firmware Bug]: No firmware reserved region can cover this RMRR [0x00000000000e8000-0x00000000000e8fff], contact BIOS vendor for fixes
[    0.276719] DMAR: [Firmware Bug]: Your BIOS is broken; bad RMRR [0x00000000000e8000-0x00000000000e8fff]
[    0.276721] DMAR: RMRR base: 0x000000f1dee000 end: 0x000000f1deefff
[    0.276737] DMAR: No ATSR found
[    0.276738] DMAR: No SATC found
[    0.276740] DMAR: dmar0: Using Queued invalidation
[    0.282451] DMAR: Intel(R) Virtualization Technology for Directed I/O
[ 1014.029834] DMAR: ERROR: DMA PTE for vPFN 0xf1f80 already set (to f1f80003 not 16dbe0003)
[ 1014.035395] DMAR: ERROR: DMA PTE for vPFN 0xf1f81 already set (to f1f81003 not 16dbe1003)
[ 1014.041062] DMAR: ERROR: DMA PTE for vPFN 0xf1f82 already set (to f1f82003 not 16dbe2003)
[ 1014.046834] DMAR: ERROR: DMA PTE for vPFN 0xf1f83 already set (to f1f83003 not 16dbe3003)
[ 1014.052491] DMAR: ERROR: DMA PTE for vPFN 0xf1f84 already set (to f1f84003 not 16dbe4003)
[ 1014.058150] DMAR: ERROR: DMA PTE for vPFN 0xf1f85 already set (to f1f85003 not 16dbe5003)
[ 1014.064051] DMAR: ERROR: DMA PTE for vPFN 0xf1f86 already set (to f1f86003 not 16dbe6003)
[ 1014.069730] DMAR: ERROR: DMA PTE for vPFN 0xf1f87 already set (to f1f87003 not 16dbe7003)
[ 1014.075669] DMAR: ERROR: DMA PTE for vPFN 0xf1f88 already set (to f1f88003 not 16dbe8003)
[ 1014.081398] DMAR: ERROR: DMA PTE for vPFN 0xf1f89 already set (to f1f89003 not 16dbe9003)
[ 1014.087119] DMAR: ERROR: DMA PTE for vPFN 0xf1f8a already set (to f1f8a003 not 16dbea003)
[ 1014.092837] DMAR: ERROR: DMA PTE for vPFN 0xf1f8b already set (to f1f8b003 not 16dbeb003)
[ 1014.098651] DMAR: ERROR: DMA PTE for vPFN 0xf1f8c already set (to f1f8c003 not 16dbec003)
[ 1014.104337] DMAR: ERROR: DMA PTE for vPFN 0xf1f8d already set (to f1f8d003 not 16dbed003)
[ 1014.110105] DMAR: ERROR: DMA PTE for vPFN 0xf1f8e already set (to f1f8e003 not 16dbee003)
[ 1014.115763] DMAR: ERROR: DMA PTE for vPFN 0xf1f8f already set (to f1f8f003 not 16dbef003)
[ 1014.121553] DMAR: ERROR: DMA PTE for vPFN 0xf1f90 already set (to f1f90003 not 16dbf0003)
[ 1014.127409] DMAR: ERROR: DMA PTE for vPFN 0xf1f91 already set (to f1f91003 not 16dbf1003)
[ 1014.133107] DMAR: ERROR: DMA PTE for vPFN 0xf1f92 already set (to f1f92003 not 16dbf2003)
[ 1014.138787] DMAR: ERROR: DMA PTE for vPFN 0xf1f93 already set (to f1f93003 not 16dbf3003)
[ 1014.144644] DMAR: ERROR: DMA PTE for vPFN 0xf1f94 already set (to f1f94003 not 16dbf4003)
[ 1014.186807] DMAR: ERROR: DMA PTE for vPFN 0xf1f7e already set (to f1f7e003 not 13ebbe003)
[ 1014.188969] DMAR: ERROR: DMA PTE for vPFN 0xf1f7f already set (to f1f7f003 not 13ebbf003)

Ich hab wie schon erwähnt noch ein AM4 Board von Asus rumliegen, die anscheinend ECC unterstützen, sowie nen Ryzen 3 3100.
ECC DDR4 RAM liegt auch schon rum. Einzig die Lust hat bisher gefehlt das Ding zusammen zu stecken und mal den Verbrauch zu messen. Ich kann mir aber kaum vorstellen, dass das viel mehr im idle brauchen dürfte als der Würfel, ist aber deutlich performanter (die Ryzen CPU hat mehr als doppelt so viele Punkte auf www.cpubenchmark.net).
Allerdings sind dann alles Standard Komponenten, so dass man problemlos aufrüsten kann, falls man mehr Leistung braucht. (größere AM4 CPU; bis zu 128 GB RAM, ...)

[TRex]

Mein letzter Stand war, dass AMD ECC unterstützt, aber nichts damit tut... und immerhin hast du was von DMAR im Log.

[speefak]

nur mal so aus neugier, was selber bauen magst du nicht?
Ansonsten evtl noch die Dell t40

Doch - ich baue in Tat am liebste meine Systeme selbst. Bei Servern lohnt das nur oft nicht. Die Basis, wie Gehäuse mit Backplane und Einschüben ist nicht grad günstig und ich muss sagen die Kühl und Lüfter Konzepte von HP / Lenovo sind echt gut. Das alles nachzubauen lohnt den Aufwand nicht. Dann sind Boards wie die Supermicros extrem teuer, viel günstiger sind andere Boards mit IPMI auch nicht. Dazu kommen die anderen Komponenten wie CPU, RAM, Lüfter etc.. Grob überschlagen liege ich da mind. beim doppelten Preis im Vergleich zu einem Server von der Stange, wenn es um ältere Server geht. Bei Komplett neuen Systemen spart man vllt etwas. aber auch da bin ich im Vergleich zu dem was ich brauche um den Faktor 5 und mehr beim Preis.

Der HP Server war der erste Rechner den ich "von der Stange" gekauft habe und ich muss sagen der hat mich ( den VT-d Horror mal ausgenommen ) echt überzeugt. Vor allem iLO bzw. IPMI allg. will ich für Server nicht mehr missen. Mein nächster Desktop Rechner wird wahrscheinlich auch einer mit IPMI.

Dell hatte ich mir auch schon angeschaut aber es gab bei dem T30/40 ein KO Kriterium ( weis gar nicht mehr was es war ). Nachdem ich nun die letzten Wochen in Bezug auf Server einiges an Tests/infos/Berichte gelesen habe, sind mit die Dell Server ( nicht die Dicken ML350 etc ) immer noch am liebsten. Blöd nur die falsche VT-d Implementierung ;( - die scheint aber für Kleine Firmen/Private Nutzung nicht so Relevant zu sein wie in Rechenzentren oder Hosts mit zig VMs versch. Kunden.

[speefak]

@fireburner: das sieht GENAU! so aus wie bei mit mit aktiven VT-d. Einziger Unterschied bei mir ist eine DVB-S2 Karte ( TBS 6982 ) im PCIe Slot verbaut. Starte ich die Wiedergabe eines Clients im Netzwerk oder auf dem Server eine Aufnahme, sprich das Host OS greift auf die Karte zu dauert es nur wenige Minuten bis ein MPEG seg fault von der Karte verursacht wird und direkt danach dann der Interrruptfehler der mit iLO blockiert. Das Core OS läuft nach wie vor stabil auch mit aktivem VT-d. Nur iLO und die TV Wiedergabe geht nur ein paar Minuten bis o.g. Fehler auftritt. Selbst die VMs laufen wenn nur "Shared Memory Configuration" inaktiv aber VT-d selbst aktiv ist.

Von AMD halte ich nicht viel, zu heiß, zuviel Stromverbrauch und ich mag AMD. Die hatten in der Vergangenheit auch öfters Hardware Probleme der besonderen Art. u.a ein Neues Kühlkonzept für die Radeonkarten. Blöd, dass scheinbar nur der Senkrechte Einbau getestet wurde und beim waagerechten Einbau die GPUs kaum noch Leistung brachten oder durchbrannten. Wenns um (server) Performance und "Hardware" Sicherheit geht führt m.M.n. kein weg an Intel vorbei.

[speefak]

Mein letzter Stand war, dass AMD ECC unterstützt, aber nichts damit tut... und immerhin hast du was von DMAR im Log.

AMD nutzt dem ECC dann nur als non ECC ? Das kanns doch nicht sein ?! Wenn alles korrekt läuft sollte gar keine DMAR Meldung im Log erscheinen, oder ?

Zum Thema Raid 5 : ich hatte mich vor 2-3 Jahren mal mit RAID 5 beschäftigt und kam zu dem Schluß, das es bei den heutigen Plattengrößem kaum noch Sinn macht, selbst bei Enterprise PLatten mit einem 10x höheren Fehlerkorrektur Faktor. Kurz gesagt. Bei einem Rebuild ist die Wahrscheinlichkeit auf ein kaputtes Bit zu stoßen extrem hoch, wenn man sehr große Platten verwendet. Theoretisch sind damit jegliche Rebuilds bei Platten jenseits der 50TB ? zu m scheitern verurteilt.

[TRex]

AMD nutzt dem ECC dann nur als non ECC ? Das kanns doch nicht sein ?!

Wie gesagt, letzter Stand. Kurze Suche ergibt: https://old.reddit.com/r/Amd/comments/l ... d_by_user/

Ryzen has no official ECC support, but will utilize ECC RAM, if available

Natürlich ohne weitere (externe) Quelle... Asus schreibt hier noch was von ner Unterscheidung je Serie: https://www.asus.com/support/FAQ/1045186/ - was aber "Support" bedeutet, wird nicht ausgeführt.

Hier glauben einige, dass sie ECC-Support für gewählte Modelle bestätigen können: https://old.reddit.com/r/Amd/comments/1 ... r5_memory/

Zum Thema Raid 5 : ich hatte mich vor 2-3 Jahren mal mit RAID 5 beschäftigt und kam zu dem Schluß, das es bei den heutigen Plattengrößem kaum noch Sinn macht, selbst bei Enterprise PLatten mit einem 10x höheren Fehlerkorrektur Faktor. Kurz gesagt. Bei einem Rebuild ist die Wahrscheinlichkeit auf ein kaputtes Bit zu stoßen extrem hoch, wenn man sehr große Platten verwendet. Theoretisch sind damit jegliche Rebuilds bei Platten jenseits der 50TB ? zu m scheitern verurteilt.

Ja, dann braucht man aber definitiv mehr Kapazität, als der Würfel bieten kann.

[speefak]

Recherche mit 2G aufm Land ist ein wenig

AMD pfuscht sich da wieder einen zurecht mit dem ECC und als ich das mit den Radeon Kühlern las war mir wieder klar : Intel und nichts anderes.

Zum Raid 5 : Naja 4x20TB bzw. 3x20 + 1x spare sind schon 60TB. Einzige Möglichkeit ist die Anzahl der Paritäten/Platten zu erhöhen aber wirklich sicher ist das auch nicht. Ich hatte damals ein Raid 5 mit 4x20GB HDDs. Nach ein paar Wochen waren nach jedem Reboot immer ein paar GB weg. Komischerweise waren die fehlenden GB nach nem Reboot wieder da dafür fehlten dann an anderer Stelle ein paar GB. Raid hat mich daher nie wirklich überzeugt. Wenn dann ist vllt noch RAID 5 auf ZFS Basis sinnvoll aber ein dedizierter Controller für Raid 0 1 5 6 oder mehr ist heute nicht mehr nötig, zumal die M2 SSDs extrem schnell sind, ergo ist Raid 0 auch nicht mehr nötig ( und wenn man extrem schnellen Speicher braucht tut es auch eine RAM Disk, wenn die M2 zu langsam sein sollte ).

Und bei den neuen Platten ist ab 10 TB immer Helium drin. Rein physikalisch können diese Platten nicht so lange halten wie eine mit Luft befüllte HDD. Meine älteste Platte ist über 6-7 Jahre alt und hat noch keinen fehlerhaften Sektor. Die größte Platte mit bewährter Technik ( kein Helium, CMR ) ist die : https://geizhals.de/toshiba-enterprise- ... 12545.html . Helium SMR ( oder noch komprimiertere Verfahren Spur Reduzierung ) - ich traue dem Braten nicht, da auch die besten Ingenieure an physikalische Grenzen/Gegebenheiten gebunden sind. Die HDD Technik ist, was sichere Physik angeht, lange ausgereizt. Auf Lasern basierende 3D Kristallspeicher sind der nächste Schritt. Bis dahin kaufe ich nur noch die o.g. 10 TB Version. Und wenn ich 5 herkömmliche HDDs brauche um eine 50GB "Helium extrem Shrinked MR" zu ersetzen.

[fireburner]

Ich hab den PCIe Steckplatz nie genutzt. Vlt. ist das der Grund, warum ich bisher keine Probleme mit dem Würfel hatte.

Ich nutze striped mirrors mit ZFS (quasi RAID 10) mit 4x 3,5" Platten und das OS ist auf ner SSD.

Edit: hier konnten welche testen, dass ECC funktioniert mit Ryzen:
https://forum.level1techs.com/t/ryzen-5 ... ing/197090

[speefak]

Ich hab den PCIe Steckplatz nie genutzt. Vlt. ist das der Grund, warum ich bisher keine Probleme mit dem Würfel hatte.

Ich nutze striped mirrors mit ZFS (quasi RAID 10) mit 4x 3,5" Platten und das OS ist auf ner SSD.

Edit: hier konnten welche testen, dass ECC funktioniert mit Ryzen:
https://forum.level1techs.com/t/ryzen-5 ... ing/197090

Die Fehler wurden durch doppelt belegte Interrupts verursacht, Ohne PCIe gibt es da keine Probleme , mit PCIe Karte

Ist ZFS unter Debian 12 mittlerweile ohne Bastellei nutzbar ?

[heisenberg]

Ist ZFS unter Debian 12 mittlerweile ohne Bastellei nutzbar ?

Ja. OpenZFS-Repo eingetragen. fertig. Nur im Installer ist das halt nicht mit drin - aus den bekannten Gründen - also ist root-zfs umständlich.

[chrbr]

Ist ZFS unter Debian 12 mittlerweile ohne Bastellei nutzbar ?

Ich habe hier ein Dual-Boot Rechner mit Debian und FreeBSD. Für das System verwende ich EXT4 unter Debian und ZFS unter FreeBSD. Das meiste der Home Partitionen liegt in einem ZFS Pool, den ich mit FreeBSD erstellt habe. Ziel war die Nutzung gemeinsamer Daten wie das Maildir Verzeichis und verschiedener anderer Ordnerr. ZFS hat halt einige Features, die EXT* oder ähnliche Systeme nicht bieten.

Bei der Installation unter Debian wird einiges kompiliert. Die Tage kam ein Kernelupdate und der Rechner hat die notwendigen Dinge für ZFS unaufgefordert kompiliert. Das System hat danach ohne Probleme funktioniert. Ich war jedenfalls begeistert. ZFS relevanten "Verwaltungskram" habe ich aber bisher nur unter FreeBSD gemacht.

[speefak]

Ist ZFS unter Debian 12 mittlerweile ohne Bastellei nutzbar ?

Ja. OpenZFS-Repo eingetragen. fertig. Nur im Installer ist das halt nicht mit drin - aus den bekannten Gründen - also ist root-zfs umständlich.

Dann isses per default nicht mit drin :/ Wenn dann alles auf ZFS incl. root sonst macht ZFS für mich keinen Sinn.

[speefak]

"ZFS hat halt einige Features, die EXT* oder ähnliche Systeme nicht bieten."
=> Ich weis. Backups aus dem laufenden/aktivem FS und diverse Integritätsfunktionen. Ich denke ZFS ist auch einiges robuster und schneller als ext4. Wobei ich mit ext4 noch nie Probleme hatte. Journal Wiederherstellung etc. klappte immer auch auf einem LUKS/LVM. Den anfangs genannten Datenverlust schreibe ich da der falschen VT-D Implementierung zu.

Schade aber vllt wird ZFS ja irgendwann im Main Repo von Debian landen und bei der Installation direkt verfügbar.


PS : gerade gefunden : IPMI Sicherheitslücke bei Supermicro Boards : https://www.heise.de/news/Sicherheitslu ... 25519.html

Für alte Boards keine Updates Supermicro ist damit komplett raus. Für den HP Server Gen8 Bios/iLO gibt es heute noch Updates. Kann das jmd für DELL und Lenovo auch bestätigen ( Updates für ältere Hardware ) ?

[heisenberg]

Ist ZFS unter Debian 12 mittlerweile ohne Bastellei nutzbar ?

Ja. OpenZFS-Repo eingetragen. fertig. Nur im Installer ist das halt nicht mit drin - aus den bekannten Gründen - also ist root-zfs umständlich.

Dann isses per default nicht mit drin :/ Wenn dann alles auf ZFS incl. root sonst macht ZFS für mich keinen Sinn.

So ist es und das wird sich auch glücklicherweise bis auf Weiteres vermutlich nicht ändern, weil ZFS - so gerne ich es auch nutze - keine freie Software ist und dazu der Copyrightholder noch Oracle ist.

[TRex]

Kleiner Nachtrag: ich hab meinen G1610T durch den 1265v2 ersetzt, und hatte (weil ich im BIOS vt-d aktiviert hatte, auch wenn die CPU das nicht kann (!)) dann auch die DMAR-Fehler, inklusive ext4-Fehler beim Boot. Nachdem ich vt-d deaktiviert habe, gehts wieder.