Off-Topic: Welches RAID-Konzept [Gelöst]

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Antworten
jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Off-Topic: Welches RAID-Konzept [Gelöst]

Beitrag von jmar83 » 25.05.2022 12:20:45

Hallo zusammen

Ausgangslage: Wir haben einen älteren HP ML-350 Gen. 9-Server den wir gerne als Ersatz-Server konfigurieren würden.

Nun ist es so, dass für diesen aber sämtliche Service-Verträge und Abonnements seitens HPE ausgelaufen und und seitens Geschäftsleitung es auch nicht geplant ist weitere Support-/-Service-Verträge abzuschliessen. (Also gibt's keinen kostenlosen Support seitens HPE [oder einer Firma, welche HPE-Partner ist] und auch gewisse BIOS-Updates können nicht mehr kostenlos bezogen werden. Habe mal hier im Forum nachgefragt jemand wüsste wie man trotzdem dazu kommt was dann geschlossen wurde weil's zivilrechtlich heikel ist -> viewtopic.php?t=182860 )

Ein Thema ist auch das iLO-Feature (der Rechner hat einen "kleinen Computer" drin, der völlig unabhängig vom OS oder irgendwelchen Soft-Reboots fungiert, das nennt sich iLO. Hat auch einen eigenen Ethernet-Anschluss welcher die IP dieses "kleinen Computers" zur Verfügung stelle damit man remote auf sein Web-GUI zugreifen kann)

Nun ist es z.B. so, dass bei diesem ILO auch kein Feature lizenziert (gekauft, das kostet halt) werden will welches OS-unabhängig Benachrichtigungen zum Hardware-RAID-Array (welches insgesamt 7 2.5"-HDs oder SSD beinhalten kann, aktuell haben wir 7x WD Red NAS-HDDs drin) per SMTP versenden kann. Das HW-RAID ist aktuell mit allen 7 Platten als RAID5 mit 1 Spare-Disk konfiguriert

Leider scheint es für den HW-RAID-Controller irgendwie keine OS-Software zu geben welche die hinter dem HW-RAID-Array "versteckten" Platten (trotz für das OS nur 1 sichbarer [virtueller] RAID-Festplatte) einzeln zum OS durchreichen kann (Weder für Window$ *, noch für Linux) - konkret für SMART-/RAID-Benachrichtigungen.

* Bei Window$ müsste man den Eventlog auf Treiber-Nachrichten parsen (per Taskplaner auf bestimmte Strings) und dann, bei einem RAID-/SMART-Problem über den eingerichteten Task und ein Skript, welches per Mail ein SMTP-Server aufruft (zwecks Mailversand), ein Mail versenden. Also ziemlich kompliziert.

-> Aus diesem Grund hätten wir vor, in Zukunft auf HW-RAID zu verzichten. Dann wird auch die Cache-Batterie überflüssig. (Wir hatten mal den Fall, dass diese leer war. Eine MariaDB-Stored Procedure auf einer Linux VM hatte dann statt ein paar Millisekunden ca. 30 Sekunden um vollständig abgearbeitet zu werden - na ja.. ;-))

Nun stellt sich beim SW-RAID die Frage betr. des Boot-Vorgangs. Ab einem SW-RAID-Array zu booten ist wohl die grösste Bastelei ever. (Linux kann das zumindest "irgendwie" bei RAID1, wobei das RAID1 dann nicht mehr 1:1 gespiegelt ist weil ich auf einer der beiden Platten in Boot-Sektor befindet. -> Der Bootloader des BIOS kann ja das SW-RAID nicht vor dem Boot-Vorgang aufbauen. Hatte mal so ein Billig-Nas von Iomega, welches ebenfalls ausgebaut war - nix gut, nene!!)

Was wäre da eine gute (oder zumindest "halbwegs passable" ;-)) Idee?

- 1 SSD (oder HD) als Bootplatte (schnell, aber nicht redundant) und dann die restlichen 6 Platten als SW-RAID-Array aufbauen? (Die Frage ist eher unabhängig davon, ob als OS nun Linux oder Window$ verwendet wird)

- 2 SSD (oder HD) TROTZDEM (!) als HW-RAID-Array zusammenfassen und das OS ab diesen booten (ILO-Benachrichtigungen hin oder her - halt einfach ab und zu
manuell ins Treiber-Event-Log schauen ob keine der beiden Platten Stress macht?)

-> Ne USV haben wir natürlich und SW-RAID wäre selbst bei einem Stromausfall relativ stabil und hat sich bis jetzt immer regeneriert (egal ob bei Window$ oder Linux), aber PURES HW-RAID sollte m.E. immer ne Cache-Speicher-Batterie haben - auch bei red. Stromversorgung. Gerade LSI-Controller ohne Speicherbatterie (z.B. günstigere wie der LSI 9212-4i4e mit Anschlüssen welche mechanisch eher SATA- als SAS-mässig sind) machen bei HW-RAID und einem Stromausfall massive Probleme. Da kann es vorkommen, dass ein Dateisystemfehler (nicht zwangsläufig defekte Sektoren) auftritt welcher sich dann "kreut und quer" immer und immer wieder über das RAID-Array "synchronisiert"... hatte mal so einen Fall, wo es nur noch half alle Platten auszubauen und zu Wipen (z.B. um zu schauen ob der Wipe-Vorgang bis 100% durchläuft was darauf hinweist dass es KEINE defekten Sektoren hat) und anschliessend alles wieder zusammenzusetzen. -> Hat mich mehr als ein Wochenende gekostet, all die Terabyte-grossen Platten durchzuwipen :-(

P.S.: Zuhause habe ich einen kleinen Fujitsu-Server, dessen Boot-Platte eine einzeln SSD ist. An einem LSI-Controller hängen 4 HDDs (Segate Video-Platten, die sind stabil und werden nicht allzu heiss - lieber stabil als rasend schnell -> SSDs werden übrigens auch ziemlich heiss, die einzelne (mit genug Luft drum herum) SSD-Boot-Platte wurde gemäss "HDD Sentinel" ca. 10 Grad heisser als es die 4 2.5" Seagate Video HDDs jemals wurden) Die 4 RAID-Platten sind über 2x2 HW-RAID0 ("RAID" - eher in Anführungszeichen bei RAID0! ;-)) zu 2 virt. Platten zusammengefasst welche im OS wiederum zu RAID1 zusammengefasst werden - also RAID 10 als Mischung von HW-RAID0 und SW-RAID1... ne "interessante" Kombination, läuft aber relativ gut!! :)
-> Aber zuhause ist halt nicht das Selbe wie im Geschäft... wenn zuhause was passiert kommt's rein auf mich persönlich zurück. Im Geschäft auch, aber NICHT nur... sondern auch auf dem Chef und unsere Kunden und das Firmen-Image wenn was passiert.

Bin gerade ein wenig verwirrt - evtl. kann mir jemand ein wenig auf den Sprung helfen...?

(Ist ein bisschen viel Text, ich weiss, aber ich hoffe zumindest dass ich damit alle notwendigen Infos geliefert habe...)

Für den einen oder anderen Tipp wäre ich sehr dankbar... :-)
Zuletzt geändert von jmar83 am 29.06.2022 16:42:50, insgesamt 1-mal geändert.
Freundliche Grüsse, Jan

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 30.05.2022 10:36:06

Wüsste niemand was zu diesem Thema...?
Freundliche Grüsse, Jan

Benutzeravatar
hikaru
Moderator
Beiträge: 13559
Registriert: 09.04.2008 12:48:59

Re: Off-Topic: Welches RAID-Konzept

Beitrag von hikaru » 30.05.2022 11:24:50

Es ist schwer, dazu etwas Sinnvolles beizutragen.
In meinem privaten Desktop-PC läuft das System von zwei SSDs im RAID1 und die Daten liegen auf vier HDDs im RAID6 ohne Spare. Der Bootloader ist auf beiden SSDs installiert, aber das BIOS bootet natürlich nur von einer.
Ich habe meine Gründe für dieses Setup, aber wenn deine Rahmenbedingungen anders aussehen als meine, könnte für dich ein anderes Setup sinnvoller sein.

Das Problem mit zickenden HW-RAID-Controllern und leeren Batterien kenne ich beruflich auch, weshalb wir davon inzwischen weg sind und alles in SW machen - mittlerweile auf Basis von zfs. Das machen aber Kollegen von mir. Da kenne ich mich also wenig aus.

Etwas irritiert mich deine Beschreibung der Hardwaresituation:
Du hast also einen alten (also vermutlich abgeschriebenen) Server für den es keinen externen Support mehr gibt. Trotzdem soll der eine Aufgabe kriegen, die "mission-critical" klingt. Wer auch immer diese Situation absegnet muss den Kopf hinhalten, wenn es knallt, denn jemand anderer wird es nicht tun. Sieh zu, dass du das nicht am Ende bist!

DeletedUserReAsG

Re: Off-Topic: Welches RAID-Konzept

Beitrag von DeletedUserReAsG » 30.05.2022 13:12:38

jmar83 hat geschrieben: ↑ zum Beitrag ↑
30.05.2022 10:36:06
Wüsste niemand was zu diesem Thema...?
Zuviel Text, zuwenig Information, keine Struktur, keine konkrete Frage.

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 30.05.2022 13:37:24

Daraus nichts ableiten zu können, erachte ich nicht als plausibel - so leid es mir tut... 8)
Freundliche Grüsse, Jan

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Off-Topic: Welches RAID-Konzept

Beitrag von Tintom » 30.05.2022 14:55:21

Ich habe den Beitrag auch mehrmals durchgelesen, mir ist dein Anliegen aber nicht klar. Den Beitrag als Ganzes hätte ich thematisch als Smalltalk einsortiert, weil es sich zunächst wie ein Erfahrungsbericht liest und daraus kein zentrales Problem ableitbar ist. Nimmt man aber den Titel und liest den Inhalt quer, könnte man vermuten, dass du eine Empfehlung für ein RAID-Konzept möchtest. Anscheinend hast du schon Erfahrung in dem Gebiet, daher wäre plausibel gewesen zu argumentieren, warum RAID x für dich eher in Frage kommt als RAID y, welche Erkenntnisse du daraus ableitest, weshalb du damit unzufrieden bist und nach konkreten Alternativen fragst. Das fehlt aber und so hat halt bislang keiner konkret geantwortet. Warum eine generelle Empfehlung nicht angebracht ist hat @hikaru schon erläutert.

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 30.05.2022 17:07:41

Ganz ehrlich gesagt stehe auch ich ein wenig "auf dem Schlach"... :-)

Ich denke die einfachste Lösung ist 1x SSD ohne RAID als Boot-Platte sowie die restlichen 6 2.5"-Slots mit 6x WD Red NAS HDD zu besetzen - eine der 6 Stk. als "Spare-Disk"...

Da wir die Server 3-fach haben, dürfte die Nicht-RAID-Bootplatte EHER ein geringeres Problem sein. Natürlich mit SMART-E-Mail-Benachrichtigung für die Boot-Platte wie auch für's SW-RAID5-Array mit Spare-Disk... :-)

Ich denke das ist das Einfachste...?
Freundliche Grüsse, Jan

Benutzeravatar
hikaru
Moderator
Beiträge: 13559
Registriert: 09.04.2008 12:48:59

Re: Off-Topic: Welches RAID-Konzept

Beitrag von hikaru » 30.05.2022 17:15:04

Bei RAID5 + Spare ist natürlich immer die Frage, warum nicht RAID6?
Ein Grund könnte Performance sein, denn die Berechnung der RAID6-Parity ist aufwändiger als das einfache xor der RAID5-Parity.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Off-Topic: Welches RAID-Konzept

Beitrag von heisenberg » 30.05.2022 17:17:38

1x SSD ohne RAID als Boot-Platte
Ich würde trotzdem 2 x für RAID-1 (SW-RAID) für die Bootplatte nehmen. Kleine SSDs(<=256 GB) nur für das OS kosten wenig. Natürlich die SATA-Variante und nicht NVMe, damit man die SSDs im laufenden Betrieb tauschen kann. Erspart Zusatzarbeit und Downtime bei Ausfall. Monitoring natürlich trotzdem.
6x WD Red NAS HDD
Entweder "WD Red Pro" oder "WD Red Plus" aber nicht "WD Red" (ohne einen Zusatz). Letzere nutzen mögicherweise SMR[1] , was für ein Storage/Server absolut ungeeignet ist.

Siehe hier:
WD Red mit SMR: Kläger sollen bei Vergleich pro HDD entschädigt werden
NAS-Festplatten: WD Red fortan nur als „Plus“ oder „Pro“ ohne SMR

[1] WP: Shingled Magnetic Recording
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 09.06.2022 10:58:28

Besten Dank für's Feedback. Aktuell verwenden wie folgende Platten: WD Red 1.0TB WD10JFCX / NASware 3.0

Was "SMR" genau ist, muss ich noch abklären. Kannte ich bis anhin nicht.

Ob SW-RAID1 zum booten bei Window$ geht, weiss ich aktuell leider nicht. Als VM-Host verwenden wir aktuell Window$ Server 2016 Datacenter mit HyperV & die Backup- & Replikationslösung "VEEAM". * Die VMs sind aber praktisch alle Linux.

* Habe mich mal dafür "stark" gemacht "Proxmox" zu verwenden. Hat aber nicht so geklappt wie erwartet - es hiess dann dass die Window$-Lösung bis anhin gut verhebt hat. (Na ja, stimmt soweit ja auch)
Freundliche Grüsse, Jan

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 09.06.2022 10:59:27

Proxmox hat auch ein schönes Web-GUI, in dem man die VM-"Bildschirme" über die Web-Konsole ansteuern kann - das wäre halt schon ziemlich nice!! :-)
Freundliche Grüsse, Jan

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Off-Topic: Welches RAID-Konzept

Beitrag von heisenberg » 09.06.2022 12:16:01

Ich finde Proxmox auch sehr cool.

Wenn Du Dir das zutraust, evtl. mit entsprechenden Support-Subscriptions vom Hersteller. Wieso nicht? Du kannst Dir ja erst mal ein Testsystem bauen und mal eine Weile damit spielen.

Wenn Du ein gut laufendes System gegen etwas anderes tauschen möchtest, muss dieses andere mal mindestens mäßig besser sein - was auch immer das für Eure Umgebung konkret bedeuten mag.

Und zur Ausgangsfrage: Einen Virtualisierungshost würde ich nicht ohne RAID laufen lassen.
Zuletzt geändert von heisenberg am 09.06.2022 12:43:28, insgesamt 2-mal geändert.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 09.06.2022 12:36:06

Ja, habe mir Proxmox wie schon geschrieben mit 1x SSD + SW-RAID5 mit 6 HDDs inkl. Spare-Disk aufgebaut. Habe zwar mal gehört, dass Proxmox eigentlich nicht für SW-RAID sei - aber dann geht man halt einfach in die SSH-Konsole und richtet es sich ein. Kurz & bündig! :-)

Damals (vor ein paar Monaten) lief der aktuelle Proxmox-Kernel nicht auf dem HPE ML350 Gen. 9 - da haben sich ständig Laufwerke aufgehängt. Dann habe ich den backports-Kernel von Debian installiert und es lief x Wochen "wie am Schnürchen"... habe ca. 3 Wochen nicht mal gecheckt dass der Server nicht am Dauerstrom ist, wurde also jeden Abend abgewürgt. :facepalm: (-> "Last Power State" im BIOS aktiviert, wie normal bei Servern)

Überlebt hat's das Linux-SW-RAID5-Array mit den von mir beschriebenen Platten aber trotzdem problemlos. :mrgreen: Linux SW RAID scheint wirklich super stabil zu sein. Dank dem SW-RAID konnte ich auch die Cache-Batterie aus dem Server nehmen - völlig überflüssig in diesem Fall.
Freundliche Grüsse, Jan

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 09.06.2022 12:39:07

Linux (Debian 10+11) + Windows-VMs ("nur" 10 Pro x64, kein Server) liefen auch super drauf... wobei ich bei der Windows-VM fälschlicherweise Linux beim Einrichten auf dem Web-GUI konfiguriert habe. Ging ständig in die Knie. Dachte es läge an diesem "Baloon"-Driver. Bis ich herausfand, dass unter dem VM-Eigenschaften beim OS nicht Windows, sondern Linux konfiguriert war... :facepalm: :facepalm: :facepalm:

Selbst-Zitat:
"Dann habe ich den backports-Kernel von Debian installiert"

-> Aktuell könnte es aber sein, dass dieses Problem gelöst wurde seitens Proxmox, gut möglich...
Freundliche Grüsse, Jan

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Off-Topic: Welches RAID-Konzept

Beitrag von heisenberg » 09.06.2022 12:43:46

Zum Thema Mail versenden: So etwas würde ich über ein Monitorungsystem umsetzen. Monitoring ist imho absolut essentiell und auch ein etwas aufwändigeres Thema. Mails braucht es für mich da nicht unbedingt.

Was das HW-RAID betrifft: Üblicherweise kann man da trotzdem den Smart-Status der Platten hinter dem Array auslesen. Muss man halt für den betreffenden Controller recherchieren wie's geht.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 09.06.2022 12:49:33

Besten Dank. Ja, das mit den einzelnen Platten eines HW-RAID-Array zum OS (z.B. für SMART oder RAID-Benachrichtigungen) durchreichen geht irgendwie - wenn man den passenden Treiber hat, was bei bekannten Enterprise SAS-/SATA-RAID-Controllern eigentlich kein Problem ist, auch nicht unter Linux.
Freundliche Grüsse, Jan

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Off-Topic: Welches RAID-Konzept

Beitrag von heisenberg » 09.06.2022 14:48:00

Zu Proxmox noch:

Das OS darunter ist ein normales und aktuelles Debian. Deren Releases sind angelehnt an die Debian-Releases. Es gibt sogar eine Anleitung im Proxmox-Wiki, wie man Proxmox-VE (oder andere Produkte) da auf einem selbstinstallierten Debian aufsetzt.

D. h. man kann da im Hintergrund tendenziell alles von Linux nutzen, was man will.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 09.06.2022 15:52:21

Vielen Dank. Aber der Kernel ist aber ein Spezieller - habe ca. 2015, als ich das erste mal von Proxmox erfahren habe, gehört das System sei eher ein klassisches, "gewöhnliches" Debian, der Kernel allerdings sei eher an Ubuntu (ist zwar ebenfalls Debian-basiert) angelehnt und zusätzlich für VM-Hosting optimiert.

Keine Ahnung, wie es heutzutage genau ist...?
Freundliche Grüsse, Jan

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Off-Topic: Welches RAID-Konzept

Beitrag von heisenberg » 09.06.2022 17:42:04

Ja. Eigene, deutlich neuere Kernelversionen werden als Pakete installiert.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept

Beitrag von jmar83 » 29.06.2022 16:42:39

Danke!! :THX: :THX: :THX:
Freundliche Grüsse, Jan

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept [Gelöst]

Beitrag von jmar83 » 01.07.2022 14:56:59

Hat zwar nicht direkt was mit dem Thema zu tun: Beim Home-Server hatte ich das RAID-Theater satt und habe mir deswegen ein Synology DS-918 geholt. Ich denke Synology regelt das soweit schon gut. Statt dass das RAID im Server ist, fungiert das NAS (u.A.) als iSCSI-Target welches wie ne lok. Platte im Server erscheint. Läuft bis jetzt quasi "wie am Schnürchen"... :-)

Aber: Habe ständig Meldungen in der Art: "Anzahl der Neuverbindungen von Laufwerk: 1"

...Platte (#1) scheint dabei nicht defekt zu sein, diese "Neuverbindungen" scheinen auch nichts Kritisches zu implizieren.

ABER: Könnte es nicht doch irgendwie ratsam sein, die betroffene Platte auszutauschen? (Zumindest bevor die Garantie abläuft... ;-))
Freundliche Grüsse, Jan

jmar83
Beiträge: 962
Registriert: 20.06.2013 20:20:15
Wohnort: CH
Kontaktdaten:

Re: Off-Topic: Welches RAID-Konzept [Gelöst]

Beitrag von jmar83 » 01.07.2022 15:36:20

ZITAT: "Wichtig ist nur, dass der Wert nicht weiter ansteigt! Merkt euch also den Zählerstand nach der Fehlererkennung und dessen Behebung. Diese Platte ist absolut in Ordnung! Geschichte: Ende."

-> https://www.german-syslinux-blog.de/syn ... e-bemerkt/

Alles klar, wenn der Wert auf "1" bleibt so ist dies der hochgezählte Wert. Sollte (soweit) kein Problem sein, wenn er nicht ansteigt. Evtl. mal das Gerät herunterfahren & die Kontakte reinigen. (?)

Und Garantie hab ich auch keine mehr, tja...
Freundliche Grüsse, Jan

Antworten