[Gelöst] Unterstützung Adaptec HBA 1000-8i

[r4pt0r]

Gibts schon neuigkeiten?

Ich habe wahrscheinlich einen Contolleraustausch/-ersatz in nem Server der den Standort wechselt vor mir, und der Adaptec 1000-16i wäre preislich sehr interessant sofern der wirklich "sauberes" JBOD kann...

[pepre]

Gibts schon neuigkeiten?

Nö, zumindest fast nix Neues!

Wird noch ca einen Monat dauern, bis ich ein "modernes" Brett mit UEFI daran anschließe (dann ordnungsgemäß mit PCIE V3 und 8 Lanes) . Wie gesagt: mit dem BIOS-Brett sehe ich nix, gar nix beim Booten. Es könnte sein, dass sich der HBA nur an einem UEFI-Brett mit einem Interface anmeldet. Im Handbuch faseln sie von "uEFI pre-boot BIOS, CTRL-A configuration utility" (S. 31 ff), das aber bei mir komplett unsichtbar bleibt.

... interessant sofern der wirklich "sauberes" JBOD kann.

Ähm, du willst kein JBOD, zumindest nicht im Sinne eines LVM-Verbundes über alle Platten. Oder doch?!

Was funktioniert: die Platten werden "passthrough" durchgereicht. Mein SW-RAID6 funktioniert einwandfrei und sehr stabil. Hotplugging (1) auf einem Port stört die anderen Ports überhaupt nicht.

Zum "spin down" o.ä.: da hat sich herausgestellt, dass es mit einigen Platten funktioniert, und mit anderen nicht. Vornehmlich ältere Platten (damals, als 320G Platten Usus waren) haben Probleme. Außerdem wachen sie sehr schnell (binnen 20 Sekunden) wieder auf, obwohl sie nicht gemounted sind und nix darauf zugreift. Das bleibt wohl vorerst ein Rätsel, da ich in Ermangelung einer aktuellen SATA-HD nichts testen kann.

---
(1) Via

Code: Alles auswählen

# Aushängen
echo "1" > /sys/block/sd?/device/delete

# Einhängen
echo "- - -" > /sys/class/scsi_host/host?/scan

[r4pt0r]

Ahja, ich vergas dass der Begriff "JBOD" von den consumer-"raid"-Karten mittlerweile vergewaltigt wurde

Ich meine: Stinknormaler HBA der mir nur "nen haufen Festplatten" (JBOD) durchreicht und keine config auf die Platten schreibt...
Dises seltsame "alle Platten zu einer virtuellen zusammenfassen" als JBOD zu bezeichnen kam ja erst mit Billigcontrollern und den nicht vorhandenen Raid/Volume-Fähigkeiten von Windows auf - ist aber eigentlich striping oder spanning... ( BTW: Was passiert eigentlich wenn man ein 48-disk JBOD-Array an ein Windows-system anschließt - das Alphabet hat ja nur 24 Buchstaben )

[KBDCALLS]

Hiermal ein Link zu JBOD

• https://de.wikipedia.org/wiki/RAID#JBOD

Danach ist das kein Raid und steht

• Bunch of Disks, also: Nur ein Haufen Festplatten

Und nichts mit einem echten Raid zu tun.

[r4pt0r]

Sag ich doch - exakt was wikipedia unter 1. erklärt. Das unter 3. ist dieses völlig sinnfreie striping/spanning das manche billigcontroller falsch als "JBOD" bezeichnen...

Was die Probleme mit spindown/hotplug betrifft: wie alt sind denn die Platten? IIRC wurde hotplug erst mit SATA2 fester bestandteil der Spezifikation - SATA"1" waren ja oft ATA-Platten mit dazugepfuschtem controller.
Da der Controller ja eigentlich ein SAS-HBA ist, muss er hotplugging auf jeden Fall unterstützen...

[NAB]

Es könnte sein, dass sich der HBA nur an einem UEFI-Brett mit einem Interface anmeldet. Im Handbuch faseln sie von "uEFI pre-boot BIOS, CTRL-A configuration utility" (S. 31 ff), das aber bei mir komplett unsichtbar bleibt.

Genau da steht aber auch, dass du auch auf einem BIOS-Board die Aufforderung sehen solltest, Ctrl+A zu drücken.

Dort solltest du auch "HBA: exposes physical drives to the operating system" auswählen können. Außerdem kannst du dir dort die angeschlossenen Platten angucken. Das ist alles. Ein Firmware-Update geht wohl nur auf einem UEFI-Board. Sagt zumindest das Handbuch. Die neuste Firmware für den Adapter ist vom 8.12.2015.

Gibt es für dein Mainboard vielleicht ein BIOS-Update?

[r4pt0r]

Hat das Board UEFI? Dann schau mal dort nach.
An meinem Desktop-PC meldet sich z.b. die Qlogic-Firmware vom FC-HBA nicht separat vorm POST-Screen - das wird im UEFI als extra Menüpunkt integriert.
Am Testserver mit "normalem" BIOS bekomme ich mit nem identischen HBA vor dem POST-Screen wie mans von allen möglichen Controllern kennt die Initialisierung der Firmware angezeigt (erkannte LUNs, "press CTRL+Q for Menu" usw...).

Laut supportseite gibts zum firmware upgraden (und controller konfigurieren) auch ein bootbares USB-Image mit dem "maxView storage manager" - damit müsste man sich zumindest nicht das system mit deren software zumüllen. Das arcconf tool ist ja anscheinend nur bestandteil des kompletten softwarepakets und nicht einzeln installierbar?

[NAB]

Hat das Board UEFI? Dann schau mal dort nach.

Das schrieb er doch schon hier:
viewtopic.php?f=13&t=159793&start=15#p1084204

[pepre]

Genau da steht aber auch, dass du auch auf einem BIOS-Board die Aufforderung sehen solltest, Ctrl+A zu drücken.

Die Betonung liegt auf "sollte". Tut es aber nicht. Auch "blind drücken" hilft nix...

Das arcconf tool ist ja anscheinend nur bestandteil des kompletten softwarepakets und nicht einzeln installierbar?

Doch, ist einzeln aus dem Jessie-Repo installierbar:

Code: Alles auswählen

$ apt-cache search arcconf
nagios-plugins-contrib - Plugins for nagios compatible monitoring systems
arcconf - Adaptec ARCCONF command line tool

$ dpkg -l | grep arcconf
ii  arcconf              2.00.21811-jessie1          amd64                  Adaptec ARCCONF command line tool

Neuere Versionen machen aber auch nix anderes...

[pepre]

Was die Probleme mit spindown/hotplug betrifft: wie alt sind denn die Platten?

Gute Frage. Das sind die da. Irgendwo hab ich noch 1.5T Seagates rumliegen, muss ich mal suchen...

[r4pt0r]

Aus den debian repos? Ich hab vor dem post extra ein apt-cache search gemacht, gerade nochmal auf 3 Systemen und auch package.debian.org findet kein "arcconf"...

Das mit dem BIOS hab ich wohl übersehen
Gibts evtl nen Jumper auf dem HBA zum aktivieren/deaktivieren des "RAID-BIOS" oder wie auch immer es Adaptec nennt?
Kann mich an nen alten 3ware-Controller erinnern der dafür nen Jumper hatte - der ist nämlich mal im Betrieb durch Vibration abgefallen. Beim Reboot waren Plötzlich einzelne Platten sichtbar, nicht das einzelne (bzw Zerstörte) RAID-10-device...


Die Platten sind schon SATA2 (3GBit/s), daran 'sollte' es eigentlich nicht liegen... Unterstützt das Mainboard am Onboard-Controller Hotplug? Ggf muss das auch vom BIOS unterstützt werden?

[pepre]

Aus den debian repos?

Oops! Hast recht. Heißt ja auch apt-cache...

Wie dem auch sei: ich hatte da allerhand Versionen installiert, aber keine sprach vernünftig mit dem HBA.

Gibts evtl nen Jumper auf dem HBA zum aktivieren/deaktivieren des "RAID-BIOS" oder wie auch immer es Adaptec nennt?

Nein. Nur ein Jumper für "Reset Werkseinstellung".

[NAB]

pepre, in den Jessie Backports findest du eine aktuelle Version von "nagios-plugins-contrib". Da findest du auch einen neueren Kernel mit neueren Treibern.

[pepre]

pepre, in den Jessie Backports findest du eine aktuelle Version von "nagios-plugins-contrib". Da findest du auch einen neueren Kernel mit neueren Treibern.

Ich hab alles durch: 4.3 Kernel usw usf. Allerneueste Version von Adaptec-Server selbst, als auch

Code: Alles auswählen

# deb http://debian-packages.cargomedia.ch jessie main
# deb http://hwraid.le-vert.net/debian jessie main

Glaub mir: keine Veränderung. - Ich kucks mir einfach nochmal an, wenn das schicke neue UEFI-Brett mit PCIE3 habe.

Es funktioniert ja: die Platten sind einzeln sichtbar, alles funktioniert so, wie ich mir das vorgestellt habe (HBA mit passthrough out of the box).

Was will man mehr!

Ich könnte jetzt zB noch da drehen:

Code: Alles auswählen

# modinfo aacraid
...
expose_physicals:Expose physical components of the arrays. -1=protect 0=off, 1=on (int)
...

Aber das hebe ich mir für's neue Brett auf. Außerdem scheint es eh auf "on" zu stehen.

[NAB]

Ja, ich glaub's dir ja ... nachdem du es erzählt hast. Davor weiß ich es ja nicht

Mir kommt komisch vor, dass die Platten nach hdparm -y/Y sofort wieder aufwachen. Da frage ich mich, was der HBA neben "passthrough" sonst noch macht. Eventuell verstellt er nur den APM-Wert (hdparm -B). Und wenn der HBA sich "eigentlich" im BIOS melden sollte, wundert mich, warum er es nicht tut.

[pepre]

Merkwürdig finde ich das:

Code: Alles auswählen

# hdparm -C /dev/sdd

/dev/sdd:
SG_IO: bad/missing sense data, sb[]:  70 00 01 00 50 40 ff 06 00 00 00 00 00 1d 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 drive state is:  unknown

Ich werde das am neuen Brett mit "expose_physicals" testen (und vorsichtshalber das RAID dabei abgehängen).

Gut Ding will Weile haben...

[pepre]

Ah! Nach

Code: Alles auswählen

sdparm --readonly --command=stop /dev/sdd
echo "1" > /sys/block/sdd/device/delete

scheint die Platte nicht mehr anzudrehen (ohne "--readonly" schon). Wie gesagt: den Status kann ich per Terminal ja leider nicht auslesen. Ich habe sie jetzt aber nicht mehr hochdrehen hören. Hm...

Hilfslink: http://sg.danny.cz/sg/sdparm.html.

-----

Edit: geht doch! Zumindest scheint es so:

Code: Alles auswählen

# sdparm --command=ready /dev/sdd
    /dev/sdd: ATA       ST3300831AS       3.06
Ready

# sdparm --readonly --command=stop /dev/sdd
    /dev/sdd: ATA       ST3300831AS       3.06

# sdparm --command=ready /dev/sdd
    /dev/sdd: ATA       ST3300831AS       3.06
Not ready

### 5 Min gewartet
# sdparm --command=ready /dev/sdd
    /dev/sdd: ATA       ST3300831AS       3.06
Not ready

Ende gut, alles gut. Denke ich...

[NAB]

Hupps, ich hatte dein Edit gar nicht mehr gesehen! Ich verstehe zwar nicht, warum es mit --readonly geht, aber mit hdparm -y nicht, denn beides müsste doch den SAT-Layer zu einer ATA-Platte nutzen, aber Hauptsache es geht

Ich nehme an, bei einem sdparm --command=start springt die Platte auch wieder an. Geht das auch automatisch, wenn auf die Platte zugegriffen wird?

Und könntest du noch mal testen, ob das aacraid-Modul einen Suspend des gesamten Rechners übersteht?

[pepre]

Ich nehme an, bei einem sdparm --command=start springt die Platte auch wieder an. Geht das auch automatisch, wenn auf die Platte zugegriffen wird?

Ja, beides. Wobei ich jetzt nur mit "fdisk" und "mount" aufgeweckt habe.

Und könntest du noch mal testen, ob das aacraid-Modul einen Suspend des gesamten Rechners übersteht?

Ähm, ACPI, hibernate, uswsusp? 2 Disk, 2 RAM? Und was soll "überstehen"? Gestoppte Festplatten?

[NAB]

Klasse, der HBA wird mir immer sympathischer! Hab vielen Dank für deine Mühe

Ich meinte einen Suspend-to-RAM und dachte an "pm-suspend" oder was sonst gerade zur Verfügung steht. Mich interessiert lediglich die Frage, ob der HBA danach überhaupt noch funktioniert, also es hinbekommt, danach wieder aufzuwachen und all seine Platten wiederzufinden.

Nebenbei, hast du das hier gesehen?
https://wiki.debian.org/LinuxRaidForAdmins#aacraid

[pepre]

Suspend-to-RAM

Hm, ich betreibe das eigentlich 24/7, aber ich hab's mal angetestet: scheint zu funktionieren, zumindest steht nix Gegenteiliges in den Logs. Mehr kann ich nicht sagen, da mir mein Brett aus welchen Gründen auch immer schwarzes Schweigen präsentiert, sogar der sshd hüllt sich in Schweigen. Die Platten jedenfalls laufen wieder an, und im Log wird auch das RAID wieder angeworfen. - Kommt Zeit, kommt neues Brett...

Nebenbei, hast du das hier gesehen?
https://wiki.debian.org/LinuxRaidForAdmins#aacraid

Ja, das hilft aber leider exakt gar nix. Aktuell (bzgl arcconf) ist die Seite auch nicht.

Ich denke, dass der 1008er noch nicht von arcconf erkannt wird. Dahier:

Code: Alles auswählen

# dpkg -l | grep arcconf
ii  arcconf                               2.00.21811-jessie1

# arcconf getconfig 1
Controllers Found: 1
----------------------------------------------------------------------
Controller Information
----------------------------------------------------------------------
   Controller Status                        : Inaccessible

----------------------------------------------------------------------
Logical Device Information
----------------------------------------------------------------------
   No logical devices configured

----------------------------------------------------------------------
Physical Device Information
----------------------------------------------------------------------

Command completed successfully.

Ist sich also sehr aktuelles arcconf (ich hab auch noch aktuellere probiert). Tut nur nix...

[NAB]

Naja, wenn sich von den 24/7 nur 10/5 überhaupt was auf dem Datenserver tut, ist es schon sparsam, wenn man ihn nachts für 5 Watt im Standby parken kann und er in 10 sec wieder ansprechbar ist. Das klingt bei dir aber eher, als ob die Grafikkarte den Suspend nicht mag.

Für arcconf sehe ich im Moment eh keinen Bedarf ... funktioniert doch alles, passthrough, SMART, Standby. Nur das mit dem Firmwareupdate könnte interessant sein, aber das ist im Moment eh nicht aktuell.

Wie auch immer, ich werd mir das Ding mal angucken, hab vielen Dank

[ThorstenS]

Ich bin die Tage über dieses review einer billigen ASM1061 SATA HBA Karte gestolpert - sehr sehenswert: https://www.youtube.com/watch?v=yqQPh8KZhp4

[pepre]

ASM1061 SATA HBA

Für das schnelle Erweitern zwischendurch könnte das was sein.

Sucht man danach, so findet man aber auch Problem-Threads. - Da ich eine zuverlässige Lösung benötige (nach dem letzten RAID Desaster hab ich die Faxen von Marvell & Co dicke) greife ich lieber zwei (im Falle deiner Karte eher fünf) Preisklassen höher zu. Außerdem ist da schlicht die Erwägung: 2 vs 8 Ports bei je einem PCIE Slot. Da fällt die Wahl leicht.

[r4pt0r]

Der ASM ist IMHO eher Verschwendung von PCIe-Steckplätzen. Braucht/will man 8 SAS/SATA-Ports belegt man 4 PCIe-Steckplätze. Performance und Zuverlässigkeit sind bei dem Preis auch eher fragwürdig...

Noch als Ergänzung zum IBM M1015:
Habe vor 2 Tagen einen solchen in nem älteren Server, der zum Storageserver umfunktioniert wird, verbaut und auf die LSI 9211-IT Firmware geflasht. Flashen ist mit UEFI-Konsole in <5 min erledigt, danach hat man 8x SAS 6Gb bzw SATA3 Ports die direkt durchgereicht werden. Die Karte meldet sich dann als LSI bzw Avago SAS2008 HBA, die Initialisierung beim booten scheint auch etwas schneller zu sein als mit "raid-enabled-firmware".

SMART lässt sich von SATA Platten ohne Verrenkungen auslesen (kein '-d megaraid,123' usw...), ausschalten der Platten funktioniert ebenfalls einwandfrei (spür- und hörbar - Platte klickt und dreht aus). Ebenso funktioniert die locate-funktion der Backplane (Supermicro 833TQ) - die LED am entsprechenden Caddy blinkt dann gleichmäßig.
Das einzige was ich noch nicht zum laufen bekommen habe ist das auslesen der Backplane mittels sesutil unter FreeBSD. Ich bekomme zwar Rückmeldungen, aber nur "Unsupported Value" - was aber immerhin schon mehr ist als mit dem megaraid-controller. KA obs an der Backplane oder evtl der Pinbelegung der Sideband-Anschlüsse liegt, muss ich mir noch genauer anschauen.

Bei ca 120 EUR ist der HBA aber kaum schlagbar wenn sowieso nur PCIe 2.0 8x und maximal SAS 6Gb verfügbar ist bzw ausreicht. Das einzige worauf man evtl achten sollte: es werden viele neue M1015 aus China angeboten - KA ob das wirklich die selben Karten sind, aber da diese neuen HBAs teilweise billiger verkauft werden als gebrauchte "echte" IBMs habe ich so meine Zweifel...
Auf der originalen IBM steht auf jeden Fall nicht made in China sondern Malaisia (oder India - muss ich nochmal nachschauen )