Dauer RAID 5 rebuild

Hast Du Probleme mit Hardware, die durch die anderen Foren nicht abgedeckt werden? Schau auch in den "Tipps und Tricks"-Bereich.
Antworten
ArpO
Beiträge: 16
Registriert: 02.07.2019 00:10:03
Wohnort: Göttingen

Dauer RAID 5 rebuild

Beitrag von ArpO » 06.07.2019 17:36:05

Hallo Leute,
habe seit einiger Zeit einen Root Server bei Hetzner.
Wie ich den Server eingerichtet habe wurde das RAID 5 ja schonmal komplett aufgebaut. Damals waren die Platten natürlich leer. Speed mal bei über 100MB/sek. War ich zufrieden mit.
Jetzt muste eine Platte getauscht werden, sind immer mehr Sektoren ausgefallen, und der Rebuild dauert ewig. Aktuell 8MB/sek.
Das System beschwert sich über hohe CPU Last, "lfd on host: High 5 minute load average alert - 9.22" logge ich mich aber per SSH ein und rife "htop" auf... nix... alle 8 Kerne sind am rumlungern und langweilen sich.
Auf der Kisten läuft z.b. Virtualbox, das startet auch und mein Mail Server sollte laufen, der Zugriff darauf ist aber so langsam... Thunderbird sagt immer Timeout!
Installieren gerade inxi auf der Kiste und das dauert schon über 10 Minuten.

Jetzt halt die Frage, ist es bei einem Software RAID5 normal das ein Rebuild so lange dauert?
Ich wäre mit neuinstallieren und Backup einspielen ne ganze Ecke schneller gewesen!

Ja, /proc/sys/dev/raid/speed_limit_min und max hatte ich erhöht. Min auf 50000 und max auf 300000, Speed blieb bei über 30MB/Sek., was auch nur Peak war, normal so 10MB/Sek.

Code: Alles auswählen

root@host:/home/arpo# inxi -F
System:    Host: host Kernel: 4.15.0-54-generic x86_64 (64 bit) Console: tty 3 Distro: Ubuntu 16.04 xenial
Machine:   Mobo: ASUSTeK model: P8H67-M PRO v: Rev X.0x serial: MF70BCG03604475
           Bios: American Megatrends v: 9005 date: 09/18/2018
CPU:       Quad core Intel Core i7-2600 (-HT-MCP-) cache: 8192 KB
           clock speeds: max: 3800 MHz 1: 2358 MHz 2: 2012 MHz 3: 2115 MHz 4: 2089 MHz 5: 2075 MHz 6: 2091 MHz
           7: 2092 MHz 8: 2088 MHz
Graphics:  Card: Intel 2nd Generation Core Processor Family Integrated Graphics Controller
           Display Server: N/A driver: N/A tty size: 137x49 Advanced Data: N/A for root out of X
Audio:     Card Intel 6 Series/C200 Series Family High Definition Audio Controller driver: snd_hda_intel
           Sound: Advanced Linux Sound Architecture v: k4.15.0-54-generic
Network:   Card: Realtek RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller driver: r8169
           IF: eth0 state: up speed: 1000 Mbps duplex: full mac: c8:60:00:54:bc:ec
Drives:    HDD Total Size: 9001.8GB (42.2% used) ID-1: /dev/sda model: TOSHIBA_DT01ACA3 size: 3000.6GB
           ID-2: /dev/sdb model: ST3000NM0033 size: 3000.6GB
           ID-3: /dev/sdc model: TOSHIBA_DT01ACA3 size: 3000.6GB
Partition: ID-1: / size: 92G used: 4.9G (6%) fs: ext4 dev: /dev/md127
           ID-2: swap-1 size: 39.97GB used: 0.00GB (0%) fs: swap dev: /dev/md125
RAID:      Device-1: /dev/md125 - active raid: 5 components: online: 3/3 - sda3 sdc3 sdb3
           Device-2: /dev/md126 - active raid: 5 components: online: 3/2 - sda4 sdc4 sdb4
           Recovering: 84.6% time remaining: 1079.1 min
           Device-3: /dev/md127 - active raid: 5 components: online: 3/3 - sda2 sdc2 sdb2
Sensors:   System Temperatures: cpu: 29.8C mobo: 27.8C
           Fan Speeds (in rpm): cpu: 0
Info:      Processes: 244 Uptime: 1 day Memory: 2573.6/32097.2MB Init: systemd runlevel: 5
           Client: Shell (bash) inxi: 2.2.35


mludwig
Beiträge: 793
Registriert: 30.01.2005 19:35:04

Re: Dauer RAID 5 rebuild

Beitrag von mludwig » 06.07.2019 20:21:52

Bei einem Rebuild hat die CPU nichts zu tun, aber die Festplatten sind unter Vollast. Wenn dann zusätzlich noch weitere Prozesse auf die Festplatte zugreifen, dauert es logischerweise noch länger. Die Load von 8-9 bedeutet, das 8 oder 9 Programme auf Ausführung warten. Wenn aber die Prozesse alle auf I/O warten, weil die Festplatte anderweitig beschäftigt ist, fühlt sich das sehr langsam an.

Wenn alle Dienste weiterlaufen (sollen), dauert es eben lange. Wenn es schnell gehen soll, alles was nicht gebraucht wird stoppen bis er fertig ist. Dann geht es vermutlich schlagartig schneller.

ArpO
Beiträge: 16
Registriert: 02.07.2019 00:10:03
Wohnort: Göttingen

Re: Dauer RAID 5 rebuild

Beitrag von ArpO » 06.07.2019 20:32:12

Leider nicht!
Hab den Server mal ins Hetzner Rescue System gebootet, mdadm läuft da ja auch und sonst eigentlich nur SSH.
Gerade waren es 11MB/sek und jetzt 5MB/sek im rebuild...
Werde wohl auf ein Hardware Raid umsteigen. Hoffe das läuft da besser.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Dauer RAID 5 rebuild

Beitrag von bluestar » 07.07.2019 01:33:44

Wenn ich mir die inxi Ausgabe ansehe, dann sehe ich „Ubuntu 16.04 xenial“, dann wundert mich auch die ungewöhnliche Kernel-Version nicht...

Was ich sehe und wovon ich dir zu 100% abraten muss: Kein Swap auf nem RAID5.... Das ist ne angezogene Handbremse was Performance angeht, pack man das Paket zram-config auf die Maschine, dann wird erst mal SWAP compressed in RAM angelegt und nur danach auf die HDDs geswappt.

ArpO
Beiträge: 16
Registriert: 02.07.2019 00:10:03
Wohnort: Göttingen

Re: Dauer RAID 5 rebuild

Beitrag von ArpO » 07.07.2019 04:57:59

Hmmm hier ist was total im Argen.
Rebuild sollte abgeschlossen sein, aber beim kopieren der Daten auf einen anderen Hetzner Server wird nur mit 4.5MB/sek gelesen :(
Versuche gerade noch meine VM für die eMails zu retten, dann wird der Server gekillt und der neue ist mit einem LSI RAID Controller hoffentlich pflegeleichter.
Denke da muss noch ne Fehler im RAID sein oder noch auf einer anderne Platte.

Benutzeravatar
bluestar
Beiträge: 2334
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Dauer RAID 5 rebuild

Beitrag von bluestar » 07.07.2019 09:52:48

ArpO hat geschrieben: ↑ zum Beitrag ↑
07.07.2019 04:57:59
der neue ist mit einem LSI RAID Controller hoffentlich pflegeleichter.
Wir hatten einmal bei dem Hoster deines Vertrauens einen Controller, der irgendwann nach 6 Monaten auf Grund defekten Caches ganz ganz viel Müll auf die HDDs geschrieben hat.... Seither gibt‘s keine HWRAID Controller mehr, SW-Raid läuft einfach fehlerfreier.

Benutzeravatar
habakug
Moderator
Beiträge: 4313
Registriert: 23.10.2004 13:08:41
Lizenz eigener Beiträge: MIT Lizenz

Re: Dauer RAID 5 rebuild

Beitrag von habakug » 07.07.2019 10:26:35

Hallo,

Code: Alles auswählen

Partition: ID-1: / size: 92G used: 4.9G (6%) fs: ext4 dev: /dev/md127
           ID-2: swap-1 size: 39.97GB used: 0.00GB (0%) fs: swap dev: /dev/md125
RAID:      Device-1: /dev/md125 - active raid: 5 components: online: 3/3 - sda3 sdc3 sdb3
           Device-2: /dev/md126 - active raid: 5 components: online: 3/2 - sda4 sdc4 sdb4
           Recovering: 84.6% time remaining: 1079.1 min
           Device-3: /dev/md127 - active raid: 5 components: online: 3/3 - sda2 sdc2 sdb2
Es gab/gibt ein Phänomen das unter Ubuntu (und möglicherweise auch Debian) auftreten kann [1], das eine Anpassung der /etc/mdadm/mdadm.conf erfordert. Ein Hinweis ist hier der Devicename /dev/md127. Möglicherweise sollte in diese Richtung geforscht werden. Der Intel P57 onboard kann maximal Raid-1.

Gruss, habakug

[1] https://pratt.is/linux-raid-md127/

edit:
Es muss heissen "Intel H67 Express" und nicht "Intel P57".
( # = root | $ = user | !! = mod ) (Vor der PN) (Debianforum-Wiki) (NoPaste)

Antworten