[gelöst] mdadm reshape ohne Fortschritt

Hast Du Probleme mit Hardware, die durch die anderen Foren nicht abgedeckt werden? Schau auch in den "Tipps und Tricks"-Bereich.
Antworten
lod
Beiträge: 37
Registriert: 12.01.2010 09:21:55

[gelöst] mdadm reshape ohne Fortschritt

Beitrag von lod » 24.03.2016 13:59:33

Hallo zusammen

Ich wollte eine weitere Platte meinem RAID6 hinzufügen. Jedoch kommt das ding nicht forwärts:

Code: Alles auswählen

Every 5.0s: cat /proc/mdstat                                                                                                                  Thu Mar 24 13:36:18 2016

Personalities : [raid1] [raid6] [raid5] [raid4]
md2 : active raid6 sdb1[4] sdc1[0] sdf1[3] sde1[2] sdd1[1]
      1953519616 blocks super 0.91 level 6, 1024k chunk, algorithm 2 [5/5] [UUUUU]
      [>....................]  reshape =  0.0% (0/976759808) finish=3692355565.8min speed=0K/sec

md1 : active raid1 sdg2[0] sdh2[1]
      94660608 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdg1[0] sdh1[1]
      487104 blocks super 1.2 [2/2] [UU]

unused devices: <none>
und as schon seit run 30-40 Minuten. Die finish Zeit geht munter nach oben, aber es passiert nichts.

Was hab ich gemacht:

Code: Alles auswählen

echo 50000 > /proc/sys/dev/raid/speed_limit_min
echo 50000 > /proc/sys/dev/raid/speed_limit_max
echo 32768 > /sys/block/md2/md/stripe_cache_size

sfdisk -d /dev/sdc | sfdisk /dev/sdb
mdadm --add /dev/md2 /dev/sdb1
mdadm --grow --raid-devices=5 /dev/md2
So wie ich das verstehe, ist noch nichts geschrieben worde. Kann mir jemand sagen, wie ich aus dieser Situation wieder rauskomme ohne das ganze RAID zu zerschiessen?

Meine Config:

Code: Alles auswählen

root@SRVLO001:/home/lod# cat /etc/mdadm/mdadm.conf
# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
# DEVICE partitions containers /dev/sdb
DEVICE /dev/hd*[0-9] /dev/sd*[0-9]

# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays
ARRAY /dev/md/0 level=raid1 num-devices=2 metadata=1.2 name=SRVLO001:0 UUID=4f0259f6:e416eeb7:53d8b535:93fa0c8b
ARRAY /dev/md/1 level=raid1 num-devices=2 metadata=1.2 name=SRVLO001:1 UUID=f55974d8:03b2504a:f4d33838:f2334f6f
ARRAY /dev/md2 level=raid6 num-devices=4 metadata=0.90 UUID=a3037800:f2c6d7c0:e612f9f7:185d199e

# This configuration was auto-generated on Thu, 10 Mar 2016 20:08:58 +0100 by mkconf

Code: Alles auswählen

root@SRVLO001:/home/lod# lsblk
NAME                                MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sda                                   8:0    0 931.5G  0 disk  
└─sda1                                8:1    0 931.5G  0 part  
sdb                                   8:16   0 931.5G  0 disk  
└─sdb1                                8:17   0 931.5G  0 part  
  └─md2                               9:2    0   1.8T  0 raid6 
    └─vg--raid_dev02-raid_data      253:2    0   1.8T  0 lvm   /mnt/raid_data
sdc                                   8:32   0 931.5G  0 disk  
└─sdc1                                8:33   0 931.5G  0 part  
  └─md2                               9:2    0   1.8T  0 raid6 
    └─vg--raid_dev02-raid_data      253:2    0   1.8T  0 lvm   /mnt/raid_data
sdd                                   8:48   0 931.5G  0 disk  
└─sdd1                                8:49   0 931.5G  0 part  
  └─md2                               9:2    0   1.8T  0 raid6 
    └─vg--raid_dev02-raid_data      253:2    0   1.8T  0 lvm   /mnt/raid_data
sde                                   8:64   0 931.5G  0 disk  
└─sde1                                8:65   0 931.5G  0 part  
  └─md2                               9:2    0   1.8T  0 raid6 
    └─vg--raid_dev02-raid_data      253:2    0   1.8T  0 lvm   /mnt/raid_data
sdf                                   8:80   0 931.5G  0 disk  
└─sdf1                                8:81   0 931.5G  0 part  
  └─md2                               9:2    0   1.8T  0 raid6 
    └─vg--raid_dev02-raid_data      253:2    0   1.8T  0 lvm   /mnt/raid_data
sdg                                   8:96   0  93.2G  0 disk  
├─sdg1                                8:97   0   476M  0 part  
│ └─md0                               9:0    0 475.7M  0 raid1 /boot
└─sdg2                                8:98   0  90.3G  0 part  
  └─md1                               9:1    0  90.3G  0 raid1 
    ├─vg--system-lv----system--root 253:0    0  23.3G  0 lvm   /
    ├─vg--system-lv----system--swap 253:1    0  59.6G  0 lvm   [SWAP]
    └─vg--system-lv----system--home 253:3    0   4.7G  0 lvm   /home
sdh                                   8:112  0  93.2G  0 disk  
├─sdh1                                8:113  0   476M  0 part  
│ └─md0                               9:0    0 475.7M  0 raid1 /boot
└─sdh2                                8:114  0  90.3G  0 part  
  └─md1                               9:1    0  90.3G  0 raid1 
    ├─vg--system-lv----system--root 253:0    0  23.3G  0 lvm   /
    ├─vg--system-lv----system--swap 253:1    0  59.6G  0 lvm   [SWAP]
    └─vg--system-lv----system--home 253:3    0   4.7G  0 lvm   /home
Vielen Dank für Hilfe!

Gruss
Zuletzt geändert von lod am 26.03.2016 15:48:39, insgesamt 1-mal geändert.

pepre
Beiträge: 83
Registriert: 30.06.2013 12:10:25

Re: mdadm reshape ohne Fortschritt

Beitrag von pepre » 25.03.2016 16:57:12

Was sagt denn top dazu? Wird das RAID6 angesprochen (blinken die HD-LEDs)?

Und was sagt:

Code: Alles auswählen

mdadm --detail /dev/md2
# und
dmesg

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: mdadm reshape ohne Fortschritt

Beitrag von r4pt0r » 25.03.2016 20:15:18

Beim reshape von RAID6 (und allen anderen Paritätsbasierten RAID-Leveln) muss der Inhalt der ersetzten Platte aus Daten + Partiätsinformationen aller anderen Platten komplett neu Berechnet werden (und IIRC auch Paritätsdaten auf allen anderen Platten neu geschrieben werden), das ist eben ziemlich aufwändig/umständlich und braucht auch erstmal ewig bis es wirklich "loslegt".
Das kann ggf auch mehrere Tage dauern be entsprechender Größe und schwacher Hardware. Faktoren sind CPU-Leistung (RAID6 ist vergleichsweise sehr CPU-intesiv!), RAM und Bandbreite der Platten und des Controllers.

Ganz grob kannst du mit "normaler" Hardware mit ca 3-4h/TB rechnen. Mit Last und/oder schwacher Hardware auch schnell das doppelte!

Die von dir gesetzten Limits sind zudem auch recht mikrig - die Werte sind in kb! Bei nichtmal 50MB/s dauert das ja noch länger.. Wenn das System keine kritischen Arbeitslasten bedienen muss die auf niedrige Latenzen angewiesen sind (Datenbanken, VMs), setz das speed_limit_max so hoch, dass die Hardware der begrenzende Faktor ist. Wenn die anderen Platten ähnlich altersschwach sind wie die, die bereits ausgefallen ist kann das aber zu weiteren Ausfällen führen - da musst du selber einschätzen was die noch verkraften...

Zudem profitiert jedes RAID-Level das auf Parität angewiesen ist _enorm_ von einem angemessenen Cache. Schraub den also schrittweise nach oben - der kann für den reshape ruhig auch 500MB oder größer sein. An der veränderung der rebuild-time siehst du ja ab wann er nicht mehr Cache benötigt/nutzen kann.

lod
Beiträge: 37
Registriert: 12.01.2010 09:21:55

Re: mdadm reshape ohne Fortschritt

Beitrag von lod » 26.03.2016 15:48:16

Hallo r4pt0r

Nachdem ich rund 8 Studnen auf 0% Fortschrit starrte, hab ich aufgegeben. Hab das RAID gelöscht, neu erstellt und Backup zurückgeladen. Danke aber trotzdem für den Hinweis mit dem Speed. Das werde ich das nächste Mal sicherlich ausreizen :D

Gruss

r4pt0r
Beiträge: 1237
Registriert: 30.04.2007 13:32:44
Lizenz eigener Beiträge: MIT Lizenz

Re: [gelöst] mdadm reshape ohne Fortschritt

Beitrag von r4pt0r » 26.03.2016 19:02:11

Wird überhaupt RAID6 benötigt? Man erkauft sich damit die Ausfallmöglichkeit von 2 Platten gleichzeitig durch stark verschlechterte bandbreite und I/O und deutlich größeren CPU-Overhead. Solange man also nicht absolut kritische Daten damit bereitstellt ist man i.d.R. mit anderen RAID-Levels besser dran und vor allem Flexibler.

Liegt ein LVM darüber kann man auch einfach mehrere RAID1 zusammenfassen - das ist _deutlich_ performanter, theoretisch kann aus jedem Mirror eine Platte ausfallen und man kann sehr einfach die Kapazität erhöhen.


Und auch wenns sicher wieder Gegenwind gibt :wink: - schau dir auch mal ZFS an. Hab damit ende letztes Jahr angefangen zu testen und seit Dezember läuft mein privater storageserver und ein backup-NAS mit ZoL. Für mich gibts eigentlich nix anderes mehr auf Systemen mit mehr als 2 Platten und/oder Daten die mir wichtig sind.

Antworten