Festplattenzuordnung bei RAID5

[vdvogt]

Hallo,
ich hatte mir vor langer Zeit einen PC mit 6 Festplatten zu je 3TB zusammengestellt.
Darauf laufen zwei RAID5: md0 System, md1 /home
Das md1 laeuft jetzt langsam voll und ich moechte die alten 3TB-Platten nach und nach durch groessere ersetzten, um das RAID5 zu erweitern.

Leider hatte ich seinerzeit nicht die Festplattenzuordnungen notiert, sodass ich heute mal mit verschiedenen Mitteln (lsblk, blkid, smartctl u. cat /proc/mdstat) nachgeforscht habe.

Ergebnis:

Code: Alles auswählen

SATA-Port: 0    /dev/sda
[0:0:0:0]   disk    SATA 3.0, 6.0 Gb/s     TOSHIBA DT01ACA300 ABB0      SN:Y4BVVBWGS    Device-Id: 5 000039 ff4e863b2
/dev/sda    3.000.592.982.016 bytes     3.00 TB     Sector Sizes:512 bytes logical, 4096 bytes physical     7200 rpm
PTUUID="9e40c2d4-6c06-43c2-9b46-9e46d62919be" PTTYPE="gpt"
dir: /sys/bus/scsi/devices/0:0:0:0      [/sys/devices/pci0000:00/0000:00:11.0/ata1/host0/target0:0:0/0:0:0:0]

SATA-Port: 1    /dev/sdc
[1:0:0:0]   disk    SATA 3.0, 6.0 Gb/s     TOSHIBA DT01ACA300 ABB0      SN:Y4BV1UHGS    Device-Id: 5 000039 ff4e8077f
/dev/sdc    3.000.592.982.016 bytes    3.00TB       Sector Sizes:512 bytes logical, 4096 bytes physical     7200 rpm
PTUUID="54d104e6-bca6-4a65-9377-2fdaee353459" PTTYPE="gpt"
dir: /sys/bus/scsi/devices/1:0:0:0      [/sys/devices/pci0000:00/0000:00:11.0/ata2/host1/target1:0:0/1:0:0:0]

SATA-Port: 2    /dev/sdb
[2:0:0:0]   disk    SATA 3.0, 6.0 Gb/s     TOSHIBA DT01ACA300 ABB0      SN:Z4N3A1DGS   Device-Id: 5 000039 ff4ebc955
/dev/sdb    3.000.592.982.016 bytes     3.00TB      Sector Sizes:512 bytes logical, 4096 bytes physical     7200 rpm
PTUUID="ed2a25a3-1571-4453-9725-4d6e69b23cae" PTTYPE="gpt"
dir: /sys/bus/scsi/devices/2:0:0:0      [/sys/devices/pci0000:00/0000:00:11.0/ata3/host2/target2:0:0/2:0:0:0]

SATA-Port: 3    /dev/sdd
[3:0:0:0]   disk    SATA 3.0, 6.0 Gb/s      TOSHIBA DT01ACA300 ABB0     SN:Z4N3G77GS    Device-Id: 5 000039 ff4ebd90e
/dev/sdd    3.000.592.982.016 bytes     3.00TB      Sector Sizes:512 bytes logical, 4096 bytes physical     7200 rpm
PTUUID="5906abe1-679b-41a4-899d-29145a6cb8e9" PTTYPE="gpt"
dir: /sys/bus/scsi/devices/3:0:0:0      [/sys/devices/pci0000:00/0000:00:11.0/ata4/host3/target3:0:0/3:0:0:0]

SATA-Port: 4    /dev/sde
[4:0:0:0]   disk    SATA 3.0, 6.0 Gb/s      TOSHIBA DT01ACA300 ABB0     SN:Z4N3DY1GS    Device-Id: 5 000039 ff4ebd430
/dev/sde    3.000.592.982.016 bytes     3.00TB      Sector Sizes:512 bytes logical, 4096 bytes physical     7200 rpm
PTUUID="8d1a14e0-408a-46f2-8319-b001aa3599ee" PTTYPE="gpt"
dir: /sys/bus/scsi/devices/4:0:0:0      [/sys/devices/pci0000:00/0000:00:11.0/ata5/host4/target4:0:0/4:0:0:0]

SATA-Port: 5    /dev/sdf
[5:0:0:0]   disk    SATA 3.0, 6.0 Gb/s     TOSHIBA DT01ACA300 ABB0      SN:94KJZP4GS    Device-Id: 5 000039 ff4e3e81f
/dev/sdf    3.000.592.982.016 bytes     3.00TB      Sector Sizes:512 bytes logical, 4096 bytes physical     7200 rpm
PTUUID="ace808ff-6059-49fd-acb7-0294f32b1547" PTTYPE="gpt"
dir: /sys/bus/scsi/devices/5:0:0:0      [/sys/devices/pci0000:00/0000:00:11.0/ata6/host5/target5:0:0/5:0:0:0]

Dabei musste ich feststellen, dass ich die Platten /dev/sdb und /dev/sdc vertauscht habe.
/dev/sda haengt an SATA-Port 0
/dev/sdb haengt an SATA-Port 2
/dev/sdc haengt an SATA-Port 1
/dev/sdd haengt an SATA-Port 3
/dev/sde haengt an SATA-Port 4
/dev/sdf haengt an SATA-Port 5

Kann das ein/e unabhaengige/r Sachverstaendige/r bestaetigen?

Kann ich diesen Fehler im Nachhinein korrigieren?
Wenn ja, wie mache ich das, ohne mir das RAID zu zerstoeren?

Ausserdem habe ich mir mal alle UUIDs ausgeben lassen:

Code: Alles auswählen

lsblk -o NAME,MAJ:MIN,HCTL,SIZE,TYPE,MOUNTPOINT,UUID,PTUUID,PTTYPE,PARTTYPE,PARTUUID
NAME    MAJ:MIN HCTL        SIZE TYPE  MOUNTPOINT UUID                                 PTUUID                               PTTYPE PARTTYPE                             PARTUUID
sda       8:0   0:0:0:0     2,7T disk                                                  9e40c2d4-6c06-43c2-9b46-9e46d62919be gpt                                         
├─sda1    8:1                94M part                                                  9e40c2d4-6c06-43c2-9b46-9e46d62919be gpt    21686148-6449-6e6f-744e-656564454649 feec4de7-7514-464a-8626-04e3f7a92408
├─sda2    8:2              14,9G part             f410434d-2103-d940-309e-1b0781f1a02f 9e40c2d4-6c06-43c2-9b46-9e46d62919be gpt    a19d880f-05fc-4d3b-a006-743f0f84911e 8293c6e3-cbf2-4f0c-b812-1504323a33c8
│ └─md0   9:0              74,5G raid5 /          ae756063-e305-44c4-9970-5fda88c34a63                                                                                  
├─sda3    8:3               1,9G part  [SWAP]     99daa950-d141-4512-a28a-5b6909242f3a 9e40c2d4-6c06-43c2-9b46-9e46d62919be gpt    0657fd6d-a4ab-43c4-84e5-0933c84b4f4f 7c44e5c8-3c92-4791-83ba-2a34db4b79e7
└─sda4    8:4               2,7T part             69e98484-ad8b-3e4a-0012-396ea33bf720 9e40c2d4-6c06-43c2-9b46-9e46d62919be gpt    a19d880f-05fc-4d3b-a006-743f0f84911e ea502e0a-95ac-4f1c-8ef0-cc8fbee46d78
  └─md1   9:1              13,6T raid5 /home      ba2934bf-6b14-4fbd-8e60-753e3698bd54                                                                                  

sdb       8:16  2:0:0:0     2,7T disk                                                  ed2a25a3-1571-4453-9725-4d6e69b23cae gpt                                         
├─sdb1    8:17               94M part                                                  ed2a25a3-1571-4453-9725-4d6e69b23cae gpt    21686148-6449-6e6f-744e-656564454649 7b4eec18-55af-4e33-8816-e960290d7f88
├─sdb2    8:18             14,9G part             f410434d-2103-d940-309e-1b0781f1a02f ed2a25a3-1571-4453-9725-4d6e69b23cae gpt    a19d880f-05fc-4d3b-a006-743f0f84911e cccefb07-4e0b-4616-9f31-879aac3b9874
│ └─md0   9:0              74,5G raid5 /          ae756063-e305-44c4-9970-5fda88c34a63                                                                                  
├─sdb3    8:19              1,9G part  [SWAP]     cffad948-8ff6-4be3-b079-ceecd6e30971 ed2a25a3-1571-4453-9725-4d6e69b23cae gpt    0657fd6d-a4ab-43c4-84e5-0933c84b4f4f 3f813b7f-3eec-453d-955d-ac0f1535c441
└─sdb4    8:20              2,7T part             69e98484-ad8b-3e4a-0012-396ea33bf720 ed2a25a3-1571-4453-9725-4d6e69b23cae gpt    a19d880f-05fc-4d3b-a006-743f0f84911e 83c7f380-307a-4218-9c62-4fa81444bc74
  └─md1   9:1              13,6T raid5 /home      ba2934bf-6b14-4fbd-8e60-753e3698bd54                                                                                  

sdc       8:32  1:0:0:0     2,7T disk                                                  54d104e6-bca6-4a65-9377-2fdaee353459 gpt                                         
├─sdc1    8:33               94M part                                                  54d104e6-bca6-4a65-9377-2fdaee353459 gpt    21686148-6449-6e6f-744e-656564454649 059bb9eb-52a3-417f-8bfb-fe6a8ca92c70
├─sdc2    8:34             14,9G part             f410434d-2103-d940-309e-1b0781f1a02f 54d104e6-bca6-4a65-9377-2fdaee353459 gpt    a19d880f-05fc-4d3b-a006-743f0f84911e b17ca0d7-529b-42a5-8e09-edc54e71c37d
│ └─md0   9:0              74,5G raid5 /          ae756063-e305-44c4-9970-5fda88c34a63                                                                                  
├─sdc3    8:35              1,9G part  [SWAP]     0492aaf3-b670-4146-a9da-9adc54c55c2c 54d104e6-bca6-4a65-9377-2fdaee353459 gpt    0657fd6d-a4ab-43c4-84e5-0933c84b4f4f 6c410643-97d1-4169-80df-f0b37c8ec10b
└─sdc4    8:36              2,7T part             69e98484-ad8b-3e4a-0012-396ea33bf720 54d104e6-bca6-4a65-9377-2fdaee353459 gpt    a19d880f-05fc-4d3b-a006-743f0f84911e 655ab434-00a3-4fcc-bf2d-e8ba9844e8ae
  └─md1   9:1              13,6T raid5 /home      ba2934bf-6b14-4fbd-8e60-753e3698bd54                                                                                  

sdd       8:48  3:0:0:0     2,7T disk                                                  5906abe1-679b-41a4-899d-29145a6cb8e9 gpt                                         
├─sdd1    8:49               94M part                                                  5906abe1-679b-41a4-899d-29145a6cb8e9 gpt    21686148-6449-6e6f-744e-656564454649 5b571093-af42-4494-9e41-746c8c93f2f7
├─sdd2    8:50             14,9G part             f410434d-2103-d940-309e-1b0781f1a02f 5906abe1-679b-41a4-899d-29145a6cb8e9 gpt    a19d880f-05fc-4d3b-a006-743f0f84911e a0625987-f782-4b1a-8bc8-1d3e09194151
│ └─md0   9:0              74,5G raid5 /          ae756063-e305-44c4-9970-5fda88c34a63                                                                                  
├─sdd3    8:51              1,9G part  [SWAP]     08f11ced-997e-42b1-ad1a-372bcdfa5365 5906abe1-679b-41a4-899d-29145a6cb8e9 gpt    0657fd6d-a4ab-43c4-84e5-0933c84b4f4f 2fb08593-a2b0-4808-b4c2-276ea0bf4212
└─sdd4    8:52              2,7T part             69e98484-ad8b-3e4a-0012-396ea33bf720 5906abe1-679b-41a4-899d-29145a6cb8e9 gpt    a19d880f-05fc-4d3b-a006-743f0f84911e c7a9e316-c8b4-4b13-8afd-cf5873ffad28
  └─md1   9:1              13,6T raid5 /home      ba2934bf-6b14-4fbd-8e60-753e3698bd54                                                                                  

sde       8:64  4:0:0:0     2,7T disk                                                  8d1a14e0-408a-46f2-8319-b001aa3599ee gpt                                         
├─sde1    8:65               94M part                                                  8d1a14e0-408a-46f2-8319-b001aa3599ee gpt    21686148-6449-6e6f-744e-656564454649 9ec2c7fa-6af9-4f3c-8e03-7dde6d0de8a2
├─sde2    8:66             14,9G part             f410434d-2103-d940-309e-1b0781f1a02f 8d1a14e0-408a-46f2-8319-b001aa3599ee gpt    a19d880f-05fc-4d3b-a006-743f0f84911e 28aa005e-ba96-46be-ad5f-49ffa0307484
│ └─md0   9:0              74,5G raid5 /          ae756063-e305-44c4-9970-5fda88c34a63                                                                                  
├─sde3    8:67              1,9G part  [SWAP]     9eeab9fa-2e31-48d9-b244-9999c716278e 8d1a14e0-408a-46f2-8319-b001aa3599ee gpt    0657fd6d-a4ab-43c4-84e5-0933c84b4f4f d9585105-153a-4f54-bc7b-0d08aad4a6e0
└─sde4    8:68              2,7T part             69e98484-ad8b-3e4a-0012-396ea33bf720 8d1a14e0-408a-46f2-8319-b001aa3599ee gpt    a19d880f-05fc-4d3b-a006-743f0f84911e 0b9a5a0e-72b6-4878-a361-e142e702dace
  └─md1   9:1              13,6T raid5 /home      ba2934bf-6b14-4fbd-8e60-753e3698bd54                                                                                  

sdf       8:80  5:0:0:0     2,7T disk                                                  ace808ff-6059-49fd-acb7-0294f32b1547 gpt                                         
├─sdf1    8:81               94M part             19a0fd03-70a2-49c8-b1cd-36fb1f3eb27b ace808ff-6059-49fd-acb7-0294f32b1547 gpt    21686148-6449-6e6f-744e-656564454649 9b58001f-b156-46ee-ad84-d9b7e7a409ba
├─sdf2    8:82             14,9G part             f410434d-2103-d940-309e-1b0781f1a02f ace808ff-6059-49fd-acb7-0294f32b1547 gpt    a19d880f-05fc-4d3b-a006-743f0f84911e 6d734e69-850a-4e7a-bcf0-dda8774e4ffb
│ └─md0   9:0              74,5G raid5 /          ae756063-e305-44c4-9970-5fda88c34a63                                                                                  
├─sdf3    8:83              1,9G part  [SWAP]     91cacccd-93f0-466d-952e-628cab168cf2 ace808ff-6059-49fd-acb7-0294f32b1547 gpt    0657fd6d-a4ab-43c4-84e5-0933c84b4f4f 915e0f16-50aa-4599-acc4-edd63f0fc5d6
└─sdf4    8:84              2,7T part             69e98484-ad8b-3e4a-0012-396ea33bf720 ace808ff-6059-49fd-acb7-0294f32b1547 gpt    a19d880f-05fc-4d3b-a006-743f0f84911e 7e74acd6-3ee4-493a-aa27-47cae98c5abc
  └─md1   9:1              13,6T raid5 /home      ba2934bf-6b14-4fbd-8e60-753e3698bd54

Welche UUIDs sind relevant?
Welche kann ich weglassen?

Was genau gibt cat /proc/mdstat aus?

Code: Alles auswählen

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]

md1 : active raid5 sde4[4] sda4[0] sdc4[2] sdb4[3] sdd4[1] sdf4[5]
	14562298880 blocks super 1.2 level 5, 512k chunk, algorithm 2 [6/6] [UUUUUU]
	bitmap: 2/22 pages [8KB], 65536KB chunk

md0 : active raid5 sdc2[1] sda2[0] sdd2[3] sdb2[2] sde2[4] sdf2[5]
	78085120 blocks super 1.2 level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]

unused devices: <none>

Warum sind hier die Festplatten durcheinander aufgelistet und was bedeuten die Zahlen in eckigen Klammern dahinter?

Letzte Frage:
Bei meinen Recherchen zum Thema bin ich darauf gestossen, dass es fuer die Performance bei RAID5 besser waere, eine ungerade Anzahl an Platten zu haben, also 5, statt 6.
Dann koennte ich die 6. als Spare einrichten.

Was meinen die Experten/innen dazu?

Viele Gruesse
Veit

[Livingston]

Dabei musste ich feststellen, dass ich die Platten /dev/sdb und /dev/sdc vertauscht habe.

Sowas kann immer mal vorkommen, da der Kernel eigene Vorstellungen davon hat, wie er die Konfiguration der SATA-Daten interpretiert. Deshalb benutzt man besser gleich UIDs und kann sich von den Zuordnungen /dev/sd* <-> SATA-Port freimachen.
Für mich wäre diese Zuordnung höchstens eine Geschmacksfrage.

Code: Alles auswählen

Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]

Diese Zeile gibt an, welche Raid-Varianten prinzipiell möglich sind.

Warum sind hier die Festplatten durcheinander aufgelistet und was bedeuten die Zahlen in eckigen Klammern dahinter?

Raid sortiert die einzelnen Partitionen für sich selbst und gibt das in den eckigen Klammern an. Weiß nicht, ob man darauf überhaupt Einfluss nehmen kann.

Bei meinen Recherchen zum Thema bin ich darauf gestossen, dass es fuer die Performance bei RAID5 besser waere, eine ungerade Anzahl an Platten zu haben, also 5, statt 6.
Dann koennte ich die 6. als Spare einrichten.

RAID 5 braucht immer mindestens 3 Partitionen: Vereinfacht heißt das 2 für die Daten, eine für die RAID-Metadaten. Tatsächlich ist es ein bisschen komplizierter, da die Metadaten über alle Partitionen verteilt sind, aber soweit redundant sind, dass der Ausfall einer Partition wieder ausgeglichen werden kann.
Eine Spare-Partition ist sowas wie eine stille Reserve: Falls eine reguläre Partition ausfällt, kannst Du die Spare schnell einbinden und die Zeit für die Rekonstruktion erheblich verkürzen. D.h. für eine Spare brauchst Du immer eine Platte mehr. Ein RAID 5 lässt sich also schon mit 4 Platten einrichten, zum einen die 3 oben genannten als Minimum und zusätzlich eine Spare. Natürlich geht das auch mit 6 Platten, also 5 + 1 Spare.
Was die gerade / ungerade Anzahl angeht: Viele Leute palavern darüber, ob gerade oder ungerade vorzuziehen ist; ich weiß aber nicht, ob das nicht eigentlich eine Schattendiskussion ist. Viel wichtiger sind Fragen von Alignment, Blockgrößen und ähnliches. Ein frisch aufgesetztes Buster kriegt sowas selbst bei der Installation hin, früher war da aber noch einiges an Hintergrundwissen nötig.

Hier noch ein paar schöne Links:
https://raid.wiki.kernel.org/index.php/A_guide_to_mdadm
https://raid.wiki.kernel.org/index.php/RAID_setup
https://ctaas.de/software-raid.htm

[vdvogt]

Hallo Livingston,
vielen Dank fuer deine Info!

Wenn ich deine Hinweise richtig deute, dann ist es egal, ob die Platten in der richtigen Reihenfolge eingebunden sind.

Die Links werde ich mir gleich mal ansehen.

Gruesse
Veit

[Livingston]

Mal was zum Erforschen, dass dürfte Deine letzte Frage beantworten.
Wenn Du einen Blick in /etc/mdadm/mdadm.conf wirfst, findest Du u.a. sowas:

Code: Alles auswählen

ARRAY /dev/md0 metadata=0.90 UUID=69c48855:aa40be88:9d4deba6:47ca997f
ARRAY /dev/md1 metadata=1.2 name=<RAIDNAME> UUID=60eca0df:6ab2f1f1:b01887ca:67446127

Hier sind UUIDs vergeben, in diesem Fall UUIDs für den jeweiligen Raidverbund.
Danach wirfst Du einen Blick auf eine der Partitionen (die hast Du ja schon ermittelt) aus dem fraglichen Raid:

Code: Alles auswählen

# mdadm --examine /dev/sda3
/dev/sda3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : 60eca0df:6ab2f1f1:b01887ca:67446127
           Name : <RAIDNAME>  (local to host <HOSTNAME>)
  Creation Time : Wed Dec  4 18:27:21 2019
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 942405632 (449.37 GiB 482.51 GB)
     Array Size : 1413608448 (1348.12 GiB 1447.54 GB)
    Data Offset : 264192 sectors
   Super Offset : 8 sectors
   Unused Space : before=264112 sectors, after=0 sectors
          State : clean
    Device UUID : 83d842f3:09d6ca58:45b15226:e950ac77

Internal Bitmap : 8 sectors from superblock
    Update Time : Thu Jan 30 23:05:15 2020
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 61538288 - correct
         Events : 2640

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)

Hier taucht die UUID (Zeile 4 der Ausgabe) wieder auf, etwas deutlicher als Array UID bezeichnet. D.h. bei der Erstellung des RAID vergibt mdadm einmal eindeutig die UID, pflanzt sie in die Konfigurationsdatei und in die Metadaten der Partitionen ein und übernimmt ab da die komplette Kontrolle über die Verwaltung. Da die Daten innerhalb des RAID auf spezielle Art und Weise geordnet sind, dürfte eine Umbenennung/Umstöpselung der Platten nach hinten losgehen. Ausprobiert habe ich sowas noch nicht, aber wenn Du viel zu viel Zeit und Lust hast, kannst Du das ja mal in einer virtuellen Kiste ausprobieren. Ein Test an einem lebenden System halte ich auf alle Fälle für saugefährlich.

[vdvogt]

Hallo Livingston,

vielen Dank fuer deine Infos!

Gruesse
Veit