SW-RAID5, dm-crypt, LVM und FS vergrößern

[pred]

Hallo,

Ich würde gerne ein Software RAID5 auf drei 1TB Festplatten anlegen, das verschlüsselt ist.
Wenn der Speicherplatz knapp wird, würde ich das RAID5 gerne mit einer weiteren 1TB Platte vergrößern können. Es soll es eine große Partition sein.

Ich hatte mich entschlossen, diese Reihenfolge von LVM und dm-crypt zu nehmen:

Code: Alles auswählen

/dev/sdb1 
          \
/dev/sdc1  -> RAID5 <-> verschl. Volumen <-> log. Volume <-> Filesystem
          /
/dev/sdd1 

Jetzt habe ich in einer Test-VM schon mal alles vorbereitet. Hier die Vorgehensweise: 34280 Funktioniert auch Super.
LVM wollte ich verwenden, um evtl noch nachträglich eine kleine weitere Partition anlegen zu können, mehr Flexibilität zu haben und einfach um LVM kennen zu lernen.
Außerdem wird es in vielen HowTos verwendet.

Nun hab ich eine weitere virtuelle Festplatte in die VM eingebunden und in das RAID aufgenommen und dieses vergrößert.
Anschließend wollte ich das verschlüsselte Volumen vergrößern. Also:

Code: Alles auswählen

sudo cryptsetup luksOpen /dev/md0 cryptraid5
sudo cryptsetup status cryptraid5
sudo cryptsetup resize cryptraid5
sudo cryptsetup status cryptraid5

Beide status liefern allerdings "size: 3142905 sectors". Dort hätte ich mit einem zuwach gerechnet.
Außerdem weiß ich nicht, wie das lvm reagiert, wenn ein PV (ein md0 z.b.) größer wird, wir dann automatisch die VG in das das PV drin ist auch größer? Und müsste ich dann nur lvextend ausführen?

Ist vielleicht die Reihenfolge RAID5 <-> verschl. Volumen <-> log. Volume nicht passend und es sollten verschl. Volumen und log. Volume vertauscht werden?

[Danielx]

Nun hab ich eine weitere virtuelle Festplatte in die VM eingebunden und in das RAID aufgenommen und dieses vergrößert.

Und das Vergrößern hat auch wirklich richtig funktioniert und die neue Platte wurde nicht nur als Spare hinzugefügt, siehe

Code: Alles auswählen

cat /proc/mdstat

Beide status liefern allerdings "size: 3142905 sectors". Dort hätte ich mit einem zuwach gerechnet.

Hast du einfach mal die Maschine neu gestartet, denn cryptsetup verwendet automatisch immer das komplette Device bzw. immer den maximalen Speicherplatz, der zum Zeitpunkt des Öffnens verfügbar war.

Außerdem weiß ich nicht, wie das lvm reagiert, wenn ein PV (ein md0 z.b.) größer wird, wir dann automatisch die VG in das das PV drin ist auch größer? Und müsste ich dann nur lvextend ausführen?

Das kannst du in deiner VM ja problemlos testen.

Ist vielleicht die Reihenfolge RAID5 <-> verschl. Volumen <-> log. Volume nicht passend und es sollten verschl. Volumen und log. Volume vertauscht werden?

Das passt schon so.

Gruß,
Daniel

[pred]

Hab nochmal neugestartet, hat aber nix gebracht.

Zuerst waren es drei Platten à 512MB, sde1 (auch 512MB) hab ich nachträglich hinzugefügt.

Code: Alles auswählen

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] 
md0 : active raid5 sdb1[0] sde1[3] sdd1[2] sdc1[1]
      1572480 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
      
unused devices: <none>

mdadm --detail /dev/md0 berichtet:

Code: Alles auswählen

/dev/md0:
        Version : 00.90.03
  Creation Time : Wed Feb  3 21:30:43 2010
     Raid Level : raid5
     Array Size : 1572480 (1535.88 MiB 1610.22 MB)
  Used Dev Size : 524160 (511.96 MiB 536.74 MB)
   Raid Devices : 4
  Total Devices : 4
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Sat Feb  6 00:16:53 2010
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : 2d4c2207:79a462d4:5beed8f2:9d38f414 (local to host jeos)
         Events : 0.384

    Number   Major   Minor   RaidDevice State
       0       8       17        0      active sync   /dev/sdb1
       1       8       33        1      active sync   /dev/sdc1
       2       8       49        2      active sync   /dev/sdd1
       3       8       65        3      active sync   /dev/sde1

cryptsetup status cryptraid5:

Code: Alles auswählen

/dev/mapper/cryptraid5 is active:
  cipher:  aes-xts-plain
  keysize: 256 bits
  device:  /dev/md0
  offset:  2056 sectors
  size:    3142904 sectors
  mode:    read/write

und mein pvdisplay:

Code: Alles auswählen

  --- Physical volume ---
  PV Name               /dev/mapper/cryptraid5
  VG Name               vg
  PV Size               1022,75 MB / not usable 2,75 MB
  Allocatable           yes (but full)
  PE Size (KByte)       4096
  Total PE              255
  Free PE               0
  Allocated PE          255
  PV UUID               Hc87G4-Sekm-7uM8-WHur-gmJ3-3h26-CG5uF3

Hab ich irgendnen schritt vergessen?

[Danielx]

Code: Alles auswählen

  offset:  2056 sectors
  size:    3142904 sectors

(3142904 + 2056) sectors * 512 bytes/sector = 1610219520 bytes
1610219520 Bytes = 1572480 kB

Stimmt also genau überein mit:

Code: Alles auswählen

     Array Size : 1572480 (1535.88 MiB 1610.22 MB)

Beide status liefern allerdings "size: 3142905 sectors". Dort hätte ich mit einem zuwach gerechnet.

Also sind die 3142905 Sektoren schon inkl. des Zuwachses!

Hab ich irgendnen schritt vergessen?

Also als nächstes das PV vergrößern:

Code: Alles auswählen

pvresize /dev/mapper/cryptraid5

Gruß,
Daniel

[pred]

Danke Daniel.

Ich hab nicht auf die Sektoren-Größen vom cryptsetup status ... geachtet. Das cryptsetup resize ... war dann also unnötig.

Jetzt folgen also:

Code: Alles auswählen

sudo pvresize /dev/mapper/cryptraid5
sudo lvextend -v -l +100%FREE /dev/vg/crypt
sudo vgchange -ay
sudo mount /dev/mapper/vg-crypt
sudo xfs_growfs /mnt/raid5/

Und siehe da, mehr Speicherplatz, supi!

Code: Alles auswählen

pr3d@jeos:~$ df -h /mnt/raid5/
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg-crypt  1,5G  105M  1,4G   7% /mnt/raid5

Für's genauere nachvollziehen hab ich hier nochmal die gesamte shell ausgabe: http://pastebin.com/f4dc2743a