BTRFS auf RAID5

[sebastian73]

Hallo zusammen,

ich habe durch widrige Umstände ein BTRFS auf einem Software RAID demoliert. Zu genaueren Geschichte gibt es einen Thread (https://forum.ubuntuusers.de/topic/raid ... rbloecken/), um es abzukürzen hier nur meine aktuelle Ausgangslage. Ich habe ein RAID5 aus 4 Platten (jeweils 5,5TB), die Reihenfolge ist großteils unbekannt, darauf sollte ein BTRFS zu finden sein, darin eine Image-Datei, die per iSCSI gemountet worden ist. Ich habe die 24 Permutationen durchgespielt und 6 Varianten gefunden, die ein entsprechendes BTRFS erkennen, leider sind alle nicht zu mounten. Ich habe dafür ein Programm gebastelt, das mir Overlays über die Platten legt, diese in der jeweiligen Reihenfolge zusammenhängt und anschließend auch gleich entsprechend testet (btrfsck, btrfs rescue, btrfs check, btrfs repair, ...) Ich habe jede Menge an Infos (zu viele zum wahllos hier ins Forum packen), bin aber leider ein wenig überfordert, normalerweise bin ich auf ext4 unterwegs und hatte noch nie irgendwelche Probleme damit, ein Filesystem zu reparieren ist was Neues für mich.

Bin für alle Tipps dankbar

Sebastian

[schorsch_76]

Der Thread lässt sich nur nicht lesen ohne Registrierung....

[sebastian73]

Hi Schorsch,

hier mal ohne Markierung: https ://for um.ubu ntuuse rs.de/to pic/rai d5-mit-fehlenden-superbloecken/ (mit Leerzeichen eingebaut), hat aber aus meiner Sicht nur bedingt Relevanz für die Frage

tia

Sebastian

[jph]

hier mal ohne Markierung: https ://for um.ubu ntuuse rs.de/to pic/rai d5-mit-fehlenden-superbloecken/ (mit Leerzeichen eingebaut), hat aber aus meiner Sicht nur bedingt Relevanz für die Frage

Du hast den Schorsch falsch verstanden: Der Beitrag im Ubuntu-Forum lässt sich nicht ohne Registrierung lesen. Die mutwillig massakrierte URL ändert nichts daran.

Wie wär’s, wenn du alle benötigten Infos einfach hier postest?

[sebastian73]

Hallo,

ok, mir war nicht klar, dass das komplette Forum dort nur mit Registrierung funktioniert, ich dachte, dass die Links hier nur angemeldet funktionieren.

Hier also das Zitat vom anderen Forum bzw. zum dortigen Problem, das zwar vor dem hier genannten liegt und damit nur bedingt relevantes liefern kann, auf dieser Basis habe ich das RAID unterschiedlich zusammengesetzt.
Dort ging es also darum zu verstehen, wie ich erkennen kann, ob das RAID richtig gebaut wurde

tia

Sebastian

Hallo zusammen,

ich wollte bei einer Synology die Platten durch größere ersetzen. Dazu habe ich ähnlich wie die Türme von Hanoi die Daten hin und her geschoben und zu guter letzt die Platten getauscht und ein neues RAID5 erstellt. Danach hat sich herausgestellt, dass ich nicht alle Daten verschoben hatte und ich wieder an die Original-Daten ran muss (iSCSI-Target hatte ich übersehen).

Ich habe daher die 4x6TB Platten genommen, an einen Rechner angeschlossen und versuche nun das RAID wieder zusammenzusetzen. Offensichtlich ist aber etwas mit den Platten passiert, nur eine hat noch einen Superblock, der Informationen über das RAID enthält. Ich bin mir ziemlich sicher, dass in den anderen Partitionen noch die passenden Infos stehen, es fehlt nur jeweils der Superblock.

Kann mir jemand einen Tipp geben, wie ich das Array zusammensetzen kann um die Daten aus der LVM Partition zu kopieren?

Die Ausgaben stammen aktuell aus einem Debian Bullseye (war auf dem verwendeten Rechner bereits installiert), ich habe aber die gleichen Infos mit einem Ubuntu Live erhalten, daher hoffe ich, dass das keinen direkten Einfluss hat.

Testdisk habe ich versucht, allerdings scheint dort etwas mit der Partitionierung nicht richtig erkannt zu werden, das Programm beschwert sich, dass die Platte 5,5TB hat, die Partition aber angeblich die 16TB vom RAID, daher möchte ich ohne Assistenz dort nicht weitermachen.

lsblk (Array wären die 5,5TB Partitionen, es liegt bereits jeweils ein Overlay mit 100GB drüber, die jeweils beiden anderen Partitionen 1 und 2 sind zu klein)

Code: Alles auswählen

NAME     MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0      7:0    0  100G  0 loop
└─sdd3   254:0    0  5.5T  0 dm
loop1      7:1    0  100G  0 loop
└─sdc3   254:1    0  5.5T  0 dm
loop2      7:2    0  100G  0 loop
loop3      7:3    0  100G  0 loop
└─sda3   254:2    0  5.5T  0 dm
loop4      7:4    0  100G  0 loop
loop5      7:5    0  100G  0 loop
loop6      7:6    0  100G  0 loop
loop7      7:7    0  100G  0 loop
└─sde3   254:3    0  5.5T  0 dm
sda        8:0    0  5.5T  0 disk
├─sda1     8:1    0  2.4G  0 part
├─sda2     8:2    0    2G  0 part
└─sda3     8:3    0  5.5T  0 part
  └─sda3 254:2    0  5.5T  0 dm
sdb        8:16   1  2.7T  0 disk
├─sdb1     8:17   1    1M  0 part
├─sdb2     8:18   1  2.7T  0 part /
└─sdb3     8:19   1  975M  0 part [SWAP]
sdc        8:32   0  5.5T  0 disk
├─sdc1     8:33   0  2.4G  0 part
├─sdc2     8:34   0    2G  0 part
└─sdc3     8:35   0  5.5T  0 part
  └─sdc3 254:1    0  5.5T  0 dm
sdd        8:48   0  5.5T  0 disk
├─sdd1     8:49   0  2.4G  0 part
├─sdd2     8:50   0    2G  0 part
└─sdd3     8:51   0  5.5T  0 part
  └─sdd3 254:0    0  5.5T  0 dm
sde        8:64   0  5.5T  0 disk
├─sde1     8:65   0  2.4G  0 part
├─sde2     8:66   0    2G  0 part
└─sde3     8:67   0  5.5T  0 part
  └─sde3 254:3    0  5.5T  0 dm

mdadm --examine /dev/mapper/sd[acde]3

Code: Alles auswählen

mdadm: No md superblock detected on /dev/mapper/sda3.
mdadm: No md superblock detected on /dev/mapper/sdc3.
mdadm: No md superblock detected on /dev/mapper/sdd3.
/dev/mapper/sde3:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 2658551d:904c753e:a44fd3f3:7ce56e8c
           Name : NAS01:2
  Creation Time : Mon Jun  8 07:49:56 2020
     Raid Level : raid5
   Raid Devices : 4

 Avail Dev Size : 11711401120 (5584.43 GiB 5996.24 GB)
     Array Size : 17567101632 (16753.29 GiB 17988.71 GB)
  Used Dev Size : 11711401088 (5584.43 GiB 5996.24 GB)
    Data Offset : 2048 sectors
   Super Offset : 8 sectors
   Unused Space : before=1968 sectors, after=32 sectors
          State : clean
    Device UUID : aff571c5:f9dba027:db7f5ad8:6f96d7f4

    Update Time : Tue Feb 28 04:11:12 2023
       Checksum : f6126a39 - correct
         Events : 137

         Layout : left-symmetric
     Chunk Size : 64K

   Device Role : Active device 3
   Array State : AAAA ('A' == active, '.' == missing, 'R' == replacing)

mdadm.conf

Code: Alles auswählen

ARRAY /dev/md/2  metadata=1.2 UUID=2658551d:904c753e:a44fd3f3:7ce56e8c name=NAS01:2

[schorsch_76]

Hm... Hättest du ein Backup würdest du hier nicht fragen.... Du hast ein neues RAID angelegt... Hast du ein Backup das die Superblöcke enthält? Disklevel Backup?
Beim zerlegen des alten Raids wurden die Superblöcke gelöscht.... Muss ja dabei passieren.

Wenn die Daten wirklich wichtig sind, such dir ein Datenrettungsunternehmen.

[sebastian73]

Hi schorsch,

ich bin ja soweit, dass ein BTRFS erkannt wird, es lässt sich nur nicht mounten. Ich habe von den 24 möglichen Permutationen (ich habe alle Platten an allen Positionen durchgespielt, auch wenn die eine Platte noch eine Position enthält) 6 identifiziert, die ein entsprechendes Filesystem erkennen. Die Meldung je Variante unterscheiden sich aber, mal gibt es Probleme mit dem ChunkTree, mal mit dem ExtentTree, mal mehr, mal weniger Probleme mit den Leafs, in jedem Fall wird aber das Filesystem nicht gemountet.
Das meinte ich mit "es ist zuviel, um es unreflektiert zu posten", das wären die Ausgaben von allen 6 Varianten.

Man könnte sagen, ich suche nach einer Aussage darüber welche meiner 6 Varianten "rettbar" ist. Sollten sich die Daten nicht retten lassen, muss ich in den sauren Apfel beißen, aktuell habe ich aber noch Hoffnung, zumindest sind die Daten nicht zeitkritisch relevant. Idealerweise sowas wie "mach mal btrfs restore über alle Varianten, in den einzelnen Logs ist der Wert xy, der sagt aus, wo bessere Chancen bestehen"

tia

Sebastian

PS: Ich dachte, ich habe die Platten nur gezogen und durch die neuen ersetzt. Anscheinend habe ich doch noch was gelöscht