verschwundene Dateien auf linear LVM2

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Antworten
rad1schen
Beiträge: 6
Registriert: 10.10.2014 12:08:23

verschwundene Dateien auf linear LVM2

Beitrag von rad1schen » 10.10.2014 12:28:57

Hallo liebe debianforum community!

Es ist mein erster Post und ich komme gleich mit einem Problem zu euch ^^

Also zu meiner story:

Ich betreibe einen Debian Datenserver mit Plex der meine ganze Filmsammlung (~9TB) im Haus streamt.
Letztens sah meine Schwester sich einen Film an und beschwerte sagte mir danach das eine Festplatte zwischendurch immer komsiche Geräusche machte.
Bevor ich das wusste hatte ich leider den Server schon abgedreht gehabt (ich hab die Geräusche nicht mehr gehört).
Nach dem nächsten Start merkte ich dann das von den ca 700 Filmen nur mehr 80 da waren; alle anderen waren verschwunden.
Sofort habe ich den Server abgedreht mich mit PartedMagic drangehängt und die Festplatten getestet. Laut den SMART Tests sind sie alle in Ordnung (?!?).
Das LVM hab ich auch durchgecheckt und es ist mMn in Ordnung. So sieht mein LVM aus:

Code: Alles auswählen

root@PartedMagic:~# lvm pvs
  PV         VG        Fmt  Attr PSize PFree
  /dev/sdb   Datengrab lvm2 a--  2.73t    0 
  /dev/sdc   Datengrab lvm2 a--  1.82t    0 
  /dev/sdd   Datengrab lvm2 a--  2.73t    0 
  /dev/sde   Datengrab lvm2 a--  3.64t    0 

Code: Alles auswählen

root@PartedMagic:~# lvm vgdisplay
  --- Volume group ---
  VG Name               Datengrab
  System ID             
  Format                lvm2
  Metadata Areas        4
  Metadata Sequence No  8
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                4
  Act PV                4
  VG Size               10.92 TiB
  PE Size               4.00 MiB
  Total PE              2861587
  Alloc PE / Size       2861587 / 10.92 TiB
  Free  PE / Size       0 / 0   
  VG UUID               Ni7asj-poRj-PEBH-9U5n-cpjt-mEF6-uHGIhI
Wenn es nicht am LVM liegen sollte, woran dann?
Versteckt sind die Dateien nicht. Falls ich sie gar nicht wiederfinde werde ich mal mit PhotoRec danach suchen, muss mir aber davor noch Speicher kaufen.

Bin für jeden Input dankbar :)

LG rad1schen


Edit: Screenshots entfernt und direkt Code-Schnippsl eingefügt :)
Zuletzt geändert von rad1schen am 19.10.2014 02:32:12, insgesamt 1-mal geändert.

DeletedUserReAsG

Re: verschwundene Dateien auf linear LVM2

Beitrag von DeletedUserReAsG » 10.10.2014 12:47:08

Tipp: wenn du die Textausgabe auch als Text hier reinstellst (in Code-Tags, damit die Formatierung erhalten bleibt), können’s eine Menge mehr Leute sehen und die Wahrscheinlichkeit, Hilfe zu erhalten, ist weit höher.

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: verschwundene Dateien auf linear LVM2

Beitrag von rendegast » 10.10.2014 17:56:51

rad1schen hat geschrieben: ... von den ca 700 Filmen nur mehr 80 da waren; alle anderen waren verschwunden.
(Mögliche Option während der Fehlersuche, lvm.conf:
read_only_volume_list = [ "...", "...", ... ]
)
Spiegelt sich der Datenverlust im Dateisystem wieder?

Code: Alles auswählen

dumpe2fs -h /dev/mapper/... | grep -i count -C2
(ext#-Dateisystem),
resp. gemountet in 'df -m'.


Laut den SMART Tests
'smartctl -a /dev/sdX'-Ausgabe?

Eine nach SMART fehlerfreie Platte muß nicht fehlerfrei sein.
Dummerweise können sich SMART-Attribute auch nach "fehlerfrei" ändern,
Bsp. einer Hitachi (die Partitionierung erfolgte nach der Datensicherung)

Code: Alles auswählen

# parted /dev/sdb p
Model: ATA Hitachi HUA72201 (scsi)
Disk /dev/sdb: 1000GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  133GB   133GB                primary
 2      133GB   266GB   133GB                primary
 3      266GB   399GB   133GB                primary
 4      399GB   533GB   133GB                primary
 5      533GB   666GB   133GB                primary
 6      666GB   799GB   133GB                primary
 7      799GB   932GB   133GB                primary
 8      932GB   1000GB  68.2GB               primary
9 UNC an unterschiedlichen Stellen (glücklicherweise waren nur einige Logs von lxc-Containern betroffen),
nach Lese/Scheib-Test der Platte (jeweils die obigen Partitionen) aber nur mehr 1 reallocated Sector/Event
(?, war so auch schon vor dem Crash),
Es bleibt nur in den error-Log und selftest-Log
(wobei die entsprechenden selftest bei regelmäßigem Ausführen ja aus der Liste verschwinden

Code: Alles auswählen

for i in $(seq 1 15); do smartctl /dev/sdb -t short ; sleep 60; done
Für das error-Log gäbe es vielleicht das Generieren unverfänglicher Fehler wie "Übertragung" statt UNC,
vielleicht durch Kabelabziehen?).
Ich könnte die Platte dann mit einem Fehlerblock bei ebay verscheuern. (mach ich aber nicht)
Leider tauscht Hitachi das Ding auch nicht um.








Nach obigem "Hack"

Code: Alles auswählen

# smartctl /dev/sdb -lselftest
smartctl 5.41 2011-06-09 r3365 [x86_64-linux-3.16-0.bpo.2-amd64] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     13349         -
# 2  Short offline       Completed without error       00%     13349         -
# 3  Short offline       Completed without error       00%     13349         -
# 4  Short offline       Completed without error       00%     13349         -
# 5  Short offline       Completed without error       00%     13349         -
# 6  Short offline       Completed without error       00%     13349         -
# 7  Short offline       Completed without error       00%     13349         -
# 8  Short offline       Completed without error       00%     13349         -
# 9  Short offline       Completed without error       00%     13349         -
#10  Short offline       Completed without error       00%     13349         -
#11  Short offline       Completed without error       00%     13349         -
#12  Short offline       Completed without error       00%     13349         -
#13  Short offline       Completed without error       00%     13349         -
#14  Short offline       Completed without error       00%     13349         -
#15  Short offline       Completed without error       00%     13348         -
#16  Short offline       Completed without error       00%     13348         -
#17  Short offline       Completed without error       00%     13327         -
#18  Short offline       Completed without error       00%     13279         -
#19  Extended offline    Completed without error       00%     13236         -
#20  Short offline       Aborted by host               90%     13219         -
#21  Short offline       Completed without error       00%     13201         -
Sieht wieder gut aus.
Datüber hinaus befindet sich am Ende keine Zeile
X of X failed self-tests are outdated by newer successful extended offline self-test #Y
mehr.
Das berücksichtigt also nur in der Liste aufgeführte fehlgeschlagene Tests.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

rad1schen
Beiträge: 6
Registriert: 10.10.2014 12:08:23

Re: verschwundene Dateien auf linear LVM2

Beitrag von rad1schen » 19.10.2014 02:29:58

Danke für die Antworten!

Leider war die Woche ziemlich stressig und ich bin nicht dazugekommen zu antworten.
Ich hatte Screenshots verwendet weil ich grade nicht Zugriff zu der Konsole hatte wie ich den Thread erstellte.

Anyway; Hier einmal die Ausgabe von dumpe2fs; ich bin leider unfähig diese sinnvoll zu interpretieren:

Code: Alles auswählen

root@PartedMagic:~# dumpe2fs -h /dev/dm-0 | grep -i count -C2
dumpe2fs 1.42.6 (21-Sep-2012)
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              732569600
Block count:              2930265088
Reserved block count:     146490288
Free blocks:              2683817376
Free inodes:              732436389
--
Last mount time:          Sat Oct 18 13:59:16 2014
Last write time:          Sat Oct 18 13:59:16 2014
Mount count:              16
Maximum mount count:      24
Last checked:             Mon Sep 22 15:03:40 2014
Check interval:           15552000 (6 months)
Die SMART Tests habe ich mit dem eingebauten grafischen SMART-Test-Tool von Parted Magic gemacht, hier allerdings die Ausgabe des Konsolenbefehls:

sdb 3TB:

Code: Alles auswählen

root@PartedMagic:~# smartctl -a /dev/sdb
smartctl 6.0 2012-10-10 r3643 [i686-linux-3.6.8-pmagic] (local build)
Copyright (C) 2002-12, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Red (AF)
Device Model:     WDC WD30EFRX-68AX9N0
Serial Number:    WD-WMC1T3165230
LU WWN Device Id: 5 0014ee 6adf774d9
Firmware Version: 80.00A80
User Capacity:    3,000,592,982,016 bytes [3.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Sun Oct 19 00:18:08 2014 UTC
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80)	Offline data collection activity
					was never started.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(38940) seconds.
Offline data collection
capabilities: 			 (0x7b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   2) minutes.
Extended self-test routine
recommended polling time: 	 ( 391) minutes.
Conveyance self-test routine
recommended polling time: 	 (   5) minutes.
SCT capabilities: 	       (0x70bd)	SCT Status supported.
					SCT Error Recovery Control supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   176   176   021    Pre-fail  Always       -       6158
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       444
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   094   094   000    Old_age   Always       -       4381
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       327
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       99
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       344
194 Temperature_Celsius     0x0022   115   106   000    Old_age   Always       -       35
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      4362         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
sdc 2TB:

Code: Alles auswählen

root@PartedMagic:~# smartctl -a /dev/sdc
smartctl 6.0 2012-10-10 r3643 [i686-linux-3.6.8-pmagic] (local build)
Copyright (C) 2002-12, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Red (AF)
Device Model:     WDC WD20EFRX-68AX9N0
Serial Number:    WD-WMC300586770
LU WWN Device Id: 5 0014ee 058ce3fe9
Firmware Version: 80.00A80
User Capacity:    2,000,398,934,016 bytes [2.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Sun Oct 19 00:19:11 2014 UTC
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80)	Offline data collection activity
					was never started.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(26940) seconds.
Offline data collection
capabilities: 			 (0x7b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   2) minutes.
Extended self-test routine
recommended polling time: 	 ( 272) minutes.
Conveyance self-test routine
recommended polling time: 	 (   5) minutes.
SCT capabilities: 	       (0x70bd)	SCT Status supported.
					SCT Error Recovery Control supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   171   171   021    Pre-fail  Always       -       4450
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       810
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   093   093   000    Old_age   Always       -       5379
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       394
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       164
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       645
194 Temperature_Celsius     0x0022   111   102   000    Old_age   Always       -       36
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      5360         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
sdd 3TB:

Code: Alles auswählen

root@PartedMagic:~# smartctl -a /dev/sdd
smartctl 6.0 2012-10-10 r3643 [i686-linux-3.6.8-pmagic] (local build)
Copyright (C) 2002-12, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Red (AF)
Device Model:     WDC WD30EFRX-68AX9N0
Serial Number:    WD-WCC1T0966633
LU WWN Device Id: 5 0014ee 25dd42a30
Firmware Version: 80.00A80
User Capacity:    3,000,592,982,016 bytes [3.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Sun Oct 19 00:20:29 2014 UTC
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80)	Offline data collection activity
					was never started.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(39120) seconds.
Offline data collection
capabilities: 			 (0x7b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   2) minutes.
Extended self-test routine
recommended polling time: 	 ( 393) minutes.
Conveyance self-test routine
recommended polling time: 	 (   5) minutes.
SCT capabilities: 	       (0x70bd)	SCT Status supported.
					SCT Error Recovery Control supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   174   174   021    Pre-fail  Always       -       6283
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       497
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   094   094   000    Old_age   Always       -       4522
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       213
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       36
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       460
194 Temperature_Celsius     0x0022   118   107   000    Old_age   Always       -       32
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      4504         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
sde 4TB:

Code: Alles auswählen

root@PartedMagic:~# smartctl -a /dev/sde
smartctl 6.0 2012-10-10 r3643 [i686-linux-3.6.8-pmagic] (local build)
Copyright (C) 2002-12, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     WDC WD40EFRX-68WT0N0
Serial Number:    WD-WCC4E0883944
LU WWN Device Id: 5 0014ee 209b92a7b
Firmware Version: 80.00A80
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Sun Oct 19 00:21:00 2014 UTC
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80)	Offline data collection activity
					was never started.
					Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0)	The previous self-test routine completed
					without error or no self-test has ever 
					been run.
Total time to complete Offline 
data collection: 		(53160) seconds.
Offline data collection
capabilities: 			 (0x7b) SMART execute Offline immediate.
					Auto Offline data collection on/off support.
					Suspend Offline collection upon new
					command.
					Offline surface scan supported.
					Self-test supported.
					Conveyance Self-test supported.
					Selective Self-test supported.
SMART capabilities:            (0x0003)	Saves SMART data before entering
					power-saving mode.
					Supports SMART auto save timer.
Error logging capability:        (0x01)	Error logging supported.
					General Purpose Logging supported.
Short self-test routine 
recommended polling time: 	 (   2) minutes.
Extended self-test routine
recommended polling time: 	 ( 532) minutes.
Conveyance self-test routine
recommended polling time: 	 (   5) minutes.
SCT capabilities: 	       (0x703d)	SCT Status supported.
					SCT Error Recovery Control supported.
					SCT Feature Control supported.
					SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   177   177   021    Pre-fail  Always       -       8133
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       201
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   100   253   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   099   099   000    Old_age   Always       -       1457
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       80
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       9
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       393
194 Temperature_Celsius     0x0022   119   109   000    Old_age   Always       -       33
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      1438         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
Ausgabe von parted; aber ich verstehe nicht was du mit UNC's meinst:

Code: Alles auswählen

root@PartedMagic:~# parted /dev/dm-0 p
Model: Linux device-mapper (linear) (dm)
Disk /dev/dm-0: 12.0TB
Sector size (logical/physical): 512B/4096B
Partition Table: loop
Disk Flags: 

Number  Start  End     Size    File system  Flags
 1      0.00B  12.0TB  12.0TB  ext4
Mich irritiert die Diskrepanz zwischen Logischer und Physischer Sektorengröße. Kann das ein Problem sein?

Das LVM.conf File ist übrigens seit seiner Erstellung im Juni unverändert.

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: verschwundene Dateien auf linear LVM2

Beitrag von rendegast » 19.10.2014 15:38:03

aber ich verstehe nicht was du mit UNC's meinst:
Insbesondere diese Kandidaten:

Code: Alles auswählen

  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
...
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
Sieht bis dato für die 4 Platten unverfänglich aus.
SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Short offline Completed without error 00% 5360
Mal die long-Test anstoßen

Code: Alles auswählen

for i in sdb sdc sdd sde; do
smartctl /dev/$i -t long
done
und die entsprechende Zeit (300 - 500 min) warten.
Das ist halt das Blöde bei den großen Platten,
ein voller Oberflächentest ('badblocks') für das "Dickschiff" dauert dann sogar 8x530=4.200 min.
-> daher separieren, sodaß diese Bereiche auch im laufenden Betrieb mal für ein vollwertiges 'badblocks -svw' freigeschaufelt werden können.
---------------------------------------------------------------------------------------------



root@PartedMagic:~# smartctl -a /dev/sdb
...
Sector Sizes: 512 bytes logical, 4096 bytes physical

Mich irritiert die Diskrepanz zwischen Logischer und Physischer Sektorengröße. Kann das ein Problem sein?
Du könntest das Dateisystem mit '-b 4096' anlegen.
Bei kleineren Platten gäbe es bei fdisk zwar auch einen Schalter '-b',
fdisk scheidet hier aber generell aus.
Ich würde mich da auf parted verlassen (welches wohl auch 1MB-aligned erstellt haben dürfte).
---------------------------------------------------------------------------------------------




Bei einem neu erstellten ext4 auf einem Image Deiner Größe sieht das so aus:
Block count: 2930265088
Reserved block count: 146513254
Free blocks: 2907136064
...
Journal size: 128M
Journal length: 32768
Ergibt eine anfängliche Belegung "Block-Free" von 90347 MB,
wohl Metadaten/Superblocks(?).
(Das dabei verwendete Image hat nach dieser Dateisystemerstellung aber gerade mal eine Größe von 217MB)
(Durch Vergleich mit verschiedenen Journal-Größen: Das Journal wird dabei mitgezählt,
schlägt aber gegen 90000MB kaum zu Buche.)
(Nebenbei, bei solcher Dateisystemgröße sollte IMO das Journal statt default 128MB mit 256MB angelegt werden)


Bei Dir
Inode count: 732569600
Block count: 2930265088
Reserved block count: 146490288
Free blocks: 2683817376
Free inodes: 732436389
(doppelt soviele Inodes?)
Belegung "Block-Free" sind 962686 MB.
Abzüglich zumindest obiger Metadaten ~ 870000 MB.
Entspricht das Deinem vorherigen Datenbestand?

Die Tools

Code: Alles auswählen

df -m
resp.
du -smc /gemountetes_lvm
sollten auch benutzten Speicherplatz in der Größenordnung ausgeben.

In /gemountetes_lvm/lost+found/ ist nichts hinterlegt?

Verschoben wurden die Dateien nicht? Sie sind wirklich weg?
Dann dürften nur noch forensische Tools helfen.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

rad1schen
Beiträge: 6
Registriert: 10.10.2014 12:08:23

Re: verschwundene Dateien auf linear LVM2

Beitrag von rad1schen » 19.10.2014 21:18:12

echt nett von dir rendegast das du mir da versuchst weiterzuhelfen :D

Also ich habe jetzt einmal die long Tests angestossen; werde mir die Ergebnisse morgen früh ansehen/posten.
--------------------

~870000 MB -> eine 0 mehr am Ende und es wäre genau das was mir fehlt (so ca 8TB+ein bissl was)
--------------------

Das lost+found war das allererste was ich gecheckt habe; leider leer..

Code: Alles auswählen

root@PartedMagic:~# df -m
Filesystem                      1M-blocks  Used Available Use% Mounted on
/dev/sda1                          115279 14568     94856  14% /media/sda1
/dev/sdf                             1906   285      1622  15% /media/PENDRIVE
/dev/mapper/Datengrab-Datengrab      1705     0      1705   0% /dev/mapper/Datengrab-Datengrab
sieht für mich komisch aus; ehrlichgesagt.
Liegt es vl daran das es vom partedMagic gemacht wurde das am USB gestartet ist?
sda1 ist übrigens die ssd die das debian oben hat

Code: Alles auswählen

root@PartedMagic:~# du -smc /dev/mapper/Datengrab-Datengrab 
0	/dev/mapper/Datengrab-Datengrab
0	total
auch komisch..

verschoben ist nix; also es wurden keine operationen auf dem server zu der Zeit gemacht wo das passiert ist (ausser halt ein film angesehen über plex)
ich werde auch versuchen logs für den betreffenden tag zu suchen; vl hilfts

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: verschwundene Dateien auf linear LVM2

Beitrag von rendegast » 19.10.2014 21:39:47

/dev/mapper/Datengrab-Datengrab 1705 0 1705 0% /dev/mapper/Datengrab-Datengrab
Aua.
Widerspricht eigentlich dem obigen 'df -h' EDIT 'dumpe2fs -h'
Mein Image:

Code: Alles auswählen

# df -m loop
Filesystem     1M-blocks  Used Available Use% Mounted on
/dev/loop10     11356031    31  10783667   1% /tmp/_usage/loop
Sicher, daß das richtige lvm gemountet ist?

Andernfalls dürfte das wirklich ein Fall für den Forensiker oder Backup-Restore sein.
Zuletzt geändert von rendegast am 20.10.2014 09:46:36, insgesamt 2-mal geändert.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

rad1schen
Beiträge: 6
Registriert: 10.10.2014 12:08:23

Re: verschwundene Dateien auf linear LVM2

Beitrag von rad1schen » 19.10.2014 23:27:45

ich hab oben kein df -h gemacht. df -h gibt aus:

Code: Alles auswählen

root@PartedMagic:~# df -h /dev/dm-0
Filesystem                       Size  Used Avail Use% Mounted on
/dev/mapper/Datengrab-Datengrab  1.7G     0  1.7G   0% /dev/mapper/Datengrab-Datengrab
was sehr wenig für eine 12 TB LVM ist ^^

wie gesagt die Daten sind nicht so wichtig. ein nice to have aber kein must have..
Deswegen gibts auch kein backup ;) was bei 12 TB auch nicht so ganz günstig wäre mit so 500€ vl xD

->Edit: muss dazusagen ich hab restarted zwischen den verschiedenen posts; vl hat das das ergebnis verändert

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: verschwundene Dateien auf linear LVM2

Beitrag von rendegast » 20.10.2014 09:51:26

rad1schen hat geschrieben: ich hab oben kein df -h gemacht.
Verschrieben, sollte 'dumpe2fs -h' heißen.
Danach enthält das device ja 12TB.

Aber was seltsam ist
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/Datengrab-Datengrab 1.7G 0 1.7G 0% /dev/mapper/Datengrab-Datengrab
/dev/mapper/Datengrab-Datengrab gemountet auf /dev/mapper/Datengrab-Datengrab ???
Sollte eher sowas sein
/dev/mapper/Datengrab-Datengrab gemountet auf /mnt/lvm/Datengrab.
Vielleicht liegt es daran?
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

rad1schen
Beiträge: 6
Registriert: 10.10.2014 12:08:23

Re: verschwundene Dateien auf linear LVM2

Beitrag von rad1schen » 20.10.2014 23:14:33

Ja, du hattest recht. Das war der automatische mount von partedmagic nachdem man im dateiexplorer auf die lvm doppelklickt.
Nach dem manuellen mounten auf /mnt sieht es so aus:

Code: Alles auswählen

root@PartedMagic:~# df -h
Filesystem                       Size  Used Avail Use% Mounted on
/dev/mapper/Datengrab-Datengrab  1.7G     0  1.7G   0% /dev/mapper/Datengrab-Datengrab
/dev/sdf                         1.9G  285M  1.6G  15% /media/PENDRIVE
/dev/mapper/Datengrab-Datengrab   11T  765G  9.5T   8% /mnt
root@PartedMagic:~# du -smc /mnt
^C
root@PartedMagic:~# df -m
Filesystem                      1M-blocks   Used Available Use% Mounted on
/dev/mapper/Datengrab-Datengrab      1705      0      1705   0% /dev/mapper/Datengrab-Datengrab
/dev/sdf                             1906    285      1622  15% /media/PENDRIVE
/dev/mapper/Datengrab-Datengrab  11266734 783073   9911434   8% /mnt
root@PartedMagic:~# du -smc /mnt
^C
bei "du -smc /mnt" kommt irgendwie nichts in vertretbarer Zeit?

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: verschwundene Dateien auf linear LVM2

Beitrag von rendegast » 21.10.2014 07:12:36

... der automatische mount von partedmagic nachdem man im dateiexplorer auf die lvm doppelklickt.
/dev/mapper/Datengrab-Datengrab 1705 0 1705 0% /dev/mapper/Datengrab-Datengrab
Da bin ich kein Kenner.
eventuell fehlt nur was bei der Zeilenausgabe,
was gibt 'mount' zu diesem Mount?

Code: Alles auswählen

ls -l /dev/mapper /dev/md*
/dev/mapper/Datengrab-Datengrab 11266734 783073 9911434 8% /mnt
paßt zumindest schonmal zum 'dumpe2fs', Dateiverlust verfifiziert.
bei "du -smc /mnt" kommt irgendwie nichts in vertretbarer Zeit?
Entweder viele hunderttausend Dateien, die 'du' erst summieren muß (crap-Reste auf dem vorhergehenden Dateiverlust?),
oder Zeichen für einen noch bestehenden Dateisystemfehler?
/var/log/fsck/ bezieht sich nur auf den letzten Start, aber vielleicht ein Hinweis?


------
Nebenbei habe ich bei mir für die ext4 die periodischen check wieder aktiviert,
verbunden mit einer stark an showfsck/AutoFsck (ubuntu) angelehnten Lösung für die Restarts.

(Wie lange dauert eigentlich ein Dateisystemcheck bei einem gefüllten 10TB-ext-Volume?)
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

rad1schen
Beiträge: 6
Registriert: 10.10.2014 12:08:23

Re: verschwundene Dateien auf linear LVM2

Beitrag von rad1schen » 21.10.2014 09:02:36

Code: Alles auswählen

root@PartedMagic:/mnt# ls -l /dev/mapper /dev/md*
ls: /dev/md*: No such file or directory
/dev/mapper:
total 0
lrwxrwxrwx    1 root     root             7 Oct 20 20:51 Datengrab-Datengrab -> ../dm-0
crw-------    1 root     root       10, 236 Oct 20 20:51 control
root@PartedMagic:/mnt# 
im fsck log steht:

Code: Alles auswählen

Log of fsck -C -R -A -a 
Sun Oct 19 20:16:50 2014

fsck from util-linux 2.20.1
Datengrab: recovering journal
Datengrab: clean, 133211/732569600 files, 246447712/2930265088 blocks

Sun Oct 19 20:16:51 2014
----------------
da ich ja schon öfter nach dem fehler restarted hatte..

ich lass das du -smc jetzt mal länger laufen.
EDIT: ist plötzlich ganz flott gegangen (2sek!):

Code: Alles auswählen

root@PartedMagic:/mnt# du -smc /mnt
782914	/mnt
782914	total
Wo finde ich eigentlich jetzt die SMART logs der long tests?
EDIT2: habe die Logs im grafischen SMART Tool von partedmagic angesehen. Alle extended self tests 100% completed without error. Komisch.

Antworten