[SOLVED] RAID5 fail event without failure ?

Probleme mit Samba, NFS, FTP und Co.
Antworten
peter7
Beiträge: 37
Registriert: 04.10.2012 08:46:41
Lizenz eigener Beiträge: MIT Lizenz

[SOLVED] RAID5 fail event without failure ?

Beitrag von peter7 » 11.05.2016 09:58:04

Hallo Debian Forum,
ich nutze (seit einigen Monaten) ein software RAID5 (3 activ + 1spare) unter Debian 8 und hatte bisher keine Probleme damit.
Vor ein paar Tagen habe ich eine automatische Mail erhalten, dass ein 'fail event' (auf /dev/sda3) festgestellt wurde.
Daraufhin wurde die Ersatzplatte (wie erwartet) erfolgreich in das RAID integriert.

Code: Alles auswählen

    $ cat /proc/mdstat

    Personalities : [raid1] [raid6] [raid5] [raid4]
    md1 : active raid5 sda3[0](F) sdd3[4] sdc3[3] sdb3[1]
          7773733888 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [_UU]
          [>....................]  recovery =  1.0% (39912220/3886866944) finish=1941.7min speed=33018K/sec
          bitmap: 0/29 pages [0KB], 65536KB chunk

    md0 : active raid1 sda1[0] sdd1[5] sdc1[4] sdb1[1]
          19514368 blocks super 1.2 [4/4] [UUUU]
         
    unused devices: <none>
Im Syslog finde ich einige 'Read Errors' (siehe syslog unten).

Nachdem ich die 'defekte' Platte aus dem RAID entfernt habe (mdadm -r), habe ich die Platte mit smartctl getestet.
Erstaunlicherweise konnte ich aber auf der Platte keinen Fehler finden (siehe output unten).

Hat jemand eine Idee, was den Fehler im RAID verursacht haben könnte, wenn doch die Festplatte keinen Fehler zu haben scheint?

Viele Grüße,
Peter



Hier ist das syslog:

Code: Alles auswählen

    [May  2 14:09:54]
    ata1.00: exception Emask 0x0 SAct 0x60000 SErr 0x0 action 0x6
    ata1.00: edma_err_cause=00000084 pp_flags=00000003, dev error, EDMA self-disable
    ata1.00: failed command: READ FPDMA QUEUED
    ata1.00: cmd 60/00:88:08:25:29/04:00:a2:01:00/40 tag 17 ncq 524288 in
             res 41/40:00:af:26:29/00:00:a2:01:00/40 Emask 0x409 (media error) <F>
    ata1.00: status: { DRDY ERR }
    ata1.00: error: { UNC }
    ata1.00: failed command: READ FPDMA QUEUED
    ata1.00: cmd 60/00:90:08:29:29/04:00:a2:01:00/40 tag 18 ncq 524288 in
             res 41/40:94:08:29:29/40:00:a2:01:00/40 Emask 0x9 (media error)
    ata1.00: status: { DRDY ERR }
    ata1.00: error: { UNC }
    ata1: hard resetting link
    ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    ata1.00: configured for UDMA/133
    sd 0:0:0:0: [sda] Unhandled sense code
    sd 0:0:0:0: [sda] 
    Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
    sd 0:0:0:0: [sda] 
    Sense Key : Medium Error [current] [descriptor]
    Descriptor sense data with sense descriptors (in hex):
            72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 01
            a2 29 26 af
    sd 0:0:0:0: [sda] 
    Add. Sense: Unrecovered read error - auto reallocate failed
    sd 0:0:0:0: [sda] CDB:
    Read(16): 88 00 00 00 00 01 a2 29 25 08 00 00 04 00 00 00
    end_request: I/O error, dev sda, sector 7015573167
    sd 0:0:0:0: [sda] Unhandled sense code
    sd 0:0:0:0: [sda] 
    Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
    sd 0:0:0:0: [sda] 
    Sense Key : Medium Error [current] [descriptor]
    Descriptor sense data with sense descriptors (in hex):
            72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 01
            a2 29 29 08
    sd 0:0:0:0: [sda] 
    Add. Sense: Unrecovered read error - auto reallocate failed
    sd 0:0:0:0: [sda] CDB:
    Read(16): 88 00 00 00 00 01 a2 29 29 08 00 00 04 00 00 00
    end_request: I/O error, dev sda, sector 7015573768
    ata1: EH complete
    [May  2 14:09:55]

    ...

    [May  2 14:55:58]
    ata1.00: exception Emask 0x0 SAct 0x700 SErr 0x0 action 0x6
    ata1.00: edma_err_cause=00000084 pp_flags=00000003, dev error, EDMA self-disable
    ata1.00: failed command: READ FPDMA QUEUED
    ata1.00: cmd 60/00:40:08:4f:1a/04:00:aa:01:00/40 tag 8 ncq 524288 in
             res 41/40:00:08:52:1a/00:00:aa:01:00/40 Emask 0x409 (media error) <F>
    ata1.00: status: { DRDY ERR }
    ata1.00: error: { UNC }
    ata1.00: failed command: READ FPDMA QUEUED
    ata1.00: cmd 60/f8:48:08:53:1a/00:00:aa:01:00/40 tag 9 ncq 126976 in
             res 41/40:44:08:4f:1a/40:00:aa:01:00/40 Emask 0x9 (media error)
    ata1.00: status: { DRDY ERR }
    ata1.00: error: { UNC }
    ata1.00: failed command: READ FPDMA QUEUED
    ata1.00: cmd 60/08:50:00:54:1a/03:00:aa:01:00/40 tag 10 ncq 397312 in
             res 41/40:44:08:4f:1a/40:00:aa:01:00/40 Emask 0x9 (media error)
    ata1.00: status: { DRDY ERR }
    ata1.00: error: { UNC }
    ata1: hard resetting link
    ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    ata1.00: configured for UDMA/133
    sd 0:0:0:0: [sda] Unhandled sense code
    sd 0:0:0:0: [sda] 
    Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
    sd 0:0:0:0: [sda] 
    Sense Key : Medium Error [current] [descriptor]
    Descriptor sense data with sense descriptors (in hex):
            72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 01
            aa 1a 52 08
    sd 0:0:0:0: [sda] 
    Add. Sense: Unrecovered read error - auto reallocate failed
    sd 0:0:0:0: [sda] CDB:
    Read(16): 88 00 00 00 00 01 aa 1a 4f 08 00 00 04 00 00 00
    end_request: I/O error, dev sda, sector 7148818952
    sd 0:0:0:0: [sda] Unhandled sense code
    sd 0:0:0:0: [sda] 
    Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
    sd 0:0:0:0: [sda] 
    Sense Key : Medium Error [current] [descriptor]
    Descriptor sense data with sense descriptors (in hex):
            72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 01
            aa 1a 4f 08
    sd 0:0:0:0: [sda] 
    Add. Sense: Unrecovered read error - auto reallocate failed
    sd 0:0:0:0: [sda] CDB:
    Read(16): 88 00 00 00 00 01 aa 1a 53 08 00 00 00 f8 00 00
    end_request: I/O error, dev sda, sector 7148819208
    sd 0:0:0:0: [sda] Unhandled sense code
    sd 0:0:0:0: [sda] 
    Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
    sd 0:0:0:0: [sda] 
    Sense Key : Medium Error [current] [descriptor]
    Descriptor sense data with sense descriptors (in hex):
            72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 01
            aa 1a 4f 08
    sd 0:0:0:0: [sda] 
    Add. Sense: Unrecovered read error - auto reallocate failed
    sd 0:0:0:0: [sda] CDB:
    Read(16): 88 00 00 00 00 01 aa 1a 54 00 00 00 03 08 00 00
    end_request: I/O error, dev sda, sector 7148819456
    ata1: EH complete
    ata1.00: exception Emask 0x0 SAct 0x58000 SErr 0x0 action 0x6
    ata1.00: edma_err_cause=00000084 pp_flags=00000003, dev error, EDMA self-disable
    ata1.00: failed command: READ FPDMA QUEUED
    ata1.00: cmd 60/08:78:08:56:1a/01:00:aa:01:00/40 tag 15 ncq 135168 in
             res 41/40:00:08:56:1a/00:00:aa:01:00/40 Emask 0x409 (media error) <F>
    ata1.00: status: { DRDY ERR }
    ata1.00: error: { UNC }
    ata1.00: failed command: READ FPDMA QUEUED
    ata1.00: cmd 60/00:80:08:52:1a/04:00:aa:01:00/40 tag 16 ncq 524288 in
             res 41/40:94:00:c4:0e/40:00:00:00:00/40 Emask 0x9 (media error)
    ata1.00: status: { DRDY ERR }
    ata1.00: error: { UNC }
    ata1.00: failed command: READ FPDMA QUEUED
    ata1.00: cmd 60/10:90:00:c4:0e/00:00:00:00:00/40 tag 18 ncq 8192 in
             res 41/40:94:00:c4:0e/40:00:00:00:00/40 Emask 0x9 (media error)
    ata1.00: status: { DRDY ERR }
    ata1.00: error: { UNC }
    ata1: hard resetting link
    ata1: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
    ata1.00: configured for UDMA/133
    sd 0:0:0:0: [sda] Unhandled sense code
    sd 0:0:0:0: [sda] 
    Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
    sd 0:0:0:0: [sda] 
    Sense Key : Medium Error [current] [descriptor]
    Descriptor sense data with sense descriptors (in hex):
            72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 01
            aa 1a 56 08
    sd 0:0:0:0: [sda]
    Add. Sense: Unrecovered read error - auto reallocate failed
    sd 0:0:0:0: [sda] CDB:
    Read(16): 88 00 00 00 00 01 aa 1a 56 08 00 00 01 08 00 00
    end_request: I/O error, dev sda, sector 7148819976
    sd 0:0:0:0: [sda] Unhandled sense code
    sd 0:0:0:0: [sda] 
    Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
    sd 0:0:0:0: [sda] 
    Sense Key : Medium Error [current] [descriptor]
    Descriptor sense data with sense descriptors (in hex):
            72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 00
            00 0e c4 00
    sd 0:0:0:0: [sda] 
    Add. Sense: Unrecovered read error - auto reallocate failed
    sd 0:0:0:0: [sda] CDB:
    Read(16): 88 00 00 00 00 01 aa 1a 52 08 00 00 04 00 00 00
    end_request: I/O error, dev sda, sector 7148818952
    md/raid:md1: Too many read errors, failing device sda3.
    md/raid:md1: Disk failure on sda3, disabling device.
    md/raid:md1: Operation continuing on 2 devices.
    md/raid:md1: read error not correctable (sector 7108779016 on sda3).
    md/raid:md1: read error not correctable (sector 7108779024 on sda3).
    md/raid:md1: read error not correctable (sector 7108779032 on sda3).
    md/raid:md1: read error not correctable (sector 7108779040 on sda3).
    md/raid:md1: read error not correctable (sector 7108779048 on sda3).
    md/raid:md1: read error not correctable (sector 7108779056 on sda3).
    md/raid:md1: read error not correctable (sector 7108779064 on sda3).
    md/raid:md1: read error not correctable (sector 7108779072 on sda3).
    md/raid:md1: read error not correctable (sector 7108779080 on sda3).
    md/raid:md1: read error not correctable (sector 7108779088 on sda3).
    sd 0:0:0:0: [sda] Unhandled sense code
    sd 0:0:0:0: [sda] 
    Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
    sd 0:0:0:0: [sda] 
    Sense Key : Medium Error [current] [descriptor]
    Descriptor sense data with sense descriptors (in hex):
            72 03 11 04 00 00 00 0c 00 0a 80 00 00 00 00 00
            00 0e c4 00
    sd 0:0:0:0: [sda] 
    Add. Sense: Unrecovered read error - auto reallocate failed
    sd 0:0:0:0: [sda] CDB:
    Read(16): 88 00 00 00 00 00 00 0e c4 00 00 00 00 10 00 00
    end_request: I/O error, dev sda, sector 967680
    md/raid1:md0: sda1: rescheduling sector 932864
    ata1: EH complete
    md/raid1:md0: redirecting sector 932864 to other mirror: sda1
    md: md1: data-check interrupted.
    RAID conf printout:
     --- level:5 rd:3 wd:2
     disk 0, o:0, dev:sda3
     disk 1, o:1, dev:sdb3
     disk 2, o:1, dev:sdc3
    RAID conf printout:
     --- level:5 rd:3 wd:2
     disk 1, o:1, dev:sdb3
     disk 2, o:1, dev:sdc3
    RAID conf printout:
     --- level:5 rd:3 wd:2
     disk 0, o:1, dev:sdd3
     disk 1, o:1, dev:sdb3
     disk 2, o:1, dev:sdc3
    md: recovery of RAID array md1
    md: minimum _guaranteed_  speed: 1000 KB/sec/disk.
    md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
    md: using 128k window, over a total of 3886866944k.
    [May  2 14:56:07]
... und hier ist der Output von smartctl:

Code: Alles auswählen

    # smartctl -a /dev/sda3

    smartctl 6.4 2014-10-07 r4002 [armv5tel-linux-3.16.0-4-kirkwood] (local build)
    Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

    === START OF INFORMATION SECTION ===
    Model Family:     Western Digital Red (AF)
    Device Model:     WDC WD40EFRX-68WT0N0
    Serial Number:    WD-WCC4ELZRJPFX
    LU WWN Device Id: 5 0014ee 2b536d2dc
    Firmware Version: 80.00A80
    User Capacity:    4,000,787,030,016 bytes [4.00 TB]
    Sector Sizes:     512 bytes logical, 4096 bytes physical
    Rotation Rate:    5400 rpm
    Device is:        In smartctl database [for details use: -P show]
    ATA Version is:   ACS-2 (minor revision not indicated)
    SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 3.0 Gb/s)
    Local Time is:    Wed May  4 12:23:46 2016 CEST
    SMART support is: Available - device has SMART capability.
    SMART support is: Enabled

    === START OF READ SMART DATA SECTION ===
    SMART overall-health self-assessment test result: PASSED

    General SMART Values:
    Offline data collection status:  (0x00)    Offline data collection activity
                        was never started.
                        Auto Offline Data Collection: Disabled.
    Self-test execution status:      (   0)    The previous self-test routine completed
                        without error or no self-test has ever
                        been run.
    Total time to complete Offline
    data collection:         (52560) seconds.
    Offline data collection
    capabilities:              (0x7b) SMART execute Offline immediate.
                        Auto Offline data collection on/off support.
                        Suspend Offline collection upon new
                        command.
                        Offline surface scan supported.
                        Self-test supported.
                        Conveyance Self-test supported.
                        Selective Self-test supported.
    SMART capabilities:            (0x0003)    Saves SMART data before entering
                        power-saving mode.
                        Supports SMART auto save timer.
    Error logging capability:        (0x01)    Error logging supported.
                        General Purpose Logging supported.
    Short self-test routine
    recommended polling time:      (   2) minutes.
    Extended self-test routine
    recommended polling time:      ( 526) minutes.
    Conveyance self-test routine
    recommended polling time:      (   5) minutes.
    SCT capabilities:            (0x703d)    SCT Status supported.
                        SCT Error Recovery Control supported.
                        SCT Feature Control supported.
                        SCT Data Table supported.

    SMART Attributes Data Structure revision number: 16
    Vendor Specific SMART Attributes with Thresholds:
    ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
      1 Raw_Read_Error_Rate     0x002f   200   200   051 Pre-fail  Always       -       618
      3 Spin_Up_Time            0x0027   253   175   021 Pre-fail  Always       -       2150
      4 Start_Stop_Count        0x0032   100   100   000 Old_age   Always       -       273
      5 Reallocated_Sector_Ct   0x0033   200   200   140 Pre-fail  Always       -       0
      7 Seek_Error_Rate         0x002e   200   200   000 Old_age   Always       -       0
      9 Power_On_Hours          0x0032   098   098   000 Old_age   Always       -       2042
     10 Spin_Retry_Count        0x0032   100   100   000 Old_age   Always       -       0
     11 Calibration_Retry_Count 0x0032   100   100   000 Old_age   Always       -       0
     12 Power_Cycle_Count       0x0032   100   100   000 Old_age   Always       -       239
    192 Power-Off_Retract_Count 0x0032   200   200   000 Old_age   Always       -       136
    193 Load_Cycle_Count        0x0032   200   200   000 Old_age   Always       -       449
    194 Temperature_Celsius     0x0022   122   107   000 Old_age   Always       -       30
    196 Reallocated_Event_Count 0x0032   200   200   000 Old_age   Always       -       0
    197 Current_Pending_Sector  0x0032   200   200   000 Old_age   Always       -       0
    198 Offline_Uncorrectable   0x0030   100   253   000 Old_age   Offline      -       0
    199 UDMA_CRC_Error_Count    0x0032   200   200   000 Old_age   Always       -       0
    200 Multi_Zone_Error_Rate   0x0008   100   253   000 Old_age   Offline      -       0

    SMART Error Log Version: 1
    No Errors Logged

    SMART Self-test log structure revision number 1
    No self-tests have been logged.  [To run self-tests, use: smartctl -t]

    SMART Selective self-test log data structure revision number 1
     SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
        1        0        0  Not_testing
        2        0        0  Not_testing
        3        0        0  Not_testing
        4        0        0  Not_testing
        5        0        0  Not_testing
    Selective self-test flags (0x0):
      After scanning selected spans, do NOT read-scan remainder of disk.
    If Selective self-test is pending on power-up, resume after 0 minute delay.


    # smartctl -H /dev/sda3
    smartctl 6.4 2014-10-07 r4002 [armv5tel-linux-3.16.0-4-kirkwood] (local build)
    Copyright (C) 2002-14, Bruce Allen, Christian Franke, www.smartmontools.org

    === START OF READ SMART DATA SECTION ===
    SMART overall-health self-assessment test result: PASSED
Zuletzt geändert von peter7 am 14.05.2016 07:50:07, insgesamt 1-mal geändert.

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID5 fail event without failure ?

Beitrag von rendegast » 11.05.2016 12:46:20

SMART Self-test log structure revision number 1
No self-tests have been logged. [To run self-tests, use: smartctl -t]
->

Code: Alles auswählen

smartctl /dev/sdX -t conveyance

Code: Alles auswählen

smartctl /dev/sdX -t short

Code: Alles auswählen

smartctl /dev/sdX -t long
( ~ 9 Stunden )
# smartctl -H ...
Halte ich für unnütz.
Selbst ganz kaputte Platten haben mir '-H' mit 'oK' quittiert.



Temperaturverlauf überwachen? (verschiedene Szenarien)
Attribut 194 beobachten, oder Verlauf '-l scttemp'.
/etc/smard.conf:
DEVICESCAN -W 8,40,44 ...
-> smartd macht Meldung bei 40 / 44 Grad.
50 Grad soll wohl auch akzeptabel sein, anfassen läßt sich das nicht mehr.
Zuletzt geändert von rendegast am 11.05.2016 13:21:01, insgesamt 1-mal geändert.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

NAB
Beiträge: 5501
Registriert: 06.03.2011 16:02:23
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID5 fail event without failure ?

Beitrag von NAB » 11.05.2016 13:16:59

hmmm ... ich seh nur Lesefehler ... und:
md: md1: data-check interrupted.
Sieht so aus, als ob es die Platte mitten im Integritätstest des Arrays rausgehauen hätte ... dabei steht der Controller gut unter Stress.

Ich würd die Platte mit "badblocks" einmal komplett vollschreiben und lesen und dann noch mal die Smartwerte angucken. Wenn dann nichts Auffälliges erscheint, würde ich sie einfach wieder nutzen und beobachten, ob sowas noch mal passiert.
Never change a broken system. It could be worse afterwards.

"No computer system can be absolutely secure." Intel Document Number: 336983-001

peter7
Beiträge: 37
Registriert: 04.10.2012 08:46:41
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID5 fail event without failure ?

Beitrag von peter7 » 11.05.2016 14:10:41

Vielen Dank für die Rückmeldungen - ich melde mich dann nochmal, wenn die Tests durchgelaufen sind.

Außerdem habe ich noch eine Vermutung zur Ursache.
Außerhalb des Gebäudes gab es Erdarbeiten inkl. Bodenverdichtung (mit Rüttler).
Könnte es sein, dass diese Vibrationen die Lese-Fehler verursacht haben?

Eigentlich dachte ich, dass die Festplatten mehrere g Beschleunigung aushalten ... - und meine Laptop-Festplatte hat bis jetzt auch so einiges ausgehalten ...

Grüße,
Peter

NAB
Beiträge: 5501
Registriert: 06.03.2011 16:02:23
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID5 fail event without failure ?

Beitrag von NAB » 11.05.2016 14:16:02

peter7 hat geschrieben:Könnte es sein, dass diese Vibrationen die Lese-Fehler verursacht haben?
Herrjeh, ja! Da reicht schon anschreien:
https://www.youtube.com/watch?v=tDacjrSCeq4
Never change a broken system. It could be worse afterwards.

"No computer system can be absolutely secure." Intel Document Number: 336983-001

peter7
Beiträge: 37
Registriert: 04.10.2012 08:46:41
Lizenz eigener Beiträge: MIT Lizenz

Re: RAID5 fail event without failure ?

Beitrag von peter7 » 12.05.2016 15:32:32

Vielen Dank für den Youtube-Link.
Ich werden in Zukunft jeden Bagger und Rüttler im Umkreis von 100 m stilllegen lassen ...
Grüße,
Peter

Antworten