KVM Host os-prober - end_request: I/O error, dev vda

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Antworten
slu
Beiträge: 2155
Registriert: 23.02.2005 23:58:47

KVM Host os-prober - end_request: I/O error, dev vda

Beitrag von slu » 13.10.2015 18:15:38

Hallo,

ich hab hier ein Debian 8 als KVM Host laufen, ab und an bleibt ein MySQL Server auf einem KVM Guest stehen, der Grund dürfte ganz klar das hier sein " end_request: I/O error, dev vda, sector 2959544":

Code: Alles auswählen

Oct 13 17:52:08 dms kernel: [1798193.819003] device-mapper: uevent: version 1.0.3
Oct 13 17:52:08 dms kernel: [1798193.819138] device-mapper: ioctl: 4.22.0-ioctl (2011-10-19) initialised: dm-devel@redhat.com
Oct 13 17:52:10 dms kernel: [1798195.658956] EFI Variables Facility v0.08 2004-May-17
Oct 13 17:52:10 dms kernel: [1798195.784813] SGI XFS with ACLs, security attributes, realtime, large block/inode numbers, no debug enabled
Oct 13 17:52:10 dms kernel: [1798195.785487] SGI XFS Quota Management subsystem
Oct 13 17:52:10 dms kernel: [1798195.787349] JFS: nTxBlock = 8192, nTxLock = 65536
Oct 13 17:52:10 dms kernel: [1798195.795158] NTFS driver 2.1.30 [Flags: R/W MODULE].
Oct 13 17:52:10 dms kernel: [1798195.801990] QNX4 filesystem 0.2.3 registered.
Oct 13 17:52:10 dms kernel: [1798195.833726] Btrfs loaded
Oct 13 17:52:10 dms kernel: [1798195.835700] fuse init (API version 7.17)
Oct 13 17:52:10 dms os-prober: debug: running /usr/lib/os-probes/50mounted-tests on /dev/vda2
Oct 13 17:52:10 dms 50mounted-tests: debug: /dev/vda2 type not recognised; skipping
Oct 13 17:52:10 dms os-prober: debug: os detected by /usr/lib/os-probes/50mounted-tests
Oct 13 17:52:10 dms os-prober: debug: /dev/vda5: is active swap
Oct 13 17:55:01 dms /USR/SBIN/CRON[29754]: (root) CMD (if [ -x /etc/munin/plugins/apt_all ]; then /etc/munin/plugins/apt_all update 7200 12 >/dev/null; elif [ -x /etc/munin/plugins/apt ]; then /etc/munin/plugins/apt update 7200 12 >/dev/null; fi)
Oct 13 17:57:45 dms kernel: [1798530.536401] end_request: I/O error, dev vda, sector 2959544
Oct 13 17:57:45 dms kernel: [1798530.540020] Buffer I/O error on device vda1, logical block 369687
Oct 13 17:57:45 dms kernel: [1798530.600181] EXT4-fs warning (device vda1): ext4_end_bio:250: I/O error -5 writing to inode 19926833 (offset 4288512 size 4096 starting block 369944)
Oct 13 17:57:45 dms mysqld: 151013 17:57:45  InnoDB: Error: the OS said file flush did not succeed
Oct 13 17:57:45 dms mysqld: 151013 17:57:45  InnoDB: Operating system error number 5 in a file operation.
Oct 13 17:57:45 dms mysqld: InnoDB: Error number 5 means 'Input/output error'.
Oct 13 17:57:45 dms mysqld: InnoDB: Some operating system error numbers are described at
Oct 13 17:57:45 dms mysqld: InnoDB: http://dev.mysql.com/doc/refman/5.5/en/operating-system-error-codes.html
Oct 13 17:57:45 dms mysqld: InnoDB: File operation call: 'flush'.
Oct 13 17:57:45 dms mysqld: InnoDB: Cannot continue operation.
Oct 13 17:57:45 dms mysqld_safe: Number of processes running now: 0
Oct 13 17:57:45 dms mysqld_safe: mysqld restarted
Die Systeme laufen beide weiter, auf dem Server ist zur selben Zeit das hier in der Logdatei zu finden:

Code: Alles auswählen

Oct 13 17:57:38 kvm1 kernel: [1799056.596416] SGI XFS with ACLs, security attributes, realtime, large block/inode numbers, no debug enabled
Oct 13 17:57:38 kvm1 kernel: [1799056.624161] JFS: nTxBlock = 8192, nTxLock = 65536
Oct 13 17:57:38 kvm1 kernel: [1799056.666114] ntfs: driver 2.1.30 [Flags: R/W MODULE].
Oct 13 17:57:38 kvm1 kernel: [1799056.714380] QNX4 filesystem 0.2.3 registered.
Oct 13 17:57:38 kvm1 kernel: [1799056.810936] raid6: sse2x1    7398 MB/s
Oct 13 17:57:38 kvm1 kernel: [1799056.878903] raid6: sse2x2    8644 MB/s
Oct 13 17:57:38 kvm1 kernel: [1799056.946919] raid6: sse2x4    9681 MB/s
Oct 13 17:57:38 kvm1 kernel: [1799056.946921] raid6: using algorithm sse2x4 (9681 MB/s)
Oct 13 17:57:38 kvm1 kernel: [1799056.946922] raid6: using ssse3x2 recovery algorithm
Oct 13 17:57:38 kvm1 kernel: [1799056.952948] xor: measuring software checksum speed
Oct 13 17:57:38 kvm1 kernel: [1799056.990972]    prefetch64-sse:  6682.000 MB/sec
Oct 13 17:57:38 kvm1 kernel: [1799057.030988]    generic_sse:  5862.000 MB/sec
Oct 13 17:57:38 kvm1 kernel: [1799057.030991] xor: using function: prefetch64-sse (6682.000 MB/sec)
Oct 13 17:57:38 kvm1 kernel: [1799057.109912] Btrfs loaded
Oct 13 17:57:38 kvm1 os-prober: debug: running /usr/lib/os-probes/50mounted-tests on /dev/sda1
Oct 13 17:57:38 kvm1 kernel: [1799057.526765] EXT4-fs (sda1): VFS: Can't find ext4 filesystem
Oct 13 17:57:38 kvm1 kernel: [1799057.528620] EXT4-fs (sda1): VFS: Can't find ext4 filesystem
Oct 13 17:57:38 kvm1 kernel: [1799057.530223] EXT4-fs (sda1): VFS: Can't find ext4 filesystem
Oct 13 17:57:38 kvm1 kernel: [1799057.536003] XFS (sda1): Invalid superblock magic number
Oct 13 17:57:38 kvm1 kernel: [1799057.539877] FAT-fs (sda1): utf8 is not a recommended IO charset for FAT filesystems, filesystem will be case sensitive!
Oct 13 17:57:38 kvm1 kernel: [1799057.540079] FAT-fs (sda1): invalid media value (0x7d)
Oct 13 17:57:38 kvm1 kernel: [1799057.540158] FAT-fs (sda1): Can't find a valid FAT filesystem
Oct 13 17:57:38 kvm1 kernel: [1799057.541557] FAT-fs (sda1): utf8 is not a recommended IO charset for FAT filesystems, filesystem will be case sensitive!
Oct 13 17:57:38 kvm1 kernel: [1799057.541730] FAT-fs (sda1): invalid media value (0x7d)
Oct 13 17:57:38 kvm1 kernel: [1799057.541809] FAT-fs (sda1): Can't find a valid FAT filesystem
Oct 13 17:57:39 kvm1 kernel: [1799057.546292] VFS: Can't find a Minix filesystem V1 | V2 | V3 on device sda1.
Oct 13 17:57:39 kvm1 kernel: [1799057.558299] hfsplus: unable to find HFS+ superblock
Oct 13 17:57:39 kvm1 kernel: [1799057.560225] qnx4: no qnx4 filesystem (no root dir).
Oct 13 17:57:39 kvm1 kernel: [1799057.562089] You didn't specify the type of your ufs filesystem
Oct 13 17:57:39 kvm1 kernel: [1799057.562089] 
Oct 13 17:57:39 kvm1 kernel: [1799057.562089] mount -t ufs -o ufstype=sun|sunx86|44bsd|ufs2|5xbsd|old|hp|nextstep|nextstep-cd|openstep ...
Oct 13 17:57:39 kvm1 kernel: [1799057.562089] 
Oct 13 17:57:39 kvm1 kernel: [1799057.562089] >>>WARNING<<< Wrong ufstype may corrupt your filesystem, default is ufstype=old
Oct 13 17:57:39 kvm1 kernel: [1799057.562487] ufs_read_super: bad magic number
Oct 13 17:57:39 kvm1 kernel: [1799057.589505] hfs: can't find a HFS filesystem on dev sda1
Oct 13 17:57:39 kvm1 os-prober: debug: /dev/sda3: is active swap
Oct 13 17:57:39 kvm1 os-prober: debug: running /usr/lib/os-probes/50mounted-tests on /dev/sda4
Was genau ist der os-prober und warum wird der ausgeführt?

Auf dem KVM Host:

Code: Alles auswählen

08:00.0 RAID bus controller: Adaptec Series 6 - 6G SAS/PCIe 2 (rev 01

Code: Alles auswählen

root@kvm1:~# fdisk -l

Disk /dev/sda: 3,7 TiB, 3998614552576 bytes, 7809794048 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 61D98504-D643-4F55-90EC-3DFAADA3847E

Device          Start        End    Sectors   Size Type
/dev/sda1          34       1987       1954   977K BIOS boot
/dev/sda2        1988  390626988  390625001 186,3G EFI System
/dev/sda3  7494136754 7809794014  315657261 150,5G Linux swap
/dev/sda4   390627328 1926627327 1536000000 732,4G Microsoft basic data
/dev/sda5  1926627328 3257827327 1331200000 634,8G Microsoft basic data
/dev/sda6  3257827328 4998627327 1740800000 830,1G Microsoft basic data
/dev/sda7  4998627328 6041749503 1043122176 497,4G Microsoft basic data
/dev/sda8  6041749504 7494135807 1452386304 692,6G Microsoft basic data

Partition table entries are not in disk order.
root@kvm1:~#
sda4 - sda8 sind Partitionen von KVM Guests.
Gruß
slu

Das Server Reinheitsgebot:
Debian Bookworm, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER
Nach oben
slu
Beiträge: 2155
Registriert: 23.02.2005 23:58:47

Re: KVM Host os-prober - end_request: I/O error, dev vda

Beitrag von slu » 14.10.2015 12:20:14

Also der os-prober kam durch das Kernel Update.
Evtl. liegt bei der Hardware auch ein Fehler vor, ich tausche dann mal Festplatten... :roll:

Code: Alles auswählen

            physicaldrivestats                   
                                                                 
               Channel.......................................... 0
               Device ID........................................ 5
               Hardware errors.................................. 0
               Medium errors.................................... 5
               Parity errors.................................... 0
               Link failures.................................... 0
               Aborted commands................................. 0
               SMART errors..................................... 0
Gruß
slu

Das Server Reinheitsgebot:
Debian Bookworm, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER
Nach oben
slu
Beiträge: 2155
Registriert: 23.02.2005 23:58:47

Re: KVM Host os-prober - end_request: I/O error, dev vda

Beitrag von slu » 10.11.2015 14:08:55

Ich denke es liegt am os-prober, das kann kein Zufall sein:

Kernel Update auf dem KVM Host:

Code: Alles auswählen

Nov 10 11:15:48 kvm1 os-prober: debug: running /usr/lib/os-probes/50mounted-tests on /dev/sda1
Nov 10 11:15:48 kvm1 kernel: [4198419.740817] EXT4-fs (sda1): VFS: Can't find ext4 filesystem
Nov 10 11:15:48 kvm1 kernel: [4198419.742209] EXT4-fs (sda1): VFS: Can't find ext4 filesystem
Nov 10 11:15:48 kvm1 kernel: [4198419.743526] EXT4-fs (sda1): VFS: Can't find ext4 filesystem
Nov 10 11:15:48 kvm1 kernel: [4198419.758466] XFS (sda1): Invalid superblock magic number
Nov 10 11:15:48 kvm1 kernel: [4198419.761150] FAT-fs (sda1): utf8 is not a recommended IO charset for FAT filesystems, filesystem will be case sensitive!
Nov 10 11:15:48 kvm1 kernel: [4198419.761329] FAT-fs (sda1): invalid media value (0x7d)
Zu diesem Zeitpunkt auf dem KVM Guest:

Code: Alles auswählen

Nov 10 11:15:52 dms kernel: [258411.772643] end_request: I/O error, dev vda, sector 2936832
Nov 10 11:15:52 dms kernel: [258411.776634] Buffer I/O error on device vda1, logical block 366848
Nov 10 11:15:52 dms kernel: [258411.776634] Buffer I/O error on device vda1, logical block 366849
Nov 10 11:15:52 dms kernel: [258411.776634] Buffer I/O error on device vda1, logical block 366850
Nov 10 11:15:52 dms kernel: [258411.776634] Buffer I/O error on device vda1, logical block 366851
Nov 10 11:15:52 dms kernel: [258411.776634] Buffer I/O error on device vda1, logical block 366852
[...]
Nov 10 11:15:52 dms kernel: [258411.776634] EXT4-fs warning (device vda1): ext4_end_bio:250: I/O error -5 writing to inode 19926828 (offset 1048576 size 81920 starting block 367124)
Nov 10 11:15:52 dms mysqld: 151110 11:15:52  InnoDB: Error: the OS said file flush did not succeed
Nov 10 11:15:52 dms mysqld: 151110 11:15:52  InnoDB: Operating system error number 5 in a file operation.
Nov 10 11:15:52 dms mysqld: InnoDB: Error number 5 means 'Input/output error'.
Das kann kein Zufall mehr sein!
Ich hab jetzt mal den os-prober deinstalliert.
Gruß
slu

Das Server Reinheitsgebot:
Debian Bookworm, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER
Nach oben
rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: KVM Host os-prober - end_request: I/O error, dev vda

Beitrag von rendegast » 10.11.2015 19:19:30

Debianos-prober macht eigentlich nichts als bei einem 'update-grub' Blockdevices auf bekannte Bootstrukturen abzuklappern und entsprechende menuentry zu generieren.

Code: Alles auswählen

apt-get download os-prober
dpkg-deb -x os-prober*deb out.dir
/dev/sda2 1988 390626988 390625001 186,3G EFI System
/dev/sda3 7494136754 7809794014 315657261 150,5G Linux swap
Wer hat der hat, ich halte es ~ 330G für verschwendet.
/dev/sda1 34 1987 1954 977K BIOS boot
/dev/sda2 1988 390626988 390625001 186,3G EFI System
Sollte sda2 nicht eher vom Typ "Linux filesystem" sein
(falls es das Linx-System enthält)?
Obwohl das eher Überlegungen der klassischen Partitionierung msdos sind,
unter gpt könnte das wohl anders sein.
Ist "BIOS boot (4)" / "EFI System (1)" (gpt/fdisk) ~ "EFI (ef)" (msdos/fdisk)?
-------------------------------
EDIT Okay geklärt, "BIOS boot" scheint ein Plätzchen für grubs core.img.
Ich würde sda1/sda2/sda3 ->
sda1 BIOS boot
sda2 EFI system (10-100MB)
sda3 Linux filesystem (336GB, /, darin swap-file)
-------------------------------


Vielleicht

Code: Alles auswählen

blkid | sort -V
fdisk /dev/sd*


Da auf dem Server anders als auf einem Consumerrechner wohl keine (unterstützte) Einbindung anderer OS nötig sein dürfte,
sollte eine Deaktivierung/Deinstallation von os-prober die richtige Wahl sein.

Code: Alles auswählen

GRUB_DISABLE_OS_PROBER=true
Aber das ist keine Überlegung zum Problem.
Sollte os-probers Analyse der Blockdevices wirklich den Fehler hervorrufen,
schien es mir ein handfester Exploit/Bug der virtio-Systems.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
Nach oben
slu
Beiträge: 2155
Registriert: 23.02.2005 23:58:47

Re: KVM Host os-prober - end_request: I/O error, dev vda

Beitrag von slu » 10.11.2015 23:10:42

rendegast hat geschrieben:Sollte sda2 nicht eher vom Typ "Linux filesystem" sein
(falls es das Linx-System enthält)?
Obwohl das eher Überlegungen der klassischen Partitionierung msdos sind,
unter gpt könnte das wohl anders sein.
Ist "BIOS boot (4)" / "EFI System (1)" (gpt/fdisk) ~ "EFI (ef)" (msdos/fdisk)?
-------------------------------
EDIT Okay geklärt, "BIOS boot" scheint ein Plätzchen für grubs core.img.
Ich würde sda1/sda2/sda3 ->
sda1 BIOS boot
sda2 EFI system (10-100MB)
sda3 Linux filesystem (336GB, /, darin swap-file)
-------------------------------
Das hat der Debian Installer so angelegt, das System wurde ursprünglich mit Debian 6 installiert.
Dürfte aber nicht mein Problem sein :wink:




rendegast hat geschrieben: Da auf dem Server anders als auf einem Consumerrechner wohl keine (unterstützte) Einbindung anderer OS nötig sein dürfte,
sollte eine Deaktivierung/Deinstallation von os-prober die richtige Wahl sein.

Code: Alles auswählen

GRUB_DISABLE_OS_PROBER=true
Das hatte ich gar nicht gesehen, hab einfach das Debianos-prober Paket deinstalliert.

rendegast hat geschrieben: Aber das ist keine Überlegung zum Problem.
Sollte os-probers Analyse der Blockdevices wirklich den Fehler hervorrufen,
schien es mir ein handfester Exploit/Bug der virtio-Systems.
Meiner Meinung nach geht es in die Richtung, es ist immer bei einem Kernel Update passiert. Jetzt hab ich sehr gut den Zusammenhang auf dem Host und Guest erkannt.

Interessant ist das meistens nur der MySQL Server stirbt, der Rest lief einfach weiter.

Ob Debianqemu-guest-agent hilft, muss ich morgen mal schauen ob das installiert ist.
Gruß
slu

Das Server Reinheitsgebot:
Debian Bookworm, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER
Nach oben
slu
Beiträge: 2155
Registriert: 23.02.2005 23:58:47

Re: KVM Host os-prober - end_request: I/O error, dev vda

Beitrag von slu » 10.11.2015 23:19:24

rendegast hat geschrieben: Sollte os-probers Analyse der Blockdevices wirklich den Fehler hervorrufen,
schien es mir ein handfester Exploit/Bug der virtio-Systems.
Du lagst goldrichtig!
Debian Bugreport788062
Gruß
slu

Das Server Reinheitsgebot:
Debian Bookworm, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER
Nach oben
Antworten

Zurück zu „weitere Dienste“