Server rebootet willkürlich

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Antworten
getphp
Beiträge: 80
Registriert: 14.01.2006 15:23:28

Server rebootet willkürlich

Beitrag von getphp » 30.05.2016 12:24:03

Hallo zusammen,

mein Rootserver bootet "einfach" mal so und ich komme dem Problem nicht auf die Spur.
Heute schon 2 Neustarts .. um 7:33 Uhr und 9:47 Uhr. Ich habe die Logs durchgesehen und finde keinen Fehler, der das auslösen könnte. Beim zweiten Reboot war ich auf dem Server und hatte die Übertragung des Backups per rsync auf einen anderen Server gestartet.
Kann mir bitte jemand die Tomaten von den Augen nehmen?

Die einzige Warnung, die ich finden konnte, ist das hier. Da ich aber nicht ans Bios komme (Rootserver halt), werde ich da nicht viel machen können. Aber ich glaube auch nicht, dass das diese Meldung die Reboots auslöst. Oder doch?

Vor dem Reboot scheint er keine Logs mehr zu schreiben. tripwire meldet auch keine verdächtigen Änderungen.

Code: Alles auswählen

May 30 07:33:02 server04 kernel: [    0.424172] WARNING: at /build/linux-5VIh7j/linux-3.2.78/drivers/iommu/intr_remapping.c:558 enable_intr_remapping+0x71/0x266()
May 30 07:33:02 server04 kernel: [    0.449404] Hardware name: PowerEdge R630
May 30 07:33:02 server04 kernel: [    0.458321] Your BIOS is broken and requested that x2apic be disabled
May 30 07:33:02 server04 kernel: [    0.458322] This will leave your machine vulnerable to irq-injection attacks
May 30 07:33:02 server04 kernel: [    0.458323] Use 'intremap=no_x2apic_optout' to override BIOS request
May 30 07:33:02 server04 kernel: [    0.502323] Modules linked in:
May 30 07:33:02 server04 kernel: [    0.509214] Pid: 1, comm: swapper/0 Not tainted 3.2.0-4-amd64 #1 Debian 3.2.78-1

Hier also Logs und Befehlsausgaben:

Server ist ein Debian 7 mit dem Debian-Kernel 3.2 - Das Upgrade auf Debian 8 steht in 3 Wochen auf dem Plan.

Code: Alles auswählen

# uname -a
Linux server04 3.2.0-4-amd64 #1 SMP Debian 3.2.78-1 x86_64 GNU/Linux
Platz ist genug, Inodes sind auch ok:

Code: Alles auswählen

# df -h
Filesystem             Size  Used Avail Use% Mounted on
rootfs                 4.0G  299M  3.7G   8% /
udev                    10M     0   10M   0% /dev
tmpfs                  6.3G  208K  6.3G   1% /run
/dev/sda1              4.0G  299M  3.7G   8% /
tmpfs                  5.0M     0  5.0M   0% /run/lock
tmpfs                   13G     0   13G   0% /run/shm
/dev/mapper/vg00-usr   4.0G  910M  2.9G  24% /usr
/dev/mapper/vg00-var   103G  5.1G   93G   6% /var
/dev/mapper/vg00-home  103G   48G   50G  49% /home
/dev/mapper/hdd-data   989G  699G  240G  75% /data
none                    32G     0   32G   0% /tmp

Code: Alles auswählen

# df -i
Filesystem              Inodes  IUsed    IFree IUse% Mounted on
rootfs                  262944   7065   255879    3% /
udev                   8248824    345  8248479    1% /dev
tmpfs                  8250500    334  8250166    1% /run
/dev/sda1               262944   7065   255879    3% /
tmpfs                  8250500      5  8250495    1% /run/lock
tmpfs                  8250500      2  8250498    1% /run/shm
/dev/mapper/vg00-usr    262144  34813   227331   14% /usr
/dev/mapper/vg00-var   6815744  65167  6750577    1% /var
/dev/mapper/vg00-home  6815744 668094  6147650   10% /home
/dev/mapper/hdd-data  65798144  18264 65779880    1% /data
none                   8250500      8  8250492    1% /tmp
RAM sollte auch reichen:

Code: Alles auswählen

# free -m
             total       used       free     shared    buffers     cached
Mem:         64457       8851      55605          0        171       5391
-/+ buffers/cache:       3288      61168
Swap:         2055          0       2055
Zu den Festplatten kann ich grad nicht viel sagen - smartctl findet keine verwertbaren Infos.

Code: Alles auswählen

May 30 11:45:29 server04 smartd[52857]: smartd 5.41 2011-06-09 r3365 [x86_64-linux-3.2.0-4-amd64] (local build)
May 30 11:45:29 server04 smartd[52857]: Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net
May 30 11:45:29 server04 smartd[52857]: Opened configuration file /etc/smartd.conf
May 30 11:45:29 server04 smartd[52857]: Drive: DEVICESCAN, implied '-a' Directive on line 21 of file /etc/smartd.conf
May 30 11:45:29 server04 smartd[52857]: Configuration file /etc/smartd.conf was parsed, found DEVICESCAN, scanning devices
May 30 11:45:29 server04 smartd[52857]: Device: /dev/hdd, opened
May 30 11:45:29 server04 smartd[52857]: Device: /dev/hdd, not ATA, no IDENTIFY DEVICE Structure
May 30 11:45:29 server04 smartd[52857]: Unable to monitor any SMART enabled devices. Try debug (-d) option. Exiting...
Das syslog: NoPaste-Eintrag39336
/var/log/messages NoPaste-Eintrag39337
/var/log/kern.log NoPaste-Eintrag39338
/var/log/daemon.log NoPaste-Eintrag39339

Wer sieht das Problem?
Vielen Dank schon mal im Vorraus.
Gruss
getphp

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: Server rebootet willkürlich

Beitrag von rendegast » 03.06.2016 10:12:14

Irgendwas mit iommu/*apic geht da kaputt
May 30 07:33:02 server04 kernel: [ 0.413907] ------------[ cut here ]------------
May 30 07:33:02 server04 kernel: [ 0.424172] WARNING: at /build/linux-5VIh7j/linux-3.2.78/drivers/iommu/intr_remapping.c:558 enable_intr_remapping+0x71/0x266()
May 30 07:33:02 server04 kernel: [ 0.449404] Hardware name: PowerEdge R630
May 30 07:33:02 server04 kernel: [ 0.458321] Your BIOS is broken and requested that x2apic be disabled
May 30 07:33:02 server04 kernel: [ 0.458322] This will leave your machine vulnerable to irq-injection attacks
May 30 07:33:02 server04 kernel: [ 0.458323] Use 'intremap=no_x2apic_optout' to override BIOS request
May 30 07:33:02 server04 kernel: [ 0.502323] Modules linked in:
May 30 07:33:02 server04 kernel: [ 0.509214] Pid: 1, comm: swapper/0 Not tainted 3.2.0-4-amd64 #1 Debian 3.2.78-1
May 30 07:33:02 server04 kernel: [ 0.525612] Call Trace:
May 30 07:33:02 server04 kernel: [ 0.531085] [<ffffffff81046e31>] ? warn_slowpath_common+0x78/0x8c
May 30 07:33:02 server04 kernel: [ 0.544795] [<ffffffff81046edd>] ? warn_slowpath_fmt+0x45/0x4a
May 30 07:33:02 server04 kernel: [ 0.557932] [<ffffffff816dfd50>] ? enable_intr_remapping+0x71/0x266
May 30 07:33:02 server04 kernel: [ 0.572026] [<ffffffff816b7e38>] ? enable_IR_x2apic+0x7a/0x1d3
May 30 07:33:02 server04 kernel: [ 0.585162] [<ffffffff816b9b15>] ? default_setup_apic_routing+0xd/0x71
May 30 07:33:02 server04 kernel: [ 0.599831] [<ffffffff816b60f9>] ?
Ich würde mal den Zusatz zur commandline ausprobieren.

Intel® Xeon Processor E5-2630 v3 (8 Kerne, 16 Threads)
Dein irqbalance scheint schier auszurasten
(ich habe nur single/dual/quadcore, ist auf 4+-cores + wheezy vielleicht normal,
weiterhin betreibe ich jessie (+ kernel 4.x jessie-backports)


Du könntest versuchen
kernel 3.16 wheezy-backports (besseres apic-Management / iommu / bios-Behandlung)
Debianintel-microcode (wheezy-backports)
vielleicht hilft es ja.



Du benutzt beim ntp den default mit 4 Zeilen 'server ...pool.ntp.org'?,
eine dürfte reichen.



Beim smartd,
Die smartd.conf dann entsprechend abändern.
May 30 11:45:29 server04 smartd[52857]: Device: /dev/hdd, opened
May 30 11:45:29 server04 smartd[52857]: Device: /dev/hdd, not ATA, no IDENTIFY DEVICE Structure
hdd? Nach syslog hast Du sda / sdb.

Code: Alles auswählen

blkid | sort -V
Eventuell veraltete Optionen in smartd.conf gesetzt?
Allgemein,
falls smartd / smartctl auf ein device so keinen Zugriff auf ein device bekommen:
Per 'smartctl -a ...' versuchen, eine Ausgabe zu bekommen.
Optionen sind '-d ...' (siehe manpage) und '-T permissive' (gegebenenfalls mehrmals).
Entsprechend dann smartd.conf bearbeiten.



--------------------------------------------------
Ich hatte auf einem i5 einige unerklärliche Absturz-Reboots
(jessie, kernel 4.5 jessie-backports + microcode-intel).
Dessen init habe ich deshalb von systemd->sysv gestellt.
Ob es aber daran oder an
  • linux-image-4.5.0-0.bpo.1-amd64 (4.5.1-1~bpo8+1)
    ->
    linux-image-4.5.0-0.bpo.2-amd64 (4.5.3-2~bpo8+1)
    ->
    linux-image-4.5.0-0.bpo.2-amd64 (4.5.4-1~bpo8+1)
, daß ich mittlerweile wieder uptime 14 Tage habe?
Bin geneigt zu sagen, daß nicht die Hardware schuldig ist/war.
-------------
EDIT 20160627
Leider hat es mittlerweile (kernel 4.5.4, sysv) dann doch wieder einen grundlosen Reboot gegeben.
Also doch die Hardware statt "böser systemd"!?
Zuletzt geändert von rendegast am 27.06.2016 02:58:17, insgesamt 2-mal geändert.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

getphp
Beiträge: 80
Registriert: 14.01.2006 15:23:28

Re: Server rebootet willkürlich

Beitrag von getphp » 03.06.2016 13:16:09

Hallo rendegast,

vielen Dank für deinen Input.

An ein Kernel-Upgrade hatte ich auch schon mal gedacht. Da ich den Server beim Booten nicht beobachten oder Eingreifen kann, habe ich das bislang unterlassen. Wenn Probleme auftreten, bin ich auf den Hoster angewiesen. Derzeit überlege ich, das mit dem Upgrade auf Debian 8 zu machen, das bringt den 3.16 Kernel ja mit. Hm ...

Das mit ntp schaue ich mir an.

smartd ... Die Zeilen waren/sind das Ergebnis eines Devicescans. Damit bin ich jetzt weiter gekommen:

Code: Alles auswählen

smartctl -a -d megaraid,0 /dev/sda
Gruss
getphp

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: Server rebootet willkürlich

Beitrag von rendegast » 27.06.2016 02:53:28

rendegast hat geschrieben: Ich hatte auf einem i5 einige unerklärliche Absturz-Reboots
(jessie, kernel 4.5 jessie-backports + microcode-intel).
Dessen init habe ich deshalb von systemd->sysv gestellt.
Ob es aber daran oder an

linux-image-4.5.0-0.bpo.1-amd64 (4.5.1-1~bpo8+1)
->
linux-image-4.5.0-0.bpo.2-amd64 (4.5.3-2~bpo8+1)
->
linux-image-4.5.0-0.bpo.2-amd64 (4.5.4-1~bpo8+1)

, daß ich mittlerweile wieder uptime 14 Tage habe?
Bin geneigt zu sagen, daß nicht die Hardware schuldig ist/war.
Leider hat es mittlerweile (kernel 4.5.4, sysv) dann doch wieder einen grundlosen Reboot gegeben.
Also doch die Hardware statt "böser systemd"!?
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

getphp
Beiträge: 80
Registriert: 14.01.2006 15:23:28

Re: Server rebootet willkürlich

Beitrag von getphp » 28.06.2016 12:59:15

Ich hab leider auch noch keine neuen Erkenntnisse ...
Gruss
getphp

Antworten