Server plötzlich langsam, Login und Anwendungen

[obabirgameschda]

Hallo Leute,

vorab, ich bin kein Experte in Sachen Linux, habe mir den Server mit seinen Anwendungen durch Google und co selber aufgesetzt - und das lief bis heute seit 1 Jahr perfekt, regelmäßig mit apt-get Update und Upgrade.

Es läuft ein openvpn Server und noch eine Webanwendung.

Heute nach der Arbeit ging nichts mehr, ich habe mich versucht via putty versucht einzuloggen, timeout - über WINSCP, das gleiche. VPN ging nicht mehr und die Webanwendung war auch tot. Harter Neustart brachte keine Besserung. In der FritzBox wird der Igel angezeigt. Irgendwann dann kam ich doch mal zur Abfrage der Login Daten, nach Eingabe von Root dauerte es wieder eine Zeit bis die Abfrage des Passworts kam.

Nach erfolgreichen Login, ging auch VPN wieder und die Webanwendung lief auch wieder. Jedoch ging immer noch alles über putty langsam, apt-Update wahr nach 20 Minuten immer noch nicht fertig , "Warten auf Kopfzeilen".

Wisst ihr woran das liegen kann? Kann ich irgendwie nachsehen wo task offen sind oder welche Prozesse wie viel vom Speicher ziehen? Hatte einen Virus Verdacht und habe das Gerät erstmal vom Strom und Netz genommen.

Habe den baugleichen Server nochmal mit den selben Settings und Programmen - dort läuft alles normal. Wenn nichts hilft, werd ich das OS neuaufsetzen.

Für jeden Hinweis bin ich dankbar,

Danke

Erik

[heisenberg]

Ideen:

• Typischer Kanditat sind DNS-Anfragen. Mal checken ob die sauber und schnell aufgelöst werden
• Was sagt top so? Hohe Load-Werte? Erzeugen einzelne Prozesse viel CPU-Last?
• Hohe Load-Werte können auch ein Anzeichen auf z. B. Störungen mit der Festplatte(z. B. HD kurz vor dem sterben) sein. Wenn die zu langsam ist und deswegen die Ausführung von Programmen wesentlich länger dauert ist das eine Ursache für ein hohe Load.
• Was sagt iotop so? Ist viel Festplattenaktivität vorhanden?
• Der Klassiker unter den Kommandozeilenmonitoringtools ist ja vmstat, auch wenn ich das persönlich nicht gerne benutze, weil ich die Matrix nicht gerne uncodiert anschaue
• Normalerweise nutze ich unser Monitoringsystem zur Performanceanalyse. Wenn das nicht da ist, dann nehme ich auf Servern ohne GUI per Remote-SSH-X11-Forwarding ein gkrellm. Da hat man auch schon mal eine tolle Übersicht.
• Möglicherweise auch ein Brute-Force Angriff auf Deinen Webserver zum Knacken irgendwelcher Passwörter einer gehosteten Webseite. Sichtbar ggf. durch viele CGI-Prozesse/Last durch die Apache Prozesse, je nach System. Da könntest Du auch mal die access_logs prüfen, ob ungewöhnlich viele POST-Requests von einzelnen IPs kommen.

Script count_posts.sh:

Code: Alles auswählen

# get the count of POST-Request from given apache access_log file.
# to figure out if there is an abuse for spamming ...


if [ $# -lt 1 ]; then
        echo "Usage: $(basename $0): /path/to/apache_access_log_file"
        exit 1
fi

access_log=$1

grep "200" <$access_log | sed -re 's/^.*POST ([^ ]+) .*$/\1/' | sort | uniq -c | sort -k +1n | tail -n 5 | cut -c1-160

Sowas wäre dann zum Beispiel recht auffällig:

Code: Alles auswählen

      1 /wp-content/themes/modular/lib/scripts/dl-skin.php
      1 /wp-content/themes/myriad/lib/scripts/dl-skin.php
      1 /wp-content/themes/persuasion/lib/scripts/dl-skin.php
      2 192.168.3.4 - - [01/Jul/2015:19:36:48 +0200] "GET /feed/ HTTP/1.1" 200 1330 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Ge
   4987 /xmlrpc.php

[obabirgameschda]

Hallo und vielen Dank für deine Ideen,

hier der top log:

Code: Alles auswählen

oot@Igel2:~# top
top - 14:25:13 up  1:36,  1 user,  load average: 0,00, 0,01, 0,04
Tasks:  57 total,   1 running,  56 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0,0 us,  0,3 sy,  0,0 ni, 99,3 id,  0,0 wa,  0,0 hi,  0,3 si,  0,0 st
KiB Mem:    245264 total,    60980 used,   184284 free,    10548 buffers
KiB Swap:   211964 total,        0 used,   211964 free,    27088 cached

  PID USER      PR  NI  VIRT  RES  SHR S  %CPU %MEM    TIME+  COMMAND
 2376 root      20   0  4512 1292  980 R   0,3  0,5   0:00.05 top
    1 root      20   0  2284  716  616 S   0,0  0,3   0:01.82 init
    2 root      20   0     0    0    0 S   0,0  0,0   0:00.00 kthreadd
    3 root      20   0     0    0    0 S   0,0  0,0   0:00.16 ksoftirqd/0
    5 root      20   0     0    0    0 S   0,0  0,0   0:00.00 kworker/u:0
    6 root      rt   0     0    0    0 S   0,0  0,0   0:00.00 migration/0
    7 root      rt   0     0    0    0 S   0,0  0,0   0:00.05 watchdog/0
    8 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 cpuset
    9 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 khelper
   10 root      20   0     0    0    0 S   0,0  0,0   0:00.00 kdevtmpfs
   11 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 netns
   12 root      20   0     0    0    0 S   0,0  0,0   0:00.01 sync_supers
   13 root      20   0     0    0    0 S   0,0  0,0   0:00.00 bdi-default
   14 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 kintegrityd
   15 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 kblockd
   16 root      20   0     0    0    0 S   0,0  0,0   0:00.73 kworker/0:1
   17 root      20   0     0    0    0 S   0,0  0,0   0:00.00 khungtaskd
top - 14:25:41 up  1:37,  1 user,  load average: 0,00, 0,01, 0,04
Tasks:  57 total,   1 running,  56 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0,4 us,  0,0 sy,  0,0 ni, 99,6 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
KiB Mem:    245264 total,    61040 used,   184224 free,    10548 buffers
KiB Swap:   211964 total,        0 used,   211964 free,    27088 cached

  PID USER      PR  NI  VIRT  RES  SHR S  %CPU %MEM    TIME+  COMMAND
 2332 root      20   0  9268 3048 2452 S   0,4  1,2   0:00.57 sshd
 2376 root      20   0  4512 1292  980 R   0,4  0,5   0:00.17 top
    1 root      20   0  2284  716  616 S   0,0  0,3   0:01.82 init
    2 root      20   0     0    0    0 S   0,0  0,0   0:00.00 kthreadd
    3 root      20   0     0    0    0 S   0,0  0,0   0:00.16 ksoftirqd/0
    5 root      20   0     0    0    0 S   0,0  0,0   0:00.00 kworker/u:0
    6 root      rt   0     0    0    0 S   0,0  0,0   0:00.00 migration/0
    7 root      rt   0     0    0    0 S   0,0  0,0   0:00.05 watchdog/0
    8 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 cpuset
    9 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 khelper
   10 root      20   0     0    0    0 S   0,0  0,0   0:00.00 kdevtmpfs
   11 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 netns
   12 root      20   0     0    0    0 S   0,0  0,0   0:00.01 sync_supers
   13 root      20   0     0    0    0 S   0,0  0,0   0:00.00 bdi-default
   14 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 kintegrityd
   15 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 kblockd
   16 root      20   0     0    0    0 S   0,0  0,0   0:00.74 kworker/0:1
   17 root      20   0     0    0    0 S   0,0  0,0   0:00.00 khungtaskd
   18 root      20   0     0    0    0 S   0,0  0,0   0:00.04 kswapd0
   19 root      25   5     0    0    0 S   0,0  0,0   0:00.00 ksmd
   20 root      20   0     0    0    0 S   0,0  0,0   0:00.00 fsnotify_mark
   21 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 crypto
   24 root      20   0     0    0    0 S   0,0  0,0   0:00.02 kworker/0:2
  116 root      20   0     0    0    0 S   0,0  0,0   0:00.00 khubd
  124 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 ata_sff
  125 root      20   0     0    0    0 S   0,0  0,0   0:00.01 scsi_eh_0
  126 root      20   0     0    0    0 S   0,0  0,0   0:00.00 scsi_eh_1
  127 root      20   0     0    0    0 S   0,0  0,0   0:00.00 kworker/u:1
  156 root      20   0     0    0    0 S   0,0  0,0   0:00.00 jbd2/sda1-8
  157 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 ext4-dio-unwrit
  300 root      20   0  2624 1056  724 S   0,0  0,4   0:00.18 udevd
  393 root      20   0  2620  804  468 S   0,0  0,3   0:00.00 udevd
  394 root      20   0  2620  868  524 S   0,0  0,4   0:00.00 udevd
  421 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 kpsmoused
  603 root      20   0     0    0    0 S   0,0  0,0   0:00.05 flush-8:0
 1272 root      20   0  1844   60    0 S   0,0  0,0   0:00.47 logsave
 1609 root      20   0  2380  784  576 S   0,0  0,3   0:00.02 rpcbind
 1651 statd     20   0  2652 1236  828 S   0,0  0,5   0:00.00 rpc.statd
 1665 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 rpciod
 1667 root      20   0  5180 1840  128 S   0,0  0,8   0:00.00 dhclient
 1681 root       0 -20     0    0    0 S   0,0  0,0   0:00.00 nfsiod
root@Igel2:~#

- wie checke ich die, ob die DNS Anfragen ordentlich laufen?
- TOP siehe oben
- wie starte ich iotop?
- wo finde ich access_logs, unter welchem Pfad?
- wenn ich apt-get update mache kommt folgendes:

Code: Alles auswählen

W: Fehlschlag beim Holen von http://ftp.de.debian.org/debian/dists/wheezy-updates/main/binary-i386/Packages  406  Not Acceptable

E: Einige Indexdateien konnten nicht heruntergeladen werden. Sie wurden ignoriert oder alte an ihrer Stelle benutzt.
W: Es wird keine Sperre für schreibgeschützte Sperrdatei /var/lib/dpkg/lock verwendet.

ich kann auch andere programme nicht mehr starten, da kommt:

Code: Alles auswählen

kann Datei xyz nicht Öffnen: Das Dateisystem ist nur lesbar

Soll ich lieber doch neu aufsetzen? Heute läuft die Anmeldung und der Rest, also apt-get update bis zum Fehler schneller, eigentlich wie immer, außer die Fehler.

Danke
Erik

[pferdefreund]

Hat da eventuell die Platte ne Macke und wurde vom Kernel RO gemountet ?
Was sagt smartctl -a /dev/deine Root-Platte ?
Was steht in /var/log/syslog ? Ich vermute, wie schon geschrieben, ein Hardware-Problem - entweder Platten oder - kann auch sowas verursachen RAM-Fehler.
Mal memtest laufen lassen.

[obabirgameschda]

Wie kann ich erkennen wie die Root Platte heißt? Ich habe da lediglich eine 6 GB Speicherkarte drin und dort ist Denbian drauf.

Syslog seit 30.06.:
https://www.dropbox.com/s/eddnyj7vorwe3 ... g.txt?dl=0

Wie lasse ich memtest laufen? Wenn du memtest86 meinst, ich kann im moment keine Pakete über apt-get installieren... Da kommt der Fehler wie oben schon beschrieben ...

Danke
Erik

[pferdefreund]

Dann wird die wohl langsam das Zeitliche segnen - ist ja nix anderes wie eine ssd und die gehen, da nur n-mal beschreibbar relativ schnell kaputt, wenn sie im Dauerbetrieb arbeiten. Mal die Kart 1:1 per dd auf eine andere kopieren - am besten mit einem anderen System und mit der Kopie testen.

[gbotti]

Wie lasse ich memtest laufen? Wenn du memtest86 meinst, ich kann im moment keine Pakete über apt-get installieren... Da kommt der Fehler wie oben schon beschrieben ...

Hier kannst du ein ISO-Image herunterladen und auf CD brennen. Solltest du halt an nem Rechner machen, der funktioniert. Die fertige CD startest dann einfach wie eine Instlalations-CD...

[gbotti]

https://www.dropbox.com/s/eddnyj7vorwe3 ... g.txt?dl=0

Ist bei den 6GB überhaupt noch Speicherplatz frei? Mach bitte mal ein 'df -h' auf der Konsole...

In der syslog-Datei habe ich auf die Schnelle keine Probleme gesehen.

[obabirgameschda]

Das ist ein Igel thin Client 564 lx Premium ohne CD-Laufwerk. Auf der Speicherkarte ist noch Platz, dort ist fast nix drauf, außer ddclient und vpn-Server sowie die kleine webanwendung.
Bin gerade nicht zu Hause, habe mir eine 8GB Karte gekauft - die kommt morgen. Versuche noch an 2 neue Riegel Arbeitsspeicher zu kommen, DDR1 400 3600U mit 512 MB sollten ja die richtigen sein.

df -h führe ich in der Mittagspause mal aus und poste dann ...

Vielen Dank!

[gbotti]

...ohne CD-Laufwerk...

memtest86+ gibt es auch für USB-Sticks und als alternative könntest du ein USB-CD-Laufwerk verwenden.

[obabirgameschda]

okay, dann mach ich memtest86 auf einen stick und führe es dann mal aus. kann aber sicher erst dann heute abend oder morgen werden. bin auf arbeit und kann keinen usb stick an den igel hängen

ich melde mich, sobald ich was neues habe.

danke und grüße

erik

p.s.: wo kann ich sehen, ob ich von attacken von außen betroffen bin/war, wird das auch geloggt? wenn ja, wo?

[gbotti]

p.s.: wo kann ich sehen, ob ich von attacken von außen betroffen bin/war, wird das auch geloggt? wenn ja, wo?

Kommt drauf an, welche Attacken das waren und ob der Angreifer erfolgreich war. Wenn er erfolgreich war und das ordentlich macht, dann siehst du nix. Ansonsten würde ich mal die üblichen Dateien unter /var/log ansehen. /var/log/auth.log oder syslog Beispielsweise...

[obabirgameschda]

mahlzeit...

df -h:

Code: Alles auswählen

root@Igel2:~# df -h
Dateisystem                                            GröÃe Benutzt Verf. Verw                % Eingehängt auf
rootfs                                                  3,5G    990M  2,4G   30%                 /
udev                                                     10M       0   10M    0%                 /dev
tmpfs                                                    24M    212K   24M    1%                 /run
/dev/disk/by-uuid/5d8f0a66-a397-43b5-a002-54b73708bd3b  3,5G    990M  2,4G   30%                 /
tmpfs                                                   5,0M       0  5,0M    0%                 /run/lock
tmpfs                                                    90M       0   90M    0%                 /run/shm
root@Igel2:~#

auth.log:
https://www.dropbox.com/s/t975l2lu0qg1qoo/auth.log?dl=0

message log:
https://www.dropbox.com/s/m7ts61cx613f01g/messages?dl=0

dmesg log:
https://www.dropbox.com/s/lmu3fc79jkb9tgi/dmesg?dl=0

kern.log
https://www.dropbox.com/s/z615k5z7stcbbl6/kern.log?dl=0

wenn die post nicht streikt, kommt heute die neue speicherkarte. neuer arbeitsspeicher habe ich noch auf dem dachboden bei meinen eltern gehabt, des schmeiß ich jetzt mal rein... zum glück denkt mein vater, dass das irgendwann mal wertvoll ist und hebt so ein zeug auf

[rendegast]

Jun 15 20:51:29 Igel2 kernel: [1206266.661191] ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x6
Jun 15 20:51:29 Igel2 kernel: [1206266.661231] ata1.00: BMDMA stat 0x24
Jun 15 20:51:29 Igel2 kernel: [1206266.661259] ata1.00: failed command: READ DMA
Jun 15 20:51:29 Igel2 kernel: [1206266.661302] ata1.00: cmd c8/00:08:88:3b:12/00:00:00:00:00/e0 tag 0 dma 4096 in
Jun 15 20:51:29 Igel2 kernel: [1206266.661308] res 51/84:00:88:3b:12/00:00:00:00:00/e0 Emask 0x10 (ATA bus error)
Jun 15 20:51:29 Igel2 kernel: [1206266.661378] ata1.00: status: { DRDY ERR }
Jun 15 20:51:29 Igel2 kernel: [1206266.661402] ata1.00: error: { ICRC ABRT }
Jun 15 20:51:29 Igel2 kernel: [1206266.661467] ata1: soft resetting link
Jun 15 20:51:29 Igel2 kernel: [1206266.832311] ata1.00: configured for UDMA/25
Jun 15 20:51:29 Igel2 kernel: [1206266.832345] ata1: EH complete

Im einfachsten Fall wohl die Speicherkarte kaputt.

[obabirgameschda]

Mahlzeit,

habe jetzt die Speicherkarte gegen eine "SanDisk SDCFHS-016G-G46 Ultra CompactFlash 16GB UDMA7 Speicherkarte bis zu 50MB/Sek. lesen" getauscht und dort DEBIAN mittels Unetbootin installiert.

Beim booten wird alles erkannt und die installation beginnt (dauert wirklich sehr, sehr lange!) - danach erhalte ich folgenden Fehler:

Code: Alles auswählen

Verifying DMI Pool Data ..............................................
Error: attempt to read or write outside of disk 'hd0'...
Entering rescue mode...
grub rescue>

nach eingabe von ls kommt

Code: Alles auswählen

hd0, msdos1

was ist denn jetzt schon wieder? hab auch nochmal neu installiert, gleicher Fehler.

Danke

Erik