'No space left on device' trotz freiem speichers und inods

Hast Du Probleme mit Hardware, die durch die anderen Foren nicht abgedeckt werden? Schau auch in den "Tipps und Tricks"-Bereich.
Antworten
borsti1987
Beiträge: 44
Registriert: 18.10.2008 12:40:54

'No space left on device' trotz freiem speichers und inods

Beitrag von borsti1987 » 22.01.2017 12:45:24

Hallo,

ich wollte gerade meine ssh config und bin dann auf folgende Meldung gestoßen:

Code: Alles auswählen

[....] Reloading ssh configuration (via systemctl): ssh.serviceError: No space left on device

df -h liefert:

Code: Alles auswählen

Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/sde2        28G    4,6G   22G   18% /
udev             10M       0   10M    0% /dev
tmpfs           392M    6,2M  386M    2% /run
tmpfs           979M       0  979M    0% /dev/shm
tmpfs           5,0M       0  5,0M    0% /run/lock
tmpfs           979M       0  979M    0% /sys/fs/cgroup
/dev/md0        3,6T    944G  2,5T   28% /c
tmpfs           196M       0  196M    0% /run/user/0
df -i liefert:

Code: Alles auswählen

Dateisystem       Inodes IBenutzt     IFrei IUse% Eingehängt auf
/dev/sde2        1847776   144391   1703385    8% /
udev              216338      388    215950    1% /dev
tmpfs             220248      821    219427    1% /run
tmpfs             220248        1    220247    1% /dev/shm
tmpfs             220248        9    220239    1% /run/lock
tmpfs             220248       13    220235    1% /sys/fs/cgroup
/dev/md0       244195328   306937 243888391    1% /c
tmpfs             220248        4    220244    1% /run/user/0
Kann mir hier jemand weiter helfen?
Zuletzt geändert von borsti1987 am 22.01.2017 15:07:27, insgesamt 1-mal geändert.
borsti

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: 'No space left on device' trotz freiem speichers und ino

Beitrag von rendegast » 22.01.2017 12:54:56

Kannst Du händisch eine Datei erzeugen?

Code: Alles auswählen

dd if=/dev/zero bs=1M count=1 of=/dummy; sync
dd if=/dev/zero bs=1M count=1 of=/dev/dummy; sync
dd if=/dev/zero bs=1M count=1 of=/run/dummy; sync
usw.
Ein gelöschtes loop-Target zählt df zwar mit, aber vielleicht könnte es auch kompliziertere Fälle geben

Code: Alles auswählen

lsof | grep delet
?
Eventuell auch

Code: Alles auswählen

checkrestart
checkrestart -v
(Debiandebian-goodies, obwohl ein aktuelles Installieren wohl gerade nicht möglich wäre)


Ein ro sollte wohl eine andere Meldung geben, aber wer weiß?

Code: Alles auswählen

mount
?

Code: Alles auswählen

dmesg
?
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

borsti1987
Beiträge: 44
Registriert: 18.10.2008 12:40:54

Re: 'No space left on device' trotz freiem speichers und ino

Beitrag von borsti1987 » 22.01.2017 13:20:04

Kannst Du händisch eine Datei erzeugen?

Code: Alles auswählen
dd if=/dev/zero bs=1M count=1 of=/dummy; sync
dd if=/dev/zero bs=1M count=1 of=/dev/dummy; sync
dd if=/dev/zero bs=1M count=1 of=/run/dummy; sync
usw.
Ja, ich weiß allerdings nicht was du mit usw. meinst

Code: Alles auswählen

 dd if=/dev/zero bs=1M count=1 of=/dummy; sync
1+0 Datensätze ein
1+0 Datensätze aus
1048576 Bytes (1,0 MB) kopiert, 0,00857794 s, 122 MB/s
dd if=/dev/zero bs=1M count=1 of=/dev/dummy; sync
1+0 Datensätze ein
1+0 Datensätze aus
1048576 Bytes (1,0 MB) kopiert, 0,00392701 s, 267 MB/s
dd if=/dev/zero bs=1M count=1 of=/run/dummy; sync
1+0 Datensätze ein
1+0 Datensätze aus
1048576 Bytes (1,0 MB) kopiert, 0,0039422 s, 266 MB/s
lsof | grep delet:

NoPaste-Eintrag39726


checkrestart:

NoPaste-Eintrag39727

mount

Code: Alles auswählen

mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,relatime)
udev on /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=216338,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,relatime,size=400996k,mode=755)
/dev/sde2 on / type ext3 (rw,relatime,errors=remount-ro,data=ordered)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=23,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)
mqueue on /dev/mqueue type mqueue (rw,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
/dev/md0 on /c type ext4 (rw,relatime,stripe=2,data=ordered)
rpc_pipefs on /run/rpc_pipefs type rpc_pipefs (rw,relatime)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,size=200500k,mode=700)
binfmt_misc on /proc/sys/fs/binfmt_misc type binfmt_misc (rw,relatime)
dmesg

NoPaste-Eintrag39728
Zuletzt geändert von KBDCALLS am 22.01.2017 13:30:29, insgesamt 1-mal geändert.
Grund: Beachte bitte Punkt 2.6 der Verhaltensregeln
borsti

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: 'No space left on device' trotz freiem speichers und ino

Beitrag von rendegast » 22.01.2017 19:08:41

Aus dem 'lsof'

Code: Alles auswählen

$ cat /tmp/_space/39726.txt | cut -c 70- | sort | uniq -c 
      1    0      18364 /run/dovecot/login-master-notify297a7e8da7c3b397 (deleted)
      1    0      18374 /run/dovecot/login-master-notify33df5e0314e8ac96 (deleted)
      2    0      18376 /run/dovecot/login-master-notify9e577641e9f9d823 (deleted)
     10    0      20617 /run/lock/apache2/ssl-cache.1751 (deleted)
     10    0      22153 /run/lock/apache2/rewrite-map.1769 (deleted)
     10    0      22155 /run/lock/apache2/proxy.1769 (deleted)
     10    0      22157 /run/lock/apache2/mpm-accept.1769 (deleted)
     52    0     719495 /tmp/tmpfpKpL1A (deleted)
     20    0     719498 /tmp/ibYYDlw3 (deleted)
     20    0     719502 /tmp/ibNBvnL2 (deleted)
     20    0     719503 /tmp/ibAomljQ (deleted)
     20    0     719504 /tmp/ibDb0jRD (deleted)
     20    0     719505 /tmp/ibDqxl8e (deleted)
     10    0     719506 /tmp/.ZendSem.ycgG1d (deleted)
      1 1542    1096352 /etc/group (deleted)
Von der Menge her nicht der Rede wert,
mich wundert die 1MB große /etc/group, und warum sie überhaupt so geöffnet ist.
Das könnte aber auch bei proftpd normal sein.
EDIT das ist normal, hier von proftpd oder fhem resp. dessen perl "deleted" geöffnet mit 470kB angegeben,
auf Platte tatsächlich aber nur 1,8kB.
(?)

Auch könnte die Anzeige von mysqld und proftpd bei 'checkrestart' normal sein.
(Hier zBsp. zeigt 'needrestart' (etwas ähnliches wie checkrestart) immer unbegründet openhab (java-Prozeß) an)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
bei mir 'rw', aber ich habe aus wheezy-Zeiten auch einen fstab-Eintrag

Code: Alles auswählen

# 201411, linux-container, lxc
none	/sys/fs/cgroup	cgroup	defaults	0	0
#	Mit installiertem systemd wird dieser Eintrag obsolet
'dmesg' unauffällig.

dd if=/dev/zero bs=1M count=1 of=......; sync

Ja, ich weiß allerdings nicht was du mit usw. meinst
Schreibt einfach 1MB in eine Datei dummy, läßt es auch direkt ausführen (um Cache-Effekten zu begegnen).
Die Meldung war "No space left on device",
der Schreibversuch soll also "händisch" herausbekommen, für welches Mount das gelten soll.



Du könntest ja mal twonky/apache, mysql und proftp stoppen,
ob dann die Meldung verschwindet.
Würde den Verursacher des Problems einkreisen.
Zuletzt geändert von rendegast am 25.01.2017 00:38:10, insgesamt 1-mal geändert.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

borsti1987
Beiträge: 44
Registriert: 18.10.2008 12:40:54

Re: 'No space left on device' trotz freiem speichers und ino

Beitrag von borsti1987 » 22.01.2017 20:05:56

rendegast hat geschrieben:Du könntest ja mal twonky/apache, mysql und proftp stoppen,
ob dann die Meldung verschwindet.
Würde den Verursacher des Problems einkreisen.
habe alle oben genannten Services in der Reihenfolge gestoppt und anschließend gestartet.
Beim Stoppen von twonky kam noch:

Code: Alles auswählen

Error: No space left on device
Beim Stoppen von apache gab es dann schon keine Meldung.

Beim anschließenden starten der Services kam es auch zu keinen Meldungen.
Und das anschließende reload der ssh config verlief auch ohne Fehlermeldung.

Danke für die Hilfe :THX:
borsti

borsti1987
Beiträge: 44
Registriert: 18.10.2008 12:40:54

Re: 'No space left on device' trotz freiem speichers und ino

Beitrag von borsti1987 » 22.01.2017 20:36:44

Okay doch noch nicht ganz.

Nach kurzer zeit tritt das Problem wieder auf.
Jetzt habe ich twonky gestoppt und danach ist das Problem scheinbar weg.

Also scheint twonky das Problem zu sein :(
borsti

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: 'No space left on device' trotz freiem speichers und ino

Beitrag von rendegast » 22.01.2017 20:57:49

support@twonky.com ?

Außer der Support-Mailadresse und dem Lizensierungs-Link scheint die Website nichts zu bieten.

Das Download twonky 8.3 hat einige txt/png/xml mit Ausführbarkeit(?).



Oh, google:
http://www.twonkyforum.com/
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: 'No space left on device' trotz freiem speichers und ino

Beitrag von rendegast » 25.01.2017 00:40:50

rendegast hat geschrieben: Aus dem 'lsof'

Code: Alles auswählen

...
      1 1542    1096352 /etc/group (deleted)
..., mich wundert die 1MB große /etc/group, und warum sie überhaupt so geöffnet ist.
Das könnte aber auch bei proftpd normal sein.
das ist normal, hier von proftpd oder fhem resp. dessen perl "deleted" geöffnet mit 470kB angegeben,
auf Platte tatsächlich aber nur 1,8kB.
(?)
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

Benutzeravatar
Profbunny
Beiträge: 592
Registriert: 04.04.2004 11:12:29
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Bautzen

Re: 'No space left on device' trotz freiem speichers und ino

Beitrag von Profbunny » 25.01.2017 07:27:33

das Problem hatte ich gestern beim bauen von LineageOS auch. Bei mir ist das /tmp vollgelaufen. Bei dir sehe ich keines gemountet.
Zeig uns mal deine fstab, normalerweise wird ein tmpfs nach /tmp gemountet.
Rechner / Server Debian sid

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: 'No space left on device' trotz freiem speichers und ino

Beitrag von rendegast » 25.01.2017 11:07:56

Profbunny hat geschrieben: Zeig uns mal deine fstab, normalerweise wird ein tmpfs nach /tmp gemountet.
bedarf normalerweise keines fstab-Eintrags mehr,
geht über ein Startskript oder wohl auch systemd.
Falls wie hier nicht verwendet wäre das df des root-Dateisystems unverdächtig,
22GB und 90% Inodes frei.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

Antworten