100% Disk Load

Debian auf Notebooks und speziellen Geräten wie eingebetteten Systemen, Routern, Set-Top-Boxen, ...
Antworten
roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

100% Disk Load

Beitrag von roli » 24.09.2018 10:14:29

Hallo zusammen,

ich habe mir vor kurzem ein neues Notebook gegönnt, und das mitgelieferte OS durch Debian ersetzt. Es hat eine 128GB SSD, und eine 1TB HDD. Leider "friert" es zwischendurch immer wieder mal ein. In diesen Momenten zeigt mit atop, das die CPU kaum ausgelastet ist, aber der Disk Load am Anschlag ist.
Mein bisheriger Lösungsversuch war den I/O Scheduler zu ersetzen, da ich davon ausgegangen bin, das cfq im einsatz ist, der für SSDs nicht der beste sein soll. Nach dem was ich gelesen habe, soll noop dafür besser sein. Also habe ich folgendes (als root) gemacht:

Code: Alles auswählen

# for f in /sys/block/sd?/queue/rotational; do printf "$f is "; cat $f; done
/sys/block/sda/queue/rotational is 1
/sys/block/sdb/queue/rotational is 0
#
=> sdb ist meine SSD, und wird auch als solche vom System erkannt. Nächster Schritt, welcher Scheduler wird verwendet:

Code: Alles auswählen

# for f in /sys/block/sd?/queue/scheduler; do printf "$f is "; cat $f; done
/sys/block/sda/queue/scheduler is [mq-deadline] none
/sys/block/sdb/queue/scheduler is [mq-deadline] none
#
Beide, SSD und HDD, nutzen derzeit als mq-deadline, und nicht cfq. Was mich hier allerdings irritiert ist, das in dem Output kein weiterer Scheduler angezeigt wird. Bei allen Beispielen die ich im Netz gefunden habe, werden da immer mehrere Scheduler angezeigt, z.B.: noop [deadline] cfq
Das könnte auch die Ursache dafür sein, das ich eben nicht in der Konsole auf noop wechseln kann:

Code: Alles auswählen

# echo noop > /sys/block/sdb/queue/scheduler
bash: echo: Schreibfehler: Das Argument ist ungültig.
#
Hat hier jemand eine Idee, was den Scheduler oder auch andere Lösungen angeht, wonach ich weiter suchen könnte, denn ich bin aktuell recht ratlos.

Danke
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

DeletedUserReAsG

Re: 100% Disk Load

Beitrag von DeletedUserReAsG » 24.09.2018 12:05:16

Statt am Sheduler rumzupfuschbasteln, würde ich zunächst mal gucken, was denn die Last verursacht. Dann könnte man schauen, wie man damit umgeht. Als Werkzeug zum Nachschauen könnte man etwa Debianiotop nehmen.

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 24.09.2018 12:23:00

Hi,

ohne jetzt an dem Rechner zu sitzen, iotop hatte ich auch schon "am start", allerdings ohne das mir da was aufgefallen wäre.
Die Disk Last geht u.a. schon durch die Decke, wenn lediglich XFCE mit einem Terminal (mit atop) gestartet ist, ohne das ich was anderes mache. Die Disk Last ist dann für ca. 5-15 Sekunden bei 100%, um dann wieder auf einen Wert im niedrigen zweistelligen Prozentbereich zu fallen. Nach ca. 1 Minute wiederholt sich das ganze. Als ich das auch mal via iotop beobachtet hatte, war es nicht der selbe Prozess, der die Last verursacht hat.

Roland
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

Benutzeravatar
whisper
Beiträge: 3154
Registriert: 23.09.2002 14:32:21
Lizenz eigener Beiträge: GNU Free Documentation License
Kontaktdaten:

Re: 100% Disk Load

Beitrag von whisper » 24.09.2018 13:27:37

Ich würde mich auch nicht um den Scheduler kümmern, sondern die Ursache suchen.
Wenn iotop nichts ergibt, ist es schon merkwürdig. Die Platten sind gesund?
Mit htop hast du auch schon geguckt?
Welche Programme laufen denn?
thunderbird könnte am synchronisieren deines Imap Kontos sein, Firefox oder ein anderer Browser spinnen,, usw.
in den Logs hast du nichts gefunden?
Hast du eine Standard Installation?
Spiel inotify verrückt?
Fragen über Fragen ich weiß
Ok, gerade noch mal gesehen xfce und weiter nichts?

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 24.09.2018 14:09:20

Der Rechner ist neu und war noch keine 20 Std. in Betrieb, die Platte und die SSD sollten also OK sein.
Auch mit htop habe ich geschaut, aber die CPU idelt eigentlich nur so vor sich hin. Wie gesagt, das ganze tritt auf, wenn ich die grafische Oberfläche gestartet habe (XFCE), und dort nur eine Konsole geöffnet ist. Selbst wenn Thunderbird und Firefox laufen würden, sollte es das nicht sein, mein alter (ebefalls verschlüsselter Notebook, siehe unten) Notebook läuft noch flüssig, wenn TB sich syncronisiert, ich Firefox mit x Tabs geöffnet habe, und dabei in Libreoffice noch eine Tabelle bearbeite.
Die Installation habe ich von einem Net-Install Stick ausgeführt, aber zusätzlich die SSD und auch die Platte verschlüsselt. Das es an dem Verschlüsseln liegt glaube ich nicht, ich mache das seit jahren schon mit allen meinen Rechnern, und im Netzt habe ich auch nichts gefunden, das darauf hinweisen würde.
Woran würde ich erkennen, das inotify verrückt spielt?
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

Benutzeravatar
whisper
Beiträge: 3154
Registriert: 23.09.2002 14:32:21
Lizenz eigener Beiträge: GNU Free Documentation License
Kontaktdaten:

Re: 100% Disk Load

Beitrag von whisper » 24.09.2018 14:29:54

Dann wäre in top/htop der Prozess inotify oben zu sehen.
Versuchsweise einen anderen Desktop probieren?
Alles ins blaue geraten.
Bei inotify hatte ich was auf dem Server schon mal. Da gab es massenhaft Nachrichten in messages.

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 24.09.2018 15:13:19

Ich habe XFCE extra gewählt weil es so recourcen freundlich sein soll. Aber die Tage mal mit einem anderen Desktop zu experiemtieren tut nicht weh, ich muss nur sehen, das ich was Zeit dafür finde.
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

Benutzeravatar
hikaru
Moderator
Beiträge: 13559
Registriert: 09.04.2008 12:48:59

Re: 100% Disk Load

Beitrag von hikaru » 24.09.2018 20:26:58

Drei Stichworte die mich aufhorchen lassen:

1. Neues ("schlankes"?) Notebook -> Dünne 7mm-HDD?
2. Thunderbird -> E-Mail-Archiv bzw. generell viele kleine Dateien?
3. Verschlüsselung -> verstreut selbst vermeintlich sequenzielle Zugriffe

Ist die HDD im neuen Notebook zufällig eine mit SMR [1] und finden da die Zugriffe (insbesondere schreibend) statt? Sowas mag eine SMR-HDD gar nicht. Die will am liebsten nur gelesen werden, und wenn sie beschrieben wird, dann bitte nur mit relativ großen Datenblöcken am Stück.


[1] https://geizhals.de/?cat=hde7s&xf=13745 ... ding+(SMR)

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 26.09.2018 11:03:59

Hi,

folgendes steckt im Notebook
ID-1: /dev/sda vendor: Toshiba model: MQ04ABF100 size: 931.51 GiB
ID-2: /dev/sdb vendor: SanDisk model: SD8SN8U-128G-1006 size: 119.24 GiB
Nach dem was ich gefunden habe ist sie 7,5 mm hoch :-)

Der Rechner friert wie gesagt immer wieder ein, wenn ich mich nur anmelde. Ich werde das aber gleich mal beobachten.

Alle meine Rechner sind seit Jahren schon verschlüsselt, das das "Performance" kostet ist mir klar, aber selbst mein kleines billiges Netbook hat diese aussetzer nicht. Ausschließen kann ich es nicht, das es an der Verschlüsselung liegt, nur würde es mich halt wundern.

Danke

Roland
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 26.09.2018 11:43:52

Hallo zusammen,

ich habe mir das ganze jetzt mal einige Zeit angesehen. der LVM für die Devices sdc1_crypt und _vg-hdd-home ist immer wieder auf bis zu 101% (!), Gleichzeitig sehe ich in iotop, das dann aus meiner Sicht nahezu nichts gelesen 0 B/s bzw. geschrieben 50,47 K/s wird, siehe Screenshot:
https://www.uploadarea.de/files/eu1/c0j ... O-Last.png
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

Benutzeravatar
hikaru
Moderator
Beiträge: 13559
Registriert: 09.04.2008 12:48:59

Re: 100% Disk Load

Beitrag von hikaru » 26.09.2018 12:00:48

roli hat geschrieben: ↑ zum Beitrag ↑
26.09.2018 11:03:59
ID-1: /dev/sda vendor: Toshiba model: MQ04ABF100 size: 931.51 GiB
Die ist in der Tat 7mm hoch und laut [1] hat sie nur einen Platter.
Soweit ich weiß, passt zur Zeit 1TB auf einen 2,5"-Platter, aber nur mit SMR. Ich würde daher davon ausgehen, dass die HDD SMR benutzt.

Wie gesagt, SMR [2] mag keine kleinteiligen Schreibzugriffe und auf einer verschlüsselten HDD werden selbst sequenzielle Zugriffe zerhackt. Falls auf der HDD also Schreibzugriffe in nennenswertem Ausmaß passieren, dann solltest du die HDD gegen eine ohne SMR austauschen.


[1] https://www.notebookcheck.com/Toshiba-M ... 736.0.html
[2] https://de.wikipedia.org/wiki/Shingled_ ... _Recording

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 26.09.2018 12:14:34

Hi,

aber laut den Werten, die iotop anzeigt, ist da doch defacto nichts, wenn der LVM durch die Decke geht.
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

Benutzeravatar
hikaru
Moderator
Beiträge: 13559
Registriert: 09.04.2008 12:48:59

Re: 100% Disk Load

Beitrag von hikaru » 26.09.2018 12:42:26

roli hat geschrieben: ↑ zum Beitrag ↑
26.09.2018 12:14:34
aber laut den Werten, die iotop anzeigt, ist da doch defacto nichts, wenn der LVM durch die Decke geht.
Das könnte eben daran liegen, dass die HDD noch mit sich selbst beschäftigt ist und Daten auf dem Platter sortiert. Währenddessen kann der Controller keine neuen Daten annehmen, und iotop zeigt demnach auch keinen Durchsatz, während der I/O-Load durch die Decke geht.

Es sei aber angemerkt, dass wir hier gerade über eine wilde Spekulation meinerseits diskutieren. Vielleicht liegt dein Problem ganz woanders. Testen könntest du das, indem du die HDD gegen eine ohne SMR austauschst.

Benutzeravatar
novalix
Beiträge: 1908
Registriert: 05.10.2005 12:32:57
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: elberfeld

Re: 100% Disk Load

Beitrag von novalix » 26.09.2018 13:26:09

roli hat geschrieben: ↑ zum Beitrag ↑
26.09.2018 12:14:34
aber laut den Werten, die iotop anzeigt, ist da doch defacto nichts, wenn der LVM durch die Decke geht.
Der jbd2-Prozess, also das Schreiben des ext4-Journals, kann durchaus die Folge eines anderen - dem das Problem eigentlich verursachenden Prozesses - sein. iotop ist da nicht unbedingt ganz eindeutig, bzw. auf der Höhe der Zeit.

Grundsätzlich kann das Problem an der eingesetzten Hardware liegen. Da käme selbst ein Verbindungskabel zur Festplatte in Frage. Bei einem Notebook lässt sich das natürlich nicht ganz so trivial durchtesten.

Da der Effekt anscheinend beim Start bzw. während des Betriebs des Desktops auftritt, könntest Du einfach mal gegentesten, ob bestimmte Lastoperationen, z.B. Download eines Isos bei gleichzeitiger Kompilation eines umfangreichen Programms (Kernel oder so), ohne gestarteten Desktop ähnliche Durchsatzprobleme verursachen.

Mit XFCE bin ich nicht vertraut. Der Start der "fetten" DEs verursacht immer mal wieder in bestimmten Konstellationen fehlerhaft verlaufende Prozesse. Ich hatte mal eine KDE-Installation, in der ein solcher Prozess verschiedene Logs mit seinen dämlichen Problemchen dermaßen zugespamt hat, dass das System merklich ausgebremst wurde und zudem die /var-Partition vollgeschrieben wurde.
Bei solchen Problemen hilft manchmal als erster Schritt rein quantitativ die Größe der Logdateien zu tracken.
Das Wem, Wieviel, Wann, Wozu und Wie zu bestimmen ist aber nicht jedermannns Sache und ist nicht leicht.
Darum ist das Richtige selten, lobenswert und schön.

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 26.09.2018 16:02:50

Hallo,

ein Versuch, den ich noch machen will, ist ein anderen Desktop, LXDE wahrscheinlich, auszuprobieren. Mal ohne gestartetes DE zu schauen was passiert ist ebenfalls ein Versuch wert. Ansonsten habe ich schon mal "präventiv" ein Linux Mint Image herunter geladen, wobei ich halt lieber verstehen würde woran es liegt, anstelle einfach ein anderes OS/Distri zu verwenden. Verschlüsseln will ich die beiden Laufwerke aber auch da.

Ohne das ich das Win10 das initial drauf war wirklich ausgibig genutzt habe, aber aus der Erinnerung würde ich sagen, das es flüssig lief. Wenn ich mich nicht täusche, wäre das zumindest ein Hinweis, das die Hardware kein Problem haben sollte.
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

reox
Beiträge: 2459
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz

Re: 100% Disk Load

Beitrag von reox » 28.09.2018 11:24:32

Ich bin mir nicht sicher woher collectd die information über die disk io_timings holt, aber die könnte sehr hilfreich sein. Vermutlich ist es iostat aus dem paket Debiansysstat (Evt lässt sich das sogar pro prozess irgendwie ausgeben, vielleicht weiß da jemand anderer mehr)
Über die IO Wait time kann man schauen ob die Load daher kommt, dass die platte io einfach langsam verarbeitet.

Hier ist ein Beispiel:

Code: Alles auswählen

$ iostat -dx 1
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    18.00    0.00   27.00     0.00   984.00    72.89     0.30   10.81    0.00   10.81  11.26  30.40

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    41.00    0.00  115.00     0.00  3108.00    54.05    30.74  217.39    0.00  217.39   7.62  87.60
Beim zweiten sieht man, dass die durchschnittliche wait time 217ms war, die load wird dann als 87% uitiliziation angegeben - und das obwohl "nur" 3MB/s geschrieben wurden.
Zuletzt geändert von reox am 28.09.2018 11:26:54, insgesamt 1-mal geändert.

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 28.09.2018 11:26:54

Wie komme ich an die IO Wait Time?
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

reox
Beiträge: 2459
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz

Re: 100% Disk Load

Beitrag von reox » 28.09.2018 11:28:00

roli hat geschrieben: ↑ zum Beitrag ↑
28.09.2018 11:26:54
Wie komme ich an die IO Wait Time?
wie gesagt, ich bin mir nicht ganz sicher ob iostat die selben werte zeigt wie collectd (https://collectd.org/wiki/index.php/Plugin:Disk)
Dort konnte ich im graphen sehr gut nachvollziehen ob eine änderung auf lange sicht eine verbesserung herbeigeführt hat oder nicht.

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 01.10.2018 13:42:10

Hallo zusammen,

ich habe jetzt mal LXDE installiert, und habe den Rechner jetzt neben mir stehen. Unter XFCE ist er alle X Sekunden eingefroren, auch wenn ich nur eine Konsole mit atop geöffnet hatte, also ohne Last.
Er "idelt" jetzt so vor sich her/rum, und bislang (ca. 15 Min) hat mir atop noch nicht 101% Load für den LVM angezeigt. Mal sehen wie es weiter geht ...
Ich melde mich wieder.

Danke
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 01.10.2018 14:58:01

Nachtrag, LXDE ist nicht die Lösung.
Ich habe eben dann mal was mit dem Rechner machen wollen, und da war es wieder ... Wenn auch (gefühlt) nicht so oft, aber atop zeigt doch wieder entsprechende Last für dem LVM.
Schade, das wäre ja auch zu einfach gewesen.
=> weiter suchen :-(
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: 100% Disk Load

Beitrag von Colttt » 01.10.2018 15:18:32

geht die load nach oben?
versuch mal:
perf top
und guck was da bei rauskommt
Debian-Nutzer :D

ZABBIX Certified Specialist

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 08.10.2018 14:27:21

Hallo zusammen,

da ich bislang immer noch nichts gefunden habe, habe ich mich jetzt dazu entschlossen, das Problem mit Geld zu erschlagen.
=> ich habe mir eben eine SSD als Ersatz für die verbaute HDD bestellt.

Danke für eure Hilfe
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

roli
Beiträge: 3174
Registriert: 10.09.2003 17:39:58

Re: 100% Disk Load

Beitrag von roli » 31.10.2018 15:51:28

Hallo zusammen,

das Notebook läuft jetzt wie *** ;-)
Eine andere Festplatte, hätte es u.U. auch getan, aber das wollte ich nicht ausprobieren.

Nochmal danke für die Hinweise
Roland


"Aber wenn du schon so unwissend bist, davon noch nicht gehört zu haben,
so will ich es doch als gut ansehen, daß du lieber einmal töricht fragst,
als weiterhin nichts von etwas zu wissen, das man doch wissen sollte."
aus "Die Edda des Snorri Sturluson", "Gylfis Täuschung"

Antworten