Massive RAM Nutzung obwohl nichts offen
Massive RAM Nutzung obwohl nichts offen
Ich gruesse euch liebe Community.
Habe aktuell Debian 8.7 installiert, und es laeuft eigentlich vieles ziemlich gut.
Jedoch schnellt oft die RAM Nutzung in die Hoehe und bleibt auch hoch, und der Grund ist mir einfach nicht bekannt.
Woran kann es liegen?
In HTOP faellt mir nichts auf. Der Server wird nur fuer FTP und Samba genutzt.
https://picload.org/image/rcoloodr/komplett.png
Ich hoffe jemand kann mir weiterhelfen
Habe aktuell Debian 8.7 installiert, und es laeuft eigentlich vieles ziemlich gut.
Jedoch schnellt oft die RAM Nutzung in die Hoehe und bleibt auch hoch, und der Grund ist mir einfach nicht bekannt.
Woran kann es liegen?
In HTOP faellt mir nichts auf. Der Server wird nur fuer FTP und Samba genutzt.
https://picload.org/image/rcoloodr/komplett.png
Ich hoffe jemand kann mir weiterhelfen
Re: Massive RAM Nutzung obwohl nichts offen
Belegte tmpfs?
Code: Alles auswählen
df -m
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
Re: Massive RAM Nutzung obwohl nichts offen
Das wird alles Cache sein. Bei einem Rechner mit einer Uptime von 73 Tagen würde ich nichts anderes erwarten, sofern er Daten bewegt.
Leider weist wohl htop den Cache nicht aus. top hingegen tut es und dann wird die Sache sofort klar. top -b kann man außerdem schön in eine Datei pipen, so dass man keine Screenshots von Terminalfenstern machen muss.
Alternativ kann man sich den verwendeten Cache auch mit free (und einem passenden Einheitenschalter) ausgeben lassen.
Leider weist wohl htop den Cache nicht aus. top hingegen tut es und dann wird die Sache sofort klar. top -b kann man außerdem schön in eine Datei pipen, so dass man keine Screenshots von Terminalfenstern machen muss.
Alternativ kann man sich den verwendeten Cache auch mit free (und einem passenden Einheitenschalter) ausgeben lassen.
- seep
- Beiträge: 544
- Registriert: 31.10.2004 14:21:08
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: HSK
Re: Massive RAM Nutzung obwohl nichts offen
Ich frage auch hier: Ich sehe Apache aber kein Samba. Richtiger Server? Apache wird benötigt? Nein, dann deinstallieren und den RAM-Verbrauch vergleichen.Knogle hat geschrieben:Der Server wird nur fuer FTP und Samba genutzt.
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Massive RAM Nutzung obwohl nichts offen
Bei htop sieht man wie viel "wirklich" benutzt wird, also cached wird gleich "weggerechnet"hikaru hat geschrieben:Das wird alles Cache sein. Bei einem Rechner mit einer Uptime von 73 Tagen würde ich nichts anderes erwarten, sofern er Daten bewegt.
Leider weist wohl htop den Cache nicht aus.
Aber an der Farbe sieht man trotzdem wie viel gecached wird.
Gruen ist used minus free minus buffers minus cached.
htop zeigt es also direkt an ohne das man selber rechnen muss. In diesem fall 4,6G von 7,7G, pi mal daumen 6G/7,7 inclusive cached.
Das Gelbe ist cached. Blau ist glaube kernel process.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Massive RAM Nutzung obwohl nichts offen
Warum postest du immer wieder ein Megabyte großes Screenshot, das den Informationsgehalt von 2kByte hat? Geht das nicht als plain ASCII?Knogle hat geschrieben:https://picload.org/image/rcoloodr/komplett.png
Was geben ps -augx und free aus?
Du kannst die Caches und Buffers löschen, indem du echo 3 > /proc/sys/vm/drop_caches ausführst. Danach kannst du nochmal mit free nachsehen, ob es wirklich am Cache liegt.
Es ist allgemein keine besonders gute Idee, Caches und Buffers zu löschen. Im operativen Betrieb nützen sie mehr als sie stören. Benötigt ein Prozeß RAM, wird ohnehin zuerst Cache "geopfert", um RAM freizuschaufeln. Ein regelmäßiges Löschen ist also unnötig.
Zuletzt geändert von MSfree am 19.04.2017 09:14:00, insgesamt 1-mal geändert.
Re: Massive RAM Nutzung obwohl nichts offen
Ah, alles klar! Es werden laut dem Screenshot also 26 "|" gecached (wenn ich mich nicht verzählt habe). Das macht die Sache natürlich viel einfacher.Lord_Carlos hat geschrieben:Bei htop sieht man wie viel "wirklich" benutzt wird, also cached wird gleich "weggerechnet"
Aber an der Farbe sieht man trotzdem wie viel gecached wird.
Ob die Einzelbeiträge nun additiv oder subtraktiv zusammengefasst werden finde ich eher nebensächlich. So oder so, ich hätte gern klare Zahlen.Lord_Carlos hat geschrieben:Gruen ist used minus free minus buffers minus cached.
htop zeigt es also direkt an ohne das man selber rechnen muss. In diesem fall 4,6G von 7,7G, pi mal daumen 6G/7,7 inclusive cached.
Eine Legende wäre nett. Die Fähigkeit zur Unterscheidung von Farben (Terminal, Monitor, Auge) wird bei htop auch vorausgesetzt.Lord_Carlos hat geschrieben:Das Gelbe ist cached. Blau ist glaube kernel process.
Für ein TUI-Tool bietet htop ohne Frage eine Menge Eye-Candy, was an sich nicht schlecht ist. Ich finde es nur immer schade, wenn darunter der dröge Informationsgehalt leidet.
- Lord_Carlos
- Beiträge: 5578
- Registriert: 30.04.2006 17:58:52
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: Dänemark
Re: Massive RAM Nutzung obwohl nichts offen
@hikaru
Ich wollte dir eigentlich nur helfen htop zu lesen.
Du kannst es auch einstellen das es direkte Zahlen oder monocrom zeigt: http://imgur.com/a/7KNV2 (Inklusive Legende)
Was aber nichts dran aendert das 4,6G / 7,7G ram benutzt wird.
Ich wollte dir eigentlich nur helfen htop zu lesen.
Du kannst es auch einstellen das es direkte Zahlen oder monocrom zeigt: http://imgur.com/a/7KNV2 (Inklusive Legende)
Was aber nichts dran aendert das 4,6G / 7,7G ram benutzt wird.
Code: Alles auswählen
╔═╗┬ ┬┌─┐┌┬┐┌─┐┌┬┐╔╦╗
╚═╗└┬┘└─┐ │ ├┤ │││ ║║
╚═╝ ┴ └─┘ ┴ └─┘┴ ┴═╩╝ rockt das Forum!
Re: Massive RAM Nutzung obwohl nichts offen
Also Apache habe ich mal ausgemacht, benutze ich nur fuer eine normale HTML Seite.
Samba startet irgendwie nicht wegen Error 11, bzw. schmiert direkt dannach wieder ab.
Laut free sind ca. 200MB im Cache
https://picload.org/image/rcocalla/prozesse.png
Samba startet irgendwie nicht wegen Error 11, bzw. schmiert direkt dannach wieder ab.
Laut free sind ca. 200MB im Cache
https://picload.org/image/rcocalla/prozesse.png
Re: Massive RAM Nutzung obwohl nichts offen
Ich würde ja gerne schauen, aber offensichtlich möchtest du keine Unterstützung von Usern, die etwas auf ihren Traffic achten müssen, oder/und ein mobiles Endgerät mit entsprechend kleinem Display haben. Dass Text als solcher gepostet werden sollte, wurde schließlich bereits angemerkt, also wird das wohl so gewollt sein. Schade.
- seep
- Beiträge: 544
- Registriert: 31.10.2004 14:21:08
- Lizenz eigener Beiträge: GNU Free Documentation License
- Wohnort: HSK
Re: Massive RAM Nutzung obwohl nichts offen
Meinen Kommentar im Parallelthread hast Du nicht beachtet? viewtopic.php?f=29&t=164923#p1129408Knogle hat geschrieben:Samba startet irgendwie nicht wegen Error 11, bzw. schmiert direkt dannach wieder ab.
Wegen des Speicherverbrauchs: Reboot tut gut. Dann RAM-Verbrauch beobachten (/proc/meminfo per cronjob an ein eigenes Logfile anhängen) und schauen, wann er ansteigt. Sofern er nicht schon gleich nach dem Neustart so hoch ist.
Mit hilfe Deiner Screenshots werden wir den Übeltäter nicht finden können.
Re: Massive RAM Nutzung obwohl nichts offen
Hallo,
was ist mit tmpfs? Das wird nämlich unter htop-grün gezählt.
Eventuell verzwickt.
Es können mehrere tmpfs übereinandergemountet werden,
ein vollgeschriebenes tmpfs würde dann beim 'df -m' nicht angezeigt.
Unter htop-grün weiterhin gezählt.
ZBsp. ein dafür verantwortliches wachsendes logfile o.ä. wäre dann nur bei 'lsof' sichtbar.
was ist mit tmpfs? Das wird nämlich unter htop-grün gezählt.
Eventuell verzwickt.
Es können mehrere tmpfs übereinandergemountet werden,
ein vollgeschriebenes tmpfs würde dann beim 'df -m' nicht angezeigt.
Unter htop-grün weiterhin gezählt.
ZBsp. ein dafür verantwortliches wachsendes logfile o.ä. wäre dann nur bei 'lsof' sichtbar.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
Re: Massive RAM Nutzung obwohl nichts offen
Poste man die Ausgabe von
Dort gibt es einen interessante Eintrag.
Code: Alles auswählen
free -h
-
- Beiträge: 3020
- Registriert: 03.11.2009 13:45:23
- Lizenz eigener Beiträge: Artistic Lizenz
-
Kontaktdaten:
Re: Massive RAM Nutzung obwohl nichts offen
Du kannst sowohl top als auch htop auch nach speicherverbrauch sortieren...
dann putze ich hier mal nur...
Eine Auswahl meiner Skripte und systemd-units.
https://github.com/xundeenergie
auch als Debian-Repo für Testing einbindbar:
deb http://debian.xundeenergie.at/xundeenergie testing main
Eine Auswahl meiner Skripte und systemd-units.
https://github.com/xundeenergie
auch als Debian-Repo für Testing einbindbar:
deb http://debian.xundeenergie.at/xundeenergie testing main
Re: Massive RAM Nutzung obwohl nichts offen
Souname hat geschrieben:Poste man die Ausgabe vonDort gibt es einen interessante Eintrag.Code: Alles auswählen
free -h
Mal die Ausgabe von free -h
free -h
total used free shared buff/cache available
Mem: 7,7G 4,5G 1,3G 162M 1,9G 2,8G
Swap: 367M 2,6M 365M
Re: Massive RAM Nutzung obwohl nichts offen
'free -mh' gibt recht schnell aufschluss darüber, wieviel vom "used" ram tatsächlich nur für caches/buffer, d.h. bei bedarf verfügbar ist:
Wenn das System wirklich unter Ressourcendruck leidet (bei nur 8GB durchaus zu erwarten): wirf wie schon gesagt wurde den Apache runter, erst recht da er sowieso nix auf nem Fileserver zu suchen hat.
Allerdings frage ich mich auch, wer auf die Idee kommt für einen Fileserver ein 12-kern (dual-hexacore?) System (-> 24 threads) hinzustellen und dann nur 8GB RAM zu verbauen... AFAIK verlangen die meisten Plattformen doch mindestens 2 Module je Socket? Wo gräbt man heute noch 2GB Module aus
Ansonsten kurz und knapp: Solange das System nicht massiv swapt würde ich mir keine Gedanken machen - wobei 8GB wirklich EXTREM wenig ist für einen Fileserver, da würde ich dringend nachlegen... Samba ist ohnehin ein ziemlicher Ressourcenfresser (und der läuft bei dir ja noch nichtmal...), erst recht wenn man ihn halbwegs performant bekommen will. An NFS kommt SMB aber sowieso nichtmal annähernd ran - je mehr Bandbreite zur Verfügung steht, desto extremer wird der Unterschied - mit 10Gbit sind es ca 20-25% (!!), der Overhead (RAM und CPU) steigt dabei ca im selben Verhältniss... Wenn du also keine Windowskisten bedienen musst, entsorg auch den Samba.
Allgemein ist eine hohe RAM-Nutzung völlig normal und legitim, erst recht nach mehreren Tagen uptime. RAM ist dazu da genutzt zu werden - nur weil andere sogenannte "Betriebssysteme" (bzw eigentlich nur ein Betriebssystem...) auch bei massenhaft vorhandenem RAM ständig auf Platten auslagert, ist das noch lange nicht 'richtig' so. Wozu verbaut man massenhaft teuren RAM wenn er nicht genutzt wird und stattdessen auf Platten zurückgegriffen wird die um einen 6stelligen Faktor langsamer sind??
Die obige Ausgabe ist von einem alten proxmox host - wenn der nicht nach 3-4 Tagen >90%RAM nutzt ist was faul.
Selbiges gilt auch für andere Server - auch bzw gerade für Storage/Fileserver:
Der Großteil an 'Wired' memory ist für den ZFS cache (ARC) - wird also völlig korrekt für den Einsatzzweck des Systems genutzt, nämlich so viel Daten wie möglich direkt aus dem Cache zur Verfügung stellen, damit nicht ständig auf drehenden Rost zurückgegriffen werden muss.
Als Kontrast ein Virtualisierungshost (smartOS):
Die Statistiken sind etwas verwaschen, da die KVM-Zones zum teil in "Kernel" als auch "Anon" gerechnet werden. Das System wurde vor 2 Tagen neu gestartet, hostet aktuell nur eine handvoll KVM-VMs und Zonen und keine davon wird bisher produktiv genutzt, daher ist 48% free völlig i.O. (bei 128GB gesamt...). Der Großteil (~40GB) geht aber für die VMs/Zonen drauf, der nächste große Anteil (~33GB) für ZFS caches - also völlig legitime Nutzung der vorhandenen Ressourcen...
Code: Alles auswählen
# free -mh
total used free shared buffers cached
Mem: 94G 94G 260M 0B 815M 47G
-/+ buffers/cache: 45G 48G
Allerdings frage ich mich auch, wer auf die Idee kommt für einen Fileserver ein 12-kern (dual-hexacore?) System (-> 24 threads) hinzustellen und dann nur 8GB RAM zu verbauen... AFAIK verlangen die meisten Plattformen doch mindestens 2 Module je Socket? Wo gräbt man heute noch 2GB Module aus
Ansonsten kurz und knapp: Solange das System nicht massiv swapt würde ich mir keine Gedanken machen - wobei 8GB wirklich EXTREM wenig ist für einen Fileserver, da würde ich dringend nachlegen... Samba ist ohnehin ein ziemlicher Ressourcenfresser (und der läuft bei dir ja noch nichtmal...), erst recht wenn man ihn halbwegs performant bekommen will. An NFS kommt SMB aber sowieso nichtmal annähernd ran - je mehr Bandbreite zur Verfügung steht, desto extremer wird der Unterschied - mit 10Gbit sind es ca 20-25% (!!), der Overhead (RAM und CPU) steigt dabei ca im selben Verhältniss... Wenn du also keine Windowskisten bedienen musst, entsorg auch den Samba.
Allgemein ist eine hohe RAM-Nutzung völlig normal und legitim, erst recht nach mehreren Tagen uptime. RAM ist dazu da genutzt zu werden - nur weil andere sogenannte "Betriebssysteme" (bzw eigentlich nur ein Betriebssystem...) auch bei massenhaft vorhandenem RAM ständig auf Platten auslagert, ist das noch lange nicht 'richtig' so. Wozu verbaut man massenhaft teuren RAM wenn er nicht genutzt wird und stattdessen auf Platten zurückgegriffen wird die um einen 6stelligen Faktor langsamer sind??
Die obige Ausgabe ist von einem alten proxmox host - wenn der nicht nach 3-4 Tagen >90%RAM nutzt ist was faul.
Selbiges gilt auch für andere Server - auch bzw gerade für Storage/Fileserver:
Code: Alles auswählen
# top -n | head -n6
last pid: 3680; load averages: 0.10, 0.09, 0.08 up 51+06:09:23 16:15:17
46 processes: 1 running, 45 sleeping
Mem: 1348K Active, 165M Inact, 61G Wired, 1013M Free
ARC: 53G Total, 4429M MFU, 47G MRU, 5796K Anon, 555M Header, 1314M Other
Swap:
Als Kontrast ein Virtualisierungshost (smartOS):
Code: Alles auswählen
# echo ::memstat | mdb -k
Page Summary Pages MB %Tot
------------ ---------------- ---------------- ----
Kernel 3233597 12631 9%
Boot pages 68306 266 0%
ZFS File Data 8760020 34218 23%
Anon 7438153 29055 20%
Exec and libs 4683 18 0%
Page cache 15488 60 0%
Free (cachelist) 15372 60 0%
Free (freelist) 18207508 71123 48%
Total 37743127 147434
Physical 37743126 147434
-
- Beiträge: 2091
- Registriert: 07.07.2006 18:32:05
Re: Massive RAM Nutzung obwohl nichts offen
Bei mirKnogle hat geschrieben: Habe aktuell Debian 8.7 installiert,
free -h
total used free shared buff/cache available
Mem: 7,7G 4,5G 1,3G 162M 1,9G 2,8G
Swap: 367M 2,6M 365M
(als normaler Benutzer identisch)# free -h
total used free shared buffers cached
Mem: 7.8G 7.5G 268M 22M 476K 6.3G
-/+ buffers/cache: 1.2G 6.6G
Swap: 3.0G 128K 3.0G
Einmal das andere Format der Ausgabe zu Deinem (hier /usr/bin/free aus procps 3.3.9).
Weiterhin ergibt sich bei mir
total=used+free,
bei Dir fehlt da ein GB.
@Alternativende + r4pt0r
Wenn ich RES/SHR von Knogles htop zusammenziehe, komme ich auf ca 100-200MB
(könnte den "shared 162M" entsprechen).
Wo stecken die 4GB 'htop-grün'?
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")
Re: Massive RAM Nutzung obwohl nichts offen
@ r4p0r
Ich habe aktuell ein System auf Sockel 2011-v3 Basis mit einem 12 Kerner und 1x 8GB DDR4 RAM.
Vorher waren 32GB drin, aber ich dachte fuer den Zweck braucht er nicht soviel RAM, daher habe ich 3 Module in meinem PC verbaut.
Was ich noch vergessen habe: Ich nutze auf 2 Festplatten ZFS, 1x 3TB und 1x 1TB, keine Ahnung ob das der Grund sein kannn.
Weiterhin ist mir wie rendegast beim zusammenrechnen auch aufgefallen dass da irgendwie was fehlt.
Ich habe aktuell ein System auf Sockel 2011-v3 Basis mit einem 12 Kerner und 1x 8GB DDR4 RAM.
Vorher waren 32GB drin, aber ich dachte fuer den Zweck braucht er nicht soviel RAM, daher habe ich 3 Module in meinem PC verbaut.
Was ich noch vergessen habe: Ich nutze auf 2 Festplatten ZFS, 1x 3TB und 1x 1TB, keine Ahnung ob das der Grund sein kannn.
Weiterhin ist mir wie rendegast beim zusammenrechnen auch aufgefallen dass da irgendwie was fehlt.
Re: Massive RAM Nutzung obwohl nichts offen
ZFS belegt RAM wenn verfügbar für den ARC - das lässt sich zwar begrenzen, macht aber bei nem Storageserver keinen Sinn. Der durch den ARC belegte RAM kann zwar freigegeben werden bei Bedarf, aber grundsätzlich profitiert ZFS mehr als andere Dateisysteme von caching im RAM (erst recht mit compressed ARC, aber KA ob/wann das feature in ZoL ankommt). Eigentlich wirft man so viel RAM wie möglich in ein Storagesystem und nimmt nix davon raus
Zudem nutzt das System jetzt nur einen Speicherkanal - die Performance dürfte ziemlich unterirdisch sein...
Selbst 32GB ist noch eher spährlich - da wäre es sinnvoller gewesen nen kleinen E5 quadcore oder Xeon-D zu nehmen der für storagesysteme i.d.r völlig ausreicht und dafür in deutlich mehr RAM zu investieren. Ausserdem fehlen dir eigentlich mindestens 2 platten - ZFS ohne redundanz ist relativ sinnfrei...
Für kleinere/mittlere Storagesysteme sind die Xeon-D ziemlich genial - sowas wird wohl beim kommenden upgrade in meinem Storageserver Zuhause verbaut werden: 2x 10Gbit im SoC, 2x NVMe für caching und optional sogar mit 24x SAS onboard... Energieverbrauch ist bei den Systemen unschlagbar bei max 45W TDP für die 8-kern Varianten. Ein gateway mit Xeon-D 1518 das ich nächste Woche in einer Niederlassung installieren werde hat bisher inkl 2xSSD und 32GB RAM noch nichtmal annähernd die 50W Marke erreicht, selbst beim Kernel bauen.
Zudem nutzt das System jetzt nur einen Speicherkanal - die Performance dürfte ziemlich unterirdisch sein...
Selbst 32GB ist noch eher spährlich - da wäre es sinnvoller gewesen nen kleinen E5 quadcore oder Xeon-D zu nehmen der für storagesysteme i.d.r völlig ausreicht und dafür in deutlich mehr RAM zu investieren. Ausserdem fehlen dir eigentlich mindestens 2 platten - ZFS ohne redundanz ist relativ sinnfrei...
Für kleinere/mittlere Storagesysteme sind die Xeon-D ziemlich genial - sowas wird wohl beim kommenden upgrade in meinem Storageserver Zuhause verbaut werden: 2x 10Gbit im SoC, 2x NVMe für caching und optional sogar mit 24x SAS onboard... Energieverbrauch ist bei den Systemen unschlagbar bei max 45W TDP für die 8-kern Varianten. Ein gateway mit Xeon-D 1518 das ich nächste Woche in einer Niederlassung installieren werde hat bisher inkl 2xSSD und 32GB RAM noch nichtmal annähernd die 50W Marke erreicht, selbst beim Kernel bauen.