Datenvolumen sparen ( OS / Browser etc )

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Antworten
Benutzeravatar
speefak
Beiträge: 439
Registriert: 27.04.2008 13:54:20

Datenvolumen sparen ( OS / Browser etc )

Beitrag von speefak » 02.07.2021 10:49:34

Ist man mobil mit dem Handy als AP unterwegs ist das Datenvolumen schnell aufgebraucht. Für Android gibt es Dateneinsparungsfunktionen für das OS und die Android Opera Version stellt eine Option zum Einsparen von Daten zur Verfügung. Dabei werden Bilder über einen Operaeigenen Gateway geleitet, komprimiert und herunter skaliert.

Gibt es für Debian etwas ähnliches ? Für den Firerfox fand ich das Plugin Bandwidth Hero, da allerdings aufgrund des hohen Traffics auf den "DownSkalerGateway" diese Funktion quasi eingestellt hat. Lt. GIT besteht allerdings die Möglichkeit ein eigenes "SkalerGateway" aufzusetzen und somit ein ähnliches Feature wie in Mozilla zu implementieren. Der Code auf GIT ist aber knapp 2 Jahre alt und basiert auf Node.js - einer Java Umgebung.

Gibt es Alternativen zu BandwithHero ? Ein eigener Skaler Gateway ist nicht das Problem - gibt es sowas auch ohne Java ?

Gibt es Skripte oder Tools mit denen sich diverse OS Funktionen ( Updates des OS, Firefox etc ) mit einem Klick/Scriptaufruf deaktivieren und bei Bedarf ( WLAN unterwegs ) wieder aktivieren lassen ?

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von Tintom » 02.07.2021 11:07:32

Das was du suchst nennt man landläufig einen Proxyserver. Bei Debian ist mit Debianziproxy ein Paket in den Repos enthalten, der so etwas bietet was du suchst.

thoerb
Beiträge: 1677
Registriert: 01.08.2012 15:34:53
Lizenz eigener Beiträge: MIT Lizenz

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von thoerb » 02.07.2021 11:19:12

speefak hat geschrieben: ↑ zum Beitrag ↑
02.07.2021 10:49:34
Der Code auf GIT ist aber knapp 2 Jahre alt und basiert auf Node.js - einer Java Umgebung.

Gibt es Alternativen zu BandwithHero ? Ein eigener Skaler Gateway ist nicht das Problem - gibt es sowas auch ohne Java ?
Node.js ist JavaScript, nicht Java.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von MSfree » 02.07.2021 11:20:11

speefak hat geschrieben: ↑ zum Beitrag ↑
02.07.2021 10:49:34
Gibt es für Debian etwas ähnliches?
Der weitaus größte Anteil am Datenvolumen hat Werbung mit rund 90%. Durch blockieren von Werbung im Firefox bist du schon den größten Datenbrocken los. Alles andere, wie z.B. Bilder runterzurechnen ist wirklich zweitrangig. Ich habe jedenfalls bisher mein Datenvolumen noch nie überschritten, laut Telefonrechnung nutze ich im Schnitt 5% meines Volumens :mrgreen:
Gibt es Skripte oder Tools mit denen sich diverse OS Funktionen ( Updates des OS, Firefox etc ) mit einem Klick/Scriptaufruf deaktivieren und bei Bedarf ( WLAN unterwegs ) wieder aktivieren lassen ?
Nicht, daß ich wüßte. Ich habe bei mir aber auf keinem einzigen Rechner Debianunattended-upgrades installiert, das mache ich lieber manuell und kann daher den Zeitpunkt ganz gezielt steuern.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von MSfree » 02.07.2021 11:22:01

Tintom hat geschrieben: ↑ zum Beitrag ↑
02.07.2021 11:07:32
Bei Debian ist mit Debianziproxy ein Paket in den Repos enthalten, der so etwas bietet was du suchst.
Die Sache hat zwei Haken:

1. du brauchst einen (V)Server im Internet, auf dem du das installieren kannst.
2. inzwischen laufen 99.99% aller Webseiten über HTTPS, da ist ziproxy wirkungslos.

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von Tintom » 02.07.2021 17:06:10

MSfree hat geschrieben: ↑ zum Beitrag ↑
02.07.2021 11:22:01
1. du brauchst einen (V)Server im Internet, auf dem du das installieren kannst.
Ich habe hieraus
speefak hat geschrieben: ↑ zum Beitrag ↑
02.07.2021 10:49:34
Gibt es Alternativen zu BandwithHero ? Ein eigener Skaler Gateway ist nicht das Problem - gibt es sowas auch ohne Java ?
interpretiert, dass ein eigener Server bereit steht.

Aber hiermit
MSfree hat geschrieben: ↑ zum Beitrag ↑
02.07.2021 11:22:01
2. inzwischen laufen 99.99% aller Webseiten über HTTPS, da ist ziproxy wirkungslos.
hast du Recht.

Benutzeravatar
speefak
Beiträge: 439
Registriert: 27.04.2008 13:54:20

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von speefak » 05.07.2021 15:22:51

Ein eigener Server 24/7 ist vorhanden. Zipproxy macht leider keinen Sinn. Es scheint da wohl nur bandwidthhero in Frage zu kommen - in Kombination mit einem Downscaler Proxy und PiHole als DNS Server - PiHole hält mehr Werbung zurück als die Plugins der Browser per default.

die unattended upgrades kann man mit folgenden Befehl ein/aussstellen :

Code: Alles auswählen

dpkg-reconfigure -plow unattended-upgrades 
ob dabei alle Updates deaktiviert werden oder nur die aus dem main Zweig wird sich zeigen. Ich habe hier grad mal 10 Minuten Debian 10 am laufen und schon sind wieder 500 MB weg :oops: . Mit nem Adroidtablet reichen 500MB für 1-2 Tage.

Alternativ eine Firewall, mit WerbeURL Blocker so konfigurieren, dass nur noch der Browser ins Netz kommt :?:

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von MSfree » 05.07.2021 15:53:04

speefak hat geschrieben: ↑ zum Beitrag ↑
05.07.2021 15:22:51
Ich habe hier grad mal 10 Minuten Debian 10 am laufen und schon sind wieder 500 MB weg
Und warum untersuchst du nicht, was, welche Webseiten, oder welches Programm diesen Netzwerkverkehr verursacht?

JTH
Moderator
Beiträge: 3014
Registriert: 13.08.2008 17:01:41
Wohnort: Berlin

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von JTH » 05.07.2021 16:00:06

speefak hat geschrieben: ↑ zum Beitrag ↑
05.07.2021 15:22:51
ob dabei alle Updates deaktiviert werden oder nur die aus dem main Zweig wird sich zeigen.
Ja, das schaltet alles ab, das periodische, automatische apt-get update und jegliche Paketupdates. Vorausgesetzt, du hattest unattended-upgrades nicht anderweitig „manuell“ angeschaltet.
Manchmal bekannt als Just (another) Terminal Hacker.

Benutzeravatar
speefak
Beiträge: 439
Registriert: 27.04.2008 13:54:20

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von speefak » 06.07.2021 12:29:32

MSfree hat geschrieben: ↑ zum Beitrag ↑
05.07.2021 15:53:04
speefak hat geschrieben: ↑ zum Beitrag ↑
05.07.2021 15:22:51
Ich habe hier grad mal 10 Minuten Debian 10 am laufen und schon sind wieder 500 MB weg
Und warum untersuchst du nicht, was, welche Webseiten, oder welches Programm diesen Netzwerkverkehr verursacht?
Ich tippe auf die unattended Updates, wie sehe ich welches Programm welchen Traffic verursacht ? Vnstat und co sind dafuer nicht geeignet. Muss dazu ein Dienst laufen oder kann man das irgendwie aus den logs auslesen ? Mit ipfire könnte man den Traffic zumindest auf den Ports auslesen.

Mit den unattended Updates ist Opera Update technisch raus. Bleibt noch das Firefox Update abzuschalten. Weiß jmd wie man das per Skript realisieren kann ( ich tippe auf Werte in der Prefs.fs ).
Zuletzt geändert von speefak am 06.07.2021 13:08:20, insgesamt 1-mal geändert.

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von Tintom » 06.07.2021 12:49:51

Reicht dir evtl. schon netstat -p --inet? Alternativ gäbe es noch Debiannethogs.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von MSfree » 06.07.2021 14:09:55

speefak hat geschrieben: ↑ zum Beitrag ↑
06.07.2021 12:29:32
Bleibt noch das Firefox Update abzuschalten.
Wenn du Firefox aus dem Debianrepository installierst, wird es mit dem Upgrade-Mechanismus von Debian, beispielsweise unattended Updates oder dem manuellen apt-get update; apt-get dist-upgrade erledigt.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von MSfree » 06.07.2021 14:11:24

Tintom hat geschrieben: ↑ zum Beitrag ↑
06.07.2021 12:49:51
Reicht dir evtl. schon netstat -p --inet? Alternativ gäbe es noch Debiannethogs.
Debianiptraf-ng ist auch immer wieder nützlich.

Benutzeravatar
speefak
Beiträge: 439
Registriert: 27.04.2008 13:54:20

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von speefak » 07.07.2021 14:28:23

MSfree hat geschrieben: ↑ zum Beitrag ↑
06.07.2021 14:09:55
speefak hat geschrieben: ↑ zum Beitrag ↑
06.07.2021 12:29:32
Bleibt noch das Firefox Update abzuschalten.
Wenn du Firefox aus dem Debianrepository installierst, wird es mit dem Upgrade-Mechanismus von Debian, beispielsweise unattended Updates oder dem manuellen apt-get update; apt-get dist-upgrade erledigt.
Das ist aber der ESR firefox, der ist nicht so aktuell wie der normale Firefox. Daher nutze ich den FF mit dem "selfupdater" .

Iptraf, nethooks netstat ... Iptraf-ng , war das nicht sogar mit Webinterface ? Werd gleich mal installieren.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von MSfree » 07.07.2021 14:33:06

speefak hat geschrieben: ↑ zum Beitrag ↑
07.07.2021 14:28:23
Das ist aber der ESR firefox, der ist nicht so aktuell wie der normale Firefox.
Aktuell im Sinne von fehlerbereinigt ist der ESR schon. Der hat halt etwas weniger Schnickschnack, wobei auch das nicht augenscheinlich in Erscheinung tritt.
Iptraf-ng , war das nicht sogar mit Webinterface ?
Nein, das ist ein CLI-Programm, das im Terminal oder auf der Textkonsole läuft.

Benutzeravatar
speefak
Beiträge: 439
Registriert: 27.04.2008 13:54:20

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von speefak » 07.07.2021 15:37:50

iptraf-ng hatte ich gerade einmal getestet - allerdings finde ich keine Möglichkeit den Traffic Programmen wie bei nethogs zuzuordnen. IP-traf bietet einen Paket Zähler, allerdings kann der Traffic einem Programm nicht zugeordnet werden. Nethogs wiederum bietet keine Möglichkeit einen Trafficcounter zu nutzen, sondern zeigt nur die aktuelle Datenrate an. Vielleicht gibt’s die Funktion eines Counters doch bei nethogs - ich arbeite mich gerade durchs Manual.

PS : Ich hatte vor einiger Zeit ein Programm, daß den Traffic über ein Webinterface anzeigte ( ähnlich der Statistiken bei IPFire ) - iptraf wars wohl nicht - welches es war fällt mir gerade nicht wieder ein :roll:

EDIT: ich glaube es war iftop - bringt aber in o.g. Kontext auch nichts, denn es zeigt nur den aktuellen Traffic an - nicht aber das Traffic Volumen über einen bestimmten Zeitraum.
Zuletzt geändert von speefak am 07.07.2021 16:04:23, insgesamt 2-mal geändert.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von MSfree » 07.07.2021 15:54:59

speefak hat geschrieben: ↑ zum Beitrag ↑
07.07.2021 15:37:50
IP-traf bietet einen Packet Zähler, allerdings kann der Traffic einem Programm nicht zugeordnet werden.
Nicht direkt zumindest. Aber man findet sehr wohl raus. über welchen Port der Traffic läuft und zu welcher Ziel-IP.

Durch einen zweiten Aufruf von

Code: Alles auswählen

netstat -tulpen
läßt sie der Traffic dann auch einem Programm zuordnen.

uname
Beiträge: 12046
Registriert: 03.06.2008 09:33:02

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von uname » 07.07.2021 15:58:52

Zur Prozess- und Anwendungsermittlung würde ich statt "netstat" eher Debianlsof verwenden. Denn am Ende ist bei Linux (fast) alles eine Datei.

Code: Alles auswählen

lsof -i |grep ...
Es gibt aber auch wohl weitere Tools wie Debianiftop,Debiannethogs oder Debianiptraf-ng (hattest du ja schon erwähnt).

Benutzeravatar
speefak
Beiträge: 439
Registriert: 27.04.2008 13:54:20

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von speefak » 07.07.2021 16:09:25

IPtraf und netstat ... dass es geht ist mir klar, aber eben sehr umständlich und es erfordert ständige Userinteraktion um Traffic, Port und Ziel zu vergleichen. Genau das wollte ich vermeiden.

Am besten wäre ein Programm, dass wie nethogs den Traffic und das Trafficvolumen für jedes Programm anzeigt. Port/Protokolbasierte Counter sind nicht optimal, denn Browser und Paketverwaltung nutzen den gleichen Port ( https ). Im Counter wird dann nur der gesamttraffic über den HTTPS Port angezeigt nicht aber der Traffic, den ein Programm verursacht.

Programm an - 1-2 Tage laufen lassen - Ausgabe welches Programm welchen Traffic verursacht hat; das wär super. Quasi eine Kombination aus vnstat und nethogs.

Auf https://wiki.ubuntuusers.de/Netzwerk-Monitoring/ ist auch einiges an Programmen gelistet. Das Programm mit dem Webinterface war ntopng.

Benutzeravatar
Tintom
Moderator
Beiträge: 3029
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von Tintom » 07.07.2021 22:33:05

speefak hat geschrieben: ↑ zum Beitrag ↑
07.07.2021 16:09:25
Programm an - 1-2 Tage laufen lassen - Ausgabe welches Programm welchen Traffic verursacht hat; das wär super. Quasi eine Kombination aus vnstat und nethogs.
Manpage lesen!
Bei nethogs Taste 'm' drücken und du bekommst was du suchst :wink:

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von wanne » 08.07.2021 21:09:22

speefak hat geschrieben: ↑ zum Beitrag ↑
05.07.2021 15:22:51
PiHole hält mehr Werbung zurück als die Plugins der Browser per default.
Das würde ich mal hart bezweifeln, wenn man nicht das vermalledeite addblock Plus verwendet, das sich von Werbern bezahlen lässt.
Prinzipiell können Plugins deutlich mehr. Und vor allem auch Werbung, die von legitimen Servern kommen blocken. (Youtube, teile von heise...)
Tintom hat geschrieben: ↑ zum Beitrag ↑
06.07.2021 12:49:51
Alternativ gäbe es noch Debiannethogs.
Cooles took knnte ich nicht. Danke!
rot: Moderator wanne spricht, default: User wanne spricht.

uname
Beiträge: 12046
Registriert: 03.06.2008 09:33:02

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von uname » 09.07.2021 07:29:38

Man könnte auch noch Javascript deaktivieren. Dann funktionieren jedoch die meisten Seiten auch nicht mehr.

Benutzeravatar
speefak
Beiträge: 439
Registriert: 27.04.2008 13:54:20

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von speefak » 09.07.2021 16:41:51

wanne hat geschrieben: ↑ zum Beitrag ↑
08.07.2021 21:09:22
speefak hat geschrieben: ↑ zum Beitrag ↑
05.07.2021 15:22:51
PiHole hält mehr Werbung zurück als die Plugins der Browser per default.
Das würde ich mal hart bezweifeln, wenn man nicht das vermalledeite addblock Plus verwendet, das sich von Werbern bezahlen lässt.
Prinzipiell können Plugins deutlich mehr. Und vor allem auch Werbung, die von legitimen Servern kommen blocken. (Youtube, teile von heise...)
Tintom hat geschrieben: ↑ zum Beitrag ↑
06.07.2021 12:49:51
Alternativ gäbe es noch Debiannethogs.
Cooles took knnte ich nicht. Danke!
UBlock Origin, NoScript sind aktiv, ohne Pi Hole im LAN habe ich auf manchen seiten trotzdem noch Werbung, beim PiHole nicht. Die PiHole default liste habe ich um einiges Listen ergänzt - aktuell werden glaube ich ca 2 Mio. Urls geblockt. Per default waren es nicht mal 100K.

Benutzeravatar
speefak
Beiträge: 439
Registriert: 27.04.2008 13:54:20

Re: Datenvolumen sparen ( OS / Browser etc )

Beitrag von speefak » 09.07.2021 16:47:39

Tintom hat geschrieben: ↑ zum Beitrag ↑
07.07.2021 22:33:05
speefak hat geschrieben: ↑ zum Beitrag ↑
07.07.2021 16:09:25
Programm an - 1-2 Tage laufen lassen - Ausgabe welches Programm welchen Traffic verursacht hat; das wär super. Quasi eine Kombination aus vnstat und nethogs.
Manpage lesen!
Bei nethogs Taste 'm' drücken und du bekommst was du suchst :wink:
m cycle between display modes (kb/s, kb, b, mb) :?: m hatte ich direkt ignoriert weil ich davon ausging, dass alles weiterhin pro Zeiteinheit ausgeben wird ( MB/s KB/s ). Aber wer lesen kann ist klar im Vorteil : kb/s , kb,b,mb :wink:

EDIT : nethogs -v<1|2|3> startet nethogs mit dem ensprechenden counter für den Traffic ;)

Antworten