(gelöst) apt und /var/cache/apt/archives

[michaa7]

Was ist die ****einfachste**** Möglichkeit von Rechner II bei einen "apt update && apt dist-upgrade" auf /var/cache/apt/archives von Rechenr I zuzugreifen.

Auch wenn das mit heutigen Bandbreiten ein geringes Problem ist so finde ich es dennoch Ressourcenverschwendung mir beim update von Rechner II Pakete aus dem Netz zu holen die längst im Archiv von Rechner I liegen.

Das liebste wäre mir ich könnte, wie dies ja mit einer Installations-CD geht oder zumindest mal ging, meine /var/cache/apt/archives irgendwie als zusätzliche Quelle in sowas wie /etc/apt/sources.list.d/local.list eintragen und fertig ist die Laube.

Dieses Gefummel mit apt-proxy, apt-cache oder apt-was-weiß-ich habe ich jeweils nach anfänglichem Studium der man-pages sein lassen.

Was ist die simpelste Lösung. Vielleicht ja wirklich: ... dann hole ich mir das eben doch aus dem Netz.

[Tintom]

Was ist die ****einfachste**** Möglichkeit von Rechner II bei einen "apt update && apt dist-upgrade" auf /var/cache/apt/archives von Rechenr I zuzugreifen.

Auch wenn das mit heutigen Bandbreiten ein geringes Problem ist so finde ich es dennoch Ressourcenverschwendung mir beim update von Rechner II Pakete aus dem Netz zu holen die längst im Archiv von Rechner I liegen.

Das liebste wäre mir ich könnte, wie dies ja mit einer Installations-CD geht oder zumindest mal ging, meine /var/cache/apt/archives irgendwie als zusätzliche Quelle in sowas wie /etc/apt/sources.list.d/local.list eintragen und fertig ist die Laube.

Dieses Gefummel mit apt-proxy, apt-cache oder apt-was-weiß-ich habe ich jeweils nach anfänglichem Studium der man-pages sein lassen.

Was ist die simpelste Lösung. Vielleicht ja wirklich: ... dann hole ich mir das eben doch aus dem Netz.

Bei mehreren Rechnern würde ich hier apt-cacher-ng nehmen. Für einen Rechner geht es alternativ geht auch so:

1. Sämtliche *.debs in ein Verzeichnis kopieren
2. dpkg-scanpackages auf das Verzeichnis loslassen
3. Anschließend das Verzeichnis in die sources.list einfügen

[JTH]

Was ist die simpelste Lösung.

Geschmackssache. Ich habe auf meinem Desktop-Rechner apt-cacher-ng installiert. Auf diesem zusätzlich und auf meinen beiden anderen Rechnern jeweils squid-deb-proxy-client – das sucht bei jeder apt-Benutzung transparent einen apt-Proxy, hier dann den apt-cacher-ng, per Avahi und benutzt ihn, wenn online.

Wenn ich mich richtig erinnere, brauchte apt-cacher-ng keine manuelle Konfiguration, um benutzbar zu sein. squid-deb-proxy-client braucht definitiv keine, Installation des Pakets reicht.

squid-deb-proxy-client braucht allerdings den avahi-daemon, falls dich das stört.

[michaa7]

Hi, danke für die Antwort und den Tipp.

Ich habe das jetzt mal auf beinen Rechner so eingerichtet wie du das wohl gemacht hast. Bei der Instlltion habe ich die frage ob ein https Tunnel eingerichtet werden soll verneinte (wurde auch so geraten, ginge dabei ja wohl um die Erreichbarkeit von Servern im Netz, will ich ja nicht unbedingt).

Sonst habe ich weiter nichts eingerichtet, frage mich jedoch wie ich sehe ob das funktioniert. Jedenfalls sehe ich beim update nichts was darauf schließen lässt dass da irgendetwas anders läuft als bislang. Rechner II holt sich allerdings die Pakete aus dem Netz, soweit ich das in den apt Meldungen erkennen kann.

Beide Rechner wurden nach der Installation neu gestartet, und ich gehe davon aus, dass der cacher automatisch vom System gestartet wird, und der client bei bedarf von apt ...

aber wie gesagt, ich sehe nichts was darauf schließen ließe dass sich die Rechner bei updates irgendwie mit dem cacher verständigten. Den config file habe ich mal durchgeschaut, aber laut manual soll der cacher ja eigentlich eine funktionierende Konfiguration automatisch bei der Installation eingerichtet haben.

Woran könnte ich feststellen dass das alles funktioniert wie es soll?

Offen gestanden kann ich mir nicht vorstellen wie das ohne weiter Konfig funktionieren könnte, wo jede normal Dateioperation zwischen den Rechnern (z.b. rsync) ein Login erfordern ...

[JTH]

squid-deb-proxy-client konfiguriert apt so, dass es nach dem Proxy sucht, siehe:

Code: Alles auswählen

~$ cat /etc/apt/apt.conf.d/30autoproxy
Acquire::http::ProxyAutoDetect "/usr/share/squid-deb-proxy-client/apt-avahi-discover";

/etc/apt/apt.conf.d/30autoproxy kommt aus dem Paket squid-deb-proxy-client.

Das ruft einfach nur ein Skript auf, dass nach dem Proxy sucht. Zur Kontrolle kannst du das Skript selbst aufrufen, es gibt dann die URL des Proxys aus, wenn erkannt:

Code: Alles auswählen

~$ /usr/share/squid-deb-proxy-client/apt-avahi-discover 
http://1.2.3.4:3142/

[michaa7]

...

Code: Alles auswählen

~$ cat /etc/apt/apt.conf.d/30autoproxy
Acquire::http::ProxyAutoDetect "/usr/share/squid-deb-proxy-client/apt-avahi-discover";

^^^^^
Das klappt.

Code: Alles auswählen

~$ /usr/share/squid-deb-proxy-client/apt-avahi-discover 
http://1.2.3.4:3142/

Da bekomme ich keine IP, aber auch keinen Fehler. Es erscheint einfach ein prompt.

Normalerweise ist ja kein Fehler eine gute Nachricht, da du aber wohl eine IP bekommst bin ich mir nicht so sicher ob kein Fehler sondern promt auch in diesem Fall ne gute Nachricht bedeuten soll..

Und es irritiert eben das beim Herunterladen von Paketen nach wie vor URLs ferner Repos erscheinen und nichts was irgendwie auf LAN schließen ließe.

[JTH]

Und es irritiert eben das beim Herunterladen von Paketen nach wie vor URLs ferner Repos erscheinen und nichts was irgendwie auf LAN schließen ließe.

Das ist korrekt, der Proxy ist auf diesem Weg transparent. Man muss die sources.list z.B. nicht anpassen, die URLs erscheinen wie ohne Proxy.

Da bekomme ich keine IP, aber auch keinen Fehler. Es erscheint einfach ein prompt.

Normalerweise ist ja kein Fehler eine gute Nachricht, da du aber wohl eine IP bekommst bin ich mir nicht so sicher ob kein Fehler sondern promt auch in diesem Fall ne gute Nachricht bedeuten soll..

Dann stimmt was nicht. Es sollte schon eine Ausgabe kommen.

Auf dem Rechner, auf dem apt-cacher-ng läuft, muss avahi-daemon installiert sein, falls du dort nicht squid-deb-proxy-client mitinstallierst.

Ansonsten: Wenn ich das richtig sehe, sollte der apt-cacher-ng nach Installation direkt auf 0.0.0.0:3142 lauschen, also auch von anderern Rechnern erreichbar sein. Läuft der Dienst sicher? Was sagt dir

Code: Alles auswählen

root@pc:~# ss -lp '( sport = :3142 )'

auf dem Rechner mit apt-cacher-ng?

[michaa7]

Code: Alles auswählen

root@pc:~# ss -lp '( sport = :3142 )'

Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
tcp LISTEN 0 250 0.0.0.0:3142 0.0.0.0:*
tcp LISTEN 0 250 [::]:3142 [::]:*
mptcp LISTEN 0 250 0.0.0.0:3142 0.0.0.0:*
mptcp LISTEN 0 250 [::]:3142 [::]:*

Auf dem Rechner, auf dem apt-cacher-ng läuft, muss avahi-daemon installiert sein, falls du dort nicht squid-deb-proxy-client mitinstallierst.

Es ist avahi-daemon UND squid-deb-proxy-client auf dem Rechner I mit apt-cacher-ng installiert, auf Rechner II nur avahi-daemon UND squid-deb-proxy-client. Und auf die ...*-discover anfrage bekomme ich bei beiden Rechnern nur einen promt.

Nur als Hinweis und Zusatzfrage: In der /etc/apt/sources.list.d/debian.list ist der debian loadbalancer

# debian loadbalancer
deb http://deb.debian.org/debian/ unstable main contrib non-free

eingetragen. Ist das vielleicht auch ein proxy und die kommen sich ins Gehege?

[JTH]

Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
tcp LISTEN 0 250 0.0.0.0:3142 0.0.0.0:*
tcp LISTEN 0 250 [::]:3142 [::]:*
mptcp LISTEN 0 250 0.0.0.0:3142 0.0.0.0:*
mptcp LISTEN 0 250 [::]:3142 [::]:*

Das passt.

Nur als Hinweis und Zusatzfrage: In der /etc/apt/sources.list.d/debian.list ist der debian loadbalancer eingetragen. Ist das vielleicht auch ein proxy und die kommen sich ins Gehege?

Du meinst deb.debian.org? Nein, das geht, benutze ich auch.

Wie schaut ansonsten deine sources.list aus? Benutzt du evtl. https-URLs in der sources.list? Die funktionieren (offensichtlich) nicht mit dem apt-cacher-ng, die kann er höchstens durchleiten – erfüllt dann aber den Cache-Zweck nicht mehr.

[michaa7]

# debian loadbalancer
deb http://deb.debian.org/debian/ unstable main contrib non-free
#deb-src http://deb.debian.org/debian/ unstable main contrib non-free

deb http://deb.debian.org/debian/ experimental main contrib non-free
# deb-src http://deb.debian.org/debian/ experimental main contrib non-free

# deb http://incoming.debian.org/debian-buildd buildd-unstable main contri>
# deb-src http://incoming.debian.org/debian-buildd buildd-unstable main contri>

deb http://deb.debian.org/debian/ stable main contrib non-free

^^^^
Das ist meine vollständige ../debian.list

Ich habe ein paar Fremdrepos (vivaldi, jami, skype, siduction) von denen nur die ersten drei https nutzen. Aber ich gehe davon aus, dass dies das cachen der Debian Repos nicht beeinflussen sollte.

hmmm

[JTH]

# debian loadbalancer
deb http://deb.debian.org/debian/ unstable main contrib non-free
#deb-src http://deb.debian.org/debian/ unstable main contrib non-free

deb http://deb.debian.org/debian/ experimental main contrib non-free
# deb-src http://deb.debian.org/debian/ experimental main contrib non-free

# deb http://incoming.debian.org/debian-buildd buildd-unstable main contri>
# deb-src http://incoming.debian.org/debian-buildd buildd-unstable main contri>

deb http://deb.debian.org/debian/ stable main contrib non-free

Passt prinzipiell. Nur die Mischung von stable, unstable und experimental fällt mir auf, aber das hat hiermit nichts zu tun

Ich habe ein paar Fremdrepos (vivaldi, jami, skype, siduction) von denen nur die ersten drei https nutzen.

Ja, das geht eigentlich. Benutze auch einzelne Fremdrepos.

Hmm. Wird der apt-cacher-ng denn per Avahi gefunden? Auf allen beteiligten Rechnern:

Code: Alles auswählen

~$ avahi-browse -at
+   eno1 IPv6 apt-cacher-ng proxy on PC                     _apt_proxy._tcp      local
+   eno1 IPv4 apt-cacher-ng proxy on PC                     _apt_proxy._tcp      local
+     lo IPv4 apt-cacher-ng proxy on PC                     _apt_proxy._tcp      local

Habe grad nochmal geschaut, ich habe da meine ich wirklich nichts von Hand konfigurieren müssen, damits in meinem simplen Heimnetzwerk benutzbar ist.

[michaa7]

Hmm. Wird der apt-cacher-ng denn per Avahi gefunden? Auf allen beteiligten Rechnern:

Wohl nicht wirklich.

Auf Rechner I mit apt-cacher-ng erscheint als Antwort nur ein promt und keine Ausgabe, auf Rechner II erscheint nichts was auf apt-cacher-ng hinweist, dafür aber ein "Remote Disk Managemen local", was mich ein klitzekleines bisschen irritiert.


edit://
kann es sein dass vielleicht "apt-get install auto-apt-proxy" fehlt. Ich lese darüber gerade auf der Seite.

Laut

Code: Alles auswählen

journalctl -p 7 -u apt-cacher-ng 

läuft er aber:

...
-- Reboot --
Okt 29 22:55:05 neutower systemd[1]: Starting Apt-Cacher NG software download proxy...
Okt 29 22:55:06 neutower systemd[1]: Started Apt-Cacher NG software download proxy.

[JTH]

edit://
kann es sein dass vielleicht "apt-get install auto-apt-proxy" fehlt. Ich lese darüber gerade auf der Seite.

Ah ja, daher habe ich auch mein Setup. Und nein, auto-apt-proxy ist eine Alternative zu squid-deb-proxy-client.

Dumm gefragt – läuft der Avahi-Daemon auf Rechner 1?

Code: Alles auswählen

systemctl status avahi-daemon.service

Um das erstmal auszuschließen: Funktioniert es, wenn du den apt-Proxy doch einmal manuell festlegst? Z.B. in einer /etc/apt/apt.conf.d/proxy:

Code: Alles auswählen

Acquire::http::Proxy "http://IP:3142";

[michaa7]

... Z.B. in einer /etc/apt/apt.conf.d/proxy:
CODE: ALLES AUSWÄHLEN

Acquire::http::Proxy "http://IP:3142";

Mit Ip ist hier sicher die LAN-ip des Rechners gemeint?

$ systemctl status avahi-daemon.service
● avahi-daemon.service - Avahi mDNS/DNS-SD Stack
Loaded: loaded (/lib/systemd/system/avahi-daemon.service; enabled; vendor >
Active: active (running) since Fri 2020-10-30 00:33:41 CET; 3min 31s ago
TriggeredBy: ● avahi-daemon.socket
Main PID: 695 (avahi-daemon)
Status: "avahi-daemon 0.8 starting up."
Tasks: 2 (limit: 4678)
Memory: 1.9M
CGroup: /system.slice/avahi-daemon.service
├─695 avahi-daemon: running [neutower.local]
└─731 avahi-daemon: chroot helper

Okt 30 00:33:39 neutower avahi-daemon[695]: Found user 'avahi' (UID 106) and gr>
Okt 30 00:33:40 neutower avahi-daemon[695]: Successfully dropped root privilege>
Okt 30 00:33:40 neutower avahi-daemon[695]: avahi-daemon 0.8 starting up.
Okt 30 00:33:41 neutower systemd[1]: Started Avahi mDNS/DNS-SD Stack.
Okt 30 00:33:41 neutower avahi-daemon[695]: Successfully called chroot().
Okt 30 00:33:41 neutower avahi-daemon[695]: Successfully dropped remaining capa>
Okt 30 00:33:41 neutower avahi-daemon[695]: Loading service file /services/apt->
Okt 30 00:33:41 neutower avahi-daemon[695]: Network interface enumeration compl>
Okt 30 00:33:41 neutower avahi-daemon[695]: Server startup complete. Host name >
Okt 30 00:33:41 neutower avahi-daemon[695]: Service "apt-cacher-ng proxy on neu>
lines 1-22/22 (END)...skipping...
● avahi-daemon.service - Avahi mDNS/DNS-SD Stack
Loaded: loaded (/lib/systemd/system/avahi-daemon.service; enabled; vendor preset: enable>
Active: active (running) since Fri 2020-10-30 00:33:41 CET; 3min 31s ago

hier wird sogar "Okt 30 00:33:41 neutower avahi-daemon[695]: Service "apt-cacher-ng proxy on neu>" aufgelistet,
dennoch:

avahi-browse -at

Keine Ausgabe.

Danke soweit. Ich leg mich jetzt erstmal hin.

[JTH]

Mit Ip ist hier sicher die LAN-ip des Rechners gemeint?

Genau, die IP des Rechners, auf dem apt-cacher-ng läuft.

[MSfree]

Genau, die IP des Rechners, auf dem apt-cacher-ng läuft.

Und warum soltle man da sie IP nehmen und nicht den Hostnamen? Die IP ändert sich ggfls. durch DHCP, der Hostname ist konstant und wird heutzutage von allen gängigen Plastikroutern im DNS eingetragen.

[michaa7]

Genau, die IP des Rechners, auf dem apt-cacher-ng läuft.

Und warum soltle man da sie IP nehmen und nicht den Hostnamen? Die IP ändert sich ggfls. durch DHCP, der Hostname ist konstant und wird heutzutage von allen gängigen Plastikroutern im DNS eingetragen.

Naja, ich habe DHCP "off" und trage alle IPs per Hand ein. Ich will einfach wissen welcher Rechner welche IP hat. Das geht zwar wohl auch mit DHCP, aber ich habe das nicht verlässlich hinbekommen, dann habe ich es gelassen. Tut aber hier nichts zur Sache. Recht hast du dennoch. Kann man also den Port einfach an den hostnamen hängen wie bei der IP?

Code: Alles auswählen

Acquire::http::Proxy "http://<hostname>:3142";

Noch jemand ne idee was da mit apt-cache-ng nicht klappt?

[JTH]

Und warum soltle man da sie IP nehmen und nicht den Hostnamen?

Weil das in dem Moment nur temporär zum Ausprobieren gedacht war, ob der apt-Proxy überhaupt erreichbar ist, ob sich die IP verändert wäre egal, aber Hostname funktioniert natürlich auch. Ziel war ja hier, das per Avahi autokonfiguriert zu bekommen.

[schwedenmann]

Hallo


Und warumn wird nichtt einfach der apt-cacher -ng in die sources-list eingetragen ?

Das ganze proxy-Gedöns kann man sich da sparen.

Ich habe zwar bei meine diversen PC und Installtionen (Debian,Ubuntu ud Arch) immer deb://apt-cacher-IP:3142/ in jeden sources.list Eintrag gesetzt. Ob das auch mit apt-cacaher-ng-hostname:3142/ funktioniert, habe ich bisher nciht getestet, da bei mir dhcp an ist, aber die Ip fest an die MAC gebunden wird.


mfg
schwedenmann

[michaa7]

Hallo


Und warumn wird nichtt einfach der apt-cacher -ng in die sources-list eingetragen ?

Das ganze proxy-Gedöns kann man sich da sparen.

Ich habe zwar bei meine diversen PC und Installtionen (Debian,Ubuntu ud Arch) immer deb://apt-cacher-IP:3142/ in jeden sources.list Eintrag gesetzt. Ob das auch mit apt-cacaher-ng-hostname:3142/ funktioniert, habe ich bisher nciht getestet, da bei mir dhcp an ist, aber die Ip fest an die MAC gebunden wird.


mfg
schwedenmann

Falls das so funktioniert wäre das in der Tat die einfachste Lösung. Aber die Syntax kommt mir etwas komisch vor. Kannst du das nochmals kontrollieren bitte? Woran erkennst du dass es funktioniert?

[JTH]

Falls das so funktioniert wäre das in der Tat die einfachste Lösung. Woran erkennst du dass es funktioniert?

Hmm, ich hatte dich am Anfang so verstanden, dass du das nicht machen wolltest

Dieses Gefummel mit apt-proxy, apt-cache oder apt-was-weiß-ich habe ich jeweils nach anfänglichem Studium der man-pages sein lassen.

[michaa7]

Hmm, ich hatte dich am Anfang so verstanden, dass du das nicht machen wolltest

Wie? Neee, ein Einzeiler in der sources.list.d/debian.list ist letzlich was ich suche. Mit "Gefummel" meinte ich eigentlich genau das worauf ich mich nun doch eingelassen habe. Wenigstens weißt du (halbwegs ) was du tust . Ich allein wäre da verloren ohne jemanden der so ein paar Wegweisungen gibt.

Wie eben gepostet, die Syntax vom Schwedenmann schaut komisch aus, wie genau muß der vollständige Einzeiler lauten, so?

#apt-cacher-ng
deb deb://apt-cacher-ng-<hostname>:3142/

[schwedenmann]

Hallo

deb http://192.168.178.30:3142/ftp.de.debian.org/debian/ unstable main contrib non-free.
deb-src http://192.168.178.30:3142/ftp.de.debian.org/debian/ unstable main non-free contrib.
deb http://192.168.178.30:3142/deb-multimedia.org/ sid main non-free.

So sieht meine sources.list aus, mehr mach ich nicht. Die Ip 192.168.178.30 ist per mac in der Fritte festgepinnt.

Ist zwar ein Haufen Schreibarbeit, bei arch nochmehr, aber es funktioniert so.


mfg
schwedenmann

P.S
Anstatt der IP geht auch hostname, gerade getestet. Also hostname:3142/

[michaa7]

Genial, das scheint zu funktionieren. Ich sehe dass apt auf ein "repo" mit meiner LAN-IP zugreift und *von dort(!)* Pakete abholt. (Acquire::http::Proxy "http://<hostname>:3142"; hatte ich zwischenzeitlich wieder gelöscht).

BTW, es funktioniert <IP> UND <hostname> auf beiden Rechnern. Und zumindest den apt-Meldungen nach sehe ich was er wo herholt, von http://<hostname>:3142..., oder von cdn-fastly.deb.debian.org ....

Danke, super so.

EDIT://

Kleinigkeit noch:
Um zu gewährleisten dass bei Nichtverfügbarkeit des apt-cacher-ng (läppi-client on, Desktop mit cacher off) dennoch ein Update möglich ist *muss* ich die Primärquellen in der sources.list beibehalten, richtig?

[schwedenmann]

Hallo

Um zu gewährleisten dass bei Nichtverfügbarkeit des apt-cacher-ng (läppi-client on, Desktop mit cacher off) dennoch ein Update möglich ist *muss* ich die Primärquellen in der sources.list beibehalten, richtig?

richtig
bzw. die hostname:3142/ Einträge rausnehmen



mfg
schwedenmann