[Ja] Ist unattended-upgrade jetzt funktionsfähig?

[ingo2]

Ich habe seit ein paar Tagen auch das Problem, daß unattended-upgrades nicht durchläuft. Es handelt sich dabei um das Upgrade von Jessie auf das Point-Release v8.7 mit insgesamt 45 Paketen. Darunter sind u.A.:
exim4
udev
Kernel

Habe schon fast alles probiert, das Holen der Pakete läuft glatt durch, auch das Entpacken und Einrichten noch zum Teil, aber irgendwann hakt's dann. In der Mail an root steht nur:

Code: Alles auswählen

Packages that will be upgraded: base-files bash ca-certificates dbus dbus-x11 e2fslibs e2fsprogs exim4 exim4-base exim4-config exim4-daemon-light file hplip hplip-data libc-bin libc-dev-bin libc6 libc6-dev libcairo-gobject2 libcairo2 libcomerr2 libdbus-1-3 libfcgi-perl libgnutls-deb0-28 libgnutls-openssl27 libgudev-1.0-0 libhogweed2 libhpmud0 libio-socket-ssl-perl libmagic1 libmpg123-0 libnettle4 libpam-modules libpam-modules-bin libpam-runtime libpam-systemd libpam0g libpng12-0 libsane-hpaio libss2 libsystemd0 libudev1 libwmf0.2-7 linux-compiler-gcc-4.8-x86 linux-headers-3.16.0-4-amd64 linux-headers-3.16.0-4-common linux-image-3.16.0-4-amd64 linux-libc-dev locales multiarch-support printer-driver-hpcups printer-driver-hpijs printer-driver-postscript-hp sed systemd systemd-sysv udev w3m wireless-regdb
Dpkg-Protokoll wird nach »/var/log/unattended-upgrades/unattended-upgrades-dpkg.log« geschrieben
Installation der Upgrades fehlgeschlagen!
Fehlermeldung: »Failed to fetch http://ftp.de.debian.org/debian/pool/main/d/dbus/dbus_1.8.22-0+deb8u1_amd64.deb »ftp.de.debian.org« konnte nicht aufgelöst werden.
«
Dpkg gab einen Fehler zurück. Siehe »/var/log/unattended-upgrades/unattended-upgrades-dpkg.log« für Einzelheiten   

Hier ein paar Beispiele aus /var/log/unattended-upgrades/unattended-upgrades-dpkg.log

Code: Alles auswählen

Vorbereitung zum Entpacken von .../libgd3_2.1.0-5+deb8u8_amd64.deb ...
Entpacken von libgd3:amd64 (2.1.0-5+deb8u8) über (2.1.0-5+deb8u7) ...
libgd3:amd64 (2.1.0-5+deb8u8) wird eingerichtet ...
Trigger für libc-bin (2.19-18+deb8u6) werden verarbeitet ...
Fehler beim Verbinden: Fehler beim Senden der Anmeldedaten:Fehler beim Senden der Nachricht: Datenübergabe unterbrochen (broken pipe)
.........
(Lese Datenbank ... 129129 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../libtiff5_4.0.3-12.3+deb8u2_amd64.deb ...
Entpacken von libtiff5:amd64 (4.0.3-12.3+deb8u2) über (4.0.3-12.3+deb8u1) ...
libtiff5:amd64 (4.0.3-12.3+deb8u2) wird eingerichtet ...
Trigger für libc-bin (2.19-18+deb8u6) werden verarbeitet ...
Fehler beim Verbinden: Fehler beim Senden der Anmeldedaten:Fehler beim Senden der Nachricht: Datenübergabe unterbrochen (broken pipe)
......
Vorbereitung zum Entpacken von .../libvncclient0_0.9.9+dfsg2-6.1+deb8u2_amd64.deb ...
Entpacken von libvncclient0:amd64 (0.9.9+dfsg2-6.1+deb8u2) über (0.9.9+dfsg2-6.1+deb8u1) ...
libvncclient0:amd64 (0.9.9+dfsg2-6.1+deb8u2) wird eingerichtet ...
Trigger für libc-bin (2.19-18+deb8u6) werden verarbeitet ...
Fehler beim Verbinden: Verbindung ist gescheitert:Verbindungsaufbau abgelehnt

Ich habe unattended-upgrades so konfiguriert, daß alle Pakete vorm Shutdown installiert werden und natürlich Mail an root.

In der /etc/apt/listchanges.conf steht folgendes:

Code: Alles auswählen

[apt]
frontend=pager
email_address=root
confirm=0
save_seen=/var/lib/apt/listchanges.db
which=news

Und ich habe auch darauf geachtet, dass kein LF am Dateiende ist, um diesem Bug zu begegnen:
https://bugs.debian.org/cgi-bin/bugrepo ... bug=781425

Irgendwie scheint da unattended-upgrades "den Ast abzusägen, auf dem es sitzt".

Hat da jemand noch eine Idee, woran das liegen kann?

Ich konfiguriere gerade eine Rechner für einen Bekannten, der sich nichts traut zu ändern/machen, aus Angst was "kaputt zu machen". Da wäre ein voll autarkes System mit Jessie und unattended-upgrades eigentlich optimal. Die (zwangsläufig gepinnten) Pakete mit "Update-notifier" aus Wheezy funktionieren zwar noch unter Jessie, aber das ist unsauber. Und letztlich soll dieses automatische Upgrade in Stretch ja default werden.

Gruß, Ingo

[rendegast]

Kein Fehler von unattended-upgrades,
für dieses wird per 'apt-get -d' der Download der Pakete durchgeführt,
unattended-upgrades macht dann 'dpkg -i' auf die heruntergeladenen Pakete.
Die Fehler sind "dpkg" oder diesem nachgeordnet.

Fehler beim Verbinden: Fehler beim Senden der Anmeldedaten:Fehler beim Senden der Nachricht: Datenübergabe unterbrochen (broken pipe)

Wegen "Anmeldedaten": Irgendein notifier horchend am dbus o.ä.?
Oder das von Dir aufgeführte apt-listchanges will die Änderungsdaten abrufen? (wofür dabei "Anmeldedaten"?)

Dpkg-Protokoll wird nach »/var/log/unattended-upgrades/unattended-upgrades-dpkg.log« geschrieben
Installation der Upgrades fehlgeschlagen!
Fehlermeldung: »Failed to fetch http://ftp.de.debian.org/debian/pool/ma ... _amd64.deb »ftp.de.debian.org« konnte nicht aufgelöst werden.«

Netzwerkprobleme zu dem Zeitpuntk? Zwangstrennung?
(/etc/cron.daily/apt erzeugt eine Pause von im default bis zu einer halben Stunde)
Speziell das Herunterladen der Pakete sollte aber abgeschlossen sein,
wenn unattended-upgrades seine Arbeit (dpkg -i) aufnimmt:

Code: Alles auswählen

APT::Periodic::Download-Upgradeable-Packages "1";

Vielleicht wird ein vorheriger fehlgeschlagender Download des periodic beim dpkg wiederholt?
Vielleicht werden auch alle Meldungen (inklusive der 'apt-get -d' davor) gesammelt?

... daß alle Pakete vorm Shutdown installiert werden

Böses systemd hat zu dem Zeitpunkt schon die (für apt-listchanges(?) oder nachzuholende vorherig fehlgeschlagenen Downloads nötige) Netzwerkverbindung beendet?

Deinstalliere / Deaktiviere (siehe apt.conf.d/20listchanges) doch erstmal apt-listchanges.




-------------------------------
Ich mache eine Prüfung auf Zustand des Verzeichnis
/var/lib/apt/lists/partial/ (nach einem '... update')
bevor apt-periodic / unattended-upgrades ihre Arbeit erlaubt wird.
Das könnte erweitert werden, um auch
/var/cache/apt/archives/partial/ (nach einem '... -d dist-upgrade')
abzudecken.

[Taomon]

Bei mit werden mit unattended upgrades nur security-fixes automatisch installiert. Alles andere nur runtergeladen.

2-3 mal in der Woche führ ich dann

Code: Alles auswählen

apt full-upgrade

aus.

Code: Alles auswählen

apt-config dump | grep -i unattended

Gruß Taomon

[ingo2]

So, ich bin jetzt Dank eurer Hilfe ein Stück weiter.

Es liegt nicht an unattended-upgrades selbst, sondern es hapert bei der Installation bzw. Upgrade von udev.
Zunächst habe ich alle Pakete downgeloaded mit

Code: Alles auswählen

unattended-upgrade -v -d

und danach einen Reboot. Dabei beginnt die Installation von 13 aus 64 Paketen und zwar bis das paket udev dran ist. Die Logs sagen dazu:

cat /var/log/unattended-upgrades/unattended-upgrades.log

Code: Alles auswählen

.....
2017-01-19 12:26:55,910 DEBUG fetch.run() result: 0
2017-01-19 12:26:55,910 DEBUG dpkg is configured not to cause conffile prompts
2017-01-19 12:26:55,911 DEBUG InstCount=64 DelCount=0 BrokenCount=0
2017-01-19 12:26:55,911 DEBUG Configured to install on shutdown, so exiting now
2017-01-19 12:27:33,700 INFO Pakete, die anfangs auf die schwarzen Liste standen:
2017-01-19 12:27:33,701 INFO Initial whitelisted packages:
2017-01-19 12:27:33,702 INFO Skript für unbeaufsichtigte Upgrades wird gestartet.
2017-01-19 12:27:33,702 INFO erlaubte Ursprünge sind: ['origin=Debian,codename=jessie,label=Debian-Security', 'o=Debian,n=jessie']
2017-01-19 12:28:16,466 INFO Packages that will be upgraded: base-files bash ca-certificates dbus dbus-x11 e2fslibs e2fsprogs exim4 exim4-base exim4-config exim4-daemon-light file hplip hplip-data libc-bin libc-dev-bin libc6 libc6-dev libc6-i686 libcairo-gobject2 libcairo2 libcomerr2 libdbus-1-3 libfcgi-perl libgnutls-deb0-28 libgnutls-openssl27 libgudev-1.0-0 libhogweed2 libhpmud0 libio-socket-ssl-perl libmagic1 libmpg123-0 libnettle4 libobrender29 libobt2 libpam-modules libpam-modules-bin libpam-runtime libpam-systemd libpam0g libpng12-0 libsane-hpaio libss2 libsystemd0 libudev1 libwmf0.2-7 linux-compiler-gcc-4.8-x86 linux-headers-3.16.0-4-686-pae linux-headers-3.16.0-4-common linux-image-3.16.0-4-686-pae linux-libc-dev locales multiarch-support openbox printer-driver-hpcups printer-driver-hpijs printer-driver-postscript-hp python-crypto sed systemd systemd-sysv udev w3m wireless-regdb
2017-01-19 12:28:16,467 INFO Dpkg-Protokoll wird nach »/var/log/unattended-upgrades/unattended-upgrades-dpkg.log« geschrieben
2017-01-19 12:29:21,191 ERROR Installation der Upgrades fehlgeschlagen!
2017-01-19 12:29:21,192 ERROR Fehlermeldung: »installArchives() failed«
2017-01-19 12:29:21,192 ERROR Dpkg gab einen Fehler zurück. Siehe »/var/log/unattended-upgrades/unattended-upgrades-dpkg.log« für Einzelheiten 

und
cat /var/log/unattended-upgrades/unattended-upgrades-dpkg.log

Code: Alles auswählen

Log started: 2017-01-19  12:28:16
Lese Changelogs...
apt-listchanges: Sende E-Mail an root: apt-listchanges: Neuigkeiten für tom
Extrahiere Vorlagen aus Paketen: 100%
Vorkonfiguration der Pakete ...
...
mehere pPakete werden problemlos installiert bis
....
(Lese Datenbank ... 135856 Dateien und Verzeichnisse sind derzeit installiert.)
Vorbereitung zum Entpacken von .../udev_215-17+deb8u6_i386.deb ...
Entpacken von udev (215-17+deb8u6) über (215-17+deb8u5) ...
Trigger für man-db (2.7.0.2-5) werden verarbeitet ...
Trigger für systemd (215-17+deb8u5) werden verarbeitet ...
udev (215-17+deb8u6) wird eingerichtet ...
addgroup: Die Gruppe »input« existiert bereits als Systemgruppe. Programmende.
Failed to restart udev.service: final.target is queued, ignoring restart request for unit systemd-udevd.service
invoke-rc.d: initscript udev, action "restart" failed.
dpkg: Fehler beim Bearbeiten des Paketes udev (--configure):
 Unterprozess installiertes post-installation-Skript gab den Fehlerwert 1 zurück
Fehler traten auf beim Bearbeiten von:
 udev
Error in function:
Log ended: 2017-01-19  12:29:21 

Der Fehler passiert also: beim Bearbeiten des Paketes udev (--configure)!

Und auch nach mehreren Reboots wird der Fehler nicht korrigiert bzw. die Konfiguration von udev abgeschlossen. Es bleiben 51 Pakete übrig, die noch upzudaten sind.
Die harte Lösung dazu ist ein

Code: Alles auswählen

apt-get -f install

mit folgender Ausgabe:

Code: Alles auswählen

Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
0 aktualisiert, 0 neu installiert, 0 zu entfernen und 51 nicht aktualisiert.
5 nicht vollständig installiert oder entfernt.
Nach dieser Operation werden 0 B Plattenplatz zusätzlich benutzt.
udev (215-17+deb8u6) wird eingerichtet ...
addgroup: Die Gruppe »input« existiert bereits als Systemgruppe. Programmende.
update-initramfs: deferring update (trigger activated)
libc6-i686:i386 (2.19-18+deb8u7) wird eingerichtet ...
libc-dev-bin (2.19-18+deb8u7) wird eingerichtet ...
linux-libc-dev:i386 (3.16.39-1) wird eingerichtet ...
libc6-dev:i386 (2.19-18+deb8u7) wird eingerichtet ...
Trigger für initramfs-tools (0.120+deb8u2) werden verarbeitet ...
update-initramfs: Generating /boot/initrd.img-3.16.0-4-686-pae
Trigger für libc-bin (2.19-18+deb8u7) werden verarbeitet ... 

Danach beim nächsten Reboot läuft der Rest von 51 Paketen mit unattended-upgrade problemlos durch.und alles ist jetzt ok!

Mein Fehler bei meinem erstem Posting war, dass ich zu ungeduldig war und angefangen habe, an der Konfiguration zu spielen, um dort einen Fehler meinerseits zu finden.

Bei der Gelegenheit noch eine Beobachtung bezüglich den Unattended-Upgrade::Origins-Pattern

Code: Alles auswählen

        "origin=Debian,codename=${distro_codename},label=Debian-Security";

ist die default-source (nur security fixes) und die läuft problemlos seit Monaten durch.

Code: Alles auswählen

      "o=Debian,n=${distro_codename}-proposed-updates";

da sind nur ganz wenige Pakete betroffen, z.B. letzthin Icedove auf 45.6, war bisher auch problemlos.

Code: Alles auswählen

      "o=Debian,n=${distro_codename}

Hierin waren die ganzen 64 Pakete des Upgrades auf das Pointrelease 8.7 enthalten mit bekanntem Problem.

Sollte man da eventuell das letzte Pattern weglassen?
Oder was gibt es sonst für Vorschläge, solche Pannen wie soeben mit udev zu umgehen?

Gruß, Ingo

EDIT #1:
Habe ich jetzt erst durch Zufall bemerkt:
Nach dieser ganzenm Aktion ist zwar alles installiert, aber nicht zu Ende konfiguriert. Habe gerade ausgeführt:

Code: Alles auswählen

apt-get -f install

output:

Code: Alles auswählen

# apt-get -f install
Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
0 aktualisiert, 0 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
5 nicht vollständig installiert oder entfernt.
Nach dieser Operation werden 0 B Plattenplatz zusätzlich benutzt.
dbus (1.8.22-0+deb8u1) wird eingerichtet ...
libpam-systemd:i386 (215-17+deb8u6) wird eingerichtet ...
exim4-daemon-light (4.84.2-2+deb8u3) wird eingerichtet ...
exim4 (4.84.2-2+deb8u3) wird eingerichtet ...
dbus-x11 (1.8.22-0+deb8u1) wird eingerichtet ...

Erst jetzt ist wieder alles korrekt in der reihe

Da bräuchte man also eine offizielle Blacklist ???

[rendegast]

udev (215-17+deb8u6) wird eingerichtet ...

libpam-systemd:i386 (215-17+deb8u6) wird eingerichtet ...

Ich habe ob des imo work-in-progress-Charakters von systemd schon sein einiger Zeit alles systemd/udev auf 230-* aus jessie-backports.
(allein libgudev-1.0-0 verbleibt auf 215-17/jessie)

Eventuell hatte ich daher kein solches Problem?
EDIT Jedoch läuft unattended-upgrades bei mir auch regulär im cron.daily, nicht bei Shutdown/Reboot.

[ingo2]

Ist schon möglich, daß die neuere Version von systemd da was bringt. Ach und nochwas: bei dem letzen Versuch hatte ich den Laptop sicherheitshalber über Ethernet ans Netz angeschlosse statt bisher WLAN und auch eine /etc/apt/apt.conf.d/local nutze ich mit folgendem Inhalt:

Code: Alles auswählen

	    Dpkg::Options {
		   "--force-confdef";
		   "--force-confold";

.
Die Konfiguration der Pakete hätte also auch konsistent sein sollen - oder weiß nur "apt" nichts davon??
Aber Systemd sollte ja das Netzwerk in Ruhe lassen - zumindest noch in Jessie.

@Taomon:
Vielleicht solltes tdu den Titel doch nicht als gelöst = [Ja] kennzeichnen, höchstens mit [Ja - ABER...]
- außer du hast eine brauchbare Blacklist

[Taomon]

Ich habe keine Blacklist. Und bis jetzt kein Probleme. Also für mich erstmal gelöst.


Gruß Taomon