Was genau macht unattended-upgrades?

[vdvogt]

Hallo,
frueher hatte ich mir fuer meine regelmaessigen Updates folgendes Script geschrieben:

apt-get update
apt-get upgrade
apt-get dist-upgrade
apt-get autoclean
apt-get autoremove

Das habe ich jeden Tag laufen lassen.

Dann habe ich unattended-upgrades entdeckt, installiert und dachte, dass jetzt alles von alleine laeuft.

ABER:
Wenn ich jetzt ab und zu mein altes Script laufen lasse, kurz nachdem unattended-upgrades gelaufen ist, dann erhalte ich trotzdem noch einige Pakete von denen ein upgrade gemacht wird.

Was macht unattended-upgrades anders als mein Script?
Es scheint mir so zu sein, dass unattended-upgrades nicht fuer alle Pakete ein upgrade macht.
Wo liegt der Unterschied?

Kann man unattended-upgrades so konfigurieren, dass es wirklich alles beruecksichtigt und mit meinem Script danach dann keine Pakete mehr gefunden werden?

Anbei meine
# /etc/apt/apt.conf.d/20auto-upgrades

APT::Periodic::Enable "1";
APT::Periodic::Update-Package-Lists "1";
APT::Periodic::Download-Upgradeable-Packages "1";
APT::Periodic::Unattended-Upgrade "1";
APT::Periodic::AutocleanInterval "1";

und die

# /etc/apt/apt.conf.d/50unattended-upgrades

// Unattended-Upgrade::Origins-Pattern controls which packages are
// upgraded.
//
// Lines below have the format format is "keyword=value,...". A
// package will be upgraded only if the values in its metadata match
// all the supplied keywords in a line. (In other words, omitted
// keywords are wild cards.) The keywords originate from the Release
// file, but several aliases are accepted. The accepted keywords are:
// a,archive,suite (eg, "stable")
// c,component (eg, "main", "crontrib", "non-free")
// l,label (eg, "Debian", "Debian-Security")
// o,origin (eg, "Debian", "Unofficial Multimedia Packages")
// n,codename (eg, "jessie", "jessie-updates")
// site (eg, "http.debian.net")
// The available values on the system are printed by the command
// "apt-cache policy", and can be debugged by running
// "unattended-upgrades -d" and looking at the log file.
//
// Within lines unattended-upgrades allows 2 macros whose values are
// derived from /etc/debian_version:
// ${distro_id} Installed origin.
// ${distro_codename} Installed codename (eg, "jessie")
Unattended-Upgrade::Origins-Pattern {
// Codename based matching:
// This will follow the migration of a release through different
// archives (e.g. from testing to stable and later oldstable).
"o=Debian,n=jessie";
"o=Debian,n=jessie-updates";
"o=Debian,n=jessie,l=Debian-Security";
// "o=Debian,n=jessie-proposed-updates";


// Archive or Suite based matching:
// Note that this will silently match a different release after
// migration to the specified archive (e.g. testing becomes the
// new stable).
"o=Debian,a=stable";
"o=Debian,a=stable-updates";
// "o=Debian,a=proposed-updates";
"origin=Debian,codename=${distro_codename},label=Debian-Security";
};

// List of packages to not update (regexp are supported)
Unattended-Upgrade::Package-Blacklist {
// "vim";
// "libc6";
// "libc6-dev";
// "libc6-i686";
};

// This option allows you to control if on a unclean dpkg exit
// unattended-upgrades will automatically run
// dpkg --force-confold --configure -a
// The default is true, to ensure updates keep getting installed
//Unattended-Upgrade::AutoFixInterruptedDpkg "false";
Unattended-Upgrade::AutoFixInterruptedDpkg "true";

// Split the upgrade into the smallest possible chunks so that
// they can be interrupted with SIGUSR1. This makes the upgrade
// a bit slower but it has the benefit that shutdown while a upgrade
// is running is possible (with a small delay)
//Unattended-Upgrade::MinimalSteps "true";

// Install all unattended-upgrades when the machine is shuting down
// instead of doing it in the background while the machine is running
// This will (obviously) make shutdown slower
//Unattended-Upgrade::InstallOnShutdown "true";

// Send email to this address for problems or packages upgrades
// If empty or unset then no email is sent, make sure that you
// have a working mail setup on your system. A package that provides
// 'mailx' must be installed. E.g. "user@example.com"
Unattended-Upgrade::Mail "root";


// Set this value to "true" to get emails only on errors. Default
// is to always send a mail if Unattended-Upgrade::Mail is set
//Unattended-Upgrade::MailOnlyOnError "true";

// Do automatic removal of new unused dependencies after the upgrade
// (equivalent to apt-get autoremove)
//Unattended-Upgrade::Remove-Unused-Dependencies "false";
Unattended-Upgrade::Remove-Unused-Dependencies "true";

// Automatically reboot *WITHOUT CONFIRMATION* if
// the file /var/run/reboot-required is found after the upgrade
//Unattended-Upgrade::Automatic-Reboot "false";

// If automatic reboot is enabled and needed, reboot at the specific
// time instead of immediately
// Default: "now"
//Unattended-Upgrade::Automatic-Reboot-Time "02:00";

// Use apt bandwidth limit feature, this example limits the download
// speed to 70kb/sec
//Acquire::http::Dl-Limit "70";


Gruesse
Veit

[rendegast]

Unberücksichtigte Repo in Origin-Pattern?

Code: Alles auswählen

apt-cache policy | grep -v Translat

In einer solchen Situation mal

Code: Alles auswählen

unattended-upgrades -v --dry-run

?



Ich benutze hier die klassische Form

Code: Alles auswählen

# apt-config dump | sort | grep -i unatt
...
Unattended-Upgrade::Origins-Pattern:: "origin=Debian Backports,archive=${distro_codename}-backports,label=Debian Backports";
Unattended-Upgrade::Origins-Pattern:: "origin=Debian,archive=stable,label=Debian";
Unattended-Upgrade::Origins-Pattern:: "origin=Debian,archive=stable-updates,label=Debian";
Unattended-Upgrade::Origins-Pattern:: "origin=Debian,codename=${distro_codename},label=Debian-Security";
Unattended-Upgrade::Origins-Pattern:: "origin=Google\, Inc.,archive=stable,label=Google";

sehe oben aber eigentlich keine problematischen Einstellungen.

Ich benutze außer Origin-Pattern und Package-Blacklist keine weiteren Einstellungen.


Sind die Pakete auch heruntergeladen,
liegen in /var/cache/apt/archives/ vor?
Listen-Update ist sauber durchgelaufen?

Code: Alles auswählen

# ls -la  /var/lib/apt/lists/partial/  /var/cache/apt/archives/partial
# apt-get update; apt-get -dy dist-upgrade

# ls -la  /var/lib/apt/lists/partial/  /var/cache/apt/archives/partial
# unattended-upgrades -v --dry-run

[vdvogt]

Hallo rendegast,
anbei die Ausgaben zu den Befehlen:

apt-cache policy | grep -v Translat
Paketdateien:
100 /var/lib/dpkg/status
release a=now
100 http://ftp2.de.debian.org/debian/ jessie-backports/non-free amd64 Packages
release o=Debian Backports,a=jessie-backports,n=jessie-backports,l=Debian Backports,c=non-free
origin ftp2.de.debian.org
100 http://ftp2.de.debian.org/debian/ jessie-backports/contrib amd64 Packages
release o=Debian Backports,a=jessie-backports,n=jessie-backports,l=Debian Backports,c=contrib
origin ftp2.de.debian.org
100 http://ftp2.de.debian.org/debian/ jessie-backports/main amd64 Packages
release o=Debian Backports,a=jessie-backports,n=jessie-backports,l=Debian Backports,c=main
origin ftp2.de.debian.org
500 http://ftp2.de.debian.org/debian/ jessie-updates/non-free amd64 Packages
release o=Debian,a=stable-updates,n=jessie-updates,l=Debian,c=non-free
origin ftp2.de.debian.org
500 http://ftp2.de.debian.org/debian/ jessie-updates/contrib amd64 Packages
release o=Debian,a=stable-updates,n=jessie-updates,l=Debian,c=contrib
origin ftp2.de.debian.org
500 http://ftp2.de.debian.org/debian/ jessie-updates/main amd64 Packages
release o=Debian,a=stable-updates,n=jessie-updates,l=Debian,c=main
origin ftp2.de.debian.org
500 http://security.debian.org/ jessie/updates/non-free amd64 Packages
release v=8,o=Debian,a=stable,n=jessie,l=Debian-Security,c=non-free
origin security.debian.org
500 http://security.debian.org/ jessie/updates/contrib amd64 Packages
release v=8,o=Debian,a=stable,n=jessie,l=Debian-Security,c=contrib
origin security.debian.org
500 http://security.debian.org/ jessie/updates/main amd64 Packages
release v=8,o=Debian,a=stable,n=jessie,l=Debian-Security,c=main
origin security.debian.org
500 http://ftp2.de.debian.org/debian/ jessie/contrib amd64 Packages
release v=8.5,o=Debian,a=stable,n=jessie,l=Debian,c=contrib
origin ftp2.de.debian.org
500 http://ftp2.de.debian.org/debian/ jessie/non-free amd64 Packages
release v=8.5,o=Debian,a=stable,n=jessie,l=Debian,c=non-free
origin ftp2.de.debian.org
500 http://ftp2.de.debian.org/debian/ jessie/main amd64 Packages
release v=8.5,o=Debian,a=stable,n=jessie,l=Debian,c=main
origin ftp2.de.debian.org
Mit Pinning verwaltete Pakete:


unattended-upgrades -v --dry-run
Pakete, die anfangs auf die schwarzen Liste standen:
Initial whitelisted packages:
Skript für unbeaufsichtigte Upgrades wird gestartet.
erlaubte Ursprünge sind: ['origin=Debian,codename=jessie,label=Debian-Security']
Es wurden keine Pakete gefunden, von denen ein unbeaufsichtigtes Upgrade durchgeführt werden kann.

Abgesehen von der falschen Uebersetzung (es muss heissen: ...auf der schwarzen Liste standen ), sehe ich jetzt nichts ungewoehnliches. Diese Ausgabe sehe ich oft in den Logs.

Was sagst Du dazu?

Gruesse
Veit

[rendegast]

erlaubte Ursprünge sind: ['origin=Debian,codename=jessie,label=Debian-Security']

Da sollte nach obigem eigentlich mehr stehen.
Vgl.:

Code: Alles auswählen

# unattended-upgrade -v --dry-run
...
Starting unattended upgrades script
Allowed origins are: ['origin=Debian,codename=jessie,label=Debian-Security', 'origin=Debian Backports,archive=jessie-backports,label=Debian Backports', 'origin=Debian,archive=stable-updates,label=Debian', 'origin=Debian,archive=stable,label=Debian', 'origin=Google\\, Inc.,archive=stable,label=Google']
Option --dry-run given, *not* performing real actions
Packages that will be upgraded: 

Hast Du die 50unattended-upgrades vielleicht mit einem unpassenden (grafischen) Editor bearbeitet?
Effektive Werte:

Code: Alles auswählen

apt-config dump | sort | grep -i unatt

[vdvogt]

Hallo rendegast,

hier die Ausgabe:

apt-config dump | sort | grep -i unatt
APT::Periodic::Unattended-Upgrade "1";
Unattended-Upgrade "";
Unattended-Upgrade::Mail "root";
Unattended-Upgrade::Origins-Pattern "";
Unattended-Upgrade::Origins-Pattern:: "origin=Debian,codename=${distro_codename},label=Debian-Security";

die 50unattended-upgrades habe ich wie ueblich mit nano editiert.
Ich denke nicht, dass da was schief gelaufen ist.
Wie koennte ich das feststellen?

Gruesse
Veit

[rendegast]

hier die Ausgabe:
apt-config dump | sort | grep -i unatt
APT::Periodic::Unattended-Upgrade "1";
Unattended-Upgrade "";
Unattended-Upgrade::Mail "root";
Unattended-Upgrade::Origins-Pattern "";
Unattended-Upgrade::Origins-Pattern:: "origin=Debian,codename=${distro_codename},label=Debian-Security";

scheint die Ausgabe bei einer unmodifizierten 50unattended-upgrades.


Benutze ich Dein obiges Quote von 50unattended-upgrades aus dem ersten Post, so erhalte ich

Code: Alles auswählen

# apt-config dump | sort | grep -i unatt
APT::Periodic::Unattended-Upgrade "1";
Unattended-Upgrade "";
Unattended-Upgrade::AutoFixInterruptedDpkg "true";
Unattended-Upgrade::Mail "root";
Unattended-Upgrade::Origins-Pattern "";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,a=stable";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,a=stable-updates";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,n=jessie";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,n=jessie,l=Debian-Security";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,n=jessie-updates";
Unattended-Upgrade::Origins-Pattern:: "origin=Debian,codename=${distro_codename},label=Debian-Security";
Unattended-Upgrade::Remove-Unused-Dependencies "true";

Was auch immer Du da editiert hast, es ist wohl keine Datei in /etc/apt/apt.conf.d/.

[vdvogt]

Hallo rendegast,
hier ist meine aktuelle 50unattended-upgrades

/etc/apt/apt.conf.d# cat 50unattended-upgrades
// Unattended-Upgrade::Origins-Pattern controls which packages are
// upgraded.
//
// Lines below have the format format is "keyword=value,...". A
// package will be upgraded only if the values in its metadata match
// all the supplied keywords in a line. (In other words, omitted
// keywords are wild cards.) The keywords originate from the Release
// file, but several aliases are accepted. The accepted keywords are:
// a,archive,suite (eg, "stable")
// c,component (eg, "main", "crontrib", "non-free")
// l,label (eg, "Debian", "Debian-Security")
// o,origin (eg, "Debian", "Unofficial Multimedia Packages")
// n,codename (eg, "jessie", "jessie-updates")
// site (eg, "http.debian.net")
// The available values on the system are printed by the command
// "apt-cache policy", and can be debugged by running
// "unattended-upgrades -d" and looking at the log file.
//
// Within lines unattended-upgrades allows 2 macros whose values are
// derived from /etc/debian_version:
// ${distro_id} Installed origin.
// ${distro_codename} Installed codename (eg, "jessie")
Unattended-Upgrade::Origins-Pattern {
// Codename based matching:
// This will follow the migration of a release through different
// archives (e.g. from testing to stable and later oldstable).
"o=Debian,n=jessie";
"o=Debian,n=jessie-updates";
// "o=Debian,n=jessie-proposed-updates";
"o=Debian,n=jessie,l=Debian-Security";

// Archive or Suite based matching:
// Note that this will silently match a different release after
// migration to the specified archive (e.g. testing becomes the
// new stable).
"o=Debian,a=stable";
"o=Debian,a=stable-updates";
// "o=Debian,a=proposed-updates";
"origin=Debian,codename=${distro_codename},label=Debian-Security";
};

// List of packages to not update (regexp are supported)
Unattended-Upgrade::Package-Blacklist {
// "vim";
// "libc6";
// "libc6-dev";
// "libc6-i686";
};

// This option allows you to control if on a unclean dpkg exit
// unattended-upgrades will automatically run
// dpkg --force-confold --configure -a
// The default is true, to ensure updates keep getting installed
//Unattended-Upgrade::AutoFixInterruptedDpkg "false";

// Split the upgrade into the smallest possible chunks so that
// they can be interrupted with SIGUSR1. This makes the upgrade
// a bit slower but it has the benefit that shutdown while a upgrade
// is running is possible (with a small delay)
//Unattended-Upgrade::MinimalSteps "true";

// Install all unattended-upgrades when the machine is shuting down
// instead of doing it in the background while the machine is running
// This will (obviously) make shutdown slower
//Unattended-Upgrade::InstallOnShutdown "true";

// Send email to this address for problems or packages upgrades
// If empty or unset then no email is sent, make sure that you
// have a working mail setup on your system. A package that provides
// 'mailx' must be installed. E.g. "user@example.com"
Unattended-Upgrade::Mail "root";

// Set this value to "true" to get emails only on errors. Default
// is to always send a mail if Unattended-Upgrade::Mail is set
//Unattended-Upgrade::MailOnlyOnError "true";

// Do automatic removal of new unused dependencies after the upgrade
// (equivalent to apt-get autoremove)
//Unattended-Upgrade::Remove-Unused-Dependencies "false";

// Automatically reboot *WITHOUT CONFIRMATION* if
// the file /var/run/reboot-required is found after the upgrade
//Unattended-Upgrade::Automatic-Reboot "false";

// If automatic reboot is enabled and needed, reboot at the specific
// time instead of immediately
// Default: "now"
//Unattended-Upgrade::Automatic-Reboot-Time "02:00";

// Use apt bandwidth limit feature, this example limits the download
// speed to 70kb/sec
//Acquire::http::Dl-Limit "70";


und hier nochmals die Ausgabe von:

apt-config dump | sort | grep -i unatt
APT::Periodic::Unattended-Upgrade "1";
Unattended-Upgrade "";
Unattended-Upgrade::Mail "root";
Unattended-Upgrade::Origins-Pattern "";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,a=stable";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,a=stable-updates";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,n=jessie";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,n=jessie,l=Debian-Security";
Unattended-Upgrade::Origins-Pattern:: "o=Debian,n=jessie-updates";
Unattended-Upgrade::Origins-Pattern:: "origin=Debian,codename=${distro_codename},label=Debian-Security";


Viele Gruesse
Veit

[rendegast]

Dann sollten jetzt alle Upgrades bzgl. jessie-Repo, jessie-updates-Repo und jessie-security-Repo für unattended-upgrades installierbar sein.

[vdvogt]

Hallo rendegast,
ich habe das jetzt einige Tage beobachtet.
Tatsaechlich kamen jetzt mit meinem Script keine neuen Pakete mehr, wenn ich das durchlaufen lies nach unattended-upgrades.
Es scheint jetzt endlich so zu funktionieren, wie ich das erwartet hatte.

Bezueglich /etc/apt/apt.conf.d/50unattended-upgrades habe ich noch eine Frage:

Dort kann man ja die Paketlisten entweder nach Origins-Pattern, oder Archive or Suite based matching aussuchen.

Bei mir sieht das zur Zeit so aus:

Unattended-Upgrade::Origins-Pattern {
// Codename based matching:
// This will follow the migration of a release through different
// archives (e.g. from testing to stable and later oldstable).
"o=Debian,n=jessie";
"o=Debian,n=jessie-updates";
// "o=Debian,n=jessie-proposed-updates";
"o=Debian,n=jessie,l=Debian-Security";

// Archive or Suite based matching:
// Note that this will silently match a different release after
// migration to the specified archive (e.g. testing becomes the
// new stable).
"o=Debian,a=stable";
"o=Debian,a=stable-updates";
// "o=Debian,a=proposed-updates";
"origin=Debian,codename=${distro_codename},label=Debian-Security";

Welches der beiden Verfahren wird von Debian bevorzugt, also langfristig unterstuetzt?

Viele Gruese
Veit

[rendegast]

Welches der beiden Verfahren wird von Debian bevorzugt, also langfristig unterstuetzt?

jessie wird irgendwann "oldstable",
heißt dann aber immer noch "jessie".

Bsp. http://archive.debian.org/debian/dists/ ... .1/Release

Origin: Debian
Label: Debian
Suite: oldstable
Version: 3.1r8
Codename: sarge
...

Läßt Du auf "stable" stehen (sources + unattended-upgrades) und es wird ein neues Release freigegeben,
versucht unattended-upgrades die Aufgabe zu lösen.
Da es kein dist-upgrade durchführt
(welches ohnehin besser händisch gemacht werden sollte),
kann das übel ausgehen.

Weiteres Osterei,
ich habe stable / testing / unstable im Bezug.
Durch Fehler beim Paketlistenupdate hatte ich keine stable-Paketlisten mehr.
Die eigentlich per preferences gepinnten testing / sid kamen zum Zug, Aua.
Meine Lösung:
Ein wrapper-Skript vor /etc/cron.daily/apt,
welches das Listenupdate durchführt und je nach Ergebnis unattended-upgrades erlaubt oder unterbindet:

Code: Alles auswählen

...
FILE=/etc/apt/apt.conf.d/zzvarrun_apt
PDIR=/var/lib/apt/lists/partial

NO='
APT::Periodic::Download-Upgradeable-Packages "0";
APT::Periodic::Unattended-Upgrade "0";
APT::Periodic::Update-Package-Lists "0";
'
YES='
APT::Periodic::Download-Upgradeable-Packages "1";
APT::Periodic::Unattended-Upgrade "1";
APT::Periodic::Update-Package-Lists "0";
'
...

echo "$NO" > $FILE

.... && dselect update > /dev/null

# Test auf erfolgreiches Paketlisten-Update
[ "x$(ls -l $PDIR | wc -l)" = "x1" ] && echo "$YES" > $FILE

Bei Systemstart wird explizit "$NO" gesetzt,
damit auch ein anacron-Job nicht Amok laufen kann.

[vdvogt]

Hallo rendegast,

Läßt Du auf "stable" stehen (sources + unattended-upgrades) und es wird ein neues Release freigegeben,
versucht unattended-upgrades die Aufgabe zu lösen.
Da es kein dist-upgrade durchführt
(welches ohnehin besser händisch gemacht werden sollte),
kann das übel ausgehen.

Wann wird auf apt upgrade bzw apt full-upgrade umgestellt?
Soweit ich gehoert habe, soll apt langfristig apt-get ersetzten.
Zur Zeit funktioniert anber nur apt update und full-upgrade.
autoclean und autoremove muss man immer noch mit apt-get machen.

ich habe stable / testing / unstable im Bezug.

Dass das schief gehen kann, leuchtet sogar mir ein!

Da ich "nur" stable haben will, brauche ich Dein kompliziertes Script gottseidank nicht.

Gruesse
Veit

[rendegast]

Wann wird auf apt upgrade bzw apt full-upgrade umgestellt?
Soweit ich gehoert habe, soll apt langfristig apt-get ersetzten.
Zur Zeit funktioniert anber nur apt update und full-upgrade.
autoclean und autoremove muss man immer noch mit apt-get machen.

Die händischen Tools sind hier unerheblich,
es wird libapt benutzt.

Da ich "nur" stable haben will, brauche ich Dein kompliziertes Script gottseidank nicht.

Du greift auf jessie-backports zu,
dessen Pakete im Normalfall explizit angefordert werden müssen.
EDIT (ergänzend)
In meinem Szenario würde es aber zum ungewollten Upgrade weiterer Pakete auf jessie-backports kommen.
(In dem speziellen Fall nicht so schlimm bzgl. Auswirkung oder Arbeitsaufwand fürs Downgrade.
Aber immerhin etwas, was der Rechner ohne expliziten Wunsch des Admin veranstaltet.)

[vdvogt]

Hallo rendegast,
auf die Backports greife ich nur zu, wenn ich diese Pakete wirklich brauche, wie zB jetzt im Falle von Java 8.
Eine neuere Programmversion laeuft nur mit Java 8, also musste ich 7 rauswerfen und durch 8 ersetzen.
Aber ansonsten sind mir Stable-Pakete lieber, weil halt laenger getestet.

Viele Gruesse
Veit