Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Welches Modul/Treiber für welche Hardware, Kernel compilieren...
Benutzeravatar
Livingston
Beiträge: 1454
Registriert: 04.02.2007 22:52:25
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: 127.0.0.1

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von Livingston » 13.12.2023 23:27:45

Ich denke/hoffe, dass das nichts damit zu tun hat. Es gibt ja mehrere Ebenen von Caching/Pufferung.
  1. Ganz oben sitzen die Puffer der Standardlibrary (libc). Die meisten üblichen Befehle der Bash nutzen die, um Datenströme ökonomisch zusammenzusetzen, z.B. Bildschirmausgabe über echo, Kopieren/Übertragen mit cp/dd oder in selbst geschriebenen C-Programmen die Benutzung von Befehlen wie printf.
  2. Darunter (immer noch in der libc) existieren Lowlevel-Befehle, wie z.B. write(). Wenn die Puffer von Punkt 1 voll sind, oder geleert werden (z.B. durch den Befehl sync) tritt diese Ebene in Kraft. Sie übergibt dann das Auszugende an eine entsprechende Kernelfunktion.
  3. Im Kernel sitzen wiederum Puffer, um die Hardwarezugriffe zu optimieren. Diese sind es auch, welche man mit O_DIRECT überspringen kann, was sich einfache Programme aber meist nicht antun wollen.
  4. Darunter schließlich gibt es je nach Gerät die Hardwarepufferung durch den Controller/die Hardware. Das ist der Puffer, den Du in Deinem Post angesprochen wird. Der lässt sich mit O_DIRECT gar nicht beeinflussen. Ob und wie das überhaupt möglich, hängt von der Hardware ab. Dafür gibt es dann spezielle Befehle namens ioctl (Input/Output Control). Von dieser Art der Pufferung war aber in dem Bug-Report nicht die Rede. Der drehte sich nur um die in Punkt 2 genannte Ebene.
Dazwischen mag es noch mehr Zwischenspeicher/Caches/Puffer geben, aber das ist dann echt speziell und hat auch nix mit O_DIRECT zu tun.

Und jetzt muss ich ein wenig spekulieren: HMB (host memory buffer) klemmt sich zwischen die Ebenen 3 und 4 und standardisiert das Schreiben auf einem NVMe-Gerät, das über die PCIe-Lanes angeschlossen ist. Meiner Meinung nach spielt daher O_DIRECT hier keine Rolle.
Der Hauptunterschied zwischen etwas, was möglicherweise kaputtgehen könnte und etwas, was unmöglich kaputtgehen kann, besteht darin, dass sich bei allem, was unmöglich kaputtgehen kann, falls es doch kaputtgeht, normalerweise herausstellt, dass es unmöglich zerlegt oder repariert werden kann.
Douglas Adams

Benutzeravatar
MSfree
Beiträge: 10777
Registriert: 25.09.2007 19:59:30

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von MSfree » 14.12.2023 08:44:46

Livingston hat geschrieben: ↑ zum Beitrag ↑
13.12.2023 23:27:45
Und jetzt muss ich ein wenig spekulieren: HMB (host memory buffer) klemmt sich zwischen die Ebenen 3 und 4 und standardisiert das Schreiben auf einem NVMe-Gerät, das über die PCIe-Lanes angeschlossen ist. Meiner Meinung nach spielt daher O_DIRECT hier keine Rolle.
Ich vermute, daß sich mittels HMB die SSD einfach ein paar Megabyte von Hauptspeicher reserviert, ähnlich wie es auch manche Graphikkarten machen. Der Kernel sieht diesen Speicherbereich gar nicht und kümmert sich auch nicht darum. Der SSD-Hersteller kann sich die Intergration von RAM als Puffer/Cache in seine SSD ersparen.

Benutzeravatar
ingo2
Beiträge: 1124
Registriert: 06.12.2007 18:25:36
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Wo der gute Riesling wächst

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von ingo2 » 14.12.2023 11:39:43

Danke @Livingston und @MSfree,

das beruhigt mich - dann bin ich wohl verschont geblieben. Habe auch mal ein System-Backup aus der Zeit kontrolliert, das hatte Gott sei Dank die md5sum aller enthaltenen Dateien dazu und ein Verify sagt: "alles ok."

Aber die Erklärung dazu ist interessant, da scheint offenbar nur das BIOS und die Firmware der SSD beteiligt zu sein, um HMB zu managen.

Gruß, Ingo

Benutzeravatar
Livingston
Beiträge: 1454
Registriert: 04.02.2007 22:52:25
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: 127.0.0.1

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von Livingston » 14.12.2023 12:37:24

ingo2 hat geschrieben: ↑ zum Beitrag ↑
14.12.2023 11:39:43
Habe auch mal ein System-Backup aus der Zeit kontrolliert, das hatte Gott sei Dank die md5sum aller enthaltenen Dateien dazu und ein Verify sagt: "alles ok."
Das dürfte wohl die beste Methode sein, um auf Nummer Sicher zu gehen.
Der Hauptunterschied zwischen etwas, was möglicherweise kaputtgehen könnte und etwas, was unmöglich kaputtgehen kann, besteht darin, dass sich bei allem, was unmöglich kaputtgehen kann, falls es doch kaputtgeht, normalerweise herausstellt, dass es unmöglich zerlegt oder repariert werden kann.
Douglas Adams

fischig
Beiträge: 3640
Registriert: 24.12.2019 12:25:08
Lizenz eigener Beiträge: MIT Lizenz

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von fischig » 14.12.2023 12:39:53

Sehe ich recht, dass alles, was hier (und in „benachbarten“ Threads) diskutiert wird, nur Kernel-Images 6.1.0-[irgendwas] von Debian/resp. Devuan betrifft und nicht die Quellen 6.1.[irgendwas] von kernel.org?

dasebastian
Beiträge: 1886
Registriert: 12.07.2020 11:21:17

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von dasebastian » 14.12.2023 12:43:26

fischig hat geschrieben: ↑ zum Beitrag ↑
14.12.2023 12:39:53
Sehe ich recht, dass alles, was hier (und in „benachbarten“ Threads) diskutiert wird, nur Kernel-Images 6.1.0-[irgendwas] ... betrifft...
Kurze Zwischenfrage: Wieso [irgendwas]? Ich dachte nur 6.1.0-14?

fischig
Beiträge: 3640
Registriert: 24.12.2019 12:25:08
Lizenz eigener Beiträge: MIT Lizenz

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von fischig » 14.12.2023 12:55:46

dasebastian hat geschrieben:Kurze Zwischenfrage: Wieso [irgendwas]? Ich dachte nur 6.1.0-14?
Ich Endanwender weiß es doch auch nicht, deswegen Frage ich ja. 6.1.0.-14 (Debian) basiert auf 6.1.64 (kernel.org , wenn ich recht sehen). Mit -15 (Debian-Zählung) gibt's womöglich ähnliche Probleme und der basiert wohl auf 6.1.66 (kernel.org). Siehe den entsprechenden thread. :P
Zuletzt geändert von fischig am 14.12.2023 13:05:00, insgesamt 1-mal geändert.

Benutzeravatar
Livingston
Beiträge: 1454
Registriert: 04.02.2007 22:52:25
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: 127.0.0.1

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von Livingston » 14.12.2023 13:04:37

fischig hat geschrieben: ↑ zum Beitrag ↑
14.12.2023 12:55:46
Mit -15 (Debian-Zählung) gibts womöglich ähnliche Probleme. Siehe dort. :P
Nein, andere Probleme, nix was Daten frisst. Und selbst in diesen Fällen sieht es eher danach aus, dass externe, proprietäre Module nicht ganz so wollen, wie sie sollen. Broadcom-Treiber z.B. Die bereiten gerne öfters Kopfschmerzen.
Der Hauptunterschied zwischen etwas, was möglicherweise kaputtgehen könnte und etwas, was unmöglich kaputtgehen kann, besteht darin, dass sich bei allem, was unmöglich kaputtgehen kann, falls es doch kaputtgeht, normalerweise herausstellt, dass es unmöglich zerlegt oder repariert werden kann.
Douglas Adams

fischig
Beiträge: 3640
Registriert: 24.12.2019 12:25:08
Lizenz eigener Beiträge: MIT Lizenz

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von fischig » 14.12.2023 13:11:46

Und selbst in diesen Fällen sieht es eher danach aus, dass externe, proprietäre Module nicht ganz so wollen, wie sie sollen.
Ich frag' ja nicht nach Schuld, sondern schlicht nach Fakten, Mit dem Ziel: muss ich bei meinen selbstgebauten Kernen was beachten/was muss ich bei meinen selbstgebauten Kernen im Zusammenhang mit den hier beschriebenen Problemen.

Kürzer: kann/muss ich aus den aktuellen Threads was lernen für meine Kernelbauerei?

Deswegen wäre mir eine „ja“/begründete „nein“-Antwort auf meine Frage genehmer. :P
Broadcom-Treiber z.B. Die bereiten gerne öfters Kopfschmerzen.
In der Tat, weswegen ich darauf angewiesene „reale“ Bauteile möglichst nicht benutzen will.

dasebastian
Beiträge: 1886
Registriert: 12.07.2020 11:21:17

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von dasebastian » 14.12.2023 13:25:30

@fischig: Alles klar.

Benutzeravatar
MSfree
Beiträge: 10777
Registriert: 25.09.2007 19:59:30

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von MSfree » 14.12.2023 13:30:26

fischig hat geschrieben: ↑ zum Beitrag ↑
14.12.2023 13:11:46
kann/muss ich aus den aktuellen Threads was lernen für meine Kernelbauerei?
Beim Kernelbauen ist natürlich immer zu beachten, was für Neuerungen eingeflossen sind, die für dich und deine Kernelkonfiguration wichtig sein könnten. Lesen der changelogs könnte helfen, ist aber nicht immer für jederman verständllich.

Die Probleme mit dem 6.1.0-14er haben aber keine Auswirkungen auf deine Kerneloptionen, der Fehler ist im Quellcode und kann auch nicht per Option an- oder ausgechaltet werden. Beim 6.1.0-15er gibt es (wie schon angedeutet) Probleme mit dem WLAN, nicht nur Broadcom. Falls du kein WLAN brauchst, kannst du das natürlich beim Bauen komplett weglassen.

Grundsätzlich sollte es aber bei einem 6.1er Kernel möglich sein, neuere Kernel mit den vorherigen Buildoptionen zu bauen. Daß es hier aber immer auch zu Fehlern seitens der Kernelmaintainer kommen kann, sehen wir ja gerade.

JTH
Moderator
Beiträge: 3023
Registriert: 13.08.2008 17:01:41
Wohnort: Berlin

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von JTH » 14.12.2023 14:01:13

fischig hat geschrieben: ↑ zum Beitrag ↑
14.12.2023 12:39:53
Sehe ich recht, dass alles, was hier (und in „benachbarten“ Threads) diskutiert wird, nur Kernel-Images 6.1.0-[irgendwas] von Debian/resp. Devuan betrifft und nicht die Quellen 6.1.[irgendwas] von kernel.org?
Nein, die Einschätzung ist falsch. Der hier diskutierte, in manchen Szenarien mögliche Datenverlust bei Verwendung von ext4 steckte in den Kernelquellen selbst (hier ff. diskutiert) und war nicht Debian spezifisch. So janz genau hab ich das nicht verfolgt, aber zumindest 6.1.64 und 6.1.65 waren wohl betroffen.

Nachtrag:
Hab mal grad im Linux-Repo für die stable-Zweige gesucht: Anscheinend war der 6.1.y-Zweig auch der älteste (einzige?) noch gepflegte Zweig, der von diesem Problem betroffen war (=den problematischen Commit ohne einen darauf aufbauenden enthielt).

Behoben ists – auch in Debian – mit 6.1.66:
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1057843#28 hat geschrieben:

Code: Alles auswählen

Changes:
 linux (6.1.66-1) bookworm; urgency=medium
 .
   * New upstream stable update:
[…]
     https://www.kernel.org/pub/linux/kernel/v6.x/ChangeLog-6.1.66
[…]
     - iomap: update ki_pos a little later in iomap_dio_complete
       (Closes: #1057843)
Debian Bugreport1057843 war der Debian-Bug zu diesem Problem hier.
Manchmal bekannt als Just (another) Terminal Hacker.

Benutzeravatar
Livingston
Beiträge: 1454
Registriert: 04.02.2007 22:52:25
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: 127.0.0.1

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von Livingston » 14.12.2023 14:21:51

Aus der Quelle 6.1.64 wurde das Debian-Paket 6.1.0-14 gebaut <--- Hier steckt der fiese, datenkorrumpierende Bug drin
Aus der Quelle 6.1.66 wird Debians 6.1.0-15 gebaut <--- Hier haben wir die Probleme mit WLAN

Beiden Fällen liegt die Hauptreihe 6.1 zugrunde. Configs zum Bau von Kerneln sollten hier also weiterfunktionieren.

NACHTRAG: Hab gerade mehrere Meldungen zum WLAN-Problem in 6.1.66 (6.1.0-15) gefunden, z.B.: https://github.com/morrownr/USB-WiFi/issues/349
Freuen wir uns also schon mal auf das nächste Update.
Der Hauptunterschied zwischen etwas, was möglicherweise kaputtgehen könnte und etwas, was unmöglich kaputtgehen kann, besteht darin, dass sich bei allem, was unmöglich kaputtgehen kann, falls es doch kaputtgeht, normalerweise herausstellt, dass es unmöglich zerlegt oder repariert werden kann.
Douglas Adams

fischig
Beiträge: 3640
Registriert: 24.12.2019 12:25:08
Lizenz eigener Beiträge: MIT Lizenz

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von fischig » 14.12.2023 21:30:07

Danke für eure Info!

Benutzeravatar
Livingston
Beiträge: 1454
Registriert: 04.02.2007 22:52:25
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: 127.0.0.1

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von Livingston » 15.12.2023 02:05:22

Wir erleben gerade etwas seltsam und selten Schräges. Ein wirklich böser Bug (Datenzerstörung) wurde geklärt, und gleich danach folgte ein ernsthaft lästiger Bug (WLAN-Probleme).
Ich verbuche das nicht als Versagen der Leute bei Debian und kernel.org, sondern sage mal: Ist zwar viel Scheiße gelaufen...
... aber alle Beteteilgten blieben am Thema, und klär(t)en was zu klären ist.
... und opfern ihre Zeit (egal ob ehrenamtlich oder in irgendeinem Dienstverhältnis)

Mein ganz privates Fazit: Geht doch! Shit happens... kommt eben vor. Aber wenn man ein Problem ernsthaft zusammen angeht, lässt es sich klären.
Der Hauptunterschied zwischen etwas, was möglicherweise kaputtgehen könnte und etwas, was unmöglich kaputtgehen kann, besteht darin, dass sich bei allem, was unmöglich kaputtgehen kann, falls es doch kaputtgeht, normalerweise herausstellt, dass es unmöglich zerlegt oder repariert werden kann.
Douglas Adams

Benutzeravatar
cosinus
Beiträge: 3439
Registriert: 08.02.2016 13:44:11
Lizenz eigener Beiträge: GNU General Public License
Wohnort: Bremen

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von cosinus » 15.12.2023 14:15:16

Livingston hat geschrieben: ↑ zum Beitrag ↑
14.12.2023 14:21:51
Freuen wir uns also schon mal auf das nächste Update.
Der neue ist schon im mirror zu sehen:

Code: Alles auswählen

linux-image-6.1.0-16-amd64_6.1.67-1_amd64.deb	2023-12-13 18:17 	66M

slu
Beiträge: 2148
Registriert: 23.02.2005 23:58:47

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von slu » 15.12.2023 15:54:46

Wow das ging ja schnell!

Code: Alles auswählen

Unpacking linux-image-6.1.0-16-amd64 (6.1.67-1) ...
Preparing to unpack .../linux-image-amd64_6.1.67-1_amd64.deb ...
Unpacking linux-image-amd64 (6.1.67-1) over (6.1.66-1) ...
Debian ist einfach klasse!
Gruß
slu

Das Server Reinheitsgebot:
Debian Bookworm, sonst nichts.

Stolzer Gewinner der Jessie Release Wette:
https://wiki.debianforum.de/Jessie_Release_Wette#SIEGER

KP97
Beiträge: 3441
Registriert: 01.02.2013 15:07:36

Re: Fehler bei Kernel-Upgrade auf 6.1.64-1: „broken package“

Beitrag von KP97 » 15.12.2023 16:58:37

Seit dem 13.12. läuft bei mir von kernel.org bereits der .68, dann dürfte der unmittelbar vor der Tür (des Repos) stehen.

Antworten