Bookworm - auto-read-only swap nach reboot - Bug oder Feature?

[fulltilt]

Dedi Server: Debain12
Software raid1

Nach eineem reboot wird md0 (swap) auf auto-read-only gesetzt

Code: Alles auswählen

md0 : active (auto-read-only) raid1 sdb1[0] sda1[1]
16759808 blocks super 1.2 [2/2] [UU]

Wenn ich ein mdadm --readwrite & swapon ausführe wird der Status wieder normal angezeigt ... aber nach einem reboot geht der Status wieder auf auto-read-only.
Hardware und Disk Prüfung wurden durchgeführt, keine auffälligen Fehlermeldungen vorhanden.
Ist das jetzt ein neues Feature in Bookworm oder ein Bug?

[fulltilt]

Das scheint tatsächlich ein neues feature zu sein ...
Nach einem reboot wird die swap partition auf auto-read-only gesetzt, vorhin habe ich einige rsync aktionen durchgeführt und dabei wurde minimal etwas ausgelagert, danach war der Status (mdstat) wieder normal ohne auto-read-only Meldung.

Ich möchte nur sicher gehen damit ich nicht nochmal von vorne anfangen muß, deshalb meine Frage ...
Ist es richtig das dies ein neues Feature in Debian 12 ist, das eine unebnutzte /swap Partition auf auto-read-only gesetzt wird?

[Blackbox]

Nach einem solchen Vorfall sollte man den Gesundheitszustand seiner Speichermedien prüfen.

[fulltilt]

Nach einem solchen Vorfall sollte man den Gesundheitszustand seiner Speichermedien prüfen.

Das scheint aber kein Vorfall zu sein und wie bereits erwähnt, wurde die Hardware mehrmals überprüft.
Ich habe insgesamt 3 Neu Installationen durchgeführt und jedesmal nach einem reboot und leerer Swap ist der Status wieder auto-read-only, bis die Swap genutzt wurde.
So wie es aussieht wird die Swap bei Debian12 automatisch auf auto-read-only gesetzt ... (jedenfalls wenn ausreichend RAM vorhanden ist) hier 64GB.

[Blackbox]

Das scheint aber kein Vorfall zu sein und wie bereits erwähnt, wurde die Hardware mehrmals überprüft.

Vermutung, oder wirklich geprüft?
Wie wurde die Speicherhardware denn genau überprüft?

Ich habe insgesamt 3 Neu Installationen durchgeführt und jedesmal nach einem reboot und leerer Swap ist der Status wieder auto-read-only, bis die Swap genutzt wurde.

Wieso schaust du nicht einmal in die Mountoptionen und änderst sie entsprechend ab?
Installationen sind nun wirklich keine Prüfprozesse.

So wie es aussieht wird die Swap bei Debian12 automatisch auf auto-read-only gesetzt ... (jedenfalls wenn ausreichend RAM vorhanden ist) hier 64GB.

Welcher Prozess setzt denn die Swap-Partition automatisch read only?

[fulltilt]

Disks (sata) habe ich mehrmals mit smartctl geprüft, bei den Neu Installationen habe ich verschiedene Partitions Schemen und Größen getestet, im RZ wurde ebenfalls die Hardware geprüft und auch die Ports des controllers geändert. Habe gestern in einem Forum einen Hinweis gefunden das bei bookworm die swap option auto-read-only ab 16GB RAM per default aktiviert ist.
In den logs (journal) gibt es keine Hinweise auf Fehler, kannst du mit Sicherheit ausschliessen dass dies kein neues Feature ist?

[fulltilt]

als Boot parameter habe ich nur zusätzlich acpi=off gesetzt ...
fstab verwendet UUID statt /dev/md/X ...
aber was mich eben stutzig macht ist, wenn das System auslagern möchte wird das auto-read-only für /swap wieder deaktiviert

[fulltilt]

habe vorhin alle Partitionen noch einzeln auf badblocks geprüft resultat: 0 errors
sudo badblocks -v /dev/sdax
sudo badblocks -v /dev/sdbx
Pass completed, 0 bad blocks found. (0/0/0 errors)

zu den standard smartctl tests auch nochmal einzeln, alle Partitionen resultat: PASSED
sudo smartctl -H /dev/sdax
sudo smartctl -H /dev/sdbx
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

also wenn es ein Fehler ist dann kann es vermutlich nur noch am controller liegen, aber hier wurden wie gesagt die Ports bereits umgesteckt und die Kabel ersetzt und da müssten dann wohl auch Fehler geloggt werden.

solange nichts ausgelagert wird zeigt mdstat auto-read-only für md0 (swap) wenn das system aber beginnt auszulagern wird es aktiviert und zeigt keinen auto-read-only Status mehr an.

Hat noch jemand eine Idee oder Vorschlag für weitere Prüfungen?

[fulltilt]

Debian 12 (bookworm)
64 GB RAM
---

hier mal ein Check direkt nach einem reboot (swap) mdstat zeigt auto-read-only und mdadm State : clean (beide Ausgaben auch nach 15 Min. weiterhin gleich)
md0 : active (auto-read-only) ändert den Status nur (ohne eingreifen) sobald einmal ausgelagert wurde ...

Code: Alles auswählen

# cat /proc/mdstat
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10] 
md0 : active (auto-read-only) raid1 sda1[0] sdb1[1]
      16759808 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sda2[0] sdb2[1]
      1046528 blocks super 1.2 [2/2] [UU]
      
md3 : active raid1 sda4[0] sdb4[1]
      3836629824 blocks super 1.2 [2/2] [UU]
      bitmap: 0/29 pages [0KB], 65536KB chunk

md2 : active raid1 sda3[0] sdb3[1]
      52395008 blocks super 1.2 [2/2] [UU]
      
unused devices: <none>

Code: Alles auswählen

# mdadm -D /dev/md0
/dev/md0:
           Version : 1.2
     Creation Time : Tue Sep 12 12:10:32 2023
        Raid Level : raid1
        Array Size : 16759808 (15.98 GiB 17.16 GB)
     Used Dev Size : 16759808 (15.98 GiB 17.16 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

       Update Time : Fri Sep 15 17:56:42 2023
             State : clean 
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : resync

              Name : rescue:0
              UUID : dbb12d7e:401243ff:e5391142:92542ff8
            Events : 48

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1

Code: Alles auswählen

# lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINTS
sda       8:0    1  3.6T  0 disk  
├─sda1    8:1    1   16G  0 part  
│ └─md0   9:0    0   16G  0 raid1 [SWAP]
├─sda2    8:2    1    1G  0 part  
│ └─md1   9:1    0 1022M  0 raid1 /boot
├─sda3    8:3    1   50G  0 part  
│ └─md2   9:2    0   50G  0 raid1 /
├─sda4    8:4    1  3.6T  0 part  
│ └─md3   9:3    0  3.6T  0 raid1 /backup
└─sda5    8:5    1    1M  0 part  
sdb       8:16   1  3.6T  0 disk  
├─sdb1    8:17   1   16G  0 part  
│ └─md0   9:0    0   16G  0 raid1 [SWAP]
├─sdb2    8:18   1    1G  0 part  
│ └─md1   9:1    0 1022M  0 raid1 /boot
├─sdb3    8:19   1   50G  0 part  
│ └─md2   9:2    0   50G  0 raid1 /
├─sdb4    8:20   1  3.6T  0 part  
│ └─md3   9:3    0  3.6T  0 raid1 /backup
└─sdb5    8:21   1    1M  0 part

###edit ###
nach ca. 1 Stunde wurde minimal ausgelagert, und auto-read-only für swap wird nicht mehr angezeigt (bis zum nächsten reboot).

Code: Alles auswählen

# free -mh
               total        used        free      shared  buff/cache   available
Mem:            62Gi       2.7Gi       420Mi       356Ki        60Gi        59Gi
Swap:           15Gi       524Ki        15Gi

# cat /proc/mdstat
md0 : active raid1 sda1[0] sdb1[1]
      16759808 blocks super 1.2 [2/2] [UU]
      
md1 : active raid1 sda2[0] sdb2[1]
      1046528 blocks super 1.2 [2/2] [UU]
      
md3 : active raid1 sda4[0] sdb4[1]
      3836629824 blocks super 1.2 [2/2] [UU]
      bitmap: 5/29 pages [20KB], 65536KB chunk

md2 : active raid1 sda3[0] sdb3[1]
      52395008 blocks super 1.2 [2/2] [UU]

[fulltilt]

Habe auch mal mit über 2 TB Daten onboard einen smartctl long check durchgeführt, No Errors Logged.
Hier noch die /etc/mdadm/mdadm.conf (wurde vom RZ installer erstellt) ist diese so komplett und richtig für bookworm?

Code: Alles auswählen

# mdadm.conf
#
# !NB! Run update-initramfs -u after updating this file.
# !NB! This will ensure that initramfs has an uptodate copy.
#
# Please refer to mdadm.conf(5) for information about this file.
#

# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers

# automatically tag new arrays as belonging to the local system
HOMEHOST <system>

# instruct the monitoring daemon where to send mail alerts
MAILADDR root

# definitions of existing MD arrays
ARRAY /dev/md/0  metadata=1.2 UUID=dbb12d7e:401243ff:e5391142:92542ff8 name=rescue:0
ARRAY /dev/md/1  metadata=1.2 UUID=cd09352a:d67ee815:c1b9fc22:816d83f9 name=rescue:1
ARRAY /dev/md/2  metadata=1.2 UUID=7e649a46:dd14a1b9:68167db1:bce9f346 name=rescue:2
ARRAY /dev/md/3  metadata=1.2 UUID=68ea0034:d1572ab6:40197397:e62639c6 name=rescue:3

# This configuration was auto-generated on Tue, 12 Sep 2023 12:11:25 +0200 by mkconf

smartctl extended check results:

Code: Alles auswählen

# smartctl -t long /dev/sda
# smartctl -a /dev/sdb

=== START OF INFORMATION SECTION ===
Device Model:     ST4000NM0245-1Z2107
Serial Number:    ZC18M2R1
LU WWN Device Id: 5 000c50 0b4791479
Firmware Version: SS05
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Form Factor:      3.5 inches
Device is:        Not in smartctl database 7.3/5319
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Sun Sep 17 10:09:35 2023 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled


Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%     36326         -
# 2  Short offline       Completed without error       00%     36301         -
# 3  Short offline       Completed without error       00%     36297         -
# 4  Short offline       Completed without error       00%     36280         -
# 5  Extended offline    Completed without error       00%     36253         -
# 6  Extended offline    Completed without error       00%     32503         -
# 7  Extended offline    Completed without error       00%     32485         -
# 8  Extended offline    Completed without error       00%     32478         -
# 9  Extended offline    Completed without error       00%     32460         -
#10  Short offline       Completed without error       00%     32450         -
#11  Short offline       Completed without error       00%     32433         -
#12  Short offline       Completed without error       00%     32409         -
#13  Short offline       Completed without error       00%     32385         -
#14  Extended offline    Completed without error       00%     32368         -
#15  Short offline       Completed without error       00%     32361         -
#16  Short offline       Completed without error       00%     32337         -
#17  Short offline       Completed without error       00%     32313         -
#18  Short offline       Completed without error       00%     32289         -
#19  Short offline       Completed without error       00%     32265         -
#20  Short offline       Completed without error       00%     32241         -
#21  Short offline       Completed without error       00%     32217         -


# smartctl -t long /dev/sdb
# smartctl -a /dev/sdb

=== START OF INFORMATION SECTION ===
Device Model:     ST4000NM0245-1Z2107
Serial Number:    ZC19XXD2
LU WWN Device Id: 5 000c50 0b479b880
Firmware Version: SS05
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Form Factor:      3.5 inches
Device is:        Not in smartctl database 7.3/5319
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Sun Sep 17 10:00:50 2023 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled


Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%     36332         -
# 2  Short offline       Completed without error       00%     36301         -
# 3  Short offline       Completed without error       00%     36297         -
# 4  Short offline       Completed without error       00%     36280         -
# 5  Extended offline    Completed without error       00%     36252         -
# 6  Extended offline    Completed without error       00%     32503         -
# 7  Extended offline    Completed without error       00%     32484         -
# 8  Extended offline    Completed without error       00%     32478         -
# 9  Extended offline    Completed without error       00%     32460         -
#10  Short offline       Completed without error       00%     32450         -
#11  Short offline       Completed without error       00%     32433         -
#12  Short offline       Completed without error       00%     32409         -
#13  Short offline       Completed without error       00%     32385         -
#14  Extended offline    Completed without error       00%     32369         -
#15  Short offline       Completed without error       00%     32361         -
#16  Short offline       Completed without error       00%     32337         -
#17  Short offline       Completed without error       00%     32313         -
#18  Short offline       Completed without error       00%     32289         -
#19  Short offline       Completed without error       00%     32265         -
#20  Short offline       Completed without error       00%     32241         -
#21  Short offline       Completed without error       00%     32217         -

dmesg swap info

Code: Alles auswählen

[    6.575555] Adding 16759804k swap on /dev/md0.  Priority:-2 extents:1 across:16759804k FS

auffällig ist nur das auto-read-only der swap nach einer Stunde deaktiviert wird, jedenfalls wenn eine Kleinekeit ausgelagert wird ...

[fulltilt]

### BUMP ###

Brauche hierzu einen Experten Rat oder Meinung ...
Hinweise auf Fehlfunktionen oder Hardware Fehler sind nicht auffindbar (siehe oben).
Kann das auto-read-only für die swap (md0) nach einem reboot ignoriert werden oder nicht?

[reox]

Habe gestern in einem Forum einen Hinweis gefunden das bei bookworm die swap option auto-read-only ab 16GB RAM per default aktiviert ist.

Quelle?

Laut diesem ur-alt Thread: https://www.spinics.net/lists/raid/msg23708.html ist das so und das array sollte mit dem ersten Schreiben direkt in readwrite wechseln.
Funktioniert der Swap eigentlich bei dir oder bleibt er readonly?

[fulltilt]

Habe gestern in einem Forum einen Hinweis gefunden das bei bookworm die swap option auto-read-only ab 16GB RAM per default aktiviert ist.

Quelle?

Laut diesem ur-alt Thread: https://www.spinics.net/lists/raid/msg23708.html ist das so und das array sollte mit dem ersten Schreiben direkt in readwrite wechseln.
Funktioniert der Swap eigentlich bei dir oder bleibt er readonly?

Ja swap funktioniert, habe ich auch mal neu erstellt und danach synced.
auto-read-only für swap (md0) wird nur nach einem reboot angezeigt, sobald das System einmal anfängt auszulagern, verschwindet das auto-read-only im mdstat.
Die swap Belegung verändert sich auch im Betrieb also wie bei jedem anderen System.

[reox]

Dann scheint das aber genau so zu sein wie in dem thread über Lenny beschrieben und damit nicht neu

[fulltilt]

Dann scheint das aber genau so zu sein wie in dem thread über Lenny beschrieben und damit nicht neu

Ja ich denke das auch, ich war nur verwundert weil ich dieses Verhalten bei anderen Systemen noch nicht beobachtet habe ....
Es sind hier keine Fehler feststellbar und wenn dieses Feature seit 2008 nicht mehr geändert wurde, wäre das eine Erklärung dafür.
Ich finde leider die von mir genannte Quelle nicht mehr wieder, das war aber von 2018 soweit ich mich erinnere ...

[fulltilt]

Vieleicht spielt RAM oder die Größe der Disks hier auch eine Rolle - 2x 4TB sata, 64GB RAM ...
Meine vorigen Installationen bis zu 3 TB (sw raid1 gpt) haben dieses Verhalten nicht gezeigt

Code: Alles auswählen

# lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE  MOUNTPOINTS
sda       8:0    1  3.6T  0 disk  
├─sda1    8:1    1   16G  0 part  
│ └─md0   9:0    0   16G  0 raid1 [SWAP]
├─sda2    8:2    1    1G  0 part  
│ └─md1   9:1    0 1022M  0 raid1 /boot
├─sda3    8:3    1   50G  0 part  
│ └─md2   9:2    0   50G  0 raid1 /
├─sda4    8:4    1  3.6T  0 part  
│ └─md3   9:3    0  3.6T  0 raid1 /backup
└─sda5    8:5    1    1M  0 part  
sdb       8:16   1  3.6T  0 disk  
├─sdb1    8:17   1   16G  0 part  
│ └─md0   9:0    0   16G  0 raid1 [SWAP]
├─sdb2    8:18   1    1G  0 part  
│ └─md1   9:1    0 1022M  0 raid1 /boot
├─sdb3    8:19   1   50G  0 part  
│ └─md2   9:2    0   50G  0 raid1 /
├─sdb4    8:20   1  3.6T  0 part  
│ └─md3   9:3    0  3.6T  0 raid1 /backup
└─sdb5    8:21   1    1M  0 part

[reox]

Scheint aber ein sehr altes feature zu sein: https://unix.stackexchange.com/a/101190

Evt siehst du es auf kleineren systemen nicht, weil quasi sofort etwas geschrieben wird.

[fulltilt]

Scheint aber ein sehr altes feature zu sein: https://unix.stackexchange.com/a/101190

Evt siehst du es auf kleineren systemen nicht, weil quasi sofort etwas geschrieben wird.

Danke!
Ich denke es bringt hier nichts nochmal alles neu aufzusetzen und wieder und wieder auf Fehler zu prüfen, ich lasse es jetzt wie es ist