Kompressing/Deduplicating tmpfs

Welches Modul/Treiber für welche Hardware, Kernel compilieren...
Antworten
wanne
Moderator
Beiträge: 7463
Registriert: 24.05.2010 12:39:42

Kompressing/Deduplicating tmpfs

Beitrag von wanne » 16.09.2019 10:12:28

Kennt da irgend jemand sowas wie tmpfs, das gleichzeitig komprimiert?
Problem ist folgendes: Ich habe ein Programm, das massenhaft Ordner mit fast dem gleichen Inhalt erzeugt. Da ich schön flotte zugriffszeiten haben will, wäre es schön, wenn das in nem tmpfs liegen würde. Auf der anderen Seite geht mit das so langsam ordentlich auf den RAM.
Habe das Ausprobiert die 10G lassen sich mit tar xz locker auf 300MiB runter komprimieren. Im Moment bin ich bei 60GiB und mein RAM ist am Ende.,.
Ich hab mir schon überlegt, dass ich eine Datei im tmpfs anlgen könnte und dann da ZFS drauf schmeißen könnte. Kommt mir aber sehr umständlich vor. Dazu kommt, das ich keine ahnung habe, wie sich tmpfs bezüglich swapping etc auf so riesige Dateien auswirkt. Außerdem mache ich immer lieber einen Bogen um ZFS.
Hat jemand eine Idee für ne elegantere Lösung?
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
hikaru
Moderator
Beiträge: 13588
Registriert: 09.04.2008 12:48:59

Re: Kompressing/Deduplicating tmpfs

Beitrag von hikaru » 16.09.2019 10:21:25

Vielleicht lässt sich zram [1] dafür zweckentfremden. Wenn das so funktioniert, wie ich es mir denke, müsstest du nur /dev/zramN mit einem "traditionellen" Dateisystem formatieren, statt als Swap.

[1] https://wiki.debian.org/ZRam

Antworten