Btrfs - Kompression für alte Dateien

[Flashbanger]

Hallo zusammen,

ich habe bei mir einen BananaPi mit Armbian als Samba-Server aufgesetzt und möchte diesen als Backup/Exchange-Laufwerk nutzen. Dies klappt soweit auch sehr gut. Die Daten bestehen jedoch zu einem großen Teil aus wissenschaftlichen Messdaten, die vergleichsweise groß sind, sich jedoch hervorragend komprimieren lassen. Ich habe die Platte daher im Btrfs-Format formatiert, um transparent komprimieren zu können. Doch leider verstehe ich nicht, ob und wie ich die Kompression der Daten steuern kann. Ich würde gerne folgendes erreichen:

- Junge Dateien sollen zunächst unkomprimiert gespeichert werden, damit die Zugriffszeiten auf diese minimal werden.
- Wenn der letzte Zugriffszeitpunkt weit genug in der Vergangenheit liegt (z.B. 3 Monate), dann sollen die Daten im Hintergrund komprimiert werden.
- Hilfreich wäre natürlich auch eine Steuerung der Kompression nach Dateityp, sodass ich besonders gut komprimierbare Dateitypen auf eine Whitelist und inkompressible Typen auf eine Blacklist setzen kann.

Ich habe bereits eine Vermutung, wie dies funktionieren würde und würde folgendermaßen vorgehen:

Kompression in /ect/fstab deaktieren (damit nicht alle Dateien automatisch komprimiert werden)

In regelmäßigen Abständen mit einem shell-script alle Dateien mit einer entsprechend "zu alten" Zugriffszeit über den Befehl

Code: Alles auswählen

btrfs property set <file> compression <zlib|lzo>

individuell komprimieren. Wahlweise dann das Komprimieren zu überspringen, wenn der Dateityp auf der "Blacklist" steht.

Gibt es bereits ein tool welches diese Funktion leisten würde, oder ist es gar intrinsisch mit Btrfs möglich die Kompression nach bestimmten Kriterien (Dateityp, letzte Zugriffszeit, etc.) zu steuern?

Viele Grüße,

Flashbanger


Armbian (Debian Jessie armhf - Kernel 4.9)

[rendegast]

Das ginge mit einem regelmäßigen 'find'-Job,
Kriterien -mtime und -name.

Code: Alles auswählen

find /target -name "*.bmp" -type f -mtime +90 -exec /pfad/btrfs-compr.sh "{}" \;

[scientific]

Ob das gewünschte so funktioniert, wage ich zu bezweifeln.
Btrfs komprimiert beim Schreiben, oder nicht. He nach Mountoption.

Mountest du ein unkomprimiertes Subvolume mit compress, so wird ab da komprimiert geschrieben. Umgekehrt aber auch.

Es ergeben sich durch compress aber auch höhere Schreibgeschwindigkeiten, da ja weniger geschrieben werden muss als unkomprimiert. Natürlich zulasten einer höheren CPU-Beanspruchung fürs Komprimieren.
Aber heutige CPUs sollten für dies genügend Reserven haben.

Verwende compress=lzo, das ist am flottesten und komprimiert gut.

Lg scientific