Gibt es unter Linux ein OSS-HSM?

[heisenberg]

Hallo zusammen,

gibt es unter Linux ein HSM (Hierarchical Storage Management)? Genauer gesagt interessiert mich eher weniger ein komplettes HSM, als vielmehr eine Software bzw. ein Storage-Setup, was in Bezug auf Backup die Fähigkeit hat, eingehende von Sicherungsprogrammen kommende Daten zunächst mal auf schnelle (NVMe-) SSDs zu schreiben und anschließend direkt auf die Festplatten zu migrieren. Der Sinn soll sein, dass man beim Backup volle SSD-Geschwindigkeit des Storages hat und gleichzeitig die Kapazität von Festplatten. Die Wiederherstellung darf dann direkt von den Platten geschehen. Hier wird dann weniger Performance gebraucht.

Das ist rein aus Interesse. Mein Interesse ist auch eher weniger, mir das selbst etwas zu skripten - mit Ausnahme, wenn es (z. B. mit ZFS/btrfs) etwas wirklich einfach Umsetzbares gäbe.

Grüße,
h.

[TRex]

Ich meinte, da schon einiges in Richtung LVM gelesen zu haben und konnte jetzt wieder folgendes auf die Schnelle ausbuddeln:

https://ogris.de/howtos/linux-elcheapo-hsm.html
https://man7.org/linux/man-pages/man7/lvmcache.7.html
https://www.spinics.net/lists/lvm/msg24801.html

[heisenberg]

Idee

Ich setze 2 Software-RAID-Devices auf (1 x SSD + 1 x HDD) und lege darüber ein Linear-LVM. Das wird ja dann von vorne (SSD-RAID-PV) bis hinten (HDD-RAID-PV) beschrieben, also SSD zuerst. Regelmässig führe ich dann einen pvmove SSD-RAID-PV --> HDD-RAID-PV aus. Scheint erst mal sehr simpel zu sein.

[heisenberg]

Danke, TRex. An das Stichwort elcheapo-HSM erinnere ich mich sogar noch. lvmcache (performanter mit der writeback - Einstellung) scheint genau das Gesuchte zu können!

Kontext der Anfrage: SSF: Storage Server für Mittelständiges Unternehmen

Weitere Link zu LVM-Caching:
https://www.thomas-krenn.com/de/wiki/LV ... einrichten

[bluestar]

Du solltest dir mal https://bcachefs.org/ anschauen, dort auf der Caching Seite https://bcachefs.org/Caching/ gibt's wohl genau das was du haben möchtest, ganz ohne Scripting sondern einfach automatisch.

[heisenberg]

Danke Bluestar! In jedem Fall auch interessant. Ist mir aber definitiv noch zu neu. Da warte ich lieber nochmal 5 Jahre.

[bluestar]

Danke Bluestar! In jedem Fall auch interessant. Ist mir aber definitiv noch zu neu. Da warte ich lieber nochmal 5 Jahre.

Ich dachte ich finde in dir einen Sparingspartner um bcachefs mal in diversen Szenarien zu testen...