schlechte dm-cache performance

[wanne]

Hi,

ich habe dm-cache mal ausprobiert. Und das ist extrem enttäuschend.
Habe einfach mal immer die gleichen 16G gelesen. Nach dem zweiten Durchlauf waren wohl die Caches gefüllt. Da blieben die Ergebnisse auf die Sekunde genau ziemlich konstant
Und hier die daten

Code: Alles auswählen

DDurchaluf: 1.       2.     weitere
SSD          7s   0.043s    ~0s
HDD       3m 3s    2m44s    2m44s
dm-cache  3m17s    5m55s    2m33s

dm-cache hatte also in den meisten Durchläufen etwa die Performance der HDD nur im 2. war es sogar extrem viel langsamer.
Blockgröße war 256kiB.
Weiß jemand, wie man das besser macht?

[reox]

Ich hab das auch schonmal probiert gehabt und einen lvm cache für ein raid1 angelegt. effekt war, genau wie bei dir, 0... Auf meinem Laptop hab ich das dann nochmal probiert und einen cache auf der ssd für eine HDD angelegt, leider auch dort eigentlich keine merkbare veränderung.

Ich hab leider auch noch nicht herausgefunden was das eigentlich genau macht, aber mir scheint man muss entweder sehr sehr oft lesen, damit es in den cache kommt oder noch irgendwas anderes einstellen.
In man 7 lvmcache steht auch nur was von write caches (siehe cachemode). In der Einleitung steht dann aber "It does this by storing the frequently used blocks on the faster LV" - aber auch schreibcache war es nicht wirklich...
Auf der manpage finde ich auch nichts um zu schauen ob der cache jetzt tatsächlich verwendet wird.

Versuch doch mal öfter als 2x zu lesen? Hast du die schreibperformance eigentlich auch mal angesehen?

[wanne]

So habe mir das mal genauer angeguckt:
Stelle ich die Blockgröße auf 4MiB bin ich genau bei der HDD performance also mal ein bisschen weiter gespielt:

Code: Alles auswählen

dmsetup status home-cached
0 456534016 cache 8 47/3840 8192 0/20480 0 947196 0 4986 0 0 0 1 writeback 2 migration_threshold 2048 smq 0 rw -

=> 0 von 20480 Caching blöcken belegt. 947196 read misses und write 4986 misses 0 read oder write hits.
Der steckt einfach gar nichts in den cache und ich habe immer nur in den gleichen 16GiB gelesen. (Caching Partition hat 80GiB.) Unter anderem eine Datei mit 8MiB 100 mal. Da bekomme ich dann genau die 120MB/s die mein HDD-Cache kann.
Die sicheints also zu blicken.
Der smq scheint kaputt zu sein. Leider ist der mq rausgefallen.

Kernel ist 4.5.4-1~bpo8+1 x86_64 hat jemand mal mit nem anderen getestet?

[wanne]

Das verhalten scheint zumindest teilweise gewollt:
https://rwmj.wordpress.com/2014/05/22/u ... e-feature/
Sequenzielle IO wollen sie nicht im Cache haben, weil das ja auch auf HDDs am schnellsten ist.
Nur da auch auf SSDs sequenzielle IO schneller ist als random optimiert jedes bessere Dateisystem darauf, dass kaum/nichts anderes vorkommt.

mq ist laut doku zwar in Kernel 3.16 rausgeflogen aber der debian 4.5.4-1~bpo8+4 scheint es noch zu können.

Derda tut jetzt zumindest mal:

Code: Alles auswählen

dmsetup create home-cached --table "0 $(sudo blockdev --getsz /dev/sdb4) cache /dev/sda7 /dev/sda8 /dev/sdb4 8192 1 writeback mq 4 sequential_threshold 4 random_threshold 3"

Die Werte die ich da nutze sind aber weit abseits dessen, was so empfohlen wird.
Als größe wird überall 512 statt 8192 genutzt als sequential_threshold 1024 oder 512 statt 4 und als random_threshold 4 oder 8 statt meinen 3.

Hab jetzt halt mal alles mögliche in die extremwerte geschoben. Aber solangsam keine Lust mehr da rumzuspielen. Das tut wenigstens.

[wanne]

Sorry, ne war quatsch. Bin in der Spalte verrutscht.
Da wird weiterhin nicht gecached.