random read benchmarken

Probleme mit Samba, NFS, FTP und Co.
Antworten
Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

random read benchmarken

Beitrag von Colttt » 09.03.2022 11:00:23

Hallo,

unser Backup ist relativ langsam (~60MB/s), was bei der config mMn nicht sein kann (RAID10, 24HDDs, genutzt aktuell 19TB(19,331,550,771,090Bytes, 13,553,225 Files)) was mich hier interessieren würde ich es das Backupprogramm selbst oder ist es wirklich der (ZFS-)Pool, die frage ist jetzt für mich wie kann ich das ganze prüfen?
FIO würden jetzt viele sagen, aber das hat ja 1093371923 Einstellmöglichkeiten kann mir da jemand das ein oder andere Beispiel sagen wie ich das mit FIO testen kann?
Vielen Dank vorab schonmal dafür!
Debian-Nutzer :D

ZABBIX Certified Specialist

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: random read benchmarken

Beitrag von heisenberg » 09.03.2022 11:30:04

Google: fio examples

1. Treffer
Sample FIO Commands
https://docs.oracle.com/en-us/iaas/Cont ... slinux.htm

Die würde ich ausprobieren.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: random read benchmarken

Beitrag von Colttt » 09.03.2022 13:00:36

ok, aber da fängt es ja schon an, iodepth, filesize, numjobs, bs.. was würde da am ehesten mein usecase abdecken?
einfach stumpf abtippen bekomm ich hin, aber es ändert sich ja teilweise dramatisch wenn ich Bsp: die filesize von xGB auf yMB umstelle.

Evtl sollte eher die Frage heissen, wie sollte man fio laufen lassen, damit es einen backupprozess (rsync, bareos, etc) am besten simuliert.
Debian-Nutzer :D

ZABBIX Certified Specialist

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: random read benchmarken

Beitrag von heisenberg » 09.03.2022 19:32:38

Bei Backup würde ich sagen, dass der Modus grundsätzlich "random write" und "single thread" ist, da ich annehme, dass Bareos nur mit einem Thread auf die Platte schreibt.

Bei rsync kommt evtl. gleichzeitig noch ein random read dazu, wenn man den inkrementellen Update von rsync nicht ausgeschaltet hat, was zu empfehlen ist.

Dateigröße ungefähr gemäß dem, was da im Backup so anfällt. Also für normale Systeme wahrscheinlich irgend etwas im Kilobyte-Bereich. Aber ich weiss jetzt selber nicht so genau wie Bareos arbeitet, ob es da die I/O optimiert und wie es die Daten auf die Platte speichert(z. B. einzelne Datenblöcke fester Blockgröße, wie z. B. auch borg).

Ansonsten würde ich fast auch vermuten, dass die ermittelten Werte hilfreicher sind, wenn man sie von mehreren Systemen hat und vergleichen kann.

Ein Stupides lesen und schreiben mit dd auf jede Platte und das Volume gibt auch erst einmal einen Anhalt dafür, ob mit der Hardware alles in Ordnung ist. Wobei ein direktes dd auf eine Platte eines RAIDS in Benutzung natürlich kritisch ist.

Was mir noch im Kopf rumgeht ist die Frage wie das ZFS ausbalanciert ist(zpool list -v). Idealerweise sollte jede Platte einen ähnlichen Füllstand haben. Das kann man leider auch nicht direkt ändern, sondern ändert sich nach Benutzung nach und nach mit löschen und neuschreiben. Einzige Möglichkeit dazu wäre export+import.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Antworten