[solved] Mittels 'pv' den Fortschritt in Logdatei schreiben

[ThorstenS]

Alles unter /dev/shm/ bleibt im RAM und wird nicht auf Platte geschrieben.
Die Platten performance willst du dir doch nicht durch das unnötige Schreiben eines Logfiles ausbremsen, oder?

Starte kurz vor deinem dd/pv Befehl mit start-stop-daemo ein zwotes Script.
Gib ein pidfile an, so wie z.B. in /etc/init.d/ssh es gemacht wird.
Im zwoten Script kannst du mit einem while true nach einer Wartezeit von ca. 10 Sekunden das Logfile einkürzen, so wie ich es oben schrieb.
Wenn der dd/pv Befehl in der subshell vom 1. Script fertig ist, schießt du ihn elegant mit start-stop-daemo wieder ab. Mehr Mühe würde ich nicht darauf verwenden.

[pangu]

und lass periodisch ein "uniq /dev/shm/monitor.unsorted > /dev/shm/monitor.sorted" laufen.

wozu? damit würde ich die doppelte Zeilen entfernen, aber das ist ja immer noch nicht das, was ich ursprünglich haben wollte. Bitte versteh mich nicht falsch, ich bin für jeden Tip dankbar. Mir gehts aber nicht immer nur darum, das Ziel zu erreichen, sondern ich möchte dabei immer auch was lernen WIE man es macht und welche Möglichkeiten es gibt und welche am elegantesten/saubersten sind. Um zurück zum Thema zu kommen: mit uniq würde ich doppelte Zeilen vermeiden, dadurch krieg ich aber trotzdem im output file Ausgaben wie:

1
2
3
4
5
6
[...usw]

das wären halt maximal 100 Zeilen, aber das sind eben 99 Zeilen zu viel und überflüssig IMHO. Ich find das nicht sauber genug. Nehmen wir mal theoretisch an, es gäbe einen Praxisfall indem hier counterwise von 1-9999999999999 Zahlen hochgezählt würden. Das wäre eine Datenflut und nicht vertretbar. Daher: ich möchte definitiv immer nur die letzte Zeilenausgabe angezeigt, bzw. geloggt bekommen haben.

Achja, falls du Start und Endzeit mitloggen willst...

danke für die Einsicht in dein Skript, aber da nutze ich lieber ganz komfortabel den Befehl 'time'

sed kann dir die Datei auch periodisch zurechtstutzen, laut http://www.catonmat.net/blog/sed-one-li ... art-three/ machst du dann einfach ein "sed -i '$!N; /^\(.*\)\n\1$/!P; D' /dev/shm/monitor.unsorted"

Hab diesen Befehl einfach über eine monitor.unsorted drübergejagt, aber die blieb unverändert ??

[Cae]

Man koennte das in

Code: Alles auswählen

| while read -r line; do printf '%s\n' "$line" >"$statusfile"; done

reinpipen, das wuerde immer genau eine Zeile lesen und alles in $statusfile damit ueberschreiben.

Gruss Cae

[pangu]

klappt irgendwie auch nicht Cae, ich vermute einfach deswegen, weil ja pv das irgendwie buffered und dann erst ausgibt. Das ist ja keine Schleife die dort abläuft, oder nicht? oder hab ich das einfach nur falsch interpretiert und den Befehl falsch konstruiert? Ich habs so versucht gehabt:

Code: Alles auswählen

(dd if=/dev/zero bs=16384 count=131072 | pv -n -p -t -e -r -a -s 2G | dd of=/dev/null) | while read -r line; do printf '%s\n' "$line" 2>test.monitor; done

[Cae]

Die Umleitung von stderr ist an der verkehrten Stelle, printf schreibt ja schon nach stdout. So sollte es tun:

Code: Alles auswählen

( dd ... | pv ... ) 2>&1 | while read ... printf ... >test.monitor; done

Gruss Cae

[Meillo]

(Ich habe den Thread nur ueberflogen, nicht aber im Detail gelesen. Mir scheint, dass vieles schon gesagt worden ist, aber die Klarheit beim uniq-Hinweis hat mir noch gefehlt.)

Der Einzeiler sieht dann also so aus (für meinen Test):

Code: Alles auswählen

(dd if=/dev/zero bs=$bs count=$((4294967296 / $bs)) | pv -n -p -t -e -r -a -s 4G | dd of=/dev/null) >test.monitor 2>&1

EDIT: Das einzige was noch blöd ist, daß ca. 2x in der Sekunde eine neue Zeile geschrieben wird. Das bedeutet, daß im Outputfile so was drinstehen wird beim Klonen einer 2TB Platte:

0
0
0
0
0
0
0
0
0
...und nach Stunden immer noch hunderte/tausende Zeilen mit diesen Nullen
5
5
5
5
5
5
5
5
5
5
5
5
...und so weiter...

Wie könnte man das unterbinden, so daß KEINE neue Zeile verwendet wird ?

Du willst verhindern, dass doppelte, identische Zeilen erscheinen? Dann pipe durch uniq(1). Das unterdrueckt Zeilen, die identisch mit der vorherigen Zeile sind.

Code: Alles auswählen

(dd if=/dev/zero bs=$bs count=$((4294967296 / $bs)) | pv -n -p -t -e -r -a -s 4G | dd of=/dev/null) 2>&1 | uniq >test.monitor