Unvollständige Mailauswertung mit pflogsumm

Debian macht sich hervorragend als Web- und Mailserver. Schau auch in den " Tipps und Tricks"-Bereich.
Antworten
joshi
Beiträge: 125
Registriert: 10.08.2005 02:54:33
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Unvollständige Mailauswertung mit pflogsumm

Beitrag von joshi » 06.12.2017 15:50:50

Servus Kollegen,

ich bin gerade dabei, die letzten 4 Wochen unser Mailaufkommen für die Abteilungsleiter aufzubereiten. Seit gestern bekommen sie via cron am Abend die tägliche Zusammenfassung geschickt, das läuft auch sauber. Jetzt muss ich aber noch die letzten 4 Wochen zum Vergleich auswerten. Da es ja eh nur ein paar Tage sind, hab ich mal zu Fuß angefangen mit grep "Nov 18" mail.log.1 | pflogsum -tail 78
Das läuft zwar prinzipiell, aber die Auswertung sieht dann wie folgt aus:

Code: Alles auswählen

Grand Totals
------------
messages

  15481   received
  86613   delivered
      0   forwarded
      0   deferred
      0   bounced
   2968   rejected (3%)
      0   reject warnings
      0   held
      0   discarded (0%)

   1621m  bytes received
   4465m  bytes delivered
   1591   senders
   1329   sending hosts/domains
  20476   recipients
   7179   recipient hosts/domains


Per-Hour Traffic Summary
------------------------
    time          received  delivered   deferred    bounced     rejected
    --------------------------------------------------------------------
    0000-0100          58         60          0          0        244
    0100-0200          62         62          0          0        245
    0200-0300          43         45          0          0        248
    0300-0400          40         40          0          0        246
    0400-0500          80         81          0          0        248
    0500-0600          63         64          0          0        250
    0600-0700          94        111          0          0        252
    0700-0800         448        877          0          0        274
    0800-0900        6806      50869          0          0        564
    0900-1000        7327      33081          0          0        345
    1000-1100         460       1323          0          0         52
    1100-1200           0          0          0          0          0
    1200-1300           0          0          0          0          0
    1300-1400           0          0          0          0          0
    1400-1500           0          0          0          0          0
    1500-1600           0          0          0          0          0
    1600-1700           0          0          0          0          0
    1700-1800           0          0          0          0          0
    1800-1900           0          0          0          0          0
    1900-2000           0          0          0          0          0
    2000-2100           0          0          0          0          0
    2100-2200           0          0          0          0          0
    2200-2300           0          0          0          0          0
    2300-2400           0          0          0          0          0
Ein Linecount von der Datei gibt mir aber >400.000 Zeilen zurück, an dem Tag war definitiv Betrieb, die Auswertung stimmt so einfach nicht... Es ist auch egal, ob ich den grep-output in eine datei füttere, oder direkt pipe, das Ergebnis ist immer falsch. Teilweise hören dann die Statistiken um 10.00 auf, dann um 11.00, aber nach 12.00 kommt nie was...

Habt ihr da vielleicht eine Idee?

LG und Danke
Johannes

hec_tech
Beiträge: 826
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Unvollständige Mailauswertung mit pflogsumm

Beitrag von hec_tech » 06.12.2017 16:12:01

Wie ist denn der Aufruf?

Ich mache es so:

00 01 * * * perl /usr/sbin/pflogsumm -e -d yesterday /var/log/mail.log | mail -s 'Logwatch for Postfix MX7' irgendwas@example.com

Funktioniert eigentlich problemfrei.

edit: Ich sollte wohl genauer lesen ;)

Was willst du genau reporten? Durchschnitt in der jeweiligen Stunde? Ansich würde das ganze in ein File schreiben und dann mit einen Script verarbeiten.
Für mich schaut es nach einem Timeout aus. Wenn ich mir vorstelle 4 Wochen Log zu parsen würde ich bei unseren MX Angst bekommen. Da müsste ich wohl die Logs statt auf SATA auf SSDs legen.

lg
Gregor

Benutzeravatar
TRex
Moderator
Beiträge: 5991
Registriert: 23.11.2006 12:23:54
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: KA

Re: Unvollständige Mailauswertung mit pflogsumm

Beitrag von TRex » 06.12.2017 22:16:16

Versteh ich das richtig, dass die Datei, die du verfütterst, mindestens einen ganzen Tag enthält, aber die Auswertung einfach nach nem Teil abbricht? Im Prinzip würde ich die Vermutung mit dem Timeout unterstützen, aber sie ist eben arg vage. Statt einer SSD würde ich aber direkt mit ner Ramdisk anfangen (tmpfs). In jedem Fall würde ich mit strace oder ähnlichem Kaliber nach dem Grund für die Abbrüche suchen (den output davon aber unbedingt in ne Ramdisk), und solltest du wie ich vermute erstmal akut etwas zum Präsentieren brauchen, filter doch mal die Zeilen mit grep raus, die pflogsumm parsen will (und das tmpfs dazu, wenn das bis dato nicht alleine geholfen hat).
Jesus saves. Buddha does incremental backups.
Windows ist doof, Linux funktioniert nichtDon't break debian!

hec_tech
Beiträge: 826
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Unvollständige Mailauswertung mit pflogsumm

Beitrag von hec_tech » 06.12.2017 23:53:05

Wäre eventuell https://octopussy.pm/ was für dich?

Pflogsumm ist zwar nett nur für eine Präsentation sind meistens Grafiken die bessere Variante. Alternativ wäre da noch mailgraph.

Benutzeravatar
novalix
Beiträge: 1514
Registriert: 05.10.2005 12:32:57
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: elberfeld

Re: Unvollständige Mailauswertung mit pflogsumm

Beitrag von novalix » 07.12.2017 09:15:23

joshi hat geschrieben: ↑ zum Beitrag ↑
06.12.2017 15:50:50
Da es ja eh nur ein paar Tage sind, hab ich mal zu Fuß angefangen mit grep "Nov 18" mail.log.1 | pflogsum -tail 78
Der Befehl ist, so wie Du ihn hier eingestellt hast, sehr unpräzise und würde so wohl auch nicht laufen.

Code: Alles auswählen

grep "Nov 18" /var/log/mail.log.1 | pflogsumm --detail 78
könnte gehen.
Wobei mir nicht ganz klar ist, wie und wodurch die "78" zustande kommt.
Lass doch einfach mal den Schalter "--detail" beiseite.
I have seen the face of death. It is a 1000+ line XML file of regexes.
j_houg

Antworten