Erfahrungen mit Benno-Mailarchiv?

[Huck Fin]

Ich denke auch, was zählt ist...

Juristische Rahmenbedingungen für die elektronische Archivierung

Originäre elektronische Daten müssen elektronisch archiviert werden
Keine Speicherung in Papierform (nicht als Ausdruck)
Elektronisch auswertbare Daten müssen elektronisch auswertbar bleiben
Anhänge müssen erhalten bleiben, und zwar im originären Format (beispielsweise als Excel-Tabelle)
Keine Formatkonvertierung
Ein nachträglicher Verlust der Daten muss unmöglich sein
Keine nachträgliche (unbemerkte) Veränderung der Daten
Datenveränderungen müssen rückgängig zu machen sein (Versionierung)
Daten müssen in angemessener Zeit verfügbar gemacht werden können
Migration auf neue Speichertechnologien muss möglich sein
Der Speicher muss dem Wachstum dauerhaft gewachsen sein

[getphp]

Mich würde mal interessieren, wie das dann in der Wirklichkeit aussieht. Also im Fall einer Begutachtung des geschäftlichen Mailverkehrs durch Behörden.

Sagen die dann, "In Ihrem MailArchiv können wir nicht nachschauen, weil das Archivprogramm selbst aus dem Ausland kommt und nicht gesetzeskonform läuft."? Das glaubt ja wohl selbst niemand.

Bürokratie hat schon seltsamere Dinge hervorgebracht. Schon mal mit dem falschen Formular oder einem sonstigen Formfehler konfrontiert worden?
Bei einer Software, die nicht gesetzeskonform läuft, wird dann halt das ganze Archiv nicht akzeptiert. Dann kann man sich die Mühe halt auch sparen.

Praxiserfahrung zu einer solchen Begutachtung habe ich nicht, darum ja die ganzen Fragen hier.

[weshalb]

Mich würde mal interessieren, wie das dann in der Wirklichkeit aussieht. Also im Fall einer Begutachtung des geschäftlichen Mailverkehrs durch Behörden.

Sagen die dann, "In Ihrem MailArchiv können wir nicht nachschauen, weil das Archivprogramm selbst aus dem Ausland kommt und nicht gesetzeskonform läuft."? Das glaubt ja wohl selbst niemand.

Bürokratie hat schon seltsamere Dinge hervorgebracht. Schon mal mit dem falschen Formular oder einem sonstigen Formfehler konfrontiert worden?
Bei einer Software, die nicht gesetzeskonform läuft, wird dann halt das ganze Archiv nicht akzeptiert. Dann kann man sich die Mühe halt auch sparen.

Praxiserfahrung zu einer solchen Begutachtung habe ich nicht, darum ja die ganzen Fragen hier.

Na nun wollen wir die Kirche mal im Dorf lassen. Ich durfte in Unternehmen bereits drei sogn. Tiefenprüfungen miterleben, was sich gar nicht mal als so kompliziert herausstellte, obwohl es schon hier und da einige Sachen zu bemängeln gab. Da wird sehr viel abgewogen, zumal die ja nicht nur den Mailverkehr zur Verfügung hätten.

Laut einiger Aussagen hier müssten dann ja auch alle Prüfer nach deutschem Recht, was die Mailarchivirung anbelangt, geschult sein. Dazu müssten in dem Fall beispielsweise den prüfenden Finanzleuten sämtliche Programme und deren Funktionen bis auf die tiefste Softwareebene bekannt sein, was absolut ausgeschlossen sein dürfte.

Apropos deutsches Recht- was ist da anders? Ich finde die Auflistung von Huck Fin aus dem Artikel selbst schon sehr aufschlussreich und würde mich erstmal nur daran halten, wobei man auch nicht wissen kann, für wen hier das Linuxmagazin die Pferde scheu machen möchte, so richtig darauf eingegangen sind die ja schließlich nicht.

[getphp]

Na nun wollen wir die Kirche mal im Dorf lassen. Ich durfte in Unternehmen bereits drei sogn. Tiefenprüfungen miterleben, was sich gar nicht mal als so kompliziert herausstellte, obwohl es schon hier und da einige Sachen zu bemängeln gab. Da wird sehr viel abgewogen, zumal die ja nicht nur den Mailverkehr zur Verfügung hätten.

Laut einiger Aussagen hier müssten dann ja auch alle Prüfer nach deutschem Recht, was die Mailarchivirung anbelangt, geschult sein. Dazu müssten in dem Fall beispielsweise den prüfenden Finanzleuten sämtliche Programme und deren Funktionen bis auf die tiefste Softwareebene bekannt sein, was absolut ausgeschlossen sein dürfte.

Was die Schulung angeht: naja, ich bin überzeugt, dass Prüfer wissen, was sie tun. Warum sollten sie von Mailarchivierung keine Ahnung haben?

Ich habe drei dt. Anbieter gefunden: Benno, Heinlein und Mailstore. Die sind mit ihrem Angebot gut aufgestellt; sie erklären, wer sie sind und was sie warum machen. Heinlein hat ohnehin einen Vertrauensbonus.

Für piler habe ich auf der Projekt-Webseite noch nicht mal ein Impressum oder eine namentlich genannte Person gefunden. Den muss ich mir aus den Angaben Skype und Email-Adresse herleiten.
Selbst der zu bezahlbare Support nennt keinen Verantwortlichen. Und dann soll ich dieser Software vertrauen, dass ich sie für das dt. Steuerrecht (das komplizierteste auf der Welt) einsetzen kann?

Apropos deutsches Recht- was ist da anders? Ich finde die Auflistung von Huck Fin aus dem Artikel selbst schon sehr aufschlussreich und würde mich erstmal nur daran halten, wobei man auch nicht wissen kann, für wen hier das Linuxmagazin die Pferde scheu machen möchte, so richtig darauf eingegangen sind die ja schließlich nicht.

Da ich mich mit dem Steuerrecht nicht auskenne, kann ich nicht sagen, wo die Unterschiede sind. Das versuche ich ja gerade herauszufinden ...

Der Artikel ist aus dem Linux-Magazin 01/2013 - das wird der redaktionelle Stand von Nov/Dez 2012 sein.
Die Richtlinie um die es hier geht (GoBD), ist erst drei Jahre später in Kraft (01.01.2015) getreten.
Das Linux-Magazin darf keine rechtssicheren Tipps geben, das dürfte nur ein Rechtsanwalt

[weshalb]

Mich würde weder das Impressum noch der Sitz eines Unternehmens, noch das ganze Drumherum interessieren, sofern die, wie es heißt "Juristischen Rahmenbedingungen für die elektronische Archivierung" erfüllt sind. Und das scheinen sie mit Piler.

Das dt. Steuerrecht beruft sich hinsichtlich der Archivierung genau auf diese Rahmenbedingungen, also weiß ich jetzt nicht, warum du die Komplexität des gesamten Steuerrechts ins Feld führst.

Wenn du natürlich Support benötigst, dann kauf ihn dir.

[heisenberg]

Es ist schön zu lesen, dass in gemäss der Erfahrung in der Wirklichkeit das alles nicht so heiss gegessen wird, wie gekocht.

----

Wenn ich mir die einfachen und Plausiblen Grundsätze des GoBD [1] durchlese, dann finde ich das technisch eine äusserst grosse Herausforderung, zum Beispiel:

• Unveränderbarkeit
• Vollständigkeit
• Nachprüfbarkeit

Unveränderbarkeit sollte sich durch Signaturen bewerkstelligen lassen. Allerdings müssen diese Signaturen dann auch abgesichert sein, sonst kann ja jeder kommen und eine korrigierte Mail nach Belieben nachsignieren.

Die Vollständigkeit von E-Mails zu garantieren, dass finde ich da schon wesentlich schwieriger. Da müsste man ja eine umfassende gesicherte unveränderbare Protokollierung des Mailservers bzw. aller beteilligten Mailserver haben.

Bei Benno habe ich jetzt auch noch nicht gesehen, dass man da eine Überprüfung auf Vollständigkeit durchführen kann. Die Dateien der einzelnen Mails liegen unverschlüsselt im Originalformat auf der Platte rum und irgendwo sind da Signaturen dazu. Was passiert wenn ich jetzt bewusst einzelne Mails verschwinden lasse? Das sollte sich auf einem Archivserver eigentlich ganz gut prüfen lassen, zumindest innerhalb des Archivsystems.

Doch wie stellt man sicher, das auch wirklich alles im Archiv gelandet ist? Bei Benno ist das z. B. ein Milter, der die Mails lokal zwischenspeichert und an den Archivserver schickt. Man könnte ja auch auf die Idee kommen, den Zwischenspeicher erst einmal
oder bei Bedarf etwas zu verzögern um dann ggf. einzelne unliebsame Mails gar nicht erst an den Archivserver zu übertragen.

Oder jetzt nicht aus böswilliger Absicht, aber doch wegen technischer Störungen, werden immer mal wieder E-Mails nicht in das Archivsystem eingeliefert. Auch das müsste überprüfbar sein.

Diesbezüglich denke ich mir mal dass da tendenziell eher überhaupt keine der bisher erwähnten Softwareprodukte diese Kriterien erfüllt, da das Archivsystem ja IMO auch den Mailserverprozess gesichert mitprotokollieren muss, um vollständig zu sein.

[1] Grundätze GoBD

[Huck Fin]

So. habe mal einen Testserver gebastelt.
Dann Sphinx und Piler installiert.
Problematisch war dann nur die Konfiguration.
Drei Konfig-Dateien... muss man erst mal finden, wo die liegen...
Habe ich aber auch noch hin bekommen.
Jetzt importiere ich gerade E-Mails...
Erste Tests sehen ganz gut aus...
Die SuFu geht sehr schnell...
Muss nur noch raus bekommen, wie ich dann neue Mails da hinein bekomme.

Im Web findet man nur wenig Infos, wie man das zum laufen bekommt.
Und wenn es läuft, muss man die Mails da erst mal hinein bekommen.
Bin jetzt 2 Tage am probieren... und jetzt erst die ersten Mails im Archiv...

Es ist schön zu lesen, dass in gemäss der Erfahrung in der Wirklichkeit das alles nicht so heiss gegessen wird, wie gekocht.

----

Wenn ich mir die einfachen und Plausiblen Grundsätze des GoBD [1] durchlese, dann finde ich das technisch eine äusserst grosse Herausforderung, zum Beispiel:

• Unveränderbarkeit
• Vollständigkeit
• Nachprüfbarkeit

Unveränderbarkeit sollte sich durch Signaturen bewerkstelligen lassen. Allerdings müssen diese Signaturen dann auch abgesichert sein, sonst kann ja jeder kommen und eine korrigierte Mail nach Belieben nachsignieren.

Die Vollständigkeit von E-Mails zu garantieren, dass finde ich da schon wesentlich schwieriger. Da müsste man ja eine umfassende gesicherte unveränderbare Protokollierung des Mailservers bzw. aller beteilligten Mailserver haben.

Bei Benno habe ich jetzt auch noch nicht gesehen, dass man da eine Überprüfung auf Vollständigkeit durchführen kann. Die Dateien der einzelnen Mails liegen unverschlüsselt im Originalformat auf der Platte rum und irgendwo sind da Signaturen dazu. Was passiert wenn ich jetzt bewusst einzelne Mails verschwinden lasse? Das sollte sich auf einem Archivserver eigentlich ganz gut prüfen lassen, zumindest innerhalb des Archivsystems.

Doch wie stellt man sicher, das auch wirklich alles im Archiv gelandet ist? Bei Benno ist das z. B. ein Milter, der die Mails lokal zwischenspeichert und an den Archivserver schickt. Man könnte ja auch auf die Idee kommen, den Zwischenspeicher erst einmal
oder bei Bedarf etwas zu verzögern um dann ggf. einzelne unliebsame Mails gar nicht erst an den Archivserver zu übertragen.

Oder jetzt nicht aus böswilliger Absicht, aber doch wegen technischer Störungen, werden immer mal wieder E-Mails nicht in das Archivsystem eingeliefert. Auch das müsste überprüfbar sein.

Diesbezüglich denke ich mir mal dass da tendenziell eher überhaupt keine der bisher erwähnten Softwareprodukte diese Kriterien erfüllt, da das Archivsystem ja IMO auch den Mailserverprozess gesichert mitprotokollieren muss, um vollständig zu sein.

[1] Grundätze GoBD

In Piler werden alle E-Mails verschlüsselt abgelegt.
Man soll den Schlüssel sichern, da man im Falle des Verlustes nie wieder an das Archiv kommt.

Noch ein Nachtrag.
Ich habe oben geschrieben

Problematisch war dann nur die Konfiguration.
Drei Konfig-Dateien... muss man erst mal finden, wo die liegen...

Obwohl alles läuft, hatte ich Fehlermeldungen, dass er eine Konfig-datei in /usr/local/etc/piler/ sucht.
Habe die Datei mal dort hin kopiert, aber ich weis nicht, welche Einstellung dafür verantwortlich ist, dass dort diese Datei gesucht wird und nicht in /etc/piler/ wie ursprünglich eingestellt.
Er benötigt jetzt die Datei an zwei Speicherorten !
Jemand eine Idee wo das eingestellt wird ?

[rendegast]

Zwingt das ganze jetzt eigentlich zu einem eigenen Mailserver/Appliance?

Wir hatten eine ganze Weile nur Mailkonten der Mitarbeiter auf bei einer t-com-Domain.
Zugang nur im Browser per t-com-Webmail, kein IMAP/POP3-Abruf mit lokalen Clients.
Backup wohl nur das Provider-interne Funktionsbackup, von unserer Seite keins.

Wegen der Einfachheit hätte ich sowas wohl weiterhin,
jedoch war das Provider-Quota von 50MB pro Konto doch zu mickrig.

Wegen der zentralen Durchsuchbarkeit und Unveränderlichkeit wäre sowas wohl nicht mehr zulässig.
(Löschungen regelmäßig allein wegen des Quota)

Mittlerweile gibt es vom Provider ein Quota von 1GB pro Konto,
hinsichtlich des Gesetzesmurks bin ich versucht, auf diese alte Verfahrensweise zurückzustellen.
Jedoch habe ich auch die Möglichkeiten schätzengelernt, Mails funktionsorientierter Portalzugänge (funktion@domain) per sieve an personalisierte Mailkonten (name@domain) zu verteilen,
also Flexibilität bei Mitarbeiter-Ab/Zugängen.
(Bei Portalen, die einen admin-Zugang bieten, mit dem Accounts aktiviert/deaktiviert werden können, braucht es sowas weniger)


Und die ganze Kommunikation per facebook, whatsapp usw. (hier noch gar nicht in Verwendung) bleibt beim GoBD außen vor?

[Huck Fin]

Man könnte Mailstore kaufen.
Da kann man dann e-Mails auf einem Windows-PC sammeln und beim Provider kannst du löschen.
Dann hast du die lokale Kopie in Mailstore.
5 User ca. 300,- geht noch...
Ich habe aber gerne alles auf meiner Linux-Kiste (Server)

[weshalb]

Und Huck Fin, wie sieht es aus mit der Einrichtung. Geht alles? Sind viele Hürden zu nehmen? Ich bin gespannt.

[Huck Fin]

Ja, ziemlich kompliziert...
Ich kämpfe noch mit Problemchen...
Ansonsten sieht das echt gut aus.

[getphp]

Wer piler mal auf einem Testsystem oder VM installieren will, ich habe mal meine Erfahrungen in einem Installations-Skript aufgeschrieben:
https://github.com/getdebian/mailpiler- ... bian-DE.sh

[Huck Fin]

Hier hat schon mal jemand ne Anleitung gemacht.

http://wiki.ozanh.com/doku.php?id=linux ... :mailpiler

Läuft auch soweit...
Ich habe nur so ein Problem, dass das web-ui permanent 100% CPU Last zeigt, obwohl es nicht so ist.
Ich finde den Fehler nicht.

Ich hatte zum testen mein System erst mal geklont.
Auf meiner geklonten HDD läuft alles einwandfrei.
Auf meinem richtigen System habe ich den Fehler.

[getphp]

Danke für den Link.
Auf meiner Test-VM läuft auch alles gut und sogar mit php7 in sehr guter Geschwindigkeit.

[Huck Fin]

Hier hat schon mal jemand ne Anleitung gemacht.

http://wiki.ozanh.com/doku.php?id=linux ... :mailpiler

Läuft auch soweit...
Ich habe nur so ein Problem, dass das web-ui permanent 100% CPU Last zeigt, obwohl es nicht so ist.
Ich finde den Fehler nicht.

Ich hatte zum testen mein System erst mal geklont.
Auf meiner geklonten HDD läuft alles einwandfrei.
Auf meinem richtigen System habe ich den Fehler.

Ja von wegen...
Ich habe tatsächlich eine viel zu hohe Auslastung auf meinem Server...
%idle 0.01
Ich vermute 2GB sind zu wenig, wenn im Hintergrund ein GDM3 läuft.

Hat aber NICHTS mit dem Piler zu tun.
Der läuft SUPER

Aber ich vermute, ich mache das falsch mit dem integrieren neuer Mails.
Ich forwarde ALLE mails über die Main.cf von Postfix an archiv@meinedomain
und dann mache ich ein
pilerimport -i 127.0.0.1 -u user -p passwort -r

Wie macht Ihr das mit neuen Mails ?

[Huck Fin]

Hat das jetzt noch jemand von euch am laufen ?
Ich habe Probleme mit permanenten E-Mails bezüglich der Cronjobs.
Habe schon > /dev/null 2>&1 an den Cronjob gehängt.
Funktionieren tut es aber...

emails:
FATAL: failed to lock /var/piler/sphinx/tag1.tmp.spl: Resource temporarily unavailable, will not index. Try --rotate option.
FATAL: failed to lock /var/piler/sphinx/note1.tmp.spl: Resource temporarily unavailable, will not index. Try --rotate option.

crontab:
5,35 * * * * piler /usr/local/libexec/piler/indexer.delta.sh > /dev/null 2>&1
30 2 * * * piler /usr/local/libexec/piler/indexer.main.sh > /dev/null 2>&1
*/15 * * * * piler /usr/bin/indexer --quiet tag1 --rotate > /dev/null 2>&1
*/15 * * * * piler /usr/bin/indexer --quiet note1 --rotate > /dev/null 2>&1

Die Dateien gehören alle piler:piler und sind -rw-r--r--

[weshalb]

Ich würde gerne, aber derzeit habe ich noch keinen Bedarf und irgendwie warte ich darauf, dass du was Positives berichten kannst.

[Huck Fin]

Positiv kann ich berichten, dass die Suche so flott geht...
Ich bin begeistert.
Bis auf diese mails permanent...

[getphp]

Bis auf diese mails permanent...

Schreib das mal an den Anfang der Crontab, dann werden überhaupt keine Emails mehr geschickt:

Code: Alles auswählen

MAILTO=""

[Huck Fin]

Bis auf diese mails permanent...

Schreib das mal an den Anfang der Crontab, dann werden überhaupt keine Emails mehr geschickt:

Code: Alles auswählen

MAILTO=""

Gute Idee
Dass mir das nicht eingefallen ist

[heisenberg]

Wenn an der Instrumententafel im Auto die Warnlampe für den Ölstand leuchtet also am besten erst Mal die Sicherung rausnehmen, dass dieses unangenehme rote Licht weg ist. Yeah!

Das bedeutet, dass ab jetzt auch alle anderen Fehler von Piler im Cronjob nicht mehr berichtet werden, ebenso alle anderen Fehler zu Jobs in dieser Cron-Konfigurationsdatei.

[Huck Fin]

Ich sehe dass als vorübergehende Lösung.
Nicht als Endlösung.
Bis ich den Fehler behoben habe.
Seit 8 Tagen jede Stunde 2 Mails...
Das nervt.

[rendegast]

Leg die jobs doch in Arbeitsskripte,
dann gibt es mehr Kontrolle über Ausgabe und Exit-Wert.

[Huck Fin]

Hi,
hatte ich versucht.
so mit sudo -u piler befehl

Aber da sind die selben Mails gekommen.

[heisenberg]

So ich bin jetzt auch wieder mit dem primären Focus dabei, das Thema für mich weiter voranzubringen.

Eine Frage, die sich mir aufdrängt, ist - vor allem in grösseren Umgebungen - das Thema Dateisysteme.

Bei Benno sehe ich - ich bin mir noch nicht sicher ob das zwingend so sein muss - dass die Ablage von E-Mails in Form komprimierter Einzeldateien stattfindet. Teilweise auch 2 Dateien pro Mail: Metadatei und Originalmail. D. h. im laufe der Zeit werden da gigantische Dateiberge heranwachsen, die mit der Zeit meiner Erfahrung nach stetig langsamer im Zugriff werden.

Deswegen die Frage: Welche Dateisysteme sind geeignet? Was kann man da noch tunen, damit ein Dateisystem auch mit vielen kleinen Dateien besser zurechtkommt? Und natürlich auch: Kann man der Software das abgewöhnen mehrere Millionen Dateien überhaupt erst anzulegen.