Erfahrungen mit Benno-Mailarchiv?

Debian macht sich hervorragend als Web- und Mailserver. Schau auch in den " Tipps und Tricks"-Bereich.
Benutzeravatar
Huck Fin
Beiträge: 1202
Registriert: 10.03.2008 17:10:30

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von Huck Fin » 23.12.2016 09:20:21

Ja, ziemlich kompliziert...
Ich kämpfe noch mit Problemchen...
Ansonsten sieht das echt gut aus.

getphp
Beiträge: 80
Registriert: 14.01.2006 15:23:28

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von getphp » 23.12.2016 14:47:20

Wer piler mal auf einem Testsystem oder VM installieren will, ich habe mal meine Erfahrungen in einem Installations-Skript aufgeschrieben:
https://github.com/getdebian/mailpiler- ... bian-DE.sh
Gruss
getphp

Benutzeravatar
Huck Fin
Beiträge: 1202
Registriert: 10.03.2008 17:10:30

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von Huck Fin » 23.12.2016 14:55:33

Hier hat schon mal jemand ne Anleitung gemacht.

http://wiki.ozanh.com/doku.php?id=linux ... :mailpiler

Läuft auch soweit...
Ich habe nur so ein Problem, dass das web-ui permanent 100% CPU Last zeigt, obwohl es nicht so ist.
Ich finde den Fehler nicht.

Ich hatte zum testen mein System erst mal geklont.
Auf meiner geklonten HDD läuft alles einwandfrei.
Auf meinem richtigen System habe ich den Fehler.

getphp
Beiträge: 80
Registriert: 14.01.2006 15:23:28

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von getphp » 23.12.2016 15:08:09

Danke für den Link.
Auf meiner Test-VM läuft auch alles gut und sogar mit php7 in sehr guter Geschwindigkeit.
Gruss
getphp

Benutzeravatar
Huck Fin
Beiträge: 1202
Registriert: 10.03.2008 17:10:30

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von Huck Fin » 23.12.2016 16:28:31

Huck Fin hat geschrieben:Hier hat schon mal jemand ne Anleitung gemacht.

http://wiki.ozanh.com/doku.php?id=linux ... :mailpiler

Läuft auch soweit...
Ich habe nur so ein Problem, dass das web-ui permanent 100% CPU Last zeigt, obwohl es nicht so ist.
Ich finde den Fehler nicht.

Ich hatte zum testen mein System erst mal geklont.
Auf meiner geklonten HDD läuft alles einwandfrei.
Auf meinem richtigen System habe ich den Fehler.
Ja von wegen...
Ich habe tatsächlich eine viel zu hohe Auslastung auf meinem Server...
%idle 0.01
Ich vermute 2GB sind zu wenig, wenn im Hintergrund ein GDM3 läuft.

Hat aber NICHTS mit dem Piler zu tun.
Der läuft SUPER

Aber ich vermute, ich mache das falsch mit dem integrieren neuer Mails.
Ich forwarde ALLE mails über die Main.cf von Postfix an archiv@meinedomain
und dann mache ich ein
pilerimport -i 127.0.0.1 -u user -p passwort -r

Wie macht Ihr das mit neuen Mails ?

Benutzeravatar
Huck Fin
Beiträge: 1202
Registriert: 10.03.2008 17:10:30

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von Huck Fin » 07.01.2017 16:03:06

Hat das jetzt noch jemand von euch am laufen ?
Ich habe Probleme mit permanenten E-Mails bezüglich der Cronjobs.
Habe schon > /dev/null 2>&1 an den Cronjob gehängt.
Funktionieren tut es aber...

emails:
FATAL: failed to lock /var/piler/sphinx/tag1.tmp.spl: Resource temporarily unavailable, will not index. Try --rotate option.
FATAL: failed to lock /var/piler/sphinx/note1.tmp.spl: Resource temporarily unavailable, will not index. Try --rotate option.

crontab:
5,35 * * * * piler /usr/local/libexec/piler/indexer.delta.sh > /dev/null 2>&1
30 2 * * * piler /usr/local/libexec/piler/indexer.main.sh > /dev/null 2>&1
*/15 * * * * piler /usr/bin/indexer --quiet tag1 --rotate > /dev/null 2>&1
*/15 * * * * piler /usr/bin/indexer --quiet note1 --rotate > /dev/null 2>&1

Die Dateien gehören alle piler:piler und sind -rw-r--r--

Benutzeravatar
weshalb
Beiträge: 1265
Registriert: 16.05.2012 14:19:49

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von weshalb » 07.01.2017 21:36:04

Ich würde gerne, aber derzeit habe ich noch keinen Bedarf und irgendwie warte ich darauf, dass du was Positives berichten kannst. :mrgreen:

Benutzeravatar
Huck Fin
Beiträge: 1202
Registriert: 10.03.2008 17:10:30

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von Huck Fin » 07.01.2017 21:37:50

Positiv kann ich berichten, dass die Suche so flott geht...
Ich bin begeistert.
Bis auf diese mails permanent...

getphp
Beiträge: 80
Registriert: 14.01.2006 15:23:28

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von getphp » 08.01.2017 00:56:42

Huck Fin hat geschrieben: Bis auf diese mails permanent...
Schreib das mal an den Anfang der Crontab, dann werden überhaupt keine Emails mehr geschickt:

Code: Alles auswählen

MAILTO=""
Gruss
getphp

Benutzeravatar
Huck Fin
Beiträge: 1202
Registriert: 10.03.2008 17:10:30

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von Huck Fin » 08.01.2017 10:48:46

getphp hat geschrieben:
Huck Fin hat geschrieben: Bis auf diese mails permanent...
Schreib das mal an den Anfang der Crontab, dann werden überhaupt keine Emails mehr geschickt:

Code: Alles auswählen

MAILTO=""
Gute Idee
Dass mir das nicht eingefallen ist :facepalm:

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von heisenberg » 08.01.2017 13:31:48

Wenn an der Instrumententafel im Auto die Warnlampe für den Ölstand leuchtet also am besten erst Mal die Sicherung rausnehmen, dass dieses unangenehme rote Licht weg ist. Yeah!

Das bedeutet, dass ab jetzt auch alle anderen Fehler von Piler im Cronjob nicht mehr berichtet werden, ebenso alle anderen Fehler zu Jobs in dieser Cron-Konfigurationsdatei.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
Huck Fin
Beiträge: 1202
Registriert: 10.03.2008 17:10:30

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von Huck Fin » 08.01.2017 15:09:24

Ich sehe dass als vorübergehende Lösung.
Nicht als Endlösung.
Bis ich den Fehler behoben habe.
Seit 8 Tagen jede Stunde 2 Mails...
Das nervt.

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von rendegast » 08.01.2017 16:44:44

Leg die jobs doch in Arbeitsskripte,
dann gibt es mehr Kontrolle über Ausgabe und Exit-Wert.
mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

Benutzeravatar
Huck Fin
Beiträge: 1202
Registriert: 10.03.2008 17:10:30

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von Huck Fin » 08.01.2017 17:47:58

Hi,
hatte ich versucht.
so mit sudo -u piler befehl

Aber da sind die selben Mails gekommen.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von heisenberg » 09.01.2017 16:37:51

So ich bin jetzt auch wieder mit dem primären Focus dabei, das Thema für mich weiter voranzubringen.

Eine Frage, die sich mir aufdrängt, ist - vor allem in grösseren Umgebungen - das Thema Dateisysteme.

Bei Benno sehe ich - ich bin mir noch nicht sicher ob das zwingend so sein muss - dass die Ablage von E-Mails in Form komprimierter Einzeldateien stattfindet. Teilweise auch 2 Dateien pro Mail: Metadatei und Originalmail. D. h. im laufe der Zeit werden da gigantische Dateiberge heranwachsen, die mit der Zeit meiner Erfahrung nach stetig langsamer im Zugriff werden.

Deswegen die Frage: Welche Dateisysteme sind geeignet? Was kann man da noch tunen, damit ein Dateisystem auch mit vielen kleinen Dateien besser zurechtkommt? Und natürlich auch: Kann man der Software das abgewöhnen mehrere Millionen Dateien überhaupt erst anzulegen.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
weshalb
Beiträge: 1265
Registriert: 16.05.2012 14:19:49

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von weshalb » 26.01.2017 01:58:34

@HuckFin

Ich wollte nun auch mit Piler loslegen. Hast du ein bestimmtes Howto, was dir besonders weitergeholfen hat und hast du irgendwelche Tips schon mal im vorraus? Wäre super!

Benutzeravatar
weshalb
Beiträge: 1265
Registriert: 16.05.2012 14:19:49

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von weshalb » 13.02.2017 12:47:10

@Heisenberg

Ich habe mir jetzt mal Piler in KVM installiert und muss sagen, dass das richtig gut aussieht und seinen Dienst prima macht. Der Support ist super und oft sogar schneller, als wenn ich mich mit einer kommerziellen Lösung rumschlagen muss.

Ich werde das wahrscheinlich auch auf Dauer einsetzen, so geht nichts mehr verloren, man hat einfach ein besseres Gefühl und ich hoffe, dass diese Software auch in der Zukunft noch erhalten bleibt.

Wie das mit dem Anlegen von Millionen Dateien ist, kann ich nicht beurteilen. Doch diese Frage sollte man sich ja bei jeglichen Archivsystemen stellen müssen.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von heisenberg » 13.02.2017 12:57:07

Ich selbst habe mich für meine Firma für Benno entschieden aus den genannten Gründen(deutsche Firma kümmert sich darum, dass die Archivierung konform mit den deutschen Gesetzen ist und ich mir und ich mich darauf verlassen kann, dass die das ordentlich geprüft haben).

Benno benötigt zur Konfiguration eine XML-Datei, die dann z. B. auch alle Mandanten enthält. Ich habe hier mal ein PHP-Programm gebastelt, mit der man sich diese Konfiguration zusammenbasteln kann:

https://github.com/megabert/bennoconf/b ... /bennoconf

Im Moment steht auch die Erstellung eines brauchbaren Web-UIs an, mit dem man Reseller, Kunden, Domains, Gruppen, E-Mailbenutzer und Aliase verwalten kann.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Benutzeravatar
weshalb
Beiträge: 1265
Registriert: 16.05.2012 14:19:49

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von weshalb » 13.02.2017 16:53:25

heisenberg hat geschrieben:Verschlüsselung
Zum Thema Verschlüsselung habe ich nur gelesen: Geht mit Benno nicht; wenn man das will, dann soll man verschlüsselnde Dateisysteme nehmen. Hilft jetzt nicht viel, wenn's um einen Server geht, der immer an ist.
Der Aufwand mit Piler ist nicht so groß. Piler legt ab Werk jede Mail verschlüsselt ab, welche nicht verändert werden kann(da steht nur Kauderwelch drin). Also das finde ich schon mal sehr positiv und sollte eher an den gesetzlichen Vorgaben dran sein. Lösche ich beispielsweise eine Mail (als Root), ist die Mail zumindest immer noch in der Auflistung des Revisors zu sehen, mit Empfänger, Absender, Datum und Betreff zu sehen.

Die Leute von Benno müßten ja die Restriktiven, welche Mail gesichert werden muss oder nicht (Privatmails, Serverinfos etc.), ebenfalls vom hiesigen Admin oder einem Verantwortlichen bekommen. Mit diesen Informationen kann ich ebenfalls Edit: den Mailserver so einrichten, dass da nur das ankommt, was wirklich benötigt wird.
heisenberg hat geschrieben:Nachtrag
Was mich bei Benno auch etwas abschreckt, ist, dass das Wiki nicht wirklich professionell und wenig umfangreich aussieht, d. h. ob das dann helfen wird ist fraglich. Bei einem hochpreisigen Produkt, bei dem es auf Gesetzeskonformität ankommt, passt die Methode Ich frickle mir meine Postfix-Config so zurecht, dass das schon passen wird für mich nicht wirklich so dazu. Da muss auch schon die Anbindung schon absolut korrekt sein.
.
heisenberg hat geschrieben: Benno Mailarchiv ist eine der Optionen, die da zur Verfügung steht. Die bieten unter anderem ein milter-plugin an, das ich an
meine(n) postfix(e) anflanschen kann.
Ja was denn nun, "Postfixfrickel" oder nicht? In Postfix reicht nichts weiter, als eine Weiterleitung aller Mails an den Archivserver. Das kann man mit den bcc Maps soweit verfeinern, dass da auch wirklich nur das ankommt, was benötigt wird. Da wird Benno wohl auch nicht drum rum kommen. Alles anzunehmen und auf Archivserverseite zu verwerfen wäre die andere Möglichkeit, was mit Piler ebenfalls geht. (Edit: in einem bestimmten Rahmen mittels Archivierungsregeln oder eben vollumfämglich über den MTA)
Piler supports
archiving and retention rules
legal hold
deduplication
digital fingerprinting and verification
full text search
tagging emails
view, export, restore emails
bulk import/export messages
audit logs
Google Apps
Office 365
and many more
Schreibe doch bitte nochmal dazu, was da fehlen könnte. (eine Vorgabe zum Einsetzen eines deutschen Supports kann ich nach Vorgaben der GoBD nicht erkennen )

Edit: Link von der Bitkom dazu eingefügt

https://www.bitkom.org/noindex/Publikat ... d-GoBD.pdf

Ich sehe im Moment keine Probleme mit dem Betrieb von Piler im deutschen Rechtsraum und die Einrichtung ist auch sehr gut dokumentiert. Das Einzige, was eventuell von deinem Standpunkt her Priorität haben dürfte> Ja, man muss selbst Hand anlegen, doch das sollte bei einem Admin wohl oft zur Selbstverständlichkeit gehören.

Nachtrag vom 15.02.2017

Und noch ein Edit, weil mich die Sache nicht in Ruhe ließ:

https://wiki.benno-mailarchiv.de/doku.p ... he_aspekte
Auswirkungen auf Produkte

Stand der Ausarbeitung dieser Dokumentation (siehe oben) gibt es in Deutschland keine rechtsgültigen oder rechtswirksamen Produktzertifizierungen für E-Mail-Archivierungssysteme. Um eine gesetzeskonforme E-Mail-Archivierung aller handels- und steuerrechtlich relevanten E-Mails im Sinne von HGB, AO, GoB, GoBS, GdPDU zu implementieren, ist es im Sinne des Ordnungsmäßigkeitskriteriums der Nachvollzierbarkeit erforderlich, neben der fachgerechten technischen Einrichtung eine geeignete Verfahrensdokumentation bzgl. Dokumentation der Ordnungsmäßigkeit des Gesamtverfahrens „E-Mail-Archivierung“ zu erstellen. Die Dokumentation beschreibt insbes. die Schnittstellen zwischen Benno MailArchiv und den umgebenden Systemen, den Fluß der E-Mails in das Archiv usw. und beschreibt abgestimmte Kontroll- und Wartungsverfahren.
Also wenn ich das richtig lese, kommt es hier eher auf eine zusätzliche Verfahrensdokumentation an. Ich werde mich da mal noch weiter schlau machen oder vielleicht könntest du ja, jetzt wo du den vollen Einblick in eine solche Dokumentation haben müsstest, die Anforderungen an diese kurz beschreiben.

Wenn der Umfang so ist, wie ich vermute, sollte das keinen großen Aufwand bedeuten.

Benutzeravatar
weshalb
Beiträge: 1265
Registriert: 16.05.2012 14:19:49

Re: Erfahrungen mit Benno-Mailarchiv?

Beitrag von weshalb » 20.02.2017 13:27:38

Wie versprochen habe ich mich rechtlich schlau gemacht::

Piler erfüllt technisch die Vorrausetzungen nach deutschem Recht und damit das Paket rund wird, bedarf es einer zusätzlichen Dokumentation, sowie der Sicherstellung des Datenzugriffs durch die Finanzverwaltung im Falle einer Prüfung.

Die Dokumentation ist nichts weiter, als eine technische Verfahrensdokumentation der Archivierungslösung selbst, was dem Administrator aufgrund der Kenntnisse über sein Systems leicht fallen sollte. Also IP's, Domains, Datenbank, Verschlüsselung, Backupverfahren, wer macht was usw.

Dem Finanzamt geht es auch nicht darum, in der Verfahrensdokumentation den Fehler zu finden, sondern das Hauptaugenmerk liegt in der Nachvollziehbarkeit des Systems und dem finanztechnischen Auswerten an sich.

Ich hoffe geholfen zu haben.

Antworten