Dateisystem für Mails

Debian macht sich hervorragend als Web- und Mailserver. Schau auch in den " Tipps und Tricks"-Bereich.
Antworten
hec_tech
Beiträge: 1093
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Dateisystem für Mails

Beitrag von hec_tech » 14.06.2016 12:29:05

Wie wäre es wenn man auf (m)dbox wechselt? Du hast ja eh den Link von heinlein gepostet.

Damit brauchst du auch wesentlich weniger IOPs für Mailzugriff und außerdem hast du weniger Files. Das führt auch wieder zu schnelleren checks.

Denk aber auch an Backups also brauchst du etwas mit dem du Snapshots erzeugen kannst anders kannst du mdbox nicht sichern.

lg
Gregor

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Dateisystem für Mails

Beitrag von wanne » 14.06.2016 17:56:38

NAB hat geschrieben:Die spannende Frage wäre nun, welches mit deinen 6 Mio Dateien fixer ist.
Definitiv ext4.
XFS hat minimale performancevorsprünge bei extrem großen Partitionen mit großen Dateien.
rot: Moderator wanne spricht, default: User wanne spricht.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Dateisystem für Mails

Beitrag von heisenberg » 23.06.2016 01:03:05

Also maildir ist in der Handhabung bei abermillionen Dateien hässlich. Soweit volle Zustimmung.

(m)dbox aber ist da eher hinsichtlich Backup etwas hässlich. Sehr grosse Dateien, die sich grundsätzlich immer ändern, am besten noch in einem Binärformat, das man nicht diffen kann.

Hinsichtlich Backupfreundlichkeit würde ich mir da ein Format wünschen, das sich kontinuierlich um handhabbare Dateigrössen erweitert. Also vielleicht so in der Grösse von jeweils 50 / 100 / 200 / 500 MB. Dazu noch eine Indexdatei, in der Mails markiert werden, z. B. als gelöscht. Volle Datendateien werden grundsätzlich gar nicht mehr automatisch angefasst, so dass diese immer exakt so wie sie sind im Backup landen(oder auch nicht, weil sie da schon sind). Die bisher geschriebenen Datendateien können gelegentlich mal neu erstellt werden, wobei alle gelöschten Mails bei diesem Vorgang verworfen werden. Diesen Rebuild könnte man regelmässig einmal im Monat zu geringen Lastzeiten durchführen.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Colttt
Beiträge: 2983
Registriert: 16.10.2008 23:25:34
Wohnort: Brandenburg
Kontaktdaten:

Re: Dateisystem für Mails

Beitrag von Colttt » 23.06.2016 10:37:01

Ich glaube da wäre sdbox deine Wahl. Hier hat mal jmd dazu was zusammen gefasst: https://www.rootforum.org/forum/viewtopic.php?t=54663
Debian-Nutzer :D

ZABBIX Certified Specialist

wanne
Moderator
Beiträge: 7448
Registriert: 24.05.2010 12:39:42

Re: Dateisystem für Mails

Beitrag von wanne » 23.06.2016 19:30:07

Du solltest dir vielleicht auch mal btrfs angucken. Das kann inkrementelle backups und das eben auch auf Binärdateien. Performant ist das nicht, aber die backups bleiben wunderbar einfach – Egal welches Dateiformat du nutzt.
rot: Moderator wanne spricht, default: User wanne spricht.

Dimejo
Beiträge: 503
Registriert: 21.07.2014 13:37:23

Re: Dateisystem für Mails

Beitrag von Dimejo » 24.06.2016 15:54:21

heisenberg hat geschrieben:Also maildir ist in der Handhabung bei abermillionen Dateien hässlich. Soweit volle Zustimmung.
Maildir hat ab einer bestimmten Größe Schwächen, da habt ihr Recht. Aber ein paar Millionen Mails sollten kein Problem sein. Zumindest wenn die Hardware nicht nur aus 5.4k SATA-Platten besteht.
heisenberg hat geschrieben:(m)dbox aber ist da eher hinsichtlich Backup etwas hässlich. Sehr grosse Dateien, die sich grundsätzlich immer ändern, am besten noch in einem Binärformat, das man nicht diffen kann.

Hinsichtlich Backupfreundlichkeit würde ich mir da ein Format wünschen, das sich kontinuierlich um handhabbare Dateigrössen erweitert. Also vielleicht so in der Grösse von jeweils 50 / 100 / 200 / 500 MB. Dazu noch eine Indexdatei, in der Mails markiert werden, z. B. als gelöscht. Volle Datendateien werden grundsätzlich gar nicht mehr automatisch angefasst, so dass diese immer exakt so wie sie sind im Backup landen(oder auch nicht, weil sie da schon sind). Die bisher geschriebenen Datendateien können gelegentlich mal neu erstellt werden, wobei alle gelöschten Mails bei diesem Vorgang verworfen werden. Diesen Rebuild könnte man regelmässig einmal im Monat zu geringen Lastzeiten durchführen.
Kann es sein, dass Du mbox und mdbox (multiple-dbox) verwechselst?

mbox ist ein sehr altes Format, und verwendet eine Datei pro Postfach/Ordner. Entsprechend groß werden diese Dateien dann auch.
mdbox ist eine Entwicklung von Dovecot, und unterteilt ein Postfach in mehrere kleine Dateien (Größe einstellbar).
wanne hat geschrieben:Du solltest dir vielleicht auch mal btrfs angucken. Das kann inkrementelle backups und das eben auch auf Binärdateien. Performant ist das nicht, aber die backups bleiben wunderbar einfach – Egal welches Dateiformat du nutzt.
Dem TE war BTRFS zu experimentell und instabil. Dieser Meinung kann ich mich auch nur anschließen. Vor allem dann, wenn als Format sdbox/mdbox eingesetzt wird, das auf eine fehlerfreie Index-Datei angewiesen ist.

Zurück zum eigentlichen Thema:
Die Frage ob XFS oder ext4 ist wohl eher eine Geschmacksfrage, der Performanceunterschied dürfte auf diesem System wahrscheinlich nicht spürbar sein. Ich persönlich verwende fast immer ext4, da es einfach ein gutes Allround-Dateisystem ist, mit dem man nichts falsch machen kann. Gegenüber XFS hat es auch den Vorteil, dass man das Dateisystem im Notfall verkleinern kann. Das hat sich bereits ein paar Mal als nützlich erwiesen.

In jedem Fall kann mich sich bei beiden Dateisystemen den Einsatz von noatime überlegen. Das bringt immer ein wenig mehr Performance.

Antworten