Wie wäre es wenn man auf (m)dbox wechselt? Du hast ja eh den Link von heinlein gepostet.
Damit brauchst du auch wesentlich weniger IOPs für Mailzugriff und außerdem hast du weniger Files. Das führt auch wieder zu schnelleren checks.
Denk aber auch an Backups also brauchst du etwas mit dem du Snapshots erzeugen kannst anders kannst du mdbox nicht sichern.
lg
Gregor
Dateisystem für Mails
Re: Dateisystem für Mails
Definitiv ext4.NAB hat geschrieben:Die spannende Frage wäre nun, welches mit deinen 6 Mio Dateien fixer ist.
XFS hat minimale performancevorsprünge bei extrem großen Partitionen mit großen Dateien.
rot: Moderator wanne spricht, default: User wanne spricht.
- heisenberg
- Beiträge: 3473
- Registriert: 04.06.2015 01:17:27
- Lizenz eigener Beiträge: MIT Lizenz
Re: Dateisystem für Mails
Also maildir ist in der Handhabung bei abermillionen Dateien hässlich. Soweit volle Zustimmung.
(m)dbox aber ist da eher hinsichtlich Backup etwas hässlich. Sehr grosse Dateien, die sich grundsätzlich immer ändern, am besten noch in einem Binärformat, das man nicht diffen kann.
Hinsichtlich Backupfreundlichkeit würde ich mir da ein Format wünschen, das sich kontinuierlich um handhabbare Dateigrössen erweitert. Also vielleicht so in der Grösse von jeweils 50 / 100 / 200 / 500 MB. Dazu noch eine Indexdatei, in der Mails markiert werden, z. B. als gelöscht. Volle Datendateien werden grundsätzlich gar nicht mehr automatisch angefasst, so dass diese immer exakt so wie sie sind im Backup landen(oder auch nicht, weil sie da schon sind). Die bisher geschriebenen Datendateien können gelegentlich mal neu erstellt werden, wobei alle gelöschten Mails bei diesem Vorgang verworfen werden. Diesen Rebuild könnte man regelmässig einmal im Monat zu geringen Lastzeiten durchführen.
(m)dbox aber ist da eher hinsichtlich Backup etwas hässlich. Sehr grosse Dateien, die sich grundsätzlich immer ändern, am besten noch in einem Binärformat, das man nicht diffen kann.
Hinsichtlich Backupfreundlichkeit würde ich mir da ein Format wünschen, das sich kontinuierlich um handhabbare Dateigrössen erweitert. Also vielleicht so in der Grösse von jeweils 50 / 100 / 200 / 500 MB. Dazu noch eine Indexdatei, in der Mails markiert werden, z. B. als gelöscht. Volle Datendateien werden grundsätzlich gar nicht mehr automatisch angefasst, so dass diese immer exakt so wie sie sind im Backup landen(oder auch nicht, weil sie da schon sind). Die bisher geschriebenen Datendateien können gelegentlich mal neu erstellt werden, wobei alle gelöschten Mails bei diesem Vorgang verworfen werden. Diesen Rebuild könnte man regelmässig einmal im Monat zu geringen Lastzeiten durchführen.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.
Re: Dateisystem für Mails
Ich glaube da wäre sdbox deine Wahl. Hier hat mal jmd dazu was zusammen gefasst: https://www.rootforum.org/forum/viewtopic.php?t=54663
Debian-Nutzer
ZABBIX Certified Specialist
ZABBIX Certified Specialist
Re: Dateisystem für Mails
Du solltest dir vielleicht auch mal btrfs angucken. Das kann inkrementelle backups und das eben auch auf Binärdateien. Performant ist das nicht, aber die backups bleiben wunderbar einfach – Egal welches Dateiformat du nutzt.
rot: Moderator wanne spricht, default: User wanne spricht.
Re: Dateisystem für Mails
Maildir hat ab einer bestimmten Größe Schwächen, da habt ihr Recht. Aber ein paar Millionen Mails sollten kein Problem sein. Zumindest wenn die Hardware nicht nur aus 5.4k SATA-Platten besteht.heisenberg hat geschrieben:Also maildir ist in der Handhabung bei abermillionen Dateien hässlich. Soweit volle Zustimmung.
Kann es sein, dass Du mbox und mdbox (multiple-dbox) verwechselst?heisenberg hat geschrieben:(m)dbox aber ist da eher hinsichtlich Backup etwas hässlich. Sehr grosse Dateien, die sich grundsätzlich immer ändern, am besten noch in einem Binärformat, das man nicht diffen kann.
Hinsichtlich Backupfreundlichkeit würde ich mir da ein Format wünschen, das sich kontinuierlich um handhabbare Dateigrössen erweitert. Also vielleicht so in der Grösse von jeweils 50 / 100 / 200 / 500 MB. Dazu noch eine Indexdatei, in der Mails markiert werden, z. B. als gelöscht. Volle Datendateien werden grundsätzlich gar nicht mehr automatisch angefasst, so dass diese immer exakt so wie sie sind im Backup landen(oder auch nicht, weil sie da schon sind). Die bisher geschriebenen Datendateien können gelegentlich mal neu erstellt werden, wobei alle gelöschten Mails bei diesem Vorgang verworfen werden. Diesen Rebuild könnte man regelmässig einmal im Monat zu geringen Lastzeiten durchführen.
mbox ist ein sehr altes Format, und verwendet eine Datei pro Postfach/Ordner. Entsprechend groß werden diese Dateien dann auch.
mdbox ist eine Entwicklung von Dovecot, und unterteilt ein Postfach in mehrere kleine Dateien (Größe einstellbar).
Dem TE war BTRFS zu experimentell und instabil. Dieser Meinung kann ich mich auch nur anschließen. Vor allem dann, wenn als Format sdbox/mdbox eingesetzt wird, das auf eine fehlerfreie Index-Datei angewiesen ist.wanne hat geschrieben:Du solltest dir vielleicht auch mal btrfs angucken. Das kann inkrementelle backups und das eben auch auf Binärdateien. Performant ist das nicht, aber die backups bleiben wunderbar einfach – Egal welches Dateiformat du nutzt.
Zurück zum eigentlichen Thema:
Die Frage ob XFS oder ext4 ist wohl eher eine Geschmacksfrage, der Performanceunterschied dürfte auf diesem System wahrscheinlich nicht spürbar sein. Ich persönlich verwende fast immer ext4, da es einfach ein gutes Allround-Dateisystem ist, mit dem man nichts falsch machen kann. Gegenüber XFS hat es auch den Vorteil, dass man das Dateisystem im Notfall verkleinern kann. Das hat sich bereits ein paar Mal als nützlich erwiesen.
In jedem Fall kann mich sich bei beiden Dateisystemen den Einsatz von noatime überlegen. Das bringt immer ein wenig mehr Performance.