Raid System
Re: Raid System
Ich habe mich von Raids bei all meinen Heimservern verabschiedet. Die Zeit, das System neu aufzusetzen (ob aus einem Sicherungsimage oder ganz neu) ist mir kein Dorn im Auge. Von dem gesparten Geld realisiere ich mir lieber mehr Kapazität und Backupplatten.
-
Paddie
Hmm...ich wuerde auch gar kein RAID machen sondern das als LVM bauen, dann ists auch kein wirkliches Problem die Kapazitaet zu erhoehen. einfach neue Platte rein, LVM vergroessern und gut ist.
ALLERDINGS.. sind die WD Black nicht wirklich fuer den Dauerbetrieb geeignet und von WD auch nicht dafuer freigegeben!
Wenn davon auch noch 4 Stueck (vielleicht auch noch eng zusammen) haengen kanns Probleme mit der Temperatur und mit Vibrationen geben.
Hierfuer gibts von WD die Red Serie. Die ist extra fuer den Dauerbetrieb in NAS Systemen gedacht.
Ich hab hier eine 1 TB WD-Black als 2. Platte in meinem Comp unterm Schreibtisch, wenn ich die einfach so in einen 3,5" Schacht packe und dann wirklich drauf gearbeitet wird vibriert das ganze Gehaeuse. In so einem Einbaurahmen wo Sie vom Gehaeuse entkoppelt ist, gehts. Bei geschlossenem Gehaeuse hoert man sie dann gar nicht mehr.
Das geht aber natuerlich nur, wenn du genuegend 5 1/4" Einschuebe hast.
Gruss
Paddie
ALLERDINGS.. sind die WD Black nicht wirklich fuer den Dauerbetrieb geeignet und von WD auch nicht dafuer freigegeben!
Wenn davon auch noch 4 Stueck (vielleicht auch noch eng zusammen) haengen kanns Probleme mit der Temperatur und mit Vibrationen geben.
Hierfuer gibts von WD die Red Serie. Die ist extra fuer den Dauerbetrieb in NAS Systemen gedacht.
Ich hab hier eine 1 TB WD-Black als 2. Platte in meinem Comp unterm Schreibtisch, wenn ich die einfach so in einen 3,5" Schacht packe und dann wirklich drauf gearbeitet wird vibriert das ganze Gehaeuse. In so einem Einbaurahmen wo Sie vom Gehaeuse entkoppelt ist, gehts. Bei geschlossenem Gehaeuse hoert man sie dann gar nicht mehr.
Das geht aber natuerlich nur, wenn du genuegend 5 1/4" Einschuebe hast.
Gruss
Paddie
-
heisenberg
- Beiträge: 3567
- Registriert: 04.06.2015 01:17:27
- Lizenz eigener Beiträge: MIT Lizenz
Re: Raid System
Nicht freigegeben mag sein. Für den Dauerbetrieb geeignet? Definitiv! (Mache hier super Erfahrungen damit).ALLERDINGS.. sind die WD Black nicht wirklich fuer den Dauerbetrieb geeignet und von WD auch nicht dafuer freigegeben!
Auch hier wieder: Backup haben oder so etwas lieber sein lassen, wegen erwähnter stark steigender Ausfallwahrscheinlichkeit pro zusätzlicher Platte.LVM vergroessern und gut ist.
Jede Rohheit hat ihren Ursprung in einer Schwäche.
-
Paddie
Re: Raid System
Backup setz ich voraus...sonst waren die Daten eh nicht wichtig.heisenberg hat geschrieben:ALLERDINGS.. sind die WD Black nicht wirklich fuer den Dauerbetrieb geeignet und von WD auch nicht dafuer freigegeben!Sofern du genug Platz im Gehaeuse hast und genuegend Lueftung ists ja OKNicht freigegeben mag sein. Für den Dauerbetrieb geeignet? Definitiv! (Mache hier super Erfahrungen damit).. Ich hab im Keller einen HP Microserver stehen, da wirds trotz Luefter auch ganz schoen warm drin, da 4 WD Black und ich koennte da Eier drauf braten.
Auch hier wieder: Backup haben oder so etwas lieber sein lassen, wegen erwähnter stark steigender Ausfallwahrscheinlichkeit pro zusätzlicher Platte.
-
sbruder
- Beiträge: 333
- Registriert: 24.06.2016 13:54:36
- Lizenz eigener Beiträge: MIT Lizenz
- Wohnort: Franken
Re:
Ja, WD will für Dauerbetrieb seine Red-Serie vermarkten, die auch besser für NAS geeignet ist aus mehreren Gründen:Paddie hat geschrieben: ALLERDINGS.. sind die WD Black nicht wirklich fuer den Dauerbetrieb geeignet und von WD auch nicht dafuer freigegeben!
* geringerer Engergieverbrauch
* längere Garantie
Die Black-Platten sind auf schnelle Vorgänge (also z. B. Videobearbeitung) ausgelegt, also in einem hochperformanten Server für den eine SSD zu teuer ist leisten die bestimmt gute Dienste.
Für den Dauerbetrieb mögen sie nicht optimal sein, weil sie halt auf schnell und nicht auf langlebig ausgelegt sind. Habe das noch nie getestet, reine Spekulation!
Re:
Ich habe in Servern (24/7) mit Festplatten für den Desktopbereich keine guten Erfahrungen machen können. Ich kaufe auch nur Festplatten, die für Dauerbetrieb ausgelegt sind und mit 5 Jahren Garantie daherkommen oder kamen (siehe unten). Mit Festplatten für den Dauerbetrieb und 3 Jahren Garantie haben mein Umfeld und ich ebenfalls keine guten Erfahrungen gemacht. Man bekommt beispielsweise bei Ebay für wenig Geld neue 2TB Serverfestplatten, die ursprünglich mal 5 Jahre Garantie hatten, die allerdings auch schon so lange rumliegen. Mit denen habe ich bisher auch sehr gute Erfahrungen gemacht.Paddie hat geschrieben: ALLERDINGS.. sind die WD Black nicht wirklich fuer den Dauerbetrieb geeignet und von WD auch nicht dafuer freigegeben!
Paddie
Re: Raid System
Hatte selber 3 WD black 1TB&2TB längere Zeit im Dauerbetrieb - 2x 1TB davon in nem kleinen Gateway/Fileserver (wurden nach ca 1.5 jahren endlich ausgetauscht) und alle 3 dann noch testweise ein paar Monate in nem Storageserver (als 3. mirror).
Die black werden im Dauerbetrieb relativ warm, haben aber (wie alle Desktopplatten) nen niedrigeren max. Temperaturbereich - brauchen also mehr Kühlung und laufen dabei grundsätzlich ein paar Grad wärmer als z.B. direkt angrenzende RE. Zudem haben die wirklich ernsthafte Probleme bei Vibrationen durch viele angrenzende Platten (große spikes bei den Zugriffszeiten) und vibrieren selber auch relativ stark, verglichen z.b. mit WD RE, Se oder auch HGST Ultrastar 7k4000 & 7k6000. Die einzigen die noch mehr rumpeln, aber auch alle innerhalb 2 Jahren eingegangen sind, waren 4 Seagate Constellation ES3 (der 3. und definitiv letzte griff ins Klo mit Seagate...).
Enterprise-Platten unterscheiden sich aber nicht nur durch die Eignung für Dauerbetrieb - Vibrationstoleranzen sind höher (meist auch durch deutlich steifere Gehäuse und mehr Masse), Fehlerraten sind _deutlich_ niedriger (<1 in 10^15 vs <1 in 10^14), höhere MTBF, höhere anzahl load/unload zyklen durch wesentlich stabiler ausgeführte mechanik, die buffer sind größer und schneller ausgelegt usw...
Wer gerne Platten tauscht kann auch Desktopplatten verwenden - unterm strich spart man damit aber nix...
Zum Thema RAID:
HW-RAID ist praktisch obsolet - den Klotz muss man sich nicht mehr freiwillig ans Bein hängen. RAID-Controller lügen wie gedruckt, machen immer dann Probleme wenn man gerade keine brauchen kann (wenn Platten sterben...) und klatschen proprietäre Formate auf die Platte damit man keine Chance auf schnelles recovery hat wenn der Controller eingeht. Meistens sterben die Dinger durch ne alte BBU, aber ohne kann man die auch nicht betreiben, da sonst entweder der Cache inaktiv ist (und das Array performt wie ne einzelne alte ATA-Platte...), oder man massive Datenverluste bzw korrupte Dateisysteme in kauf nehmen muss.
HW-RAID war ein großes Ding in den 90ern und frühen 2000ern - die Zeiten sind zum Glück vorbei, auch wenns die Hersteller noch weiter Propagieren bzw es noch immer Betriebssyteme (Redmond...) gibt die keine brauchbaren Layer/Dateisysteme als Ersatz bieten.
DigitalOcean setzt für seine Nodes (SSD-only) ausschließlich dm-raid ein - das war bei internen Tests wohl um einige Faktoren schneller als HW-Raid Lösungen... (IIRC wurde das in diesem Vortrag erwähnt: https://youtu.be/zyB185IOrz8). Der Layer ist mittlerweile ziemlich ausgereift und schnell - mit Linux führt also eigentlich kein Weg an dm-raid vorbei, mit einer Ausnahme: ZFS.
LVM ist praktisch, aber hoffnungslos langsam. Eine VolumeGroup durch die man schon ein paar Platten rotiert hat ist für die Performance eine absolute Katastrophe. Da die Snapshotfunktion von LVM auch ziemlich unbrauchbar ist hat man mit LVM ausser dem "pooling" der Platten keine wirklichen Vorteile. Zudem wird das gesamtkonstrukt irrsinnig komplex: dm-raid -> LVM -> FS. Kein Layer weiß etwas vom anderen - das bremst jegliche Performance aus und kann ziemlich häßliche Gremlins rufen... LVM war eine Notlösung und ist IMHO spätestens seit es Dateisysteme wie ZFS gibt obsolet.
Für jedes neue System, speziell Storagesysteme, setze ich ausschließlich ZFS ein - auch wenn ZoL etwas hinter OpenZFS auf FreeBSD oder Illumos hinkt und die Integration ins System praktisch nicht vorhanden ist. Dank L2ARC und SLOG kann man mit kleinen, schnellen SSDs den gesamten Pool erheblich performanter machen, speziell wenn man hohe IOPS-Leistung benötigt (DBs, VMs).
Die black werden im Dauerbetrieb relativ warm, haben aber (wie alle Desktopplatten) nen niedrigeren max. Temperaturbereich - brauchen also mehr Kühlung und laufen dabei grundsätzlich ein paar Grad wärmer als z.B. direkt angrenzende RE. Zudem haben die wirklich ernsthafte Probleme bei Vibrationen durch viele angrenzende Platten (große spikes bei den Zugriffszeiten) und vibrieren selber auch relativ stark, verglichen z.b. mit WD RE, Se oder auch HGST Ultrastar 7k4000 & 7k6000. Die einzigen die noch mehr rumpeln, aber auch alle innerhalb 2 Jahren eingegangen sind, waren 4 Seagate Constellation ES3 (der 3. und definitiv letzte griff ins Klo mit Seagate...).
Enterprise-Platten unterscheiden sich aber nicht nur durch die Eignung für Dauerbetrieb - Vibrationstoleranzen sind höher (meist auch durch deutlich steifere Gehäuse und mehr Masse), Fehlerraten sind _deutlich_ niedriger (<1 in 10^15 vs <1 in 10^14), höhere MTBF, höhere anzahl load/unload zyklen durch wesentlich stabiler ausgeführte mechanik, die buffer sind größer und schneller ausgelegt usw...
Wer gerne Platten tauscht kann auch Desktopplatten verwenden - unterm strich spart man damit aber nix...
Zum Thema RAID:
HW-RAID ist praktisch obsolet - den Klotz muss man sich nicht mehr freiwillig ans Bein hängen. RAID-Controller lügen wie gedruckt, machen immer dann Probleme wenn man gerade keine brauchen kann (wenn Platten sterben...) und klatschen proprietäre Formate auf die Platte damit man keine Chance auf schnelles recovery hat wenn der Controller eingeht. Meistens sterben die Dinger durch ne alte BBU, aber ohne kann man die auch nicht betreiben, da sonst entweder der Cache inaktiv ist (und das Array performt wie ne einzelne alte ATA-Platte...), oder man massive Datenverluste bzw korrupte Dateisysteme in kauf nehmen muss.
HW-RAID war ein großes Ding in den 90ern und frühen 2000ern - die Zeiten sind zum Glück vorbei, auch wenns die Hersteller noch weiter Propagieren bzw es noch immer Betriebssyteme (Redmond...) gibt die keine brauchbaren Layer/Dateisysteme als Ersatz bieten.
DigitalOcean setzt für seine Nodes (SSD-only) ausschließlich dm-raid ein - das war bei internen Tests wohl um einige Faktoren schneller als HW-Raid Lösungen... (IIRC wurde das in diesem Vortrag erwähnt: https://youtu.be/zyB185IOrz8). Der Layer ist mittlerweile ziemlich ausgereift und schnell - mit Linux führt also eigentlich kein Weg an dm-raid vorbei, mit einer Ausnahme: ZFS.
LVM ist praktisch, aber hoffnungslos langsam. Eine VolumeGroup durch die man schon ein paar Platten rotiert hat ist für die Performance eine absolute Katastrophe. Da die Snapshotfunktion von LVM auch ziemlich unbrauchbar ist hat man mit LVM ausser dem "pooling" der Platten keine wirklichen Vorteile. Zudem wird das gesamtkonstrukt irrsinnig komplex: dm-raid -> LVM -> FS. Kein Layer weiß etwas vom anderen - das bremst jegliche Performance aus und kann ziemlich häßliche Gremlins rufen... LVM war eine Notlösung und ist IMHO spätestens seit es Dateisysteme wie ZFS gibt obsolet.
Für jedes neue System, speziell Storagesysteme, setze ich ausschließlich ZFS ein - auch wenn ZoL etwas hinter OpenZFS auf FreeBSD oder Illumos hinkt und die Integration ins System praktisch nicht vorhanden ist. Dank L2ARC und SLOG kann man mit kleinen, schnellen SSDs den gesamten Pool erheblich performanter machen, speziell wenn man hohe IOPS-Leistung benötigt (DBs, VMs).
-
sbruder
- Beiträge: 333
- Registriert: 24.06.2016 13:54:36
- Lizenz eigener Beiträge: MIT Lizenz
- Wohnort: Franken
Re: Raid System
Einspruch! LVM kann zur Laufzeit verändert werden, was auf Servern mit hoher Erreichbarkeit schon ein Vorteil ist. Für Crypto ist LVM auch toll, da man *eine* Partition Crypto hat (mit *einer* Passphrase) und auf der dann ein LVM mit zig Partitionen. Denn wenn man /var, /home, /tmp, /usr, und / auf einer extra Partition hat sind das 5 Passphrasen (und ich kenne niemanden, der bevor sein Laptop endlich startet erst mal 5 Passphrasen eingeben will). Ich habe mit LVM keinen merkbaren Performance-Unterschied festgestellt.r4pt0r hat geschrieben: Zudem wird das gesamtkonstrukt irrsinnig komplex: dm-raid -> LVM -> FS. Kein Layer weiß etwas vom anderen - das bremst jegliche Performance aus und kann ziemlich häßliche Gremlins rufen... LVM war eine Notlösung und ist IMHO spätestens seit es Dateisysteme wie ZFS gibt obsolet.
Re: Raid System
Ich hatte nie behauptet dass LVM nicht online modifiziert werden kann - das war der Hauptgrund weshalb ich LVM eingesetzt habe.
Ja, man kann dm-crypt/LUKS oberhalb oder unterhalb von LVM nutzen; aber auch hier wieder das Problem: keine Schicht weiß etwas von der anderen, alles muss abstrahiert werden-> Performance und Datenintegrität wird negativ beeinflusst (produziert ein layer Fehler, arbeitet der nächste fröhlich damit weiter).
Hier liefen bis letztes Jahr zeitweise 3 hosts mit LVM auf bis zu 12 Platten. Ein host mit aktuell 6 platten läuft noch - die VG wurde ursprünglich mit 4 platten erzeugt, von denen keine mehr vorhanden ist. Die Performance der VG ist mittlerweile absolut unterirdisch - snapshots sind dadurch noch unbrauchbarer als sie es sowieso mit LVM bereits sind, sodass fullbackups der beiden verbliebenen VMs auf dem host knapp 4h benötigen (~450GB). Mit 60-70MB/sec bin ich an dem host noch froh (wir reden von SAS-Platten/HBA!).
Das uralte QNAP 451TS2 NAS mit dem unglaublich grottigen integrierten SATA-controller des Atom D525 schafft mehr als das doppelte (ZFS mit 2x mirror VDEV).
LVM war schön und gut als es noch nix anderes gab - ich weine ihm aber keine einzige Träne nach und für Neuinstallationen oder Migrationen sehe ich keinen Grund noch auf LVM zu setzen.
Ja, man kann dm-crypt/LUKS oberhalb oder unterhalb von LVM nutzen; aber auch hier wieder das Problem: keine Schicht weiß etwas von der anderen, alles muss abstrahiert werden-> Performance und Datenintegrität wird negativ beeinflusst (produziert ein layer Fehler, arbeitet der nächste fröhlich damit weiter).
Hier liefen bis letztes Jahr zeitweise 3 hosts mit LVM auf bis zu 12 Platten. Ein host mit aktuell 6 platten läuft noch - die VG wurde ursprünglich mit 4 platten erzeugt, von denen keine mehr vorhanden ist. Die Performance der VG ist mittlerweile absolut unterirdisch - snapshots sind dadurch noch unbrauchbarer als sie es sowieso mit LVM bereits sind, sodass fullbackups der beiden verbliebenen VMs auf dem host knapp 4h benötigen (~450GB). Mit 60-70MB/sec bin ich an dem host noch froh (wir reden von SAS-Platten/HBA!).
Das uralte QNAP 451TS2 NAS mit dem unglaublich grottigen integrierten SATA-controller des Atom D525 schafft mehr als das doppelte (ZFS mit 2x mirror VDEV).
LVM war schön und gut als es noch nix anderes gab - ich weine ihm aber keine einzige Träne nach und für Neuinstallationen oder Migrationen sehe ich keinen Grund noch auf LVM zu setzen.