Größere Backups & Rebuild

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Größere Backups & Rebuild

Beitrag von bluestar » 21.09.2018 13:09:53

heisenberg hat geschrieben: ↑ zum Beitrag ↑
21.09.2018 13:00:41
Wie sieht es denn da mit der Konsistenz bei Euren Snapshots aus?
Das ist je nach Datenbestand eine eigene Aufgabe, aber da du konkret nach Datenbanken gefragt hast bei PostgreSQL lösen wir das wie folgt:

Code: Alles auswählen

psql -c "select pg_start_backup('hot_backup');"
zfs snapshot ......
psql -c "select pg_stop_backup();"
Unsere eigene Anwendung hat ebenso eine API zum Ein-/Ausschalten des Backup-Modus und währenddessen werden keine Daten auf das Storage geschrieben.

hec_tech
Beiträge: 1093
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Größere Backups & Rebuild

Beitrag von hec_tech » 21.09.2018 13:14:52

Diese Technogie die du unter Windows kennst gibt es auch für Linux.

Sicherlich sollte man den Restoreaufwand auf ein Minimum beschränken nur leider ist es manchmal notwendig. Dann muss der Restore aber schnell gehen.
Eine SQL Datenbank mit vielen TB kann ich in wenigen Minuten wieder online bekommen. Das funktioniert nur Snapshots. Wenn ich mehrere TB kopieren muss dauert das zu lange. Der Systemstillstand kostet sehr viel. Da ist die Investition meist die günstigere Alternative. Leider sieht es die Geschäftsführung anders - bis zum ersten Stillstand.

Ich kann auch die Integrität des Snapshots mit Verfication überprüfen. Beispielsweise bei Oracle Datenbanken oder eben auch SQL Server.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Größere Backups & Rebuild

Beitrag von heisenberg » 21.09.2018 13:30:06

Ok. D. h. da wird dann eine Zusatzsoftware installiert, die das tut?
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

hec_tech
Beiträge: 1093
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Größere Backups & Rebuild

Beitrag von hec_tech » 21.09.2018 13:33:58

Ja das sind Plugins damit lässt sich das problemfrei durchführen - man kann sich auch selbst Plugins schreiben. Die müssen gewisse Funktionen haben und manche sind eben optional.

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Größere Backups & Rebuild

Beitrag von heisenberg » 03.01.2019 12:08:16

hec_tech hat geschrieben: ↑ zum Beitrag ↑
21.09.2018 13:14:52
Diese Technogie die du unter Windows kennst gibt es auch für Linux.

Sicherlich sollte man den Restoreaufwand auf ein Minimum beschränken nur leider ist es manchmal notwendig. Dann muss der Restore aber schnell gehen.
Eine SQL Datenbank mit vielen TB kann ich in wenigen Minuten wieder online bekommen. Das funktioniert nur Snapshots. Wenn ich mehrere TB kopieren muss dauert das zu lange. Der Systemstillstand kostet sehr viel. Da ist die Investition meist die günstigere Alternative. Leider sieht es die Geschäftsführung anders - bis zum ersten Stillstand.

Ich kann auch die Integrität des Snapshots mit Verfication überprüfen. Beispielsweise bei Oracle Datenbanken oder eben auch SQL Server.
Das gibt's also nicht als OSS. Mit welchen Produkten arbeitest Du da?
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

hec_tech
Beiträge: 1093
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Größere Backups & Rebuild

Beitrag von hec_tech » 03.01.2019 13:24:08

NetApp in Verbindung mit SnapCenter bzw früher mit SnapManager.

Benutzeravatar
weshalb
Beiträge: 1265
Registriert: 16.05.2012 14:19:49

Re: Größere Backups & Rebuild

Beitrag von weshalb » 03.01.2019 21:18:26

hec_tech hat geschrieben: ↑ zum Beitrag ↑
03.01.2019 13:24:08
NetApp in Verbindung mit SnapCenter bzw früher mit SnapManager.
Was kostet so eine Lösung eigentlich und gibt es gute Möglichkeiten, die nichts kosten?

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Größere Backups & Rebuild

Beitrag von bluestar » 03.01.2019 21:29:38

weshalb hat geschrieben: ↑ zum Beitrag ↑
03.01.2019 21:18:26
Was kostet so eine Lösung eigentlich
Wir haben mal ein redundantes Storage eines anderen Herstellers verbaut und da lagen die Kosten inkl. 10GB SAN Netz bei ca. 60.000€, Nutzkapazität 20TB.
weshalb hat geschrieben: ↑ zum Beitrag ↑
03.01.2019 21:18:26
und gibt es gute Möglichkeiten, die nichts kosten?
Linux+DRBD+ZFS+eigene Scripte

Benutzeravatar
weshalb
Beiträge: 1265
Registriert: 16.05.2012 14:19:49

Re: Größere Backups & Rebuild

Beitrag von weshalb » 03.01.2019 22:53:03

bluestar hat geschrieben: ↑ zum Beitrag ↑
03.01.2019 21:29:38
Wir haben mal ein redundantes Storage eines anderen Herstellers verbaut und da lagen die Kosten inkl. 10GB SAN Netz bei ca. 60.000€, Nutzkapazität 20TB.
Ui, andere Klasse :roll:
Linux+DRBD+ZFS+eigene Scripte
Danke. Was brauche ich zu Hause, um sowas mal nachzubilden? Habe leider nur ein paar Microserver und ein paar olle Intelrechner am Start. :| Gestaltet sich der Aufbau als sehr schwierig?

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Größere Backups & Rebuild

Beitrag von bluestar » 04.01.2019 00:27:38

weshalb hat geschrieben: ↑ zum Beitrag ↑
03.01.2019 22:53:03
Linux+DRBD+ZFS+eigene Scripte
Danke. Was brauche ich zu Hause, um sowas mal nachzubilden?
Viel Freizeit
Habe leider nur ein paar Microserver und ein paar olle Intelrechner am Start. :| Gestaltet sich der Aufbau als sehr schwierig?
Das kommt auf dein Ziel an, wenn du das zum Üben aufbauen willst, dann kannst du 4 VMs nehmen und das nachstellen.
Planst du einen reellen Einsatz, so brauchst du 4 Server, zwei für‘s Storage, zwei für‘s Hosting und zwei dedizierte Switches, die Spanning-Tree und Trunking können.
Die Server brauchen je 3 besser 4 Netzwerkkarten.

Bild zum Aufbau: 1992

hec_tech
Beiträge: 1093
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Größere Backups & Rebuild

Beitrag von hec_tech » 04.01.2019 10:19:29

SpanningTree ist so eine Sache - im Datacenter bauen wir immer kreisfrei.

Wenn würde ich nur RSTP verwenden. Interessant wird es erst bei Switches verschiedener Hersteller. Dann muss man eventuell darauf achten welche ST Protokolle die untereinander sprechen können.
Auf jeden Fall sollte man MLAGs bzw vPC verwenden je nachdem wie der Hersteller der Switches heißt.

Die Trennung von SAN und Access ist nicht unbedingt notwendig. Dies kommt vor allem auf die Bandbreiten an. Wenn ich jeden Host mit 2x 10G oder 2x 40G anhänge reicht das auf jeden Fall aus. Natürlich muss der Storage Traffic in ein eigenes VLAN. Bei reinem SSD Storage sollte man eventuell eigene Switches haben. Sehr wichtig ist hier aber Low Latency Switches zu verwenden.

Das ganze für zuhause ist absoluter overkill und wahrscheinlich finanziell nicht realisierbar.

hec_tech
Beiträge: 1093
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Größere Backups & Rebuild

Beitrag von hec_tech » 04.01.2019 10:21:45

weshalb hat geschrieben: ↑ zum Beitrag ↑
03.01.2019 21:18:26
hec_tech hat geschrieben: ↑ zum Beitrag ↑
03.01.2019 13:24:08
NetApp in Verbindung mit SnapCenter bzw früher mit SnapManager.
Was kostet so eine Lösung eigentlich und gibt es gute Möglichkeiten, die nichts kosten?
Es gibt von NetApp einen Simulator. ZFS kann natürlich Teile der Funktionalität abbilden aber gerade die HA Funktionalität ist schwer im OSS Bereich.

Benutzeravatar
weshalb
Beiträge: 1265
Registriert: 16.05.2012 14:19:49

Re: Größere Backups & Rebuild

Beitrag von weshalb » 05.01.2019 17:41:23

Ok, ok ich denke, ich lasse das mal lieber. 8)

Ich frage mich, wo ihr beide das lernt. Bekommt ihr Schulungen für sowas bzw. wie rutscht man da rein?

Benutzeravatar
bluestar
Beiträge: 2335
Registriert: 26.10.2004 11:16:34
Wohnort: Rhein-Main-Gebiet

Re: Größere Backups & Rebuild

Beitrag von bluestar » 05.01.2019 19:20:07

weshalb hat geschrieben: ↑ zum Beitrag ↑
05.01.2019 17:41:23
Ich frage mich, wo ihr beide das lernt.
Wir haben das damals zusammen mit HP realisert und von denen Installations-Support bekommen.

Danach haben wir uns mit dem Thema SAN/Storage/Cloud selbst beschäftigt und ein Demo-Setup in 4 VMs realisert, welches mehr oder weniger 1:1 im großen Maßstab und deutlich mehr Servern bei uns im Livebetrieb läuft.

Die proprietäre HP-Lösung haben wir inzwischen schon abgelöst.

hec_tech
Beiträge: 1093
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: Größere Backups & Rebuild

Beitrag von hec_tech » 07.01.2019 09:47:14

weshalb hat geschrieben: ↑ zum Beitrag ↑
05.01.2019 17:41:23
Ok, ok ich denke, ich lasse das mal lieber. 8)

Ich frage mich, wo ihr beide das lernt. Bekommt ihr Schulungen für sowas bzw. wie rutscht man da rein?
Wir sind NetApp Partner das heißt wir Installieren und Implementieren die Lösungen bei Kunden. Natürlich muss man immer wieder Dokumentationen lesen und auch Schulungen machen.

Antworten