MariaDB und "parallel import" möglich?

Alle weiteren Dienste, die nicht in die drei oberen Foren gehören.
Antworten
Benutzeravatar
mistersixt
Beiträge: 6579
Registriert: 24.09.2003 14:33:25
Lizenz eigener Beiträge: GNU Free Documentation License

MariaDB und "parallel import" möglich?

Beitrag von mistersixt » 15.03.2021 15:29:46

Moin moin,

wenn man ein Mysql-Dump macht zwecks Backup seiner DB, geht das auch bei grösseren Datenmengen einigermassen flott, der Mysql-Restore dagegen - weil Single-Threaded - braucht dann aber ein Vielfaches länger.

Nun habe ich gelesen, dass es ab MySQL Version 8 eine neue "Shell" gibt, die "Parallel Table Import" unterstützt. Bei MariaDB gibt es sowas nicht soweit ich das richtig gelesen habe, oder habe ich in der Doku noch nicht die richtige Stelle gefunden? Weiss da evtl. Jemand genau bescheid?

Danke im Voraus,

Gruss, mistersixt.
--
System: Debian Bullseye, 5.10.x.-x-amd64, ext4, AMD Ryzen 7, 8 x 3.7 Ghz., NV-GTX 1060, 16 GB Ram, XFCE

Benutzeravatar
feltel
Webmaster
Beiträge: 9966
Registriert: 20.12.2001 13:08:23
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Leipzig, Germany
Kontaktdaten:

Re: MariaDB und "parallel import" möglich?

Beitrag von feltel » 15.03.2021 17:33:20

selbst noch nicht ausprobiert, aber Multi-Threading sollte auch beim Import gehen: https://mariadb.com/kb/en/how-to-quickl ... o-mariadb/

Benutzeravatar
mistersixt
Beiträge: 6579
Registriert: 24.09.2003 14:33:25
Lizenz eigener Beiträge: GNU Free Documentation License

Re: MariaDB und "parallel import" möglich?

Beitrag von mistersixt » 15.03.2021 18:16:15

Mmmh, nee, das sieht eher so aus, als wenn man in eine vorhandene DB und Tabelle Daten "importieren" kann --- einen Dump zum Wiederherstellen einer kompletten DB zum Beispiel geht damit eher nicht, wenn ich das richtig gelesen habe.

Aber danke trotzdem, sah im ersten Momenz vielversprechend aus :) !

Gruss, mistersixt.
--
System: Debian Bullseye, 5.10.x.-x-amd64, ext4, AMD Ryzen 7, 8 x 3.7 Ghz., NV-GTX 1060, 16 GB Ram, XFCE

hec_tech
Beiträge: 1026
Registriert: 28.06.2007 21:49:36
Wohnort: Wien
Kontaktdaten:

Re: MariaDB und "parallel import" möglich?

Beitrag von hec_tech » 16.03.2021 09:20:05

Die Frage ist was verstehst du unter groß?

Ab einer gewissen Größe halte ich Dumps nicht mehr für die Backupmethode der Wahl.
Da arbeite ich eigentlich nur mehr mit Snapshots und kann Datenbanken egal wie groß in Sekunden wiederherstellen.

Es ist aber auch immer eine Frage wieviel Downtime zulässig ist.

Benutzeravatar
mistersixt
Beiträge: 6579
Registriert: 24.09.2003 14:33:25
Lizenz eigener Beiträge: GNU Free Documentation License

Re: MariaDB und "parallel import" möglich?

Beitrag von mistersixt » 16.03.2021 12:27:24

hec_tech hat geschrieben: ↑ zum Beitrag ↑
16.03.2021 09:20:05
Die Frage ist was verstehst du unter groß?

Ab einer gewissen Größe halte ich Dumps nicht mehr für die Backupmethode der Wahl.
Da arbeite ich eigentlich nur mehr mit Snapshots und kann Datenbanken egal wie groß in Sekunden wiederherstellen.

Es ist aber auch immer eine Frage wieviel Downtime zulässig ist.
Beispielsweise bei einer ca. 100GB grossen DB mit ca. 20 Tabellen, wobei die grösste Tabelle ca. 25 GB gross ist, kann das schon mehrere Stunden dauern, trotz einigermassen flotter CPU und RAID1+0. Der Dump dagegen ist ratz-fatz erledigt, keine halbe Stunde.

Wundert mich, dass es da nichts "Schnelleres" gibt, ausser halt mit ganz anderen Mitteln zu arbeiten wie Snapshots.

Gruss, mistersixt.
--
System: Debian Bullseye, 5.10.x.-x-amd64, ext4, AMD Ryzen 7, 8 x 3.7 Ghz., NV-GTX 1060, 16 GB Ram, XFCE

Benutzeravatar
jph
Beiträge: 914
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: MariaDB und "parallel import" möglich?

Beitrag von jph » 16.03.2021 17:41:28

mistersixt hat geschrieben: ↑ zum Beitrag ↑
16.03.2021 12:27:24
Wundert mich, dass es da nichts "Schnelleres" gibt, ausser halt mit ganz anderen Mitteln zu arbeiten wie Snapshots.
Bei PostgreSQL macht man bspw. das hier: https://www.postgresql.org/docs/11/cont ... iving.html

Benutzeravatar
heisenberg
Beiträge: 1967
Registriert: 04.06.2015 01:17:27

Re: MariaDB und "parallel import" möglich?

Beitrag von heisenberg » 16.03.2021 17:54:00

hec_tech hat geschrieben: ↑ zum Beitrag ↑
16.03.2021 09:20:05
Da arbeite ich eigentlich nur mehr mit Snapshots und kann Datenbanken egal wie groß in Sekunden wiederherstellen.
Wie bekommst Du die DB-Daten(db=mysql?) Snapshots konsistent? (globaler kurzzeitiger dbms lock? (aka "flush tables with read lock;"))
mistersixt hat geschrieben: ↑ zum Beitrag ↑
16.03.2021 12:27:24
Wundert mich, dass es da nichts "Schnelleres" gibt, ausser halt mit ganz anderen Mitteln zu arbeiten wie Snapshots.
Schneller als logische Dumps sind da noch physische Backups. (Percona XtraBackup für mysql oder maria-backup für mariadb). Wenn da das Storage genug Performance hat, dann sollte das recht zügig gehen. Ich verwende selbst kaum physische Backups(nur bei einer grösseren Postgres Umgebung).
Ich biete keine Lösungen sondern gebe Hilfe zur Selbsthilfe.

Antworten