[gelöst] debian MariaDB Import fehlerhaft

[joe2017]

Schönen guten Morgen,

ich habe ein Problem mit einem mariadb Server Umzug.
Zuletzt hat alles bestens funktioniert. Jedoch werden die Datenbanken nicht vollständig importiert.
Wenn ich die db lösche und einen neuen Import starte habe ich jedes Mal eine andere Größe der db.

Quell Server: Server version 10.4.22-MariaDB-1:10.4.22+maria~buster
Ziel Server: Server version 10.6.5-MariaDB-1:10.6.5+maria~bullseye

SQL Backup

Code: Alles auswählen

sudo mysqldump -u root -R db1 > /tmp/db1.sql

SQL Create

Code: Alles auswählen

mysql -u root -p
DROP DATABASE db1;
CREATE DATABASE db1;

SQL Restore

Code: Alles auswählen

sudo mysql -u root db1 < /tmp/db1.sql

Hat jemand eine Idee woran dies liegen könnte?

[debilian]

wie gross ist denn die DB, sql-Datei?

[joe2017]

Hi debilian,

die Größe spielt hierbei keine Rolle. Ich habe eine db mit 5mb oder 3gb.
Beide haben das gleiche Problem. Wenn ich die Datei öfter importiere passt es irgendwann. Aber das ist ja nicht Sinn und Zweck des Ganzen

Ich habe folgendes noch getestet. Das gefällt mir für die Backups besser.

Backup

Code: Alles auswählen

sudo mysqldump -u root -p db1 | sudo gzip > db1.sql.gz

Restore

Code: Alles auswählen

sudo gunzip < db1.sql.gz | sudo mysql -u root -p db1

[slu]

Zuletzt hat alles bestens funktioniert. Jedoch werden die Datenbanken nicht vollständig importiert.

Was genau ist den die Fehlermeldung?

Wir machen im laufenden Betrieb dumps von der DB, meisten geht es gut. Läuft aber in dieser Zeit ein langer
INSERT/UPDATE Vorgang kann es sein das man im Backup nur die Hälfte hat und es hakt beim Import.

[joe2017]

Ich erhalte leider keine Fehlermeldung.
Ich importiere eine db mit 3,5gb.

Code: Alles auswählen

sudo gunzip < db1.sql.gz | sudo mysql -u root -p db1

Im ersten Import Durchgang hat die db am Ende 1,5gb.
Im nächsten Durchgang habe ich 11mb.

[slu]

Wow ohne Fehlermeldung wird das sicher schwierig.
Loglevel hochschrauben, syslog dmesg prüfen?

[joe2017]

Jetzt wird es lustig!

• Ich importiere ca 3gb

• mariadb sagt mir es sind 11mb vorhanden

• ich exportiere die db und habe wieder ca 3gb

kann es sein, das mariadb ein problem mit dem anzeigen hat? Kann man hier einen rescan oder etwas ähnliches durchführen?

[bluestar]

• mariadb sagt mir es sind 11mb vorhanden

Wie ermittelst du diese Info?

[joe2017]

Ich habe es über zwei verschiedene Wege überprüft.

Einmal über den Verbindungsmanager "HeidiSQL"
und über ein mysql command

Code: Alles auswählen

SELECT
            COUNT(*) AS Total_Table_Count
            ,table_schema
            ,CONCAT(ROUND(SUM(table_rows)/1000000,2),'M') AS Total_Row_Count
            ,CONCAT(ROUND(SUM(data_length)/(1024*1024),2),'M') AS Total_Table_Size
            ,CONCAT(ROUND(SUM(index_length)/(1024*1024),2),'M') AS Total_Table_Index
            ,CONCAT(ROUND(SUM(data_length+index_length)/(1024*1024),2),'M') Total_Size
FROM information_schema.TABLES
GROUP BY table_schema;

[bluestar]

Dann vergleichst du Äpfel (SQL Dump als Text) mit Birnen (Echtdaten in der DB).

Eine 32bittige Zahl (4 Bytes/Zeichen Daten in der DB) und in String Darstellung (z.b.: 2147483647) etwa 10 Zeichen. Dazu kommt der Overhead "INSERT INTO ...." auch noch hinzu.

3.5GB ./. 11MB erscheint mir zwar recht viel, aber ich kenne deine Datenbank ja nicht.

Mal zum Vergleich eine Datenbank bei mir:

Datenbankgröße laut dem SQL-Befehl: 12.87MB
Größe der Daten im Dateisystem: 1.2 MB
Datendump(mysqldump datenbank) ohne GZIP o.d. ähnliches: 5.1MB

So und welche Größen sollte ich jetzt vergleichen?

[slu]

• ich exportiere die db und habe wieder ca 3gb

Wenn Du nach dem Import ein Export machst und diese beiden Dateien mit diff -u vergleichst, was kommt da raus?

[homer65]

Sind denn die Statistiken schon gelaufen? Macht MySQL normalerweise automatisch, aber direkt nach dem Dump laden?
Versuche doch mal den ANALYZE Befehl direkt nach dem laden.

[joe2017]

Hallo Homer65,

genau das habe ich heute unabhängig herausgefunden.
Folgendes hat zum Erfolg geführt:

Code: Alles auswählen

mysqlcheck --all-databases --auto-repair --analyze
mysqlcheck --all-databases --auto-repair --check

Die Datenbanken hatten vor diesem Check nach einem Export bereits beide die gleiche Größe. Somit musste es ein Anzeigeproblem sein.
Dies konnte ich mit diesen beiden Befehlen beheben.