Windows Backup auf samba share schlägt fehl

Probleme mit Samba, NFS, FTP und Co.
reox
Beiträge: 2022
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz
Kontaktdaten:

Re: Windows Backup auf samba share schlägt fehl

Beitrag von reox » 17.03.2021 17:47:37

ok also nach wiederholtem male kam der Fehler dann wieder. Backup am Server löschen und neu starten hilft aber immer noch verlässlich...

Naja, ich schau jetzt in procmon ob ich sehe was er da nicht zugreifen kann.
Interessant ist, dass MsMpEngine versucht auf Dateien zuzugreifen und oft einen access denied kassiert, weil die datei schon offen ist. Mhhh race condition mit Windows Defender?
MSfree hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 13:50:53
Allerdings sollte sich irgendwo in den Logs (journalctl und /var/log/samba) Hinweise auf too many open files finden lassen.
sehe ich gar nichts und lt procmon sind auch gar nicht so viele files offen. Der schreibt in die .vhdx files rein und ein bissi logfile.

MSfree
Beiträge: 7189
Registriert: 25.09.2007 19:59:30

Re: Windows Backup auf samba share schlägt fehl

Beitrag von MSfree » 17.03.2021 18:16:23

reox hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 17:47:37
sehe ich gar nichts und lt procmon sind auch gar nicht so viele files offen.
Wie viele Dateien auf deinem Windowsrechner offen sind, hat überhaupt nichts damit zu tun, wie viele Dateihandles der Sambaserver offen hat. Da hilft also der Procmon nicht weiter. Es wäre auch ein Trugschluß, anzunehmen, daß für eine Datei nur ein Dateihandle genutzt wird.

Ich würde wirklich mal das Leglevel von Samba etwas hochdrehen und dann die Dateien unter /var/log/samba untersuchen. Und natürlich das Journal.
Zuletzt geändert von MSfree am 17.03.2021 18:25:58, insgesamt 1-mal geändert.

Benutzeravatar
Tintom
Moderator
Beiträge: 2305
Registriert: 14.04.2006 20:55:15
Wohnort: Göttingen

Re: Windows Backup auf samba share schlägt fehl

Beitrag von Tintom » 17.03.2021 18:23:50

Auf die Gefahr hin, dass ich verprügelt werde: Ich benutze unter Win10 zum Sichern auf Samba noch robocopy über cmd.exe :mrgreen:

reox
Beiträge: 2022
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz
Kontaktdaten:

Re: Windows Backup auf samba share schlägt fehl

Beitrag von reox » 17.03.2021 19:16:06

Tintom hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 18:23:50
Auf die Gefahr hin, dass ich verprügelt werde: Ich benutze unter Win10 zum Sichern auf Samba noch robocopy über cmd.exe :mrgreen:
awwww das weckt erinnerungen :D Das haben wir in der Schule mit Windows Server 2000 auch noch verwenden müssen :D
MSfree hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 18:16:23
Wie viele Dateien auf deinem Windowsrechner offen sind, hat überhaupt nichts damit zu tun, wie viele Dateihandles der Sambaserver offen hat. Da hilft also der Procmon nicht weiter. Es wäre auch ein Trugschluß, anzunehmen, daß für eine Datei nur ein Dateihandle genutzt wird.
Ja schon richtig, ich meinte auch, dass ich weder am Win noch am Debian sehe das viele Handles offen sind. ulimit hab ich aber vorsorglich erhöht.
MSfree hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 18:16:23
Ich würde wirklich mal das Leglevel von Samba etwas hochdrehen und dann die Dateien unter /var/log/samba untersuchen. Und natürlich das Journal.
Ich hatte das ja auch schon und auch über den audit log versucht aber man sieht genau nix. Interessanterweise hat Windows dann bei überaus verbosem audit log gemeckert, dass der share nicht für Backups geeignet sei.

Ich teste jetzt auch einfach auf der cmd^wPowerShell:

Code: Alles auswählen

wbadmin start backup -backupTarget:\\nas\backup -user:reox -include:C: -allCritical
Hab jetzt den procmon offen und hoffe das es mal failed. Bisher gehts aber wieder oO Ich mag keine Heisenbugs :/

reox
Beiträge: 2022
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz
Kontaktdaten:

Re: Windows Backup auf samba share schlägt fehl

Beitrag von reox » 17.03.2021 20:21:54

AH! Kaum regt man sich auf.... So ich hab es jetzt on-record:

Code: Alles auswählen

High Resolution Date & Time:	17/03/2021 19:16:07,0221288
Event Class:	File System
Operation:	WriteFile
Result:	NETWORK ERROR
Path:	\\nas\backup\WindowsImageBackup\DESKTOP-BAZ\Backup 2021-03-17 181058\34e18df8-aed2-4245-85af-27f863333f45.vhdx
TID:	3356
Duration:	0.0061992
Offset:	27.453.751.296
Length:	65.536
davor hat alles gepasst und die WriteFile haben mit SUCCESS terminiert.
Den samba log hatte ich bei dem noch nicht hochgedreht und seit ich ihn auf verbose hab gehts wieder :facepalm:

Ich kann jetzt nur sagen, dass er das hier anfordert:

Code: Alles auswählen

[2021/03/17 20:16:47.494651, 10, pid=12231, effective(1000, 1000), real(1000, 0)] ../source3/smbd/aio.c:886(schedule_aio_smb2_write)
  smb2: scheduled aio_write for file WindowsImageBackup/DESKTOP-BAZ/Backup 2021-03-17 181058/34e18df8-aed2-4245-85af-27f863333f45.vhdx, offset 470024192, len = 65536 (mid = 52493)
  smbd_smb2_request_pending_queue: req->current_idx = 1
        req->in.vector[0].iov_len = 0
        req->in.vector[1].iov_len = 0
        req->in.vector[2].iov_len = 64
        req->in.vector[3].iov_len = 48
        req->in.vector[4].iov_len = 65536
        req->out.vector[0].iov_len = 4
        req->out.vector[1].iov_len = 0
        req->out.vector[2].iov_len = 64
        req->out.vector[3].iov_len = 8
        req->out.vector[4].iov_len = 0
und dann offenbar beim schreibvorgang abbricht. was ein "NETWORK ERROR" ist hab ich aber nicht herausfinden können... Laut https://winprotocoldoc.blob.core.window ... REF%5d.pdf gibts ein paar und die sind alle "undefined".

mcb
Beiträge: 913
Registriert: 25.06.2020 17:28:49

Re: Windows Backup auf samba share schlägt fehl

Beitrag von mcb » 17.03.2021 22:07:25

reox hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 08:52:52
mcb hat geschrieben: ↑ zum Beitrag ↑
16.03.2021 14:19:47
Das eingebaute Backp Programm von MS kanst du "vergessen" - das wird nicht mehr weiterentwickelt deschweige denn supportet - es glänzt seit vielen Jahren durch seine Unzulänglichkeiten.

Ganz ehrlich nimm was anderes - gibt es ja auch kostenlos.
Es wurde halt von unserer IT Abteilung als das angegeben, was wir mit dem Firmenlaptop verwenden sollen ¯\_(ツ)_/¯
OK - da kann man nichts machen. Systemfehler ... :roll:

Benutzeravatar
weshalb
Beiträge: 1089
Registriert: 16.05.2012 14:19:49

Re: Windows Backup auf samba share schlägt fehl

Beitrag von weshalb » 18.03.2021 00:02:54

reox hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 13:37:12
weshalb hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 12:43:41
Tja, wer nicht hören will....
du meinst weil ich Iperius Backup keine Chance gebe? :P....
... und ruft offenbar wbadmin.....Klappt aber ohne Probleme.
Zumindest scheint es ja zu funktionieren. Meine Erfahrung ist, dass einige Backupprogramme zwar MS-Mechanismen benutzen, aber sie es dennoch irgendwie richtig machen, ohne Probleme zu bereiten. Für Backups von virtuellen Maschinen nehme ich beispielsweise Altaro, was mich, im Gegensatz zur internen Sicherung, noch nie im Stich gelassen hat.
reox hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 17:47:37
ok also nach wiederholtem male kam der Fehler dann wieder. Backup am Server löschen und neu starten hilft aber immer noch verlässlich...

Naja, ich schau jetzt in procmon ob ich sehe was er da nicht zugreifen kann.
Interessant ist, dass MsMpEngine versucht auf Dateien zuzugreifen und oft einen access denied kassiert, weil die datei schon offen ist. Mhhh race condition mit Windows Defender?
MSfree hat geschrieben: ↑ zum Beitrag ↑
17.03.2021 13:50:53
Allerdings sollte sich irgendwo in den Logs (journalctl und /var/log/samba) Hinweise auf too many open files finden lassen.
sehe ich gar nichts und lt procmon sind auch gar nicht so viele files offen. Der schreibt in die .vhdx files rein und ein bissi logfile.


Also hältst du daran fest? Nächster Vorschlag: erstelle probehalber dein Backup auf einem Windowsshare im Netzwerk, um Samba auszuschließen und wenn dem so ist, nutze etwas anderes oder schicke gleich ein Ticket an eure IT Abteilung. Mir wäre übrigens die Fehlersuche zu müßig, da es bereits gut funktionierende Lösungen gibt.

reox
Beiträge: 2022
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz
Kontaktdaten:

Re: Windows Backup auf samba share schlägt fehl

Beitrag von reox » 18.03.2021 09:54:43

weshalb hat geschrieben: ↑ zum Beitrag ↑
18.03.2021 00:02:54
erstelle probehalber dein Backup auf einem Windowsshare im Netzwerk, um Samba auszuschließen und wenn dem so ist, nutze etwas anderes oder schicke gleich ein Ticket an eure IT Abteilung. Mir wäre übrigens die Fehlersuche zu müßig, da es bereits gut funktionierende Lösungen gibt.
Naja das Problem bei der Sache ist, wir haben im Büro 95% Linux Rechner stehen. Ich kann dort zwar auf einen Share sichern, allerdings ist das ebenfalls eine Linux Kiste mit Samba :THX:
Nachdem ich seit September das Büro nicht von innen gesehen habe und mit 15Mbit Upload das Backup praktisch nicht durchführbar ist - also ja schon in >20h... - hab ich halt versucht das Lokal zu machen.
Ich hab den Windows Laptop nur, weil es zwei/drei Programme gibt die über RDP und VM grottig sind. Also bevor wer meint ich kann ja auch einfach Linux drauf geben (was unserer IT Abteilung gerne unterstützend durchgeführt wird, so is ja nicht)

Die Vermutung unseres Admins war a) Verschlüsselung und b) das NAS hat eine zu hohe load (evt durch Verschlüsselung).
Verschlüsselt ist nur der Laptop mit Bitlocker - fraglich ob das einen Einfluss hat?
Am NAS ist nix verschlüsselt, würder der auch dank fehlender AES extensions nicht packen.
CPU geht schon rauf aber hängt nicht am Anschlag.
weshalb hat geschrieben: ↑ zum Beitrag ↑
18.03.2021 00:02:54
Zumindest scheint es ja zu funktionieren
Ja aber eben auch, wenn ich den Befehl direkt in den CMD eintippe.

Ich habe übrigens eine neue Vermutung: Die Netzwerkkabel. Ich hab gestern noch mehr als 5x ohne einen Fehler eine Sicherung raufbeamen können. Dann hab ich mal am Stecker gewackelt und siehe da, das Backup terminiert mit eben dem 0x8078015B fehler.
Muss dazu sagen, ich hab schon wild am Stecker gewackelt, also ich hab ihn sehr sicher teilweise rausgezogen.
Spannend war da, dass ich im procmon keinen "NETWORK ERROR" sehen konnte, evt hab ich ihn da irgendwo anders gestört.
*Wenn* denn die Diagnose "network error" korrekt ist, würde das ja auch Sinn machen. Irgendwie hat er Paketverlust/Corruption/wie auch immer und mag dann nicht mehr.
Bei einem anderen Netzwerkkabel hat der NIC sowieso nur 10MBit statt 1GBit ausgehandelt, da hab ich kurzerhand neue Kabel bestellt. Schaden kann es ja nicht...

weshalb hat geschrieben: ↑ zum Beitrag ↑
18.03.2021 00:02:54
einige Backupprogramme zwar MS-Mechanismen benutzen, aber sie es dennoch irgendwie richtig machen, ohne Probleme zu bereiten
Die nehmen sicher undokumentierte APIs ;) Da gabs doch diese Geschichte, das MS in XP ein paar Undokumentierte APIs rauswerfen wollte und dann extrem viele Programme nicht mehr funktioniert haben, weil die alle davon ausgegangen sind, dass es offizielle APIs sind. So oder so ähnlich...

reox
Beiträge: 2022
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz
Kontaktdaten:

Re: Windows Backup auf samba share schlägt fehl

Beitrag von reox » 22.03.2021 12:51:45

Alle Kabel an dem Switch sind jetzt gegen neue CAT6 ausgetauscht. Bisher keine Probleme... Aber wer weiß, vllt dauert es einfach wieder bis ein Fehler kommt.

Ich hab mich gefragt ob man das irgendwie sinnvoll testen kann. Debianiperf3 und Debianqperf hab ich angeworfen, sagt mir nur dass ich mit 980MBit lesen und schreiben kann...
Gibt es zB spezielle Benchmark tools für Samba shares? Insbesondere ob Pakete korrekt ankommen oder ob es da auf der Netzwerkebene Probleme gibt.
Auf die schnelle hab ich mal Debiandbench gefunden: https://dbench.samba.org/web/smb-loadfiles.html

tubbi
Beiträge: 2
Registriert: 17.08.2020 20:09:11

Re: Windows Backup auf samba share schlägt fehl

Beitrag von tubbi » 10.04.2021 16:58:27

Hallo Zusammen!
Anstatt direkt auf die Sambashare zu sichern, besser eine Virtuelle Windows-Festplatte (VHDX) auf der Share erstellen und diese als Sicherungsmedium einbinden. Klappt wie am Schnürchen!!

Schnellanleitung:
Normales Backup auf angefuegter Virtueller Festplatte (VHDX):
VHDX erstellen: Datentraegerverwaltung ... Reiter oben links „Aktion“ ...
... Virtuelle Festplatte erstellen ... Radiobutton VHDX ... usw

VHDX einbinden: Datentraegerverwaltung ... Reiter oben links „Aktion“ ...
... Virtuelle Festplatte anfuegen ...
... Speicherort: \\samba1\srv02bup\backup.vhdx ... OK

Gruß tubbi

Benutzeravatar
weshalb
Beiträge: 1089
Registriert: 16.05.2012 14:19:49

Re: Windows Backup auf samba share schlägt fehl

Beitrag von weshalb » 10.04.2021 21:49:54

tubbi hat geschrieben: ↑ zum Beitrag ↑
10.04.2021 16:58:27
Hallo Zusammen!
Anstatt direkt auf die Sambashare zu sichern, besser eine Virtuelle Windows-Festplatte (VHDX) auf der Share erstellen und diese als Sicherungsmedium einbinden. Klappt wie am Schnürchen!!

Schnellanleitung:
Normales Backup auf angefuegter Virtueller Festplatte (VHDX):
VHDX erstellen: Datentraegerverwaltung ... Reiter oben links „Aktion“ ...
... Virtuelle Festplatte erstellen ... Radiobutton VHDX ... usw

VHDX einbinden: Datentraegerverwaltung ... Reiter oben links „Aktion“ ...
... Virtuelle Festplatte anfuegen ...
... Speicherort: \\samba1\srv02bup\backup.vhdx ... OK

Gruß tubbi
Das hört sich interessant an, doch wie sieht es dann mit einer täglichen inkrementellen Sicherung von großen VHDX Dateien innerhalb vom Linux aus? Der sichert dann bei jeder Sicherung immer die ganze Datei, auch wenn innerhalb derer nur ein paar MB's dazu gekommen sind.

reox
Beiträge: 2022
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz
Kontaktdaten:

Re: Windows Backup auf samba share schlägt fehl

Beitrag von reox » 11.04.2021 20:06:15

Ok doch wieder einmal ein Fehler - also sinds schlussendlich doch nicht die kabel?
Aber im nächsten Anlauf klappt es dann wieder. Diesmal war das Backup größer und der smbd ist dabei schon eher ins Schwitzen gekommen. Load 6-8.

Also die Frage ist weiterhin: Wie kann man das sinnvoll debuggen?
Nebst tools ist das größte Problem, dass es nicht reproduzierbar ist :/
tubbi hat geschrieben: ↑ zum Beitrag ↑
10.04.2021 16:58:27
Anstatt direkt auf die Sambashare zu sichern, besser eine Virtuelle Windows-Festplatte (VHDX) auf der Share erstellen und diese als Sicherungsmedium einbinden. Klappt wie am Schnürchen!!
Das klingt in der Tat interessant, aber dann schreibt er ja eine Disk auf eine Disk? Das windows backup erstellt ja bereits ein disk image.

reox
Beiträge: 2022
Registriert: 06.06.2006 22:09:47
Lizenz eigener Beiträge: MIT Lizenz
Kontaktdaten:

Re: Windows Backup auf samba share schlägt fehl

Beitrag von reox » 07.06.2021 07:31:02

Nachdem es jetzt schon wieder war, glaub ich fast, dass die Kabel doch nicht das Problem waren... Aber egal, die neuen Kabel schauen eh auch besser aus ;)

Ich hab jetzt diesen Artikel gefunden: https://lutz.donnerhacke.de/Blog/Und-ta ... MB-ReMount
Allerdings eine andere Problematik.
Jedenfalls scheint es da Timeouts zu geben, welche durch einen SMB Server provoziert werden können. Auf einer anderen Seite gab es den Hinweis, dass man den SMB Client einfach ein höheres Timeout setzen soll:

Code: Alles auswählen

Set-SmbClientConfiguration -SessionTimeout 600
der Default ist 60.

Ich hatte schon kurz Wireshark offen um das zu debuggen, aber ich finds super mühsam in dem Konvolut von Paketen etwas zu erkennen... (kennt wer gute Filter die man mal drauf werfen könnte?) Also hab ich das Timeout mal raufgedreht und es scheint wieder zu gehen.
Wenn ich Zeit habe, dann setz ich es mal wieder auf 60 runter und schau ob es reproduzierbar fehlschlägt.

Die Erklärung wäre wohl, dass der SMB Server aufgrund der Last es nicht schafft innerhalb der 60s zu antworten und dann das schreiben abgebrochen wird.
So ganz verstehe ich es nicht, weil ich im ProcMon ja diesen Netzwerk Fehler sehe - den ich in der MSDN auch nicht wirklich beschrieben bekomme - aber so ganz grob könnte das passen. Die Fehlermeldung sagt ja auch, dass der Share nicht verfügbar ist - was irgendwie nach timeout klingt.
Warum es dann bei einem aktivierten Audit log nicht mehr auftritt könnte man erklären, weil die erhöhte log-last auf kosten der anderen Operationen geht und die Race condition ganz einfach verhindert.

Antworten