[gelöst] USB3 HDD schreiben bei 50 kB/s

Hast Du Probleme mit Hardware, die durch die anderen Foren nicht abgedeckt werden? Schau auch in den "Tipps und Tricks"-Bereich.
Antworten
miriki
Beiträge: 108
Registriert: 19.05.2022 10:49:21
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Kiel

[gelöst] USB3 HDD schreiben bei 50 kB/s

Beitrag von miriki » 19.05.2022 11:28:28

Moinsens!

Ich google mich jetzt schon seit 2 Tagen durch die Welt, finde aber entweder nur uralte und / oder ungelöste threads oder auch welche, die nicht in Richtung meines Problems passen. Deswegen mal aktiv die Frage:

Ich habe relativ frisch ein Debian 11.3.0 auf einem Lenovo ThinkCentre installiert. Der Rechner soll u.a. auch als File-Server herhalten und bekommt von daher eine USB3-Festplatte angehängt. Die Platte ist leer, NTFS formatiert und beinhaltet bislang nur ein Unterverzeichnis, in dem sich ein paar kleinere Dateien befinden. Es ist eine Seagte 2TB, die vorher an 2 verschiedenen Win10-Rechnern klaglos funktionierte.

Als ich in die Freigabe (Samba) /dev/sdc1 von Windows aus eine Datei über's Netz schreiben wollte, ging das nur schnarchlangsam und ich brach ab. Nach etlichem Suchen und Probieren hab ich einige Ausgaben eines Putty-Terminals in einer Textdatei zusammengefaßt (siehe ganz unten). Da steht sicher auch nicht alles drin, was jemand sehen / wissen will. Aber die entscheidende Zeile, die das Problem zeigt:

Code: Alles auswählen

dd if=/dev/zero of=tempfile bs=1M count=1024 conv=fdatasync,notrunc
1024+0 Datensätze ein
1024+0 Datensätze aus
1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 19969,2 s, 53,8 kB/s
Das Ding hat also 20.000 Sekunden (knapp 6 Stunden!) gebraucht, um die 1GB-Datei zu erstellen. Das Lesen dieser Datei danach ging dann zufriedenstellend schnell:

Code: Alles auswählen

dd if=tempfile of=/dev/null bs=1M count=1024
1024+0 Datensätze ein
1024+0 Datensätze aus
1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 9,00216 s, 119 MB/s
Passt auch zu hdparm:

Code: Alles auswählen

hdparm -tT --direct /dev/sdc
/dev/sdc:
 Timing O_DIRECT cached reads:   510 MB in  2.00 seconds = 254.84 MB/sec
 Timing O_DIRECT disk reads: 388 MB in  3.01 seconds = 128.81 MB/sec
Tja, und nu? An welchen Stellen kann ich gucken, was das Problem ist? Was soll ich noch ausprobieren? An welchen Schrauben muss ich drehen, um das zu beheben?

Gruß, Michael


bislang gesammelte Konsolen-Ausgaben:

Code: Alles auswählen

 *****************************************************************************
*******************************************************************************
***                                                                         ***
***   extern usb 3                                                          ***
***                                                                         ***
*******************************************************************************
 *****************************************************************************

*******************************************************************************
***   dmesg                                                                 ***
*******************************************************************************

dmesg | grep usb

[110458.721431] usb 4-5: new SuperSpeed Gen 1 USB device number 4 using xhci_hcd
[110458.746026] usb 4-5: New USB device found, idVendor=0bc2, idProduct=2321, bcdDevice= 1.00
[110458.746029] usb 4-5: New USB device strings: Mfr=2, Product=3, SerialNumber=1
[110458.746030] usb 4-5: Product: Expansion
[110458.746031] usb 4-5: Manufacturer: Seagate
[110458.746032] usb 4-5: SerialNumber: NA4BWFZY

*******************************************************************************
***   lsusb                                                                 ***
*******************************************************************************

lsusb

Bus 003 Device 002: ID 8087:8000 Intel Corp. Integrated Rate Matching Hub
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 002: ID 8087:8008 Intel Corp. Integrated Rate Matching Hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 004 Device 003: ID 045b:0210 Hitachi, Ltd
Bus 004 Device 002: ID 045b:0210 Hitachi, Ltd
Bus 004 Device 005: ID 0bc2:2321 Seagate RSS LLC Expansion Portable
Bus 004 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 002 Device 003: ID 8087:07dc Intel Corp. Bluetooth wireless interface
Bus 002 Device 008: ID 062a:4c01 MosArt Semiconductor Corp. 2,4Ghz Wireless Transceiver [for Delux M618 Plus Wireless Vertical Mouse]
Bus 002 Device 005: ID 045b:0209 Hitachi, Ltd
Bus 002 Device 004: ID 045b:0209 Hitachi, Ltd
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

lsusb -t

/:  Bus 04.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/6p, 5000M
    |__ Port 3: Dev 5, If 0, Class=Mass Storage, Driver=uas, 5000M
    |__ Port 6: Dev 2, If 0, Class=Hub, Driver=hub/4p, 5000M
        |__ Port 1: Dev 3, If 0, Class=Hub, Driver=hub/4p, 5000M
/:  Bus 03.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
    |__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/8p, 480M
/:  Bus 02.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/15p, 480M
    |__ Port 6: Dev 3, If 0, Class=Wireless, Driver=btusb, 12M
    |__ Port 6: Dev 3, If 1, Class=Wireless, Driver=btusb, 12M
    |__ Port 10: Dev 4, If 0, Class=Hub, Driver=hub/4p, 480M
        |__ Port 4: Dev 8, If 0, Class=Human Interface Device, Driver=usbhid, 12M
        |__ Port 4: Dev 8, If 1, Class=Human Interface Device, Driver=usbhid, 12M
        |__ Port 1: Dev 5, If 0, Class=Hub, Driver=hub/4p, 480M
/:  Bus 01.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
    |__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/6p, 480M

*******************************************************************************
***   smartctl                                                              ***
*******************************************************************************

smartctl -a /dev/sdc1

smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.10.0-14-amd64] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               Seagate
Product:              Expansion
Revision:             0502
Compliance:           SPC-4
User Capacity:        2.000.398.933.504 bytes [2,00 TB]
Logical block size:   512 bytes
Physical block size:  4096 bytes
Logical Unit id:      0x5000000000000001
Serial number:        NA4BWFZY
Device type:          disk
Local Time is:        Wed May 18 19:32:51 2022 CEST
SMART support is:     Available - device has SMART capability.
SMART support is:     Disabled
Temperature Warning:  Disabled or Not Supported

=== START OF READ SMART DATA SECTION ===
SMART Health Status: OK
Current Drive Temperature:     0 C
Drive Trip Temperature:        0 C

Error Counter logging not supported

Device does not support Self Test logging

*******************************************************************************
***   hdparm                                                                ***
*******************************************************************************

hdparm -tT --direct /dev/sdc

/dev/sdc:
 Timing O_DIRECT cached reads:   510 MB in  2.00 seconds = 254.84 MB/sec
 Timing O_DIRECT disk reads: 388 MB in  3.01 seconds = 128.81 MB/sec

/dev/sdc:
 Timing O_DIRECT cached reads:   510 MB in  2.00 seconds = 255.07 MB/sec
 Timing O_DIRECT disk reads: 386 MB in  3.01 seconds = 128.09 MB/sec

*******************************************************************************
***   dd                                                                    ***
*******************************************************************************

dd if=/dev/zero of=tempfile bs=1M count=1024 conv=fdatasync,notrunc

1024+0 Datensätze ein
1024+0 Datensätze aus
1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 19969,2 s, 53,8 kB/s

-----

echo 3 | sudo tee /proc/sys/vm/drop_caches

-----

dd if=tempfile of=/dev/null bs=1M count=1024

1024+0 Datensätze ein
1024+0 Datensätze aus
1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 9,00216 s, 119 MB/s

1024+0 Datensätze ein
1024+0 Datensätze aus
1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 8,96464 s, 120 MB/s
Zuletzt geändert von miriki am 19.05.2022 19:45:29, insgesamt 1-mal geändert.

Benutzeravatar
towo
Beiträge: 4403
Registriert: 27.02.2007 19:49:44
Lizenz eigener Beiträge: GNU Free Documentation License

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von towo » 19.05.2022 11:30:40

Hat jetzt zwar nichts damit zu tun, aber wenn auf der Kiste Linux läuft, warum willst Du da NTFS auf der Platte haben?
ntfs-3g ist lahm, ergo, wozu der Unsinn?

miriki
Beiträge: 108
Registriert: 19.05.2022 10:49:21
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Kiel

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von miriki » 19.05.2022 11:42:20

towo hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 11:30:40
[...] wenn auf der Kiste Linux läuft, warum willst Du da NTFS auf der Platte haben?
Naja, es ist nicht ganz umsonst eine externe HDD. Diese soll ggf. auch abgeklemmt und "mitgenommen" werden können, um sie an einen anderen Rechner außerhalb meines intranets anzuhängen. Und dieser andere Rechner ist eher Win7 oder Win10, aber wahrscheinlich nicht linux. Und der kriegt Schluckauf, wenn ich da was mit ext4 vorzeige.

Zum Testen jetzt und hier könnte ich die Platte gerne auch mal bügeln. Aber selbst wenn es dann 10..20% schneller als mit NTSF geht, lieg ich dann immer noch unter 70 kB/s. ;-)

Gruß, Michael

DeletedUserReAsG

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von DeletedUserReAsG » 19.05.2022 12:32:17

towo hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 11:30:40
Hat jetzt zwar nichts damit zu tun
Ja, doch – hat höchstwahrscheinlich sehr wohl damit (ntfs-3g) zu tun – es soll ja ein großes File auf dem Dateisystem erstellt werden.

Hatte Ähnliches selbst vor Kurzem, bei einer größeren Datenmenge scheint ntfs-3g sich unter Umständen mehr oder weniger aufzuhängen. Abhilfe hat der ntfs-Kerneltreiber gebracht – ist wohl ab 5.15 enthalten, offensichtlich kann man ihn aber via dkms auch mit früheren Kerneln nutzen. Man muss dann beim Mounten mit -t ntfs3 explizit angeben, dass der Kerneltreiber genutzt werden soll, per Default wird sonst der FUSE-Kram verwendet, auch wenn der Kerneltreiber vorhanden und geladen ist.

miriki
Beiträge: 108
Registriert: 19.05.2022 10:49:21
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Kiel

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von miriki » 19.05.2022 12:55:35

niemand hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 12:32:17
bei einer größeren Datenmenge scheint ntfs-3g sich unter Umständen mehr oder weniger aufzuhängen.
Bei den bisher gefundenen Beiträgen in die Richtung: Selbst mit einem schlechten NTFS-Treiber lagen die Leutz immer noch bei 10..20 MB/s. Die 2, die ich eher bei 1 MB/s gefunden habe, hatten den Kram über USB 1.1 laufen und / oder nicht den xhci_hcd benutzt.

Aber ok, ich teste mal und mach die Platte nachher neu mit ext4.

Gruß, Michael

DeletedUserReAsG

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von DeletedUserReAsG » 19.05.2022 12:58:25

miriki hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 12:55:35
Die 2, die ich eher bei 1 MB/s gefunden habe, hatten den Kram über USB 1.1 laufen und / oder nicht den xhci_hdc benutzt.
Ich ging nun mal davon aus, dass du diesbezüglich schon geschaut hättest. Der benutzte Treiber wird immerhin beim Anschließen des Geräts im Klartext ins Journal gemalt:

Code: Alles auswählen

kernel: usb 2-2: new SuperSpeed Gen 1 USB device number 7 using xhci_hcd
Edit: gepostet hast du die entsprechende Ausgabe ja immerhin ;)

Ansonsten wär’s auch keine zu schlechte Idee, mal SMART zu aktivieren, um eventuell vorhandene Hardwareprobleme im SSD selbst erkennen zu können.

miriki
Beiträge: 108
Registriert: 19.05.2022 10:49:21
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Kiel

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von miriki » 19.05.2022 13:47:21

miriki hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 12:55:35
Aber ok, ich teste mal und mach die Platte nachher neu mit ext4.
Hmmm...

Code: Alles auswählen

dd if=/dev/zero of=tempfile bs=1M count=1024 conv=fdatasync,notrunc
1024+0 Datensätze ein
1024+0 Datensätze aus
1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 8,87252 s, 121 MB/s

miriki
Beiträge: 108
Registriert: 19.05.2022 10:49:21
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Kiel

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von miriki » 19.05.2022 14:59:54

miriki hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 13:47:21

Code: Alles auswählen

1073741824 Bytes (1,1 GB, 1,0 GiB) kopiert, 8,87252 s, 121 MB/s
Und 11 GB in 6 Dateien sind auch mit (zufriedenstellenden) 31..35 MB/s über die Leitung getänzelt.

Ok, dann bleib ich erstmal bei ext4. Aber etwas irritierend finde ich es schon. Ich mein, wenn der NTFS-Treiber dann mal so 10..20% schlechter wäre, naja... Aber der hat ja gerade mal 55 kB/s ggü. 120 MB/s bei ext4 gebracht. Das wäre dann... ähm... Faktor 2200 oder so?

Ich erinnere mich dunkel, dass NTFS durchaus bejubelt wurde, als es (endlich) in linux zumindest lesbar war. Aber das war noch zu Zeiten, als wir unser SuSE per Post auf CDs mit oder ohne Buch / 1-Jahres-Support gekauft haben, Kernel bei 0.9x, Modem mit 2400 oder vielleicht 9600 Baud, zu Zeiten von OS/2 3, NT-Server 3.51. DAS IST MEHR ALS 35 JAHRE HER! ;-) Kann doch nicht sein, das das Mistding noch immer nicht rund läuft. Ich hab diese USB / NTFS Probleme durch Google auch schon 2003 und 2011 gesehen.

bin ein wenig enttäuscht... ;-)

Gruß, Michael

DeletedUserReAsG

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von DeletedUserReAsG » 19.05.2022 15:41:30

miriki hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 14:59:54
DAS IST MEHR ALS 35 JAHRE HER! ;-) Kann doch nicht sein, das das Mistding noch immer nicht rund läuft.
Beschwerden gehen doch bitte direkt an Microsoft, weil sie die Spezifikation von NTFS nie veröffentlich haben, und es daher erstaunlich ist, dass ntfs-3g überhaupt so weit zum Funktionieren gebracht werden konnte.

Weitere Beschwerden gehen bitte an den Administrator deiner IT – wie ich bereits erwähnt habe, gibt es mittlerweile einen Kerneltreiber, der die bekannten Probleme des ntfs-3g-FUSE-Krams nicht aufweist. Er soll dir den Kernel aus den Backports installieren, damit du’s nutzen kannst: https://www.kernel.org/doc/html/latest/ ... ntfs3.html – damit hab ich bequem mit über 340MB/s von NTFS zu NTFS kopiert, wobei eine Seite über USB angeschlossen war - 176GB in etwas über acht Minuten, incl. Sync.

miriki
Beiträge: 108
Registriert: 19.05.2022 10:49:21
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Kiel

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von miriki » 19.05.2022 17:38:15

niemand hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 15:41:30
Beschwerden gehen doch bitte direkt an Microsoft, weil sie die Spezifikation von NTFS nie veröffentlich haben, [...]
ntfs3.html – damit hab ich bequem mit über 340MB/s von NTFS zu NTFS kopiert, wobei eine Seite über USB angeschlossen war
Och, dann gehen die Beschwerden auch Richtung IBM. Microsoft ist nicht immer Schuld. ;-) NTFS wurde als Server-Filesystem entwickelt, als IBM und Microsoft noch zuammen den Server bauten, bevor Microsoft eigene Wege mit NT ging und IBM mit OS/2 Warp Server weiter probierte, wenn auch mit mäßigem Erfolg.

Aber demnach ist der ntfs3 ja 3x so schnell wie ext4? Wieso ist ext4 denn mit 120 MB/s so schnarchlangsam? ;-) 340 MB/s sind schon echt 'ne Hausnummer.

Gruß, Michael

. o O ( wo setzt man "gelöst"? )

JTH
Moderator
Beiträge: 3014
Registriert: 13.08.2008 17:01:41
Wohnort: Berlin

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von JTH » 19.05.2022 17:52:35

miriki hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 17:38:15
. o O ( wo setzt man "gelöst"? )
Da gibt es keine direkte Funktion für. Der übliche Weg, der hier im Forum benutzt wird, ist, deinen ersten Beitrag zu bearbeiten und ein „[gelöst]“ oder ähnliches vor den Titel/Betreff zu setzen.

PS: Willkommen im Forum.
Manchmal bekannt als Just (another) Terminal Hacker.

DeletedUserReAsG

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von DeletedUserReAsG » 19.05.2022 18:00:01

miriki hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 17:38:15
Aber demnach ist der ntfs3 ja 3x so schnell wie ext4? Wieso ist ext4 denn mit 120 MB/s so schnarchlangsam?
Nein – in meinem Fall war das Dateisystem nur nicht der limitierende Faktor, wie bei dir und ntfs-3g, sondern eines der beteiligten Laufwerke selbst. Das hätte die >340MB/s (nachgerechnet um die 360MB/s, aber Debianmc hat halt 340MB/s angezeigt) auch mit ext[234]/btrfs/zfs/wasauchimmerfs gebracht. Wenn dein Device jedoch nur 120MB/s bringt, wird der beste Dateisystemtreiber nix weiter rausholen können¹ – das hat mit Physik zu tun.

--
¹) ist auch nicht ganz richtig: ein komprimierendes Dateisystem, dessen Kompression schneller als das Laufwerk selbst ist, kann theoretisch effektiv mehr Bandbreite durchschieben, als die beteiligten Schnittstellen erlauben. Bei den heutigen Geschwindigkeiten wird’s aber schwer, die Daten schnell genug zu komprimieren, so dass das keine Rolle mehr spielt

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von MSfree » 19.05.2022 18:29:55

miriki hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 17:38:15
Wieso ist ext4 denn mit 120 MB/s so schnarchlangsam? ;-) 340 MB/s sind schon echt 'ne Hausnummer.
120MB/s sind für eine 2TB Festplatte ein typischer Wert. Die neuesten 20TB-Platten kommen auch schonmal auf 180MB/s in den äusseren Spuren, aber damit ist das Ende der Fahnenstange erstmal erreicht. 340MB/s schafft man nicht mit einem rotierenden Speichermedium. Um noch mehr als 180MB/s zu bekommen, muß man mehrere Platten zusammenschließen (Stichwort RAID) oder SSDs nehmen.

Was niemand für ein Speichermedium in der Hinterhand hat, weiß ich natürlich nicht, aber eine einzelne Festplatte war das jedenfalls nicht.

DeletedUserReAsG

Re: USB3 HDD schreiben bei 50 kB/s

Beitrag von DeletedUserReAsG » 19.05.2022 19:30:06

MSfree hat geschrieben: ↑ zum Beitrag ↑
19.05.2022 18:29:55
Was niemand für ein Speichermedium in der Hinterhand hat, weiß ich natürlich nicht, aber eine einzelne Festplatte war das jedenfalls nicht.
Sorry, war keine Absicht, das zu verheimlichen: Ziellaufwerk (das über USB angeschlossen war) war ein 1TB-SSD der billigsten Sorte (um die 80€). Quelle war auch ein SSD, aber normal über SATA angebunden. Kopiert wurde ’n Spiel: einige große, und verhältnismäßig viele kleine Files – also nicht mal sequentielles Schreiben.

Antworten