Proftpd FTP Server SEHR LANGSAM auf Raspberry PI 2 und Fujitsu Futro s720

[csbanane]

Hi Leute,

ich habe mir bereits einen Proftpd FTP Server auf meinem Ri 2 installiert.
Lief soweit auch alles gut, jedoch war die Geschwindigkeit katastrophal.
Wenn ich zum Beispiel einen Ordner mit 10 Fotos hochgeladen habe, konnte ich die super gut mit einer Fileexplorer app anschauen (ich nutze Documents von Readdle).
Aber wenn ich meine gesamte Foto Mediathek (90 GB) Hochlade, dann kann ich draufklicken und der lädt erstmal 2 Minuten bis überhaupt etwas zu sehen ist.

Nun gut, ich dache mir, der Flaschenhals wird wohl der USB 2.0 Port sein.
Habe mir daraufhin einen Fujitsu Futro s720 ThinClient gekauft und dort Debian 12 drauf installiert und nochmal alles mit Proftpd eingerichtet.
Die externe SSD Festplatte (NTFS Format) steckt im USB 3.0 Slot, jedoch gibt es hier auch keinen Unterschied zum Pi 2.

Ich weiß nicht, wo der Flaschenhals ist.

Wenn ich zum Beispiel die 90 GB Fotomediathek von meinem MacBook auf meine externe SSD (direkt miteinander verbunden) kopiere, dauert das nur wenige Minuten.
Wenn ich aber die Mediathek mit Filezilla auf meine externe SSD auf Proftpd Hochlade, dauert das gefühlt 60-70 Minuten.

Kann mir vielleicht jemand Tipps geben? Wie machen das denn alle anderen? Ich kann mir nicht vorstellen, dass jeder sich auf den FTP verbindet und erstmal 2-3 Minuten warten, bis überhaupt etwas zu sehen ist.

Vielen Dank schonmal vorab.

[MSfree]

Die Übertragung von 90GB über GBit-Ethernet (ca. 100MByte/s) dauert im Idealfall bereits 15 Minuten. Der Raspi-2 hat nur 100MBit-Ethernet, da dauert es mindestens zehn mal so lange, also mindestens 2.5 Stunden.

Wenn man NTFS als Dateisystem einsetzt, kann es nochmal 3-5 Mal so lange dauern.

Hast du wirklich alle Bilder in einem Verzeichnis? Das müssen ja grob 30000 Stück oder mehr sein. Das kann alleine, um den Inhalt und die Datiinformationen (Größe, Datum etc.) einzusammeln durchaus 2-3 Minuten dauern.

Der Raspi-2 ist eine ziemlich schwache Maschine, die nur mit 100MBit/s Ethernet ausgestattet ist und Peripherie wie Festplatten mit USB2 anbindet. Da kann man nicht allzu viel erwarten. NTFS ist unter Linux alles andere als ideal, was dem Raspi noch zusätzlich zu schaffen macht.

Ich weiß nicht, was da in dem Futro für eine CPU steckt. Immerhin hat der GBit-Ethernet. Aber auch hier gilt, NTFS ist keine gute Wahl.

Was ProFTP angeht, so gebe ich grundsätzlich keine Tips mehr. Ich halte das 40 Jahre alte FTP für total veraltet, unsicher und umständlich.

Geschwindigkeit kannst du mit einem anderen Dateisystem (z.B. ext4) sicher deutlich erhöhen. Auch die Organisation der Bilder in Unterverzeichnissen mit vielleicht ein paar Hundert Bildern pro Verzeichnis mindert das Problem, daß erstmal 30000 Dateien abgeklappert werden müssen, bevor eine Rückmeldung kommt.

[debilian]

Wie machen das denn alle anderen? Ich kann mir nicht vorstellen, dass jeder sich auf den FTP verbindet und erstmal 2-3 Minuten warten, bis überhaupt etwas zu sehen ist.

Wie MSfree schon geschrieben hat, hast du mehrere Nadelöhre drin.
Grundsätzlich kopiere ich solche Mengen per rsync (also ssh) oder mach einen NFS-Server/Client bzw. Samba-Server/Client, je nachdem, wer zugreifen soll....
90 GB sind halt 90 GB, wenn das Netz kleiner als 1GBit ist, dann ist das langsam

gruss

[mat6937]

Nun gut, ich dache mir, der Flaschenhals wird wohl der USB 2.0 Port sein.
Habe mir daraufhin einen Fujitsu Futro s720 ThinClient gekauft und dort Debian 12 drauf installiert ...

Installiere auf Debian 12:

Code: Alles auswählen

apt install python3-pyftpdlib

und teste danach mit z. B.:

Code: Alles auswählen

python3 -m pyftpdlib -w -D -r 60001-60031 -p 2122 -i 0.0.0.0 -d /home/$USER

(als FTP-Server, statt Proftpd).

[Draal]

Ich weiss ja nicht, was Du mit dem FTP Server veranstaltest.

Ich nutze für dieses alte Protokoll vsftpd und nur bei grösseren Datenmengen, denn mein NAS ist alt und wird bei sftp etwas langsamer.
Sonst nutze ich sftp, ftp nur im internen Netzwerk.

vsftpd ist einfach zu konfigurieren.

[csbanane]

Die Übertragung von 90GB über GBit-Ethernet (ca. 100MByte/s) dauert im Idealfall bereits 15 Minuten. Der Raspi-2 hat nur 100MBit-Ethernet, da dauert es mindestens zehn mal so lange, also mindestens 2.5 Stunden.

Wenn man NTFS als Dateisystem einsetzt, kann es nochmal 3-5 Mal so lange dauern.

Danke für den Tipp, hab nun erstmal die externe SSD auf ext4 Format formatiert und neu gemountet.
Ich uploade grade probeweise einen 5 GB Ordner mit Fotos und schaue mal, wie die Geschwindigkeit/Performance ist.

Blöd, mann ich nun wirklich jetzt hunderte Alben machen muss für die ganzen Fotos, damit die Sache besser läuft.
Ich hoffe nicht....

Installiere auf Debian 12:

Code: Alles auswählen

apt install python3-pyftpdlib

und teste danach mit z. B.:

Code: Alles auswählen

python3 -m pyftpdlib -w -D -r 60001-60031 -p 2122 -i 0.0.0.0 -d /home/$USER

(als FTP-Server, statt Proftpd).

Ist python3 i.d.R. schneller als proftpd?

Ich weiss ja nicht, was Du mit dem FTP Server veranstaltest.

Ich möchte einfach meine iPhone Fotos alle draufpacken und im iPhone löschen, jedoch trotzdem weiterhin von überall aus Zugang zu diesen haben.

[Draal]

Ich möchte einfach meine iPhone Fotos alle draufpacken und im iPhone löschen, jedoch trotzdem weiterhin von überall aus Zugang zu diesen haben.

Bei mir arbeitet vsftpd im Gbit Netzwerk mit 100 MByte/s Upload.

Wenn Du dann jedoch von jedem Ort der Welt auf die Bilder zugreifen willst, würde ich das nicht über ftp machen.
Für das iphone gibt es doch bestimmt einen ssh fähigen Dateimanager. Wenn Du dann noch einen ssh Server auf Deinem NAS installierst, könntest Du über einen ssh tunnel (also verschlüsselt) auf die Contents zugreifen.

[MSfree]

Bei mir arbeitet vsftpd im Gbit Netzwerk mit 100 MByte/s Upload.

Aber nicht mit einem Raspi-2, der hat nur 100MBit Ethernet.
Wenn der FTP-Client dann noch über WLAN geht (z.B. iPhone) dann ist GBit ohnehin illusorisch.

Für das iphone gibt es doch bestimmt einen ssh fähigen Dateimanager.

Für das iPhone gibt es nichtmal einen vernünftigen Dateimanager. Das Dateisystem ist von Apple komplett vernagelt. Ich glaube auch nicht, daß die Bilder hier vom iPhone auf den Server per FTP übertragen werden können, da muß man schon iTunes bemühen oder MacOS, das die iTunes-Funktionalität inzwischen im OS integriert hat.

[Draal]

Für das iPhone gibt es nichtmal einen vernünftigen Dateimanager. Das Dateisystem ist von Apple komplett vernagelt. Ich glaube auch nicht, daß die Bilder hier vom iPhone auf den Server per FTP übertragen werden können, da muß man schon iTunes bemühen oder MacOS, das die iTunes-Funktionalität inzwischen im OS integriert hat.

Stimmt. Jobs wollte ja seinerzeit ein geschlossenes System, was in ITunes fast vollendet wurde.
Indes könnte csbanane ja mal CopyTrans anschauen.

[csbanane]

Danke erstmal für eure zahlreichen Antworten.

Also vielleicht noch einmal vorab:
Der Speicherplatz auf meinem iPhone geht leider langsam zur Neige und auch möchte ich keine 1 TB iPhone Speicherplatz haben.
Ich sehe das bei meinem Kollegen, wenn er z.B. 500 GB Fotos hat, dann wird das iPhone elendig langsam.

Anfangs dachte ich mir, ich hole mir einfach für ein paar Euro im Monat iCloud Speicherplatz.
Leider musste ich dann feststellen, dass iCloud immer eine Spiegelfunktion der aktuellen Mediathek darstellt.
Das heißt: wenn ich zum Beispiel ein paar Fotos in die iCloud hochlade und die auf dem iPhone lösche (um wieder iPhone Speicherplatz zu haben) dann werden die Fotos auch parallel in der iCloud gelöscht.

Mein Wunschszenario:
Ich möchte alle meine Fotos auf eine externe Festplatte packen, diese dann auf dem iPhone löschen und bei Bedarf diese per Fernzugriff auf meiner externen Festplatte betrachten und einzelne Fotos auch downloaden können um die z.B. weiter zu schicken oder zu bearbeiten etc.

Ich hatte noch einen alten Raspberry PI 2 rumliegen und habe dort einen FTP server mit proftpd angelegt und im Prinzip hat auch alles funktioniert.
Habe Fotos hochladen und downloaden können, bloß war das ganze aufgrund des USB 2.0 Anschlusses extrem lahm.

Wie im Eingangspost bereits geschrieben, habe ich mir daraufhin einen ThinClient zugelegt (Futro s720) und hier ebenfalls Debian 12 drauf installiert und den FTP Server mit proftpd in der Hoffnung, dass es ein bisschen flotter geht mit dem USB 3.0 Anschluss.

Leider kaum besser als das Setup mit dem PI 2.

Habe dann die externer SSD, die NTFS war, in ext4 formatiert und das Geschwindigkeit ist jetzt minimal besser geworden, aber leider noch nicht akzeptabel.

Nun wollte ich hier fragen, was der Flaschenhals in meinem Setup ist.

DSL 100k Vodafone -> Fritzbox 6040 -> ThinClient in 1Gbit LAN Port der Fritzbox -> externe SSD in ext4 Format am USB 3.0 Port des ThinClients

Gibt es vielleicht einen Datenübertragungs - Geschwindigkeitsboost, wenn ich das Betriebsystem des ThinClients auf eine SSD mache? Momentan ist das Betriebssystem auf einem USB Stick.


Ansonsten danke für den Tipp @Draal, aber CopyTrans ist für meine o.g. Ansprüche ja unpassend oder nicht? Das kopiert doch nur die Dateien zwischen Geräten hin und her. Ich möchte doch einen Fernzugriff auf die Daten haben.

[mat6937]

Nun wollte ich hier fragen, was der Flaschenhals in meinem Setup ist.

DSL 100k Vodafone -> Fritzbox 6040 -> ThinClient in 1Gbit LAN Port der Fritzbox -> externe SSD in ext4 Format am USB 3.0 Port des ThinClients

Wie ist die UL-Bandbreite bei deinem DSL 100k-Tarif von VF?

[Draal]

@Draal, aber CopyTrans ist für meine o.g. Ansprüche ja unpassend oder nicht? Das kopiert doch nur die Dateien zwischen Geräten hin und her. Ich möchte doch einen Fernzugriff auf die Daten haben.

Ich kann Dir das nicht sagen, nie benutzt. Du könntest Die Fotos auch einzeln auf einer anderen Cloud z.B. Ondrive' speichern und sie von Dort auf Deinem NAS speichern. Noch ein kleiner Webserver installiert, dyndns account und schon könntest Du sie jederzeit im Webbrowser betrachten.

[MSfree]

Ansonsten danke für den Tipp @Draal, aber CopyTrans ist für meine o.g. Ansprüche ja unpassend oder nicht?

FTP ist für deine Ansprüche aber genauso unpassend.

Bei einem Fernzugriff mußt du auch erstmal die Datei(en) runterladen, um sie ansehen zu können.

Für einen Fernzugriff mit direkter Betrachtungsmöglichkeit brauchst du eigentlich einen HTTP-Server und eine Gelleriesoftware, die dir das Durchblättern durch die Bilder ermöglicht, z.B.:
https://sye.dk/sfpg/

NextCloud wäre auch deutllilch besser geeignet, weil es sync-Clients für Android unf iOS gibt, um Bilder hochzuladen. Eine Bildergallerie bringt NextCloud übrigens auch schon mit.

Die Geschwindigkeit von Up/Downloads relativiert sich mit z.B. Nextcloud auch, weil, wenn die Bilder einmal übertragen sind, nur noch neu dazugekommene Bilder hochgeladen werden müssen. Ob dann die paar Megabyte mit 10MBit/s fließen oder mit GBit, spielt dann keine große Rolle mehr.

Ich sagte ja oben schon, daß ich FPT ganz allgemein für schlecht halte.