curl lädt immer wieder nach

Du hast Probleme mit Deinem eMail-Programm, Webbrowser oder Textprogramm? Dein Lieblingsprogramm streikt?
Antworten
Benutzeravatar
Lalle75
Beiträge: 83
Registriert: 25.10.2015 17:41:00
Wohnort: Ruhrgebiet

curl lädt immer wieder nach

Beitrag von Lalle75 » 05.08.2018 23:19:09

Hallo liebes Forum.

Ich habe ein kleines Skript am Laufen, welches mir die Youtube-Videos meiner abonierten Kanäle lokal speichert. Im Wesentlichen hole ich mir eine Kopie der Website, durchsuche sie nach den Video-URLs und lasse das Programm youtube-dl darauf los. Das klappte bislang auch recht gut.

Vor einiger Zeit hat Youtube mal wieder seine Infrastruktur verändert. Jetzt laden sich die Webseiten ständig neu, wenn man nach unten scrollt.

Mein Problem ist folgendes: Mit dem Befehl

Code: Alles auswählen

curl -o videofile http://www.youtube.com/<Video-URL>
hole ich ständig wechselnde Seitengrößen. Mal habe ich 10 Videos darin. mal 20, mal überhaupt nichts.

Kennt jemand von Euch eine Möglichkeit, mittels curl, wget oder ähnlichem, die ganze Website oder zumindest bis zu einem Zeilen- oder Größenlimit zu speichern?
Gruß,
Der Lalle

Benutzeravatar
Lalle75
Beiträge: 83
Registriert: 25.10.2015 17:41:00
Wohnort: Ruhrgebiet

Re: curl lädt immer wieder nach

Beitrag von Lalle75 » 13.08.2018 10:30:32

Ich konnte erst einmal die Datenmenge begrenzen, indem ich mit

Code: Alles auswählen

head -c <bytes>
die empfangene Seite beschnitten habe. Anschließend durchsuche ich den Text nach Video-URLs. Befindet sich dort keiner, wiederhole ich den Vorgang (bis zu 10x).
Gruß,
Der Lalle

Antworten