Tip: Webseite komplett mit Inhalt nach Javascript-Rendering herunterladen

[heisenberg]

Das ist eine Aufgabe, die ich gelegentlich mal lösen wollte. Bisher hatte ich noch keine befriedigende Lösung gefunden.

Das hier scheint mir aber ganz knorke:

Code: Alles auswählen

chromium \
	--headless \
	--dump-dom 'https://yoursite.com' \
	--virtual-time-budget=10000 \
	--timeout=10000 \
	--run-all-compositor-stages-before-draw \
	--disable-gpu \
	--user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36" \
	> ~/yourfile.html

Damit bekomme ich sogar den Webseiteninhalt, wenn der erst nach dem Laden der Webseite dynamisch durch Javascript geholt wird. Timeout-Werte kann man da ggf. noch anpassen.

[inne]

Irgend jemand im Forum hatte mal SingleFile erwähnt. Das finde ich auch ganz gut.

… save an entire webpage including images, styling, frames, fonts etc. as a single HTML file.

https://chromewebstore.google.com/detai ... cpffjipkle
https://addons.mozilla.org/en-US/firefo ... ngle-file/

[heisenberg]

Mein Ansinnen ist hier die Automatisierbarkeit. Single-File ist da wohl nur ein GUI-Plugin?

Auch fonts, Bilder, ... interessieren mich selbst dabei nicht.

[inne]

Mein Ansinnen ist hier die Automatisierbarkeit.

Für Scripting ist das SingleFile wirklich nicht geeignet.

Ich dachte eher, weil es auch unter Firefox verfügbar ist und ich da sonst keine Lösung wie deine kenne.

[uname]

Vor Jahren habe ich mal httrack verwendet und das war recht gut. Leider weiß ich nicht, wie gut es heutzutage mit JavaScript umgehen kann.

[shoening]

Hi,

ich verwende für sowas Python mit selenium, damit kann man dann z.B. über den Chromedriver einen headless chrome fernsteuern.

Viele Grüße
Stefan