Alle Links einer Webseite anzeigen inkl. frames und js

Du suchst ein Programm für einen bestimmten Zweck?
Antworten
inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Alle Links einer Webseite anzeigen inkl. frames und js

Beitrag von inne » 23.12.2016 18:43:24

Hallo,

gibt es da draußen ein Tool, das alle Hyperlinks einer Webseite anzeigt unter Beachtung von HTML frames/iframes?

MfG,
inne

PS: Euch allen ein schönes Pastat, morgen kommt der Lichterpirat!
Zuletzt geändert von Anonymous am 24.12.2016 10:53:50, insgesamt 1-mal geändert.

dabe2k16
Beiträge: 7
Registriert: 15.12.2016 19:19:46
Wohnort: Köln

Re: Alle Links einer Webseite anzeigen inkl. frames

Beitrag von dabe2k16 » 23.12.2016 19:58:41

Link Klipper gibt es im Chrome Webstore und ein Tool für die Konsole wget - awk - sed = http://blog.adlibre.org/2011/06/03/extr ... sing-wget/ ist aber nicht getestet, ich kann dir, nicht Versichern das es funktioniert!

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Alle Links einer Webseite anzeigen inkl. frames

Beitrag von inne » 23.12.2016 20:11:29

Danke für den Link.

Ähnlich weit war ich aber auch schon. Doch ich will auch an Links heran die in doppelt Verschachtelten ifames sind (Wie z.B. die Google Ads das praktizieren).
Das bekomme ich starr auch hin, aber eine generische Lösung wäre mir lieber.

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Alle Links einer Webseite anzeigen inkl. frames

Beitrag von schwedenmann » 23.12.2016 21:26:20

Hallo



Afaik gibt es im "Browser" amaya so ein werkzeug, um sich alle links einer Webseite anzeigen zu lassen. Ich kann amaya leider nicht testen, da unter Sid Abhängigkeitsprobleme (libssl) auftreten, ev. ist eine Installatation in stable oder gar testing möglich.


mfg
schwedenmann

mullers

Re: Alle Links einer Webseite anzeigen inkl. frames

Beitrag von mullers » 23.12.2016 22:10:01

In lynx mit dem key `L`

Zeigt zum Beispiel bei spiegel.de 641 versteckte + sichtbare Links an. Weiss jetzt nicht, ob das alle sind.

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Alle Links einer Webseite anzeigen inkl. frames

Beitrag von inne » 24.12.2016 10:12:57

Das mit wget und lynx funktionieren nicht, weil die Links die ich suche, i.d.R. via Javascript nachgeladen werden. An das Detail habe ich gestern vergessen zu erwähnen.
Ich spiele hier mit PhantomJS und Selenium herum. Falls da jemand eine fertiges Skript hat. Aber wie gesagt eine starre Lösung angepasst an verschiedenen Seiten habe ich bereits.

Den Browser amaya muss ich noch testen. Aber etwas auf der Konsole mit Ausgabe zum greppen, solls eigentlich sein.

PS: Frohes Fest!

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Alle Links einer Webseite anzeigen inkl. frames und js

Beitrag von schwedenmann » 24.12.2016 11:56:41

Hallo


Hast du das schon getestet, gibt es in den repos von Debian

http://www.linklint.org/


mfg
schwedenmann

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Alle Links einer Webseite anzeigen inkl. frames und js

Beitrag von inne » 25.12.2016 15:18:44

Wie funkioniert linklint? Ich blick das nicht...

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Alle Links einer Webseite anzeigen inkl. frames und js

Beitrag von inne » 25.12.2016 15:21:01

Habe eine Lösung für PhantomJS mit JS aber ohne Frames. Vlt. findet sich mal jemand der auch die Frames durchhangelt. Mir will da keine gescheiter Algo. einfallen und das /usr/share/doc/phantomjs/examples/walk_through_frames.js hilft leider nicht wirklich weiter. Hier die Ref. http://phantomjs.org/api/webpage/.

Nachtrag: Ich habe nun eine Version die auch Frames unterstützt.
Siehe für das Skript hier: viewtopic.php?f=28&t=163443&p=1115235#p1115235
Zuletzt geändert von Anonymous am 26.12.2016 09:03:50, insgesamt 1-mal geändert.

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Alle Links einer Webseite anzeigen inkl. frames und js

Beitrag von schwedenmann » 25.12.2016 17:41:46

Hallo


@inne
Linklint is an Open Source Perl program that checks local and remote HTML links. Example:

linklint -http -host my.host.com -limit 1000 -doc dir /@

-http check site via HTTP requests (HTTP site check)
-host my.host.com check the my.host.com site
-limit 1000 bump up the file limit from 500 to 1000
-doc doc put all output files in the dir/ subdirectory
/@ check entire site
mfg
schwedenmann

inne
Beiträge: 3273
Registriert: 29.06.2013 17:32:10
Lizenz eigener Beiträge: GNU General Public License
Kontaktdaten:

Re: Alle Links einer Webseite anzeigen inkl. frames und js

Beitrag von inne » 25.12.2016 17:53:42

Hab jetzt folgendes, kann damit aber nichts anfangen...

Code: Alles auswählen

$ ls dir
httpfail.html  ignore.txt    index.html  summary.txt  warnF.html  warnX.txt
httpfail.txt   ignoreX.html  index.txt	 warn.html    warnF.txt
ignore.html    ignoreX.txt   log.txt	 warn.txt     warnX.html
$ cat dir/index.txt 
file: index.txt
host: example.de
date: Sun, 25 Dec 2016 16:50:53 (local)
Linklint version: 2.3.5

 summary.txt: summary of results
     log.txt: log of progress
   ignore.txt: -----   1 ignored file
  ignoreX.txt: -----   1 ignored file (cross referenced)
     warn.txt: warn    1 warning
    warnX.txt: warn    1 warning (cross referenced)
    warnF.txt: warn    1 file with warnings
 httpfail.txt: -----   1 link: failed via http

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Alle Links einer Webseite anzeigen inkl. frames und js

Beitrag von schwedenmann » 25.12.2016 18:00:19

Hallo


schau mal das example

http://www.linklint.org/examples.html

dort http site check

besonders:
http://www.linklint.org/examples/remote1.in



mfg
schwedenmann

Antworten