WGET - Verbindungsaufbau fehlgeschlagen.

[Rx2s]

Guten Morgen Gemeinde.

Ich habe seit längerem ein Problem mit dem abrufen diverser XXX-Seiten. Ich bin dabei mir ein Grabber zu bauen der mir neue Inhalte diverser Models findet. Das Problem dabei ist das ich weder mit wget, telnet, urllib etc eine Verbindung zustande bekomme.
Das komische darann ist das manche Seiten gehen und manche nicht.

Ich habe hier mal eine kleine Liste was so alles ein Timeout verursacht.

[spoiler]
Liste entfernt
[/spoiler]

Code: Alles auswählen

wget -O /dev/null "axxxxxxxxxxxx.com"
--2014-11-01 10:34:14--  http://axxxxxxxxxxxx.com/
Auflösen des Hostnamen »axxxxxxxxxxxx.com (axxxxxxxxxxxx.com)«... 95.142.101.237
Verbindungsaufbau zu axxxxxxxxxxxx.com (axxxxxxxxxxxx.com)|95.142.101.237|:80... fehlgeschlagen: Die Wartezeit für die Verbindung ist abgelaufen.
Erneuter Versuch.

Auch die versuche mit http://url.com und http://www.url.com brachten das selbe Ergebniss (Timeout).

Linux version 2.6.32-042stab092.3 (root@kbuild-rh6-x64) (gcc version 4.4.6 20120305 (Red Hat 4.4.6-4) (GCC) ) #1 SMP Sun Jul 20 13:27:24 MSK 2014

cat /etc/issue
Debian GNU/Linux jessie/sid \n \l


Ich hoffe jemand kann mir helfen.

[Dimejo]

Vielleicht wirst Du über den User-Agent geblockt.

[Rx2s]

Leider ist auch dieser Versuch fehlgeschlagen.

Code: Alles auswählen

wget -O /dev/null --header="User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:33.0) Gecko/20100101 Firefox/33.0" "axxxxxxxxxxxx.com"
--2014-11-01 11:30:15--  http://axxxxxxxxxxxx.com/
Auflösen des Hostnamen »axxxxxxxxxxxx.com (axxxxxxxxxxxx.com)«... 95.142.101.237
Verbindungsaufbau zu axxxxxxxxxxxx.com (axxxxxxxxxxxx.com)|95.142.101.237|:80... fehlgeschlagen: Die Wartezeit für die Verbindung ist abgelaufen.
Erneuter Versuch.

[DeletedUserReAsG]

Vielleicht ist die Landing-Page auch JS-verseucht. Eigentlich … s/Vielleicht/Wahrscheinlich/

[Rx2s]

Aber dann müsste doch dennoch eine Verbindung zustande kommen ?

Code: Alles auswählen

ping axxxxxxxxxxxx.com

geht auch nicht.

[rendegast]

Linux version 2.6.32-042stab092.3 (root@kbuild-rh6-x64) (gcc version 4.4.6 20120305 (Red Hat 4.4.6-4) (GCC) ) #1 SMP Sun Jul 20 13:27:24 MSK 2014

cat /etc/issue
Debian GNU/Linux jessie/sid \n \l

Eine vserver-VM?
Vielleicht unterliegt die Maschine einem Proxy, ähnlich dansguardian?
(Speziell der würde allerdings eine Fehlerseite ausgeben, zumindest in default-Einstellung)

[Rx2s]

Ja es ist ein Vserver ...
Das wäre ja irgendwie total fatal wenn über der Maschine ein Proxy liegen würde der filtert oO ...

Habe ich irgendeine Möglichkeit dieses nach zu schauen ?


EDIT:

Ich habe jetzt mal bei STrato angerufen und die haben mir mitgeteilt das die Vserver nicht durch rinr Firewall gehen. Die Firewall müsste ich selbst wenn erst selbst installieren.

[KBDCALLS]

Gehts hier überhaupt um Wget ? Eher wohl um Werbung für Schmuddelseiten. Wohlwollend ausgedrückt.

Darum die Liste und den Link entfernt. .

[Rx2s]

Nein um die Werbung ging es hier keinesfalls. Die Betreiber verdienen denke ich auch genug Geld. Ich war mir auch nicht sicher ob ich die Links posten soll aber es ist halt tatsächlich so das hier die von mir geposteten Seiten einfach keine Verbindung zulassen. Es sind auch nicht nur die paar Seiten.
Ich habe es halt wie oben schon geschrieben über Wget, Telnet, Curl, Urllib und Ping versucht, überall bekomme ich ein Timeout.

Mein Ziel ist wie gesagt die Informationsbeschaffung.

Hat sonst noch jemand Vorschläge was man prüfen könnte was die Timeouts verursacht ?

[Dimejo]

Hat sonst noch jemand Vorschläge was man prüfen könnte was die Timeouts verursacht ?

Du könntest mal testen wo die Verbindung geblockt wird (z.B. mit mtr-tiny).

[Rx2s]

Also ich habe immer andere Ergebnisse aber jede Seite die mir nen Timeout gibt hat bei mir mit mtr nen ??? unten.

mtr http://www.*********.com

Code: Alles auswählen

  My traceroute  [v0.85]
************** (0.0.0.0)                                                                                                  Sun Nov  2 12:47:51 2014
Keys:  Help   Display mode   Restart statistics   Order of fields   quit
                                                                                                                     Packets               Pings
 Host                                                                                                              Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. **********                                                                                                    0.0%   885    0.1   0.0   0.0   1.0   0.0
 2. **********.net                                                                                      0.0%   885   48.7   7.8   0.2  72.2  16.2
 3. **********.net                                                                                      0.0%   885   51.2   8.0   0.3  75.3  16.1
 4. b-ea7.b.de.net.dtag.de                                                                                          0.0%   885   58.0  10.3   0.7  78.6  16.2
 5. 217.239.40.218                                                                                                  0.0%   885  221.4 173.5 164.4 237.2  15.7
 6. 80.157.129.238                                                                                                  0.0%   885  236.0 179.6 171.7 252.4  16.3
 7. ae10.cr1.lax112.us.above.net                                                                                    0.0%   885  218.1 173.1 165.1 235.0  16.1
 8. ae0.mpr1.slc1.us.above.net                                                                                      0.0%   885  237.6 189.9 181.3 260.2  16.9
 9. 208.184.34.150.IPYX-068416-003-ZYO.above.net                                                                    0.0%   885  228.6 190.4 182.3 250.9  16.4
10. 206.130.126.30.west-datacenter.net                                                                              0.0%   885  232.5 197.4 188.8 338.3  17.4
11. ???

Code: Alles auswählen

 4. bei-b2-link.telia.net                                                                                           0.0%    12   27.3   9.5   0.7  68.8  20.2
 5. hbg-bb1-link.telia.net                                                                                          0.0%    12    7.5  13.1   7.5  48.3  12.0
 6. ash-bb3-link.telia.net                                                                                          0.0%    12   99.7 101.8  99.7 107.9   2.8
    ash-bb3-link.telia.net
 7. mai-b1-link.telia.net                                                                                           0.0%    12  127.5 128.9 127.5 139.3   3.2
    mai-b1-link.telia.net
 8. ???