Seitenzugriffe einschränken

Debian macht sich hervorragend als Web- und Mailserver. Schau auch in den " Tipps und Tricks"-Bereich.
Antworten
kira12
Beiträge: 121
Registriert: 25.06.2010 12:03:04
Kontaktdaten:

Seitenzugriffe einschränken

Beitrag von kira12 » 10.10.2016 16:56:50

Hallo Leute,

ich sehe auf unserem Server immer wieder crawler die gleich 100 Zugriffe gleichzeitig durchführen. Lässt sich das Global einschränken, also nicht nur pro IP?
Ich will die keinesfalls Ausgrenzen, nur auf z.B. 20 limitieren. Die normalen Kunden sollte das nicht einschränken und die Crawler sind eingeschränkt.

Gruß ré

DeletedUserReAsG

Re: Seitenzugriffe einschränken

Beitrag von DeletedUserReAsG » 10.10.2016 17:03:25

Sobald du Crawler von legitimen Usern unterscheiden kannst, ist’s nur noch eine iptables-Regel …

kira12
Beiträge: 121
Registriert: 25.06.2010 12:03:04
Kontaktdaten:

Re: Seitenzugriffe einschränken

Beitrag von kira12 » 10.10.2016 17:41:58

Hallo,

darum geht es ja, da die die IP's jederzeit ändern können würde ich gern alle IP's limitieren. welche Regel wäre das?

Gruß ré

DeletedUserReAsG

Re: Seitenzugriffe einschränken

Beitrag von DeletedUserReAsG » 10.10.2016 18:09:12

Ich will die keinesfalls Ausgrenzen, nur auf z.B. 20 limitieren. Die normalen Kunden sollte das nicht einschränken und die Crawler sind eingeschränkt.
21 Bilder, Scripte, CSS-Files oder sowas auf der Seite, und kein „normaler Kunde“ kann die Seite noch laden.

kira12
Beiträge: 121
Registriert: 25.06.2010 12:03:04
Kontaktdaten:

Re: Seitenzugriffe einschränken

Beitrag von kira12 » 10.10.2016 18:24:28

Hallo,

gut, dann ist es etwas mehrarbeit bei neuen IP's zu aktuallisieren. Welche Regel soll ich iptables hinzufügen?

danke ré

DeletedUserReAsG

Re: Seitenzugriffe einschränken

Beitrag von DeletedUserReAsG » 10.10.2016 18:31:46

Nicht eine einzige Regel, sondern ein Script, das die Logs des httpd auswertet und beim entsprechenden Kriterium die betreffende IP temporär ausschließt. Möglicherweise gibt’s da vorgefertigte Sachen, allerdings ist das auch schnell geschrieben. Die zu setzende Regel wäre dann -A INPUT -s [IP] -j DROP

Milbret
Beiträge: 827
Registriert: 26.05.2008 12:04:54
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: Nörten-Hardenberg
Kontaktdaten:

Re: Seitenzugriffe einschränken

Beitrag von Milbret » 12.10.2016 13:02:38

Was spricht gegen eine saubere robots.txt?
Diese ist ja extra dafür da um eben Crawlern zu sagen, was diese lesen dürfen und was nicht.
Ggf. einfach die Ordner auf dem Server mit den Bildern etc. sperren.

Martin
Es gibt keine if Schleife -> http://www.if-schleife.de/
Ansonsten GPL/GNU/Linux/Debian/Free Software 4 Ever :D

Antworten