batida444
| Zitat: |
Original von mine
363 Benutzer am 26.06.2007 04:41
Meiner ist länger als Deiner.
Mal davon ab: Ich hab nun 2 robots.txt-Befehle drin gehabt (einmal Disallow und einmal Crawl-delay), aber das Ding ignoriert das. Nicht nur, dass er mir in 4 Tagen über 13GB Traffic gemacht hat, hat er mir meinen Trafficrahmen so richtig nett gesprengt und kostet mich jetzt einen Haufen Geld.
Wie zum Geier kriege ich dieses bescheuerte Ding aus meinem Board?!
Um Fragen vorzubeugen: Ja, ich bin sauer. |
Öffne deine global.php
Füge ganz am Anfang unter <?php ein:
| code: |
1:
|
if($HTTP_USER_AGENT=="blablabla") die(); |
|
Anstelle des blablabla setzt du eben den Useragent ein, den du bei den Bots im wiw findest.
z.B. für den Yahoo wäre das: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Damit läuft der Bot ins Leere.
Greetz
Günni
Richards
Mal ne Frage am Rande.
Wie kann man verhindern dass Bots sich im Board breit machen?
batida444
Mittels htaccess, robots.txt oder meinem Tipp ein Posting über dir....
Greetz
Günni
KleenMicha
Diese Ideen mit den Bots von Yahoo sind ne ganz lustige Geschichte. Und ja diese Roboter scheinen derzeit aktiv zu sein.
Wenn man es aber mit einer seriösen Suchmaschine zutun hat, sprich einen Roboter dessen, dann ist es möglich wie bereits von mine beschrieben diese vom Forum mittels einer einfachen *.txt namens: robots.txt auszuschließen.
Der Inhalt der datei wäre dann:
| code: |
1:
2:
|
User-agent: *
Disallow: / |
|
weitere Hinweise dazu gibts hier:
http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
Ob die Lösung von batida444 ahilft wage ich noch zu bezweifeln. Selbst der Weg von mir ist kein Allheilmittel.
Windapple
Wenn man den Yahoo Bot konsequent aussperren will, dann einfach eine robots.txt mit dem folgenden Inhalt erstellen:
| code: |
1:
2:
|
User-agent: Slurp
Disallow: / |
|
Die in das Rootverzeichnis der Domain legen. Nach 1-3 Tagen sollte der Bot die neue robots.txt gelesen haben und mit dem Crawlen aufhören. Aber danach nicht meckern, wenn ihr bei Yahoo nicht mehr in den Suchergebnissen auftaucht.
Pusha
gibt es denn keine effektive möglichkeit die anzahl der bots zu beschränken?
Möchte nämlich nicht auf aktualität der yahoo suchergebnisse verzichten indem ich slurp aussperre... aber die zugriffe machen mir echt meine ganzen stats kaputt
Windapple
| code: |
1:
2:
|
User-agent: Slurp
Craw-delay: 60 |
|
Als Zahl bei Crawl-delay gibst du einfach die Zeit in Sekunden an, die der Crawler zwischen zwei Seitenaufrufen verstreichen lassen soll.
Phat
die bots sind doch jetzt häufiger im umlauf. habe auch immer um die 100...spitze war 300 oder so.
batida444
| Zitat: |
Original von KleenMicha
...
Ob die Lösung von batida444 ahilft wage ich noch zu bezweifeln. |
Funktioniert bei mir seit einigen Monaten einwandfrei
Hatte 2 Problemkinder im Board.
a) einen "User", der mit ner komischen Browserkennung und sämtlichen IP's der Welt durch mein Board surfte und massig Traffic verursachte. Die Browserkennung war aber immer gleich, und mit meinem Weg hab ich nun Ruhe.
b) Das Gleiche mit einem anderen "User", der immer versuchte, mein Board über nen phpbb-Link zu hacken (dürfte wohl auch nen Bot gewesen sein). Ebenfalls immer wechselnde IP's, aber immer die gleiche Browserkennung. Wiederum mit meinem Weg nun Ruhe.
Greetz
Günni