Slurp Bot übertreibt es

Hallo ihr!

Ich habe mal eine Frage. Bei mir ist der Yahoo Bot echt aktiv. Oft so 15 bis 20 Bots online.

Beim Hauptbegriff, wenn man bei Yahoo Borderline Forum eingibt, werde ich unter den ersten 11 Plätzen gleich 3 mal gelistet, das ist ja auch gut, aber geht das auch, dass der Bot nicht sooo viel vertreten ist und ich trotzdem gut gelistet werde? Weil 18 mal Slurp Bot ist doch echt übertrieben, oder?

Ich kann das bestimmt mit der robots.txt regulieren, aber wie, was muss ich da eingeben?

Liebe Grüße, Shackles

Schau mal dort: http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

Danke, nur stellt sich mir die Frage, wie ich es nun optimal einstelle für den Slurp Bot. Ich hab davon ja keine Ahnung, er soll schon alle öffentlichen Bereiche des Forums lesen, nur nicht so oft vertreten sein, das ist ja das Ding.

Am besten mit der Crawl-delay - Einstellung etwas experimentieren...
In www.herzstaub-board.com habe ich der Einstellung 40 gegeben und ihn 11-12x zu Gast.
In einem anderen Board hatte ich mit 50 nur 9-10 Slurps zu Gast.

Was ist die Crawl-delay - Einstellung und wo finde ich die?

Das ist eine Anweisung in der robots.txt.

Sieht bei mir so aus:

code: 1: 2: User-agent: Slurp Crawl-delay: 40

Und das hab ich ganz oben in der robots.txt

Ansonsten mal dem Link folgen den Cruiser weiter oben zur wiki angeführt hat.

Inzwischen treibt er sich bis zu 30 mal bei mir herum, was das bloß?

Meine robots.txt sieht jetzt so aus, ist das richtig?

code: 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: User-agent: Slurp Crawl-delay: 50 Disallow: /acp/ Disallow: /js/ User-agent: * Disallow: /acp/ Disallow: /js/

Die Aufführung von /acp/ und /js/ für den Slurp kannst Du Dir sparen... Die hast Du ja schon für alle Bots definiert und da hört der Slurp auch drauf.

Wann hast Du das eingebaut? Bei der Familie der Slurps dauert es 4-7 Tage bis die Information sich herumgesprochen hat... Die sind halt nicht die schnellsten.
Du kannst die Zeit natürlich erhöhen die zwischen den Aktivitäten des Bots liegen darf, im Moment hast Du 50 Sekunden eingestellt.

Aber wie gesagt, ich habe ihn mit 40 Sekunden auf maximal 13 gleichzeitige Besuche gedrückt.

Ok danke! Habe es jetzt noch mal aktualisiert, also warte ich mal ne Woche und gucke, was sich dann tut.