YourWBB


yourWBB » yourWBB Misc * » Das Proggen » HTML, XHTML, JavaScript & CSS » Robot.txt -> Wie konfiguriern? » Hallo Gast [Anmelden|Registrieren]
Letzter Beitrag | Erster ungelesener Beitrag 7.233 Views | | Thema zu Favoriten hinzufügen
Seiten (2): « vorherige 1 [2]
Neues Thema erstellen Antwort erstellen
Zum Ende der Seite springen Robot.txt -> Wie konfiguriern?
Autor
Beitrag « Vorheriges Thema | Nächstes Thema »
sw007 sw007 ist männlich
Mitglied


images/avatars/avatar-3636.gif

Dabei seit: 04.12.04
Beiträge: 29
Forenversion: 2.3.4
Antworten Zitieren Editieren Melden       UP
Zitat:
Original von Windapple
Es gibt kein Allow, nur Disallow. Du musst also alle .php Dateien die da so rumliegen per Disallow ausschließen, es führt kein Weg drumrum.

Könntest aber meine robots.txt als Vorlage nehmen, ich hab mir die Arbeit mal gemacht alle Dateien einzeln auszuschließen und das funzt wunderprächtig: http://www.gm-d.de/robots.txt


danke, find' ich cool großes Grinsen

aber eines verwirrt mich schon...

und zwar diese beiden Zeilen

code: 
1:
2:
3:
4:
5:
6:
7:
8:
9:

#
#
# real robots.txt for good bots
#
#
User-agent: *
User-Agent: Googlebot
Disallow: /archiv/


was ist der Unterschied zwischen User-agent:* und User-Agent:Googlebot?

ich dachte der Stern heißt alle erlauben?
10.03.06 15:07 sw007 ist offline E-Mail WWW Finden Als Freund hinzufügen Füge sw007 in deine Kontaktliste ein
Windapple
Mitglied


Dabei seit: 06.01.05
Beiträge: 118
Forenversion: 2.3.4
Antworten Zitieren Editieren Melden       UP
Einige störrische GoogleBot Server brauchen ne Sondereinladung, waren früher so 30% die kurioserweise nicht auf * ansprangen. Wie das heute ist weiß ich nicht, aber lieber Vorsicht als Nachsicht Augenzwinkern

__________________

Das Forum rund um den Game Maker.
10.03.06 15:15 Windapple ist offline WWW Finden Als Freund hinzufügen
sw007 sw007 ist männlich
Mitglied


images/avatars/avatar-3636.gif

Dabei seit: 04.12.04
Beiträge: 29
Forenversion: 2.3.4
Antworten Zitieren Editieren Melden       UP
ah, danke. funktioniert prima großes Grinsen
10.03.06 15:27 sw007 ist offline E-Mail WWW Finden Als Freund hinzufügen Füge sw007 in deine Kontaktliste ein
[kamui]
~


images/avatars/avatar-4963.gif

Dabei seit: 27.04.05
Beiträge: 2.992
Antworten Zitieren Editieren Melden       UP
Ich habe erst neulich einen Tutorial über die robot.txt gelesen, und da wurde auch mit "Allow" gearbeitet! klick

Dieser Beitrag wurde 1 mal editiert, zum letzten Mal von [kamui]: 10.03.06 16:02.
10.03.06 16:01 [kamui] ist offline Finden Als Freund hinzufügen
Windapple
Mitglied


Dabei seit: 06.01.05
Beiträge: 118
Forenversion: 2.3.4
Antworten Zitieren Editieren Melden       UP
Das versteht kaum ein Bot, da es nachträglich hinzugefügt wurde. Der neueste Standard ist das 1994er Robots Exclusion Protocol. Allow steht im Working Draft, d.h. Suchbots können das Unterstützen, ist aber keine Pflicht um Robots Exclusion Standard konform zu sein.
Hier ist noch ne Seite mit den häufigsten Fehlern und Missverständnissen bei der robots.txt.

__________________

Das Forum rund um den Game Maker.
10.03.06 16:10 Windapple ist offline WWW Finden Als Freund hinzufügen
[kamui]
~


images/avatars/avatar-4963.gif

Dabei seit: 27.04.05
Beiträge: 2.992
Antworten Zitieren Editieren Melden       UP
Achso, wieder was dazu gelernt fröhlich thx
10.03.06 16:12 [kamui] ist offline Finden Als Freund hinzufügen
Windapple
Mitglied


Dabei seit: 06.01.05
Beiträge: 118
Forenversion: 2.3.4
Antworten Zitieren Editieren Melden       UP
Wenn man mal schauen will, ob die robots.txt standardkonform ist, kann man das z.B. hier tun: http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

__________________

Das Forum rund um den Game Maker.
10.03.06 16:14 Windapple ist offline WWW Finden Als Freund hinzufügen
Seiten (2): « vorherige 1 [2] Baumstruktur | Brettstruktur
Gehe zu:

Neues Thema erstellen Antwort erstellen
yourWBB » yourWBB Misc * » Das Proggen » HTML, XHTML, JavaScript & CSS » Robot.txt -> Wie konfiguriern?