YourWBB


yourWBB » yourWBB Misc * » Das Proggen » HTML, XHTML, JavaScript & CSS » robots.txt trotz .htaccess gelesen!? » Hallo Gast [Anmelden|Registrieren]
Letzter Beitrag | Erster ungelesener Beitrag 2.095 Views | | Thema zu Favoriten hinzufügen

Neues Thema erstellen Antwort erstellen
Zum Ende der Seite springen robots.txt trotz .htaccess gelesen!?
Autor
Beitrag « Vorheriges Thema | Nächstes Thema »
[kamui]
~


images/avatars/avatar-4963.gif

Dabei seit: 27.04.05
Beiträge: 2.992
 robots.txt trotz .htaccess gelesen!? Antworten Zitieren Editieren Melden       UP
Hallo,

ich habe schon seit längerem eine robots.txt auf meinem Server, da ich auch Sachen entwickle, die (noch) nicht in den Suchmaschienen aufgenommen werden sollen. Nun wurde ich heute darauf hingewiesen, dass man die robots.txt ganz einfach per Browser öffnen und lesen kann => habe die robots.txt per .htaccess geschützt, der Code sieht wie folgt aus:
code: 
1:
2:
3:

<FilesMatch "^\robots.txt" >
deny from all
</FilesMatch>


Nun meine Frage: Lesen die Suchmaschienen trotz des "Verbots" die robots.txt?
10.10.06 15:09 [kamui] ist offline Finden Als Freund hinzufügen
Schweinebacke Schweinebacke ist männlich
Mitglied


images/avatars/avatar-5303.jpg

Dabei seit: 06.01.06
Beiträge: 826
Herkunft: Baden Württemberg
Antworten Zitieren Editieren Melden       UP
Das ist eine interessante Frage. Hatte da ein vergleichbaren Fall, nur immer noch keine richtige Erklärung.

Habe bei mir die Datei umbenannt und nicht .txt genommen sonder .js. Soweit ich weiss lesen die Suchmaschinen die Endung nicht aus. Und meinen php-Script ist das Schnuppe. Die Endung kann glaube ich auch frei erfunden sein.
12.10.06 19:41 Schweinebacke ist offline E-Mail Finden Als Freund hinzufügen
Baumstruktur | Brettstruktur
Gehe zu:

Neues Thema erstellen Antwort erstellen
yourWBB » yourWBB Misc * » Das Proggen » HTML, XHTML, JavaScript & CSS » robots.txt trotz .htaccess gelesen!?