[kamui]
Hallo,
ich habe schon seit längerem eine robots.txt auf meinem Server, da ich auch Sachen entwickle, die (noch) nicht in den Suchmaschienen aufgenommen werden sollen. Nun wurde ich heute darauf hingewiesen, dass man die robots.txt ganz einfach per Browser öffnen und lesen kann => habe die robots.txt per .htaccess geschützt, der Code sieht wie folgt aus:
Nun meine Frage: Lesen die Suchmaschienen trotz des "Verbots" die robots.txt?
ich habe schon seit längerem eine robots.txt auf meinem Server, da ich auch Sachen entwickle, die (noch) nicht in den Suchmaschienen aufgenommen werden sollen. Nun wurde ich heute darauf hingewiesen, dass man die robots.txt ganz einfach per Browser öffnen und lesen kann => habe die robots.txt per .htaccess geschützt, der Code sieht wie folgt aus:
|
Nun meine Frage: Lesen die Suchmaschienen trotz des "Verbots" die robots.txt?