 Robot.txt -> Wie konfiguriern? |
C8H20
Mitglied
Dabei seit: 16.01.04
Beiträge: 270
 |
|
Howdy,
wie kann ich den Spidern und Robots sagen, dass sie sofort ins Archiv gehen sollen: http://www.donsalva.com/forum/archive/index.html und nicht auf meine Seite?
Danke im Voraus,
C8H20
__________________
PC? Internet? Soft- & Hardware? Programmierung?
Die Linkliste dazu!
!Death Metal ist Krieg!
Bin auf der Suche nach Leuten, die ihre Scripte und/oder Codeschnipsel bei mir online stellen möchten / könnten.
|
|
12.04.04 13:10 |
E-Mail
Finden
Als Freund hinzufügen
|
|
Bräke
Mitglied
Dabei seit: 01.01.04
Beiträge: 8.189
|
|
Richtige Schreibweise, falsch ist robot.txt (also ohne »s«) - kommt immer wieder vor (selbst in Büchern - ist aber trotzdem falsch).
Hab mal geschaut, aber wie man die direkt dahinbekommt, hmm???
| code: |
1:
2:
3:
|
User-agent: *
Disallow: /uhu/
Allow: /uhu/nest.html |
|
# (1. Zeile) Alle robots erlaubt; sonst namentlich einschränken, frag mich aber nicht, welche Namen
# (2. Zeile) ausgeschlossene Verzeichnisse vom Spidern; wenn leer - keine Einschränkung
# (3. Zeile) die Datei nest.html darf trotzdem von Robots ausgelesen werden.
|
|
|
12.04.04 22:38 |
Finden
Als Freund hinzufügen
|
|
C8H20
Mitglied
Dabei seit: 16.01.04
Beiträge: 270
Themenstarter 
|
|
Werd's mal testen. DAnke!
__________________
PC? Internet? Soft- & Hardware? Programmierung?
Die Linkliste dazu!
!Death Metal ist Krieg!
Bin auf der Suche nach Leuten, die ihre Scripte und/oder Codeschnipsel bei mir online stellen möchten / könnten.
|
|
|
13.04.04 00:07 |
E-Mail
Finden
Als Freund hinzufügen
|
|
C8H20
Mitglied
Dabei seit: 16.01.04
Beiträge: 270
Themenstarter
|
|
Noch eine Frage hätte ich:
Wenn ich aber nun allen Robots überall den Zutritt gewähren will, was muss ich machen? Gar keine Robots.txt oder doch?
C8H20
__________________
PC? Internet? Soft- & Hardware? Programmierung?
Die Linkliste dazu!
!Death Metal ist Krieg!
Bin auf der Suche nach Leuten, die ihre Scripte und/oder Codeschnipsel bei mir online stellen möchten / könnten.
|
|
|
15.04.04 23:39 |
E-Mail
Finden
Als Freund hinzufügen
|
|
Bräke
Mitglied
Dabei seit: 01.01.04
Beiträge: 8.189
|
|
Die Datei sollte schon vorhanden sein. Wenn der Spider keine findet, bekommt der Server nen 404 gemeldet. Die Datei kann auch Leer sein, für alle dann halt.
|
|
|
15.04.04 23:51 |
Finden
Als Freund hinzufügen
|
|
C8H20
Mitglied
Dabei seit: 16.01.04
Beiträge: 270
Themenstarter
|
|
| Zitat: |
Original von Bräke
Die Datei sollte schon vorhanden sein. Wenn der Spider keine findet, bekommt der Server nen 404 gemeldet. Die Datei kann auch Leer sein, für alle dann halt. |
also einfach eine Datei mit
Oder wie?
__________________
PC? Internet? Soft- & Hardware? Programmierung?
Die Linkliste dazu!
!Death Metal ist Krieg!
Bin auf der Suche nach Leuten, die ihre Scripte und/oder Codeschnipsel bei mir online stellen möchten / könnten.
|
|
|
16.04.04 01:02 |
E-Mail
Finden
Als Freund hinzufügen
|
|
300782191 
Mitglied
Dabei seit: 02.09.05
Beiträge: 242
|
|
Ich habe zu dem Thema zwei Fragen:
a) du, Bräke, sagst, dass es robot.txt heißen muss, aber warum heißt die Datei hier: robotS.txt ?
b) was ist / wäre denn ein "perfekter" Inhalt für diese Datei für ein wBB2 um double content zu vermeiden und die Spider nur auf Seiten zu lassen, wo es auch "nötig" ist. Also eine Seite wie register.php braucht kein Bot zu spidern, finde ich.
300782191
__________________
|
|
|
03.09.05 18:53 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Tropical
Mitglied
Dabei seit: 28.11.04
Beiträge: 198
Herkunft: Wien
Forenversion: WBB 1.2/Light/2.1
|
|
| Zitat: |
Original von Bräke
falsch ist robot.txt (also ohne »s«) |
Bräke hat ausnahmsweise mal keinen Blödsinn verzapft, sondern du hast dich verlesen 
@b Keine Ahnung 
|
|
|
03.09.05 18:57 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
300782191
Mitglied
Dabei seit: 02.09.05
Beiträge: 242
|
|
| Zitat: |
Original von Tropical
| Zitat: |
Original von Bräke
falsch ist robot.txt (also ohne »s«) |
Bräke hat ausnahmsweise mal keinen Blödsinn verzapft, sondern du hast dich verlesen
|
Stimmt.
Sry.
Wie peinlich ...
__________________
|
|
|
03.09.05 19:25 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
BreiteSeite
ETIESETIERB
Dabei seit: 02.10.04
Beiträge: 1.420
Fähigkeiten: WBB3 Anfänger; WBB2 Fortgeschritten
Herkunft: Sachsen
Forenversion: 3.0
|
|
| Zitat: |
Original von 300782191
| Zitat: |
Original von Tropical
| Zitat: |
Original von Bräke
falsch ist robot.txt (also ohne »s«) |
Bräke hat ausnahmsweise mal keinen Blödsinn verzapft, sondern du hast dich verlesen
|
Stimmt.
Sry.
Wie peinlich ... |
Macht nix, hab mich auch verlesen 
.
__________________
Mit freundlichen Grüßen
BreiteSeite
» Mancher Mensch hat ein großes Feuer in seiner Seele, und niemand kommt, um sich daran zu wärmen. «
BreiteSeites sysProfile
|
|
|
03.09.05 19:48 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Ste
Mitglied
Dabei seit: 16.01.04
Beiträge: 483
Herkunft: Bolzano (I)
Forenversion: 2.3
|
|
Ich kann leider nicht Hellsehen, darum weiss ich nicht wie deine Seite aufgebaut ist, aber wenn es ein Standard Wbb2 ist, würde ich sagen es gibt noch die druckeransicht (print.php) sperren solltest.
Sperre auch gleich die markread.php und die index.php?hidcat
ciao
Ste
|
|
|
03.09.05 21:59 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
300782191
Mitglied
Dabei seit: 02.09.05
Beiträge: 242
|
|
Okay.
Ja ist ein Standard wBB bzw. noch in der Entwicklung und es wurde nichts groß geändert.
Ist es vorteilhaft die Bots gleich ins Archiv zu leiten ?
Weil ich finde es ja unvorteilhaft, da z. B. in den Kategoriebeschreibungen auch Sachen stehen könnten, die den PR antreiben.
Aber ist das so ?
__________________
|
|
|
03.09.05 22:08 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
sw007
Mitglied
Dabei seit: 04.12.04
Beiträge: 29
Forenversion: 2.3.4
|
|
alter Thread neu aufgewärmt 
würde also dann das funktionieren, wenn der Bot nur das Archiv durchsuchen soll?
| code: |
1:
2:
3:
|
User-agent: *
Disallow: /
Allow: /archive/ |
|
|
|
|
09.03.06 19:28 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Windapple
Mitglied
Dabei seit: 06.01.05
Beiträge: 118
Forenversion: 2.3.4
|
|
Es gibt kein Allow, nur Disallow. Du musst also alle .php Dateien die da so rumliegen per Disallow ausschließen, es führt kein Weg drumrum.
Könntest aber meine robots.txt als Vorlage nehmen, ich hab mir die Arbeit mal gemacht alle Dateien einzeln auszuschließen und das funzt wunderprächtig: http://www.gm-d.de/robots.txt
__________________
Das Forum rund um den Game Maker.
|
|
|
10.03.06 14:19 |
WWW
Finden
Als Freund hinzufügen
|
|
|
