 Traffik Problem ! Bitte dringend um Hilfe ! |
Sould 
Mitglied
Dabei seit: 17.01.04
Beiträge: 1.073
Forenversion: wbb x.x.x.x.x.x.x
 |
|
Hallo, ich habe ein großes Problem....
Heute habe ich von meinem Provider bescheid bekommen das mein Forum unheimlich traffic zieht... diesen Monat sind es schon 11.15 GB 
Das ist ziemlich häftig und laut statistik sind die googlebots drann schuld... ich sehe sie wohl irgendwie nicht täglich im Forum aber sie ziehen irgendwie unmengen an traffic....
Er meinte es liegt an meinem Archiv ???? Kann das sein ??? Ich habe auch noch die sitemap aktiv von google ??? Was soll ich nun tun ? Woran kann das liegen ?`Er hat noch gemeint, das ich das Archiv nur alle 6 stunden abfragen lassen soll... ist das möglich ???
Hier mal die Statistik:
http://62.99.244.5/awstats/awstats.pl?co...rd.info&configd
|
|
31.08.05 15:07 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Sould
Mitglied
Dabei seit: 17.01.04
Beiträge: 1.073
Forenversion: wbb x.x.x.x.x.x.x
Themenstarter 
|
|
Man sieht es doch in der statistik...
Hier mal die Tabelle:
Rechner : 8490 Bekannte, 317 Unbekannte (IP konnte nicht aufgelöst werden )
1947 Unterschiedliche Besucher Seiten Zugriffe Bytes Letzter Zugriff
crawl-66-249-65-228.googlebot.com 294680 294690 5.50 GB 09.08.2005 - 00:43
crawl-66-249-65-209.googlebot.com 87380 87381 1.71 GB 10.08.2005 - 19:20
crawl-66-249-65-3.googlebot.com 81218 81218 1.45 GB 04.08.2005 - 19:20
crawl-66-249-65-13.googlebot.com 15226 15304 271.73 MB 30.08.2005 - 15:21
crawl-66-249-65-82.googlebot.com 8461 8461 185.97 MB 10.08.2005 - 22:50
crawl-66-249-65-202.googlebot.com 8370 8370 290.00 MB 12.08.2005 - 20:02
msnbot.msn.com 7198 7198 228.62 MB 31.08.2005 - 13:52
crawl-66-249-66-33.googlebot.com 6025 6025 204.75 MB 16.08.2005 - 00:53
crawl-66-249-66-206.googlebot.com 4998 5038 148.55 MB 18.08.2005 - 14:30
crawl-66-249-66-229.googlebot.com 4032 4032 128.24 MB 16.08.2005 - 19:08
|
|
|
31.08.05 15:32 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Ste
Mitglied
Dabei seit: 16.01.04
Beiträge: 483
Herkunft: Bolzano (I)
Forenversion: 2.3
|
|
Eigentlich solltest du dir die IP adressen angucken, 66. ist 90% google.
Die crawler bots sehen auch stark nach google aus.
Daher denke ich mal das ist schon ok so. Google kannst nich bremsen nur ausperren. Sperre am besten alles über die Robots.txt und lass google nur noch ins archiv.
Wieviel traffic hast du den im Monat zur verfügung?
|
|
|
31.08.05 15:50 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Sould
Mitglied
Dabei seit: 17.01.04
Beiträge: 1.073
Forenversion: wbb x.x.x.x.x.x.x
Themenstarter
|
|
Kannst du mir sagen, wie ich das mache mit der robot.txt ??? Also was genau drinnen stehen muss vom inhalt ??? Ich weiss nicht wiviel ich zur verfügung habe, aber jeden Tag über 1 Gb ist ein bissle viel... muss es auf jeden fall runterschrauben...
Das ist auch erst im August nur so, das ich soviel traffic habe....
Apr 2005 503 668 4932 17946 123.99 MB
Mai 2005 2101 5227 43850 192059 1.22 GB
Juni 2005 1599 5256 40238 174934 1.10 GB
Juli 2005 2029 12579 49989 244856 1.45 GB
Aug 2005 1947 7091 555962 777475 11.15 GB
|
|
|
31.08.05 16:16 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Ste
Mitglied
Dabei seit: 16.01.04
Beiträge: 483
Herkunft: Bolzano (I)
Forenversion: 2.3
|
|
Nehmen wir als beispiel die robotS.txt von y******
http://www.y******.info/robots.txt
| code: |
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
|
User-agent: *
Disallow: /acp
Disallow: /attachments
Disallow: /cache
Disallow: /cgi-bin
Disallow: /crons
Disallow: /dbfiles
Disallow: /demos
Disallow: /icons
Disallow: /images
Disallow: /js
Disallow: /templates
Disallow: /sam
|
|
all diese Ordner werden nicht durchsucht, wenn du jetzt dem slurp bot sagen willst er soll z.B langsamer machen dann sieht das ganze so aus
| code: |
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11:
12:
13:
14:
15:
16:
17:
18:
|
User-agent: Slurp
Crawl-delay: 60
User-agent: *
Disallow: /acp
Disallow: /attachments
Disallow: /cache
Disallow: /cgi-bin
Disallow: /crons
Disallow: /dbfiles
Disallow: /demos
Disallow: /icons
Disallow: /images
Disallow: /js
Disallow: /templates
Disallow: /sam
|
|
Es gibt auch robots.txt generatoren http://www.searchcode.de/robotstxt.php
|
|
|
31.08.05 16:23 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Sould
Mitglied
Dabei seit: 17.01.04
Beiträge: 1.073
Forenversion: wbb x.x.x.x.x.x.x
Themenstarter
|
|
Oki, angenommen ich nehme die zweite möglichkeit... gehn die Spider dnan nur noch ins Archiv ??? Und muss ich dann die robot.txt im Ordner vom Forum unterbringen oder ??? Also wo das Forum leigt
|
|
|
31.08.05 16:33 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Ste
Mitglied
Dabei seit: 16.01.04
Beiträge: 483
Herkunft: Bolzano (I)
Forenversion: 2.3
|
|
1. heisst die datei RobotS.txt also plural wenn du sie falsch schreibst geht das nicht
2. die robotS.txt kommt in das Stammverzeichnis www.deinedomain.tld/robots.txt
3. Nicht 1:1 übernehmen, wenn dein forum im wbb2 Ordner ist muss du die Pfade natürlich anpassen, ausserdem hast du wohl kaum einen Ordner der Sam heisst
ciao
Ste
|
|
|
31.08.05 16:36 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Ste
Mitglied
Dabei seit: 16.01.04
Beiträge: 483
Herkunft: Bolzano (I)
Forenversion: 2.3
|
|
Wenn du
Disallow: /archiv
eingeben würdest dann würde die bots das archiv NICHT durchsuchen
|
|
|
31.08.05 17:31 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Sould
Mitglied
Dabei seit: 17.01.04
Beiträge: 1.073
Forenversion: wbb x.x.x.x.x.x.x
Themenstarter
|
|
Aber wenn ich doch Disallow: /forum eingebe, dann blockiere ich doch mein ganzes board ??? weil dort doch mein board liegt... oder geht er dann trotzdem noch in den unterforen hinein ?
|
|
|
31.08.05 17:34 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Ste
Mitglied
Dabei seit: 16.01.04
Beiträge: 483
Herkunft: Bolzano (I)
Forenversion: 2.3
|
|
Wenn auf die unterordner nicht verlinkt wird blokierst du alles.
Aber mache es am besten so, verbiete thread.php und board.php so wird dann nur dein archiv durchsucht da dort die links ja nicht mit thread.php anfangen
|
|
|
31.08.05 20:50 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
Sould
Mitglied
Dabei seit: 17.01.04
Beiträge: 1.073
Forenversion: wbb x.x.x.x.x.x.x
Themenstarter
|
|
Ich danke dir vielmal für die ganzen Antworten und bemühungen 
Ich werde warscheinlich ein neuen Server bekommen :-D
Dann hat sich das mit dem Traffic erledigt, denn dort habe ich dann 500 GB frei ~gg~ und die verbrauche ich im leben nicht ~smileZ~ Aber ich habe eine robots.txt nun drinnen
werde die beiden dateien noch verbieten....
|
|
|
01.09.05 15:16 |
E-Mail
WWW
Finden
Als Freund hinzufügen
|
|
|
