[spock]

Googlebots trafik på min hemsida har ökat explosionsmässigt den senaste månaden. Statistik i dagsläget:

Vanliga besök - 3.36 GB
Robotar (90% Googlebot) - 11.84 GB

Då jag vanligtvis klarar mig på 10 gb per månad (tack Manufrog för att ni bjuder på extra bandbredd denna månad) blev jag mycket överraskad av detta.

I juni månad uppgick den totala trafiken från robotar till 2.94 GB, i Juli 3.73 GB. Efter att ha kikat på mina loggar hos Google så misstänker jag att det är mitt forum som är boven, då roboten på något sätt verkar fastna där. Enligt Googles verktyg för webbansvariga så hittar Googlebot inte 13866 st adresser på min hemsida, samtliga av dessa finns i forumet. Anledningen är antingen "Kunde inte hämta robots.txt " eller "500 (Internt serverfel)".

För mig verkar det mystiskt att Google helt plötsligt fick problem med mitt forum, då jag inte gjort några modifieringar under sommaren. Jag funderar nu på att helt stänga av Googlebot från forumet (blir tvungen till det nästa månad, om jag inte hittar någon lösning). Hur skulle detta påverka mina sökmotorresultat?

Någon som har varit med om något liknande, eller har en lösning på problemet? Blev en rätt lång redovisning detta..

[nosnaj]

Via Sitemaps kan du dra ner på besöksfrekvensen, kanske kan hjälpa lite?
http://www.google.com/webmasters/sitemaps/?hl=sv

[crazzy]

försök begränsa specifika delar av forumet... borde stå nånstans vilken del av forumet den fastnar i

[najk]

om du kikar i webbserverns logg (typ access.log) borde du kunna hitta vilken fil/avdelning på din sida som googleboten fastnar på, kanske är någon otrevlig loop med sessions etc..

[spock]

Tack för svar. Hittar bara en error.log, och där står inget om Googlebot och var den fastnar. Har redan dragit ner på besöksfrekvensen via sitemapen, det hjälper dock föga.

Om jag via en robots.txt-fil skulle hindra Googlebot att komma åt forumet över huvudtaget, hur skulle mina sökmotorresultat påverkas tror ni? Jag ligger nu etta på mina två mest relevanta sökord.

[StefanBergfeldt]

Om det är sidor på forumet som kommer upp som träffar så skulle det naturligtvis vara mycket dåligt att inte släppa in roboten.

[crazzy]

Tillåter du att gäster får läsa trådarna på forumet?