[spock]

Googlebots trafik på min hemsida har ökat explosionsmässigt den senaste månaden. Statistik i dagsläget:

Vanliga besök - 3.36 GB
Robotar (90% Googlebot) - 11.84 GB

Då jag vanligtvis klarar mig på 10 gb per månad (tack Manufrog för att ni bjuder på extra bandbredd denna månad) blev jag mycket överraskad av detta.

I juni månad uppgick den totala trafiken från robotar till 2.94 GB, i Juli 3.73 GB. Efter att ha kikat på mina loggar hos Google så misstänker jag att det är mitt forum som är boven, då roboten på något sätt verkar fastna där. Enligt Googles verktyg för webbansvariga så hittar Googlebot inte 13866 st adresser på min hemsida, samtliga av dessa finns i forumet. Anledningen är antingen "Kunde inte hämta robots.txt " eller "500 (Internt serverfel)".

För mig verkar det mystiskt att Google helt plötsligt fick problem med mitt forum, då jag inte gjort några modifieringar under sommaren. Jag funderar nu på att helt stänga av Googlebot från forumet (blir tvungen till det nästa månad, om jag inte hittar någon lösning). Hur skulle detta påverka mina sökmotorresultat?

Någon som har varit med om något liknande, eller har en lösning på problemet? Blev en rätt lång redovisning detta..