Jag har 3 st ip från google bot:
66.249.70.100
66.249.72.130
66.249.72.80

Den första går över mina servrar med 7 hittar/sek och den andra med 5 hittar/sek och den 3:e med 0,5 hittar/sek

Ändå har jag angivit längsta fart i google tools.

Personligen tycker jag detta är helt sjukt, totalt går de fram med över 12 hittar/sek och på de sista 10 minutrarna har den första google boten kommit upp i 4200 hittar

Någon som har liknande erfarenhet?

15 träffar i min access-log idag från Google och 6081 träffar sedan 8 Mars.

Iof, jag har över 77 000 webbadresser på 16 servrar, men ändå.

Där kan vara en av anledningarna...

eeeeh...(?)

Nu är det uppe i 90 hittar/sek på 4 google bots ip.

66.249.70.100 ligger på 3100 hittar per minut

77 000 domäner inkl. subdomäner är det, men ändå, google bot går grymt hårt fram.

Du får skaffa google webmaster tools och minska hur ofta de ska besöka dina 77000 sidor :)

Jo jag har webmaster tools sedan tidigare, men nu har jag uppdaterat den med alla domäner och satt till lägsta genomsökningshastighet, vi får se om det sjunker. Problemet dock är att jag har totalt 500 domäner kopplade till systemet och 76500 subdomäner så det är ju tokkört att försöka få in alla 500 domäner i webmaster tools. Dock har jag lagt in nu de 70 största.

Rätt dåligt att webmaster tools enbart går på domäner och att man inte kan sätta sökhastighet efter server IP.

Rätt bra tycker jag. Annars skulle någon stackare lägga till ett webbhotellsip och sen är det kört för övriga kunder.

htiawe, det är nog sant, men just nu drar google bot nästan ner helt mina servrar med över 220 hittar/sek

Just nu sitter jag och funderar på om jag ska blocka google bot i iptables eller inte, de andra botar gör inte alls samma sak.

Google IP 66.249.70.100 ligger just nu och matar med 100 hittar/sek, detta är ju helt löjligt.

Du kan ju alltid slänga iväg ett mail till Google, de lär väl kunna svara på dina frågor.

htiawe, det har jag gjort och de har inte svarat på mina 2 sista.......vad jag förstår har den svenska avdelningen helt somnat in, någon får här gärna dela med sig om dom har bättre erfaranhet av kontakt med Google.

Jag har inga källor på det men jag har hört att den svenska Google-avdelningen är ganska bakbunden och därför seg jämfört med den amerikanska. Går det inte att maila jänkarna?

Har du försökt kontakta WMC direkt?

Här är en post som kan vara intressant: http://googlewebmastercentral.blogspot.com...-googlebot.html

och http://searchenginewatch.com/showPage.html...ml?page=3623312

Tack för dom 2 länkarna, jag ska ta mig en titt direkt, för nu har google botarna kommit upp i 300hittar i sekunden!

En liten rättelse, jag räknade fel, google botarna var inte uppe "i mer än" 50 hittar sek. Jag har dock infört ett nytt dos skydd som blockerar 1-2 sek var 10 sek, jag vet inte vad det betyder men jag har inte något bra annat val just nu. Jag ska som sagt kontakta Google, men sist fick jag inte en respons från kontakt med google förrän efter 14 dagar.

Har du försökt att begränsa bandbredden istället för att blockera?

Vet du hur man gör det i shorewall eller i iptables?
http://www.shorewall.net/traffic_shaping.htm#LinuxTC

står det:
"You can only shape outgoing traffic"

Dock har google botarna verkat lungna ner sig, och den värsta blir blockat 14ggr per minut ungefär och "haltas" att ligga på runt 4 IP connections/sekund i snitt.

Google botarna är dom värsta, kanske för att jag har adsense? Eftersom dom ligger på konstant, beräknar jag att dom drar en helt enorm bandbredd och kostnaden är inte liten.

Den generall prestandan på mitt system har avsevärt förbättras genom att ha en max gräns på IP connections/sek. Jag skulle dock kunna lägga lite högre gräns på några google botar, men har inte fått till det än.

När Googlebot besöker dig så talar dem om när dem besökte dig senast (If-Modified-Since). Om dina sidor inte har ändrats sedan dess, prova att skicka 304 (Not Modified).

Att banna Googlebot lär inte vara så bra för dina positioner i sökresultaten...

Edit: En snabb variant kan vara att lägga in detta (om du kör PHP)

if (!empty($_SERVER['HTTP_IF_MODIFIED_SINCE'])) {
header("HTTP/1.0 304 Not Modified");
exit();
}

Edit 2: stavfel

Tack så mycket, det där ska jag prova!