[Danielos]

htiawe, det är nog sant, men just nu drar google bot nästan ner helt mina servrar med över 220 hittar/sek

Just nu sitter jag och funderar på om jag ska blocka google bot i iptables eller inte, de andra botar gör inte alls samma sak.

[Danielos]

Google IP 66.249.70.100 ligger just nu och matar med 100 hittar/sek, detta är ju helt löjligt.

[htiawe]

Du kan ju alltid slänga iväg ett mail till Google, de lär väl kunna svara på dina frågor.

[Danielos]

htiawe, det har jag gjort och de har inte svarat på mina 2 sista.......vad jag förstår har den svenska avdelningen helt somnat in, någon får här gärna dela med sig om dom har bättre erfaranhet av kontakt med Google.

[htiawe]

Jag har inga källor på det men jag har hört att den svenska Google-avdelningen är ganska bakbunden och därför seg jämfört med den amerikanska. Går det inte att maila jänkarna?

[xpat]

Har du försökt kontakta WMC direkt?

Här är en post som kan vara intressant: http://googlewebmastercentral.blogspot.com...-googlebot.html

och http://searchenginewatch.com/showPage.html...ml?page=3623312

[Danielos]

Tack för dom 2 länkarna, jag ska ta mig en titt direkt, för nu har google botarna kommit upp i 300hittar i sekunden!

[Danielos]

En liten rättelse, jag räknade fel, google botarna var inte uppe "i mer än" 50 hittar sek. Jag har dock infört ett nytt dos skydd som blockerar 1-2 sek var 10 sek, jag vet inte vad det betyder men jag har inte något bra annat val just nu. Jag ska som sagt kontakta Google, men sist fick jag inte en respons från kontakt med google förrän efter 14 dagar.

[Oskar Lindgren]

Har du försökt att begränsa bandbredden istället för att blockera?

[Danielos]

Vet du hur man gör det i shorewall eller i iptables?
http://www.shorewall.net/traffic_shaping.htm#LinuxTC

står det:
"You can only shape outgoing traffic"

Dock har google botarna verkat lungna ner sig, och den värsta blir blockat 14ggr per minut ungefär och "haltas" att ligga på runt 4 IP connections/sekund i snitt.

Google botarna är dom värsta, kanske för att jag har adsense? Eftersom dom ligger på konstant, beräknar jag att dom drar en helt enorm bandbredd och kostnaden är inte liten.

Den generall prestandan på mitt system har avsevärt förbättras genom att ha en max gräns på IP connections/sek. Jag skulle dock kunna lägga lite högre gräns på några google botar, men har inte fått till det än.