Citat:
Originally posted by Thomas@Nov 4 2004, 13:39
Googlebot (Mozilla boten) har varit väldigt aggresiv senaste veckan, jag har inte sett nåt likande sedan google gjorde deepcrawls om ens då.
Vi snackar 30 -> 40 sidor i sekunden, på vissa av mina servrar där det finns mycket innehåll likt WN och AoTV.
Det är boten med UA Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) som detta gäller, och den har tidigare varit väldigt försiktig sedan jag såg den första gången.
Helt sjukt.
Thomas
|
Stämmer IP't förövrigt? Kan vara någon som försöker komma undan med en total screenscraping genom att sätta useragent till att identifiera sig som googlebot (och därmed inte sticka ut i webloggen).