Visa ett inlägg
Oläst 2004-11-04, 13:43 #8
Roberts avatar
Robert Robert är inte uppkopplad
Klarade millennium-buggen
 
Reg.datum: Jan 2004
Inlägg: 2 103
Robert Robert är inte uppkopplad
Klarade millennium-buggen
Roberts avatar
 
Reg.datum: Jan 2004
Inlägg: 2 103
Citat:
Originally posted by Thomas@Nov 4 2004, 13:39
Googlebot (Mozilla boten) har varit väldigt aggresiv senaste veckan, jag har inte sett nåt likande sedan google gjorde deepcrawls om ens då.

Vi snackar 30 -> 40 sidor i sekunden, på vissa av mina servrar där det finns mycket innehåll likt WN och AoTV.

Det är boten med UA Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) som detta gäller, och den har tidigare varit väldigt försiktig sedan jag såg den första gången.

Helt sjukt.

Thomas
Stämmer IP't förövrigt? Kan vara någon som försöker komma undan med en total screenscraping genom att sätta useragent till att identifiera sig som googlebot (och därmed inte sticka ut i webloggen).
Robert är inte uppkopplad   Svara med citatSvara med citat