[Jawn]

Google bot sluka nyss 200mb av min bandbredd på en dag ??? hehe fattar inte jag har bara 60mb filer på webhotellet varför slukar den då 200mb bandbredd?
Det är inte så att jag gnäller över bandbredden men jag förstår inte riktigt varför den slukar 200 mb på en dag (8000 hits).

Någon som har varit med om det här någon gång?

[robertsson]

Jag har inte orkat kolla i loggfilerna vem, men nån ladda ner hela min webbsida bakgrundsbilder.se (1800 bilder) igår vilket gjorde att trafikrekordet slogs med 400%. Jag har funderat hela natten vem det kan ha varit men som sagt inte orkat kolla efter.

[mattiasjarnhall]

Originally posted by Jawn@Nov 4 2004, 12:15
Google bot sluka nyss 200mb av min bandbredd på en dag ??? hehe fattar inte jag har bara 60mb filer på webhotellet varför slukar den då 200mb bandbredd?
Det är inte så att jag gnäller över bandbredden men jag förstår inte riktigt varför den slukar 200 mb på en dag (8000 hits).

Någon som har varit med om det här någon gång?

Det står ju bara att googlebot var inne senast den 4:e, han kan alltså ha slukat i sig dessa 200 MB över en betydligt större period. Eller du kanske har kollat varje dag?

[Robert]

Originally posted by robertsson@Nov 4 2004, 12:38
Jag har inte orkat kolla i loggfilerna vem, men nån ladda ner hela min webbsida bakgrundsbilder.se (1800 bilder) igår vilket gjorde att trafikrekordet slogs med 400%. Jag har funderat hela natten vem det kan ha varit men som sagt inte orkat kolla efter.

Det kan vara en oflinebrowser och användaren "råkade" surfa in på din sida så den plockade new hela skiten (jaja, lite långsökt, men mycket konstigt händer ibland) =)

[Jawn]

Ursprungligen postat av mattiasjarnhall

Det står ju bara att googlebot var inne senast den 4:e, han kan alltså ha slukat i sig dessa 200 MB över en betydligt större period. Eller du kanske har kollat varje dag?

Jag kollar nästan varje dag hehe plus att cpanel statsen blev nollställd för 4 dagar sen.
Tycker det är skummt bara hehe brukar vara 30 - 50mb per månad

[robertsson]

Ursprungligen postat av Robert

Det kan vara en oflinebrowser och användaren "råkade" surfa in på din sida så den plockade new hela skiten (jaja, lite långsökt, men mycket konstigt händer ibland) =)

Det var också min första tanke, men när jag såg det första inlägget i detta ämne kom jag tänka på att det kanske var google. Jag får kolla upp det. Såg precis att jag hade ca 15.000 hits mot ca 4.000 normalt.

[Thomas]

Googlebot (Mozilla boten) har varit väldigt aggresiv senaste veckan, jag har inte sett nåt likande sedan google gjorde deepcrawls om ens då.

Vi snackar 30 -> 40 sidor i sekunden, på vissa av mina servrar där det finns mycket innehåll likt WN och AoTV.

Det är boten med UA Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) som detta gäller, och den har tidigare varit väldigt försiktig sedan jag såg den första gången.

Helt sjukt.

Thomas

[Robert]

Originally posted by Thomas@Nov 4 2004, 13:39
Googlebot (Mozilla boten) har varit väldigt aggresiv senaste veckan, jag har inte sett nåt likande sedan google gjorde deepcrawls om ens då.

Vi snackar 30 -> 40 sidor i sekunden, på vissa av mina servrar där det finns mycket innehåll likt WN och AoTV.

Det är boten med UA Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) som detta gäller, och den har tidigare varit väldigt försiktig sedan jag såg den första gången.

Helt sjukt.

Thomas

Stämmer IP't förövrigt? Kan vara någon som försöker komma undan med en total screenscraping genom att sätta useragent till att identifiera sig som googlebot (och därmed inte sticka ut i webloggen).

[Thomas]

Originally posted by Robert@Nov 4 2004, 14:43
Stämmer IP't förövrigt? Kan vara någon som försöker komma undan med en total screenscraping genom att sätta useragent till att identifiera sig som googlebot (och därmed inte sticka ut i webloggen).

Det är bekräftat att det är google.

Det är det många miljoner dollar om dagen som spenderas av google i bandbredd för att göra det som händer på internet just nu så vem det än vore skulle det varit seriöst ändå

Thomas

[ric]

Googlebot har också besökt min sida flitigt de senaste dagarna. Dagsmedel för de tre första dagarna i november är ca 5 136% större än dagsmedel för de 10 sista dagarna i oktober. Vilket är bra.