Google bot sluka nyss 200mb av min bandbredd på en dag ??? hehe fattar inte jag har bara 60mb filer på webhotellet varför slukar den då 200mb bandbredd?
Det är inte så att jag gnäller över bandbredden men jag förstår inte riktigt varför den slukar 200 mb på en dag (8000 hits).

Någon som har varit med om det här någon gång?


http://www.xtremetop100.com/googlebot.jpg

Jag har inte orkat kolla i loggfilerna vem, men nån ladda ner hela min webbsida bakgrundsbilder.se (1800 bilder) igår vilket gjorde att trafikrekordet slogs med 400%. Jag har funderat hela natten vem det kan ha varit men som sagt inte orkat kolla efter.

Det står ju bara att googlebot var inne senast den 4:e, han kan alltså ha slukat i sig dessa 200 MB över en betydligt större period. Eller du kanske har kollat varje dag?

Det kan vara en oflinebrowser och användaren "råkade" surfa in på din sida så den plockade new hela skiten (jaja, lite långsökt, men mycket konstigt händer ibland) =)

Jag kollar nästan varje dag hehe plus att cpanel statsen blev nollställd för 4 dagar sen.
Tycker det är skummt bara hehe brukar vara 30 - 50mb per månad

Det var också min första tanke, men när jag såg det första inlägget i detta ämne kom jag tänka på att det kanske var google. Jag får kolla upp det. Såg precis att jag hade ca 15.000 hits mot ca 4.000 normalt.

Googlebot (Mozilla boten) har varit väldigt aggresiv senaste veckan, jag har inte sett nåt likande sedan google gjorde deepcrawls om ens då.

Vi snackar 30 -> 40 sidor i sekunden, på vissa av mina servrar där det finns mycket innehåll likt WN och AoTV.

Det är boten med UA Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) som detta gäller, och den har tidigare varit väldigt försiktig sedan jag såg den första gången.

Helt sjukt.

Thomas

Stämmer IP't förövrigt? Kan vara någon som försöker komma undan med en total screenscraping genom att sätta useragent till att identifiera sig som googlebot (och därmed inte sticka ut i webloggen).

Det är bekräftat att det är google.

Det är det många miljoner dollar om dagen som spenderas av google i bandbredd för att göra det som händer på internet just nu så vem det än vore skulle det varit seriöst ändå ;)

Thomas

Googlebot har också besökt min sida flitigt de senaste dagarna. Dagsmedel för de tre första dagarna i november är ca 5 136% större än dagsmedel för de 10 sista dagarna i oktober. Vilket är bra.

Tyvärr har det under senaste timmarna gått helt överstyr och det har sänkt vissa servrar totalt.

Undra vad dom håller på med, hundratals hits i sekunden, inte nog med att det är samma IP, det är samma domän.

Thomas

är det det dom gör att WN har så stora problem med minnet nu?

Möjligen, WN har 11 500 som google jobbar med, dock är dessa problem små jämfört med servrar som jag får reboota en gång i timmen.

Illa detta, vad 17 gör dom!

Thomas

kanske idé att lägga in en robots.txt tillfälligt då?

Vissa tycker sig märka att robots.txt inte hjälper för det akuta problemet som uppstått för dem. Det finns exempel på sajter som blivit crawlade tillräckligt hårt för att det nästan ska kunna liknas vid en DDOS-attack.

Upptäcker ni sådana problem; skicka e-post till [email protected] ... Tror dock inte man kan förvänta sig ett svar då de säkerligen blir överösta med mail om bottens nuvarande beteende.

Varför bootar du om dom Thomas? Varför inte bara fixa problemet genom att tex koda en egen cachning av gamla sidor som gör att du kan leverera statiskt material?

Hårddisk är billigt idag, mod_rewrite har tom en parameter för att kolla om en fil finns innan den bestämmer vart en request skall gå.

Gör om gör rätt.


-- Where do you want to delete a post today?

Att nedsätta/anpassa sidor efter en bot som helt plöstligt fått för sig att krypa upp till 200 sidor per sekund medans de påstår något helt annat; det kan jag nog inte hålla med om är en bra idé. Många som drabbats så hårt har blockerat google per IP, temporärt. All logik talar emot att de som jobbar med googlebot med avsikt gett hastigheten som den kryper vissa sidor med.

Shit detta är knas someone messed up big time.

Det här måste ju kosta google massor tänkt all bandbredd :/ helt sjukt

Om man redan gjort detta för länge sedan, vad gör man då, inget håller för flera 100 imp's per sekund och domän om man har några domäner på servern.

Om man bara visste vad man skulle göra om, känns som robots.txt möjligen vore en lösning men som tidigare nämnts så tar det dygn innan en sådan slår igenom när en crawl tar dygn, google kollar historiskt 1 gång före varje omgång.

Vi snackar flera 100 imp's per sekund PER DOMÄN, en crawler som som beter sig normalt skall max ta 1- 2 i sekunden från samma IP för en IP kan ha 500 -> 1000 domäner ibland mer i vissa länder där IP's är bristvara.

Problemet med IPv4 xxx.xxx.xxx.xxx adresser är iofs inte så stort i USA, vissa universitet i USA har blivit tilldelade 3 gånger fler IPadresser än hela Asien och det talar väl sitt tydliga språk, det är därför man kan få 5 - 10
IPadresser inkuderat i en $99 server i USA samtidigt som svenska webbhotell hostar upp mot 1000 icke prestandakrävande siter på samma IP.

IPv6 skall bli lösningen.

Thomas

Antagligen någon med ett program som Teleport Pro som uppenbarligen gillade dina bakgrunder!


Fixade åäö

Tror det är något du med en sådan sajt måste vara beredd på. Är ju bara att använda ("standardprogrammet") wget i *nix för att göra en replika på hela sajten så man kan browsa bilderna offline med valfritt eget bildgalleri-program.

Även universiteten i Sverige har väldigt många IP-adresser tilldelade att välja på, drygt 26-tusen är ingen ovanlighet, i form av ett klass B-nät.

Kom att tänka på denna tråden idag då jag såg följande nyhet på idg!
http://www.idg.se/ArticlePages/20041...330_MD.dbp.asp

Jag tror att det är så att google har varit välldigt aktiva för att dom visste att microsoft snart skulle släppa sin sökmotor och har antagligen sett att den har varit välldigt aktiv och för att inte förlora förstaplatsen gällande antal indexerade sidor så har dom haft googlebotarna igång på högvarv, låter det troligt?

Jag tänkte exakt samma sak. Dom har gått från 4-5 miljarder sidor till drygt 8 miljarder på några dagar, så det är klart att googlebot är trött :)

Undrar var denna kapplöpning kommer sluta. Jag tror både MSN och google är uppe i 10 miljarder nästa vecka.