[Oskar Lindgren]

Jag har lagt märke till att på flera av mina sidor så har MSNs sökbot börjat dra en massa bandbredd, en av dom hade ca 430000 hits förra månaden och drog ~1 GB trafik(utan alla sökbotar). Sedan hade MSNBot dragit 600 mb trafik medans googlebot hade tagit 12 mb... Vad är detta? Suger MSNbot totalt eller gillar den bara min sida? Är jag ensamen?

[Rasmus]

MSN Bot är på min sida hela tiden, google är där en gång / dag. MSN har antagligen många fler datorer som crawlar internet. Och det är ju på gott och ont, det är ju t.ex. backlink uppdatering varje dag, det är inget som är så vanlig hos Google. Fast man kan ju undra hur det är för sajter med många sidor. Tänk er t.ex. ett forum med 100.000 trådar som ska indexeras.. det måste kosta enormt mycket i bandbredd.

Vad för IP nummer har MSN bot? Jag tänkte också kolla hur mycket den slukar.

[jomper]

Mitt forum har en bra bit över 100' trådar och visst suger MSN i sig en del bandbredd.

På min topp-tio-lista över bandbreddsförbrukare finns två MSN-bottar;

1. 1194060KB msnbot.msn.com
6. 187466KB msnbot8069.search.msn.com

Den översta är alltså den som toppar min lista över bandbreddsförbrukare och har sugit i sig över 1.1GB, det är duktigt när forumets databas inte ens är 100MB..

Surt att de två bottarna använder såpass stor andel av bandbredden som förbrukas.

[Norman]

Har märkt att server-wide så tar MSN väldigt mycket trafik. För kunder är det negativt med massa bandbredd som MSN bot snor från deras månads quota.
Google är snäll

[xix xeaon]

Hmm.. Skulle man inte kunna stämma MSN om dom tar för mycket bredband eller något sånt?
Jag menar, så mycket bandbredd som den tar så borde man kunna kalla det för "Web-anrops-attack i syfte att slöa ner" eller något (kan inte sånt =P )
Men dom är ju faktiskt för jävliga, tar webmasters bandbredd för att själva tjäna på ett stort index.
Kan ju dock vara så att dom kör som fan nu så dom får in typ hela internets alla sidor, sen när dom har fått in det mesta så tar dom det lugnare?

Men ändå!!

[icehole]

Nej det är ju ingen DOS attack

Men kan ni inte blocka ip?

[Schneaker]

65.54.188.1 - 65.54.189.255 åker in i vår iptables imorrn. Vi gillar inte MSN, och struntar i om vi finns i deras index eller inte. Orka robots som käkar trafik, svensk trafik är dyrt!

[Rasmus]

Man kan ju blocka IP, men då kommer man ju inte att finnas med på MSN Search längre, och det är det nog mågna här inne som vill.

[Patrik H]

Hos oss är det ingen större skillnad på MSN och Google bot, Google drar ca 4Gb/månad och MSN tog ca 1GB under januari.

[Norman]

Originally posted by Patrik H@Feb 3 2005, 17:17
Hos oss är det ingen större skillnad på MSN och Google bot, Google drar ca 4Gb/månad och MSN tog ca 1GB under januari.

Skillnaden är väl att Googlebot indexerar alla sajter, medans MSN läser in index.html femtiosjutusen gånger.