Jag har lagt märke till att på flera av mina sidor så har MSNs sökbot börjat dra en massa bandbredd, en av dom hade ca 430000 hits förra månaden och drog ~1 GB trafik(utan alla sökbotar). Sedan hade MSNBot dragit 600 mb trafik medans googlebot hade tagit 12 mb... Vad är detta? Suger MSNbot totalt eller gillar den bara min sida? Är jag ensamen?

MSN Bot är på min sida hela tiden, google är där en gång / dag. MSN har antagligen många fler datorer som crawlar internet. Och det är ju på gott och ont, det är ju t.ex. backlink uppdatering varje dag, det är inget som är så vanlig hos Google. Fast man kan ju undra hur det är för sajter med många sidor. Tänk er t.ex. ett forum med 100.000 trådar som ska indexeras.. det måste kosta enormt mycket i bandbredd.

Vad för IP nummer har MSN bot? Jag tänkte också kolla hur mycket den slukar.

Mitt forum har en bra bit över 100' trådar och visst suger MSN i sig en del bandbredd.

På min topp-tio-lista över bandbreddsförbrukare finns två MSN-bottar;

1. 1194060KB msnbot.msn.com
6. 187466KB msnbot8069.search.msn.com

Den översta är alltså den som toppar min lista över bandbreddsförbrukare och har sugit i sig över 1.1GB, det är duktigt när forumets databas inte ens är 100MB..

Surt att de två bottarna använder såpass stor andel av bandbredden som förbrukas.

Har märkt att server-wide så tar MSN väldigt mycket trafik. För kunder är det negativt med massa bandbredd som MSN bot snor från deras månads quota.
Google är snäll :)

Hmm.. Skulle man inte kunna stämma MSN om dom tar för mycket bredband eller något sånt?
Jag menar, så mycket bandbredd som den tar så borde man kunna kalla det för "Web-anrops-attack i syfte att slöa ner" eller något (kan inte sånt =P )
Men dom är ju faktiskt för jävliga, tar webmasters bandbredd för att själva tjäna på ett stort index.
Kan ju dock vara så att dom kör som fan nu så dom får in typ hela internets alla sidor, sen när dom har fått in det mesta så tar dom det lugnare?

Men ändå!!

Nej det är ju ingen DOS attack

Men kan ni inte blocka ip?

65.54.188.1 - 65.54.189.255 åker in i vår iptables imorrn. Vi gillar inte MSN, och struntar i om vi finns i deras index eller inte. Orka robots som käkar trafik, svensk trafik är dyrt!

Man kan ju blocka IP, men då kommer man ju inte att finnas med på MSN Search längre, och det är det nog mågna här inne som vill.

Hos oss är det ingen större skillnad på MSN och Google bot, Google drar ca 4Gb/månad och MSN tog ca 1GB under januari.

Skillnaden är väl att Googlebot indexerar alla sajter, medans MSN läser in index.html femtiosjutusen gånger.

Det är nog ingen ide att blocka ip(?) Den som kommer in på min är från 207.46.98.111.. Men dens user-agent är väll alltid "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"
Om man vill kan man neka att visa någon sida om det är "msnbot" med i. Tycker man att det är kul att koda (och det gör man ju) så kan man göra så att den bara får komma in ett visst antal gånger på en viss tid =)

Men jag behöver nog tyvärr index av så många spiders som möjligt eftersom min sida inte är så stor än. Änsålänge så har den oftast varit inne på olika sidor..

Men en "msnbot-limiter" är nog att rekomendera för många, kanske till och med går att sälja ;P

Jag tycker inte om MS och vill helst bara jävlas med dom. Kan jag sova lugnt om natten om jag låter alla surfare som kommer till mina sajter från MS's sökmotor få ett meddelande där det står "<sajtens namn> rekomenderar inte search.msn.se. Testa google.se instället!"?

Jag har aldrig registrerat någon av mina sajter till MSN-bot, så den är inte inbjuden.

Ni blockar lätt MSN-spindeln med robots.txt ..

http://www.searchenginepromotionhelp...-explained.php

Hos mig indexerar den alla siter, jag la in ett script för att kolla hur det var i forumet, den var där och rotade ungefär 3-7 ggr / dag.

Nu när vi ändå snackar om "over-crawling" så upptäckte jag precis att jag idag har fått massor av visits från "Mediapartners-Google/2.1" (66.249.66.83) och "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; FunWebProducts; i-NavFourF; .NET CLR 1.1.4322)" (217.136.76.148).. Den senast nämnda har typ samma user-agent som en vanlig MSIE 6.0... Grejen är att jag fick 74 visits från dom på 8 minuter och dom har kört samma sidor flera gånger. Någon som vet något?

(hmm.. jag kan inte ändra mitt inlägg igen..)

Jag upptäckte nu att den som såg ut som en browser, var en browser. Jag har en inloggning från den IPn mitt bland dom 8 minutrarna..
Men det måste ju ändå vara något samband? Typ reklam i browsern som anpassar sig till websidan?

(Åh, jag måste nog lära mig att sova på nätterna så jag inte missar sånt =P Det får bli march i säng nu =) )

Har du värdefulla filer eller texter på sajten (såsom bilder)? Det är kanske någon som drar ner det automatiskt med nåt webb-rip-program.

Näe inte precis =/ Inget som någon skulle kunna tjäna något på iallafall.