[xix xeaon]

Det är nog ingen ide att blocka ip(?) Den som kommer in på min är från 207.46.98.111.. Men dens user-agent är väll alltid "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"
Om man vill kan man neka att visa någon sida om det är "msnbot" med i. Tycker man att det är kul att koda (och det gör man ju) så kan man göra så att den bara får komma in ett visst antal gånger på en viss tid =)

Men jag behöver nog tyvärr index av så många spiders som möjligt eftersom min sida inte är så stor än. Änsålänge så har den oftast varit inne på olika sidor..

Men en "msnbot-limiter" är nog att rekomendera för många, kanske till och med går att sälja ;P

[kullervo]

Jag tycker inte om MS och vill helst bara jävlas med dom. Kan jag sova lugnt om natten om jag låter alla surfare som kommer till mina sajter från MS's sökmotor få ett meddelande där det står "<sajtens namn> rekomenderar inte search.msn.se. Testa google.se instället!"?

Jag har aldrig registrerat någon av mina sajter till MSN-bot, så den är inte inbjuden.

[kers]

Ni blockar lätt MSN-spindeln med robots.txt ..

http://www.searchenginepromotionhelp...-explained.php

[Rasmus]

Ursprungligen postat av Norman

Skillnaden är väl att Googlebot indexerar alla sajter, medans MSN läser in index.html femtiosjutusen gånger.

Hos mig indexerar den alla siter, jag la in ett script för att kolla hur det var i forumet, den var där och rotade ungefär 3-7 ggr / dag.

[xix xeaon]

Nu när vi ändå snackar om "over-crawling" så upptäckte jag precis att jag idag har fått massor av visits från "Mediapartners-Google/2.1" (66.249.66.83) och "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; FunWebProducts; i-NavFourF; .NET CLR 1.1.4322)" (217.136.76.148).. Den senast nämnda har typ samma user-agent som en vanlig MSIE 6.0... Grejen är att jag fick 74 visits från dom på 8 minuter och dom har kört samma sidor flera gånger. Någon som vet något?

[xix xeaon]

(hmm.. jag kan inte ändra mitt inlägg igen..)

Jag upptäckte nu att den som såg ut som en browser, var en browser. Jag har en inloggning från den IPn mitt bland dom 8 minutrarna..
Men det måste ju ändå vara något samband? Typ reklam i browsern som anpassar sig till websidan?

(Åh, jag måste nog lära mig att sova på nätterna så jag inte missar sånt =P Det får bli march i säng nu =) )

[kullervo]

Originally posted by xix xeaon@Feb 5 2005, 05:09
Nu när vi ändå snackar om "over-crawling" så upptäckte jag precis att jag idag har fått massor av visits från "Mediapartners-Google/2.1" (66.249.66.83) och "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; FunWebProducts; i-NavFourF; .NET CLR 1.1.4322)" (217.136.76.148).. Den senast nämnda har typ samma user-agent som en vanlig MSIE 6.0... Grejen är att jag fick 74 visits från dom på 8 minuter och dom har kört samma sidor flera gånger. Någon som vet något?

Har du värdefulla filer eller texter på sajten (såsom bilder)? Det är kanske någon som drar ner det automatiskt med nåt webb-rip-program.

[xix xeaon]

Näe inte precis =/ Inget som någon skulle kunna tjäna något på iallafall.