[emilv]

En bra robot respekterar robots.txt. Om jag drev en sökrobot skulle jag anta att allt som inte står i den filen är okej att besöka (det är trots allt upp till dig som driver en sajt att se till att webbservern nekar tillgång till förbjudna sidor).

Helt för egen del är förstås skumt, men Cmscrawler verkar ju göra det för statistiken som de sedan delar med sig av. Jag skulle till och med kunna tänka mig sökrobotar som aktivt letar efter säkerhetshål och informerar om dessa, till exempel varnar för användningen av gamla system med buggar.