[emilv]

robots.txt påverkar normalt inte webbservern. Det är dock kutym att följa robots.txt om du bygger en crawler. Om du väljer att strunta i robots.txt bör du använda en user-agent med en kontaktadress så att sajtägaren kan nå dig.

[FredrikNas]

Emilv, bra råd där, vi kommer sannolikt att följa robots.txt om det är det som är kotym/standard som du säger, vi ønskar inte att provosera, tjänsten ska ju skapa mervärde för våra medlemmar. Tanken är ju att skapa en relationskarta på kundens domäner.