[emilv]

robots.txt påverkar normalt inte webbservern. Det är dock kutym att följa robots.txt om du bygger en crawler. Om du väljer att strunta i robots.txt bör du använda en user-agent med en kontaktadress så att sajtägaren kan nå dig.