tyvärr finns inga enkla svar på den här frågan då det inte finns något i robots.txt standardens regler som stödjer att minska antalet hits från sökmotorerna. För Yahoo! kan du dock lägga in följande:
User-agent: Slurp
Crawl-delay: 10
för 10 sekunders återbesöksintervall.
Se:
http://help.yahoo.com/help/us/ysearc.../slurp-03.html för mer info.