[StefanBergfeldt]

Din spindel behöver inte alls respektera vare sig no follow eller robots.txt

Det vanliga sättet att använda robots.txt är att hindra att till exempel administratörssidor indexeras.