FAQ |
Kalender |
![]() |
#5 | |||
|
||||
Bara ett inlägg till!
|
robots.txt påverkar normalt inte webbservern. Det är dock kutym att följa robots.txt om du bygger en crawler. Om du väljer att strunta i robots.txt bör du använda en user-agent med en kontaktadress så att sajtägaren kan nå dig.
|
|||
![]() |
![]() |
|
|