| FAQ |
| Kalender |
|
|
#5 | |||
|
||||
|
Bara ett inlägg till!
|
robots.txt påverkar normalt inte webbservern. Det är dock kutym att följa robots.txt om du bygger en crawler. Om du väljer att strunta i robots.txt bör du använda en user-agent med en kontaktadress så att sajtägaren kan nå dig.
|
|||
|
|
Svara med citat
|
|
|