FAQ |
Kalender |
![]() |
#2 | |||
|
||||
Bara ett inlägg till!
|
Din spindel behöver inte alls respektera vare sig no follow eller robots.txt
Det vanliga sättet att använda robots.txt är att hindra att till exempel administratörssidor indexeras. |
|||
![]() |
![]() |
|
|