Citat:
Originally posted by berneboy@Oct 29 2006, 18:54
Nope. Då behöver du inte det.
Robots.txt används för att blockera access. Visst kan man ha en robots.txt som tillåter acces för alla bottar överallt. men i och med att det är defaultläget så behövs det inte.
|
Å andra sidan slipper man smutsa ner sin webstatistik med massa 404. Även om man vet att det är crawlers som gör det, så vill man ändå slippa det.
Därför kan man skapa en sån, så slipper man det.