Kan någon SEO-kunnig förklara för mig vad robots.txt egentligen är och om den filen gör någon praktisk nytta?

Vi har suttit nästan hela kvällen på ett kontor och diskuterat detta, men alla har olika åsikter om denna fil.


Mvh /Stefan


Edit: stavfel.

Det är en fil som gör att du kan få robotar att INTE besöka din site. Den behöver mao inte existera om du inte störs av robotarna.

Se http://www.robotstxt.org/wc/robots.html för ytterligare info. (Se robot exclusion i faq).

Tackar!

Så att inte ha en robots.txt försämrar inte indexeringen eller placeringen för sajten m.a.o?


/S

Nej, har inget med hur sökmotorn indexerar din sida. Du gör det bara enklare för sökmotorn genom att blocka kanske en katalog på din server. Kanske du inte vill ha din bildmapp indexerad. Då skulle det kunna se ut så här:
Filen: robots.txt

User-agent: *
Disallow: /images

Tackar pojkar!

Då har jag lite mer kött på benen inför morgondagens debatt.

Mvh /Stefan