Citat:
Ursprungligen postat av gregoff
I din robots.txt kan du lägga till följande:
User-agent: *
Disallow: /redirect/
Detta säger att du inte vill att sökmotorer/botar ska indexera alla länkar som börjar på /redirect/. Vad sen sökmotorer/botar faktiskt gör är en annan femma, men det är denna approachen som t.ex. Google rekommenderar.
|
robots.txt säger vilka sidor boten får besöka, det har inget med vad som indexeras.
Om du inte vill indexera en sida anges det med t.ex meta-tagg robots eller i http header med x-robots-tag. (
http://sokmotorer.se/nar-man-inte-vill-synas/)
Vad kör du för status-kod vid dinredirect, om det är 301 borde ju den nya sidan vara den som indexeras och inte din redirect-sida.