[gregoff]

Ursprungligen postat av Spindel

Det är så att jag har länkar på sidan, t.ex. /redirect/123/ som sedan utifrån ID:t skickar vidare till en annan sida internt på sajten, t.ex. /products/games/xbox/?page=32

Problemet verkar vara att Google indexerar dessa länkarna också, och det vill jag ju egentligen inte.

I din robots.txt kan du lägga till följande:

User-agent: *
Disallow: /redirect/

Detta säger att du inte vill att sökmotorer/botar ska indexera alla länkar som börjar på /redirect/. Vad sen sökmotorer/botar faktiskt gör är en annan femma, men det är denna approachen som t.ex. Google rekommenderar.