robot.txt används för att begränsa sökrobotarnas tillgänglighet på din webbplats.
Ett scenario kan vara att du tillhandahåller artiklar, till dessa artiklar har du en utskriftsvänlig sida. Den du vill få indexerad är origianalartikeln och inte den utskriftsvänliga versionen. Därför begränsar du crawlers att bara få åtkomst till originalet så användare
inte får upp den utskriftsvänliga sidan i sökresultatet.
Du kan även använda dig av meta-tag i headern på den utskriftvänliga versionen.
Citat:
|
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
|
Vissa hävdar att man inte kan straffas för duplicate content på den egna webbplatsen. Det är jag dock tveksam till då jag personligen har varit med om det ett par ggr, dock inte på wordpress. Det värsta som kan hända är att Google utesluter en av dina två versioner.