[Gustav]

Vill man att Google och de andra större sökmotorerna ska indexera hela ens webbplats så ska man strunta helt i en robot.txt.

Duplicate content är inget straff. Google vill inte visa två likadana sidor i serpsen när någon gjort en sökning. Finns det två stycken likadana sidor på en webbplats, så väljer Google ut den med bäst ranking och utesluter den andra ur sitt ordinarie index. I de flesta fall så är det bättre att låta Google välja själv vilken av de två identiska sidorna som ska inkluderas i index. Google väljer ju den sidan som är "starkast" och gör därför det bästa valet åt dig.

I vissa undantagsfall så kan det dock bli fel. Ett vanligt exempel är då man har en utskriftsvänlig version av en text. Google har en förkärlek för sidor som innehåller mycket text i relation till kod, bilder och annat krimskrams. Därför så händer det ibland att Google väljer den utskriftsvänliga varianten framför den andra. Om det händer så har man förmodligen en ganska dålig hierarki och länkstruktur på sin webbplats. Då är det bättre att se över sin interna länkstruktur istället för att börja pilla med en robot.txt. En robot.txt kan alltså lindra vissa symptom, men botar aldrig själva åkomman. Anser du dig behöva en robot.txt så är det förmodligen någonting annat som är galet på din webbplats.