[xarph]

Hej!

Trillade in på denna sidan om att optimera robots.txt till wordpress, häromdagen:

Länk: http://www.johntp.com/2007/03/29/create-a-...ngine-rankings/

Och blev väldigt fundersam men samtidigt intresserad eftersom jag inte har sett någon annan skriva om just robots.txt i deras wordpress-guider.

John som bloggar på sidan, är en professionell bloggare sen 2005 och har skrivit många andra bra inlägg.

Men stämmer det han skriver om robots.txt? Just nu har jag ingen robots.txt till min wordpress-blogg.

Lite längre ner står det även:

"I also recommend you to display post excerpts instead of full posts on the homepage to ensure that you are not incurring any search engine penalties for duplicated content (on the homepage and single post pages)."

Han varnar för duplicate content på inlägg som visas fullt ut både på startsidan och enskilt. Något man behöver vara rädd för?

Mina inlägg visas fullt ut på startsidan, enskilt, under archives/arkiv och under kategorier och taggar. Något jag behöver oroa mig för? Jag har inte pillat med några inställningar när det gäller det. Så det är standard. Men vill helst inte bli straffad av Google för duplicate content.

Tack på förhand.

[Kristofer]

Länken fungerar inte.

[xarph]

Originally posted by Kristofer@Jan 20 2008, 14:41
Länken fungerar inte.

Nu ska den fungera!

[daniel_]

robot.txt används för att begränsa sökrobotarnas tillgänglighet på din webbplats.

Ett scenario kan vara att du tillhandahåller artiklar, till dessa artiklar har du en utskriftsvänlig sida. Den du vill få indexerad är origianalartikeln och inte den utskriftsvänliga versionen. Därför begränsar du crawlers att bara få åtkomst till originalet så användare inte får upp den utskriftsvänliga sidan i sökresultatet.

Du kan även använda dig av meta-tag i headern på den utskriftvänliga versionen.

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Vissa hävdar att man inte kan straffas för duplicate content på den egna webbplatsen. Det är jag dock tveksam till då jag personligen har varit med om det ett par ggr, dock inte på wordpress. Det värsta som kan hända är att Google utesluter en av dina två versioner.

[Wojt]

Eh... wildcards funkar inte i robots.txt ... http://www.robotstxt.org/faq/robotstxt.html

[acidflash]

När denna tråd är öppen så kan jag ställe en annan fråga. Var just in och kolla indexeringen på yahoo på en sida som jag kör, då får jag till min förvåning se att den har indexera saker som ligger i min robots.txt. Struntar yahoo i den eller vad handlar det om?

[Gustav]

Vill man att Google och de andra större sökmotorerna ska indexera hela ens webbplats så ska man strunta helt i en robot.txt.

Duplicate content är inget straff. Google vill inte visa två likadana sidor i serpsen när någon gjort en sökning. Finns det två stycken likadana sidor på en webbplats, så väljer Google ut den med bäst ranking och utesluter den andra ur sitt ordinarie index. I de flesta fall så är det bättre att låta Google välja själv vilken av de två identiska sidorna som ska inkluderas i index. Google väljer ju den sidan som är "starkast" och gör därför det bästa valet åt dig.

I vissa undantagsfall så kan det dock bli fel. Ett vanligt exempel är då man har en utskriftsvänlig version av en text. Google har en förkärlek för sidor som innehåller mycket text i relation till kod, bilder och annat krimskrams. Därför så händer det ibland att Google väljer den utskriftsvänliga varianten framför den andra. Om det händer så har man förmodligen en ganska dålig hierarki och länkstruktur på sin webbplats. Då är det bättre att se över sin interna länkstruktur istället för att börja pilla med en robot.txt. En robot.txt kan alltså lindra vissa symptom, men botar aldrig själva åkomman. Anser du dig behöva en robot.txt så är det förmodligen någonting annat som är galet på din webbplats.