Använder ni robots.txt?
 

Jag driver ett antal sajter med wordpress och har aldrig använt mig av robots.txt på dessa sajter. Jag har dock märkt det blir en felrapport av detta i google wmt så min fråga är nu, använder ni er av robots.txt och på vilket sätt? Ngt plugintips eller liknande?

KB Robots.txt är ett ganska mysigt tillägg för Wordpress som låter dig redigera filen från din adminpanel.

Min robots.txt: http://nabillionaire.se/robots.txt

hmmm

Några grejer där som jag inte har koll på, varför skriver du Disallow: /wp-content/ tex? Även de andra disallow?

Räcker det inte med att bara länka till sitemap för att googlebot skall hitta detta?

Jag skriver disallow: /wp-content/ då jag helt enkelt inte vill att Google skall indexera det där. Detsamma gäller mina inloggningssidor.

Det min fil säger, kort sagt, är att Google (och alla andra bottar) inte skall indexera det som står där.

Men, tappar du inte indexering av bilder då? Eller är du väl medveten om det och inte vill att bilder ska indexeras? Jag får iaf en reko mängd besökare på vissa av mina sidor från bildsök.

Samma här, får flera hundra besökare varje dag på en del sidor från Googles bildsök så det är väl värt att behålla i de flesta fall. Det beror väl lite på vilken typ av sajt man har förstås. Har man stulit bilder från Aftonbladet eller hostar drogpropaganda kanske man vill undvika indexering :) Nu var det senare ingen insinuation åt något håll (bäst att påpeka).

Jo, det gör jag. Jag är väl medveten om det men orkar inte bry mig om den typen av trafik. Brukar aldrig vara bra ändå.