Robots.txt- blockad trots rätt rader
 

Jag har i dagsläget två sidor med robots.txt. En gammal sida, en ny.
De ser exakt likadana ut, men den nya blockas av Google.

Så här står det:
User-agent: *
Disallow:

Sitemap: http://xxx.se/sidkarta.xml.gz

Jag har lagt den i /root.
Är det något fel med min robots.txt?

Inget fel på din robots.txt. Vad får dig att tro att den blockas av Google, står det så i GWT?

Och du. Har du en sitemap på din sida, vilket du bör ha, lägg då till följande rad i din robots.txt för att underlätta det hela för Google ännu mer:

Sitemap: http://domän.se/sitemap.xml

Det står så här:
Webbadressen är begränsad av robots.txt
Vi stötte på ett fel när vi försökte komma åt din webbplatskarta. Webbplatskartan måste följa våra riktlinjer och finnas tillgänglig på angiven plats. Skicka sedan din webbplatskarta på nytt.

Kan man skriva två adresser till två olika sitemaps i samma robots?

Finns din robots.txt i din root? Dina sitemaps med?

Nej, du har en sitemap på en sida och skriver således adressen för den i din robots.

Japp allt finns i rooten och allt ser likadant ut som på min fungerande sida.

Jag kommer inte på vad felet är, men jag kan tänka mig att ta en titt på det.

Testade i GWT att hämta som sökrobot. Det gick inte, det står att Googlebot är blockerad. När jag testar under crawler access och skriver in det som står i min robots.txt står det däremot att boten är tillåten. Kan det vara så att Google inte läser robots.txt direkt utan att det tar ett tag för dem att läsa den efter ändringar?

Jag är förvirrad. Gör så att du skickar mig ett PM, så tar vi det där ifrån :)

Ok, för er som är nyfikna:
Jag tror jag har kommit på vad som är felet, efter lite googlande. Tidigare hade jag aktiverat alternativet att blockera sökmotorer i Wordpress. Det tog jag naturligtvis bort. Men Google cachar robots.txt, så ändringar visas inte direkt, man får vänta till nästa cache. Detta innebär att det fortfarande ser ut som att jag blockerar sökmotorer.

Kika annars på: http://www.robotstxt.org/

Dom har ett utmärkt verktyg: http://www.robotstxt.org/checker.html