[creoweb]

Hej!

På en kunds sida har jag en robots.txt på servern och den är placerad i rotern.

Fast att jag har denna så går Google in i de mappar som jag inte vill att Google ska göra.

Det är främst i mappen /external/ som den går in i, än så länge....

Är det någon annan som har varit med om detta innan?

Min Robots.txt ser ut enligt följande:

User-agent: *
Disallow: /external/
Disallow: /media/ajaxtabs/
Disallow: /media/css/
Disallow: /media/img/
Disallow: /media/js/

Jonas

[kullervo]

Hur länge sedan var det du skapade/ändrade robots.txt?

[creoweb]

Webbplatsen har ungefär legat ute i 6 veckor. Så gammal är också robots.txt-filen då den lades till efter att en ny webbplats togs fram. I samband med detta togs gamla sidor togs bort och nya skapades.

Förra veckan spindlade Google upp de nya sidorna för första gången eftersom webbplatsen har blivit helt omgjord.

Domänen tror jag är skapades för 3 år sedan.

/Jonas

[jimmie]

Google väljer tyvärr lite själv när dom ska använda sig av robots.txt , vi på affiliator fick våra klicklänkar indexerade trots robots.txt osv.

Om du vill få bort innehåller snabbt rekommenderar jag http://services.google.com/urlconsole/controller och sedan "Remove pages, subdirectories or images using a robots.txt file. " för att påminna om att sidorna inte ska indexeras.

MVH Jimmie

[hubbert]

Webbplatsen har ungefär legat ute i 6 veckor.

Då kan du få vänta ett tag till. Hur länge till vet jag inte men jag har varit med om runt 8-10 veckor före den tas upp helt.
När google spindlar sidorna är ingen exakt måttstock utan snarare en liten indikation. Titta lite på när de sidorna som som skall bort har cachats av google istället.

[creoweb]

Måste rätta till om det blivit missförstånd här.

Domänen är ca: 3 år gammal.

För ca: sex veckor sedan lades ett helt nytt innehåll upp på webbplatsen. Den gamla designen togs bort helt och hållet inkl. sidorna.

I samband med nytt innehåll (design och nya sidor) lades upp skapades också en robots.txt då strukturen ändrades.


Alltså.
Detta ska ju inte ha något med att göra att Google inte följer min Robots.txt ??

Eller är det jag som missförstår dig hubbert?

/Jonas

[hubbert]

Hm, kan ha missförstått dig där. Om mappen external fanns där sedan tidigare, före du gjorde om sidan, så kan ta det ta en hel del tid före en robot.txt-fil tar bort bort den från google.
Om mappen inte fanns tidigare utan den tillkom i samband med att du gjorde om sidan, får jag bli dig svaret skyldig.

Förvisso har jag råkat ut för liknande sak när jag gjorde om en sida, skapade en mapp som inte skulle indexeras men jag missade att lägga in det i robot.txt direkt utan det tog fyra, fem dagar före jag kom på att lägga in det där, men då hade google redan hunnit indexera innehållet.

[creoweb]

Hela mappstrukturen är ny sedan sex veckor.

/Jonas

[hubbert]

Ok, blir dig svaret skyldig med andra ord.

(Med anledning av några gamla trådar: Har du funderat på att de flesta bloggar verkar ha länkarna till höger och det verkar ju fungera bra?)