Bytte länkar med en sida som har följande robots.txt:
User-agent: *
Disallow: /go.html

Kommer sökmotorn kunna spindla och se min sida?

Ja.

Ok tack grazzy

Oj nu var jag elak.

Heh, ligger länken på go.html? Isof kommer inte google tex att indexera länken i fråga.
DIN site kan inte nån annan hindra google från att spindla.

Tänk även på att titta så att de som länkar till dig inte använder taggen rel="nofollow" i sina anchor-länkar.

http://www.google.com/googleblog/2005/01/p...mment-spam.html

och i metainfon i headtaggen... (<meta NAME="robots" CONTENT="nofollow">)

Så min länk på deras sida kommer inte att "ses" av tex google?

Det betyder att google inte indexerar sidan i fråga. go.html dvs.
Om länken till dig ligger där kommer google aldrig att få se den.

Läs mer om robots.txt på http://www.robotstxt.org/wc/norobots.html

Den ligger inte just på den sidan men så står det på index sidan.
Är det lika illa?

Skriv vad det är för sida istället så kan vi kolla.

Thomas

Ok jag tänkte inte göra det men ok.

www.netbet.org

Tacksam om ni som vet svarar :)


Smma sak gäller en annan sida där index visar:
User-agent: *
Disallow: /content/
Disallow: /download/


Kan min sida "ses" av sökmotor robotarna?

Hittar ingen länk till din sida som du har i profilen.

Thomas

Här:

www.netbet.org/gambling-guides-resources.html

Borde inte vara några problem.

Thomas

Ok tack för ditt svar Thomas

Hur funkar detta med robots.txt
Måste man inkludera .txt filen eller hittar tex. google den själv ?

Är det ingen på WN som är läskunnig eller skiter ni bara i mina länkar? ;)

Sökmotorerna tittar aktivt efter den filen. Kika i dina loggfiler så ser du förmodligen ett par misslyckade försök att hämta den om du inte har den.

robots.txt är det första som letas efter.
Det är bättre med en helt tom robots.txt än en felaktig eller ingen.

Varför då?

En anledning är att du slipper massa felmedd i dina loggfiler/statistiken

Delvis så vet sökmotorn att den ansvarige personen för siten i fråga vet vad dom sysslar med och inte är nån clueless noob som inte kan läsa dokumentation.

Oj .....

Alla sökmotorer som följer "god sed" begär doman.com/robots.txt vid var besök, om du lägger en robots.txt i rooten för din domän så ska google plocka upp den automatiskt alltså

EDIT: såg inte att det redan var svarat ang robots.txt o spindlar.

Jag hittar ingenting någonstans på Google eller någon annanstans om att det skulle påverka ens placering negativt om man saknar robots.txt-fil. Källor?