[FredrikNas]

Ett par frågor:

Hur fungerar No Follow på en spindel?

Om jag skapar en spindel, som har för uppgift att crawla sidor i syfte att få reda på vart länkar går, vilka som är trasiga osv. Kan jag då få en spindel att gå förbi en "no follow" tag?

Samt hur fungerar robots.txt? Eller rättare sagt: Hur är det vanligt att man använder robots.txt? Är det vanligt att sidor blockerar allt förutom dom vitala spindlarna?

Spindeln ska ha som uppgift att crawla igenom ett förutsatt antal sidor, och sedan samla in url:erna för att jämföra hur dessa sidor relaterar till varandra, och i hur många led. D.vs sajt A länkar till Sajt B, medans om vi följer fler länkar på Sajt B så visar det sig att vi efter 2 URL:er kommer tillbaka till Sajt A (tillexempel). Tanken var då att påvissa detta i en liknande struktur som LinkedIN visar vännerrelationer. D.vs 1,2,3 steg. Som då visar genom hur många led man måste gå innan man man har en återkoppling.

Rörigt blev det, men någon kanske förstår?

Jag kan tänka mig att det finns något liknande på marknaden idag, någon seo-nisse borde ju ha skapat det tycker jag?