Länk spindel?
 

Ett par frågor:

Hur fungerar No Follow på en spindel?

Om jag skapar en spindel, som har för uppgift att crawla sidor i syfte att få reda på vart länkar går, vilka som är trasiga osv. Kan jag då få en spindel att gå förbi en "no follow" tag?

Samt hur fungerar robots.txt? Eller rättare sagt: Hur är det vanligt att man använder robots.txt? Är det vanligt att sidor blockerar allt förutom dom vitala spindlarna?

Spindeln ska ha som uppgift att crawla igenom ett förutsatt antal sidor, och sedan samla in url:erna för att jämföra hur dessa sidor relaterar till varandra, och i hur många led. D.vs sajt A länkar till Sajt B, medans om vi följer fler länkar på Sajt B så visar det sig att vi efter 2 URL:er kommer tillbaka till Sajt A (tillexempel). Tanken var då att påvissa detta i en liknande struktur som LinkedIN visar vännerrelationer. D.vs 1,2,3 steg. Som då visar genom hur många led man måste gå innan man man har en återkoppling.

Rörigt blev det, men någon kanske förstår?

Jag kan tänka mig att det finns något liknande på marknaden idag, någon seo-nisse borde ju ha skapat det tycker jag?

Din spindel behöver inte alls respektera vare sig no follow eller robots.txt

Det vanliga sättet att använda robots.txt är att hindra att till exempel administratörssidor indexeras.

Tack før snabbt svar Stefan!

MYcket bra nyheter.

Förresten, jag vill reservera mig för felaktigheter i mitt svar om robots.txt

Jag är inte helt 100% säker på att den inte gör något på servern som faktiskt hindrar servern att skicka filer till spindlarna.
Jag TROR dock inte det.

robots.txt påverkar normalt inte webbservern. Det är dock kutym att följa robots.txt om du bygger en crawler. Om du väljer att strunta i robots.txt bör du använda en user-agent med en kontaktadress så att sajtägaren kan nå dig.

Emilv, bra råd där, vi kommer sannolikt att följa robots.txt om det är det som är kotym/standard som du säger, vi ønskar inte att provosera, tjänsten ska ju skapa mervärde för våra medlemmar. Tanken är ju att skapa en relationskarta på kundens domäner.