Ursprungligen postat av Anders Larsson
(Ang robots.txt)
Hur menar du med tekniskt omöjligt? Var det de som påstod det eller är det ditt påstående?
Citat:
Ursprungligen postat av Bosse007
Som jag mycket tydligt skrivit bl a på webbsidan om InArchive ( http://hotpot.se/inarchive.htm) fanns det - innan jag engagerade mig i frågan - ingen information om namnet på InArchives bot, och då finns det heller ingen möjlighet att blockera den. Och som jag skrev i mitt svar till dig för en stund sedan så påstår InArchive nu att namnet på deras bot är "inarchive". Men hur kan man bekräfta att det är sant, om det nu skulle vara så? |
Oavsett vilken UserAgent som deras bot har, om de följer riktlinjerna för robots.txt som de påstår, så ska följande respekteras av alla som scrapar sidor för att spara/cacha dem:
User-agent: *
Noarchive: /
Är det någon, Bosse inkluderat, som har använt följande i robots.txt och trots det fått sin sajt sparad av InArchive?