Det jag inte förstår är hur allaannonser kan kalla sig en sökmotor då den bryter mot den mest grundläggande regeln av alla; robots.txt
Saxat från
http://www.blocket.se/robots.txt
Citat:
User-agent: Googlebot
Disallow: /
Allow: /list
Allow: /view
Allow: /search
Allow: /hjalp
Allow: /*.htm
Allow: /*.html
User-agent: ia_archiver
Disallow:
User-agent: *
Disallow: /
|
Att AllaAnnonser brister när det gäller robots.txt gör i alla fall att jag inte ser dem som annat än en scraper.
Någon som tycker annorlunda?