Hejsan

Sitter och letar efter en lista över spiderbots ifrån Sökmotorer.

Finns det en sådan vettig lista med user-agents / ips?

Med vänliga hälsningar
Marcus

Hejsan,

Jag sorterade alla olika user-agents och ip som besökte www.mirc.net under 2 månader och har gjort en lista på sökmotorerna och dess ip adresser, numera lagrar jag inte några ip adresser om besökarens user-agent inte matchar en redan existerande crawler user-agent.

Du kan hitta min lista här

tanken var att så småningen göra en fil som man kan ladda ner och importera.. men jag är lat ;-)

Tackar, Jag hittade www.user-agents.org som har en JÄTTE lista över en massa user-agents.

/Marcus