[yadis]

Jag kör med denna programvara, den söker efter länkar via sökmotorer. Samlar in title, description o sånt från respektiva länks meta-taggar och lägger sen allt i en csv-fil som du enkelt kan importera i databasen.
http://www.winwebcrawler.com/