hur gör mediatoolkit.com?
 

Hej,

går i funderingar på att skapa liknande som mediatoolkit.com fast med en annorlunda twist... men hur gör de? vad använder de för tekniker för att söka fram sin query etc?

skulle uppskatta ifall någon annan här gjort ett liknande projekt som skulle kunna guida mig lite, hur och vad man ska tänka på?

Egna crawlers som crawlar sidorna, sparar allt direkt i sin DB och använder ett full-text search ramverk såsom SphynxSearch för att söka i nya datat och trycka ut länkar med artikeltext till prenummeranterna via ett meddelande-kö system.