det är ju lite med tanken bakom att endast visa 50-100 sidor per sökord. jag ska se om det inte finns några nya förbättringar med php 5 eller om jag inte missat någon bra list funktion, annars har ja en polare som är ganska bra på funktionell programmering, språk som haskell är sjukt bra när det kommer till listor osv.
det allra enklaste vore att sätta allt under ett cronjob som själv uppdaterar all info. då vår man väl ladda ner runt 20GB (skulle ja gissa på) sidor varje vecka...
fast tanken e ju att inte läsa hela sidan utan bara de viktigaste, man får ju inte bränna för mycke bandwidth hehe.