[Daniel.st]

Har du ingen burk som mer eller mindre alltid är igång som du kan köra jobbet på som en liten konsolapplikation, en process i bakgrunden eller liknande istället för att köra det på webbservern? Ska informationen senare visas på en sida använder du exempelvis en webservice eller liknande enklare api för att ladda upp den spindlade och bearbetade informationen till den sidans databas eller liknande från jobbet som kör på den lokala burken.

I ditt fall handlar det inte om så mycket information men generellt tycker inte jag att man ska lasta webbservern med jobb som ska/kan köras i bakgrunden. Den typen av jobb ska rulla på en applikations eller job server.