[grazzy]

Bästa är helt klart att ha någon form av daemon som automatiskt pollar oftare när sidan uppdateras ofta (kan lätt implementeras mha checksummor på valda block av sidan). Dessutom kan du då ha en kö för sidor som skall spindlas och trådar som gör det parallelt. Ett cronjobb fungerar bra för mer statiska hämtningar i mindre skala.

Det går såklart även att implementera cooloff-effekten med ett cronjobb också, fast det blir lite bulkigare.