Det beror ju mycket på hur avancerad lösning du vill ha, på Boksson har vi tex byggt alltihopa via php. När en bok skall prisjämföras så anropas pris-check-filerna via ajax, de kollar sedan först cachen och sedan remote via
file_get_contents och lite
regexps bara. Det finns mjukvara för att automatiskt skapa prisagenter, där du kan point'n'klicka fram script genom att klicka vilket fält du vill hämta tex. Det är inget jag själv har erfarenhet av tyvärr.
Ett annat alternativ om du kräver lite högre prestanda är att koda en server-side daemon som tar emot anrop via ett eget protokoll och som multitrådat på servern anropar de externa datakällorna. Detta kräver betydligt mer av utvecklaren men ger potentiellt sett bättre resultat (ajax är ju kanske inte något man vill förlita sig på i alla lägen).
Edit: länkarna.