[Kimppa]

Ursprungligen postat av tartareandesire

Hämta sidan en gång varje månad och jämför mot föregående månads version helt enkelt? Så länge du inte hämtar för ofta så bör det vara lugnt.

Precis detta, inte för ofta utan någon gång per månad för att inte överbelasta hemsidan
som innehåller den information jag behöver.

Ursprungligen postat av captaindoe

Hämta sidornas sitemaps.

Stora sidor som är egenkodade, samt sidor som använder sig utav ett CMS brukar ha
<lastmod></lastmod> samt <changefreq></changefreq> som visar senaste gången sidan har uppdaterats och hur ofta man borde kolla om sidan har uppdaterats.

Ett enkelt exempel av detta är:
<lastmod>2011-07-07T22:29:51+00:00</lastmod>
<changefreq>daily</changefreq>

Tack för tipset!

Tar gärna emot fler förslag!