Citat:
Ursprungligen postat av tartareandesire
Hämta sidan en gång varje månad och jämför mot föregående månads version helt enkelt? Så länge du inte hämtar för ofta så bör det vara lugnt.
|
Precis detta, inte för ofta utan någon gång per månad för att inte överbelasta hemsidan
som innehåller den information jag behöver.
Citat:
Ursprungligen postat av captaindoe
Hämta sidornas sitemaps.
Stora sidor som är egenkodade, samt sidor som använder sig utav ett CMS brukar ha
<lastmod></lastmod> samt <changefreq></changefreq> som visar senaste gången sidan har uppdaterats och hur ofta man borde kolla om sidan har uppdaterats.
Ett enkelt exempel av detta är:
<lastmod>2011-07-07T22:29:51+00:00</lastmod>
<changefreq>daily</changefreq>
|
Tack för tipset!
Tar gärna emot fler förslag!