Citat:
Originally posted by nicclas@Jun 8 2007, 10:22
Citat:
|
Något sådant skulle jag också rekommendera. Många sökmotorer har ju olika typer av uppdateringar, incremental, full osv. Kör en incremental var 4e timme eller något och en full (som även plockar bort inaktiva) en gång per dygn eller liknande.
|
Men ursprungsfrågan var ju just hur man plockar bort inaktiva. Mitt förslag är att du aldrig läser in webbsidor som du läst tidigare. Det är inte kul att läsa in c:a 50.000 webbsidor från nätet varje natt, då det tar en hel del kraft, och riskerar att ställa till en massa onödiga problem.
|
Man behöver ju inte läsa in hela sidan för att se om den är kvar. Kolla responskoden du får tillbaka bara, utan att läsa in sidan. Men visst- det blir många anrop.
De flesta jobbsidor har väl också listor med jobben som du borde kunna kolla mot, för att slippa hämta en sida för varje jobb.