[Robert]

Japp, ovanstående talare har rätt.

Kan du inte på ett initialt stadium avgöra vilka sidor du vill besöka, alltså en mix mellan typ ODP och en spindel? Alltså att du kanske först och främst satsar på en region, ex sverige (avgör via IP) där du utesluter x antal domäner från en lista, typ allt från passagen etc. eller ha en lista du sätter upp för siter du ska idexera, exempelvis att köra via ODP som faktiskt är någotsånär gallrat av människor. Då får du iaf fördelen över ODP att du har alla ODP sidor indexerade, och inte bara sökbara via en beskrivning som ODP har idag (nu kanske jag har tokfel men jag tror inte ODP indexerar upp de siter som inkluderas)

Sen att säga att ex PHP ska indexera sidor...varför? Det borde vara en kompilerad mjukvara på en server som både spindlar och indexerar, helt skillt ifrån allt vad websidorna eller "webspråken" heter.