[grazzy]

Ledsen att behöva knäcka dina illusioner, men du får nog använda något mera än PHP & MySQL för det här projektet.

PHP är sjukt ickeoptimalt för uppgiften att samla in data, delvis för att det inte är nåt vidare på att tråda, delvis för att det är lååångtsamt.

Du kan säker använda MySQL för att spara datan, även om du på sikt kommer att få samma problem som google haft med 32bitars index (eller vad det nu var för siffra) , då MySQL inte stödjer obegränsat med data i sina tabeller. Sen, för själva hashalgoritmen/funktionen som definerar hur en viss sida "är" i ditt index, den måste vara tokigt mycket optimerad för att du skall kunna ha nån rimlig chans att ens indexera alla startsidor på alla nätets domäner. Tänk på att det inte räcker med att "indexera" allting, utan att du även måste kunna hålla ditt index uppdaterat. Mao så måste du designa din kod så att den klarar av att uppdatera allting på mindre än ett par dagar. (Självklart uppdaterar du inte _allting_ hela tiden, men du får vikta vilka sidor som uppdateras ofta osv).

Lycka till!