[najk]

Jag skulle rekomendera dig att i första hand titta på databasstruktur och försöka optimera din kod/frågor mot databasen i största möjliga mån. Kanske byta ut apache mot en annan webbserver (lighttpd kanske). Kika även på någon form av cache, kanske xCache så slipper du lite overhead tider.
Har du gjort allt detta är du nog inne på rätt spår.