[pelmered]

Kan börja med att säga att jag inte är något expert på just detta, men lite koll har jag i alla fall.

Låter som det är någon konfiguration i apache som inte är riktigt som den ska.

Du har ju ganska höga värden på trådar och klienter, men det kanske blir bättre om du höjer ytterligare. Testa även att sänka keep alive-värdena.

Prestandan skulle nog må bra av att du köp apache i worker mode istället för prefork(som jag antar att du kör nu).
Annars är Nginx med PHP-FPM ett väldigt bra alternativ. Det är bara att installera via aptitude/apt nu förtiden då PHP-FPM numera är inkluderat i php-paketet.
Ett tredje alternativ är att installera någon reverse proxy framför webbservern men det är nog lite mer komplicerat.