[Magnus_A]

Tack för svar. Det är mycket moduler inlagda och det som står för lasten är det dynamiska materialet. Tyvärr är inte annat än apache ett alternativ.
Har nu trixat med fastcgi och lagt till
DefaultMinClassProcessCount 3
och
IdleTimeout 60

Det gjorde en klar förbättring, hoppas det inte skadar prestanda alltför mycket.
Övrig konfig av intresse i apache2:
StartServers 5
MinSpareServers 10
MaxSpareServers 20
MaxClients 30
MaxRequestsPerChild 100
KeepAliveTimeout 5
MaxKeepAliveRequests 100

modfastcgi:
MaxRequestsPerProcess 1000
# Maximum number of PHP processes
MaxProcessCount 15

DefaultMinClassProcessCount 3

# Number of seconds of idle time before a php-cgi process is terminated
IPCCommTimeout 360
IdleTimeout 60

jag kör också mysql på samma server men den drar inte tillnärmelsevis så mycket:
153M virt och 51M res enligt top, osäker på vad de olika egentligen betyder.
De stora minnesätarna förutom apache är spamassasin/amavis/clamd.
Men de är väluppfostrade nog att hålla sig på samma nivå hela tiden.