Jag har erfarenhet av dåligt skrivna plugins som äter CPU. Mitt tips är att köra xdebug och sedan kolla på eventuella flaskhalsar.
Släng även på memcached och en front-end cache såsom varnish.
http://ryan.wordpress.com/2005/12/23/memca...cached-backend/