[Weaver]

Första steget är att avaktivera *alla* plugins du kör i Wordpress och se om det ändrar något. Om sidan laddar snabbt efter att alla plugins är avaktiverade så får du aktivera dem en och en tills du upptäcker vilken som är ansvarig för segheten.

I annat fall kan jag bara instämma med det @alipang skriver. Det kan vara en form av DNS timeout.
Jag hade detta problemet en gång när jag anslöt till en MySQL server över VPN. MySQL servern försökte göra en uppslagning på IP numret (10.*.*.*) men misslyckades varje gång. Detta ledde till att varje anslutning hängde sig i exakt 5s innan ett svar retunerades från servern. Avaktivering av DNS uppslag i MySQL löste detta problemet.

Noterar att dina statiska filer laddar snabbt så det är helt klart något som rör det dynamiska med sajten som PHP eller MySQL.