[Tycho]

Tack för tipsen.
Efter att ha läst på lite om postfix fick jag till det med att använda en annan port på min externa mailserver och sätta phpmailer att använda den. I samband med det tog jag också en koll på olika parametrar i phpmailer och satte bl.a. rätt avsändande server.
Efter det funkade det även att köra via smtp.bredband.net