Jag skulle rekomendera dig att köra Debian GNU / Linux. Finns massa bra dokumentation om du googlar på t.ex.
debian mail server, t.ex.:
http://hurring.com/scott/howto/debian_mail_server/
http://www.linuxdevcenter.com/pub/a/linux/...ail_server.html
http://workaround.org/articles/ispmail-sarge/
Dock har jag ingen praktiskt erfarenhet av just mailserver, men är också intresserad av att veta mer vad man bör tänka på när man sätter upp en linux / bsd - mail server.