Jag kör djbdns(tinydns) i freebsd och linux, en mycket liten men kraftfull dns server. Jag kan nästan lova att det är marknades säkraste dns server. Hittar du ett säkerhetshål så finns det en belöning på $500 att hämta.
Som JonathanS skriver är bind oxå ett bra alternativ, framför allt är den lättare att förstå sig på och lära sig. När det gäller hårdvaran är inte en dns-server speciellt krävande, men med plugin som hämtar information i realtid från sql(eller liknade) så blir det en annan femma. Det viktigaste är att din servern är stabil, med det menar jag typ raidade hårddiskar. Eller så skaffar du helt enkelt flera maskiner, då synkronisering av dns servrar är relativt lätt att konfigurera.
edit: stava