I det här fallet så kan man faktiskt säga att IE gör rätt. Enligt spec så får a-elementet som är ett inline-element inte innehålla element som är block-level (t ex div eller p).
Men visst ska det väl funka ändå? T ex denna sida gör samma sak som du säger i de länkade puffarna i högerspalten:
http://www.fasting.nu
Kan det vara så att du positionerar dina divar på något vis så att den tappar länken?
Testa att sätta display:block; på ditt a-element. ...eller kanske helt enkelt att använda a-elementet som containerelement och positionera detta istället för div:en innanför?