Na místě dnešního zámku stál původně cisterciácký klášter vybudovaný ve 13. století. Ten byl zpustošen a vypleněn. V 16. století nechal v opevněném areálu zaniklého kláštera Zdeněk Kavka Říčanský postavit renesanční zámek Nový Smilheim. Ten byl koncem 17. století vypleněn a vypálen tureckými nájezdníky. O opravu a zvelebení zámku se počátkem 18. století snažil šlechtický rod Gollenů. V roce 1746 byl v dražbě zámek převeden na hraběte Hannibala z Blümegenu. Ten nechal zámek zbourat a v letech 1749 - 1770 proběhla výstavba nového barokního zámku. Zámek je dodnes jedinečnou ukázkou pozdního baroka na Moravě.
Interiéry zámku jsou vybaveny nábytkem ve stylu baroka, rokoka, empíru a klasicismu. Prohlídka privátních pokojů prezentuje dobovou atmosféru obytných prostor zámku ve 2. polovině 19. a 1. polovině 20. století.
Zámek je obklopen barokním parkem, který je celoročně přístupný veřejnosti.
Interiéry zámku jsou veřejnosti zpřístupněny prostřednictvím tří prohlídkových okruhů v období duben - říjen. Detailní informace k termínům prohlídek jednotlivých prohlídkových okruhů jsou k dispozici na zamek-vizovice.cz/cs/informace-pro-navstevniky.