Budova hvězdárny se nachází na pozemku zámecké zahrady, v místě zvaném „Růžová zahrada“. Původně se jednalo o tzv. „čínský pavilon“.
Součástí zahradního komplexu byla od počátku také menší zahrada, původně ohraničená zdí. Později, zřejmě za Františka Antonína z Rottalu v první polovině 18. století byla tato menší zahrada doplněna čínským pavilonem a dalšími zábavnými prvky, např. houpačkou.
Na konci druhé poloviny 19. století si Wrbnové zřídili vedle tohoto objektu bazén, ve kterém se koupali. Pavilon tak sloužil jako převlékárna a zázemí pro „koupaliště“.
Po znárodnění byl altánek přidělen astronomickému kroužku, který působil na místním gymnáziu od roku 1949. Už v roce 1952 se objevil plán na úprava altánku na hvězdárnu, který však památková péče nejprve zamítla. Přestavba byla zahájena v roce 1957. Tehdy dostal astronomický kroužek odměnou za pozorování přeletů družice Sputnik několik dalekohledů, které byly od roku 1959 umístěny na hvězdárnu. Původní střecha altánku byla nahrazena kopulí, kterou lze pomocí elektromotoru natáčet libovolným směrem. Hvězdárna byla slavnostně otevřena a veřejnosti předána v roce 1959, u příležitosti konání Krajské astronomické konference v Holešově.
Po rozpadu astronomického kroužku (1987) hvězdárna chátrala. Z původního vybavení hvězdárny nezbylo téměř nic. Přesto je objekt ve funkčním stavu, včetně náhradního dalekohledu, který ještě příležitostně slouží k pozorování.