Několik prvních zmínek o hradě, kterému patří následující vyprávění pochází z roku 1275 při krátkodobém pobytu Přemysla Otakara II na strategicky významné křižovatce spojující dva břehy řeky Moravy. Stará Veselská osada která se považovala za hospodářské a kulturní středisko na levém břehu řeky Moravy byla užívána jako průchodiště takzvané svobodné cesty královské. Jako vodní pevnost se panské sídlo jmenuje výslovně hradem ještě k r. 1530 a 1562. Situované vpředu směrem k městu bylo obklíčeno vodou i hradbami. Postupnou úpravou a rozšiřováním měnil se Veselský hrad v jednopatrový zámek, který si přesto udržel svůj strategický význam do první poloviny 16.století. Postupnou změnou váleční techniky se změnila i dosavadní funkce hradu. V inventáři ze 30.března 1731 se uvádí větší počet místností. Na zámecké věži byly velké bicí hodiny,které spolu se železným zvonem dal pořídit Jan Felix Želecký. Ve starších inventářích se z počátku 18.století se uvádí zvlášť kaple s oltářem Svatých andělů strážných. První majitel z rodu Chorinských byl František Karel, který podlehl nemoci 16.března 1741.Jeho druhorozený syn se ujal oprav,než zemřel 23.června 1812. Jeho dílem je přestavba i konečná úprava veselského zámku ,o kterém hradišťský premonstrát Marian Ulmann v roce 1771 napsal jako o dost elegantním zámku. S konečnou úpravou zámku souvisela i úprava zámeckých zahrad. Zahrada byla doplňkem zámku a taky odrazem dobových uměleckých směrů a názorů na přírodu.