V roce 1648 bylo boskovické panství předáno bratřím Karlu Františkovi, Oldřichu Deziderovi a Janu Bohuslavovi, svobodným pánům ze Zástřizl. Jan Bohuslav se svojí chotí Zuzanou Kateřinou Prakšickou ze Zástřizl založili dominikánský klášter, jehož fundaci schválil roku 1684 král Leopold I. Stavba kláštera byla realizována na nezalesněné stráni zvané „Sychrov“ jižním směrem od tehdejšího města Boskovice v první polovině devadesátých let 17. století. Lze soudit, že v první etapě stavby byl vybudován kostel a samotný klášter byl stavěn až po úplném dokončení kostela. Budova kláštera byla jednopatrová a její čtyři křídla uzavírala vnitřní dvůr s arkádami. Původní vstup do objektu kláštera byl situován do středu jižního křídla , čelem k patě kopce, a byl vyústěn věžičkou. Toto původně klášterní křídlo se bez větších stavebních změn zachovalo dodnes ve dvou podlažích stavby zámku, včetně skromných cel mnichů v prvním patře. Samotný kostel byl přímo napojen k severovýchodnímu rohu kláštera.

V roce 1687 Jan Bohuslav ze Zástřizl umírá a panství přechází na Zuzanu Prakšickou ze Zástřizl. Po roce od sňatku Zuzana předává boskovické panství svému druhému manželovi Walterovi Františkovi Dietrichsteinovi. Sama umírá v roce 1691.

Původem mikulovská větev říšských knížat Dietrichsteinů vystřídala v Boskovicích hned několik sídel. Do konce 17. století využívala tehdejší středověký a pro tehdejší požadavky na bydlení zcela nevyhovující komplex boskovického hradu. Poté si Dietrichsteinové nechali postavit nevelký jednopatrový barokní zámek nedaleko panského dvora , dnešní Rezidenci a v roce 1819 započala přestavba dominikánského kláštera na honosné zámecké sídlo.

Dominikánský klášter byl zrušen Josefem II. v roce 1784 a majetek řádu byl začleněn do náboženského fondu. O rok později objekt zakoupili Dietrichsteinové a v prostorách bývalého kláštera zřídili manufakturu na výrobu barev. I když v té době již uvažovali o úpravě objektu na zámek, realizace této přestavby proběhla téměř o třicet let později za Františka Xavera Dietrichsteina. Mezi lety 1812 - 1819 byl z větší části rozebrán kostel dominikánů ve východní části kláštera, a teprve poté bylo přistoupeno k samotné razantní přestavbě klášterního traktu. Východní křídlo kláštera bylo celé ubouráno a na okraji získaného prostoru bylo vystavěno nové široké dvoupatrové křídlo s hlavním sálem v prvním patře. Ve stavbě tohoto reprezentačního křídla byla ovšem ponechána také zadní část kostela, která však pro potřeby zámecké stavby byla značně upravena. Ostatní tři křídla byla zvýšena o jedno patro. Arkády klášterního dvora byly ponechány také v nové zámecké budově. Celkový novodobý ráz stavby na závěr podpořilo na tu dobu moderní empírové členění fasád s typickými antikizujícími prvky. K roku 1826 byla dokončena dominantní stavba, citlivě položená do velkého areálu volného anglického parku.

Kdo byl autorem této velkolepé přestavby není přesně známo. Původně byl projekt zámku připisován architektu Petru de Nobile, působícím v Terstu a Vídni. Pravděpodobnějším autorem projektu se však jeví Josef Esch, který byl mezi lety 1807 - 1809 pověřovaný architektonickými úkoly na českých dietrichsteinských panstvích. Je však nutné uvést ještě další jméno, které se objevuje na plánech z třicátých let 19. století. Josef Hájek, autor empirového skleníku v parkovém areálu, je podepsán na plánu půdorysů a řezů reprezentačního schodiště ve východním křídle zámku z roku 1839.

Poslední výraznou úpravu zámecké stavby si vyžádala havárie z roku 1916, kdy v důsledku nadměrného statického zatížení došlo ke zřícení nádvorní stěny západního křídla. Řešením bylo stažení arkád kotvami a zaslepení jejich oblouků. Při této úpravě zůstalo v každém zazděném oblouku pouze okno nebo dveře. Nádvoří zámku dostalo tímto zásahem zcela nový a poněkud těžkopádný výraz.

V roce 1850 vymírají boskovičtí Dietrichsteinové po meči a panství přechází na dcery Františka Xavera Dietrichsteina. V tomto roce dědí Boskovice nejmladší Terezie Rosa, provdaná v roce 1843 za Alfonse Fridricha hraběte Mensdorff - Pouilly. Terezie umírá roku 1856 a celý boskovický majetek přechází na rod Mensdorff - Pouilly.

V období protektorátu byla na zámek a celé tehdejší panství uvalena vnucená správa aby ji s krátkou přestávkou vystřídala po roce 1948 správa státní. Po roce 1991 byl zámek opět vrácen původním majitelům, hraběcí rodině Mensdorff - Pouilly.