Původně zde stávala středověká tvrz, kterou nechal koncem sedmnáctého století kníže hrzán z Harasova přestavět na barokní zámek.
V průběhu staletí se na něm vystřídalo mnoho významných majitelů, mezi něž náležel i Jiří Popel z Lobkowicz. Patřil mezi horlivé katolíky a v Chomutově založil jezuitskou kolej. Svého času působil dokonce jako nejvyšší hofmistr Českého království, což znamenalo, že byl druhým nejvýznamnějším úředníkem a zároveň po císaři třetí nejmocnější osobou v zemi. Jelikož však na českém zemském sněmu zosnoval šlechtickou opozici proti Rudolfovi II., byl zbaven úřadu i veškerého nabytého majetku a následně vězněn až do své smrti pro urážku císařského majestátu.
dr