Renesanční zámek postavený po roce 1600 stojí na místě bývalé tvrze. Dvoupatrová stavba s nepravidelným půdorysem a sgrafitovou výzdobou fasád má v přízemí cennou vstupní klenutou halu. Posledními významnými majiteli zámku i celého nasavrckého panství byli od roku 1754 Auerspergové. Vlastnili také zámky ve Slatiňanech a ve Žlebech.
V současnosti se prostory zámku užívají ke kulturním a společenským účelům. V prvním patře můžete navštívit celoroční expozici „Po stopách Keltů“ s velkým modelem jediného východočeského keltského oppida v osadě Hradiště u Českých Lhotic. Ve druhém patře se konají výstavy výtvarného umění a koncerty. Nejvýznamnější je letní výstava Nasavrcká paleta, kde vystavují významní umělci zdejšího kraje. Během adventních nedělí se k výstavě přidávají každou neděli také odpolední koncerty.
