Hrad Modrý Kameň bol založený okolo roku 1137. Prvým známymmajiteľom hradu bol zvolenský župan Ditrich. Hrad sa už v 13. storočí vďaka svojej strategickej polohe v systéme obranných hradov stal významnou protitatárskou pevnosťou. V roku 1752 bol pánomhradu hontiansky a zvolenský župan Jan Balaša. V 16. storočí podľahol Modrý Kameň útokom Turkov. Tí tu zotrvali až dodecembra 1593, kedy podľahli silnému útoku Mikuláša Pálfyho a KrištofaTiefenbacha. Pred útekom stihli hrad podpáliť a vyhodiť do vzduchu. Po ichodchode dal Žigmund Balaša hrad opraviť a upraviť do pôvodného stavu.Avšak po novej tureckej vojne bol hrad opätovne zničený. V roku 1730 dalGabriel Balaša na zrúcaninách dolnej časti hradu postaviť kaštieľ v barokovomslohu. V roku 1759 bola dostavaná zámocká kaplnka zasvätená sv. Anne.
Poslednou majiteľkou hradu bola grófka Almášiová, ktorá vroku 1923 celý areál predala štátu.
V súčasnosti je v priestorochhradu umiestnené Múzeum bábkarských kultúr a hračiek hrad Modrý Kameň. Ide ošpecializované múzeum s celoslovenskou pôsobnosťou zameranou na dokumentáciudejín a súčasnosti bábkového divadla, dejiny a vývoj detskej hračky, ako ajdejiny regiónu, v ktorom sa múzeum nachádza.
Múzeum ponúka viaceré stále expozície:
história a súčasnosť slovenského bábkového divadelníctva,ukážky divadelných bábok zo sveta
vývoj slovenskej hračky po dnešok
národopisná expozícia regiónu
historická expozícia zubnej techniky
z histórie mesta Modrý Kameň
