První zmínka pochází ze 14. století, kdy rytíř Záviš z Jimlína nechal nad obcí Jimlín postavit novou, kamennou tvrz, palácového typu. Po smrti posledního z jimlínského rodu v roce 1453, se dědictví ujal Albrecht Bezdružický z Kolowrat, který se svolením krále Jiřího z Poděbrad, ze dne 2. května 1465, začal s přestavbou tvrze na honosný hrad „s věžemi a příkopy s mosty“… V průběhu devíti let stavby se Albrecht z Kolowrat začal psát jako Novohradský. Vzniká tak nejen nová větev rodu Kolowratů, ale i název hradu a veliké prosperující panství. V držení zmíněného rodu byl Nový Hrad více než sto let.