Raně barokní kaple sv. Josefa byla postavena v roce 1695 jako součást tehdejšího městského špitálu sv. Anežky. Jedná se o jednolodní stavbu, kterou nechal za východní branou městského opevnění postavit tehdejší lipenský děkan Jiří Balšánek. Architektem kaple, které dominuje osmiboká kupole s lucernou, byl špičkový barokní stavitel Giovanni Pietro Tencalla. V listopadu 2021 byla dokončena její rozsáhlá rekonstrukce, která trvala téměř dva roky. Během ní byl objekt odvlhčen, kompletně obnovena fasáda kaple, zrestaurovány a nově pozlaceny kříže na věžích, zrestaurován vstupní portál, obnoven nátěr okenních rámů a zrestaurovány dveře a okna. Cílem rekonstrukce bylo zachování historické hodnoty kaple a návrat její původní podoby. Proto byly také obnoveny všechny architektonické fasádní výstupky (včetně obnovy místy zaniklého soklu). Nové nátěry vnějších omítkových vrstev vychází z průzkumů původního stavu, pasivní plochy fasády jsou opět zlatě okrové, všechny vystupující prvky pak lomenné bílé. Během rekonstrukce byla v báni na věži nalezena schránka a v ní pamětní listiny z let 1936 a 1988, na nichž jsou popsány tehdejší rekonstrukce. Nově jsou v časové schránce listiny tři. Celkové náklady na rekonstrukci kaple byly 1.255.693 Kč. Ministerstvo kultury ČR poskytlo dotaci z Programu regenerace městských památkových rezervací a zón ve výši 265.000 Kč.