1804 – 1830 m. pastatytas dabartinis pastatas. Nors rūmai ir nepasižymėjo ryškiais stilistiniais bruožais, tačiau yra vertingo plano ir tūrių kompozicijos, sukurti tuo metu, kai Lietuvoje plito vėlyvasis klasicizmas. XX a. pradžioje prie pastato rytinio fasado pristatytas nedidelis dviejų aukštų priestatas.Vidaus interjeras buvo labai kuklus. Kiek iškilmingesnis – preoro butas ir didysis reflektorius su masyviu mediniu stalu, padengtu marmuro plokšte, žymių karmelitų vienuolių ir šventųjų paveikslais ant sienų. Koridoriaus sieną puošė Vilniaus meistrų darbo sieninis laikrodis. Vienuolių celės buvo labai asketiškos, tik su pačiu būtiniausiu inventoriumi. Požeminiu praėjimu vienuolynas jungėsi su bažnyčia.
Vienuolynas
Antalieptės vienuolyne gyveno apie 9 vienuoliai, dauguma jų mokėsi Vilniaus universitete. Dėl savitos pasaulėjautos ir uždaro gyvenimo būdo, vienuoliai švietimu neužsiėmė, jiems artimesnė buvo labdara. XIX a. dokumente užsiminta, kad vienuolyne buvo mokomi keli vaikai. 1832 m., uždarius vienuolyną, jame įsikūrė kariuomenė. 1893 m. jame įsikūrė pravoslavų moterų vienuolynas, o prie jo mokykla, kuri vėliau buvo reorganizuota į parapijinę dvimetę mokyklą.
1920 m. vienuolyno rūmuose įsikūrė Moterų kultūros draugija, vėliau virtusi Švč. Jėzaus Širdies moterų vienuolių kongregacija. Vienuolės pavyzdingai tvarkė ūkį, įsteigė vienuolių naujokiną, žemės ūkio mokyklą, progimnaziją, amatų mokyklą, vaikų darželį, vaikų prieglaudą ir privačią pradžios mokyklą. Vienuolynas garsėjo kaip turtinga poilsio vieta. Nuo 1938m. vyko kasmetinės Panevėžio vyskupijos Kunigų rekolekcijos ir socialiniai kursai, į kuriuos susirinkdavo apie 80 kunigų. 1958 – 1976 m. vienuolyne buvo Antalieptės žemės ūkio technikumo mokomasis korpusas o vėliau veikė ir tarpmokyklinis gamybinio mokymo kombinatas. 1991 m. vienuolynas gražintas Antalieptės katalikų religinei bendruomenei.
