Считается старейшим монастырем Тверской области, из житийной литературы следует, что основан был боярином Ефремом, который очень расстроился из-за того, что убили Бориса и Глеба, и решил по этому поводу завязать со светской жизнью и основать монастырь. В 1038 году там, где Ефрем основал обитель, была построена Борисоглебская церковь. Постепенно монастырь разрастался, пристраивались всякие новые сооружения. В 1742 случился пожар, в приличный вид монастырь стали приводить в конце XVIII века. Интересно, что на месте развалившегося Борисоглебского собора новый был построен по проекту Н.А. Львова (вообще, в Торжковском районе сохранилось немало построек Львова, часть из них в очень руинированном состоянии). Некоторые исследователи считают, что Львов спроектировал и Надвратную церковь (на фото). В советское время монастырь долго был тюрьмой, потом профилакторием для алкоголиков. Следы этого былого великолепия очень старались уничтожить, когда создавали музей, однако осталось много всего, напоминающего о том, что когда-то тут была тюрьма: например, куски забора с колючей проволокой, и остатки немиролюбивых стен (сзади от входа), построенных явно в советское время.
В настоящее время на территории монастыря находится музей и собственно воссозданный монастырь. Монастырь в довольно хорошем состоянии (хотя некоторые части еще не освоены, а некоторые – откровенно разваливаются), но золотые купола и розовая краска сюда еще не добрались, так что выглядит, действительно, древним и внушительным. На Надвратную церковь можно забраться за сто рублей. Вид — захватывающий.