Отец Петр сначала служил в Михайловской церкви при Михайловском детском приюте в городе Туле, а с 1886 года – в тульской Александро-Невской церкви. В 1874 году он был назначен законоучителем в школу мещанского общества. На архиерейских службах в тульском кафедральном соборе именно отцу Петру чаще других поручалось говорить проповеди. Он устраивал и сам активно участвовал во внебогослужебных религиозных беседах и чтениях. Много усилий употребил священник на устроение приходской школы, в которой училось в то время восемьдесят детей. Кроме обычных предметов ученики обучались также церковному чтению и пению. Во время некоторых праздников дети целиком исполняли все песнопения литургии. Ученики по очереди читали шестопсалмие и часы, были хорошо обучены богослужебному уставу и сами находили в книгах необходимые тексты. В 1891 году, когда в Тульской губернии случился неурожай, отец Петр при поддержке приходского совета организовал помощь голодающим детям – в устроенной при храме богадельне ежедневно готовился горячий завтрак для учеников из бедных семей. В 1896 году при Александро-Невском храме открылась бесплатная народная библиотека-читальня.
В 1892 году за деятельность по организации школы отец Петр был награжден наперсным крестом с украшениями, 9 апреля 1897 года возведен в сан протоиерея. Вскоре он овдовел и был пострижен в монашество с именем Алексий. 14 марта 1898 года иеромонах Алексий был назначен настоятелем Старорусского Спасо-Преображенского монастыря с возведением в сан архимандрита. 5 сентября 1904 года он был хиротонисан во епископа Великоустюжского, викария Вологодской епархии. Преосвященный Алексий проявлял особое попечение о народном образовании. Летом 1908 года в Великом Устюге были устроены курсы для педагогов церковно-приходских школ. Епископ Алексий «указал на цель прибытия сюда учителей – расширить свои познания, усовершенствоваться в учительской практике, продолжить свое образование. Это дело полезное и похвальное. Но истинная мудрость состоит в развитии не одного только ума, но и сердца, не в накоплении только знаний, но в приобретении добродетелей; человек умный, но порочный, многознающий, но гордый, как всем известно, не пользуется любовью окружающих и не может принести большой пользы, особенно в учебном деле». Во время служения епископа Алексия в Великом Устюге было построено женское епархиальное училище и освящено несколько храмов, один из последних в 1916 году – храм во имя святителя Митрофана, Воронежского чудотворца, выстроенном при Великоустюжском тюремном замке, в котором суждено было умереть владыке через двадцать один год. В начале 1920-х годов епископ Алексий был возведен в сан архиепископа. 30 июля 1923 года он вступил в управлении Великоустюжской епархией, которая к этому времени стала самостоятельной. В 1924 году в возрасте восьмидесяти двух лет владыка был уволен на покой, но ежедневно совершал Божественную литургию. Поселившись в церковной сторожке, он начинал богослужение в четыре часа утра при немногих молящихся. Так продолжалось до начала 1937 года, когда ему по немощи стало трудно передвигаться без помощи живших при нем монахинь.
Архиепископ Алексий был арестован осенью 1937 года, когда ему было девяносто пять лет. Он не мог выйти из дома по приказу сотрудников НКВД, и они вынесли его сами на простыне. После короткого пребывания в тюрьме владыка в ноябре 1937 года скончался и был погребен на городском кладбище.
В 2000 году Алексий (Бельковский), архиепископ Великоустюжский был причислен к лику святых. Память совершается после 25 января (7 февраля).
