Уездные присутственные места и тюрьма построены по образцовому проекту в 1822 г. В 1884-1885 гг. тюремно-административный комплекс дополнен постройкой церкви Александра Невского на средства потомственного почетного гражданина Н.Л. Никитина. В 1887 году колокольню и паперть частично перестроили. В советский период колокольня была сломана, завершение разобрано, в трехгранном алтаре церкви устроен вход, который используется и сегодня. Церковь занимает отдел дознания местного РОВД, все интерьеры церкви полностью изменены.