В 1835 г. под колокольней, вместо упраздненных храмов, на средства местного купца Ливерия (в монашестве Леонтия) Колычева была устроена церковь в честь Казанской иконы Божией Матери, а в 1840 г., на колокольне местным кузнецом Сидором Мишуринским были возобновлены старинные башенные часы, бывшие, по писцовым книгам 1676-1679 гг., еще на деревянной колокольне.
С 1863 г. по 1872 г. главное здание собора вследствие обнаружившихся недостатков его (малого размера верхнего храма и др.) снова было перестроено: все здание расширено, а верхний этаж сделан одинакового размера с нижним. Материал для перестройки его взят был из разобранной Петропавловской церкви (и Архангельской?), сгоревшей в 1815 году. В верхнем этаже, кроме главного престола во имя Рождества Пресвятой Богородицы, были вновь устроены два придела: во имя Тумбовской Божией Матери и во имя апостолов Петра и Павла и великомученика Пантелеймона. В нижнем этаже придел Михаила Малеина переосвящен в честь архангела Михаила. Над средней частью храма, вместо шпиля, был устроен круглый трибун, покрытый куполом, поверх которого поставлен глухой барабан, увенчанный небольшой главкой, а для симметрии такие же четыре главки на барабанах поставлены и на углах четверика. В таком виде собор остается по настоящее время. После этой капитальной перестройки в соборных храмах производились лишь небольшие переделки и поправки; так., напр.: в 1874 г. на колокольне устроен новый шпиль и купол; в 1889 г. в нижнем теплом храме подновлены иконостас и живопись на сводах и вновь произведена настенная живопись в алтаре и трапезе; в 1913 году стены в алтаре верхнего храма украшены живописью художником Ф. М. Вахрушовым, уроженцем г. Тотьмы, и некоторые другие поправки.
Д.А. Григоров "Тотьма и ее окрестности"