Каменный собор построен в 1708 году (1740-х гг.) на месте пришедшего в ветхость деревянного храма Георгиевского собора бригадиром А.П. Радищевым, который позже был похоронен в южном приделе. Величественный храм, выстроенный в смешанном стиле, имел одну главу со световым барабаном. В следующем веке на средства петербургского купца Г.П. Целибеева по проекту губернского архитектора А.Д. Скловского была расширена трапезная (1884) и выстроена новая трехъярусная колокольня (1855). Собор трехпрестольный: главный престол освящен в честь Казанской иконы Божией Матери, южный - в честь великомученика Георгия Победоносца и северный - в честь мученика Иоанна Воина. Из икон особо почитались древняя икона благоверного царевича Димитрия, написанная угличским мещанином И.И. Бурениным в 1685 году. Приход собора был обширным - кроме городских улиц и железнодорожной станции в него входили окрестные селения: Радищево (Немцово), Верховье, Анисимово (Онисимовка), Терентьево и Чернолокня (Черная Локня). При нем с 1899 года действовало церковно-приходское попечительство, которое занималось просветительской и благотворительной деятельностью.
В 1930 году собор был закрыт, в нем разместился Дом крестьянина. Здание храма было перестроено, могила его строителя А.П. Радищева утрачена, колокольня снесена, а колокола использованы на нужды индустриализации. С 1995 года по просьбам верующих епархия ходатайствует о возвращении храма для его восстановления и возобновления в нем богослужений. Но долгое время это не представлялось возможным по той причине, что в соборе размещался городской кинотеатр, причем в алтаре были устроены туалеты. К 600-летию города фасад собора был отштукатурен и окрашен, заново отстроена колокольня, установлен купол и крест, идет отделка внутренних помещений.