Появился храм на своем месте в 1837 году. Центральная его часть была увенчана куполом, похожим на богатырский шлем, а барабан купола имел 12 окон. По углам располагались четыре маковки меньшего размера. Храм имел богатый иконостас из красного дерева. Каждый год 4 сентября  вокруг церкви совершался крестный ход. У церкви располагалась войсковая больница, отчего её саму часто называли "больничной". В неё часто приходили больные, а потому многие горожане не "жаловали" этот храм, видимо, боясь заразиться. Крестовоздвиженская церковь совсем немного не "дотянула" до своего векового юбилея: в 1936 году храм закрыли и вскоре уничтожили.