Село Бывалки входило в состав Сычевской волости Ельнинского уезда. Его приход – во 2-й благочиннический округ. В приходе насчитывалось 7 деревень и 5 хуторов, и до 1740 г. он принадлежал к приходу села Сычева. В 1740 г. помещик Василий Петрович Дурнов построил в селе деревянную церковь во имя Знамения Пресвятой Богородицы. Господин Дурнов был моряком. Отправляясь в очередное плавание, Василий Петрович попросил родительского благословения. Мать, благословляя сына, повесила ему на грудь медный образок с изображением иконы Божьей Матери «Знамение». Однажды во время кораблекрушения, когда ему грозила вместе с другими моряками неминуемая смерть от потопления, он стал просить у Бога помощи и дал обет построить в своем имении храм во имя Знамения Богородицы, образ которого он носил. Чудесным образом В. Дурнов был спасен. По благополучном возвращении на родину он возвел деревянный храм в Бывалках.
По своей форме храм имел вид продолговатого корабля. В середине он разделялся аркой на две части. Алтарь отделялся стеной, которая представляла собой иконостас. На престолом, в алтаре, возвышалась позолоченная сень, опиравшаяся на резные колонны. В 1902 г. ельнинский купец И.Г. Ястребов на позолоту иконостаса и напрестольной сени пожертвовал 900 рублей, а прихожане – 400 рублей. Очень усердны были верующие к нуждам церкви, особенно староста. За свое усердие он имел золотую медаль. В 1901 г. прихожане 325 рублей на изготовление серебряной ризы на местную икону Спасителя в иконостасе. В Бывалках действовала церковно-приходская школа, при которой имелся детский хор. В приходе существовало еще две школы грамоты. Большое участие в жизни всех учебных заведений принимал помещик И.И. Севриков, попечитель церковно-приходской школы. Знаменский храм после 1917 г. продолжал действовать.
В 1924 г. он был зарегистрирован в Смолоблисполкоме. В 1937 г. Бывалковская церковь была закрыта, причем в документах она названа обновленческой. Помещение храма использовалось под клуб.
Источник: Рафаил (Ивочкин), иеромонах. Ельнинская земля: православные храмы. – Смоленск, 2005, с. 53–54