Начиная с 1571 г. на «Усть Колпны» при впадении ее в Сосну для предупреждения татарских набегов выставлялась конная сторожа из мценских и новосильских ратных людей. Первое же упоминание о «поселенном вновь» с. Покровском на р. Сосне относится к 1678 г. Первоначально село Колпенское входило в Ливенский уезд, а после образования в 1778 г. города Малоархангельска было переведено в Малоархангельский уезд.

Кирпичная двухпрестольная церковь во имя Первоверховных апостолов Петра и Павла и Св. бессребреников Косьмы и Дамиана в с. Колпенском была возведена в 1759–1761 гг.

В 1876 г. вместо ветхой была построена новая церковь в популярном тогда «русском» стиле. В страховой оценке 1910 г. дается ее краткое описание: «(Церковь. – В.Н.) кирпичная на каменном фундаменте; внутри украшена масляными красками светло голубого цвета с орнаментами, а снаружи красною краскою. Имеет две главы больших, на храме и на колокольне, покрытых побелой масляной краске алюминием, храм холодный, трапеза теплая». На храмовом участке находились: подвал, сооруженный в 1886 г., кирпичная сторожка (1885) и часовня усыпальница, кирпичная, на каменном фундаменте (1882). Церковь окружала ограда, сооруженная в 1886 году. Поскольку в с. Колпенском регулярно проводились базары, то храму принадлежал ярмарочный лабаз «из дубовых досок и столбов».

В 30-е годы XX в. Петропавловская церковь была закрыта. Обстоятельства и время ее разрушения неизвестны. Сейчас это место частично занято Домом связи и близлежащим сквером.

Неделин В.М., Ромашов В.М. Архитектурные древности Орловщины. Стр. 144