Походная (при полку) церковь существует с начала XIX столетия. Церковь эта сопутствовала полку в Отечественную воину 1812 года.
Полковая церковь своего церковного здания не имеет, а пользуется церковью, сооруженной в 1901 году 111-м пехотным Донским полком и расположенной в г. Мариамполе на углу Варшавской и Кальварийской улиц.
Здание церкви - каменное, сооружено старанием командира Донского полка полковником Бессоновым на средства, пожертвованные воинскими чинами разных полков России, и 7000 рублей, полученных из Комиссии по постройке военных церквей, а всего в сумме 25.000 рублей. Освящена 13 августа 1901 года. Над входом в церковь, на фронтоне, надпись: "В память Царя Миротворца Александра III". Вмещает до 150 человек. В походной церкви Елисаветградского полка имеется много старинной церковной утвари конца XVIII века.
По штату при церкви положен: один священник. Квартира священнику - в офицерском флигеле.
Г.А. Цитович "Храмы армии и флота". Пятигорск, 1913

Комментарии и обсуждение
Раньше она называлась церковь Св. Николая. После 1-ой мировой войны была переделана в костел и стала костелом Литовской армии (по воскресеньям проводились службы для военных, по будням - для горожан). После 2-ой мировой войны костел был закрыт. В нем размещался склад. Костел вновь заработал в 1990 году. Теперь он называется Костел Св. Винсента де Поля (Šv. Vincento Paulie)