Храм был сооружён на северном берегу реки Неман около 1400 года для францисканских монахов и иностранных купцов. Строительство было спонсировано Витовтом в качестве коммендации Пресвятой Деве Марии за сохранение его жизни после главного сражения в битве на Ворскле.
Располагаясь довольно близко к реке, храм много раз страдал от весенних паводков. В 1812 году он был сожжён французскими войсками. Францисканский монастырь был закрыт русским правительством после Польского восстания. В 1845 году храм был закрыт и открыт позже после перестройки как православный. С 1903 года он выполнял роль военных казарм. В 1915 году немцы организовали здесь склад. Здание было возвращено Католической церкви в 1919 году, а в 1931-1938 годах и позже, в 1978-1982 годах, были проведены реставрационные работы.