Свято-Духовская пустынь расположена на берегу реки Суры, среди лиственного леса и кустарника. Она основана в начале XVII столетия. Пустынь Святого Духа сначала была самостоятельною, но потом частые грабежи от разбойников настолько ослабили пустынь и уменьшили в ней число монашествующей братии, что епархиальное начальство в 1727 г. считало за нужное временно закрыть пустынь и перевести монахов в Казанскую Печерскую мужскую пустынь, находившуюся в то время на реке Суре в 7 верстах ниже села Промзина Городища. В 1764 году, 26 февраля, по состоявшимся духовным штатам для всех монастыре, Свято-Духовская мужская пустынь была упразднена.
В 1796 году Свято-Духовская пустынь по общему желанию граждан г. Алатыря была приписана к алатырскому Свято-Троицкому монастырю. Приписка эта состоялась указом из нижегородской духовной консистории. До 1930-х годов в пустыни оставалась два ветхих деревянных храма: во имя Св. Духа и иконы Иверской Божией Матери; последней с приделом во имя Иоанна Богослова. Церковь Иверской Божией Матери в 1830 году была продана в село Миренки Алатырского уезда, и на ее месте в том же году заложен каменный теплый храм во имя св. великомученика Иоанна Воина. В том же году заложены были 4 каменные братские кельи. Они примыкали к стене храма св. великомученика Иоанна Воина. Тогда же выстроен был отдельный каменный двухэтажный корпус, в верхнем этаже которого расположены кельи для настоятеля, а в нижнем - братская трапеза, кухня и 4 кельи.
8 июня 1831 г. вновь выстроенная теплая церковь во имя св. великомученика Иоанна Воина была освящена и в тот же день был заложен другой холодный храм во имя Святого Духа. В алтаре храма во имя св. мученика Иоанна Воина хранится деревянный храмозданный крест с надписью следующего содержания, сделанной уставом: «Иисус Христос Царь славы. Освятися жертвенник во славу всемогущего великого Господа Бога и Спаса нашего Иисуса Христа в храме сем святого мученика Иоанна Воина при державе благочестивейшего, Самодержавнейшего Государя нашего, Императора Николая Павловича всея России, и при супруге Его благочестивейшей Государыне Императрице Александре Феодоровне, при наследнике его благочестивейшем Государе великом князе Александре Николаевиче, при благоверном Государе великом князе Константине Николаевиче, при благоверном Государе Цесаревиче и великом князе Константине Павловиче, при благоверном Государе великом князе Михаиле Павловиче и супруге его благоверной Государыне великой княгине Елене Павловне и при благоверных государынях и великих княжнах Марии, Ольге, и Александре Николаевнах, Марии, Елизавете, Екатерине и Александре Михайловнах, при благоверных Государынях великих княжнах Марии Павловне и супруге ее, Анне Павловне и супруге ее, по благословению епархиального нашего архиерея высокопреосвященного Филарета, архиепископа Казанского и Симбирского и разных орденов Кавалера, богоспасаемого града Алатыря Свято-Троицкого мужского монастыря настоятелем священно-архимандритом отцом Арсением освящена бысть сия святая Божья церковь соборне, яже о Христе и с братиею в лето новыя благодати 1831 г., июня 8 дня, на сошествие Пресвятого и Животворящего Всесильного Духа и на память св. Великомученика Феодора Страстилата. Того же года и дня заложена бысть архитектурою настоящая каменная церковь во имя Всесвятого и Преблагого и Животворящего Всесильного Духа настоятелем отцом архимандритом Арсением соборне яже во Христе и с братиею». Летний, или холодный каменный храм во имя Св. Духа в 1833 году был окончен постройкой и 6 июля того же года освящен.
На колокольне церкви Св. Духа имеются четыре колокола: два из них без надписей и дат; на третьем колоколе есть следующая надпись: «сей колокол города Алатыря купца Ивана Лаврентьевича Орлова; и лит сей колокол в с. Порецком; мастер Андрей Гузняев. Весу 54 пуда 2 уг фун., 1836 г.», на четвертом колоколе написано: «лит сей колокол Вятской губернии в городе Слободске братьями Бакулевыми». Свято-Духовская пустынь обнесена кругом деревянной оградой. В настоящее время в ней проживают один иеромонах и несколько послушников из Свято-Троицкого монастыря.
К числу достопримечательностей пустыни следует отнести древнюю икону Иверской Божией Матери, находящуюся в церкви Св. Духа. Эта икона иконописной работы; на ней серебряный венец древнего мастерства; величина иконы 5-7 ч. В этом же храме показывают другую икону св. мученика Антония и мученика Иоанна Воина; эта икона также иконописной работы, в серебряной ризе, величиной 7-9 вер. И заключает в себе мощи обоих угодников.
В пустыни Святого духа, в двух саженях от холодной церкви, похоронен бывший настоятель Свято-Троицкого монастыря архимандрит Арсений, обстроивший эту пустынь каменными зданиями. Над его могилой поставлен гранитный памятник с высеченною на нем надписью. С одной стороны памятника читаем: «Здесь покоится тело Троицкого мужского монастыря отца архимандрита Арсения, в Бозе почившего 30 октября 1834 года на 74 году от рождения». На другой стороне памятника высечено: «Погребен в обители, им сооруженной, в коей кроме древнего деревянного храма ничего не было».
Из книги В.Э. Красовского «Алатырская старина»