На ул. Богородицкой, у самого проспекта Ушакова (напротив гостиницы «Фрегат») стоит величественный строгий особняк, ранее называвшийся домом Катасанова, затем Архиерейским (Викариатским) домом. Здание Архиерейского дома на Богородицкой улице было возведено в стиле классицизма в 1820 году. Постройка использовалась как дом для начальника Херсонского адмиралтейства Катасанова. В 1827 году Черноморское адмиралтейство было упразднено и здание опустело. Долгие годы это великолепное сооружение служило хранилищем архивов Губернского ведомства, однако без должного надзора главный корпус быстро обветшал и в 1840-х годах начал разрушаться. Был намечен ремонт на весну 1851 года, составлен проект и выделены средства, однако заинтересованности у города в этом доме не было.
Осенью 1849 года из Одессы в Херсон приехал архиепископ Херсонский и Таврический Иннокентий (Борисов), и губернатор Херсона решил показать ему Катасановский дом, рассчитывая, что Духовное ведомство могло бы в нем разместить Херсонское духовное училище, которое ютилось, не имея своего помещения, в доме Успенского собора. Средств у Духовного училища на ремонт этого здания не было, не было их и у консистории. Но когда архиепископ Иннокентий узнал, что Катасановский дом взят на заметку католиками для своего епископа, он решил обратиться в Святейший Синод, чтобы в Херсоне поскорее основать викариатство с целью укрепления Православия в этом регионе. Решением Святейшего Синода 14 марта 1853 года было утверждено викариатство в Херсоне.
Только в 1864 году Духовному ведомству удалось собрать деньги на приобретение и капитальный ремонт здания Архиерейского дома. В 1871 году началась постройка домового храма. К сентябрю 1974 года храм был построен и снабжен ризницей и утварью в достаточном количестве. Преосвященным Нафанаилом (Соборовым), викарием Херсонским, 1 октября 1874 года он был освящен во имя Касперовской иконы Божией Матери, вмч. Димитрия Солунского и мц. Александры.
Восьмой Херсонский викарий, епископ Новомиргородский Иустин (Полянский) расширил домовую церковь, которая была вновь освящена 7 мая1887 года, о чем свидетельствует собственноручная запись епископа Иустина, находившаяся в алтаре в особой раме: «Божиею милостью устроися и освятися алтарь сей и храм в честь Касперовской чудотворной иконы Божией Матери и святых – великомученика Димитрия Солунского и мученицы царицы Александры, в царствование Благочестивейшего Государя Императора Александра III, в управление Херсонскою епархиею Никанора, священнодействием Викария его – Иустина, Епископа новомиргородского, в лето Рождества Христова 1887-е, месяца мая в 7-й день».
Церковь украшал хрустальный одноярусный иконостас. Престол и жертвенник были деревянными. Из священных предметов, имевшихся в церкви, обращал на себя внимание деревянный Крест с частицами св. мощей и частью Животворящего Древа. Он был принесен из Иерусалима и пожертвован, как было на нем написано, «рабой Божией Дарьей 11 марта 1881 года», откуда и пошло второе название церкви - Крестовая. Епископом Новомиргородским Иустином во дворе Викариатского дома была выстроена двухъярусная колокольня (не сохранилась). Последний капитальный ремонт Викариатского дома и флигеля был проведен в конце 1903 года. Отремонтированы снаружи и внутри все здания, включая церковь, вдоль улицы устроена железная решетчатая ограда с двумя калитками, во дворе разведен сад и цветник, выстроены некоторые новые хозяйственные постройки.
Херсонский Архиерейский дом причислялся к мужским монастырям, при нем служили иеромонахи, число которых было разным (в 1903 году их было четыре).
В 1920 году прекрасное двухэтажное здание Херсонского викариатства с домовой церковью и отдельным флигелем во дворе попало в руки большевиков. Так называемая Губликвидкомиссия, мотивируя отсутствием в Херсоне архиерея, в 1924 году закрыла церковь, выселила обосновавшихся здесь монахинь и передала дом девочкам-подросткам из детгородка им. Ильича. Некоторое время после войны здание занимала школа мореходного обучения. В 1951 году здесь открылся костно-туберкулезный санаторий, который в 1964 году был перепрофилирован в Херсонский детский школьный туберкулёзный санаторий «Днепр». В 1989 году здание было закрыто на капитальный ремонт, а санаторий переведен на ул. Крымскую, 145, где и находится в настоящее время.
В ноябре 1992 года этот участок с домом передан в собственность Украинской Православной Церкви и является резиденцией правящих архиереев Херсонской епархии.
22 июня 2016 года митрополит Херсонский и Таврический Иоанн совершил молебный чин «призывания помощи, благодати и дара Пресвятаго Духа в начале всякого доброго дела» перед началом работ по восстановлению храма в честь Касперовской иконы Божией Матери при архиерейском доме. 7 октября 2016 года митрополит Херсонский и Таврический Иоанн совершил освящение накупольного креста и мозаичной алтарной иконы Нерукотворного Спаса для церкви Касперовской иконы Божией Матери на Архиерейском подворье.
По материалам официального сайта pravoslavie.ks.ua