По архивным документам и изданиям XIX века, нынешний каменный Яковлевско-Благовещенский храм был построен на средства прихожан в 1769 году. Храмозданная надпись на южной стене холодного храма гласит:«Во Славу Святыя Единосущныя и Животворящия Троицы. В конце 14 века или в начале 15 века на месте непроходимых болот и лесов был воздвигнут деревянный небольшой монастырь в честь апостола Иакова брата Господня, который существовал до 17 века, когда поляки появились временем на Руси и разоряли пределы градов Ярославля и Костромы. На месте разоренного монастыря устроен деревянный приходской храм в пределах монастырской Яковлевской слободы. Сей каменный храм во имя Благовещения Пресвятой Богородицы и святаго апостола Иакова брата Господня основан в 1778 году усердием прихожан на месте деревянного храма. Сначала устроен летний храм. Зимний храм и колокольня устроены окончательно в 1783 году. Алтари освящены по благословению Самуила, архиепископа Ростовского и Ярославского».
Как видим, храмозданная надпись указывает другие даты постройки храма, чем архивные документы XIX века: в 1778 году по благословению архиепископа Самуила освящен летний храм; а зимний в трапезе, соединяющейся аркой с холодной церковью и колокольня – в 1783 году. Можно предположить, что возведение церковного здания началось в 1769 году, а освящение престолов происходило по мере завершения благоустройства всех его объемов. К сожалению, документальных источников, подтверждающих сообщение надписи о существовавшем на этом месте монастыре до нашего времени не сохранилось. Однако существует ряд свидетельств: одно из них – Святые Врата.
Первое документальное упоминание храмов в этой части Заволжского стана Ярославского уезда, найдено Н. Н. Обнорской в книге «Письма и меры Валтасара Елизарова да подьячего Ондрея Горохова» 1602 года: «А на [Яковлевском] погосте церковь Благовещенья Пречистой Богородицы, да другая церковь Иакова апостола, древяны клецки. А на церковной земле поп Сергей Тихонов, дьячок Ивашко Ортемов, пономарь Спирко, проскурница Марфица, да четыре келии нищих».
По посвящению второго храма в честь Апостола Иакова, к тому времени именовались и два поселения, располагавшиеся близ погоста (кладбища): Яковлевские слобода и слободка с более чем полусотней «непашенных торговых и мастеровых и бобыльских дворов». Среди жителей было распространено кожевенное ремесло. Позднее поселение становится крепостным селом, но продолжает именоваться Яковлевской слободой в память о прежних свободных временах. Жители слобод не были крепостными. В самой сущности слободы можно увидеть еще одно свидетельство о монастыре.
Монастырь упоминается и известным краеведом XIX века В. Лествицыным в статье «Часовня близ Яковлевской слободы под Ярославлем». Описанное придание гласит о том, как в середине XIV века, некий костромской помещик, страдавший от тяжкой болезни, проезжал из Костромы в Ярославль. Остановившись на ночлег у Яковлевского монастыря, во сне он увидел исходящим из земли исцеляющий его Святой Крест. Проснувшись, помещик указывает открытое во сне место слугам, сопровождавшим его, и повелевает копать. Крест обретен! Приложившись к нему, болящий получает исцеление от Господа. «Помещик объявил, кому следует о случившемся чудесном излечении, и пожертвовал крест в Яковлевский монастырь, предшествовавший нынешней церкви Яковлевской слободы». В память об этом событии был утвержден Крестный ход в день празднования Воздвижения Честнаго и Животворящего Креста Господня – 27 сентября по новому стилю. Была сооружена часовня, сначала деревянная, а в начале ХХ века, на средства А. Нефедова, – каменная, освященная 18 октября 1904 года. Внутри часовни, на месте обретения креста, находился колодец. По традиции местные жители, «отправляясь в город на рынок, считали нужным бросить монету в кружку у дверей часовни, а возвращаясь домой, так же отблагодарить Господа за удачную торговлю».
После революции здесь был устроен пункт сбора молока. Часовня была снесена в 1930-х годах. Сейчас на ее месте находится продуктовый магазин. Обретенный Чудотворный Образ Честнаго и Животворящего Креста Господня и сейчас – главная святыня Яковлевско-Благовещенского храма. Традиция совершения Крестного хода в день Воздвижения Честного животворящего Креста Господня возобновлена в 2008 году при нынешнем настоятеле протоиерее Георгие Лапшине.