Появление Церкви Премудрости Божией связывают с переселением в Москву новгородцев в конце XV века. Проложенная здесь улица по ней называлась «Софийской». Существующая церковь выстроена в 1692 г. на месте деревянной (построена 1585-1590 гг.), сгоревшей в 1685 г. Во второй половине XVIII века церковь перестраивалась. К концу столетия появились новая декорация фасадов и купольное покрытие, были построены северный, Никольский придел и двухъярусная колокольня с западной стороны, соединенная с церковью переходом. После 1812 г. при ремонте облик церкви приобрел ампирный характер. В 1816 г. нижний ярус колокольни украсили портики, проемы второго яруса (звона) получили колонное обрамление. Этот восьмигранный ярус дополнен цилиндрической надстройкой с куполом и шпилем.
В 1839 г. был составлен проект реконструкции церкви с учетом изменения конфигурации церковного двора при перепланировке места в 1819 г. Новые приделы совершенно симметричны в восточной части, но южный придел резко сужается к западу, формируя своим фасадом застройку красной линии. Центральная апсида сделана прямоугольной; вдоль ее восточной стены проходит граница соседнего владения. В 1842 г. были сооружены трапезная и южный, Казанский придел, последний, как бы срезанный линией улицы, получил неправильную форму. Прежний тройной алтарь заменен прямоугольным. В конце XIX века декор храма был частично изменен. В 1890-е гг. были обновлены фасады и купольное покрытие, детали оформления утрачены, остатки кокошников скрыты под купольным покрытием. Церковь обновлялась в 1901 г.
В период гонений на Православие в ХХ веке древний Софийский храм в самом центре столицы постигла тяжкая участь многих христианских святынь. Он был закрыт, частично разрушен. Здание было передано в ведение КГБ и использовалось в качестве складского помещения. В 1934 г. был разобран верх колокольни храма и его колоннада.
Храм был воссоздан в августе 2001 г. при активном содействии Федеральной службы безопасности России, при этом часть средств на восстановление была пожертвована сотрудниками ФСБ. Здание состоит на государственной охране под №188. 6 марта 2002 г. церковь освящена Святейшим Патриархом Алексием II, передавшим в дар храму икону Божией Матери «Умиление».