Первоначальное здание храма было деревянным. Есть сведения, что небольшая церковка была освящена 15 июня 1380 г., незадолго до Куликовской битвы. Вполне возможно, что после Куликовской битвы мог быть сооружен и каменный собор, так как каменное строительство в конце XIV века (1381 г.) велось тогда в Серпуховском Высоцком монастыре, основанном по инициативе и на средства князя Владимира Андреевича Храброго (Серпуховского). Если каменные храм тогда строился в пригородном монастыре, то что мешало постройке каменной церкви и в центре княжеского удела? Если данное предположение верно, думается, что архитектура Троицкого собора не выходила за рамки традиций раннемосковской школы зодчества кон. XIV-XV вв.
Вероятно, Троицкий собор был невелик по размерам, относился к храмам крестово-купольного типа, был одноглавым, четырехстолпным, имел трехчастное деление фасадов, тройной алтарь, позакомарное покрытие сводов и определенную систему наружного декора. Он мог быть похож на известные памятники раннемосковской архитектуры, такие как Спасский собор Московского Спасо-Андроникова монастыря (1390-е гг.), Успенский собор в Звенигороде (1399 г.), Троицкий собор Троице-Сергиевой лавры (1422 г.).
Как отмечают современные исследователи, строительство Троицкой соборной церкви в Серпухове примечателен еще и своим посвящением. В большинстве своем в то время главный городской храм Северо-Восточной Руси был, как правило, Успенским, а в Серпухове Владимир Андреевич строит Троицкий. Это посвящение подчеркивает особую духовную связь, которая существовала между боголюбивым князем серпуховским Владимиром Храбрым и преподобным Сергием.
Троицкая обитель находилась в Радонежье – северной части удела Владимира Андреевича, и известно, что князь был духовным чадом преподобного, призывавшего тогда русских людей к усердному почитанию Пресвятой Троицы. В XVI столетии был сооружен новый каменный собор. По всей видимости, он мог повторять формы предшествующего здания, если оно действительно было каменным. Так или иначе, собор XVI века был невелик по размеру, на данный момент от него сохранилась кладка западной и северной стен с внутристенной лестницей. После сильного пожара 1669 г., когда выгорел практически весь Серпухов, собор пришел в ветхость. В 1696 г. храм Св. Троицы был капитально перестроен. Строительство велось на средства архимандрита столичного Спасо-Андроникова монастыря Феодотия, бывшего до монашеского пострига клириком Серпуховского собора.
Можно предположить, что архитектурным истоком и прообразом для реконструкции собора в конце XVII в. послужила церковь Архангела Михаила с церковью Алексия митрополита в Андрониковом монастыре. Это предположение основывается на сходных архитектурных элементах в конструкции храмов и их декоративного оформления. Стоит иметь ввиду, что заказчик перестройки собора - архимандрит Феодосий, ранее служивший в Троицком соборе, был современником завершения строительства храма в Московском Спасо-Андрониковом монастыре. Возможно, по его распоряжению новые веяния в зодчестве того времени были перенесены на Троицкий собор.
Для Серпухова роль собора очень велика и ценна. Его образ послужил основой для формирования самобытной строительной школы, сложившейся в городе в XVIII в. Являясь примером для строительства посадских и сельских храмов, Троицкий собор по-прежнему сохраняет свои тайны. Основной объем храма (без приделов XIX в.) – интересный памятник провинциального церковного зодчества конца XVII в. Некогда его восьмерик был украшен не одной, а пятью главами (предположение Н.Н. Свешникова). Архитектурный тип этого храма — восьмерик на четверике позднее станет образцом для многих Серпуховских церквей.
В начале XVIII в. рядом с собором построили отдельно стоящую шатровую колокольню. В конце XIX в. на колокольне сохранялся будничный колокол 1709 г., также пожертвованный архимандритом Феодотием «в поминовение родителей». И шатровая колокольня, и нарядный пятиглавый храм с приделом св. вмч. Димитрия Солунского представляли собой очень интересный и живописный архитектурный ансамбль. От XVII в. сохранились трехчастный алтарь, наличники окон и портал южной стены, полуколонки и поребрик четверика, архитектурный декор восьмерика. Издревле архитектура православного храма, элементы его декора несли определенное смысловое содержание. Думается, что ступенчатость, ярусность архитектуры Троицкого собора с его карнизами, полуколонками, поребриками и убывающими кверху объемами могли напоминать о лествице (лестнице) добродетелей, которую должен пройти в своей жизни православный христианин, дабы непостыдно предстать перед престолом Святой Троицы. По всей видимости, само здание собора не отапливалось, так как в начале XIX столетия в зимний период служили в Дмитриевском приделе, который был теплым.
В первой половине XIX столетия (1837-1841 гг.) в целях расширения внутреннего пространства храма колокольня и собор были объединены пристройкой двух приделов – Никольского с юга и Димитриевского с севера. Первоначальный проект перестройки храма предполагал наличие на фасадах скульптуры и треножников. Но эти украшения не были одобрены митрополитом Московским и Коломенским Филаретом. Пожертвования, как сейчас бы сказали, на реконструкцию стали собираться еще с 1828 г.
Сначала был построен и освящен придел свт. Николая (1837 г.), устроенный после упразднения старинного Никольского храма, стоявшего рядом с собором и бывшего к нему приписным. В 1839 г. начали строить Димитриевский придел вместо старого и тесного, строительство окончено в 1841 г. В начале XX в. еще сохранялись памятники-каплички на месте престолов разобранных Никольского храма и Димитриевского придела. Новые приделы были построены в традициях позднего классицизма, они имеют строгие и величественные формы, которые, однако, не подавляют собой более древнее здание собора. В результате реконструкции XIX в. облик древнейшего Серпуховского храма был сильно изменен – удалено пятиглавие, с севера и юга к четверику пристроены портики, стесаны архитектурные украшения XVII столетия, изменен облик колокольни, вокруг собора устроена ограда.
До закрытия в начале 1930-х гг. в интерьере храма сохранялись старинные иконы, из которых особо древними были образа Св. Троицы и Богоматери Смоленской, находившиеся в местном ряду главного резного и позолоченного иконостаса, в одном из приделов хранилась икона-складень с серебряными створками. В ризнице собора находились старинные напрестольные кресты и Евангелия, шкатулка с древними драгоценными привесками к иконам, жалованные грамоты московских царей соборному причту, комплекты архиерейского облачения, в трапезной же храма висели иконы, некогда находившиеся на воротах серпуховского кремля. В начале XIX столетия интерьер собора был украшен стенописью, которая возобновлялась в1872 г.
В разное время к собору были приписаны храмы Вознесения Господня (1747 г.) и св. блгв. кн. Александра Невского. В советское время Троицкий собор был закрыт. Когда в июне 1924 г. Святейший Патриарх Тихон посетил Серпухов, он останавливался именно на Соборной горе, так как здесь находились дома священнослужителей. Дом-пятистенок выстроен в 1914 г. и назывался Архиерейским. В левой части дома жил настоятель храма - Алексей Петрович Синайский с семьей. Правую в разные годы занимали Серпуховские Епископы: Арсений (Жадановский), Сергий (Гришин), Алексий (Готовцев), Мануил (Лемешевский). В этом доме на три дня останавливался Патриарх Тихон во время посещения Серпухова в 1924 г. Митрополит Петр (Полянский), приезжавший с Патриархом Тихоном, останавливался в доме протоиерея Владимира Смирнова, напротив. В конце 1970-х гг. архиерейский дом был снесен при строительстве мемориала.
С 1930 г. Троицкий собор Серпухова полностью прекратил свою деятельность. Служители собора попали под репрессии. Кремлёвский Троицкий собор был варварски разграблен и осквернён представителями богоборческой власти. В 1933 г. Серпуховский кремль был включен в "Список памятников архитектуры, находящихся под государственной охраной", составленный по инициативе Наркомпроса РСФСР. Однако, несмотря на охранный статус, вопрос о его будущем по-прежнему оставался открытым. Дело в том, что в это же время областная прокуратура потребовала от городских властей решить проблему с ветхой крепостью и начать либо ее ремонт, либо разбор стен. Точку в непростой судьбе Серпуховского Кремля поставил Лазарь Каганович, по чьему приказу в 1934 г. стены крепости разобрали на камни для строительства московского метрополитена. Метрострой в то время испытывал сложности со строительными материалами, дела решили поправить, и в том числе за счет уникального памятника архитектуры.
Горькая ирония заключается в том, что памятник разрушили совершенно напрасно. В этом же году столичные власти выпустили постановление о качестве работ при строительстве метрополитена и выяснилось, что такой камень совершенно не подходит для метростройки. А вот здание старинного Троицкого собора разобрано не было. Помещение бывшего Троицкого храма вскоре было передано под хозяйственный склад. В советское время церковное здание очень быстро разрушалось благодаря катаклизмам природы и человеческого фактора.
С 1960-х гг. интерес к памятнику истории и архитектуры был возобновлен. Спустя некоторое время начались реставрационные работы Троицкого собора. В процессе реставрации в очередной раз было изменено оформление храма. Надстройка на колокольне была разобрана, так как была вновь раскрыта знаменитым архитектором Николаем Николаевичем Свешниковым. После чего, благодаря опытным реставраторам, звонница вновь увенчалась острым шатром с резонаторами звона, типичным для ХVII - нач. XVIII вв. С южной стороны разобрали портик и вернули оформление в стиле московского барокко. С северной же стороны портик сохранили, но его полукруглое завершение разобрали, установив трёхскатную кровлю. Главы заменили на луковичные, а яблоки и кресты с приделов демонтировали. Но финансов не хватало, собор так и стоял в полуразрушенном состоянии. А в 1985 г. Троицкий собор был переквалифицирован в историко-краеведческий музей. Работники музея провели уборку, начали небольшие работы по восстановлению храма. Это и спасло Троицкий собор от полного разрушения. С 1985 по 2011 гг. в здании собора располагался краеведческий филиал Серпуховского историко-художественного музея.
В 2003 г., 21 сентября, в Троицком соборе Серпухова проведено первое богослужение. А в 2017 г. начались работы по восстановлению исторического памятника. В последние годы из нововведений можно наблюдать лишь возвращение яблок и крестов над приделами. В ходе начавшейся в 2017 г. реконструкции собора, в 2019 г. была раскрыта засыпанная строительным мусором от прошлой реставрации комната-палатка в четверике колокольни.
Недалёк тот день, когда самый старый храм Серпухова обретёт первоначальный облик и вновь станет неотъемлемой духовной доминантой Серпуховского кремля.