Количество людей желающих получить благословение от Смоленской иконы было на столько велико, что через пару лет здесь уже построили деревянную церковь. Преосвященный Архиепископ Белградский Петр, в 1727 году заложил первый камень, после которого началось воздвижение двухэтажной каменной церкви. Первый этаж строился в честь явления священной иконы Смоленской Божией матери, а второй в честь первоверховных апостолов Петра и Павла. Строительство церкви длилось длинных 27 лет. После благополучного благословения , верхний этаж был освящен в мае 1763 года, Святейшим правительствующим Синодом Членом, Епископом Белгородским, а нижний в 1743 году, преосвященным митрополитом Белгородским Антонием. После того как прошло освещение начали проводиться службы, но все же еще не до конца было завершено строительство, оно продвигалось постепенно, из-за постоянной нехватки денежных средств.
В 1917 году, после революции, названная уже памятником архитектуры Смоленская церковь испытывала тяжелейшие времена. В 20-х годах произошло самое страшное, храм закрыли, в следствии чего он был разграблен. В священном здании начали располагаться разные склады, то бакалейный, то бутылочный, то строительный. В 1943 году при освобождении Белгорода, Смоленский собор лишился колокольни и серьезно пострадал. Собор был подвержен артиллерийскому огню, в трапезной так же были разрушены стены и перекрытия.
В 1958 году власти принимают решение, о том что собор совсем обветшал и его взрывают, он выстаивает. Затем эту попытку снова предпринимают в 1974 году, собор немного пошатнулся, но не разрушился. Он был вокруг огражден забором, а рядом с ним сама собой возникала свалка. Лишь в 1991 году собор был возвращен церкви, еще через три года началось массовое строительство, а уже в июле 1996 года его освятил Владыка Иоанн. Не смотря на все страшные происшествия которые происходили с храмом, за практически триста лет его существования он выстоял и по сегодняшний день прекрасно вписывается в архитектурный ансамбль города.