Nach seinem Studium am Polytechnikum in Stuttgart und einer Steinmetzlehre arbeitete von Schmidt in Köln und Mailand. Im Jahre 1859 kam er als Professor an die Akademie der bildenden Künste in Wien, wo er ab 1865 Leiter einer Spezialschule für Architektur war. 1863 wurde er Dombaumeister von St. Stephan.
1886 wurde er geadelt und war von da an Freiherr.
Von Schmidt war von 1866-1870 Mitglied des Wiener Gemeinderats und ab 1889 Mitglied des Herrenhauses.