Smith nació en una familia de canteros en Dalkeith, Escocia, y emigró a Filadelfia en 1748 ya formado como constructor y no como aficionado. Ascendió deprisa: en pocos años proyectaba los encargos más destacados de la ciudad, entre ellos el chapitel de Christ Church, la iglesia de St. Peter, el Carpenters' Hall y el edificio que levantó para el College of New Jersey en Princeton. Trabajó siempre en el idioma georgiano de sus manuales ingleses y fue miembro fundador de la Carpenters' Company de Filadelfia, el gremio que formaba a los constructores de la ciudad y fijaba sus estándares de obra. Miembro de la American Philosophical Society, sirvió a la defensa cuando llegó la guerra, diseñando los chevaux-de-frise hundidos en el río Delaware para cerrar el paso a los barcos británicos. Murió en 1777 en Fort Billingsport, Nueva Jersey, mientras construía cuarteles para el Ejército Continental.
