Smith nacque in una famiglia di scalpellini a Dalkeith, in Scozia, ed emigrò a Filadelfia nel 1748 già formato come costruttore e non come dilettante colto. Fece rapidamente carriera: in pochi anni progettava le commesse più in vista della città, fra cui il campanile di Christ Church, la chiesa di St. Peter, la Carpenters' Hall e l'edificio che eresse per il College of New Jersey a Princeton. Lavorò sempre nell'idioma georgiano dei suoi manuali inglesi e fu membro fondatore della Carpenters' Company di Filadelfia, la corporazione che formava i costruttori della città e ne fissava gli standard costruttivi. Membro dell'American Philosophical Society, mise le proprie competenze al servizio della difesa allo scoppio della guerra, progettando i chevaux-de-frise affondati nel fiume Delaware per sbarrare il passo alle navi britanniche. Morì nel 1777 a Fort Billingsport, nel New Jersey, mentre costruiva caserme per l'esercito continentale.
