Harrison si imbarcò da giovane, comandando navi mercantili da Newport, e imparò l'architettura come poteva farlo un colto dilettante del Settecento: da manuali di Palladio, Gibbs e Kent, raccolti in una biblioteca che continuò ad ampliare per tutta la vita. Non si formò mai in modo regolare né si definì mai architetto in alcun documento giunto fino a noi; i contemporanei lo descrivevano come un gentiluomo che progettava per cortesia verso la propria città. Tra il 1748 e il 1763 diede a Newport quattro edifici tuttora in piedi — la Redwood Library, la King's Chapel di Boston, la sinagoga Touro e il Brick Market —, ciascuno ricalcato su un precedente inglese o europeo ma costruito in legno e mattoni, non in pietra. Durante la Rivoluzione mantenne simpatie lealiste; dopo la morte nel 1775, una folla bruciò la sua casa, la biblioteca e tutti i suoi disegni.
