Harrison se echó al mar de joven, mandando barcos mercantes desde Newport, y aprendió arquitectura como podía hacerlo un aficionado culto del siglo XVIII: a partir de manuales de Palladio, Gibbs y Kent, reunidos en una biblioteca que no dejó de ampliar el resto de su vida. Nunca se formó de manera reglada ni se llamó arquitecto en documento alguno conservado; sus contemporáneos lo describían como un caballero que proyectaba por cortesía a su ciudad. Entre 1748 y 1763 dio a Newport cuatro edificios que aún siguen en pie —la Redwood Library, la King's Chapel de Boston, la sinagoga Touro y el Brick Market—, cada uno calcado de un precedente inglés o europeo pero construido en madera y ladrillo, no en piedra. Mantuvo simpatías lealistas durante la Revolución; tras su muerte en 1775, una turba quemó su casa, su biblioteca y todos sus dibujos.