Scott Brown nacque a Nkana, nella Rhodesia del Nord (oggi Zambia), studiò architettura all'Università di Witwatersrand e alla Architectural Association di Londra, e poi pianificazione urbana alla Penn con Louis Kahn, dove conobbe Robert Venturi. Entrò nel suo studio di Filadelfia come socia di progettazione alla fine degli anni Sessanta e divenne una forza creativa alla pari nell'opera urbanistica e istituzionale dello studio, dagli studi sul campo lungo la Las Vegas Strip che diedero origine a Learning from Las Vegas (1972, con Venturi e Steven Izenour) fino alle maggiori commesse pubbliche realizzate come Venturi, Scott Brown and Associates, fra cui il Sainsbury Wing della National Gallery di Londra e il Seattle Art Museum. Quando il Pritzker del 1991 andò al solo Venturi, Scott Brown rifiutò di partecipare alla cerimonia piuttosto che accettare un riconoscimento che escludeva la sua parte di lavoro; una petizione studentesca del 2013 perché la giuria aggiungesse retroattivamente il suo nome fu respinta.