Nacido Karlheinz Weber en Saarbrücken en 1934, estudió arquitectura en la Universidad Técnica de Stuttgart desde 1954, con una interrupción gracias a una beca del DAAD en la École des Beaux-Arts de París en 1959-60. Desde 1957 trabajó junto a Günter Behnisch y Bruno Lambart, y en 1966 fue socio de Behnisch & Partner. Fue Weber quien, con Frei Otto y Heinz Isler, construyó la maqueta de concurso del Estadio Olímpico de Múnich con varillas de madera y una media de señora, tras proponer un colega tender un solo toldo sobre todo el recinto: el boceto que dio la cubierta de lona. Dejó la sociedad en 1979 y dirigió su propio despacho en Stuttgart y Múnich con Fritz Auer desde 1980 hasta su muerte, construyendo la Casa de Festivales de Recklinghausen y el Teatro de Hof, y enseñó en Stuttgart y Dresde. Murió en Stuttgart en mayo de 2014.