Procedent d'una família jueva d'origen rus que havia emigrat als Estats Units, inicià els seus estudis de piano en la seva infància. Més tard es va formar en la Universitat de Harvard, on va ser alumne de Walter Piston i altres professors.  Es va llicenciar en 1939, però va ampliar els seus estudis en el Curtis Institute de Filadèlfia, on va ser alumne de la pianista Isabelle Vengerova i del director d'orquestra Fritz Reiner. Fou director de la New York City Symphony Orchestra (1945-1948) i substitut de Serge Koussevitzki en el festival d'estiu de Tanglewood, càrrec que exercí fins 1955. També actuà en gires artístiques arreu d'Europa i pels Estats Units. El 1953, fou convidat a dirigir a L'Scala, on tingué al seu càrrec les representacions de la Medea, de Cherubini (amb Maria Callas. En 1955, també va dirigir La sonnambula, a l'Scala de Milà. De 1958 a 1969, fou director de la New York Philarmonic Orchestra, i a partir d'aquest any tingué una constant relació amb la Wiener Philharmoniker, a més de ser nomenat president honorari de l'Orchestra di Santa Cecilia, de Roma, i de la London Symphony Orchestra. Va rebre el premi UNESCO de la música el 1979 i es convertí en una de les figures més famoses del món musical mercès al seus programes de divulgació per televisió i a les seves creacions en el camp del musical, en el que destaquen els seus espectacles On the Town (<<Un dia a Nova York>>, 1944) i West Side Story (1957), que tingueren difusió mundial gracies a les versions cinematogràfiques. Com a compositor seguí les línies d'Ives i altres molts a la recerca del element autòcton musical propi de la vida estatunidenca, sense renunciar a la referència clàssica. Aquest és l'esperit de la seva òpera Candide (1956), la revisió de la qual, revisada, dirigí ell mateix poc abans de la seva mort.