Encara que inicialment Fred Zinnemann volia ser músic, després va estudiar dret en la Universitat de Viena. Interessat pel cinema, es va fer càmera i va treballar a Alemanya amb cineastes de talent, entre ells, Billy Wilder i Robert Siodmak, abans d'emigrar als Estats Units. Allí, va trobar treball com a director de curts per a MGM, i va guanyar un Oscar de l'Acadèmia al millor curt metratge, amb el seu biografia That Mothers Might Live (1938). El seu primer llargmetratge, Redes (1936), es va rodar a Mèxic amb un elenc d'actors locals no professionals; el seu gust pel realisme i l'autenticitat ja era evidents. El seu primer èxit va ser va ser The Seventh Cross (1944), que narra les aventures d'uns escapolits d'un camp de concentració de l'Alemanya nazi. Una vegada més el director va destacar pel seu realisme, aquesta vegada centrat en el retrat de la duresa de la vida en el camp.
En els anys cinquanta, Zinnemann va dirigir dos èxits importants. En Sol davant el perill  (1952), un western amb una estructura innovadora, Gary Cooper interpreta el paper d'un xèrif que es queda només per a defensar la seva ciutat enfront d'una banda d'assassins. En D'aquí a l'eternitat (1953) narra un intens drama romàntic que transcorre en una base de l'exercito estatunidenc durant la Segona Guerra Mundial. La pel·lícula es va fer famosa per les seves candents escenes de sexe, i per l'agudesa psicològica amb què Zinnemann representa als personatges.
La seva reputació li va permetre rodar projectes d'alt pressupost, com el western musical Oklahoma (1955) i el luxós drama d'època (1966), que va guanyar sis premis de l'Acadèmia, incloent-hi el de millor director. Va seguir després amb una sèrie d'èxits com Un home per a l'eternitat (1973), però la seva pel·lícula cim va ser Julia  (1977), que es basa en l'obra de la dramaturga Lillian Hellman.