Dorastał w Łodzi. W 1938 r. ukończył studia prawnicze na Uniwersytecie Warszawskim. Za czasów studenckich publikował pierwsze teksty, angażował się w protesty przeciwko gettu ławkowemu, należał także do Związku Niezależnej Młodzieży Socjalistycznej. W tym czasie poznał późniejszą żonę Marię Zenowicz, która – po wybuchu II wojny światowej – pomagała mu ukrywać się w Warszawie.
W latach 1946-1949 mieszkał w Łodzi. W 1946 r. wstąpił do Polskiej Partii Robotniczej, z której wystąpił 20 lat później, w proteście przeciwko represjom wymierzonym w Leszka Kołakowskiego.
W latach 1945-1950 współredagował „Kuźnicę”, a w latach 1956-1960 – „Nową Kulturę”. Należał do Związku Literatów Polskich, w którym w latach 1954-1956 był wiceprezesem.
W 1946 r. wydał swoją pierwszą powieść Drewniany koń.
Po Październiku ’56 wystąpił z PZPR. Publikował za granicą i w drugim obiegu. W latach 1970-71 mieszkał w Paryżu, prowadząc w katedrze estetyki literackiej na Sorbonie dwa cykle wykładów: literatura krajów słowiańskich oraz „Dzieło literackie a jego epoka”. Współpracował z miesięcznikiem Jean-Paula Sartre’a „Les Temps Modernes”. W 1978 r. nakładem Instytutu Literackiego ukazała się książka Nierzeczywistość, która w tym samym roku wyszła także nakładem Niezależnej Oficyny Wydawniczej NOWA. Instytut Literacki wydał również jego dziennik Miesiące (fragmenty były drukowane w Kulturze). Tomy drugi, trzeci i czwarty ukazały się w IL po raz pierwszy; tom pierwszy stanowił wznowienie publikacji wydanej w Polsce.
Na początku grudnia 1981 r. wyjechał do Stanów Zjednoczonych. Po wybuchu stanu wojennego nie wrócił do Polski. Od 1982 r. na stałe mieszkał w Paryżu. W latach osiemdziesiątych występopwał w Radio France Internationale, współpracował też z Radiem Wolna Europa.
Był bratem pisarza Mariana Brandysa. Jest pochowany wraz z żoną na cmentarzu Père-Lachaise w Paryżu.
