Syn Mieczysława i Marii Maybaum. Dzieciństwo i młodość spędził w Warszawie i Łodzi.
W 1926 r. zdał maturę w Wyższej Szkole Realnej z Wydziałem Handlowym Zgromadzenia Kupców w Łodzi. Wyjechał do Anglii na studia. Najpierw uczył się w Owens College w Manchesterze, później w London School of Economics.Prawdopodobnie żadnej z tych szkół nie skończył.
W II RP
Po powrocie do Polski pracował m.in. jako doker w gdańskim Nowym Porcie i w biurze handlowym u swojego ojca, przedstawiciela firmy Solvay. Przypuszczalnie w związku z rozporządzeniem ministra spraw wojskowych o stopniach oficerskich uczestników wojny zgłosił się do wojska w celu odbycia przeszkolenia. Kurs ukończył w Centrum Wyszkolenia Artylerii Przeciwlotniczej w Warszawie. Na początku 1938 r. poznał Zofię Neuding, z którą się ożenił 11 lutego 1939 r. W końcu sierpnia 1939 r. został zmobilizowany do 1. Pułku Artylerii Przeciwlotniczej w Warszawie. Otrzymał rozkaz (który okazał się niewykonalny) przetransportowania dział z twierdzy w Brześciu do stolicy. Został zwolniony z wojska.
Zsyłka i wojna
Na początku 1940 r. wraz z żoną, po spotkaniu w Stanisławowie, postanowili wrócić do Warszawy, jednak we Lwowie zostali aresztowani przez NKWD i deportowani do Maryjskiej ASRS. W łagrze, w posiołku Cyngłok, pracowali przez 14 miesięcy przy wyrębie lasu. Na mocy układu Sikorski-Majski zostali oboje zwolnieni i wstąpili do formowanej Armii Polskiej w ZSRS. Przydzielony do 6 Lwowskiej Dywizji Piechoty. Następnie służył w 7 dywizjonie artylerii przeciwlotniczej, który w listopadzie 1942 r. został przeformowany w 8 Pułk Artylerii Przeciwlotniczej Ciężkiej. W jego szeregach walczył w kampanii włoskiej. Brał udział w bitwie o Monte Cassino.
W Instytucie Literackim
Od 1946 r. pracował przy organizacji Instytutu Literackiego w Rzymie. Jego obowiązki związane były ze sprawami administracyjnymi, wysyłką wydawnictw, prenumeratami, prowadzeniem biblioteki, gromadzeniem wycinków prasowych. Pomagał także w korektach i adiustacjach. W 1948 r. uzyskał status polskiego uchodźcy politycznego we Francji, nigdy nie występował o obywatelstwo francuskie. Zmarł 5 października 1979 r. w Maisons-Laffitte. Pochowany został na pobliskim cmentarzu w Mesnil-le-Roi 9 października. Instytut Literacki ustanowił Nagrodę Literacką im. Zygmunta Hertza w wysokości 5 tys. franków, przyznawano ją w latach 1979-1999.
„Buczący trzmiel”
W pamięci zapisał się jako przyjaciel i opiekun przybywających z Polski, zwłaszcza młodych ludzi. Artur Międzyrzecki w swoich wspomnieniach pisał: „Nie umiem oprzeć się przypuszczeniu, że nie doceniają jednak w Maisons-Laffitte jego roli towarzyskiego łącznika między Instytutem Jerzego Giedroycia a przybyszami z kraju, którzy zjeżdżają do Francji”. Nazywany był Sanczo Pansą laffitowskiego domu, filanthropos. Czesław Miłosz określił go „buczącym trzmielem", najtrafniej chyba ujmując charakter Zygmunta Hertza.
Swe poświęcenie dla „Kultury” traktował – jak pisał Cz. Miłosz – jako „inwestycję uczuciową”, kierował się przede wszystkim przywiązaniem do żony, z czego doskonale zdawał sobie sprawę Jerzy Giedroyc: „Wkład Zygmunta był ogromny, ale to, co robił, robił dla niej”. W „Autobiografii” mówił: „W historii Instytutu Literackiego i 'Kultury' Zosia i Zygmunt Hertzowie odegrali rolę decydującą. Byli wprowadzeni we wszystkie sprawy łącznie z tymi, które wymagały zachowania maksymalnej dyskrecji […] Rola Zosi i Zygmunta jest nie do przecenienia. Nie przypuszczam, by 'Kultura' mogła bez nich zaistnieć i przetrwać”.
27 sierpnia 2008 r. Rada Miejska w Łodzi podjęła uchwałę nadającą nazwę Skwer Zofii i Zygmunta Hertzów dotychczas bezimiennemu placykowi, położonemu przy ul. Matejki, pośród gmachów Uniwersytetu Łódzkiego - pomiędzy Biblioteką Uniwersytecką, a Wydziałem Zarządzania.
