Pochodził z Monachium, edukację zdobył w zakresie handlu. Wstąpił do Reichswehry, w której służył 12 lat, osiągnął stopień sierżanta i w 1936 roku zakończył służbę. Swoją dalszą karierę związał z SS – Ziereis zastąpił na stanowisku komendanta obozu Mauthausen Alberta Sauera, którego skierowano wraz z wybuchem wojny do okupowanej Polski, aby tam organizował przesiedlenia ludności polskiej i żydowskiej z terenów wcielonych do III Rzeszy.
Ziereis był odpowiedzialny za to, jakie warunki panowały w obozie. Więźniowie byli zmuszani do katorżniczej pracy w kamieniołomach, a ciężka praca w połączeniu ze skandalicznymi warunkami sanitarnymi, a także słabym wyżywieniem, tworzyły śmiercionośną mieszankę dla osadzonych tam ludzi. Ziereis osobiście znęcał się nad swoimi ofiarami, a następnie je mordował. W relacjach ocalonych można znaleźć informacje o tym, że pozwalał swojemu nieletniemu synowi strzelać ze strzelby do więźniów. Komendant brał również udział w uśmiercaniu ludzi w komorze gazowej, która funkcjonowała w Mauthausen od 1942 roku.
Franz Ziereis pragnął zaimponować samemu Heinrichowi Himmlerowi nie tylko zabójczą skutecznością prowadzonego przez niego obozu, ale również poprzez prowadzenie badań archeologicznych. Zdarzyło się bowiem, że jeden z polskich więźniów, Kazimierz Gelinek, podczas pracy przy budowie nasypu kolejowego natrafił na znaleziska archeologiczne, o czym poinformował władze obozu. Niemiecki Instytut Ochrony Zabytków zlecił przeprowadzenie badań, w podobozie Gusen powstało nawet muzeum obozowe, a prowadzącemu wykopaliska Gelinkowi zlecono przygotowanie monografii dotyczącej odnalezionych zabytków. Wykonano pięć egzemplarzy książki, a jedną z nich podarowano Himmlerowi, gdy odwiedził on obóz.
W obliczu zbliżającej się armii amerykańskiej w 1945 roku, Ziereis uciekł wraz z żoną oraz synem i ukrył się w górach Górnej Austrii. Został jednak odnaleziony przez Amerykanów, którzy postrzelili go kilkukrotnie, gdy próbował uciekać. Rannego Ziereisa przewieziono do Gusen, gdzie alianci założyli szpital. Były komendant obozu Mauthausen był operowany, aczkolwiek jego kondycja stale się pogarszała. Przed śmiercią udało się go przesłuchać, a amerykańskim wojskowym towarzyszyła grupka polskich więźniów, która protokołowała przesłuchanie.
Podczas swojej ostatniej „spowiedzi”, Ziereis opowiedział o zbrodniach w obozie. Przyznał się, że własnoręcznie zabijał ludzi. Stwierdził nawet:
Mimo, że wszelkie kary cielesne musiały być zatwierdzone przez Berlin, biłem często więźniów dla przyjemności.
Jednocześnie w swoich zeznaniach, które składał dobrowolnie, winę za zbrodnie w podległych mu obozach zrzucał na przełożonych. Opisywał zbrodnie w innych obozach, a także to, jak centrala obozów z Oranienburga wysyłała komendantów obozów do Sachsenhausen na szkolenia z jak najskuteczniejszego i szybkiego zabijania.
Komendant Mauthausen zmarł półtorej godziny po przesłuchaniu.