Szkolił się na wartownika, a pierwszy przydział otrzymał w 1934 roku, do Dachau. Szybko awansował w kolejnych obozach – Sachsenhausen i Mauthausen. W przededniu II wojny światowej był adiutantem samego komendanta obozu – Franza Ziereisa. Kolejne doświadczenie zdobywał na takim samym stanowisku w Auschwitz, przypatrując się, jak zarządza obozem Rudolf Höß.
Kolejne szkolenia przyniosły mu awans na kierownika (Schutzhaftlagerführera), a następnie komendanta obozu. Te funkcje pełnił w Natzweiler-Struthof, czyli jedynym obozie koncentracyjnym na terenie obecnej Francji, a następnie przez kilka miesięcy w Auschwitz II – Birkenau. W tym pierwszym osobiście nadzorował mordowanie kilkudziesięciu osób w komorach gazowych, których ciała preparowano dla Augusta Hirta, naukowca na Uniwersytecie w Strassburgu. W Birkenau nadzorował m.in. wymordowanie 400 tys. węgierskich Żydów. Świadkowie twierdzili, że brał aktywny udział w selekcji na rampie kolejowej, decydując o życiu i śmierci przybyłych do obozu, czasami osobiście mordował więźniów. Jak wspominała Olga Lengyel, pisarka ocalona z Auschwitz, Kramer podczas selekcji na rewirze (szpitala) obozu kobiecego:
(…) rozbił czaszkę więźniarki za pomocą kija.
Za swoje zasługi w grudniu 1944 roku został przeniesiony do obozu Bergen-Belsen na stanowisko komendanta. Przebywało tam wtedy ok. 15 tys. osób, jednak trafiali do niego kolejni więźniowie z tzw. marszów śmierci, które były organizowane z obozów ze wschodu. W ten sposób liczba osób w Bergen-Belsen zwiększyła się czterokrotnie. Warunki w obozie były tragiczne – brakowało żywności, nie było lekarstw. Ponadto, wybuchały epidemie, m.in. tyfusu i dyzenterii, a więźniowie umierali z pragnienia, choć obóz był oddalony od rzeki zaledwie o 400 metrów. Z tych powodów dziennie umierało 200-300 osób. Jego rządy były tak brutalne, że zyskał miano „bestii z Bergen-Belsen”. Kramer brał udział w ulubionym „sporcie” załogi w obozie, którym było strzelanie do głodujących więźniów, którzy chodzili w pobliżu kuchni. W ostatnich tygodniach, kiedy Kramer wiedział, że Alianci wkroczą do Bergen-Belsen, próbował zmienić podejście do więźniów z nadzieją, że nie zostanie aresztowany.
Obóz wyzwolono 15 kwietnia 1945 r. Kramer nie uciekł, lecz poddał się Brytyjczykom. Proces przeciw niemu oraz załodze obozu rozpoczął się we wrześniu 1945 r. W jego trakcie Kramer przyznał, że zmuszał Żydów do wchodzenia do komór gazowych na rozkaz Himmlera. Twierdził również, że nie mógł zignorować rozkazów, lecz nie uważał też, że ich zabicie to przestępstwo.
17 listopada 1945 r. został skazany na śmierć przez powieszenie, wyrok wykonano 13 grudnia.