Urodził się w Völlen, przy granicy z Holandią. W 1931 r., w wieku 19 lat, wstąpił do NSDAP, a trzy lata później zasilił szeregi SS. Bardzo szybko został przydzielony do służby w obozie koncentracyjnym. Najpierw był to obóz Esterwegen, a następnie podberliński obóz Sachsenhausen. Niewiele wiemy o jego służbie w tych miejscach. Wiadomo jednak, że w 1941 r. przydzielono go do akcji „T4” –operacji mordowania osób niepełnosprawnych i psychicznie chorych. Został wtedy skierowany do ośrodka w Bambergu, gdzie pracował w krematorium przy paleniu zwłok.
Jego kariera nabierała rozpędu. Gdy przeprowadzano akcję Reinhardt na terenie Generalnego Gubernatorstwa, Johan Niemann został skierowany do okupowanej Polski, gdzie powstawały nowe ośrodki zagłady. Młody esesman trafił najpierw do Bełżca, gdzie dopiero organizowano obóz nr II, będącym strefą eksterminacji, tj. miejscem, gdzie znajdowały się komory gazowe i masowe groby. Niemann pozostawał w bliskich relacjach z komendantem obozu Christianem Wirthem, co mogło być powodem przeniesienia go do obozu w Sobiborze. Tam Johan Niemann został zastępcą komendanta. Wiosną 1943 r. otrzymał awans na stopień Untersturmführera (porucznika SS).
W dniu, w którym wybuchł bunt w obozie, Johan Niemann był najwyższym rangą oficerem, dlatego stał się pierwszym celem do zlikwidowania przez więźniów. Został zwabiony przez Żydów z grupy zajmującej się sortowaniem ubrań po zamordowanych do szopy, w celu przymiarki skórzanej kurtki, którą dla niego odłożono. Gdy wszedł do środka, Aleksander Szubajew, żydowski żołnierz z Armii Czerwonej, zabił go uderzeniem siekiery w głowę.
Wiele lat po wojnie, w 2015 roku, rodzina Niemanna odnalazła dwa albumy z wykonanymi przez niego zdjęciami. Wśród zachowanych fotografii znalazły się: dokumentujące działalność obozu Esterwegen, przedstawiające udział autora w akcji „T4” oraz dotyczące obozów w Bełżcu i Sobiborze. Zbiór ten trafił do United States Holocaust Memorial Museum.