Zachowało się niewiele informacji na temat jego życia prywatnego. Urodził się w katolickiej rodzinie w Bawarii. Po ukończeniu szkoły pracował w hucie żelaza. W okresie, gdy był już zaangażowany w służbę w SS, ożenił się i miał dwoje dzieci. W 1926 roku, mając 21 lat, przywdział brunatną koszulę, wstępując do SA (z niem. Sturmabteilung), czyli oddziałów szturmowych NSDAP. W Weiden, skąd pochodził, tworzył wraz z przyjaciółmi lokalne struktury SA i Hitlerjugend. Był jednym z pierwszych członków NSDAP. Jednocześnie rozpoczął studia z elektrotechniki, które ukończył w 1930 roku. Pracował jako asystent w szkole, jednak został z niej po pewnym czasie zwolniony.
Weiss postanowił związać swoją przyszłość z SS. Wstąpił do tej organizacji w 1932 roku. Biorąc pod uwagę przebieg jego kariery, można domyślać się, że podobnie jak wielu późniejszych komendantów obozów koncentracyjnych, wstąpił do Oddziałów Trupiej Czaszki – SS-Totenkopfverbände, organizowanych przez Theodora Eickiego. Wiosną 1933 r. został strażnikiem w obozie koncentracyjnym Dachau. Kilka miesięcy później, dzięki swojemu specjalistycznemu wykształceniu, został w tym samym obozie, na ponad 5 lat, inżynierem, a następnie adiutantem kolejnych komendantów Dachau – Hansa Lortiza i Alexa Piotrowskiego.
Martin Weiss musiał zostać doceniony za swoje usługi dla III Rzeszy podczas swojej służby w Dachau, gdyż już po wybuchu II wojny światowej polecono mu zorganizowanie obozu koncentracyjnego Neuengamme. W Neuengamme prowadzono testy cyklonu B w celu możliwości wykorzystania tego środka na więźniach. Martin Weiss otrzymał również zadanie rozbudowy obozu koncentracyjnego Arbeitsdorf, do którego przeniesiono ok. 800 więźniów z Neuengamme. Obóz ten powstał koło Wolfsburga, a więźniowie mieli stanowić tam tanią siłę roboczą przy budowaniu nowego, taniego i dostępnego dla wszystkich Niemców samochodu Volkswagen. W tym czasie Weiss pełnił jednocześnie władze nad oboma obozami.
Oswald Pohl, szef Głównego Urzędu Gospodarczo-Administracyjnego SS, chciał, aby warunki więźniów w obozach uległy poprawie. Nie robił tego z pobudek moralnych, uważał bowiem, że dzięki lepszym warunkom więźniowie będą dłużej żyć, a co za tym idzie – niemiecki przemysł będzie mógł dłużej korzystać z nich jako darmowej siły roboczej. Dlatego, gdy w 1942 roku Weiss otrzymał stanowisko komendanta obozu Dachau, został mocno skrytykowany przez Pohla za warunki panujące w obozie. Weiss dostosował się do poleceń Pohla, jednak terror w obozie panował dalej. Gdy Weiss pełnił funkcję komendanta od 1942 do końca 1943 roku, wykonano kilkadziesiąt wyroków śmierci. Podczas powojennego procesu załogi obozu Dachau Weiss tłumaczył, że były to wyroki śmierci na więźniach Gestapo, które wykonywano na rozkaz Himmlera.
Z tego okresu, gdy Weiss był pierwszy raz komendantem Dachau, pochodzą relacje mówiące, że w obozie warunki poprawiły się. Zakazano m.in. bicia, zezwolono na przysyłanie więźniom paczek żywnościowych.
Weiss został skierowany do obozu w Lublinie dzień po masakrze, tzw. Aktion Erntefest, gdy 3 listopada na Majdanku jednego dnia zamordowano ponad 17 tys. osób. Weiss wziął na siebie obowiązek opanowania sytuacji po masakrze. Martin Weiss dowodził Majdankiem do kwietnia 1944 roku.
Następnie skierowano go do podobozu Muhldorf, gdzie powstały sztolnie Luftwaffe wykorzystujące pracę więźniów. W obliczu załamania się frontu i zbliżania się Amerykanów Weiss, który znalazł się ponownie w Dachau, miał rzekomo namawiać do poddania obozu Aliantom, negując rozkazy Himmlera o spaleniu obozu i zatarciu wszystkich śladów zbrodniczej działalności. Jednak dzień przed wkroczeniem Amerykanów Weiss uciekł z Dachau. Dzień później został aresztowany w Monachium.
Podczas procesu załogi Dachau, który miał miejsce na przełomie listopada i grudnia 1945 roku, Weiss został uznany winnym zbrodni przeciwko ludzkości za czyny popełnione podczas sprawowania funkcji komendanta Dachau i pozostałych obozów. Skazano go na śmierć, a wyrok wykonano 29 maja 1946 r.
