Über sein Privatleben sind nur wenige Informationen überliefert. Er wurde in einer katholischen Familie in Bayern geboren. Nach dem Schulabschluss arbeitete er in einer Eisenhütte. Als er sich zum Dienst in der SS verpflichtete, hatte er bereits geheiratet und zwei Kinder bekommen. 1926, im Alter von 21 Jahren, trat er im braunen Hemd in die SA (Sturmabteilung) der NSDAP ein. In seiner Heimatstadt Weiden bildete er mit Freunden lokale SA- und Hitlerjugend-Strukturen. Er war eines der ersten Mitglieder der NSDAP. Zur gleichen Zeit begann er ein Studium der Elektrotechnik, das er 1930 abschloss. Er arbeitete als Assistent an der Schule, wurde aber nach einiger Zeit wieder entlassen.
Weiss beschloss, seine Zukunft an die SS zu binden. Er trat 1932 in die Organisation ein. Der Verlauf seiner Karriere lässt vermuten, dass er, wie viele spätere KZ-Kommandanten, den von Theodor Eicke organisierten SS-Totenkopfverbänden beitrat. Im Frühjahr 1933 wurde er Wachmann im Konzentrationslager Dachau. Einige Monate später wurde er dank seiner speziellen Ausbildung für mehr als fünf Jahre Ingenieur im selben Lager und dann Adjutant der späteren Dachauer Kommandanten Hans Lortiz und Alex Piotrowski.
Martin Weiss muss während seiner Dienstzeit in Dachau für seine Verdienste um das Dritte Reich anerkannt worden sein, denn bereits nach Ausbruch des Zweiten Weltkriegs wurde er mit der Organisation des Konzentrationslagers Neuengamme beauftragt. In Neuengamme wurde Zyklon B für einen möglichen Einsatz an Häftlingen getestet. Martin Weiss wurde auch mit dem Ausbau des Konzentrationslagers Arbeitsdorf betraut, in das 800 Häftlinge aus Neuengamme verlegt wurden. Dieses Lager wurde in der Nähe von Wolfsburg errichtet, und die Häftlinge dort sollten billige Arbeitskräfte für den Bau des neuen Volkswagen–Autos zur Verfügung stellen, das billig und für alle Deutschen erhältlich war. Zu dieser Zeit war Weiss gleichzeitig für beide Lager zuständig.
Oswald Pohl, Leiter des SS–Wirtschafts– und Verwaltungshauptamtes, wollte die Bedingungen für die Häftlinge in den Lagern verbessern. Er tat dies nicht aus moralischen Gründen, sondern weil er glaubte, dass bessere Bedingungen dafür sorgen würden, dass die Häftlinge länger lebten und die deutsche Industrie sie daher länger als kostenlose Arbeitskräfte einsetzen konnte. Als Weiss 1942 zum Kommandanten des Lagers Dachau ernannt wurde, wurde er daher von Pohl wegen der Zustände im Lager heftig kritisiert. Weiss befolgte die Befehle Pohls, doch der Terror im Lager ging weiter. Als Weiss von 1942 bis Ende 1943 als Kommandant fungierte, wurden Dutzende von Todesurteilen vollstreckt. Während des Nachkriegsprozesses gegen das Dachauer Lagerpersonal erklärte Weiss, dass es sich dabei um Todesurteile gegen Gestapo–Häftlinge handelte, die auf Befehl Himmlers vollstreckt wurden.
Aus dieser Zeit, in der Weiss erster Kommandant von Dachau war, stammen Berichte, wonach sich die Bedingungen im Lager verbessert hatten. Unter anderem wurden Schläge verboten, und es wurde erlaubt, den Häftlingen Lebensmittelpakete zu schicken.
Weiss wurde am Tag nach dem Massaker, der so genannten Aktion Erntefest, in das Lager Lublin geschickt, als am 3. November in Majdanek an einem einzigen Tag mehr als 17.000 Menschen ermordet wurden. Weiss übernahm die Aufgabe, die Situation nach dem Massaker zu kontrollieren. Martin Weiss war bis April 1944 Kommandant von Majdanek.
Danach wurde er in das Außenlager Muhldorf versetzt, wo mit Hilfe von Häftlingsarbeitern Drifts der Luftwaffe eingerichtet wurden. Angesichts des Zusammenbruchs der Front und des Herannahens der Amerikaner drängte Weiss, der sich wieder in Dachau befand, angeblich auf die Übergabe des Lagers an die Alliierten und verweigerte Himmlers Befehl, das Lager zu verbrennen und alle Spuren krimineller Aktivitäten zu beseitigen. Am Tag vor dem Einmarsch der Amerikaner konnte Weiss jedoch aus Dachau fliehen. Einen Tag später wurde er in München verhaftet.
Beim Prozess gegen das Dachauer Personal, der im November/Dezember 1945 stattfand, wurde Weiss wegen Verbrechen gegen die Menschlichkeit für schuldig befunden, die er während seiner Amtszeit als Kommandant von Dachau und den anderen Lagern begangen hatte. Er wurde zum Tode verurteilt, und das Urteil wurde am 29. Mai 1946 vollstreckt.
