Das größte KZ auf österreichischem Gebiet wurde 1938 in Mauthausen errichtet. Die Voraussetzungen dafür wurden mit dem Erwerb von Liegenschaften bzw. durch die Pachtung von Steinbrüchen, die sich im Besitz der Stadt Wien befanden, durch die SS-Firma "Deutsche Erd- und Steinwerke GmbH" im April 1938 geschaffen. Der in den Mauthausener Steinbrüchen gewonnene Granit sollte u.a. bei der Errichtung der in Linz geplanten Monumentalbauten Verwendung finden.

Anfang August 1938 traf der erste Transport von Dachauer KZ-Häftlingen zum Aufbau des KZ-Mauthausen ein. In der Folge waren Männer, Frauen, Jugendliche und Kinder aus ganz Europa in Mauthausen inhaftiert. Arbeitsunfähige Personen wurden auf verschiedenste Weise getötet (u.a. durch "medizinische Versuche" und Giftgas), viele verhungerten oder kamen in den Steinbrüchen zu Tode. Insgesamt starben mehr als 100.000 Mauthausener Häftlinge, ein Teil davon in der Euthanasie- und Vergasungsanstalt in Schloss Hartheim bei Eferding.

Mauthausen war das einzige KZ der sogenannten Lagerstufe III (Übergang zwischen Konzentrations- und Vernichtungslager) in Österreich. Von seinen 49 Nebenlagern arbeiteten die meisten der Rüstungsindustrie zu, darunter Ebensee (Stollenbau für Raketen- und Entwicklungswerk, Destillationsanlagen, Kugellagerproduktion), Gusen (u.a. Steinbruch- und Stollenbauarbeiten, Flugzeugfertigung), Melk (u.a. Stollenbau, Kugellagererzeugung), St. Valentin (Panzerbau), Wiener Neustadt (Herstellung von V-Waffenteilen) und Schwechat (Flugzeugbau).

Seit 1947 ist das ehemalige KZ-Mauthausen eine Mahn- und Gedenkstätte, in der 1970 auch ein Museum eingerichtet wurde.

KZ-ähnlich waren die sogenannten "Arbeitserziehungslager", in die "arbeitsunwillige", "arbeitsvertragsbrüchige" und andere "asoziale Elemente" eingewiesen und zur Zwangsarbeit angehalten wurden. Einige von ihnen, wie die "Zigeunerlager" Lackenbach und Salzburg-Maxglan, dienten als Zwischenlager vor der endgültigen Verschickung in die Vernichtungslager Osteuropas.

Im Zuge der großangelegten Deportation jüdischer Bürger im Februar 1941 in die Ghettos und Vernichtungslager Osteuropas gab es auch in Wien mehrere Sammellager. Bereits wesentlich früher war in der Schule in der Karajangasse 14–16 im 20. Bezirk eine Sammelstelle für die von der Gestapo verhafteten Personen eingerichtet worden. Unter diesen Häftlingen befanden sich u.a. der spätere Bundeskanzler Bruno Kreisky und der Künstler und Schriftsteller Fritz Grünbaum (Gedenktafel).
 

Da mit zunehmender Kriegsdauer der Mangel an Arbeitskräften immer größer wurde, ersuchte der Bürgermeister von Wien, SS-Brigadeführer Hans Blaschke, im Juni 1944 den Chef des Sicherheitsdienstes der SS Ernst Kaltenbrunner um die Bereitstellung von ungarischen Juden für "kriegswichtige" Betriebe. Im Zuge dieser Aktion wurden auch in Wien mehrere Internierungslager errichtet.

Auf dem Gelände des Gemüsegroßmarktes befand sich vom 20. August 1944 bis zum 2. April 1945 das KZ-Nebenlager Saurer-Werke ("Wien–West"), und in unmittelbarer Nähe war vom Juni 1944 bis April 1945 ein Arbeitslager für ungarische Juden untergebracht. Ein Mahnmal Ecke Haidestraße / Orionstraße im 11. Bezirk erinnert daran.

In der Hackengasse 11 im 15. Bezirk erinnere eine Gedenktafel daran, dass in diesem Haus zwischen Juni 1944 und April 1945 etwa 500 ungarische Juden, darunter auch zahlreiche Kinder, interniert waren, die von den Nationalsozialisten als Arbeitssklaven verschleppt wurden, und von denen viele an den erlittenen Entbehrungen und Misshandlungen starben.

Seit 2003 gibt es für die ungarischen jüdischen Zwangsarbeiter noch ein zweites Mahnmal in Wien: unmittelbar vor dem Simmeringer Gasometer wurde, stellvertretend für alle anderen, eine Straße nach Rosa Fischer benannt, die mit 112 Leidensgefährten im Gaswerk Simmering Zwangsarbeit leisten musste und am 24. August 1944 starb.