Die in den Jahren 1925/26 nach Plänen von Franz Kaym, Alfons Hetmanek und Hugo Gorge errichtete Wohnhausanlage mit 260 Wohnungen wurde nach dem Gewerkschaftspionier Karl Höger (1847–1913) benannt.
Der Karl-Höger-Hof weist, ähnlich wie der vom selben Architektenteam errichtete Friedrich-Engels-Hof, eine Reihe interessanter ornamentaler Details auf, u.a. auch das Kugelmotiv als Element der "Revolutionsarchitektur", das wohl dem Einfluss Hetmaneks zuzuschreiben ist.
An den leicht hervorgehobenen Fensterpartien der ansonsten glatten Fassaden finden sich eigenartige Bandverzierungen, die ebenfalls jenen am Engels-Hof ähneln. Beeindruckend ist auch das mehrfach gerahmte, zweigeschossige Monumentaltor. Der Hof enthält ein Kindertagesheim und ein Haus der Begegnung.
Am 12. Februar 1934 hatte der Schutzbund im Karl-Höger-Hof einen Verbandplatz eingerichtet. Am folgenden Tag begann der Angriff der Regierungstruppen auf die Wohnanlage und am 14. Februar mussten sich die Arbeiter den Angreifern ergeben. Im Polizeibericht wurde vermerkt, dass im Haus zwei erschossene Personen aufgefunden wurden, ein Schutzbündler und eine Frau.
Während eines Luftangriffes im Dezember 1944 wurde der Karl-Höger-Hof von 15 Bomben getroffen. Neun Hausbewohner kamen dabei ums Leben, viele wurden verletzt. Am 22. Juli 1946 enthüllte Bürgermeister Körner einen im Hof aufgestellten Gedenkstein zum Andenken an die getöteten Mieter.
Am Brunnen im Innenhof wurde im Jahr 1947 anlässlich seines 100. Geburtstages eine Gedenktafel für Karl Höger angebracht, und beim Eingang erinnert nun eine Gedenktafel auch an die in der NS-Zeit vertriebenen "Nichtarier".
Literatur: Hans und Rudolf Hautmann, Die Gemeindebauten des Roten Wien 1919–1934, 1980; Helmut Weihsmann, Das Rote Wien. Sozialdemokratische Architektur und Kommunalpolitik 1919–1934, 1985/2002; Walter Zednicek, Architektur des Roten Wien, 2009.