Karl Mark war der Sohn eines Eisenbahners. Nach dem Besuch des Gymnasiums studierte er einige Semester Rechtswissenschaften und wurde 1921 sozialdemokratischer Bezirkssekretär von Döbling.
Im Februar 1934 wurde Karl Mark verhaftet und verbrachte bis 1938 insgesamt zwölf Monate in Haft. Mark, der auch in der Zeit des Nationalsozialismus illegal tätig war, wurde am 11. April 1945 vom sowjetischen Bezirkskommandanten als "Burgomistr" von Döbling eingesetzt, war von 1945 bis 1970 Bezirksobmann der SPÖ-Döbling und von 1945 bis 1966 Abgeordneter zum Nationalrat.
Von 1946 bis 1948 fungierte Karl Mark außerdem als Generalsekretär des Bundes der politisch Verfolgten.
Mark gehörte dem Bundesvorstand und dem Wiener Vorstand der SPÖ an, war Gründer der VHS-Döbling und Präsident der Wiener Volksbildung. Kurz vor seinem Tod erschien ein Buch mit seinen Lebenserinnerungen: "75 Jahre Roter Hund", ein Hinweis darauf, dass Karl Mark immer ein Repräsentant einer kämpferischen Politik war.
1997 wurde im 19. Bezirk die Karl-Mark-Gasse nach ihm benannt; die hier in den Jahren 1924/25 nach Plänen von Wilhelm Peterle errichtete Wohnhausanlage, 19., Karl-Mark-Gasse 9, heißt Karl-Mark-Hof.
Und auch das Karl-Mark-Heim der SPÖ-Döbling trägt seinen Namen.
Werk: 75 Jahre Roter Hund: Lebenserinnerungen, 1990.