Josef Jakl war seit seinem zehnten Lebensjahr gezwungen, Geld zu verdienen, um zum Lebensunterhalt seiner Familie beizutragen. Er arbeitete als Milchausträger, verkaufte im Prater Rauchwaren und Ansichtskarten und half beim Abladen der Frachtfuhrwerke am Nordwestbahnhof. Zwischen 1914 und 1918 erlernte Josef Jakl das Buchdruckgewerbe.
Jakls Laufbahn in der sozialdemokratischen Bewegung begann 1916 in der SAJ Brigittenau. 1919 wurde er Mitglied der SDAP, wirkte ab 1925 in der Josefstädter Bezirksorganisation und war nach dem Verbot der SDAP für die Revolutionären Sozialisten tätig.
Jakl, der in der Zeit der Wirtschaftskrise die Reifeprüfung nachgeholt hatte, inskribierte 1935 an der juridischen Fakultät, wo er 1940 zum Dr. jur. promovierte. Während des Krieges war er bei der Stahl- und Temperguß angestellt. Nach 1945 leistete er Widerstand gegenüber den sowjetischen Forderungen nach Wiedergutmachung durch Einbeziehung des sogenannten "Deutschen Eigentums", wechselte 1946 in das Bundesministerium für Vermögenssicherung und Wirtschaftsplanung und wurde 1952 Vorstandsmitglied der Metall und Farben AG.
Jakl, der im selben Jahr in den Wiener Gemeinderat gewählt wurde, trat nach dem Tod Hans Winters dessen Nachfolge als Bezirksobmann der Josefstadt an.