Der Sohn eines Eisenbahners war gelernter Kupferschmied und gehörte seit 1917 der Gewerkschaft und seit 1919 der Sozialdemokratischen Arbeiterpartei an. 1920 trat Josef Kohl in den Dienst der Wiener Gaswerke.

Im Februar 1934 kämpfte er als Schutzbundkommandant, wurde verhaftet, zum Tode verurteilt, und später zu 15 Jahren schweren Kerkers begnadigt. Da er – trotz Amnestierung – immer wieder verhaftet und von der Polizei schikaniert wurde, konnte er erst 1945 wieder an seinen Arbeitsplatz zurückkehren. Im Gaswerk Leopoldau, an dessen Wiederaufbau er führend beteiligt war, wurde Kohl zum Betriebsratsobmann gewählt.

Von 1945 bis 1960 war Josef Kohl Obmannstellvertreter der SPÖ-Floridsdorf, von 1946 bis 1954 Bezirksrat, und von 1954 bis 1964 Mitglied des Wiener Gemeinderates.

Der Genossenschaftsbau, 21., Siemensstraße 14, wurde 1979 Josef-Kohl-Hof benannt.