Johann Holzer gehörte seit seiner Jugend der sozialdemokratischen Bewegung an, trat 1923 der SDAP bei, war von 1927 bis 1934 im  Republikanischen Schutzbund aktiv und wurde 1934 inhaftiert. Ab 1937 war er im Österreichischen Creditinstitut tätig.

1945 beteiligte sich Johann Holzer am Aufbau des ÖGB und insbesondere an der gewerkschaftlichen Organisation der österreichischen Bankbeamten. Er war von 1948 bis 1967 Bezirksrat in Simmering und Klubobmann der sozialistischen Bezirksräte, und von 1952 bis 1972 stellvertretender Bezirksobmann der SPÖ-Simmering.

Holzer beendete seine berufliche Laufbahn als Generaldirektor-Stellvertreter der CA.

Der in den Jahren 1960/61 errichtete Johann-Holzer-Hof, 11., Simmeringer Hauptstraße 106-108, wurde ebenso nach ihm benannt wie die Holzergasse (1996) in Simmering.