Josef Fischer entstammte einer bürgerlichen Familie, ging bei den Schulbrüdern zur Schule und besuchte anschließend die Handelsakademie. 1919 trat er ins Berufsleben ein und kam nach mehrjähriger Tätigkeit im Bankbereich 1930 zur Firma Semperit. Im selben Jahr trat er der Sozialdemokratischen Arbeiterpartei bei.
Nach Kriegsende betätigte er sich sofort wieder in der neugegründeten SPÖ des Bezirkes Hietzing und wurde in den Parteivorstand gewählt. 1954 erfolgte seine Bestellung zum Bezirksvorsteher-Stellvertreter.
Nachdem die SPÖ 1959 die Mehrheit in Hietzing erlangt hatte, wurde Fischer zum Bezirksvorsteher gewählt – eine Funktion, die er bis 1964 ausübte und in der er sich besonders darum bemühte, den Wert des 13. Bezirks als Wohngebiet ungeschmälert zu erhalten. Von 1964 bis 1969 war Josef Fischer Abgeordneter zum Wiener Gemeinderat.