Der Sohn eines Baupoliers erlernte den Beruf des Mechanikers und schloss sich bereits 1919 der Sozialdemokratischen Arbeiterpartei an. 1921 wurde Josef Wiedermann als jüngstes Mitglied in den Döblinger Bezirksvorstand gewählt.

1934 wegen seiner Teilnahme an den Februarkämpfen vorübergehend inhaftiert, wurde Wiedermann anschließend strafweise aus dem Gemeindedienst entfernt.

Nach Kriegsende – Wiedermann war 1940 zur Wehrmacht eingezogen worden – beteiligte er sich am Wiederaufbau der Bezirksorganisation Döbling und wurde 1946 in den Wiener Gemeinderat gewählt, dem er bis zu seinem Tod angehörte. Daneben war Josef Wiedermann auch am Aufbau der Volkshilfe maßgeblich beteiligt.

Der in den Jahren 1967 bis 1969 errichtete Wiedermannhof, 19., Billrothstraße 32, wurde 1985 nach ihm benannt.