Der Sohn von Anton Afritsch war Gartentechniker und arbeitete im Dienste der Stadt Wien. 1942 wurde er wegen seiner Gesinnung entlassen, verhaftet und zu zwei Jahren Zuchthaus verurteilt. Afritsch gelang es jedoch, unterzutauchen und das Kriegsende als "U-Boot" bei Freunden abzuwarten.

Josef Afritsch gehörte von 1945 bis 1959 dem Wiener Gemeinderat und von 1962 bis 1964 dem Nationalrat an. Von 1945 bis 1959 war er Amtsführender Stadtrat für allgemeine Verwaltungsangelegenheiten, von 1959 bis 1963 Bundesminister für Inneres. Afritsch, der auch Präsident der Volkshilfe war, fungierte zuletzt als Regierungskommissär für die Wiener Internationale Gartenschau 1964. Die in den Jahren 1963 bis 1965 errichtete Genossenschaftswohnanlage, 13., Elisabethallee 81-95, erhielt den Namen Josef-Afritsch-Wohnhausanlage. Das 1965 als Gästehaus der Volkshilfe errichtete Josef-Afritsch-Heim, 13., Hörndlwald, wurde im Sommer 2013 abgetragen.