Karl Frey kam im Jugendalter nach Wien um das Handwerk des Drechsels zu lernen und arbeitete bis 1909 als Stockdrechslergehilfe. Bereits damals engagierte er sich gewerkschaftlich und wurde 1909 Beamter der Algemeinen Arbeiterkrankenkasse. Von 1919 bis 1934 war er Bezirksvorsteher des damaligen 14. Bezirks Rudolfsheim. In dieser Zeit entstanden zahlreiche Gemeindebauten und sonstige kommunale Einrichtungen.

Die in den Jahren 1953 bis 1955 nach Plänen von Alois Brunner, Karl Eckenstorfer, Norbert Mandl und Anton Potyka errichtete städtische Wohnhausanlage, 15., Hütteldorfer Straße 81a, wurde Karl-Frey-Hof benannt.