Erwin Weiss studierte u. a. beim bekannten österreichischen Komponisten und Musikpädagogen Joseph Marx. Er engagierte sich schon früh in der sozialistischen Bewegung, leitete den Jugendchor Favoriten und war musikalischer Betreuer bei den Roten Spielern, wo er auch Jura Soyfer kennenlernte.

1938 musste er Österreich verlassen und kam auf Umwegen nach Großbritannien, wo er zunächst auf der Isle of Man interniert wurde. Bereits im Exil war er Leiter des Chores der überparteilichen Emigrantenhilfsorganisation „Young Austria“.

1945 kehrte Weiss nach Wien zurück und arbeitete ab 1946 als Lehrer im Wiener Konservatorium, von 1960 bis 1978 als dessen Leiter. Erwin Weiss widmete sich viele Jahrzehnte lang den Chören der Sozialistischen Jugend und der Gewerkschaftsjugend, später der Chorvereinigung des ÖGB.

Die Pflege des Arbeiterliedes war dem Komponisten und Musikpädagogen, der auch etliche Texte des Arbeiterdichters Luitpold Stern vertonte, ein besonders Anliegen. Der ÖGB ehrte Weiss mit seiner höchsten Auszeichnung, der Johann-Böhm-Plakette, sowie mit dem Luitpold-Stern-Preis.