Nach einer Lehre als Werkzeugmacher absolvierte Rudolf Nürnberger die dreijährige Gewerkschaftsschule und die Sozialakademie. Nürnberger, der von 1963 bis 1972 als Werkzeugmacher in einem Wiener Metallbetrieb arbeitete, war von 1960 bis 1966 als Funktionär der österreichischen Gewerkschaftsjugend und von 1966 bis 1972 als Betriebsrat bzw. Betriebsratvorsitzender tätig.

1972 wurde Nürnberger Sekretär der Gewerkschaft Metall-Bergbau-Energie, 1980 ihr Zentralsekretär. 1988 stieg Nürnberger, der seit 1987 auch Vizepräsident des ÖGB ist, zum Vorsitzenden seiner Gewerkschaft und zugleich zum Vorsitzenden der ÖGB-Bundesfraktion auf.

Rudolf Nürnberger, der von 1973 bis 1983 als Bezirksrat der SPÖ-Brigittenau tätig war, wurde 1983 in den Bundesrat entsandt und im Jahr darauf in den Nationalrat gewählt, dem er bis 2004 angehörte. Von 1987 bis 2000 war Nürnberger stellvertretender Vorsitzender der SPÖ-Brigittenau, von 1997 bis 2006 auch Mitglied im Bundesparteivorstand.