Rudolf Scholten war bereits während seines Studiums der Volkswirtschaft und der Rechte in der Österreichischen Kontrollbank tätig und befasste sich hier v.a. mit internationaler Finanzierung.

Von 1984 bis 1986 arbeitete Scholten als wirtschaftspolitischer Sekretär des damaligen Bundesministers für Finanzen, Franz Vranitzky, und nach dessen Ernennung zum Bundeskanzler im Jahr 1986 als wirtschafts- und kulturpolitischer Berater des Kabinetts.

Von 1988 bis 1990 war Rudolf Scholten vorübergehend Generalsekretär des Österreichischen Bundestheaterverbandes; 1990 wurde er von Vranitzky als Bundesminister für Unterricht, Kunst und Sport (bis 1991, ohne Sportagenden bis 1994) in die Regierung geholt und wechselte 1994 ins Bundesministerium für Wissenschaft und Forschung (bis 1996, seit 1995 mit Kunstagenden) bzw. für Wissenschaft, Verkehr und Kunst (1996/97).

Nach seinem Ausscheiden aus der Regierung wurde Scholten 1997 Vorstandsmitglied der Österreichischen Kontrollbank. Seit 2004 ist er außerdem Präsident des "Bruno-Kreisky-Forums für internationalen Dialog".