In der Währinger Straße inmitten eines großen Parks gelegen, entstand das Schlösschen zu Beginn des 19. Jahrhunderts und kam 1831 in den Besitz des Fürsten Konstantin Czartoryski (1773–1860). 1912 erwarb die Gemeinde Wien das Areal. Der Plan, das baufällige Schlössel abzureißen und den Grund zu parzellieren, konnte wegen des Kriegsausbruches nicht mehr realisiert werden. Nach dem Ersten Weltkrieg kam es zu einer Zusammenarbeit zwischen der nunmehr sozialdemokratischen Stadtverwaltung und der Bezirksorganisation Währing.
Währinger Genossen mit Bezirksvorsteher August Klepell an der Spitze sanierten in unzähligen unbezahlten Arbeitsstunden das desolate Gebäude und den verwilderten Park. 1923 eröffnete Bürgermeister Jakob Reumann das aus den Ruinen des Czartoryskischlössels entstandene Volksjugendheim.
Die Gemeinde Wien vermietete die restlichen Räume an die Bezirksorganisation, die hier das Sekretariat und verschiedene Organisationen unterbrachte. In den folgenden Jahren fanden zahlreiche Veranstaltungen im Czartoryskischlössel statt. Der Festsaal, zu dem die ehemalige Schlosskapelle umgestaltet worden war, wurde ein Zentrum des kulturellen und geselligen Lebens im Bezirk.
1934 wurde das Schlössel beschlagnahmt und diente während des Krieges als Luftschutzkaserne. Am 7.4.1945 steckten Hitlerjungen das im Schlössel untergebrachte Benzinlager in Brand. Wenige Tage später übernahm die KPÖ das erheblich beschädigte Gebäude, brachte darin einige Organisationen unter und richtete eine Autowerkstätte ein. Hier kam es im Herbst 1945 neuerlich zu einem Brand, der weitere Schäden verursachte.
1951 wurde der Anspruch der SPÖ auf das Schlössel endlich anerkannt, doch konnte das Gebäude erst 1953 zumindest teilweise wieder in Besitz genommen werden. Im selben Jahr bezog die Währinger SPÖ das neue Arbeiterheim in der Gentzgasse 62.
Für eine Rettung des völlig heruntergewirtschafteten Czartoryskischlössels war es nun zu spät. Das Gebäude wurde abgerissen, und an seiner Stelle errichtete die Gemeinde Wien eine Volks- und Sonderschule für körperbehinderte Kinder, die am 17. Oktober 1959 eröffnet wurde.