Belegt ist, dass durch einen großzügigen Umbau bereits 1838 aus einem älteren, einfachen Wirtshaus in der Brunnengasse ein vornehmes Etablissement mit Veranstaltungssaal und großem Garten wurde; 1847 kam ein Tanzsaal hinzu. Im März 1873 fand in der Gastwirtschaft "Zur Bretze" der erste "Lumpenball" – offiziell "Ball in abgetragenen Kleidern" genannt, da die Polizei hinter der Bezeichnung "Lumpenball" Verdächtiges witterte – statt.
Ende des 19. Jahrhunderts umfasste die Gastwirtschaft "Zur Bretze" noch die nebenan gelegenen Räumlichkeiten, in denen in späterer Zeit das "Alt-Wien-Kino" untergebracht war und sich heute ein Supermarkt befindet.
Am 30. April 1899 wurde in der "Bretze" der Verband der Radfahrvereine Österreichs gegründet – die eigentliche Geburtsstunde des heutigen ARBÖ. Da in diesem Lokal auch zahlreiche andere sozialdemokratische Veranstaltungen und Zusammenkünfte stattfanden – legendär waren die Vereinsgründungen des umtriebigen Franz Schuhmeier –, war es allgemein bald als "Zur roten Bretze" bekannt. So will es jedenfalls die Lokalgeschichte.