Der Sohn eines Klaviertischlers und einer Fabrikarbeiterin wurde zunächst Weber-Lehrling. Nach dem Militärdienst kehrte er nach Brünn zurück und übernahm 1892 die Verwaltung des Wochenblattes der Partei, des "Volksfreund". Anschließend in der Brünner Bezirkskrankenkasse tätig, gelangte Eldersch zunächst in den Brünner Gemeinderat, dann in den mährischen Landtag.

Matthias Eldersch war von 1901 bis 1911 Reichsratsabgeordneter, ab 1911 Reichskommissar der Krankenkassen, 1919/20 Staatssekretär für Inneres und Unterricht, von 1919 bis 1923 Mitglied des Gemeinderates der Stadt Wien, von 1919 bis 1931 Mitglied der Konstituierenden Nationalversammlung bzw. Abgeordneter zum Nationalrat, außerdem Präsident und Direktor der Hammerbrotwerke, Vorstandsmitglied der Arbeiterbank und Mitglied des Parteivorstandes.

Der wegen "politischer Delikte" wiederholt vorbestrafte sozialdemokratische Politiker hat sich besonders um die Entwicklung der Krankenkassen und der Sozialgesetzgebung in Österreich und um die Errichtung der Arbeitergenossenschaften verdient gemacht; außerdem war er maßgeblich am Aufbau der Arbeiterbüchereien und der Laienspielbewegung beteiligt.

Eldersch verkörperte wie kaum ein zweiter Politiker den Aufstieg der Arbeiterklasse: Als mittelloses Arbeiterkind hatte er seine Laufbahn begonnen, als Präsident des Nationalrates (1920 und 1923–1930 Zweiter Präsident, 1930–1931 Erster Präsident) bekleidete eines der höchsten Ämter der Republik.

Matthias Elderschs Leichnam wurde am 23. April 1931 vor dem Parlament aufgebahrt, die Trauerfeierlichkeiten von der RAWAG übertragen. Am späten Nachmittag fand die Kremation statt.

Die in den Jahren 1931/32 von Ludwig Davidoff errichtete Wohnhausanlage der Gemeinde Wien am Elderschplatz (seit 1933) im 2. Bezirk wurde Elderschhof benannt.