Namhafte Komponisten wie Ferruccio Busoni und Max Reger schufen nach seinen Versen Kunstlieder. Bekannter aber wurden die volkstümlichen Vertonungen wie "Die Lindenwirtin", "Bin ein fahrender Gesell" oder eben "Hoch auf dem gelben Wagen", vertont von dem Berliner Apotheker Heinz Höhne (1892 – 1968). In Slowenien ist Baumbachs Alpenepos "Zlatorog" in der Übersetzung von Anton Funtek noch immer populär. Seinen Landsleuten an der Werra widmete er "Das Lied vom Hütes", worin das hiesige Leibgericht, ein Kartoffelkloß, die Hauptrolle spielt. Dem "Kloßpoeten" Baumbach verdanken die Meininger übrigens ihre Hütes-Holle, die beim jährlichen Stadtfest im Mittelpunkt steht.
Die Dauerausstellung zur Meininger Literaturgeschichte ist in sechs Räumen und im Flur des Obergeschosses untergebracht. Die Räume besitzen Stubencharakter und versetzen den Besucher durch historisches Mobiliar, Tischleuchter und zeitgenössische Bilder zurück in die Zeit zwischen 1780 und 1900. Besonders sehenswert ist die wertvolle Bibliothek von Rudolf Baumbach, die auch bibliophile Kostbarkeiten aus dem 16. und 17. Jahrhundert birgt. Im Erdgeschoss befindet sich ein Vortragsraum, in dem auch kleine Sonderausstellungen gezeigt werden.