Der in Kranichfeld bei Weimar geborene Arztsohn verbrachte Kindheit, frühe Jugend und seine letzten zwanzig Lebensjahre in Meiningen. Eine naturwissenschaftliche Laufbahn anstrebend, studierte Baumbach von 1860 bis 1864 entsprechende Disziplinen an den Universitäten Leipzig und Würzburg.
Nach seiner Promotion in Heidelberg wurde er 1864 Assistent am Botanischen Institut Freiburg i. Br. Finanzielle Probleme bereiteten dieser Laufbahn ein Ende, und in den Jahren darauf fand sich Dr. Baumbach als „fahrender Gesell“ – d.h. Privatgelehrter ohne feste Anstellung – auf den Straßen Süddeutschlands und Österreichs wieder.
1870 ließ er sich als Hauslehrer in Triest nieder. Dort engagierte sich der begeisterte Bergwanderer literarisch für den Alpenverein. Auf diesem Umweg wurde sein dichterisches Talent entdeckt. 1877 gelang Baumbach der internationale Durchbruch mit dem Versepos „Zlatorog“.
Auf die sagenhafte Gämse mit dem Goldgeweih verweisen mehrere Exponate im Meininger Literaturmuseum Baumbachhaus. Im Jahr darauf erschien sein erster Gedichtband „Lieder eines fahrenden Gesellen“, 1880 der erste Prosaband „Sommermärchen“.