実家は『おもひでぽろぽろ』にも登場する「ホテル大野屋」<(静岡県熱海市)。
慶應義塾高等学校時代、ジュニア・ライト・ミュージックを同級生だった元NHKアナウンサーの明石勇(クラリネット担当)らと結成。その後、慶應義塾大学法学部に入学。
大学在学中は名門ビッグバンド「ライトミュージックソサイエティ」に所属、鈴木"コルゲン"宏昌、佐藤允彦らと共に「慶應のピアノ三羽烏」と呼ばれた。
卒業後、藤家虹二、白木秀雄(大野のアルバム・デビューは、東芝から発売された白木秀雄クインテットでのLP『HIDEO SHIRAKI MEETS YUZO KAYAMA』)のバックを経て、自らのバンドを結成する。
1970年代から、テレビドラマや映画の劇伴やCM音楽を手がけ始めるが、その頃と時期を同じくして、当時は「ジャズロック」「クロスオーバー」の名称で呼ばれていたフュージョンのスタイルで楽曲を発表し始める。
なお、明石勇や佐藤允彦のほか、石坂浩二も慶應の同級生であり、『音楽と幻想』というアルバムをリリースしている(「犬神家の一族」の劇場公開時のパンフレットでは、石坂が大野のレコーディングスタジオを訪ねた記事が掲載されている)。