300石の庄内藩士で陸軍少佐の林秀芳の長男として鶴岡鷹匠町に生れる。庄内藩砲術師範林源大兵衛は祖父。明治29年(1896)朝暘高等小学校を卒業し上京、番町小学校を経て明治31年東京地方幼年学校に入学、明治37年10月陸軍士官学校第16期歩兵科を卒業し、11月少尉に任官した。。明治40年12月中尉、明治43年から約一年間帝政ロシアのモスコーに留学、帰国後参謀本部出仕。大正1年(1912)12月から1年間神戸の大谷塾で蒙古語を研究。大正3年8月大尉となりハルビン特務機関付、その後イルクーツク特務機関長を経て大正8年)帰国。大正9年尼港事件が起こるとサガレンに出征、大正10年7月少佐、大正11年帰国、翌12年甘粕大尉事件軍法会議の判士となる。大正13年満州軍閥張作相の軍事顧問、翌大正14年8月中佐、昭和6年(1931)8月大佐に進んで金沢歩兵第7連隊長となる。翌7年上海事変が勃発すると2月動員され、揚子江河口ウースンに上陸、上海近郊で戦死した。享年47。即日少将に進級。功3級。戦後軍神として著名になる。2.26事件の決起将校林八郎は大八の次男。伝記に歩7将校団『噫軍神林連隊長』)がある。(庄内人名事典、陸海軍人名事典など)
　墓碑銘は「陸軍少将　従四位勲三等功三級　林大八墓」(東京都)・「陸軍少将林大八墓」（鶴岡市）