庄内藩の町奉行加賀山平助安縄の四男として酒田で生まれる。通称を衛士、字を季和と称し、東里・桃李と号した。若い頃、母の実家を継いだ犬塚男右衛門盛傅とともに、水野元朗に入門して儒学を学び、頭角を現して庄内藩の双璧と称された。元文元年、加賀山入大夫の嫡子伊織の後見養子となり、高三百石の家督を継ぐ。寛保二年御使番となって江戸に上り、太宰春台に師事、また松崎観海と交わって研鑽を重ねた。宝暦三年支藩松山藩の世子忠起の守役となったが、翌年御家騒動にからんで藩主忠休から辞職を命ぜられ、江戸で勉学に恵念。同七年側用人となり、五代藩主忠寄の老中在任中はその公用人を勤めた。明和五年伊織に家督を譲って別家となり、特命により三十人扶持を給され、寺社奉行を兼ねる。安永二年奥頭役に転じ、新知二百石を給される。同五年、酒井氏が江戸城大手門の警衛を命ぜられた時、その番頭を勤め、たびたびの加増によって三百五十石となる。寛猛は謹直・節倹で、行いも正しく、人々から君子人と敬われていた。大手番頭を勤めていた頃、幕臣たちは押し借りなどの貪欲な振る舞いが多く、嫌われていたが、寛猛だけは常に公正な態度で接したので、幕臣もあえて不正行為を慎んだという。また髪の元結も藁を用いていたという。庄内藩で徂徠学を異端視していた人々も、寛猛の言行一致の態度に心服し、次第にこれを信ずるようになったという。その後、徂徠学は門人の白井矢太夫によって受け継がれ、藩校致道館の創設に至って藩学として定着。老後は茶を点じ、謡や舞いを学んで余生を送った。天明七年七月二十九日に六十六歳で没した。伊織の後見という立場から生涯妻帯せず、甥の深蔵を養子とした。著書として漢詩集『餐霞楼集』を始め、『江泉記聞』『可順記聞』『祭祀家礼』などがある。(庄内人名事典)
　墓碑銘は「桃李加賀山君墓」