第21回（令和7年度）野口研究奨励賞
受賞者
伊東 燦
東北大学 電気通信研究所 助教
対象論文
タイトル：Do We Really Need Permutations? Impact of Model Width on Linear Mode Connectivity
著者名：Akira Ito, Masanori Yamada, Daiki Chijiwa, Atsutoshi Kumagai
掲載論文誌名：The Fourteenth International Conference on Learning Representations
出版年月日：2026年1月26日
研究の概要
近年、大規模言語モデル（LLM）をはじめとする深層ニューラルネットワーク（DNN）の発展により、さまざまなタスクに特化したモデルが数多く開発されている。これに伴い、複数のモデルが持つ知識や機能を一つのモデルへ統合するモデルマージ技術が注目されている。モデルマージが実現できれば、複数のモデルの能力を、一つのモデルに集約できるため、計算コストを抑えながら高性能なAIを構築できる可能性がある。一方で、現在広く用いられているモデルマージは、同じ事前学習済みモデルをもとにファインチューニングされたモデル同士など、学習過程の一部を共有したモデルを対象とする場合に有効であることが報告されている。異なる初期値から独立に学習されたモデルでは、内部のパラメータの対応関係が大きく異なるため、単純に統合しても性能が低下してしまう。本研究では、この問題に対してDNNのモデル幅に着目し、モデル幅を広げるだけで独立に学習されたモデル同士が自然に統合しやすくなることを実験的に明らかにした。さらに、その要因をモデルパラメータの性質から解析した。本研究の成果は、DNNの学習過程に対する理解を深めるとともに、独立に開発されたAIモデルを統合するための基礎的知見を与えるものである。
受賞の感想
この度は、野口研究奨励賞という名誉ある賞を頂き、大変光栄に存じます。情報処理学会東北支部の皆様ならびに選考に携わられた皆様に、心より感謝申し上げます。本研究は、私がNTTに入社してから取り組んだ研究です。博士課程では主にハードウェアセキュリティ分野の研究に取り組んでおり、入社後、異なる研究分野に挑戦するにあたって多くの難しさがありました。そのような中、本研究を進めるにあたり多大なるご協力を頂きました山田真徳氏、熊谷充敏氏、千々和大輝氏に深く感謝いたします。また、新しい研究分野に挑戦することを後押しし、研究環境を整えてくださいました元上司の安田幹氏に心より感謝申し上げます。本賞を励みに、今後も情報処理分野の発展に貢献できるよう、研究活動に一層精進して参ります。