横田理央研究室

About研究室について

スパコンの力で、大きな学習を回す。

横田理央研究室は、スパコンを用いた大規模分散並列を、さまざまな分野に応用する研究をしています。
深層学習で使うニューラルネットの規模は年々大きくなり、スパコンでしか計算できない状況になりつつあります。
既存のフレームワークをそのまま動かしても速度や精度は上がらないため、大規模計算ならではの課題を一つずつ解いていきます。
今のスパコンの課題を解くことは、10年後に手元の計算サーバで起きる課題を先取りして解くことでもあります。

Research研究テーマ

横田理央研究室では、世界最大級のスパコンを用いて、大規模深層学習や大規模行列計算の研究をしています。計算量・メモリ・I/Oを削減するアルゴリズムの研究にも取り組んでいます。

※イメージ画像

大規模言語モデルの事前学習↗

岡崎研究室、産業技術総合研究所と共同で、大規模言語モデルSwallowを開発しています。一から学習すると計算資源が膨大になるため、英語中心に学習された公開モデルから日本語中心の継続学習を行う方針をとっています。

※イメージ画像

専門家混合モデルの疎性と推論↗

専門家混合モデル（MoE）をどれだけ疎にするかが、記憶の力と推論の力にどう効くのかを調べました。計算資源を固定してモデル群を学習し、推論では有効な計算量とパラメータ当たりトークン数の釣り合いが効くことを示しています。

画像と言葉を細かく結びつける↗

画像の領域と文の語句の対応づけを、領域の冪集合と構文木の間で定義した損失として網羅的に最適化する、事前学習の枠組みです。組合せ爆発による計算量の増大を抑える方法もあわせて導入しました。

※イメージ画像

言語モデルの計算を軽くする↗

大規模言語モデルで使うゲート線形ユニットは、ゲートと値で別々の重み行列を持つためメモリの読み出しが2倍になります。共有した重みをマスクで振り分ける新しい方式と、そのための高速なカーネルを開発しました。

Voices先輩の声

評価・クチコミは、在籍している（していた）学生個人の経験に基づくもので、研究室の公式見解ではありません。クチコミの有無や件数は、研究室の評価を表すものではありません。

インタビューに協力いただいた学生に、内容にかかわらず謝礼（1,000円分のギフト）をお渡しすることがあります。