横田理央研究室

About关于研究室

スパコンの力で、大きな学習を回す。

横田理央研究室は、スパコンを用いた大規模分散並列を、さまざまな分野に応用する研究をしています。
深層学習で使うニューラルネットの規模は年々大きくなり、スパコンでしか計算できない状況になりつつあります。
既存のフレームワークをそのまま動かしても速度や精度は上がらないため、大規模計算ならではの課題を一つずつ解いていきます。
今のスパコンの課題を解くことは、10年後に手元の計算サーバで起きる課題を先取りして解くことでもあります。

Research研究课题

横田理央研究室では、世界最大級のスパコンを用いて、大規模深層学習や大規模行列計算の研究をしています。計算量・メモリ・I/Oを削減するアルゴリズムの研究にも取り組んでいます。

※示意图

大規模言語モデルの事前学習↗

岡崎研究室、産業技術総合研究所と共同で、大規模言語モデルSwallowを開発しています。一から学習すると計算資源が膨大になるため、英語中心に学習された公開モデルから日本語中心の継続学習を行う方針をとっています。

※示意图

専門家混合モデルの疎性と推論↗

専門家混合モデル（MoE）をどれだけ疎にするかが、記憶の力と推論の力にどう効くのかを調べました。計算資源を固定してモデル群を学習し、推論では有効な計算量とパラメータ当たりトークン数の釣り合いが効くことを示しています。

画像と言葉を細かく結びつける↗

画像の領域と文の語句の対応づけを、領域の冪集合と構文木の間で定義した損失として網羅的に最適化する、事前学習の枠組みです。組合せ爆発による計算量の増大を抑える方法もあわせて導入しました。

※示意图

言語モデルの計算を軽くする↗

大規模言語モデルで使うゲート線形ユニットは、ゲートと値で別々の重み行列を持つためメモリの読み出しが2倍になります。共有した重みをマスクで振り分ける新しい方式と、そのための高速なカーネルを開発しました。

Voices学长学姐的评价

评价基于在读（或曾在读）学生的个人经历，不代表研究室官方观点。评价的有无或数量不代表对研究室的评价。

对于接受采访的学生，无论内容如何，我们可能会赠送谢礼（价值1,000日元的礼品）。