小林諒平研究室

About研究室について

コンピュータサイエンスで、速いことは正義である。

小林研究室は、超並列計算機システムと、それを使って実際の問題を解く方法を研究しています。
中心にあるのは、GPUをはじめとする演算加速装置（アクセラレータ）を使った高性能計算です。
スーパーコンピュータは使える電力に限りがあるため、エネルギー効率を上げることが急ぎの課題になっています。
システムの構成やアルゴリズム、実行の段取りまで、ハードとソフトの両面から性能を引き出すしくみをつくります。

Research研究テーマ

疎で不規則、しかも通信の影響を受けやすいAI・HPCのシステムを研究しています。計算の量だけでなく、ばらばらなメモリアクセスやデータの移動、同期のしかたが効率を左右する処理を、アクセラレータの上で動かし続けるための原理を打ち立てることが長期の目標です。

※イメージ画像

ウェハースケール計算機とグラフ学習↗

ウェハースケール計算機の上でのGNNの学習を調べています。GPUを並べた計算機では不規則なメモリアクセスや分散メモリの負担が効率を下げるため、実行のしくみが単純で高速メモリの大きいこの方式がどんなグラフ学習で有利になるかを見極めます。

※イメージ画像

GPU間通信の圧縮とオフロード↗

複数のGPUで大規模言語モデルを学習させるとき、通信が規模を広げる際の足かせになります。通信するデータをDPUと呼ばれる装置の上で圧縮し、肩代わりさせることで、学習全体の速さをどこまで改善できるかを調べています。

※イメージ画像

不規則な計算を支えるランタイム↗

疎で不規則、通信の影響を受けやすい処理を、GPUのクラスタやGPUとDPUを組み合わせたシステム、ウェハースケール計算機にどう割り当てるかを考えています。移り変わる依存関係を、データの置き方や通信、実行の順番を決める手がかりに変えることを目指します。

Voices先輩の声

評価・クチコミは、在籍している（していた）学生個人の経験に基づくもので、研究室の公式見解ではありません。クチコミの有無や件数は、研究室の評価を表すものではありません。

インタビューに協力いただいた学生に、内容にかかわらず謝礼（1,000円分のギフト）をお渡しすることがあります。