横田理央研究室

About关于研究室

凭借超级计算机的力量，运行大规模训练。

横田理央研究室正在研究如何将使用超级计算机的大规模分布式并行计算应用于各个领域。
深度学习所使用的神经网络规模逐年增大，正逐渐变成只有超级计算机才能完成计算的状况。
由于直接运行现有框架无法提升速度和精度，因此该研究室要逐一解决大规模计算特有的课题。
解决当今超级计算机的课题，同时也是提前解决十年后身边的计算服务器上将会出现的课题。

Research研究课题

横田理央研究室使用世界最大规模级别的超级计算机，研究大规模深度学习和大规模矩阵计算。同时也致力于研究削减计算量、内存和I/O的算法。

※示意图

大语言模型的预训练↗

与岡崎研究室、产业技术综合研究所合作，开发大语言模型Swallow。由于从零开始训练所需的计算资源极为庞大，因此采取的方针是：以主要用英语训练的公开模型为基础，进行以日语为中心的持续学习。

※示意图

专家混合模型的稀疏性与推理↗

研究了专家混合模型（MoE）的稀疏程度会如何影响记忆能力和推理能力。在固定计算资源的条件下训练了一组模型，并表明在推理方面，有效计算量与每个参数对应的token数之间的平衡会产生影响。

将图像与语言细粒度地关联起来↗

这是一种预训练框架：将图像区域与句子中词语的对应关系，定义为区域的幂集与句法树之间的损失，并对其进行穷举式优化。同时还引入了抑制组合爆炸所导致的计算量增加的方法。

※示意图

降低语言模型的计算量↗

大语言模型中使用的门控线性单元，其门和值各自拥有独立的权重矩阵，因此内存读取量会变为2倍。该研究室开发了通过掩码来分配共享权重的新方式，以及与之配套的高速kernel（核函数）。

Voices学长学姐的评价

评价基于在读（或曾在读）学生的个人经历，不代表研究室官方观点。评价的有无或数量不代表对研究室的评价。

对于接受采访的学生，无论内容如何，我们可能会赠送谢礼（价值1,000日元的礼品）。