Pathways 论文精读【论文精读】

[@AterasMenethill]

请问一下李沐博士, Palm achieves a training efficiency of 57.8% hardware FLOPs utilization, 视频说达到了“理论峰值一倍以上”，57.8%不应该是“一半以上”吗？谢谢你的分享。

[@zhaoyudong3467]

大佬，这是造福整个社区，赞

[@DestaTW]

好喜歡Mu 大講論文的系列，謝謝🙏
講解論文的內容，就像在聽一個很精彩的故事ㄧ樣！

[@panchao]

这个是不是spark分布计算的想法运用到加速器上？这个对训练和推理都很有用。对训练可能可以降低训练成本，有可能可以使用不同的机器和加速器训练同一个模型。可能需要优化调度，避免慢机器拖累整体的训练。对于推理如果能实现在不同的加速器上进行，可能未来可以做到本地大模型部署。比如如果未来家庭设备有加速器的话，可能可以用edge computer实现分布推理。

[@chenyeshao3887]

对训练用计算服务器集群的讲解非常棒！ 非常感谢。

[@windsound2010]

感谢李老师，真希望能够早点看见您的频道。

[@mingli5678]

李老师讲的太棒了，了解到很多

[@dragonlive0202]

及时及时🎉

[@圣袭]

请问大佬在知乎或者B站有账号吗？如果有，求分享下~

[@qingqiuhan103]

有的，账号好像叫做跟李沐学Ai