吃米不知道米價？讓 Jerry 老師告訴你把玩 LLM 到底該花多少錢！

[@jasonyu8020]

今天真的很精彩!

[@jasonyu8020]

昨天Open AI 跟 Bard 同時間一起大當機，越當機NVIDIA股價越高

[@jasonyu8020]

Jerry老師好, 想問 1:03:52 有關於MLPerf所公布的資料中，同樣晶片+模型在不同系統中有不同的訓練速度表現，且差異甚大，這問題是否與貢獻速度報告的測試單位的訓練方法不同有關係?

[@Will_Huang]

您好我幫你詢問了Jerry老師，以下是他的回覆：
我的了解是跑指標的程式碼已經有了
詳見 github.com/mlcommons/training
從分數來看，因為訓練、推論模型從
最底層主機板、網路速度、晶片、散熱
到OS系統、到容器、到套件版本
整個過程都有連動關係，光H100就有分PCIe還是SXM的H100，兩者本身就有差異，整體來說
都有影響。