性能至上？聊聊人工智能芯片的5个评价标准 ｜老石谈芯
HTML-код
- Опубликовано: 5 фев 2025
- 在不断涌现的人工智能芯片热潮中，如何对AI芯片进行全面、合理的评价？本期是个填坑视频，我会根据工业界和学术界的实际经验，介绍一些常用的AI芯片选择和评价的标准。之前挖的坑，见动态。
--------
关于我：
大家好，我是芯片工程师老石，欢迎关注我的频道“老石谈芯”。我会持续带来更多专注于芯片的科普、硬核知识、以及偶尔极度硬核的技术分析与解读。我也会不断分享高效工作和学习的方法与技巧。更多内容，也欢迎关注我的微信公众号、微博。也欢迎加入我的知识星球，和我进一步交流。
🎵 我使用的音乐/BGM：go.shilicon.co...
📝 个人网站：www.shilicon.com
📚 公众号：老石谈芯
🏮微博：老石谈芯的老石
🌍知识星球：老石谈芯 - 进阶版
------------------------------
Still Awake by Ghostrifter Official / ghostrifter-of. .
Creative Commons - Attribution-ShareAlike 3.0 Unported - CC BY-SA 3.0
Free Download / Stream: bit.ly/still-a...
Music promoted by Audio Library • Still Awake - Ghostrif...
------------------------------ 
Наука
老石做视频用了博士做presentation的标准套路，讲干货效果相当好。
context => 脈絡
您說得深刻 , 很多力氣都用在釐清脈絡
很完美的开场，把一切都交代的非常清楚。条理清晰，很喜欢。
哇！全部都是干货！终于找到这种视频了！手动点赞！
谢谢您的支持！
非常非常的科普
@@laoshi_tec 帥哥
希望再深挖一下asic和fpga在具体应用上的对比
真是宝藏up主。内容硬核，讲解又通俗。能否出一期视频再讲解下终端的AI芯片像是边缘计算芯片的内容？ 还有鉴于最近btc很火热，能否对于矿机芯片也加以简单的讲解，从架构和应用上和普通cpu gpu的区别？据我所知，大多矿机算是专用的ASIC芯片，那FPGA也能用来做矿机芯片吗？不甚感谢！
谢谢您。比特大陆用fpga soc做主控芯片
深入淺出，鞭辟入裡
小弟剛好碰過AI的算法開發與其ASIC設計，老石對其產業的理解根本是架構師或CTO等級
感謝您分享這麼高質量的內容
谢谢您，谬赞了，我就是普通工程师...
谢谢老石的分析，希望下次把keyword带上英文
很好的比较，把复杂的知识深入浅出。希望可以针对终端应用的芯片也介绍一下。谢谢
可以单做一期 Asic公司的分析嘛， Tenstorrent Groq Cerebras Sambanova
再补充一个untether AI
@@ecek3849 对对对🤓
补充个Graphcore，主打数据中心AI训练和推理的应用场景
石老师，希望您有机会能分享下您做这期视频所查阅的资料，非常感谢！
谢谢，我会在公众号里说这个。文案的部分，基本都是我自己写的，脑子里的东西。参考了几个白皮书，到时候分享给大家。
干货满满，制作精良，可以看的人太少。
谢谢支持！
@@laoshi_tec 无意间道破了现实悖论，你的视频质量高，曲高和寡，烂大街的视频点击量又高的吓人，希望你能不忘初心，赢到的都是高质量的听众！
@@hanxichen7464 谢谢您的支持！我会继续努力
能谈谈 brainchip 的技术吗？ 似乎在 Edge AI 有自己的特色，
老石，非常希望你能专门讲一期 edge- AI芯片，尤其是how fast is fast enough角度。 感谢
移动端的可以讲讲吗？
超喜欢这种硬核视频，太感谢了
能谈谈edge端的AI公司评判吗？谢谢
老石老师 能抽空点评下 壁仞的最新的BR100 和BR104 吗？这种产品算是真的能大量流片产出 从而实现国产AI 芯片的突围吗？
感谢石老师！ 作为一名数据科学专业的学生，不得不说学习到了！ 最近在组自己的工作站，如果可以的话求一期视频介绍！
感谢您的支持
漏了目前最影响市场格局的软件生态和开发难易度， 另外AWS和Azure上也并没有什么人大量的采用FPGA，近期FPGA的增长点是在5G基站计算上，在数据中心FPGA的份额是在下降的
能談談Edge AI 晶片嗎
小弟想要請問，石老師這影片著重在 硬體的比較，好像太過忽略了 FPGA 在軟體上的 support 是這四種中最差的，ecosystem 最不完整的 以FPGA 業界的龍頭 Xilinx 為例 Xilinx 的 Vitis-AI 對於 真正的 AI 算法開發工程師來說 算是堪用嗎？ 這軟體的 SDK 太簡陋 因為 FPGA 的可 programable 特性，compiler 非常難做優化，空有好的架構沒有 software support 我以為這就是 FPGA 無法成為主流的主因
正好用过一阵子vitis AI。对于算法工程师来说最大的问题是它完全基于xilinx的DPU那一套IP Core，灵活性基本等于零。遇到不支持的算子，束手无策。搞算法的人基本都不会自己写IP Core。相反，在GPU上，需要什么新的算子，马上就可以用CUDA写一个。另外Vitis AI其实还是从深鉴科技收购的技术，就换皮而已。这么多年了进步非常少。
脉络吗？k8s里的context叫 运行环境，与之对应的上一层叫namespace
类似内容恳请多讲，我就是负责我们部门芯片初步测试的
asic初创公司 黑芝麻和地平线的技术对比如何 谢谢老石
很有条理，像是做学术workshop报告一样，棒！
老石，你怎么看RRAM，MRAM的出现呢，他能真的模拟大脑吗？
非常好的教學及視頻
感谢！受益良多。是不是可以多一个维度分类，“推理”和“训练”，不过跟“服务器端”和“终端”也有些重合了。
Part 1):
任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）, 以便對一些事件做出精准智能的預測。
所謂自我學習或機器學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的杈重或係數參數而已。
而深度學習也只是處理巨量變數時，為了避免僅用單層機器學習進行巨量變數而需要解大矩陣導致對巨量平行計算的需求，進而變換設計成每層適量變數，建立多層次的機器學習修正。
40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。
在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。
近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。
因此也不用太誇大眼下的AI , 這些早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。
”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作， 更為恰當。
何謂知識？ 由經驗總結後（ 抽象具體化） ，就形成知識（用數字分析的表達方式就是去建構知識模型）。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。
目前的AI 只是以數理統計為手段及方法論，以資訊及計算機工程為工具，進行數位型的經驗知識化的過程。
人類有許多其他不同型態非常複雜的智慧，這種僅止於知識數位化的智慧， 其實離人類多型態的智慧還有非常巨大的距離。
另外， 眼下AI 服務於大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。 早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算）， 這需要極其龐大的平行計算能力，在那時期是完全不可能的） 。
其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 編程的公司（ 他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。
只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。
此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤， 再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計， 所以才稱做大模型。 要取那些因素進行那一層分析，主要都是語言學家在主導。
而這些眼下的AI 應用的公司， 只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。
谢谢老石的分析，据说 Tesla 的 Dojo 超级计算机采用的也是FPGA技术，关于 Dojo 和 FPGA 老石有研究么？谢谢！
石老板对于终端芯片有什么看法？可以做一期视频吗？
我想问一下，有的芯片提供人工智能模块，这样在编写深度学习程序的时候，需要针对人工智能模块做调整吗，还是说只要是深度学习的程序，人工智能模块就可以实现自动加速
老石了解 SambaNova 嘛？想听一下
Contex可以翻译成“语境”。
感谢您的介绍 有个疑问 就是为什么国内的初创公司 例如地平线 他们会选择做ASIC呢？或者或者说ASIC比FPGA好在哪里呢 会让一些初创公司选择ASIC？谢谢！
想聽Tesla dojo D1 晶片，到底有多厲害？
context = 脈絡、成因
解釋事情「過程」的主要因素
求教：咱们普通的计算机用户平常接触的哪些电子设备中会存在这种FPGA芯片？网络电视机？
消费级产品里比较少，商用比较多
支持支持支持！你知道做kernel，driver，infrastructures的software engineer做什么东西吗？谢谢！
kernel要看哪个层面的，如果是底层的话，就是内核之类；如果在是AI软件栈中，可以粗略的理解为算子。driver通常是驱动类的，会更加底层一点。这是我的理解。
context可以寫成"前文後理"
石老师对neuromorphic chips有什么看法？有生之年能见到吗？
已经有了
@@laoshi_tec 石老师您可以讲一下新材料neuromorphic chips么和相关公司？
重要名词专业术语可以加上英语字幕吗？谢谢
谢谢建议，会在今后的视频中考虑加入
祝你越来越成功！
谢谢您！
分析的太牛了
优秀
海思的ai芯片是fpga吗
ASIC
you are the best.
excellent!!!
老石加油！
谢谢！
为什么fpga在AI领域没有火起来？现在还是GPU的天下。
Benchmarking Contemporary Deep Learning Hardware and Frameworks: A Survey of Qualitative Metrics. In 2019 IEEE First International Conference on Cognitive Machine Intelligence (CogMI) (pp. 148-155). IEEE.
AMD 要收购赛斯灵了，石老板？
fpga 的驗證時程實在太長,前同事已經是非常有經驗的ic designer 我們兩端(firmware及fpga)最後都要架儀器來確認問題 >
最近刚发现这个频道看了个视频就瞬间关注然后狂刷了好几个视频，讲的特别好。可不可以提点小建议，在一些特定不常见的名词比如说类脑芯片之类的，标注一下对应的英文，如果不是很麻烦的话。我是个IT小白通过看你的视频知道了很多东西和概念，然后会自己再去google搜相关的概念，但类脑芯片这个我就没搜到对应的英文是什么，最贴切的好像叫neuromorphic chip，但他的官方名叫神经形态芯片，所以不确定是不是。。如果能有对应英文名词标注会帮助很大，谢谢
还有同构性也查不到对应英文。。有个叫isomorphism的不知道是不是。或者是哪位大佬知道这些计算机科学的名词有什么地方可以找到准确的中英对应麻烦告知一下谢谢！
谢谢建议，之后会加上这些英文。类脑就是neuromorphic，同构叫homogeneous
@@laoshi_tec 感谢，频道内容很赞，加油加油！
context == "语境"
怪不得我们实验室的服务器升级了GPU后，以前在服务器办公的小伙伴就全跑了，抱怨风扇噪音太大。
context 应该翻译 概念吧
我是马来西亚的 我的理解是概念
打卡
滿滿干貨
FPGA性能比不上GPU, 但在功耗成本佔優
在AI建模階段性能相對上不那麼重要，因為可用時間彌補。那麼可以說FPGA比GPU更適合大規模部署於數據中心？
GPU的绝对算力还是大幅优于FPGA，所以如果算力是最主要需求，GPU比FPGA更加适合
prologue 太长，建议直接进入主题
谢谢您的建议
FPGA 的时钟速率不是很高，这个是不足之处
从 4 分钟开始
youtube上少有的好频道
谢谢您
中国不是已經成功研發量子技術了嗎？
context=场景
AI芯片跟矿机芯片的发展路径好接近啊。
你这么一说，有点意思
矿机需要FPGA吗
感觉GPU然后就上ASIC了啊
基本算法就那么几个
@@WilsonYoung 有一段时期曾经用过
寒武纪已经基本凉了
context: 语境
Moffett AI
GPU真的很沒效率，但我們又只能用GPU跑AI運算
语境
这个内容 花钱订阅我也可以！
谢谢您！花钱是不可能花钱的，我也会继续努力，不断带来更多有价值的内容。
四大芯片的主供應商都美國的
ai芯片
大量造假的數據和言論，，，會是阻礙生成式智能的阻礙還是助力，，，，，大陸能自由獲取國外的資訊了嗎？大陸網路上都是文管網管審核的資訊，，，有多少生成價值，，，，，
别再瞎掰了。。
登临科技 百度昆仑
你學會美國🇺🇸的演講。