大模型解决不了英伟达的难题，AI新范式必将出现：专访安克创新CEO阳萌
HTML-код
- Опубликовано: 9 май 2024
- 阳萌或许是我接触过的最懂技术的CEO：他是北大本科，但博士读了一半就跑了；他是百亿营收大厂安克创新的创始人兼CEO，也曾在谷歌做搜索算法的研发；他的公司主要做的是充电宝、扫地机器人这些消费类电子产品，但我们聊的是人工智能、芯片等等硬科技。
本集是我们交流的第一集，他帮我梳理了人工智能的过去、现在、以及未来的发展方向，我深受启发，相信肯定会对你有所帮助。下集，我们会讨论AI的落地、应用、以及为何阳萌和安克会对AI有这么深入的思考。关注我，下期见。
------------------------------------------------------------------------------------------------------------------------------------------------
关于我：
大家好，我是芯片工程师老石，欢迎关注我的频道“老石谈芯”。
欢迎订阅👉reurl.cc/8ob9Ej
敲响小铃铛🔔，可以第一时间收到我的频道动态。
我会持续带来更多专注于芯片的科普、硬核知识、以及偶尔极度硬核的技术分析与解读。我也会不断分享高效工作和学习的方法与技巧。更多内容，也欢迎关注我的微信公众号、微博。也欢迎加入我的知识星球，和我进一步交流。
🎵 我使用的音乐/BGM：go.shilicon.com/epidemicsound
📚 我写的书：go.shilicon.com/book
📝 个人网站：www.shilicon.com
📚 公众号：老石谈芯
🏮微博：老石谈芯的老石
🌍知识星球：老石谈芯 - 进阶版
#老石谈芯 #科技 
Наука
第二期在这里：ruclips.net/video/d1dGmqovyaU/видео.html 关注我，带你看更多内容
从分治法到端到端。从training/inference分开，到training/inference同步进行。居于上述两点，再谈到计算机架构的未来演变。我看到很多新颖同时非常合理的愿景。真的是让我醍醐灌顶的一集！
大厂很多模型都是可以做到所谓online training, training/inference几乎是同时的，做了很多年了。
@@b.a7859能展开讲一讲吗
實作上應該自然從分治法下 的端到端 而端對端內包含記憶單元實作
@@b.a7859 那个不一样
你可以把它当作一种看法，但这种taxonomy不是AI研究范式的主流，这样的理解相当于把我们想要AI解决的问题的维度oversimplify了。简单来说只要是问题就有divide & conquer，跟端到端不是一个取舍的关系，CoT就可以理解为大语言模型的divide & conquer。
长见识！这是近两年看到/听到的最精彩的AI讨论。
大开眼界！不光对计算机硬件和AI算法从过去到未来的发展有非常深刻的理解，还能以普通人能听懂的方式娓娓道来，对这位CEO肃然起敬了
虽然听不懂，但是好博学的样子
因为这些都是比较简单的，高端的他也不会。research前沿不follow new results 半年就跟不上了
有料的影片總是不知不覺就看完了
徹底把書念懂的人 真的很佩服
分治法觀念都講錯，叫做讀書都讀透？
非常有深度的内容。分治法是逻辑推理(离散数学)。端到端是解析和统计(连续)。线性规划用分治法是NP问题，而用解析法就是P问题。今天的AI是建立在数字信号(离散)处理之上的，而人脑是建立在模拟信号(连续)上的。等到AI有效建立起数字信号和模拟信号的桥梁，才会看到AI大爆发的那一天。
聽不懂 但點讚
就如同我不知道存算一體是什麼
但絕對很棒的idea
可以回到影像辨識貓狗 聲音的意義去討論
太棒了！ 期待下一期！
The best talk about AI I heard this year. Very insightful!
这期节目真的太棒了 受益颇丰 从分治法到端对端的解决问题的转变 以及未来AI发展的方向和仿生，和我对AI的思考不谋而合，并且大佬还提供了可能的发展思路！学习了很多新的想法！期待下期
我觉得我总体上面还是能听懂他说讲的概念的，我个人只对硬件层有研究，我觉得他硬件层很多讲的都是其实是有问题的如果严谨的看，虽然从某种角度上讲这可能并不影响他的结论。但是知识跨度广专业性深这类的科普确实难做，感谢老石这期视频。
视频做的真好，感谢！
与很多“对未来ai发展的期待”之类访谈相比，这位真的是大师，把从硬件到算法到解决问题的底层逻辑融会贯通。和这种牛人交换观点总能让人耳目一新
非常啟發，感謝！
謝謝分享！好影片真的不知不覺就看完了
精彩！图片做的也很用心！
精彩!!!由淺入深,期待下一期
真的是很有洞见，很有启发，感谢分享
这一期讲的非常好，冯若依曼到端到端，再到存算训一体的概念，浅而易显的讲出来发展的趋势。也为做大模型应用和创新提供的了思路。
对大多数博士最有价值的是两三年的高强度独立研究训练，那种学习思考和解决问题的能力，博士最好用最短时间做完，四年比较理想，超过五年就不值了
第一次观看你的视频就收获了满满的惊喜！很喜欢这期视频中理性又有趣的交流氛围！感谢！期待更新！
很棒的内容！阳博士思路与表达非常清晰，将智能计算趋势用浅显易懂的方式让非专业的我们理解。我非常期待下期的访谈。
這集訪談的品質真的很高, 大推!!
非常棒！大佬能开一期讲存内计算的不？
哇！長知識了！真是精彩
it's really opened my mind in the way of thinking in AI
非常精彩的讨论，很有启发！
非常高屋建瓴的看法，感觉会是很有趣的路径
嶄新的想法
根據歷史推演有脈絡的推測
有價值的訪談
耳目一新的一期节目，非常感谢
精彩！
超级有启发性！！感谢！
感谢支持！
厉害！非常精彩，谢谢分享！
感謝分享！
Computing and memory occur in the same place seems logical to save energy and time, especially when the data is from a distributed environment linked by a network. Great insights! Bravo!
求下集!
不错，这个讨论很有意思
真的是很第一性原理的思考，感謝分享~
好久没看到这么高质量的AI采访了，赞！
有意思，谢谢分享
谢谢，非常有启发性！另外可以帮我问问MAMBA是他理想中的存算一体的机器学习架构吗❤
我也完全认可，数据一直在那里，很多算法其实也一直存在，只有硬件的发展才能将你的想法变为现实
相當精彩
讲的太好了，给我很多启发
清晰、精炼！深刻！
非常有深度的talk。最近也在接触neuromorphic computing。感觉上还是一个很有前景的领域不过目前生态还没有。不知道在crazy on GPU的时代这一脉怎么生存下去
感觉存算一体就是将大模式的特定的参数集（数据）和通用的transformer计算方法（程序），直接转化为可微调烧写的专用硬件？这样就不存在程序结合参数和系数进行组合计算了，而是直接运算出来。
看完这期视频 推荐可以再听下 Geoffrey Hinton - Two Paths to Intelligence 的这个演讲，提供了对计算，编程和计算设备一种新的认识，和这个视频还挺相关的。
這種影片是很棒的學習模式，製作很精良
感谢分享，这真的是未来，如果 5 年后 10 年后再看这个视频，不知道会是怎么样的想法。
两个人都很专业
感谢分享
其實即使transformer 依舊是divide ＆conquer 後的產物，也只解決部分問題，所以後續一定會有新的做法，只是我們一般人不是大佬級別，只是follower, 或看戲的...
他們都是divide& conquer
但一個是concurrent一個是parallel
所以真正的區別是算法本身能不能parallel
很棒的對談，關於分治法跟端到端我還滿有體驗的，分治法最大的問題在於試圖幫一個相對未知的領域定義個規則，所以透過這個規則就可以為之使用。簡單來說，我定義一個數學方程式，然後期待輸入的數據後都能符合期待的答案。當然，如果有個已知的曲線，那透過趨近法總能得到接近的方程式，但是這個方法的關鍵是已知曲線，如果曲線很複雜，如語言模型，或是僅獲取部分曲線的數據，那分治法就很難適用。比較以前的谷歌翻譯跟ChatGPT翻譯就可以很明顯看出區別。
博主老石老师专业背景主持了生动的一课，每位研究AI的年轻人都应该好好研读每一句对话。对那些埋头只专研一方面的研究员犹如暮鼓晨钟，要看清前进的方向。❤❤❤
思路特别清晰 厉害了
高性能计算很多时候瓶颈就在于数据传输上，大量算力花费在矩阵运算上面。现在有个方向是用模拟电路去做矩阵算法，据说会大规模降低功耗
內容很精彩概念很明確
功耗改善，還看時間上工藝發展
VonNeumann架構指的是運算單元有限的CPU架構，當然不適合需要巨量平行運行單元的架構的Transform,但任何一個程式仍然需要CPU才有辦法運行起來，這就是為什麼雖然VonNeumann架構並非針對Transform做優化，目前仍然繼續被使用，但來賓後半段的論述其實是在打臉老石前面提到『GB200針對Transform做優化』
两位聪明家伙的对话，赞一个！！！
目前基於阻憶器存算一體無法在數據中心實現 工作溫度下可靠度/穩定性 類比訊號線性天性 都是技術應用的限制。 而目前廣泛應用實現張量計算 systolic array (tensor core) 是廣義的存算一體 不屬於馮紐曼架構 在輝達Volta 架構及之後開始採用
非常同意，Computing In Memory and Near Memory Computing 的想法也不是第一天有了，没有大规模应用是有原因的。Tensor core 不止有Systolic Array 一种形式。
像在看一部推理严密的科幻小说，非常精彩！
从分治法和端到端的角度看架构问题，强
我觉得算法层面的发展也同样重要。我们人脑中是不会做gradient decent或者backpropagation的，所以把人脑中真实进行中的运算数学化并模拟出来非常有意义。
可以再出几集视频详细谈谈存算一体芯片，谢谢
我在2010年左右时，就知道IBM和HP在实验室都已经研究存算一体技术十多年了，每年都在更新延续研发项目计划，拿到几百万到几亿的研发投资，按照当时的预估，这项技术大概在2018到2020年左右就可以实际量产了，可是到现在也没有什么突破，不知道遇到了那些瓶颈。
瓶颈？ 因为他们是使用字母表音文字的低阶文明。
他们根本无法理解 一幅“飞流直下三千尺，疑是银河落九天”的字画。
就像二维文明无法理解三维文明一样
所以，信息传递的效率不一样
他们bb大半天，我一个汉字就给他表述明白
確實是, 這等於是從硬件到算法的全部推倒從新發展, 太遙遠了
存算一体，学术界重点是 新材料新器件，这还是很难突破的。
传统冯诺依曼架构里 靠近计算的sram(常见的cache)很难做大(一般就是kb 大的就mb)，而现在llm 需要的内存量 是 GB级 TB级。
现在ai芯片内存设计的方式是 很多个core，每个core是 计算单元+sram(kb mb级别)+简单的控制单元），然后 几百个core在连接 GB级别的HBM，就是相当于 core内sram和 core外的hbm构成 二级 or三级缓存结构。
本质上是 缺乏新的适用于存内计算的存储器件，所以 内存只能用sram+hbm，同时 加大带宽吞吐量。
你个栽麦子，还知道这些？这与我种田有什么关系吗？
很棒的视频！学到很多
太讚了
确实很有启发。
这让我想到了不久前看到的一篇报道，国内一研究团队研发/改善了一种计算结构。该结构没有cache，没有计算单元，只有memory。所有计算都在memory里完成。好处就是，它不用频繁调动数据。节能，高效
讲得太好了
虽然听不懂，但是感觉你们俩都是人才。
深刻！
有意思，谢谢，我突然想到一个问题，如果有伪信息进入存算一体模型，学习完了会局部更新参数，这样可能对整个模型会造成伤害，或者说即使是真的信息，但是跟原来模型不匹配，也有可能对模型造成伤害，这样其实是挺危险的，这种情况在人的认知上面其实是经常发生的，就是说我们可能会被错误信息蒙蔽，从而误解，作出错误的判断，我们无法保证所有的信息都是准确的
這個一早有專家說了, 模型訓練過了幾代之後會用了自己以前的資料訓練導致越練越蠢.
收藏!! 經典
分治法是人类大脑总结的部分数据的系数表达，人类设计小函数的过程就是确定函数系数和次方的过程，次方也是缩减系数的过程。深度学习是用多维一次函数和多个隐层来表达高次函数和多个分治集合的过程。未来的深度学习不仅是通过net来训练model系数，还会自己调整net，不再需要人类设计net。
後面講的東西真的很厲害
最後 AI 的進展還是出現在演算法的創新跟優化
軟體工程師又要頭痛了 XDXDXD
这期视频访谈的人员很有Insights.
很震撼，观注了
LINUX的模式其实可以参考一下 。他们的做法是提升优先级。程序级优先。然后部分做到内核级支持（内核级优先）然后提升到芯片内部（芯片）。。估计以后会出现不同出来级别的芯片（优先级）视觉的。 运动的（平衡或者感知）。语言（语言模型）。图像识别与判断（逻辑思维）
难得的有思想的一期节目 而不是照本宣科的堆砌高端。当然开阔眼界追逐state of the art也是需要不求甚解的传递高端
以逐步归纳相似因素，达到减少因子进入矩阵模型的反复计算。
学习了，我认为降低未来模型的计算功耗是真的很大的挑战，而这个才是计算的终极天花板。现在的硅基架构哪怕是完全不要数据搬运，功耗也没法和碳基生物相比。
现在最流行的基本都是不可解释的。人类解释不了中间层的输出，但是从逻辑上讲，如果知道决策的对错，你总能让机器往正确决策的方向进化一点点，所以中间层的输出不一定是可解释的，但这不影响从整体上是可解释的。
这个视频深深的冲击了我，为什么。因为这哥们门外汉的水平再用自以为是的理论讲出来，却收获了这么多的称赞。不禁让人深思。
安克创新股价就反应出来了。厉害👍🏻
Mr 老石先生请问可否介绍 which stock s is good buy thank you Gerald from Honolulu Hawaii please advise how can ' I sponsor you? Can I pay to U Tube? Thank e
动态学习可以用已知概率和正在发生的事件来预估未来概率分布， 再用新概率算预测某事件。再对比预测结果和实际结果，回头评价和修正原预测过程的bug。 再循环。 瞎想的，不知道理解是否正确
對於計算架構的想法很厲害，但感覺分治法和端到端兩種思路並不是互斥的。就如同黑格爾證辯法中的正反合，端到端的算法可以作為分治法當中的一個元件，而當分治法的架構過為笨重時，又會發展出新的端到端算法。這點在 CS 各個領域中都不斷被體現
同意
纯粹的端到端可能不能支持很多中间的子任务，而分而治之的思路不仅可以解决A→B→C的问题，也可以支持A→B, A→D, A→E etc..
mutli-level cache與一致性就是為了解決存儲與運算分離的問題. 也發展的很成熟了. CIM要想取代這套再來個幾十年吧
懂了，量子态计算计算架构
高人 很精彩的访问 存算训一体也是很合理的推测 但现阶段 似乎需要无数的科技技术创新 还是有点科幻小说的味道
存算一体的概念也有段时间了。。。。目前一个是制造问题（目前存储器的制造和逻辑电路不一样）， 一个还是算法（生态）问题吧。。。。
请问up, 有没有用FPGA能模拟的demo？
要推翻Von Neumann架構得推翻以硅為載體的計算機架構了，量子電腦也許是個希望。
非常精彩。比看Sam Altman， Jensen Huang 等所谓顶级大咖的访谈更受启发。
受教了，獲益頗多
這個CEO好猛，真的很有料
需要在哲学层面上取得突破。
可以讲下systolic array这种架构距离存算一体的差距吗
拍摄也很成熟，舒服的镜头