是不是反过来才对？ The general class of questions that some algorithm can answer in polynomial time is "P" or "class P". For some questions, there is no known way to find an answer quickly, but if provided with an answer, it can be verified quickly. The class of questions where an answer can be verified in polynomial time is NP, standing for "nondeterministic polynomial time".
Computing and memory occur in the same place seems logical to save energy and time, especially when the data is from a distributed environment linked by a network. Great insights! Bravo!
总的来说very informative，我也基本同意主要观点。但有两点不太同意1. Transformer和端到端的模型没有必然的联系。CNN照样可以端到端。甚至传统AI算法也可以端到端。但我同意端到端可以大幅减少中间步骤，节省成本。2. 同意in memory or near memory computing are important，但并不一定导致新的算法。现在不少基于已有模型的in memory or near memory computing
我是计算电磁学领域的，我教授引以为傲的是用于method of moment (MoM) 的 multilevel fast multipole method (MLFMM) 算法，从逻辑框架来说也是"分治法"（毕竟是multilevel的），我一直想用神经网络重构这个东西，但是一直没找到切入点，不知道有这里没有大佬可以给点建议。
第二期在这里：ruclips.net/video/d1dGmqovyaU/видео.html 关注我，带你看更多内容
从分治法到端到端。从training/inference分开，到training/inference同步进行。居于上述两点，再谈到计算机架构的未来演变。我看到很多新颖同时非常合理的愿景。真的是让我醍醐灌顶的一集！
大厂很多模型都是可以做到所谓online training, training/inference几乎是同时的，做了很多年了。
@@b.a7859能展开讲一讲吗
實作上應該自然從分治法下 的端到端 而端對端內包含記憶單元實作
@@b.a7859 那个不一样
你可以把它当作一种看法，但这种taxonomy不是AI研究范式的主流，这样的理解相当于把我们想要AI解决的问题的维度oversimplify了。简单来说只要是问题就有divide & conquer，跟端到端不是一个取舍的关系，CoT就可以理解为大语言模型的divide & conquer。
大开眼界！不光对计算机硬件和AI算法从过去到未来的发展有非常深刻的理解，还能以普通人能听懂的方式娓娓道来，对这位CEO肃然起敬了
虽然听不懂，但是好博学的样子
因为这些都是比较简单的，高端的他也不会。research前沿不follow new results 半年就跟不上了
@@ChaoS-pn3ic 和Sam Altman这类人一样，成为商业领袖，保证AI大规模落地就行了，research不是他的工种
你真的能听懂吗？如果他的理论和解说都是错误的， 你有能力分辨吗😅
看来我不是普通人啊 ，我没有听懂
长见识！这是近两年看到/听到的最精彩的AI讨论。
看到這個留言 才打算繼續看下去😂
果真有料
徹底把書念懂的人 真的很佩服
分治法觀念都講錯，叫做讀書都讀透？
@@JKD357大問題拆分成子問題，哪裡錯？
@@genenwvrvrjfjdjeugwevwgjercqfn 分治法的本质不是简单拆分，而是同构子问题。此处他想表达的只是top-down approach，用错了词汇，不应该用分治法，他甚至哪怕说，逐步求解，都比分治法要好。
与很多“对未来ai发展的期待”之类访谈相比，这位真的是大师，把从硬件到算法到解决问题的底层逻辑融会贯通。和这种牛人交换观点总能让人耳目一新
有料的影片總是不知不覺就看完了
没想到阳萌对机器学习人工智能有如此深的洞见，赞，从硬件架构到底层的结构问题的机制，确实人类进步就是在不断解构大问题成为无数个小问题，然后逐个击破再按照一定的逻辑顺序去解决大问题，而目前的transformer 就是大力出奇迹的黑盒模式，需要无数微调达到一定的推理平衡，而这个微调又是不断需要刷新的
有幸为安克工作过。没想到国内最了解最尊重技术的CEO还是来自做充电宝的公司。
这期节目真的太棒了 受益颇丰 从分治法到端对端的解决问题的转变 以及未来AI发展的方向和仿生，和我对AI的思考不谋而合，并且大佬还提供了可能的发展思路！学习了很多新的想法！期待下期
我觉得我总体上面还是能听懂他说讲的概念的，我个人只对硬件层有研究，我觉得他硬件层很多讲的都是其实是有问题的如果严谨的看，虽然从某种角度上讲这可能并不影响他的结论。但是知识跨度广专业性深这类的科普确实难做，感谢老石这期视频。
對，其實他大體上沒錯，但是大概是離開行業了，細節有落差。不過他說的最後階段硬體已經很多人在做了，包括NVidia
還有，那30000個做自然語言的，轉過身做 transformer 並不難，而且有優勢，並沒有浪費
没错，这人谈的东西有一些启发，但是有不少是他自己的臆想。比如大脑工作的方式。
提个小bug：阳老师提到的分词的翻译应该是 tokenization 是NLP的预处理步骤，而视频中的分词翻译 participle 表示的是英语语法中对具有非限定动词形变化的词的分类
The best talk about AI I heard this year. Very insightful!
看完这期视频 推荐可以再听下 Geoffrey Hinton - Two Paths to Intelligence 的这个演讲，提供了对计算，编程和计算设备一种新的认识，和这个视频还挺相关的。
VonNeumann架構指的是運算單元有限的CPU架構，當然不適合需要巨量平行運行單元的架構的Transform,但任何一個程式仍然需要CPU才有辦法運行起來，這就是為什麼雖然VonNeumann架構並非針對Transform做優化，目前仍然繼續被使用，但來賓後半段的論述其實是在打臉老石前面提到『GB200針對Transform做優化』
这一期讲的非常好，冯若依曼到端到端，再到存算训一体的概念，浅而易显的讲出来发展的趋势。也为做大模型应用和创新提供的了思路。
非常有深度的内容。分治法是逻辑推理(离散数学)。端到端是解析和统计(连续)。线性规划用分治法是NP-Complete问题，而用解析法就是P问题。今天的AI是建立在数字信号(离散)处理之上的，而人脑是建立在模拟信号(连续)上的。等到AI有效建立起数字信号和模拟信号的桥梁，才会看到AI大爆发的那一天。从泛函的角度来看，神经网络是否与傅立叶变换，泰勒级数一样，具有普遍适用性？神经网络是否有对应的有限算法，就象有限傅立叶变换相对于傅立叶变换一样。有限傅立叶变换，是今天图像处理实用性的关键之一。图像处理又是AI的关键。真正的瞎猫撞上了死耗子。
聽不懂 但點讚
就如同我不知道存算一體是什麼
但絕對很棒的idea
可以回到影像辨識貓狗 聲音的意義去討論
是不是反过来才对？
The general class of questions that some algorithm can answer in polynomial time is "P" or "class P". For some questions, there is no known way to find an answer quickly, but if provided with an answer, it can be verified quickly. The class of questions where an answer can be verified in polynomial time is NP, standing for "nondeterministic polynomial time".
二位先生！謝謝！聽得懂！
为什么解析法是P问题？而线性规划是NP？
不會有問題又是P又是NP-Complete的，你找到的話可以去領100萬美元
对大多数博士最有价值的是两三年的高强度独立研究训练，那种学习思考和解决问题的能力，博士最好用最短时间做完，四年比较理想，超过五年就不值了
在美國理工科自然科學的PhD不可能讓你三年拿到學位的。平均算起來是5-8年
在美国物理phd平均6年，五年以下做完从历史上来说都没有几个人
其實即使transformer 依舊是divide ＆conquer 後的產物，也只解決部分問題，所以後續一定會有新的做法，只是我們一般人不是大佬級別，只是follower, 或看戲的...
他們都是divide& conquer
但一個是concurrent一個是parallel
所以真正的區別是算法本身能不能parallel
@@XD-nl1wl parallel 是训练时候解决的手段，执行的时候就是所有参数一起推理的，要是有结构能一次都计算也可以。但divide & conquer不是，计算下一步需要上一步的运算结果。
目前基於阻憶器存算一體無法在數據中心實現 工作溫度下可靠度/穩定性 類比訊號線性天性 都是技術應用的限制。 而目前廣泛應用實現張量計算 systolic array (tensor core) 是廣義的存算一體 不屬於馮紐曼架構 在輝達Volta 架構及之後開始採用
非常同意，Computing In Memory and Near Memory Computing 的想法也不是第一天有了，没有大规模应用是有原因的。Tensor core 不止有Systolic Array 一种形式。
Computing and memory occur in the same place seems logical to save energy and time, especially when the data is from a distributed environment linked by a network. Great insights! Bravo!
他说的冯诺依曼价格和分治法是一对，存算架构和端到端是一对，其实还有个隐藏的元素，完整的表达应该是：冯诺依曼架构、数字信号、分治法是一组；存算架构、模拟信号、端到端是一组。通过结合：计算架构+数据结构+算法架构 三者结合在一起，才能发挥最大的实力。然而现在人类的整个科技树都是建立在：冯诺依曼架构、数字信号上，所以现在即使端到端的算法有所突破，但是算力依旧是制约AI进化的核心原因之一。相信未来存算架构的突破，以及对应回归模拟信号，再结合端到端的算法，整个人类、整个工业社会将会迎来一个革命性的变化。
LINUX的模式其实可以参考一下 。他们的做法是提升优先级。程序级优先。然后部分做到内核级支持（内核级优先）然后提升到芯片内部（芯片）。。估计以后会出现不同出来级别的芯片（优先级）视觉的。 运动的（平衡或者感知）。语言（语言模型）。图像识别与判断（逻辑思维）
感觉存算一体就是将大模式的特定的参数集（数据）和通用的transformer计算方法（程序），直接转化为可微调烧写的专用硬件？这样就不存在程序结合参数和系数进行组合计算了，而是直接运算出来。
我也完全认可，数据一直在那里，很多算法其实也一直存在，只有硬件的发展才能将你的想法变为现实
这个视频有不少共鸣。去年在LLM爆发式增长的时候，跟朋友分享了我的一些类似的观点：1. 在应用中blackbox应该跟divide and conquer结合，也就是AGI应该是人设计的多个experts结合而不是一个通用模型；2. 只有transformer未来会很快遇到瓶颈，不过短期在大家能更好的清理数据的时候还是会有不断的提高；3. 存算一体是未来，比较理想的方法就像是SNN+RRAM，只是现在对于电阻存储的产业化还需要时间。
记得忆阻器都是好几年前就有在研发了，就是没有了下文。
@@jinjnjn 确实。最近两三年在材料上有一些进步，但是稳定性目前好像只有几个实验室有比较可行的成果，产业化就差得更远了。
我觉得算法层面的发展也同样重要。我们人脑中是不会做gradient decent或者backpropagation的，所以把人脑中真实进行中的运算数学化并模拟出来非常有意义。
计算机模拟人脑可能是个错误的方向，人脑不见得是最优解。
我在2010年左右时，就知道IBM和HP在实验室都已经研究存算一体技术十多年了，每年都在更新延续研发项目计划，拿到几百万到几亿的研发投资，按照当时的预估，这项技术大概在2018到2020年左右就可以实际量产了，可是到现在也没有什么突破，不知道遇到了那些瓶颈。
瓶颈？ 因为他们是使用字母表音文字的低阶文明。
他们根本无法理解 一幅“飞流直下三千尺，疑是银河落九天”的字画。
就像二维文明无法理解三维文明一样
所以，信息传递的效率不一样
他们bb大半天，我一个汉字就给他表述明白
確實是, 這等於是從硬件到算法的全部推倒從新發展, 太遙遠了
存算一体，学术界重点是 新材料新器件，这还是很难突破的。
传统冯诺依曼架构里 靠近计算的sram(常见的cache)很难做大(一般就是kb 大的就mb)，而现在llm 需要的内存量 是 GB级 TB级。
现在ai芯片内存设计的方式是 很多个core，每个core是 计算单元+sram(kb mb级别)+简单的控制单元），然后 几百个core在连接 GB级别的HBM，就是相当于 core内sram和 core外的hbm构成 二级 or三级缓存结构。
本质上是 缺乏新的适用于存内计算的存储器件，所以 内存只能用sram+hbm，同时 加大带宽吞吐量。
你个栽麦子，还知道这些？这与我种田有什么关系吗？
分治法是人类大脑总结的部分数据的系数表达，人类设计小函数的过程就是确定函数系数和次方的过程，次方也是缩减系数的过程。深度学习是用多维一次函数和多个隐层来表达高次函数和多个分治集合的过程。未来的深度学习不仅是通过net来训练model系数，还会自己调整net，不再需要人类设计net。
有意思，谢谢，我突然想到一个问题，如果有伪信息进入存算一体模型，学习完了会局部更新参数，这样可能对整个模型会造成伤害，或者说即使是真的信息，但是跟原来模型不匹配，也有可能对模型造成伤害，这样其实是挺危险的，这种情况在人的认知上面其实是经常发生的，就是说我们可能会被错误信息蒙蔽，从而误解，作出错误的判断，我们无法保证所有的信息都是准确的
這個一早有專家說了, 模型訓練過了幾代之後會用了自己以前的資料訓練導致越練越蠢.
仿生嘛，人类个体什么样，谁都知道。最智能的算法，必然会产生偏见。存和算分开，再融合，再分开...，俄罗斯套娃。照着这个思路聊，谁都是牛人。我不是说思路不重要，而是匆匆几十年，如果能在短时间内落地的方法或许更重要。那么，存算训一体的芯片，具体是怎么做的。更具体些，人脑是怎么计算加法的？整数、小数...
现在既有的大模型和他设想的发展都是联结主义（又名仿生学派或生理学派）范式里的，并不是对“AI新范式”的设想，这要搞搞清楚。人工智能的三大范式是符号主义、联结主义、行为主义（进化论派或控制论派）。符号主义就是上世纪五六十年代那些最早的还原论范式（也就是最著名的德雷福斯所批评的范式）；联结主义即把计算机看为类人脑，侧重基于技能的建模，利用统计学来模拟神经网络及其联结机制，把学习作为体现智能的工作范式，最典型的例子就是Transformer；行为主义是利用仿生学（广义上的），制造有行动能力的智能能动体，也就是机器人，把执行能力作为体现工作智能的范式，最典型的例子是各种智能体模拟（Agent-Based Modeling）算法、配套的NetLogo软件等。除非人类科技锁死，否则新范式的到来是必然的，但并不是视频中所说的，因为视频中所说的其实还是已有的范式。人工智能的三大范式是有明确定义的，这点做科普视频的时候需要搞清楚。
作为 neuroscience 的 postdoc， 我非常赞成嘉宾的说法， Neuromorphology computing will be the next trend.
动态学习可以用已知概率和正在发生的事件来预估未来概率分布， 再用新概率算预测某事件。再对比预测结果和实际结果，回头评价和修正原预测过程的bug。 再循环。 瞎想的，不知道理解是否正确
非常深刻的见解。但其中一点可能有些许可讨论的点。人脑的推理和自我更新功耗可能的确是不高很经济的，但是学习（训练成本并不是很低）。到达当前成年人的知识水平，这是一个historic的视角，从小孩到成人，假设取消中间吃饭，等等时间环节（但这些环节也同样参与着学习与参数迭代），可能所需要的时间也是不短的。
生物腦似乎較擅長用經驗、數據的形式。用分析式性（歸納法、極端原理、分治法很多很多。。。）等常用的數學、物理等解題套路較適合一個有清晰無含糊性的系統. 如果宇宙有定律的話，自然界生物腦跟人造的定性式的計算機的優劣在現今仍是黑暗時代在探索中、本質是什麼的平衡. 三角定律
如果你把计算机 从芯片到板卡等等所有时间都算进去，还要能走路 视觉等等，估计时间也不短。
因为人脑获取知识太难了
我也没读博士，因为当时发现机器学习每天就是调参数，根本没有往算法方面的深入的动力和方向。新出来的算法过几年就凉凉了，当时意识到这个为题之后，我曾经在斯坦福的仙人掌花园坐了很久，思考未来的发展哈哈。
對於計算架構的想法很厲害，但感覺分治法和端到端兩種思路並不是互斥的。就如同黑格爾證辯法中的正反合，端到端的算法可以作為分治法當中的一個元件，而當分治法的架構過為笨重時，又會發展出新的端到端算法。這點在 CS 各個領域中都不斷被體現
同意
纯粹的端到端可能不能支持很多中间的子任务，而分而治之的思路不仅可以解决A→B→C的问题，也可以支持A→B, A→D, A→E etc..
很棒的對談，關於分治法跟端到端我還滿有體驗的，分治法最大的問題在於試圖幫一個相對未知的領域定義個規則，所以透過這個規則就可以為之使用。簡單來說，我定義一個數學方程式，然後期待輸入的數據後都能符合期待的答案。當然，如果有個已知的曲線，那透過趨近法總能得到接近的方程式，但是這個方法的關鍵是已知曲線，如果曲線很複雜，如語言模型，或是僅獲取部分曲線的數據，那分治法就很難適用。比較以前的谷歌翻譯跟ChatGPT翻譯就可以很明顯看出區別。
分治法模仿的是左脑，端到端模仿的是右脑。
Transformer与decision tree分别是两种算法的典型代表。
真正的人工智能需要同时结合、平衡使用两种方法。
端到端是怎么回事还是云里雾里，感觉还是需要抓取输入的特征值，只不过这些特征不再是人工预设的，而是由一套算法去自动选择和抓取。
非常有深度的talk。最近也在接触neuromorphic computing。感觉上还是一个很有前景的领域不过目前生态还没有。不知道在crazy on GPU的时代这一脉怎么生存下去
这让我想到了不久前看到的一篇报道，国内一研究团队研发/改善了一种计算结构。该结构没有cache，没有计算单元，只有memory。所有计算都在memory里完成。好处就是，它不用频繁调动数据。节能，高效
这个视频深深的冲击了我，为什么。因为这哥们门外汉的水平再用自以为是的理论讲出来，却收获了这么多的称赞。不禁让人深思。
可以说一说有什么问题吗
怎麼看出是門外漢水平的？
我同意你说的。存储和计算一体化，要这么容易实现，人类的芯片早就上天了。
确实，只要稍微懂行的人都知道这哥们在胡逼，其实但凡普通人能想出来的idea都被做过了。关键是这哥们自以为是在幻想中构建这么多非常幼稚的体系。
@@chengzhigao6909 哪个哥们
22:55 同一個單元又存又算讓我想到了SONY家搞的全域快門的那種CMOS "Exmor RS", 它就是在每一個感光單元都搞了一個DRAM,
光子進來, 感光, 計算, 輸出, 一瞬間就完成了, 所以才做出'全域快門'這種東西
好像沒有複雜的「處理規則」在裡面
总的来说very informative，我也基本同意主要观点。但有两点不太同意1. Transformer和端到端的模型没有必然的联系。CNN照样可以端到端。甚至传统AI算法也可以端到端。但我同意端到端可以大幅减少中间步骤，节省成本。2. 同意in memory or near memory computing are important，但并不一定导致新的算法。现在不少基于已有模型的in memory or near memory computing
再补充一点，传统的decision tree/SVM这些并没有被完全取代，少数模型会结合大模型和这些传统模型来做fine tuning 或者compress 大模型本身等等
学习了，我认为降低未来模型的计算功耗是真的很大的挑战，而这个才是计算的终极天花板。现在的硅基架构哪怕是完全不要数据搬运，功耗也没法和碳基生物相比。
这是真正融会贯通的计算机科学家
算法的淘汰是残酷的，但也是必须的，本质上就是模式颠覆，没有模式遗传的可能，只有颠覆。本质上是模式唯一性，更进一步说这就是暗示+明示你：这宇宙就真的有最优解
第一次观看你的视频就收获了满满的惊喜！很喜欢这期视频中理性又有趣的交流氛围！感谢！期待更新！
非常高屋建瓴的看法，感觉会是很有趣的路径
现在最流行的基本都是不可解释的。人类解释不了中间层的输出，但是从逻辑上讲，如果知道决策的对错，你总能让机器往正确决策的方向进化一点点，所以中间层的输出不一定是可解释的，但这不影响从整体上是可解释的。
存算一体很早就有了，最典型的商业产品是美国Thinking Machine的Connection Machine 2. 但关键问题是存算单元之间的通信，这些通信的路径是算法动态决定。 如何解决这些通信问题，我们又回到问题原点，这些通信也是数据搬运！ 目前人们找到的最好方法是共用一个存储器，通过它来实现任何点到点的数据搬运。
博主老石老师专业背景主持了生动的一课，每位研究AI的年轻人都应该好好研读每一句对话。对那些埋头只专研一方面的研究员犹如暮鼓晨钟，要看清前进的方向。❤❤❤
最近我突然顿悟另一个问题，为什么老子说道法自然是好的，因为“自然”就是那个宇宙用上亿年时间给我们筛选出来的“正确答案”，就是那个能量最优解，这也是为什么仿生方面我们还有很多可以学习的地方。今天看到这个视频真的觉得很奇妙啊不知道未来可以发展到什么地步，很期待。
it's really opened my mind in the way of thinking in AI
感谢分享，这真的是未来，如果 5 年后 10 年后再看这个视频，不知道会是怎么样的想法。
谢谢，非常有启发性！另外可以帮我问问MAMBA是他理想中的存算一体的机器学习架构吗❤
没错，大模型现在就是不能实时调整，能边学边改的进化就是未来趋势！！！
那也太恐怖了
人类几亿年才进化成这个样子，如果计算机能模拟加快自然选择，那真的就是人工智能了
若以分治法代表人的理性，則以大模型代表人的感性。所以，大模型相對於分治法等同於人類的直覺，如同“快思慢想”所闡述的一般，並非哪一種方式更好，而是彼此相互依存，不可分割。
所以，若以英語代表邏輯性更強的表達方式，則中文便是相對感性的方式。
簡言之，大模型要節能，必須對參數進行關聯與折疊，即類似於中文的一字多意，具有傳達整體的功能。
存算一体的概念也有段时间了。。。。目前一个是制造问题（目前存储器的制造和逻辑电路不一样）， 一个还是算法（生态）问题吧。。。。
请问up, 有没有用FPGA能模拟的demo？
分治是人类解决问题的一个思路，但是不是解决所有问题的思路。视频里面提到决策树，很多的条件其实是刚性的，中间没有模糊空间，但是其实现实世界就是有模糊空间的。深度学习可能表面上看起来最大的区别是存算一体，其实是在这些刚性条件的地方加入了很多模糊的空间。有研究通过用gpt4-来解释gpt-2的神经网络，并不是完全的黑箱。存算一体有很多的讨论和研究，但是不一定是绝对的优势，更多应该是一种共存的关系，如何把成本做下来，并且达到节约能量，还有很大的挑战。
非常精彩。比看Sam Altman， Jensen Huang 等所谓顶级大咖的访谈更受启发。
从硬件实现上看，这不是英伟达的难题，是台积电的难题，是把“芯片”做成“芯体”的难题。从计算方法上讲，是一反降维解析多维矩阵而直接处理多维计算的问题，而要想解决多维计算，必须先有“芯体”
为什么说现在的大模型系统不是存算一体的呢？大模型参数不仅只是用来矩阵运算处理input text/image/video，也包含了大量的memory/knowledge，所以现在GPT能在不使用context或者memory的情况下回答基本所有的常识性问题。特别是在inference场景下，输入是不需要经过存储的，可以直接喂给大模型然后直接实时输出。关于功耗的问题，我想主要是硅基系统和碳基生物的区别吧。
我大膽的請教一下，存算一體不是一個【考古科技】嗎？類比計算 [Analog Computing] 不就是【存算一體】。只不過因為過去，崇拜【分治】，硬把數據切分為多位化，可以在每個分位內，有把握的精準，把誤差推到最細的【分治】後面。。現在是不是應該回頭 dusting off，重作馮婦?😃😃
FPGA的这种芯片可编程岂不是存算一体最接近的形态。我们在FPGA 中定义算子的时候直接把数据和逻辑定义进去。然后当端到端算法运行时候就直接去使用FPGA中指定的定制算子(有预先逻辑定义和数据存储)计算，性能和效率岂不是大幅度提升？
Spiking Nerual Network就是最常被實現在FPGA中的仿生算法，也算是存算一體
後面講的東西真的很厲害
最後 AI 的進展還是出現在演算法的創新跟優化
軟體工程師又要頭痛了 XDXDXD
我就是被Google决策树推算进来的观众😂本来看视频标题觉得没啥兴趣。但是架不住老是排在前几名推荐视频里。点进来一看发现宝藏了😊耳目一新的知识总结。echo视频里大咖的说法，百分之七八十的准确率已经很好了。没有让我错过这么精彩的内容。
说明我该好好换个标题😂
嶄新的想法
根據歷史推演有脈絡的推測
有價值的訪談
其实两个趋势，一个是改变memory的地址寻址的模式从而减少面积和功耗；再远一点就是用模拟方式，FFT代替COV， 光学FFT代替离散FFT。
整个输入，很多层cov和FC才能获得的信息，一个光学FT就解决了，不考虑ADDA，几乎没有功耗消耗。
AD/DA就是激活类的element wise的，或者直接用模拟解决。
影片里多次提到的 “仿真”简单的说只是有现成的明确的更高级的东西（生物）可以学习而已，并不是说要变成生物。
高性能计算很多时候瓶颈就在于数据传输上，大量算力花费在矩阵运算上面。现在有个方向是用模拟电路去做矩阵算法，据说会大规模降低功耗
Neuromorphic 現在最大的問題是找不到訓練模型的算法。 當你把算和內存都在一起的時候， 怎樣確保你現在在近內存的數據， 是你需要運算的數據。 生物大腦的學習方法，somehow能確保需要大量交換的數據是在附近的，比如 visual cortex 和auditory cortex。 所以他還是有一定程度上的divide and conquer。 我們現在還是不知道生物大腦的學習算法。
存算一體的架構定義不清。
分治範圍要多小才算分治，否則分治單元不也是一種端到端。難道分治單元内不會有搬運問題嗎?
存和算之間搬運速度極大化，是不是也是存算一體?
問題核心既然在搬運，SiPh 矽光子技術才是打破瓶頸關鍵。
我就这么说：现在的大模型，未来的超级ai，只会有唯一一个，不会有很多个，不需要gpts，不需要针对行业优化训练微调，因为他真的不再需要😂
安克创新股价就反应出来了。厉害👍🏻
Graphcore 架構挺好 顛覆馮諾依曼，最近怎麼回事 被 Sequoia 給 0 估值，老石有空 follow up 一下 再出個視頻？
太棒了！ 期待下一期！
AI 方法分析很好，我覺得，以分治法而言，AI 回答顧客提問前可以先將顧客提問分成數個問題，讓顧客選擇要回答哪個問題，也可以全選。其實人類提問有時問的不清楚，要把自己問題釐清。有時人類只是想聊一聊天，AI太認真工作啦。不過別像某公司客服AI, 聽不懂人話,轉來轉去讓人等…等…等…
存算不是一體有它的發展歷史，結論就是
Ｌ1速度快，die size大，Ｌ2速度慢，die size小，die size差很多，
所以在成本與效率的綜合考量下，就是用小L1+大L2，AMD和Intel的CPU也都是這麼做，
或許有人提出只用L1(存算一體)的不計成本的做法，那這樣的作法會比相同die size的multi chip，多GPU平行處理(非存算一體)的速度快嗎?🤔
從GPU到存算一體的進程中，感覺還有一個輔助腦的時代，複製人腦很困難，但如果將程序軟體用另一種方式來配和人腦達成輔助腦，再利用輔助腦來推演出真正的存算一體！
从芯片制成上没法解决存算一体，DRAM/HBM和logic standard cell是两种制成。用standard cell做的SRAM非常消耗面积，存大数据也不现实
具体核心原因电路是波性质，而不是量子叠加态，量子叠加适合存算一体。
你如果做asynchronous 大就大唄反正不是von Newman who cares?
@@benwlee 大了有一系列问题，比如良品率，成本
@@hongsenyu8108 那就是engineering problem, not architectural 重點是如何配置資源，在最小的範圍內達成目前計算methodology 的需求。
@@benwlee engineering problem很大， foundry没有突破别的都是空谈
非常棒！大佬能开一期讲存内计算的不？
我认为人脑也是有储存区域的， 而且大脑和小脑功能分开的， 小脑的肌肉记忆和物理控制不依赖大脑的记忆的， 就是说你即便失忆了， 你也会你以前的技能， 比如游泳， 语言能力等
作为一个比较了解存算技术的人来说，其实国内大家都是炒概念追热点。单从存算cell本身来说是没有任何问题的，难得是工具链，cnn和transformer如何去平衡？int8 fp8 fp16如何兼顾？做完这些之后还会不会有能效提升？
最小最低功耗的神经拟态
感存算一体商业芯片的公司
没想到Anker的老板还这么有水平🎉
难得的有思想的一期节目 而不是照本宣科的堆砌高端。当然开阔眼界追逐state of the art也是需要不求甚解的传递高端
老石的采访越来越专业了，很多时候嘉宾讲的内容听不懂，老石多问一句让嘉宾稍做解释就变的很容易懂了。
像他说的这种端到端类似黑盒的运算方式如何保证多次计算后输出的一致性？这种会不会导致经过多次的来回导致结果不一致的情况？
很棒的内容！阳博士思路与表达非常清晰，将智能计算趋势用浅显易懂的方式让非专业的我们理解。我非常期待下期的访谈。
高人 很精彩的访问 存算训一体也是很合理的推测 但现阶段 似乎需要无数的科技技术创新 还是有点科幻小说的味道
當你手上有強大的硬件 你自然而然就會想盡辦法開發這個硬件的能力 想要未來越進步 努力提升硬件 後面自然會有無數人用這些硬件 創造出各種各樣的東西
大佬就是看得远。就在几天前，谷歌的前ceo埃里克史密斯刚刚在斯坦福大学内部演讲中说了transformer这个算法在美国内部。已经有新算法替代了
這種影片是很棒的學習模式，製作很精良
兩位厲害👍是可以帶動時代發展的人物
仿生和ai 并存才是合理的。
比如智能驾驶，无人驾驶，本质上是为了秩序井然，减少人为的干扰，减少突发变化才是最重要的。
比如人们担心的无人驾驶无法应对突发状况导致事故。
而要解决的 根本是 解决造成突发状况的原因。
因为机器也会有出现问题。
有些點想確認，就是個人理解上的人腦運算實際也是採分治法吧!? 處理和接收信息的腦部位印象中是在前額葉即前腦短期記憶這一帶，但儲存長期記憶是在後腦位置，而倆部位也如馮諾伊曼架構那樣是協同運算的，跟影片中提及人腦是完全儲算一體有些出入!
存算一体明显是错误的方向，造一个每次通过一个人的洞口是经济的，而造一个每次通过无限个人的洞口，明显是个悖论！两位的访谈还是基于人脑储存知识的假设，仍然认为是数据搬运，但人脑瞬间提取记忆明显不是数据读取。更能解释人脑机制的假设，还是生成式智能，知识压缩在人脑中，需要的时侯是生成的，这也可以解释人脑的记忆常常不可靠的。
人類進行大腦半球切除術，只剩一半的大腦，病患的個性及記憶並沒有明顯改變，會有些肢體障礙的後遺症，可以透過復健改善甚至恢復。但把電腦的記憶體或硬碟切一半試試....
經濟問題在技術成熟後就不是問題了
其实谷歌的Tensor就是朝存算一体的方向走的架构。问题出在一个老纠结：通用性和专用性的选择。说到底是效益优化和市场需求。至于耗电问题，谁不知道越低越好？拿出解决方法就行。
人腦運作機制還涉及松果體隱含的神性
@@bkgy 第一次听说这个说法，有论文吗？我想读一读
我是计算电磁学领域的，我教授引以为傲的是用于method of moment (MoM) 的 multilevel fast multipole method (MLFMM) 算法，从逻辑框架来说也是"分治法"（毕竟是multilevel的），我一直想用神经网络重构这个东西，但是一直没找到切入点，不知道有这里没有大佬可以给点建议。
基本都可以认可，不太认可过去三十年博士的贡献都被擦除。量变引发质变，新的范式一定不是从0开始。
做消电的人能有这种见识 真的罕见
人家博士就是读这个的
是的 创业前的背景就是干这个的
mutli-level cache與一致性就是為了解決存儲與運算分離的問題. 也發展的很成熟了. CIM要想取代這套再來個幾十年吧