【人工智能】Ilya Sutskever 2023伯克利大学演讲回顾 | 无监督学习的数学依据 | GPT的核心原理 | 压缩即预测 | 柯氏复杂度 | 形式压缩与内容压缩 | 条件建模到序列建模
HTML-код
- Опубликовано: 10 сен 2024
- 最近翻看Ilya早期的一些视频，又有很多的感触。Ilya曾经在伯克利大学做过一次演讲，由于内容比较晦涩，知道的人也不多，但是我觉得它却是人工智能历史上的最重要的演讲之一，不仅揭示了大模型的核心原理，并且生动展示了Ilya对无监督序列学习的痴迷。今天我就来带大家回顾一下这场演讲的内容。
原视频地址：www.youtube.co...
#人工智能 #ilyasutskever #gpt
成为此频道的会员，即可享受提前一天，观看频道最新发布视频的福利：
/ @bestpartners
我翻出来就是为了看这样的视频的❤
pornhub、xvideos ，不要把自己局限在youtube
虽然不懂人工智能，我是把艺术和美作为信息处理的结果来思考的。人处理信息可以有无数种方法，只有最省力的方法才能让神经系的褒奖系统产生快感反馈，于是成为大脑采用的信息处理方法即思考方法。如果把这个思路用来发展AI，就会和人的出生一样，不需要复杂的思维模型，不需要大数据处理，有自律性地成长。
Ilya说的压缩类似人的“抽象”思维方式。目前所有模型都基于一个假设，出现频率越高的模式越重要，越容易学习。这和人的心智模式不同，人很多时候会追求“新鲜感”，即出现频率减少的模式，人的这种追求新鲜感的行为，比较符合信息论的观点，低概率事件包含更多的信息。梯度下降和信息论存在根本上的冲突，如果能调和这个冲突，那么就会产生通用智能。这是通用AI的最后一块版图
新鲜感是有周期的，和时尚差不多，只要搞出轮回就行了
@@vandebiao2245时尚和科技是同时兴起的，周期性是怎么看出来的，意思是你可以在当下任何一场秀找到之前的对应？这不太可能吧，因为他们设计师是会用新科技做实验艺术的。
自监督学习的梯度下降常用的损失函数都是从信息论来的，这俩能有啥根本的冲突XD
我觉得AGI的解决应该依赖于超越transformer这种语言模型的算法突破。目前GPT在复杂逻辑问题上的困境，和底层语言模型的本质有关
為了克服新鮮，我建議支那先訓練四川南充口音普通話壓縮包，西安口音壓縮包，再訓練北京翻譯包，得到自動上字幕的所謂... [通用AI]
Unsupervised Learning這個理論，其實80年有很多信號處理背景的人用信號量化，正常化，集群化演繹過的，當時直接用於Vector quantization的壓縮算法. 現在用壓縮的概念來再翻炒了一次。
IIya的北極熊衣服好可愛
感謝大飛精彩的分享，降低我們了解這位大神對於無監督學習的底層邏輯
非常精彩，尤其您的講解與總結淺顯易懂，第一次在youtube 上的超級感謝獻給您
希望您能持續帶來更多關於AI的前沿技術或是知識給我們 感謝🙏
感谢支持(^🙏^)
我理解得很吃力，但视频做得真的很好。
這集太精彩了
非常感谢，解释的很到位
Ilya出來開公司會非常非常艱難,因為找錢是開公司最困難的事情,尤其AI的花費鉅大,投資人又希望看到更確定性的回報,我實在非常懷疑他怎麼推動他自己的理想.
@@zxwxz 没有任何成功是容易的
👍👍👍👍👍👍
大飞兄…请勿使用背景音乐 … 很折磨 ！ 千万不要走这个风格下去 求求您了～😊
完全听不懂也听完了。
创造安全的人工智能，那什么是不安全的人工智能
这个不是无监督跟有监督的区别，是generative model和discriminative model的区别，前者学习联合概率，后者侧重条件概率。这是十分基础的概念和思路，谈不上是他的创新
crossattn约等于k(x|y)
Thank you 大 飞 ☘ 😄 ✍ 😇 🀄 😃 ☕ 😁 🌸 😀 🧧
壓縮即智能這概念很久了 不是他的發明
那他應該不是攪甚麼安全人工智能，而是攪出通用的人工智能
大飞对前段时间ICML上面Zeyuan Zhu的physics of LLM那个tutorial怎么看
一點偏見，私以為所謂的監督／無監督只是某種話術，說到底都需要標注，只是標注的形式不同。transformer只是把單一物件鑲嵌至某個表示空間改成把多個物件同時鑲嵌到表示空間裡，然而本質不變，還是給題目和答案找規律。現在的機器學習對於概念的理解完全依賴羅列（enumeration）而不是抽象的符號（symbol）表達，這樣搞下去仍舊沒有偏離標注的道路，不管怎麼玩都沒有離開統計，說極端一點，現在的這種套路沒有未來。
自然语言通过文章学习严格意义上也不算无监督！内容压缩是信息论的基石！内容很好，但对于专业领域翻译要注意名词！
感谢大飞，虽然听不太懂但是能近距离跟踪地表最强AI理论和实践前沿依然很兴奋
理论上，是否能用ai模型去压缩视频图片二进制数据？会不会比zip和视频压缩比更高？😂
可以更高，但有损失。与zip这种无损压缩不是一个概念。
这东西跟functional analysis是什么关系。
再怎樣預測，也都是人的智慧，導致壓縮包
不太能預測，但是用於新型詐欺，可以做到
花招百出，用於戰爭/金融/監管，是個好東西。
谢谢，内容很有趣，不过里面的数学您也不懂吧😁。
回歸第一原理，我反對壓縮包逼近即智能。
蝙蝠在 視覺+聽覺 聯立環境訓練，得到.. [聽覺-運動] 壓縮包，夜晚避開鋼線，無須大量運算。但這是特定物種，特定環境訓練出來的機器舞男，問題是你在說 通用 AI。
🎉🎉🎉❤❤❤