【人工智能】LLM的昨天、今天和明天 | 托马斯·夏洛姆 | Llama 2/3作者 | SFT | RLHF的魔力 | GPT | Chinchilla | Scaling Law | 未来发展
HTML-код
- Опубликовано: 27 сен 2024
- 前两天，北京刚刚开完2024年的智源大会，大咖云集，发表了很多精彩的演讲。其中，Meta研究科学家，Llama 2、Llama 3的作者，托马斯·夏洛姆Thomas Scialom博士，也做了一场报告演讲，题目为大语言模型的昨天、今天和明天。在这个主题演讲中，托马斯通过对OpenAI、DeepMind、Meta等公司明星产品的分析，完整梳理了大语言模型近年来从萌芽到爆发的发展脉络，重点剖析了Llama 2等模型背后，SFT、RLHF等技术的细节和作用，同时从多模态、Agent、机器人等角度，分享了他对大语言模型未来发展的看法，今天大飞我就来跟大家分享一下。
原视频链接：event.baai.ac....
#人工智能 #llm #rlhf #llama #openai #deepmind #meta
‘’AI没什么特别的，只是复杂系统的自然产物罢了‘’ 这句话好深刻❤
up主夹带私货了, 原文是 只是矩阵的乘法
被发现了，嘿嘿
@@bestpartners 某UP主说：地球人没什么特别的，跟火星上的一块石头一样
我以为大飞会说“人类没有什么特别的，只是复杂系统的自然产物罢了”😂
想拿掉矩陣乘法也行
現階段進行廣義訓練讓機器能理解我們提出的問題的意思；只有當ai有極其紮實的理解力時，轉入專業訓練，人類真正從中受益
UP主的视频我爱看，思路清晰，不废话，干货多
感谢支持🙏
謝謝大飛
這高產到由專題變成新聞...
人類在試圖通過人工智能突破自身的局限性，俳句寫的確實好，風花雪雪在AI不是難事，那麼他可以創作一部麥克白嗎？他能理解人性之惡嗎？
请教怎么能够给模型设置训练截止时间（视频里说的截止 1940 年类似的效果），这个在调用 闭源大模型（比如 gpt4）的 api 时可以做到吗？
这个应该是在训练时做的，调用 api 做不到
嗯，现在看钢铁侠4的预告已经不觉得是科幻片了，甚至感觉有些 low，这就是生活在科幻时代的代价，科幻电影保鲜时长越来越短
第二
Second……
大飞的你衣服都是哪里来的？🤣
哈哈，买的🤫
講的挺好的，下次繼續講，老子要長腦子了，就像 AI 要增加權重和數據可以提升性能一樣，多來一點複雜且含金量高的影片，大飛要帶我們起飛了。
重點整理
1. AI LLMs 快速增長。
2. Weights 權重 + Data 數據 = LLM 大語言模型
3. 權重和數據對 LLMs 至關重要。
4. Scaling Law 縮放定律適用於權重和數據，增加其中任何一項都可以提升模型性能。
5. GPT-3 論文認為增加權重比增加數據或訓練次數更能提升性能。
6. DeepMind 的 Chinchilla 論文認為小權重模型需要合適的學習率和大量數據。最佳訓練方法是使用更多數據來訓練小權重模型。
7. Llama 模型為了要廣泛使用，推理階段必須高效。較大權重會減慢推理速度，而訓練數據量僅影響訓練時間。
8. Llama 2 的參數與 Llama 1 相近，但使用了更多數據，並加入了監督微調 (SFT, Supervised Fine-tuning) 和從人類回饋進行強化學習 (RLHF, Reinforcement Learning from Human Feedback)。
9. SFT 通過人類標記好的成對的提示和回應訓練模型期望的輸出，RLHF 通過選擇模型生成的人類偏好回應來訓練模型。
10. SFT 的成本是 RLHF 的十倍。Thomas 最初偏好 SFT，但為可行性選擇了 RLHF。
11. 訓練過程中，通過調整數據和權重來改進獎勵模型和模型準確性。
12. Thomas 發現模型能感知時間，根據最新訓練數據調整回應，也就是模型僅會輸出訓練資料截止時間內的知識。
13. RLHF 能超越人類在判斷回應方面的表現，需要人類與 AI 的協作（RLAIF, Reinforcement Learning from AI Feedback）。
14. 未來趨勢是多模態模型，從文字、圖片、聲音和視頻學習，模型能聽說讀寫看畫，適用於 Agent 代理人和 Robots 機器人。
15. 當前的 AGI 可能被視為複雜系統的自然產物，並無特別之處。
一起飞🤣
第一✌
到头来，AI, 大模型，智能，就好像飞哥所说的 “空，非空，非非空”。。。。
我想说，人也没有什么特别的
同意。也“只是复杂系统的自然产物罢了” :)
绝不同意。
神 说 ： 我 们 要 照 着 我 们 的 形 像 、 按 着 我 们 的 样 式 造 人 ， 使 他 们 管 理 海 里 的 鱼 、 空 中 的 鸟 、 地 上 的 牲 畜 ， 和 全 地 ， 并 地 上 所 爬 的 一 切 昆 虫 。
神 就 照 着 自 己 的 形 像 造 人 ， 乃 是 照 着 他 的 形 像 造 男 造 女 。旧约圣经 創 世 記 1:26-27
我 观 看 祢 指 头 所 造 的 天 ， 并 祢 所 陈 设 的 月 亮 星 宿 ，便 说 ： 人 算 甚 麽 ， 祢 竟 顾 念 他 ？ 世 人 算 甚 麽 ， 祢 竟 眷 顾 他 ？祢 叫 他 比 天 使 微 小 一 点 ， 并 赐 他 荣 耀 尊 贵 为 冠 冕 。旧约圣经 詩篇 8:3-5