【AI】OpenAI的超级对齐究竟要干什么 | 团队负责人Jan Leike访谈深度解析 | 4年内解决超级对齐 | 一盘大棋还是噱头 | 对齐AI的自我升级迭代 | 算力即对齐 | 是否会产生AGI
HTML-код
- Опубликовано: 20 авг 2023
- 前段时间，OpenAI 宣布成立了一支新团队「Superalignment（超级对齐）」，引起了广泛关注。该团队由 Jan Leike 和 Ilya Sutskever 领导，还囊括了一些顶尖的研究者，其目标是在四年内解决超智能 AI 的对齐问题，即搞清楚如何构建一种值得信任的人类水平的研究器，然后将其用于解决对齐问题。但这项计划究竟涉及什么内容？
近日，专注于 AI 风险（尤其是人类的灾难性生存风险）的播客节目 AI X-risk Research Podcast（AXRP）邀请到了超级对齐团队的领导者之一 Jan Leike 并与其进行了两小时的长谈。Jan Leike 在其中分享了 OpenAI 这个新成立的超级对齐团队的目标和研究策略以及许多细节。
#openai #superalignment #agi
播客地址：podcasts.google.com/feed/aHR0cHM6Ly9heHJwb2RjYXN0LmxpYnN5bi5jb20vcnNz/episode/MThlYjczZGItZmYxZS00MDU0LWJmOGYtZGRhNWM0ODkzNGM0
真精彩
厉害厉害! 每集都干货满满，充满真知灼见! 是我做研究的重要启发!
感谢
但是我們恐怕也不知道什麼樣的標準才是符合人類的社會意志和規範，這樣到底要怎麼訓練出一個跟普通人差不多的AI，另一個問題就是，我們很難判定每個人是否真的符合人類社會意志和規範，我們現在採用的方式就是考試，考試等於量化，量化等於簡化，表示最後只能得到某些數據，依靠數據來判斷是否合格。但是考試的缺點也非常明顯，就是即使成績合格了，也不代表真的符合標準，因為數據都是簡化的，但是符合標準卻很可能是無法簡化的，比方說，考試可能見到人去幫助得到八分，就已經合格，假設這表示有20％的機率，會被認為即使不去幫助，也不會影響到符合社會規範，然而可能就是這20％中出現了不幫助對方導致對方死去的結果，這樣很明顯是不符合社會規範，也就是說，以機器或是數學來說，他們可以接受事前的檢驗合格就是合格，但是以人類來說，卻必須事後的結果也要合格才是真正合格，這從一般社會新聞就可以看出，就算一棟大樓消防設施和檢測都沒問題，但是如果不幸燒死人，那就不可能沒問題，一定是哪裡出問題。我想超級對齊應該頂多只能做到隨時修正，卻無法做到保證結果一定是符合社會意志和規範。
最後是關鍵性的部分，當我們說符合人類行為規範時，不是在說答案是否匹配，而是一個價值判斷，而價值判斷的前提是意義，我們必須先瞭解事物的意義才能做出價值判斷，對於毫無意義的事物，無法給予價值，也就難以做出正確的判斷。比方說，所有的鑽石戒指都有同樣的價格，但是情人送的那個鑽石戒指因為有特別的意義，因此有其他戒指都沒有的價值。之前的影片留言中提過，我們自己都不知道意義來自哪裡，更不可能幫AI提供意義的資料庫，讓他們學會價值判斷，所以這個超級對齊到底要怎麼解決這個問題？繼續靠機率？那不就只能得到跟現在差不多的結果嗎？
新团队用新魔法与原团队的原魔法竞争导致了CEO的离职，再次证明“自我革命”的艰难。
看了很多关于对齐的文章后，感觉这个对齐是就是对人工智能的行为按照人类的意志给予的限制，是个很宽泛的概念，覆盖安全，伦理，逻辑，等等。和威尔史密斯主演的“我，机器人”电影中机器人三大定律是类似的概念，不过要复杂得多，覆盖更多的概念。比如对 Chat Gpt 来说，政治不正确的问题是不能说的，比如种族问题，女权问题。对社会有危害的话题是不能说的，比如怎么抢劫，盗窃，开锁什么的。这个对齐问题不解决，社会就是对人工智能产生担忧，而且 open ai这些公司也因为ai 生成的内容会被频繁的起诉。其实利用 Ai自我迭代在学术圈里面已经被广泛的讨论过，大多数的学者认为只要提供的训练数据足够多，模型足够大，通过多次的自我迭代，通用人工智能就会慢慢出现，但是安全隐患也特别多。对于人工智做出的决定，人类要跟踪为什么做出来这个决定的成本非常高，因为每一次 debug 都需要跟踪数万亿次的神经元的计算。ai在多次做出的同一个决定情况下，被激活的神经元有可能还不一样，这个就让人类想完全监控 ai 是如何做决策的难度巨大，难于上青天。所以 Open ai 才会想着用魔法打败魔法吧。
九個月後回來看，不剩唏噓
超級對齊團隊解散了
唏嘘不已
這個頻道太棒了
老爹说过:要用魔法打败魔法😂
哈哈，是这个意思，比我总结的更到位👍🏻
它们或者他们合伙制造适度对齐的假象怎么办？
兩人都離職了lol
这世界变化快啊😮💨
抽象点就是元学习吧。
感觉几年后又要被震撼了
对齐在我看来，就 是学习人类的意识形态
学习给人灌输意识形态
還不到一年就解散了🤣
不知道有沒有更好的翻譯，用直譯的「對齊」聽起來總是怪怪的，不知道有沒有更直觀更高大上的中文翻譯
哈哈，GPT4給的幾個翻譯建議感覺都比「對齊」好很多
我理解你的顧慮。"對齊" 的確可能無法完全捕捉 "alignment" 的含義。以下是一些建議的翻譯：
人工智慧調和 (強調人和AI之間的和諧關係)
人工智慧符合性 (強調AI與人類目標和價值的符合)
人工智慧適配 (強調AI的調整以適應人類的需求和價值)
人工智慧協同 (強調AI和人類的合作和一致性)
你可以選擇最符合你期望含義的翻譯，或者結合以上建議進行調整。
只谈算法算力，不谈喂料，奴才懂对的是谁的齐？
中国地区打赏不了
没关系，观看就是最好的支持❤️
太早了，现在在一个刚刚突破人工智障水平的AI，就用人工智障去自动对齐，结果？？？
現在回過頭來看，真是有諷刺意味。