每一种生命的进化，都要消耗某种资源。电脑之所以成功，是因为它耗电而不直接和人类抢粮食。汽车之所以成功，是因为人类自己不吃汽油。电脑和汽车没有耗尽地球上的所有资源，因为随着资源紧缺，他们会在耗尽资源之前增速减缓达到一个平衡。所谓我们看到的指数模型只不过是逻辑斯蒂模型的前半段。 如果有一种强大的人工智能出现，我们警惕的是它在到达这个平衡之前是不是已经危害人类了。你要让它消耗的资源与人类冲突尽量小。或者让他受的限制足够多，在一个比较低级的层面上就受到限制，早早地达到平衡，不要比人类还牛。 罗胖举的几个例子，其实是用人类的语境和一个对人类语境知识为零的机器对话产生的误解。（所以根据这个噱头写出来的科幻小说，它的原创性来源于语言学而不是科技。）人和机器人的交互当然不能完全使用人类语言。你可以首先把你能想到的初始条件都设置进去，以后每说一句话都要有上下限：不要危害人类；when confused, pause and ask for human input；可以自我复制，但不要耗尽所有资源；帮罗胖签名售书，但不要超过一万本 等等。
这其实触及了一个基本问题，人是一堆物质的组成，还是有一个灵在操纵这堆物。
如果人只是一堆物质的组成，那罗胖说得对。机器和人没区别。即使机器取代了人又有什么区别呢。
如果有一个灵在物质的背后操纵， 那么罗胖说的永远不会存在
最终是什么是生命的问题。 是唯物的还是唯心的。一个哲学命题
两年后再听罗胖当年最得意时候的言论不禁唏嘘。
个人认为内容很精彩，值得娱乐分享，虽然有差异处，但可以感觉到罗丰富的知识。计算机计算速度，脑科学，认知心理学，各种机器学习等等的进步，罗说的是完全可以想象得到的。
17年看这个视频都过时了，基因算法，基于大数据的语言图像识别已经很成熟了
全世界没有一个说脱口秀的人是让人百分百赞同的 很正常啊
很多人罗胖没有科技常识，我认为普通研究科技的人往往不能跳出科技本身来看科技，不能从宏观、从价值等角度认识科技。
任何科技都要两面性，当人类级别高，可以控制它或承受它的负面影响时，会推动人类的进步，当人类级别过低时，哪怕是它很小部分的负面影响，但却可以摧毁整个人类。
就像任何观点都有正反两方面声音一样，一项科技一旦启动，无论长远怎样有害，都有人为了短期的个人的小团队的利益，甚至自以为为了人类的进步，步步推进，其前进的脚步根本无法阻止。
当然承载中国文化的人们或许可以向佛陀寻求智慧。拯救人类。现在还不得而知。。。
假如幾萬年前真的有超古文明...誰會被嚇尿
以目前人工智能技術與未來發展來看，這擔心是多餘的。
1 所有人工智能都只是在某個專業上現有知識的整理，不會超出該專業以外。
2 其進步最多只能與現有知識相等，不可能超越，因為沒有超越現有科技的東西可以讓其學習。
許議中 Genetic Algorithms呢？
2018年回来看这篇文章觉得好可怕。想不到3年时间，人工智能的发展有这么快。现在人工智能何止能识别你是否生气，都能看你是否假笑。何止能识别猫，Standford发起的ImageNet现在可以对图片中对事物作出精确识别，从常规对事物，小猫小狗，电视电脑，到非常规事物，哪年产对什么车，精确度都超过人类。而且ImageNet可以说出各个事物之间对关系。而且比起当年深蓝玩象棋，现在都人工智能已经进入了一个算法都时代。再3年后究竟能怎样真的太期待了。
刚看了开头，感觉是在讲解《The AI Revolution:The Road to Superintelligence》一文？
罗老师的知识储存量够大了，合理性逻辑思维缜密喜欢听
对人工智能安全性的担忧中，包含一种“悖论”的意味：人类认为自己的智慧能创造出能力无比强大的人工智能；同时人类却认为自己的智慧达不到确保人工智能安全的程度。那么人类是不是真的拥有智慧呢？很显然，人类对自身智慧的自信是有限的。这也对，因为事实很可能就是如此。
评论里有一条和我想到一道上了，那就是人工智能的“智商”不能超过人类。
但其实这也不能完全制约人工智能的发展：人类也是慢慢进化而来，一开始也有比人类智商更高的动物（那时候或许还不叫人，猴子都不是），但人类就这么一步步走到统治地位上。同样的事情为什么不能发生在机器人上？
所谓“温水煮青蛙”，我们可能觉得可控，但不妨想象一下：那些人工智能不是狗，他有自己的情感、目标、理想，过了几代之后人类或许不再把它们当服务人类的东西看待，而是把它们当成和自己平等的东西。它们也会有自己的诉求，可能会要求平等，回想一下奴隶解放运动，机器人里可能也有个马丁路德金，人类里也会有“良心发现”的人为机器人平等呐喊助威。现在有些人连杀条狗都反对，未来杀机器人呢？如果一个机器人从小伴你长大，和你培养了很深的感情（它自己也有感情），你愿意它离开你么？
换个角度想，创造人工智能相当于创造了一个新的物种，一个人类自己制造的物种。人类需要创造一个物种并不难，运用生物基因手段创造一个新物种，应该比人类智能技术简单，比如把狗和猫的某些基因结合，便诞生了新物种叫“猫狗”。但问题在于可控性。无论是生物手段造物，还是电子手段造物，人类担任了一个上帝的角色，但不知道生态圈是否还平衡：当一个新物种融入地球这个大生态圈，人类能保证他们不会威胁到自己么？
考虑一下如果有生物不需要碳氢氧的能量交换来获得生命活动的延续，那么如果人工智能能做到自我进化的程度，就可以被考虑成一个新的物种了。。。
人类惧怕人工智能根本就不是重点，人类惧怕机器人最根本一点就是机器人的复制性，人类要十月怀胎几十年学习训练百里挑一才能出一个“精英”而机器人可以瞬间完成复制，现在娱乐界横行的丧尸系列不也是根源自传染性（复制性）才让人惧怕吗，人类从智人开始就是以组织抱团人数为社会作为跟大自然斗争的最根本力量，这已经写进人类基因里了，现在出现一个比人类还擅长打群架的东西，不管是丧尸还是机器人都会让人从基因里产生恐惧！
其实我觉得最后人工智能会和人脑合体，使得人工智能成为人体的一部分，比如现在人造心脏，人造血管，人造假肢已经比比皆是，将来出现人造大脑也是有可能的，甚至将来人类从细胞层面机械化也是很有可能的（参照最新一部终结者电影里的john corner），这也许就是人类进化的下一步
你可以看看《攻壳机动队》
人类不会灭绝，起码不会因为失去人生价值而灭绝。
人类做的许多事情其实是没有什么意义的，比如好多孩子在打游戏时把装备升级当作一个值得追求的目标。还有练太极拳的人把提高境界作为毕生的追求。所以，当人们不需要为生存而努力的时候，他一定会找到自己新的人生价值。
所以面对未来人工智能时代，我们要培养孩子的兴趣，让他们过有意义的一生。
羅哥! 你是不是瘦了 看起來很有精神! 更帥了!
下一個趨勢，我大膽預測是「量子電腦」
因為量子電腦的運算方式，超越二分法，量子電腦會成就人工智能
反而言之，人工智慧，就是量子電腦的作業系統
2分法、4分法、8分法、12分法...
能夠將一個現象分得越多的人，就有越多比較的參數，那個人也就越聰明，越不會失誤
节目中说到超强人工智能对于人类的最大威胁就是危害到了人类的存在，将人类掌握地球的控制权拱手让给了比我们高一级的人工智能。这句话我觉得值得斟酌。如果人类创造出了高级人工智能，人工智能是否可以将我们同化或者说改造成跟人工智能完全一样的具有超高智能的一个生命体呢？到那个时候就不是我们是鱼肉，而是大家都是刀俎。
提醒一下，可剪的頭發本身不是細胞，頭髮根部毛囊內才有細胞，頭髮本身是由這些細胞分泌的角質蛋白所構成的
我决定去玩bladr sky了
未来世界这么发达……就算人工智能不到那个水平，那还担心什么贫富分化，担心什么工作压力；让每一天幸福就是最好的了。
羅胖,你說得太對了.
阿法狗, 2016/03月, 挑戰李世石4勝一敗.
阿法狗, 2017/01月, 連續挑戰60場目前人類圍棋冠軍, 全勝.
10個月. 符合羅胖所說的人工智能等比級數發展概念.
改稱你羅先知.
節目內容海闊天空，主持人口若懸河
人工智能如果到了纳米那个级别的，这个人工智能最起码有了从分子级思考问物质不灭的能力；从分子级思考问题的话，人类在人工智能的思维中只是巨大的分子集合体，不可能产生对它那个级别的物质合体产生威胁，因为人类去拆解它比它拆解人要困难得多的多，那会这个人工智能是否看得起人类还是个问题，如果看不起人类的话，那么所有的人类所有的价值观人生观世界观在这种人工智能眼里什么都不是，根本不值得它低下身段与之一般见识。所以怕它来毁灭人类，那也有点太看得起人类了。人类就是这么一种“叶公好龙”的生物，喜欢挂在嘴上，真正出现的时候却因为不了解自己把自己吓尿。害怕，不过是人类太把自己当回事了。
想想宇宙中那些我们看到的超新星爆发，其影响范围远超过了一个银河系的范围，如果那里有高等级生命体存在的太阳系的话也什么都没留下就被抹掉了；银河系中离太阳很近的那些恒星如果有一个爆发的话，我们的太阳系也可能被直接抹掉，那会这个星系是否存在过地球这样的行星以及上面的这些生命体，谁又会知道呢？如果太阳系都能轻易被抹掉，人类的一切一切都是那么的渺小，因为太阳系在银河系的级别中只是一个小小的灰尘，银河系在已知的宇宙的范围内也是一粒小小的灰尘。
别太把自己当回事是真的！我们每个人不过是生命的过客。
随一句世尊释迦摩尼的偈子：“一切有为法，如梦幻泡影，如露亦如电，当作如是观。”
人生不过是朝露和闪电，转瞬即逝，什么也都别太当回事，也别太不当回事，如是如是。
人類的未來可以是越來越理性，但是理性走到極致，就沒有了情感，那就是物質的世界，人類可以變成一部超級電腦，無所不能，但是沒有了情感，那有意義嗎？
人工智慧守則第一條:為人類服務 若人類及文明滅絕 人工智慧將沒有存在必要請自我關機
+愛麗 或许其中涉及哲学问题，人类和大多数物种都一样害怕强于自己的存在，也有人担心更强力的外星人对人类造成威胁吧，但是人工智能毕竟是自己打造的，可能更容易掌控一些。其实我就想知道能不能让比自己更强大的计算机去帮人类思考哲学问题呢？毕竟有些哲学问题困扰了人类好几千年了。
我倒是覺得人工智慧能幫人類做些人性無法做決定的事情！例如法官的事情，因為有些事情基於人性的弱點，法官可能以判殺人犯死刑而內疚不安。如果最後集大家的認定，再由機器人代為宣讀判決結果，並由機器人來執行死刑... 就不會有法官糾結的問題。
愛麗 很好的设想。但我认为你的设想不是那容易实现的，细节很复杂。毕竟人类社会公正二字的定义就够复杂的了，总之难度很大。
Zhenmao Wu 確實如此 也會有很大的爭議要擺平 想就累~~?
很喜欢这个脱口秀
对对对，如果把这个理解为脱口秀，它非常出色，给人很多启发。虽然里面有错误，但是它真的给人很多智慧的启发。
基本说的就是这篇文章，不过文章是英文的，而且很长。有兴趣的可以去看看，很有意思，并且说得更详细全面。
waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html
waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html
地球来自太阳的能源通量不足以维持一个墒（无需度）低到超级智能的系统的运行。物理基础理论表明智能就是complexity就是有序度，就是墒降低。在统计上可以计算～所以人类先要变成星系文明 不能是行星文明
捡到了就捡到了，顺其自然，人类不行就让行的呗，没有必要反对进步，反人工智能和反转基因的都是一伙人。
說到人工智能，
我第一個能想見的就是【復仇者聯盟2】的奧創，
以及死而復活擁有人倫思維(但祂還是自稱為神)的賈維斯。
罗胖讲历史，讲文科话题，那真是又有趣又长知识。但是讲科学还是算了，这一期明显就是科幻电影看多了的聊天。没有啥知识性。还有中医那一期也是，罗胖以后还是不要碰理科话题。
羅胖讀書不少 應該也知道一個規律:
禍兮福所依 福兮禍所伏 塞翁失馬 焉知非福
竟是些嫌七嫌八的 又说不出逻辑本身的问题 真心无语。 我看过那篇文章 也觉得很有意思 罗胖讲得也很有意思 赞一个
写在Alphgo之前，还是有点眼光
量子力学，热力学第二定律，罗胖，好好补补~！
哈哈 大哥别那么较真了，我学大学物理从来没有真的学到相对论和量子力学的内涵。我听到一半的时候，也觉得老罗不应该来掺合这个话题，因为确实有概念性的错误。但是听完之后，我觉得这个话题很棒，确实给人很多思考，所以我觉得这个选题还是不错的。
题目是很有意思，但罗胖一个文人，聊这个话题太多文人浪漫情怀了。。
老天 他在講悲觀派的時候我也正想到若外星人也研發出如此智能宇宙早被機械帝國統治..
当听到罗胖说在纳米级别创造新能源我真的被吓尿了，这不是一般的扯淡那么简单了。
yucheng chen 吓尿不就对了吗?罗胖这个推论还是对的，我们肯定会被２０５０年的世界吓尿的，恐怖恐怖，看来"得过且过"如今应该算一个褒义词了。
Latonta Grande吓尿的原因是听说能源能创造出来，水变油，永动机
yucheng chen
他好像没直接谈能源问题，我想等纳米技术实现了，能源问题也应该解决了吧。
Latonta Grande 24:53
Ziyuan Fang
27:50是说错了一句，一句而已嘛。
文科生来说这些事情真的是感觉是在和幼儿园小孩儿唠家常一样....
邏輯和數學上假設的無限和萬能概念本身在現實中並不存在，"無限大"只能存在於理論與想像中。
讲得很好。
这就是所谓的基数加速度发展，就像经济一样，一个公司发展大了涉及的领域多了就会产生很多利润增长点，接下来的发展的速度和技术经验会不断利用以前利润点的基数来扩张对以后潜在的利润增长和更加合理的分配从而形成更良性的循环，最后达到指数增长
吓尿指数真把我笑尿了，是因为最近笑点低了么？
這篇在講人工智能未來可能的發展
人类应该会被淘汰，没有物种会持久生存下去，能够亲眼见证新的物种诞生，也是很幸运的事。我听过一些修行大师讲，我们本质上不是人类这个肉体，而是超越空间、时间的永恒存在。所以即便是肉体被人工智能取代，也无所谓，因为肉体本来就是我们的一个寄托，只是一件物品罢了。更有意思的是，我们甚至是超脱于时空之外的，人工智能毕竟还是时空内的物质，而我们是超越物质的，物质是由我们产生的。所以即便是人工智能，也是我们的产物，是蕴含在我们之中的，没有取代我们的可能性。
我觉得AI发展导致的人类未来即使有永生这一可能，也只能是极小一部分人付出沉重代价的永生。如果未来是灭绝，那也应该不是人类独自走向灭绝，是而整个地球文明的毁灭，包括AI。
關於奈米機器人的理論我有一種想法:
奈米機器要自我複製.要阻止他也還是有手段的.
就以生物學的觀點來說.有所謂的必須胺酸
你必須要取的那些必須胺酸才能有後續的細胞分裂神經傳導
如果沒有穩定的量兒童會出現發育遲緩.城人會出現健康不良的原因
換言之我們透過一種有限量不好取的的物質當作原料給奈米機器人使用
利用這種手段來限制其分裂速度
則這樣的物質只能人工合成的產物.自然界中無法取的
這樣就能限制其自我製造
所以不適那麼危險的
听起来像科幻小说。我想人工智能具有认知和判断能力，但不具有自发的目的性，而最终的目的性和行为能力是被人类赋予和控制的。
人工智慧的演進，以生物學的角度人類不至滅絕，但確定的是，主宰的將不再是我們。
46：00討論的反證.只要假設外星人是人工智能.像白老鼠一樣正在試驗人類和人工智能的起源發展和其他等等就能說得通。
应该看看攻壳机甲队
Bruce 人家也没显摆啊…
有沒有可能用人工智能在毀滅人類之前先做到世界統一？
人工智能只要有機會進入了網路智能必定會將自己智能傳上網路躲起來進行瘋狂的進化等人類發現時已經沒有籌碼可以談判了
生存是文明的第一需要，文明不断扩张，但宇宙物质总量不变。
猜疑链， 技术爆炸。（刘慈欣 三体）
我觉得人工智能和人脑智能一定会结合起来。就好象人类使用其他工具一样。从来就没有人规定过人的智力只能局限于在神经元细胞上运转。到时候应该是大家都脑子上插芯片，随时无线上网，电脑和人脑无缝衔接。那也就不存在人脑和电脑的敌对和谁灭谁了。
从我第一天学英语我就想翻译的问题，那时候我还不知道什么叫电脑，现在已经快30年了，世界上可曾有能正常翻译人话的智能语言翻译程序，人类太看的起自己了，狗屁人工智能，早着了
給AI定義:人類說不行就必須遵從
就感觉说了很多，但好像又什么也没说。
居然木有引用终结者，我还挺想听听你怎么看终结者的。
人类所想的都可以写成程序，情感也可以写成程序。
我们再也不懂电脑在想什么
娘哟，有关纳米的部分太扯淡了。首先自然界已知最有效率的能量制造或者转换方式（跟投入能量比最高）的就是核聚变，其次是我们现在用的核裂变，这本身已经是把两个分子合一块儿要不一个大分子分成俩了，再怎么用纳米机器人，能量守恒定律都不会被改变，把一个氦分子分成俩氢原子，不说至少也就需要聚变的同等的能量，还有各种浪费，像是机器人的能量，空气里消失的热能等，这不是没事找事嘛。
纳米技术早就有广泛的应用了，像是手机上的疏水疏油涂层，无菌手术刀，一些毛里的去静电粒子等等，一般都是跟粒子本身的化学性质或者物理结构有关。把纳米技术当成一门学科本来就是错的，它其实是一种很宽泛的叫法而已，材料学，生物学，化学等等都对它有不同的理解跟不同的使用方式。
Zhang Brian 要想原子重组变成新元素，需要的能量就是恒星级的。原子之间的斥力强的难以想象
目前我们能预期到人工智能的危害仍是千篇一律，人工智能毫无节制的强大执行力产生恶果作用于人类，就像电脑程序常常会死锁或者死循环一样。要让人工智能知道自制和停步，靠外加的限制条件和反制机理都是没戏的，必须让它在拥有智能的同时还拥有情怀，情绪。就像人类的有些变态罪犯，他们智能发达，智商都是130，但是情商的缺失导致他们做出各种惨绝人寰的恶事。
所以科学家们在给电脑开发智能的同时，请把情感也开发植入给电脑，确保其和人类一样，拥有人类自发且天生的情绪--恻隐之心
保护知乎版权，请尊重原作者。知识需要分享， 但更需要尊重。
罗胖还真是文科生。关于纳米的评论，真是。。。
基因為何存在? 它就是一堆分子聚合到了一起 能因應外界衝擊的就更進一步發展 其餘的就在那兒或滅絕
打個比方吧
路邊的石頭 沒發生能量交流的依然在路邊待著 對外界發生作用的(比如能釋放能量讓人類覺得有用處)就會和外界其他東西發生重整 像是含鐵量較高的石頭被拿來打火 成為人類用火文化中的一部份
罗胖关于纳米的那段真的吓尿，光考虑物质不用考虑能量的 吗
几个月前，facebook 开发了一个技术：给它一张照片（人头图像）它马上告诉你这个人多少岁。。。
一时间不少明星，名人的头像以及结果纷纷被发表在网上。。。。
所謂嚇尿指數本身一定是個穩定的參數麼？誰能保證這個參數沒有適用範圍呢？也許人類現在正處於這個適用範圍的邊界上。兩百年前也不能保證肯定沒有人想到過今天的景象，只是當時思想傳播不發達，而信息交流如此發達的今天，任何一個合乎邏輯的想像都會被傳播開來，我們也許可以預見很久之後的事情呢。嚇尿指數可能只是人類交流能力不發達的情況下的一個規律。
其實，這種潘多拉盒子般的存在，我們今天也有，那就是原子能。核電站一旦洩漏可能會危及人類生存，但是將來的人類很有可能會越來越依賴於這種能源。所以，我們完全可能參照核能的情況來思考人工智能的危機問題。總之，不慎重是危險的，不前進是不行的，慎重的前進是人類唯一的可行之途。
这就是康德哲学中所说的先验幻想...... 就像问宇宙有没有边际一样的问题！先设定宇宙有边际 如此推断下去....... 这是二律背反！
羅胖有的說錯了，頭髮不是細胞構成的，鑽石也不是分子構成的。
電腦算速不是光速啦...
“罗”写错了，写成“逻”了
46分鐘那個 殖民宇宙 被上了字幕成了 執迷宇宙 ~ 哈
不过不知道联网的人工智能如何解决保证思维观点多样性的问题。至少人类的个体特质可以提供各种不同观点，之间可以是激烈不相容的（比如看RUclips的评论都是各种互喷）。缺乏多样性的AI发展，会不会缺乏足够的稳定性？
罗胖 你对人工智能 的理解还停留在 只会看科幻电影的小白啊。😄
现在的人工智能只学会了人类善的一面，即如何提高效率做事情。当他们开始学习人类的恶性，如自私、嫉妒、仇恨、残忍，就会变得比人类更坏。人类学家、法学家和科学界应该联手制定法律，避免高智能“变坏”，人类才有可能保全自己。
现在还没有真正意义上的人工智能，所谓的只能还只是条件判断，比较，说白了知识人类制定规则的使用与延伸。
系統一/系統二, 羅胖可能看了 [Think Fast and Slow] 這本書
人工智能最關鍵是自我意識，有了自我意識，就已經是新生命了，但自我意識很容易誕生嗎？看似很簡單，但其實人類對自我意是的誕生一點也摸不著頭緒，只是哲學上的探討罷了。
說來人類本身的進化是關鍵，現在人類一直覺得可以單憑現在人類的進化水準無限的發展下去，但真的這樣嗎？宇宙太大，人類的科技水準連太陽系都沒跨出去，是怎樣會得出人類發展可以無限增速的？如何認為現在人類不會碰上智慧之壁的？當碰上人類智慧上限，突破的關鍵又在哪裡呢？基因進化？突變？
人類其實這方面的想像很多，但大多侷限在個體武力上，很少想過智力上的提昇會是怎樣的可能發展，這也是因為認知水準不一樣，所以想像也大受限制吧。
把力氣放在人類自我的進化上，或者是解套的真正方法。
这集有点deep哦，还是讲秦始皇好听。大家好。欢迎来看这个“英语&历史”的---吹水秀：plus.google.com/u/0/wm/4/118354416675455623140/videos
另一类的历史观点，混一些英语，来吧！
瞬间移动 把人或者东西传送到另外一个地方
簡而言之 不能出現比人類更聰明的東西 否則..........
就是人類自己創造的也絕不行
优胜劣汰喽，人类要是变成了猩猩，我只想拜托超能让我看一眼世界的终点
张少波 我要求比你还低，能让我看一眼人类的终点就心满意足了..
就算人工智能把人類毀滅了，但畢竟它是人類製造出來的，承載了人類的文明，所以它也算是人類的後代和延續吧。就把人工智能當作是人類的基因突變吧。
ConterAntiVirus 你这个想法不错
黃宇豪 這是不可能的事啦。有錢有勢的人不會讓科學家這麼幹的。
一個物種最重視的價值如節目上講得就是自私，自我保存，你想想那些唯利是圖的富豪、政客，會坐視有其它的東西來取代他們嗎？
终极答案的问佛祖
我一直在提醒科技人员注意科技 的负面影响。别人都觉得我是杞人忧天。
按下核彈鈕的不會是人。
42:18 无线传电已可行了，只是还没能商业化
首先的假设就是错的。人工智能不是生命。
还是让吴军老师来讲这个话题吧。
每一种生命的进化，都要消耗某种资源。电脑之所以成功，是因为它耗电而不直接和人类抢粮食。汽车之所以成功，是因为人类自己不吃汽油。电脑和汽车没有耗尽地球上的所有资源，因为随着资源紧缺，他们会在耗尽资源之前增速减缓达到一个平衡。所谓我们看到的指数模型只不过是逻辑斯蒂模型的前半段。
如果有一种强大的人工智能出现，我们警惕的是它在到达这个平衡之前是不是已经危害人类了。你要让它消耗的资源与人类冲突尽量小。或者让他受的限制足够多，在一个比较低级的层面上就受到限制，早早地达到平衡，不要比人类还牛。
罗胖举的几个例子，其实是用人类的语境和一个对人类语境知识为零的机器对话产生的误解。（所以根据这个噱头写出来的科幻小说，它的原创性来源于语言学而不是科技。）人和机器人的交互当然不能完全使用人类语言。你可以首先把你能想到的初始条件都设置进去，以后每说一句话都要有上下限：不要危害人类；when confused, pause and ask for human input；可以自我复制，但不要耗尽所有资源；帮罗胖签名售书，但不要超过一万本 等等。
提到的原文是这个waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html
waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html
這裡說的納米技術的概念跟現實有很大差距
钻石是碳原子，不是碳分子
模糊概念，如果智能机器人实现了系统1之后，那么100个智能机器人会对同一件问题可能有100个看法，可能提供100个相互矛盾的解决方法。 那么可能意味着什么，我也不知道，总之听起来不是什么好事。
另外，如果智能机器人是由人类制造的起点，自己演化出来的，那么他就是另一种生命形态，是好是坏还真的不清楚，不过人类肯定无法掌握它了。
至于什么逻辑的编程问题推导出来不会对人类有害，我并不觉得靠计算机语言能变成生命形式。他一定是是自我进化出来的。 自我进化来的生命形式，基本上是无法控制的。 这就和一样米养百样人一样，每个生命都是唯一的，独特的。 就和系统1一样，每个生命都有自己的独特的系统1而已。 或许可能相似，但是绝对不可能一样。
民科呀！
he speaks pretty fast
这个吓尿指数我觉得很有意思，现在各种VR，智能汽车，电动汽车，工业智能化百家争鸣我在2016年的现在就已经吓尿了。。。
如果你是00后，你很有可能要么长生不老，要么在有生之年目睹人类末日。
给你续一秒
落羽 续命指数
价值观的问题是决定你是人还是狗的问题。
www.zhihu.com/question/27864852/answer/39007053
这集完全是抄袭吧，人名还有什么术语都一模一样，简直就是照读纸上的文章，不知道有没有经过原著作者的同意。当然原文其实写得更有逻辑。