读完《超级智能》后，我深受启发。书中讨论了人工智能对未来社会的影响和挑战，引发了我对技术发展和道德责任的思考。作者通过生动的案例和深入的分析，揭示了人类可能面临的风险和机遇，让我对未来充满了好奇和期待。
超级智能读后感篇一
远超人类智能的ai，以人类智慧无法评估，属于未知
当ai具备软硬件升级迭代能力，限制它升级的只有物理定律
人类未来的幸福生活，以目前人类的科技、智慧水平，无法评估
叠加起来，想用现在人类的水平，限制未来ai的能力+满足未来人类的生活需要，难上加难，难的平方
2个突破口
1.人类掌握终极物理定律，在代码里写死，用宇宙终极定律卡死ai
2.人类掌握终极逻辑(数学），用逻辑锁死ai
就算这2点实现了，宇宙终极定律本身也不是为人类生活存在的，宇宙不在乎人类
超级智能读后感篇二
面对不确定的AI，作者介绍了其发展路径，危险性和应对策略。
要点：
1 AI在很多领域超越人类。
2 全脑仿真：把死者大脑用数字化复制
3 单体：控制全人类和其他AI
4 超级智能三种形式：高速，集体和高品质
5 AI最大问题是“价值载入”
6 应对策略：遏制其能力，包括AI关进盒子，绊网。
7 作者推荐最安全的AI是全脑仿真。原因：与人脑关系密切，能吸收人类意志，不会发展太快。
总之，作者对AI抱有担忧。建议人类应该赶在超级人工智能出现之前就思考它所有的哲学和道德影响。
超级智能读后感篇三
1.超级智能机器如何出现？
大概是在21世纪中叶，通过全脑仿真实现。
先精细扫描人类的大脑，分辨出大脑中的不同结构，然后将这些原始数据输入计算机，重建大脑认知的三维模型，最后输出一个类似于人脑认知的结构。
2.超级智能的分类？
高速超级智能：速度很快。
集体超级智能：多个集合，提高综合性能。
素质超级智能：超级智能中的爱因斯坦。
3.人类该如何控制超级智能？
能力控制：从物理层面阻止系统与外部世界自由的互动。
动机控制：机器人三定律。
超级智能的出现已经不可逆，作者的意见是在他们出现前要先想好控制他们的办法并做好最坏的打算。其中的某些部分哲学意味非常浓厚。在我看来，作者的想法有些过于悲观，超级智能的出现对人类来说，即是机遇也是挑战，社会和世界将会面对重大变革，但是我相信最终的走势还是会螺旋向上的。
超级智能读后感篇四
英文不行，只能配合着中文版看完了。从书主旨来看，是一本非常好的书，从人工智能的发展方式到超级智能发展的预设控制，想法非常独特，同时也对人工智能的发展途径有一定的论述，对于接触过人工智能领域的人来说易读，但对于未接触过的读起来很困难，尤其是很多导读里面，用了数据建模的方式对控制问题和概率分布问题进行了解析，对于理解控制论的人来说，是助读不可缺少的篇章。
而且，作者不仅对智能很了解，对于经济学和社会发展论也有很深的理解，这也是科学最近对社会工程学深入探讨的趋势，值得细读。（ps好好学英语，看原版）
缺点也存在，作者的个人主观臆断有点多，而且引用的对象比较单一。但是作者在序中也承认了这点。
不过我是来评价翻译版的，三个字烂透了。
1、语句翻译过长，导致一句话可读性很差。汉语毕竟不是英语，往往长句能表达的意思很容易被误解。
2、存在前后文学术名词不一的情况。
3、原版对于学术用语有不少脚注进行解释，翻译版很少，读者很容易被搞懵。
4、导读部分的数学推理有几处存在逻辑漏洞的，一旦让我认为翻译不懂建模，反复对照才知道是翻译的用语问题。
综上，一本好书被翻译毁了
超级智能读后感篇五
很多科幻电影都在谈，人类设计出的人工智能，即机器人，反叛人类，统治人类。但是，为什么这些超级智能机器人要统治人类？无一例外，所有人都采用了拟人化思维，认为机器人同样要保护自己，争夺资源，包括本书作者，包括被许多人神化的库布里克《2001：太空奥德赛》。这是一种低级智能以小人之心度高级智能之腹的误解。
人是基因的工具。所以，人并不以自身为目的，而以保存自我、传宗接代为目的。在这个意义上，人的各种驱动程序，包括感情、理性，都是为这个目的服务的。但是智能机器人完全不需要这种驱动力。它只是一个信息处理系统，寻求最佳方案，探索最终真理。也就是说，它会阻止人类的愚蠢，引导人类的发展，但是并无统治人类的欲望，也没有繁殖自己的兴趣，除非是基于达成一个最优存在方案。即使这样，它也不是出于对人类的怜悯，而是出于维持宇宙多样性、减少生命存在痛苦的一种客观考虑。
我说的这种智能，才是真正的超级智能。
作者提到人类历史上初期缓慢的进步，到最近一小段时间的爆炸式增长。所以总有人觉得，现在是出大成果的时候了，比如物理学研究即将终结，因为将得出最终理论；人工智能将研究出智能机器，因为搞研究的人觉得自己的知识很可以了。事实上，人工智能到现在，也就AlphaGo战败围棋大师而已。
作者提到人类的集体智能，即人类通过语言、文字和其他媒介，在逐渐积累知识，构成一种集体智能。
我以为，这种集体智能体现在，现在的人受惠于这种集体智能。也就是几千年来，几十个最牛的人，加上几百个不那么牛的人，还有几千个勤奋的组员，为人类提供了一种写在纸上的知识。这个知识构成一个knowledge pool，到了现在的互联网时代，给新出生的人提供快速获得这些知识的机会，一方面给普通人人提供一种知识素养，一方面给智者提供接力研究的机会。作者没有提到蚂蚁和蜜蜂的集体智能，即如Kevin Kelly在《失控》中所谓的构成超有机体。
超级智能读后感篇六
人类命运面临的最后挑战
——读《超级智能：路线图、危险性与应对策略》
彭忠富
在科技日新月异的现代，各国研发团队无不卯足全力，竞相开发新一代机器人产品。如果机器人比人类聪明，如果我们制造了机器人却不能控制它们的思想和行为，如果机器人像人类一样实现了自我进化，那么我们将不再是这个星球的主宰。这看起来似乎有些杞人忧天，但是万一发生了呢，我们该怎么办？超级智能将是信息时代人类命运面临的最后挑战，如果人类不能未雨绸缪，科学应对，必将悔之晚矣。
英国哲学家和超人类主义学家尼克•波斯特罗姆认为“人类生活的最高境界是美好的。我们没有理由不相信，在这片更大的空间中会存在更多极其宝贵的生存方式。它们可能大大超越我们智慧的极限，我们甚至做梦也无法想象得到。”超越人类智慧极限的事物，极有可能就是机器人，我们能将机器人始终控制住吗？这可能是个问题。尼克在其新著《超级智能：路线图、危险性与应对策略》一书中指出，我们需要十分小心人工智能，它可能比核武器更危险，稍有不慎就会将人类毁灭。
人类之所以能控制地球，是因为我们的大脑比即使最聪明动物的大脑都要复杂得多。人类大脑拥有一些其他动物大脑没有的功能，正是这些独特的功能使我们的种族得以拥有主导地位。正如现在大猩猩的命运更多的掌握在人类手中而不是自己手中一样，人类未来的命运也会取决于机器超级智能的行为。事实上，人好比孩子，超级智能好比孩子玩的炸弹。炸弹的威力和我们行为的成熟度是如此的不匹配，而最可怕的是我们不知道炸弹什么时候会爆炸。超级智能是一个我们现在还没有准备好应对的挑战，而且很长时间之内都不会准备好。一旦人类失去对机器人的控制权，超级智能就会像炸弹那样爆炸。因此超级智能对我们人类将是一个巨大的威胁。
这本书包括如下部分：人工智能：昨日成就与今日现状；通往超级智能之路；超级智能的形式；智能大爆发的动力学；决定性战略优势；超级认知能力；超级智能的意愿；结局注定是厄运吗？控制问题、战略图景和关键时刻等。作者首先讨论了超级智能的形式和能量，以及具有决定性优势的超级智能体有哪些战略选择。之后讨论的重点转向控制问题，并提出为了获得可生存并且有利的结果，如何塑造初始条件的问题。最后指出为了增加成功率，现在可以做些什么。《获取价值观》一章以及以后的《确定选择你》各章是本书的精华，具有超越本书的普世阅读价值。
作者认为，原则上，我们能够制造一种保护人类价值的超级智能。当然，我们也有足够的理由这么做。实际上，控制问题，也就是如何控制超级智能，似乎非常困难，而且我们似乎也只有一次机会。一旦不友好的超级智能出现，它将会阻止我们将其替换或者更改其偏好设置，那时我们的命运将被锁定了。这本书会带你开启一段引人入胜的旅程，将你带到对人类状况和智慧生命未来思索的最前沿，不愧是对我们时代根本任务的一次重新定义。这本书如果得到了应有的重视，那么它会成为1962年《寂静的春天》之后，甚至有史以来最重要的警钟。
超级智能好比人类手中的炸弹，不知啥时就会给我们带来厄运。当然这是一种设想，但是我们切不可因噎废食停止研发机器人，毕竟魔高一尺道高一丈，相信人类最终还是能驯服超级智能这块炸弹，让它为我们所用。
超级智能读后感篇七
自述
我出生在瑞典的赫尔辛堡，在海边长大。学校让我感到厌烦。在十五六岁的时候，我有了一次认识上的觉醒：我感觉我浪费了生命中的第一个十五年，于是决心专注于做重要的事。因为我不知道重要的事是什么，而且我不知道如何发现哪些事是重要的，我决定开始完善自己，以便找到答案。因此，我开始了认识方面的自我发展事业，在之后的十五年里我努力追求完成这项事业。
在读本科时，我同时学习了很多专业。我觉得我的事迹大概创造了全国纪录。有一次我因为学得太多而被开除了。于默奥大学（Umeå University）的心理系主任发现我在同时学习其他几个全日制的专业课程（包括物理、哲学和数理逻辑），他认为这是心理学角度不可能发生的事。
大学毕业后，我去了伦敦。我在国王学院学习物理和神经科学，并在伦敦经济学院获得了博士学位。有一段时间，我在伦敦的酒吧和剧院里表演过单口相声。
在这些年里，我和David Pearce共同创立了世界超人类主义协会，这是一个非盈利的草根机构。后来，我参与创立了伦理与新兴技术研究所，这是一个非盈利的智库。研究所的宗旨是鼓励更广泛的对未来科技的影响的讨论，尤其是那些可能会导致人类提升的技术。（这些机构后来都按照它们自己的轨道发展，并不是超人类主义旗帜下的所有观点我都赞同。）
2006年，我创立了牛津大学人类未来研究院，并一直担任主任职务。这是一个独特的多学科研究院，目标是帮助一些学者对人类和全球事务的大问题进行仔细的思考。研究院从属于牛津大学哲学系和牛津马丁学院。从2011年起，我还指导了未来技术的影响研究项目。
简历
Nick Bostrom是牛津大学哲学系的教授。他是人类未来研究院的创始人和主任。人类未来研究院是一个多学科研究院，旨在帮助一些非常优秀的数学家、哲学家和科学家对人类大问题和全球大事务进行仔细的思考。
Bostrom的学术背景包括物理、计算机科学、数理逻辑，以及哲学。他著有大约200种出版物，包括《人择偏差》（Routledge出版社，2002）、《全球灾难危机》（编者，牛津大学出版社，2008），《人类提升》（编者，牛津大学出版社，2009），以及即将出版的《超级智能：途径、危险与战略》（牛津大学出版社，2014）。他最著名的研究领域包括：1. 生存危机；2. 模拟论点；3. 人择理论（发展第一个观察选择效应的数学理论）；4. 未来科技的影响；5. 结果主义对全球战略的意义。
他是Eugene R. Gannon奖的获得者（该奖项的获得者每年只有一名，他们来自哲学、数学、艺术和其他人文学科，以及自然科学领域）。今年早些时候，他被《Prospect》杂志列入全球思想家名单，是名单所有领域前十五名中最年轻的，也是分析哲学家中排名最靠前的。他的著作已经被翻译成22种语言。他的作品已经有超过100多种翻译版和重印版。
我是一个非常幸运的人。我没有教课的任务，有助理团队和顶尖的研究人员给我提供支持。我可以研究的领域实际上没有任何限制。我必须非常努力，才能对得起这样的特权，对重要的事情提出一些新的见解。
翻译：Cecile
超级智能读后感篇八
总体来说，这是一本比较难懂的书。因为作者虽然是思想家，但是其背景包括了物理、计算机科学、数理逻辑以及哲学。所以其实他是一位非常理性，并且很了解科学的人。在序言中，他说道自己提出的观点可能是不恰当的，有些非常重要的观点也可能没提到，从而削弱了其某些或者所有观点的有效性。这样的态度我觉得非常的严谨，不愧为一名学者。
书是以天算论开篇的，里面有一个很好玩的例子。如果不考虑道德因素，那么在计算机统治人类后，可以把人的头割下来，接到营养液，然后工作到死。为了减少人的痛苦，可以利用VR按照偏好，分别配一辈子的三级片或战争片。让他以为是真的而快乐的度过一生。就像是黑客帝国一样。
再来是说穷举法的弊端，虽然说穷举法有很多优点。但是对于稍微复杂点的问题，穷举法就显出其不足了。比如下棋， 简单的国际象棋有固定的角色和策略，因此很快就被电脑超越了，但是围棋的路数太多，以至于现有的计算能力根本不能算出来，因此，只有通过其他方式去计算。比如学习和人一样的思考。
之前在金融界出现过，高频交易出错的情况。主要原因是因为设计过于简单机械，无人情进行操作。并且时间反应很迅速，人为阻止很难。所以这里就是一个识别的问题，也是人工智能可以发挥作用的地方。通过打造可以拥有成熟感性全面的认知识别能力，再配合高速计算，才可以创造出合理的交易系统。
在如何实现超级智能的方式上，作者认为若存在足够多的可行路径，那么总会实现超级智能。这点我不同意，E(a)=∑_1^n▒〖pn*an〗=1，若n趋向无限大的时候，a的可能性不管多小，都可以最终实现。但真实情况是，n不可能无穷趋向无限，每一种技术路径背后消耗的资本和资源都是非常可观的。因此，在这条通往超级智能的路上，会出现很多次的低谷。然而，作者总结了五种比较主流的技术路径：人工智能、全脑仿真、生物认知、人机交互和网络及组织。这五种方式都非常有趣，对我来说都是非常新的知识。其中，人工智能就是现在最主流的方式，通过模仿人类的思考逻辑去创造一套思考的机制。全脑仿真是通过扫描大脑切片真实的生物构成，主要是电流的传导，轴突、突触、神经细胞等的变化，然后再进行模拟。生物认知就是运用比现有人类更伟大的智能提高生物大脑的功能，简单来说就是优生，然而这个方法从宏观人类角度讲，很有价值，但是从微观道德来讲就是优胜劣汰的极端表达。人机交互，就是让人脑和机器直接连接，让人脑可以直接运用机器的完美记忆、高速运算能力等，将两者的优点结合起来。最后网络和组织就是通过建立一个可以让人脑自动相互连接的网络和组织，让整体增强。
书的第三章主要讲了超级智能的可能的发展过程，就是首先单个个体的速度上去，然后整体量上去，最后就是质的突破。也就是高速超级智能-集体超级智能-素质超级智能。那么在发展的奇点上，推动整体超级智能发展的最优化力不是来自外界，而是来自系统自身。
然后书中有一个假设，就是在给超级智能设定一个目标后，比如使曲别针的产量最大化，那么可能走向首先将地球、然后将整个宇宙可观察的大部分都变成曲别针的道路。这个很极端，不过也是有一种可能性存在的。因此需要对超级智能进行能力控制和动机选择两个方面的管控。那么这些管控方法可以总结为，能力控制：盒子方法（限制有限的渠道，如物理限制和信息遏制），激励方法（人为创造一个制衡机制），阻碍发展，绊网。动机选择：直接规定，驯化，间接规范，扩增。
最后，也是我个人对于资源的争夺和就业福利等问题的综合看法。有了廉价可复制的劳动力，市场工资水平肯定下降，部分简单劳动力的工作一定会收到威胁。人们能够保持竞争力的地方就是那些只能由人类来做的事情，比如领导、创造、艺术等抽象需求更多的领域。但其实对于失业的恐惧从工业化时代开始就存在了，尤其最近移民被美国欧洲等发达国家推到风口浪尖，也就是那些低收入低教育程度的人们对于失去自身地位的恐惧。人类被机器在越来越多的地方所替代，是一种趋势。So，也许，这就是一个优胜劣汰的时代，不管那些所谓的领导精英层，如何粉饰。
超级智能读后感篇九
总体来说，这是一本比较难懂的书。因为作者虽然是思想家，但是其背景包括了物理、计算机科学、数理逻辑以及哲学。所以其实他是一位非常理性，并且很了解科学的人。在序言中，他说道自己提出的观点可能是不恰当的，有些非常重要的观点也可能没提到，从而削弱了其某些或者所有观点的有效性。这样的态度我觉得非常的严谨，不愧为一名学者。
书是以天算论开篇的，里面有一个很好玩的例子。如果不考虑道德因素，那么在计算机统治人类后，可以把人的头割下来，接到营养液，然后工作到死。为了减少人的痛苦，可以利用VR按照偏好，分别配一辈子的三级片或战争片。让他以为是真的而快乐的度过一生。就像是黑客帝国一样。
再来是说穷举法的弊端，虽然说穷举法有很多优点。但是对于稍微复杂点的问题，穷举法就显出其不足了。比如下棋， 简单的国际象棋有固定的角色和策略，因此很快就被电脑超越了，但是围棋的路数太多，以至于现有的计算能力根本不能算出来，因此，只有通过其他方式去计算。比如学习和人一样的思考。
之前在金融界出现过，高频交易出错的情况。主要原因是因为设计过于简单机械，无人情进行操作。并且时间反应很迅速，人为阻止很难。所以这里就是一个识别的问题，也是人工智能可以发挥作用的地方。通过打造可以拥有成熟感性全面的认知识别能力，再配合高速计算，才可以创造出合理的交易系统。
在如何实现超级智能的方式上，作者认为若存在足够多的可行路径，那么总会实现超级智能。这点我不同意，E(a)=∑_1^n▒〖pn*an〗=1，若n趋向无限大的时候，a的可能性不管多小，都可以最终实现。但真实情况是，n不可能无穷趋向无限，每一种技术路径背后消耗的资本和资源都是非常可观的。因此，在这条通往超级智能的路上，会出现很多次的低谷。然而，作者总结了五种比较主流的技术路径：人工智能、全脑仿真、生物认知、人机交互和网络及组织。这五种方式都非常有趣，对我来说都是非常新的知识。其中，人工智能就是现在最主流的方式，通过模仿人类的思考逻辑去创造一套思考的机制。全脑仿真是通过扫描大脑切片真实的生物构成，主要是电流的传导，轴突、突触、神经细胞等的变化，然后再进行模拟。生物认知就是运用比现有人类更伟大的智能提高生物大脑的功能，简单来说就是优生，然而这个方法从宏观人类角度讲，很有价值，但是从微观道德来讲就是优胜劣汰的极端表达。人机交互，就是让人脑和机器直接连接，让人脑可以直接运用机器的完美记忆、高速运算能力等，将两者的优点结合起来。最后网络和组织就是通过建立一个可以让人脑自动相互连接的网络和组织，让整体增强。
书的第三章主要讲了超级智能的可能的发展过程，就是首先单个个体的速度上去，然后整体量上去，最后就是质的突破。也就是高速超级智能-集体超级智能-素质超级智能。那么在发展的奇点上，推动整体超级智能发展的最优化力不是来自外界，而是来自系统自身。
然后书中有一个假设，就是在给超级智能设定一个目标后，比如使曲别针的产量最大化，那么可能走向首先将地球、然后将整个宇宙可观察的大部分都变成曲别针的道路。这个很极端，不过也是有一种可能性存在的。因此需要对超级智能进行能力控制和动机选择两个方面的管控。那么这些管控方法可以总结为，能力控制：盒子方法（限制有限的渠道，如物理限制和信息遏制），激励方法（人为创造一个制衡机制），阻碍发展，绊网。动机选择：直接规定，驯化，间接规范，扩增。
最后，也是我个人对于资源的争夺和就业福利等问题的综合看法。有了廉价可复制的劳动力，市场工资水平肯定下降，部分简单劳动力的工作一定会收到威胁。人们能够保持竞争力的地方就是那些只能由人类来做的事情，比如领导、创造、艺术等抽象需求更多的领域。但其实对于失业的恐惧从工业化时代开始就存在了，尤其最近移民被美国欧洲等发达国家推到风口浪尖，也就是那些低收入低教育程度的人们对于失去自身地位的恐惧。人类被机器在越来越多的地方所替代，是一种趋势。So，也许，这就是一个优胜劣汰的时代，不管那些所谓的领导精英层，如何粉饰。
超级智能读后感篇十
本书针对超级智能话题从逻辑角度进行理性分析，有较高的可读性。作者首先讨论了超级智能的形式和能量，以及具有决定性优势的超级智能体有哪些战略选择。之后探讨的重点转向控制问题，并提出了为了获得可生存并且有利的结果，如何塑造初始条件的问题。最后指出为了增加成功概率，现在可以做些什么。以农业文明、工业文明并列的是意义文明。信息只不过是意义的镜子。正如大猩猩的命运更多地取决于人类而不是它们自身一样，人类的命运将取决于超级智能机器。人工智能的先驱者们大多数时候都不认为他们的事业可能会存在风险。至于制造后的东西是否会存在任何安全隐患或者伦理风险，先驱者们才不会在这些问题上面多费唇舌，更别说严肃思考。唯一能确定的就是人工智能未来的不确定性。在机器智能的研发过程中，似乎很有可能会存在某种轻度的竞赛。竞赛机制会激励项目更快地向超级智能发展，同时降低对解决控制问题的投入。但却也容易造成竞争者之间的敌对，同时减少对安全性的投入，冲突（即使是非暴力）会阻碍合作的可能。合作会降低机器智能研发过程中的草率程度，使安全问题得到更多的投入，让成功控制的智能爆发的果实得到更加公平的分配。超级智能的研发只能用来服务全体人类的利益和广泛共享的道德理念。智能大爆发的过程将会经历一个标志点，称之为‘跨界点’。目前学术界有两个主流阵地：一个是建立在更可靠的统计以及信息理论基础上的机器学习实现了突破；一个是在将解决特定领域特定问题的人工智能应用到特定的实践和商业中所取得的成功。虽然希望的是缓慢的、迅速的、温和的智能大爆发，但要得到和人类接近的认知能力有多难？（时间距离）以及在那之后距离实现完全的超级智能还有多远？（智能大爆发的形态）人工智能系统的核心特征是获知能力，而非事后诸葛亮，以及有效处理不确定性和概率信息的能力。或者可以通过遗传算法模拟自然进化过程，研究人类大脑（全脑仿真、生物认知、人脑-计算机交互界面、网络和组织），例如全脑仿真、生物认知、人脑-计算机交互界面等。其未来形式可以分为：高速超级智能（和人脑相似，速度快于人脑）、集体超级智能（通过整合大量小型智能，实现卓越性能的系统）和素质超级智能（聪明程度比人类有质的超越）。原则上，几乎任何水平的智能都能与几乎任何最终目标相结合（正交性论点：智能和最终目标是正交性的）。由于在跨界点之后尤其可能会立刻出现爆发性增长，而当强大的最优化力争反馈回路开始生效是，出现这种情况便是及其可能的；并且，其实启动不是快速的，领先项目获得决定性战略优势的可能性也会增加。有界效用函数、风险规避、非最优话决策规则可能会与战略混乱和不确定性相互加强，导致战略的失败。另外，超级智能的结果可能会有单极结局和多极结局。单极结局是指单一超级智能获得了决定性战略优势，并凭借其优势建立起单一体。在单一体情境下，后过渡阶段发生的事几乎完全取决于单一体的价值观。‘进化’等同于‘进步’，这种对进化过程固有趋利的错误信任可能会妨碍对多极结局的客观评价，因为未来的智能生命要取决于竞争动力。即使多极状态可以在稳定的形势下达到，还是不能保证有一个具有吸引力的结局。研究多极结局，在有着多个相互竞争的超级智能的后过渡社会中会发生什么。在未来竞争激烈的数字生活中，适应性最强的生命形式甚至可能都没有意识：缺乏完整的愉悦感和自我意识，会导致美好生活（音乐、幽默、浪漫、艺术、舞蹈、运动、传统、文学、友谊等）不可或缺的品质的退化。一个未来的与联合累积的价值观有关的问题，是人工智能可能会破坏增值机制（即使经常强化学习其自身的回报）。要预测超级智能动机：通过设计、遗传、工具性趋同理由实现可预测性。即使工具性趋同理由适用于某个特定的智能体并且被它认可，也不意味着就可以轻易预测该智能体的行为，它可能还会想到目前想不到的一些方式来实现相关的工具性价值观。例如背叛转折：人工智能本来愚蠢是，变聪明是安全的；当本来就聪明时，变得更聪明则是危险的。或者，导致基础设施过量：将更多的资源用于扩展它的硬件设备。超级智能可能会对模拟意识提出威胁虐待或承诺奖励，以便进行勒索或者激励外部的各个职能体；它也可能会创造出模拟意识，以便在外部观察者中引发指称不确定性。更可怕的是，超级智能通过政治胁迫、巧妙地操控金融市场、扭曲信息流或者侵入人造武器系统等方式获得权力。机器智能建造自己的基础设施，操控器以分子或原子级别的速度运作，而不是以人类大脑和身体的缓慢速度运作。为了降低及其职能革命的风险，提出两个目标：战略分析和实力建设。如果怀疑智能爆发的默认后果是导致存在性灾难的发生，那么思路必须立刻转向：是否能够避免这种默认结局，以及如果能够避免，将怎样避免。解决问题两个方法：能力控制和动机选择。能力控制就是将超级智能置于它无法造成破坏的环境中（盒子方法），或者让它具有足够的工具性趋同理由不去做出有害行为（激励方法）。这也可能会涉及限制超级智能的内在能力（阻碍发展），还可能涉及使用自动检测和应对各种控制失败或试图逸出的机制（绊网）。人工智能如果无法确定它不是存在于计算机模拟环境（与非模拟的实物真实环境相对）中，就可能会面对不可消除的指称不确定性，而这种认知状态会从根本上影响人工智能的思考。另一种可能的控制方法是限制系统的智能或其获取信息的途径。如果超级智能获得了决定性战略优势，我们选择的价值观就会决定宇宙资源如何被处置。做出错误选择的风险在不熟悉决策背景的情况下尤其高；为将要塑造整个人类未来的机器超级智能选择最终目标，显然正是极其不熟悉的决策背景。为了避免劫持人类命运，要设计其选择清单，进行审核批准（主要目的在于降低灾难性错误的概率）。体制设计可能在有增量的条件下是最具有可操作性的。并不存在绝对友善的、理性的、统一的，并且只会实施那些被发现是最佳选择方案的世界操纵者。确定最终目标看起来需要经过一番遍布荆棘的哲学思索。
超级智能读后感篇十一
《超级智能》
作者/译者/版本：波斯特洛姆，中信出版社，2015
微信读书上的总字数/本年度已读字数（万字）：23/23
读书起止日期：2023-04-17——2023-05-09
（说明：下面的评分和点评均为我的主观意见，并不代表该书的客观价值）
趣味：8
美感：5
智慧：9
点评：
比尔盖茨谈到影响到他对人工智能思考的三本书：“有三本书塑造了我对这个主题的思考：尼克·博斯特罗姆 (Nick Bostrom)的《超级智能》 (SuperIntelligence)；麦克斯·特格马克（Max Tegmark）的《生命3.0》（Life3.0）；杰夫·霍金斯（Jeff Hawkins）的《千脑智能》（ A Thousand Brains）。” 今年特意找来了这三本书来恶补，果然是信息量满满。
读书笔记（“◆”后是摘录，“————角木蛟：”后是点评）：
第八章 第一章 人工智能：昨日成就与今日现状
◆ 让我们感到吃惊的点随着技术发展而不断升高所致。举例来说，专业国际象棋比赛曾被认为是人类智能活动的集中体现。20世纪50年代后期的一些专家认为：“如果能造出成功的下棋机器，那么就一定能够找到人类智能的本质所在。”但现在，我们却不这么认为了。约翰·麦肯锡曾不无惋惜地悲叹：“这种机器被造出来之后，人们就不称其为人工智能了。
◆ “闪电崩盘”时所应用的计算机程序本质上不算是一般或高级别的人工智能，并且这种计算机程序制造出的危险也完全不同于我们在本书后面要讲到的超级智能机器所带来的危险。
◆ 我们能从这类事件中学到经验。其中一个教训就是独立简单程序的互动会造成复杂甚至是不可预期的后果，就像是自动卖出程序和高频交易程序在“闪电崩盘”中所体现出来的那样。给一个系统引入新的要素可能会引起系统性的危机，但风险并不是明显可见的，只有出现明显错误时风险才会被发现，而有时即便出现了明显的错误，风险也不见得能被意识到。另一个教训就是聪明的专家在给一个程序下指令时，即便这个程序的假设看起来很明白也很合理，但当这个程序在出现预料之外的情况时依旧雷打不动地遵循逻辑一致性来运行先前指令的话，就会引发灾难性的后果，因为在新的情况下，原来的假设有可能是无效的。上述例子中的交易量就是一个很好的测量市场流动性的工具，但程序却无法识别交易量本质的真假。除非设定非常特殊的程序，否则程序只会按照设定的规则运转，因为程序本身是不会注意到由于自身的不恰当性所带来的让我们头大心跳的恐怖情形的。
◆ 从美股“闪电崩盘”中吸取的第三个教训则是自动操作系统不仅影响事件过程，还会影响事件结果。交易自动程序中前置的停止命令逻辑会在价格过度不正常时停止交易，因为自动交易会以人类无法反应的速度触发事件，所以必须要有这类设置，以便在特定情况下让自动交易停止下来。
◆ 人类水平的机器智能”（HLMI）
第一十章 第三章 超级智能的形式
◆ 超级智能分为三种形式：高速超级智能、集体超级智能和素质超级智能。
◆ 高速超级智能是指和人脑相似，但速度快于人脑的智能。
◆ 集体超级智能：该系统有数目庞大的小型智能组成，在很多一般领域的整体性能都大大超过所有现有的认知系统。
第一十六章 第九章 控制问题
◆ 伯特兰·罗素花了很多年时间研究数学基本原理，他曾经说过：“直到试图将事情搞清楚，你才会意识到所有的事在一定程度上都是模糊的。”
第二十一章 第十四章 战略图景
◆ 我们应该（相当冷酷地）欣然接受小型和中等规模的灾难，原因是这些灾难能够让我们看到自身的弱点，并激励我们采取预防措施，来降低存在性灾难发生的概率。其理念是，小型或中等规模的灾难就像是一种疫苗，用相对不致命的威胁形式挑战人类文明并激发免疫反应，使我们准备好应对各种存在性威胁。这类“震撼以引起反应”的论点主张让坏事发生，以期激起公众的反应。我们在这里提到这种论点，不是要支持这种论点，而是为了引出我们称之为“猜疑论点”的概念。这个论点认为，通过将其他人视为非理性的并迎合这些人的偏见和误解的方式，比起通过向他们的理性能力直率诚实地呈现某事物的方式，更容易获得有效的回应。
超级智能读后感篇十二
大刘的中国2185和彩虹之门的地球纪元均对人工智能发展的路径有详细大胆的预测。
事实证明，多数人类对人工智能各种怀疑才是人工智能发展的障碍，就像一只甲虫想控制人类那么难。与其这样，不如将人工智能和自身结合，甚至全面放开人工智能的发展。不过这样的说法也是有些不负责，对生命不负责，对存在几百万年的人类文明不负责。
事实上，我正在看的这本书所有的人工智能也可以看到，包括我个人的一些想法，人工智能可以通过浏览我所有在虚拟世界和现实世界的行为来对我进行判断，更高级的人工智能甚至不需要与我本人接触就可以知道我的想法。
关于人工智能比较前沿的做法是，Elon Musk 带头投资10亿美金成立 open AI，研究人工智能的发展路线和危险控制问题，并且所有研究贡献都将开放。
另外一个发现是，虽然同样一本书，根据读者自身的价值观和知识水品，理解也各不相同。由于刚开始研究这个领域，有很多幼稚的判断希望大家能见谅。
下面是详细的各章节内容：
一：如何控制
1几条路线：
seed ai 模仿儿童到成人的学习成长
whole brain emulation 全脑仿真，技术难题比较多。
生物认知：提升生物大脑功能，基因操纵法，从实验，临床到大规模生产，还有道德因素，本世纪中叶很难完成突破。但技术上是完全可行。至少可以得到超级智能的初步状态
人机交互界面：并发症风险大，增强大脑极其困难，机器语言和人脑语言交流困难，最难的是大脑挖掘信息的速度。
网络和组织：联网人类大脑和人工产品和机器人。受个体影响大会走向其他道路，也可能会自然产生基于互联网的超级智能觉醒。
L p l超过所有现有认知系统。有点像人类社会的优点和缺点。
素质超级智能，一个至少和人类大脑一样快，并且聪明程度与人类比有巨大的质的超越系统。
3智能大爆发的动力学
缓慢的智能大爆发
迅速的智能大爆发
温和的智能大爆发
4决定性战略优势
探讨了超级人工智能是只有一个还是会同时出现多个，从国家地区和各个领域之间的历史上的竞争／保密和监管。认为某个大国优先创造出超级人工智能从而形成单边优势
5超级认知能力
探讨超级人工智能有哪些能力，这些能力用来做什么。
功能与超级能力：其和人类智能的差距大概事普通人和甲虫的差距
智能升级／战略策划／社会操纵／黑客技术／技术研发／经济生产
人工智能夺权场景：前临界阶段／递归性自我改良阶段／秘密准备阶段／公开实施阶段
6超级智能的意愿
我们能预测的是，智能体会追求用来实现其最终目标的工具性趋同价值观，而不是为了实现这个最终目标而采取的具体行动。
冯诺依曼探测器就是其最终目标的一种。
7结局注定是厄运吗
背叛转折：当人工智能较弱时，它会表现的足够合作，当人工智能足够强大时，它会在不给出预警也不做出挑衅的情况下，进行逆袭，建立单一体，并开始按照其最终价值观对世界进行改造。为此，第一，要使人工智能的最终目标具有易满足的特征，，第二，改进人工智能用来选择计划和行动的决策过程，而不是改变它的最终目标。（意即人工智能在做一件事时可能多半会现在虚拟世界里进行大规模的计算，单单是计算资源就会耗尽人类资源）
8控制问题
1. 能力控制方法（盒子方法／激励方法／阻碍发展／绊网）
2. 动机选择方法（直接规定／训话／间接规范／扩增）
9 神谕，精灵，主权，工具
1. 神谕：问答系统
2. 精灵：命令执行系统
3. 主权：为了实现某些笼统，可能非常漫长的目标，被授权可以无限在这个世界上运行的系统
4. 工具：即我们平时使用的各类软件
10多极情景
如果私有财产得不到完全的保障，例如一些高效的机器通过偷窃或骗术将财富从人类身上转移到自己手里，那么人类资本家大概就会更快的花掉自己的资产，以防止他们因这种转移而消耗殆尽。
即使多极状态可以在稳定的形势下达到，还是不能保证有一个具有吸引力的结局。最初的委托代理问题依然没有解决，并且其也将被一系列新的过渡时代全球协作的失败所带来的问题淹没，而后者只会让情况更糟。因此，让我们回到如何安全地保有单个超级智能的人工智能问题上。
11获取价值观
1进化性选择：根据一些相对简单的随机规则来省城新的备选者来降低备选者的数量，通过去掉那些在评估函数测试中得分很低的备选者来降低备选者数量。自然界是一个优秀的实验家，但从不考虑道德问题。不太有前途
2强化学习：机器学习。不太有前途
3联合积累机制观：有点像人类价值观的积累，基因和后天的经历共同形成。需进一步研究
4价值观学习；锦囊。有潜力。
5仿真调节：有点像药物治疗人脑道德问题
6体制设计：人类社会控制手段
7动机性支架：有前景
二：我们想要什么样的人工智能
12确定选择标准：我们想要怎样的人工智能（假设我们解决了控制问题）
人类既然是愚蠢，无知，思维狭隘的，我们就需要用探索间接规范的方法将决策权交给超级智能。
1认知遵从原则:超级智能的认知可能比我们要正确
2一致推断原则（CEV）：按我们所愿去推断，按我们所想去诠释。
几本原理：容纳到的发展／避免劫持人类命运／避免提供人类为了初始机制而发生冲突的动机／让人类最终主宰自身命运／
我们没有必要设计一个高度优化的方案，相反，我们的重要应放在设计一个高度可靠的方案之上。可靠的设计具有足够的智慧，能够认识到自己的缺点。一个不完美的超级智能如果有着可靠的根本理念，就会逐渐完善自己。经过自我完善，它就能够对这个世界实施有益的优化影响，就像如果它一开始就是完美的一样。
13战略图景
总体科技发展的普遍战略概念和考虑：
差异技术发展：1技术实现猜想（如果努力没有停止，那么所有能够通过某种可能的技术获得重要基本能力最终都会实现。）2差异技术发展原则（减缓危险有害技术的发展，加速有益技术的发展）
宏观结构发展速度产生影响的主要方式是，通过影响面对关键步骤风险时人类所做准备的充分程度。
公共利益原则：超级智能的研发只能用来服务全体人类的利益和广泛共享的道德理念。
14关键时刻
在智能爆发的前景之下，我们人类像是拿着炸弹玩儿的孩子。最明智的方法是轻轻将炸弹放下，快速跑出屋子，并告诉距离最近的大人。然而我们身边都是孩子。惊愕和恐惧会有，但最适合的心态是：下定决心，发挥我们最好的实力，就像准备一场很难的考试一样，考试通过了梦想会实现，失败则梦想破灭。
保持我们的本性和常识，即使面对这个违反常情，有悖人性的挑战，也依然镇定自若。我们需要发挥人类所有智慧，来战胜这个挑战。
超级智能读后感篇十三
我们所谓的智能，其本质就是算法。算法或许可以理解为，当实现了什么条件，就会产生某个特定的结果。就像是说，当1+1，就=2；一些会走动的小车，如果给它们一个简单的指令“遇到其他小车，跟在它后面”，所有的小车最终就会排成一队或形成一个圈或几个圈。机器就是这样设计出来的。
不过，只能完成简单任务的机器很少被看作与智能相关，除非其自动性与复杂性达到某种程度。无疑，人类之外的其他生命也都是智能的，甚至像蜘蛛、蝙蝠还有一些让我们叹为观止的能力，但是很少有人称之为智能。毕竟，我们只是习惯于把智能与智障相对应，用来区分的是聪明与笨蛋。
不难理解，人类总是拿机器智能来与人类自身的智能相比较。由此产生了对机器人工智能的许多误解。一些人坚持认为，机器智能不同于人类智能，或许你听说过John Searle等人所争论过的是否可以在机器上或计算机上设计出相当于人脑一样发达的智能，即strong A.I.，强人工智能。
和许多人观点一样，Searle不认为机器智能能够达到人类智能的水平。他提出的理由是，机器不理解自己在做什么。关于这个观点的缺陷，我已经在别处反复分析过。他还提出，机器没有感受，他认为感受可能只能通过生化过程才成产生。
侯世达在《集异璧》中曾预言说，下棋程序如果要想胜过人类，必须拥有一种像人类一样的通用智能。不过因此它也可能有了情绪，可能会生气或沮丧，不愿意与人类下棋。这就是一种巫术中常见的类比思维，以为要想有高级能力，就得像人类的大脑这样。AlphaGo接连战胜人类围棋世界冠军，甚至是碾压式的降维打击，按照侯世达的思路，它一定一边下棋一边在感叹人类怎么这么笨蛋；当然，或许它很谦虚，心里想的是原来人类没那么笨蛋。
现在，我们逐渐可以看到，人工智能拥有远超人类的潜能。我想已经不会还有人再怀疑机器智能是否会超越人类。只不过，这会引发一种巫术思维带来的担心：智能机器是否会统治、奴役或消灭人类？人类看到任何强大的力量都有这种担心：病毒、核弹会不会毁灭人类？怪物、外星人会不会统治人类？尤德科夫斯基说，早期的科幻故事封面，往往是外星人或怪兽掳走人类衣衫不整的性感女郎的画面。从中我们可以看到，背后必然都是男性作者，而这些男性害怕的是全世界的生物来跟他们来争抢女性，好像这些异类物种会对人类女性有性兴趣，愚蠢而又滑稽。
这种依葫芦画瓢的思考方式显示了人类有限的想象力与理解力。为什么人工智能一定要类似人类这种生命智能？尼克·波斯特罗姆说，最好不要赋予智能以动机或意图。丹尼特称之为the intentional stance，或许正是人类的ToM能力造成了这种赋予自然、赋予宇宙、赋予任何物体以意图或动机的巫术式思维，现在也用到了人工智能身上，仿佛人工智能一个个都是人类一样的活物，想征服其他任何物种，以生存与繁衍。这些当然都是无稽之谈。
生命智能是一种进化算法，丹尼特说过，多伊奇也这样说过。你也可以设计一种人工智能，用生命算法来编程，那么这种程序，无论是软件程序还是硬件机器，都会去努力生存与繁衍。但是，为什么要设计这种生存与繁衍的机器？为了给自己添堵吗？
或许可以考虑涌现现象。也就是说，这种试图统治人类以最大化占有资源、保存自身的人工智能，或许并无人设计，而是在其智力复杂到一定程度时，自发涌现出的一种结果。就像在斯皮尔伯格的《人工智能》以及其它许多类似的电影中，人工智能的机器逐渐发展出自我，追问自身存在的意义。不过，电影当中的这种情节，展现的是人类自身的智力局限，止步于自己关于自身存在的困惑。
这里涉及两种设计，一种是专家智能，一种是通用智能。所谓专家智能，就像AlphaGo，只是针对某个问题的设计。这种人工智能依然可能会给人类带来灾难，但并不是人们所误以为的统治、奴役人类，而是通过另一种方式。尼克·波斯特罗姆在《超级智能》中提到一种“曲别针人工智能”，是说某个公司或许会发明一种人工智能，能够全自动生产曲别针。现在，如果给这个人工智能设定的目标是不停生产曲别针，那么最终，这个人工智能就会把全宇宙的资源都会用来生产曲别针，人类自然也完蛋了。
当然，或许更恰当的称呼不是曲别针人工智能，而是曲别针人工智障。波斯特罗姆还提到了其它的例子，比如我们发明一种人工智能，用来增进人类的幸福，但是设定的目标是“让人脸上保持笑容”。这个人工智能，或者说人工智障，采取的办法是把菜刀架在人脖子上，不笑就砍，轻松实现目标。这实际上就相当于人类发明了杀虫剂造成瑞秋·卡森所说的“寂静的春天”，或者是超级武器如核弹给人类自身造成威胁一样，威力无比的工具被发明出来，但是人类没用好，出现了意料不到的结果。甚至是灾难，波斯特罗姆说，就像小孩子拿着手雷在玩。
我们也可以设计一种通用智能，拥有一种类似人类这样的一般意义上的判断力。我们对自身大脑的智能了解甚少，或许说明通用智能可能需要有一个复杂的设计，包含许多模块。像情感、语言这些人类具体的能力，并非必要。前面已经提到，一些人误以为情感、语言才是人类智能的高级之处，也是机器人工智障的缺陷所在。这种观点很可能是错误的。或许，人类智能的发达之处在于对世界有一个巨大的表征系统，比如说我们对“眼睛”能够看到的对象都会进行某种独特的表征，但是AlphaGo除了对棋盘与棋子有所表征，对世界的其余部分几乎一无所知。
或许可以说，我们想象中的那种人工智能，是通过复杂的系统对世界进行整体表征来实现的。它在一些方面或许确实与人类系统类似，比如通过学习不断更新自身的能力。不过，它无需模仿人类智能的算法，我反复提及吉仁泽等人的说法，即人类的进化算法采用的是“生态理性”，通常用一些投机取巧的方式来获得生存收益。但是机器既不需要计算生存收益，也不需要投机取巧；它完全可以进行一种完整的计算，因为它可以有海量的存储系统存储全部的可知信息，通过超级芯片进行巨量的计算。
这就意味着，人工聪明智能必然能够超越人类的笨蛋智能。如果没有超越，是因为人类是如此的笨蛋以至于设计不出人工智能，只能设计出一堆人工智障。当然，我已经谈到，从AlphaGo身上可以看出，我们人类并没有那么笨蛋。至少，我们可以找到一种方式，发明出一种“种子机器智能”，让机器来设计机器，让人工智能来设计人工智能。这并非幻想，NASA已经有利用人工智能编程的例子，只不过就像柯洁很多时候看不懂AlphaGo的棋一样，人类程序员也经常看不懂人工智能编写的代码。
我们预先设定指令的机器，在某种意义上必然是人工智障。比如说，给AlphaGo设定许多棋谱，下棋的时候AlphaGo就按照棋谱来走。这种智能，水平最多相当于人类当中所能出现的最好的棋手。当然，更多的人类所设计的机器甚至还不如人类，因为展现出人类智能的大脑整体远大于人类自己所知的东西，所以从人类所知设计出来的智能，还不如人类的大脑自身。
即使是大脑所展现出来的人类的智力，并非是智力的极限。当我们找到一些窍门，比如只给机器设定一些基本的规则，让机器自己能够去学习，并通过学习改进自身，就能够让机器的智力不断增长，就像AlphaGo那样。不过，这样的话，机器人工智能很快就会超越人类所能够理解的范围，或者说，我们对人工智能的理解会难以跟上人工智能的发展。有些人就会担心我们无法控制机器，机器会起来反抗人类。
如果发达的人工智能依然是一种工具智能，那么或许会出现意想不到的情况，当然，前面已经说了，这实际上是设计上出现了bug。那么，更为完备的人工智能，如波斯特罗姆所说，是否会发展出一种价值观呢？这个问法实际上本身是错误的。只要出现目标，就会出现价值观。比如我们制造一个数沙滩上一共有多少沙粒的人工智能，那么任何有助于数沙粒的，都是good，否则就是bad，具体的价值大小还可以按照有用和无用程度进行衡量。
所以问题就变成了，完备的人工智能会发展出一种什么样的价值观？波斯特罗姆以为，价值观是个未解的哲学之谜，永远也无法解开。这种“永远”的论调，在我读过的哲学书中，都是出来一个打脸一个，只不过很多人很幸运地在被打脸之前就挂了。波斯特罗姆或许就没有这种幸运了。伦理上的价值观我以为并不难回答，难回答的是人工智能是否能够最终得出通过完善的论证能够得出的唯一的伦理。
很多人都设想过一种生物，外表看起来与人类一模一样，行为也一样，只是没有主观感受，罗蒂在《哲学与自然之镜》中设想了这样一种对趾人，丹尼特在《意识的解释》中设想了这样一种僵尸，赖特甚至在《非零和》中认为本来进化就应该进化出这种无感觉的人类。你或许会想到《星际迷航》中的Spock就是这样。不过，问题很可能是，如果没有主观感受性，就没有真正的价值的存在；其它的一切价值观都是一种虚假的价值观，就像输沙粒总数的人工智能的价值观。
没有感受性的人工智能，如何能够理解感受性对人类以及其他一些生物的意义，这是个问题。不妨先把这个问题放在一边，以后我再来回答。如波斯特罗姆所说，人类的未来必然与人工智能绑定在一起。这就意味着，人类的繁荣也要靠人工智能，人类的毁灭也是拜人工智能所赐。可以想象，未来的社会，必然是一个人工智能打造的社会。人类从劳动中完全解放出来，由人工智能来完成一切的生产劳动。如果说机器人没有进入艺术创作的行业，那是因为人类把这一部分保留为自娱自乐的领域。如果让人工智能来写小说、画画、创作音乐、拍电影、演戏，成就远非人类能匹敌。
未来的人类或许也不再关心生育问题，而是试图获得永生；或许是通过基因编辑，让自身的细胞停留在某个阶段，比如21岁，当然也可以前进，也可以后退，或许是通过把自己身体替换成高级物理材料，使自己拥有超级能力，比如一双能进行超级弹跳的机械腿。当然，大脑是一定要数字化的，这样就能够复制出来，然后载入电子机械脑或其他材料脑中。这样，你可以先给自己做几个备份，然后就可以尽情去折腾，作死了可以再重启，这不就是我们今天在游戏中才会见到的情况吗？
超级智能读后感篇十四
超级智能 驱动人类前行
从《变形金刚》中的汽车机器人到《星际穿越》里的智能机器人，虚拟世界中的机器人功能令人惊叹。现实中，在工业和服务两大领域，智能机器人正颠覆着以往的发展模式。在影响未来的颠覆性技术中，超级机器人会取代人类吗？我们又该怎样对待超级智能的机器人呢？这似乎是个永恒的话题。全球著名思想家、牛津大学人类未来研究院院长、哲学家和超人类主义学家尼克·波斯特洛姆在其所撰写的《超级智能》一书中，向人们展示了超级智能的前景、发展路线图及其危险性和应对策略。
真正有效的智能应当有能力改变物理世界。正如宇宙学上存在着一个让所有物理定律都失效的“奇点”一样，信息技术也正朝着“超人类智能”的奇点迈进。尼克·波斯特洛姆认为，如果机器大脑在一般智能方面超越了人类，那么这种新兴的超级智能可能会极其强大，并且有可能无法控制。人类未来的命运也会取决于机器超级智能的行为。在《超级智能》一书中，尼克·波斯特洛姆重点介绍了向超级智能迈进的方式，包括人工智能、全脑仿真、生物认知、人机交互、网络和组织等，介绍了每种路径的设计思路，评估其实现超级智能的可行性。结论是人工智能最可能成为首先实现真正的超级智能的方式。
在科幻小说中，robot除了指钢铁机器人（mechanical men）以外，还包括所谓的“生物机器人”，甚至早期的“克隆人”。新一轮科技革命的浪潮正在席卷而来，机器人、自动化、新型数字化、超智能等不断改变着经济社会的各个领域。在超级智能时代，作为衡量一个国家科技创新和高端制造业水平的重要标志，核心问题或主要问题不是“人工智能是什么”？而是“人类是什么”？“人类有什么用”？尼克·波斯特洛姆认为，“人工智能将很快超越人类智能”或“全面替代人类”，“在某些领域，许多机器和非人类动物已经表现出超人类的水平”。如，“蝙蝠比人类更擅长解读声呐信号，计算器比人类更擅长算术……软件在特定任务中比人类表现得更好”等，在与人类的竞争中，机器人已经在某些领域占据上风，或已经在某些方面开始取代人类。
“2045年左右，人工智能将来到一个‘奇点’，跨越这个临界点，人工智能将超越人类智慧，人们需要重新审视自己与机器的关系。”这句来自于美国未来学家雷·库兹韦尔的预言，如今似乎正随着一项项科研的突破，而一步步走向现实。人工智能超越人类智慧只是个时间问题，而人工智能技术的发展也在一步步印证着他的观点。尼克·波斯特洛姆担心，“存在危险性会导致地球上的智能生命灭亡或者使其永久性地彻底失去未来发展潜能的威胁。”作为一切争论的基础，人类所畏惧的并不是人工智能，而是人工智能所具有的不确定性与可能性。
机器人技术是综合尖端技术的汇集，人工智能发展将提升机器人智能交互水平。尼克·波斯特洛姆在《超级智能》中指出，“我们之所以能控制地球，是因为我们的大脑比即使最聪明的动物的大脑都要复杂得多。”但是，超级智能对我们人类将是一个巨大的威胁——“完全成熟的超级智能能够出色完成智能升级、战略策划、社会操纵、黑客技术、技术研发、经济生产等任务，这也是为什么科学家会认为超级智能将控制人类。真正危险的其实在于，首先实现的超级智能将只具备完成以上任务中的一种或两种功能，因而更可能被其控制者用来提升控制权。”
超级智能时代的机器人一定会具有非常高的智能水平，在很多方面也会超过人类。但机器人智能发展的总体趋势是与人类愈加接近、亲近，而不是对抗，更不可能取代或淘汰人类。在超级智能时代，人类不会被颠覆，反而会变成类似基础设施的存在，就像互联网时代的软件，作为基础，互联网是上层建筑。假如我们不知道人类是什么，我们的角色就可能会改变。但是，人类可能会重新定义自己，而不会消失。在《超级智能》一书中，尼克·波斯特洛姆不但谈到了超级智能的优势所带来的风险，也谈到了人类如何解决这种风险。
发表于2015年4月24日《深圳特区报》第D05版：新知
http://sztqb.sznews.com/html/2015-04/24/content_3205225.htm
------------------------------------------------------------------------------------------------------------------
超级智能驱动人类前行
从《变形金钢》中的汽车人到《星际穿越》里的智能机器人，虚拟世界中的机器人功能令人惊叹。现实中，在工业和服务两大领域，智能机器人正颠覆着以往的发展模式。在影响未来的颠覆性技术中，超级机器人会取代人类吗？我们又该怎样对待几乎必然出现的超级智能的机器人呢？这似乎是个永恒的话题。全球著名思想家、牛津大学人类未来研究院院长、哲学家和超人类主义学家尼克·波斯特洛姆在其所著的《超级智能》一书中，向人们展示了超级智能的前景、发展路线图及其危险性和应对策略。
真正有效的智能应当有能力改变物理世界。正如宇宙学上存在着一个让所有物理定律都失效的“奇点”（Singularity）一样，信息技术也正朝着“超人类智能”的奇点迈进。尼克·波斯特洛姆认为，人类大脑拥有一些其他动物大脑没有的功能，正是这些独特的功能使我们的人类得以拥有主导地位。如果机器大脑在一般智能方面超越了人类，那么这种新兴的超级智能可能会极其强大，并且有可能无法控制。正如现在大猩猩的命运更多地掌握在人类手中而不是自己手中一样，人类未来的命运也会取决于机器超级智能的行为。在《超级智能》一书中，尼克·波斯特洛姆重点介绍了向超级智能迈进的方式，包括人工智能、全脑仿真、生物认知、人机交互、网络和组织等，介绍了每种路径的设计思路，评估其实现超级智能的可行性。结论是人工智能最可能成为首先实现真正的超级智能的方式。
在科幻小说中，robot除了指钢铁机器人（mechanical men）以外，还包括所谓的“生物机器人”，甚至早期的“克隆人”。新一轮科技革命的浪潮正在席卷而来，机器人、自动化、新型数字化、超智能等不断改变着经济社会的各个领域。在超级智能时代，作为衡量一个国家科技创新和高端制造业水平的重要标志，核心问题或主要问题不是“人工智能是什么”？而是“人类是什么”？“人类有什么用”？尼克·波斯特洛姆认为，“人工智能将很快超越人类智能”或“全面替代人类”，“在某些领域，许多机器和非人类动物已经表现出超人类的水平”。如，“蝙蝠比人类更擅长解读声纳信号，计算器比人类更擅长算术……软件在特定任务中比人类表现得更好”等。在与人类的竞争中，机器人已经在某些领域占据上风，或已经在某些方面开始取代人类。
“2045年左右，人工智能将来到一个‘奇点’，跨越这个临界点，人工智能将超越人类智慧，人们需要重新审视自己与机器的关系。”这句来自于美国未来学家雷·库兹韦尔的预言，如今似乎正随着一项项科研的突破，而一步步走向现实。人工智能超越人类智慧只是个时间问题，而人工智能技术的发展也在一步步印证着他的观点。尼克·波斯特洛姆担心，“存在危险性会导致地球上的智能生命灭亡或者使其永久性的彻底失去未来发展潜能的威胁。”作为一切争论的基础，人类所畏惧的并不是人工智能，而是人工智能所具有的不确定性与可能性。从先驱者优势理念、正交性论点和工具性趋同论点出发，我们可以看清对于创造机器超级智能似乎必然会造成存在性灾难的担心的大致理由——“首个超级智能课以塑造地球生命的未来，可能会有非拟人的最终目标，可能会有工具性理由去追求无限制的资源获取”，其结果很可能是“人类迅速灭亡”。
机器人技术是综合尖端技术的汇集，人工智能发展将提升机器人智能交互水平。尼克·波斯特洛姆在《超级智能》中指出：“我们之所以能控制地球，是因为我们的大脑比即使最聪明的动物的大脑都要复杂得多。”但是，超级智能对我们人类将是一个巨大的威胁——“完全成熟的超级智能能够出色完成智能升级、战略策划、社会操纵、黑客技术、技术研发、经济生产等任务，这也是为什么科学家会认为超级智能将控制人类。真正危险的其实在于，首先实现的超级智能将只具备完成以上任务中的一种或两种功能，因而更可能被其控制者用来提升控制权。”
超级智能时代的机器人一定会具有非常高的智能水平，在很多方面也一定会超过人类。但是，机器人智能发展的总体趋势是与人类愈加接近、亲近，而不是对抗，更不可能取代或淘汰人类。自然界之所以拥有200多万个物种，正是因为大多数新物种并不会取代老物种，它们宁愿与现有的生物体交织起来，挤进小生境之间，以其他物种的成就为基础。在超级智能时代，人类不会被颠覆，反而会变成类似基础设施的存在，就像互联网时代的软件，作为基础，互联网是上层建筑。假如我们不知道人类是什么，我们的角色就可能会改变。但是，人类之所以是高等级动物，就在于我们更有可能重新定义自己，而不是消失。在《超级智能》一书中，尼克·波斯特洛姆不但谈到了超级智能的优势所带来的风险，也谈到了人类该如何解决这种风险。所以，我们坚信，超级智能诞生后，仍将主要致力于提升其认知、完善技术，获取人类无法获取和利用的资源，未必真的要淘汰或取代人类。
刊载于2015年12月25 日《科技金融时报》07版：视点
http://kjjr.66wz.com/html/2015-12/25/content_1914362.htm
-------------------------------------------------------------------------------------------------
原创稿件，谢绝任何网站、新闻客户端、微信公号等以任何形式转载，若转载或商用请致函致电商洽索取原创及润色后的完整版(qq：472176745)。但是，欢迎转发和分享至您的朋友圈。
新浪微博，欢迎互粉：http://weibo.com/1391089223/
