在你的颅腔里，有个器官能够阅读。这个器官就是人的大脑，它具有其他动物大脑没有的一些能力，而我们在地球上的主宰地位便归功于这些独特的能力。其他动物有更强壮的肌肉或更锐利的爪子，但是我们有更聪明的大脑。我们在一般智能方面的些许优势使我们创造了语言，发展了科技，并建立了复杂的社会组织。这种优势随着时间的延续而不断提高，因为每一代人的成就都建立在前人的成就之上。

如果有24小时我们发明了超越人类大脑一般智能的机器大脑，那么这种超级智能将会非常强大。并且，正如现在大猩猩的命运更多地取决于人类而不是它们自身一样，人类的命运将取决于超级智能机器。

然而我们拥有一项优势：我们清楚地知道如何制造超级智能机器。原则上，我们能够制造一种保护人类价值的超级智能，当然，我们也有足够的理由这么做。实际上，控制问题—也就是如何控制超级智能，似乎非常困难，而且我们似乎也只有一次机会。一旦不友好的超级智能出现，它就会阻止我们将其替换或者更改其偏好设置，而我们的命运就因此被锁定了。

在本书中，我将努力诠释可能出现的超级智能带来的挑战，以及我们如何更好地应对。这很可能是人类面对的最重要和最可怕的挑战。而且，不管我们成功还是失败，这大概都是我们将要面对的一个挑战。

本书并不认为，我们即将在人工智能方面取得重大突破，或者能够预测突破会在何时发生。突破有可能会在21世纪的某些时候实现，但是我们并不能确定。本书的前几章讨论了取得突破的可能途径，并谈论了何时能够突破的问题。然而，本书的主要部分讨论的是智能爆发以后会发生什么。我们会研究智能大爆发的动力学，超级智能的形式和能量，以及具有决定性优势的超级智能体有哪些战略选择。然后，我们探讨的重点转向控制问题，并提出为了让我们生存并且获得有利的结果，我们如何选择初始数据的问题。在本书的结尾，我们将画面拉远，思考我们的研究所呈现的更大的图景。提出了一些建议，指出为了增加避免存在性灾难的概率，我们现在可以做些什么。

我希望本书可以开辟出一条道路，以使其他研究者能够更加快速和便捷地到达这个领域的前沿，从而以全新的视角加入这项研究，进一步扩展我们的认识。(如果我铺的这条道路有点崎岖不平，那么我希望评论家们在评判结果时，不要低估原来地势的险恶情况！)

这本书写起来并不容易。我努力使其读起来容易，但是我觉得可能并没有做到。写作时，我把早前时间切片(time-slice)里的自己当作目标读者，并尽量把书写成自己喜欢阅读的类型。虽然这可能会导致读者群较窄，但我还是认为书中的内容对很多人来说都是能够理解的，前提是他们对书中的内容进行一些思考，同时拒绝盲目地将任何一个新观点误解为他们文化中相似而陈旧的观点。非科技专业的读者不必因为书中偶尔出现的数学知识或专业术语感到气馁，因为往往可以通过上下文的解释看懂主要观点。

本书提出的很多观点可能是不恰当的，而有些非常重要的观点我可能也没有考虑到，从而削弱了我的某些或者所有结论的有效性。我已经尽可能地在全书中指明细微差别和不确定性—书中遍布着太多的“可能”、“或许”、“也许”、“也有可能”、“看起来”、“大概”、“非常可能”、“几乎肯定”这样的词。每个限定词的使用都是经过深思熟虑的。然而，这些字眼所体现出的认识方面的谦虚谨慎依然是不够的，还必须要补充对不确定性和易错性的整体说明。这不是虚伪的谦虚，因为虽然我相信我的书中可能有一些较严重的问题和误导性，但是我认为目前书中提到的其他观点更加糟糕，包括默认观点或者所谓的“零假设”，这些观点认为我们可以暂时安全地或合理地忽略超级智能出现的可能性。

及时章 人工智能：昨日成就与今日现状

首先，我们回顾过去。在最长的时间范围里，历史似乎呈现出一系列不同的增长模式，每个新模式都比前一个模式增长更快。根据这个规律推测，可能会出现另一种(甚至更快速的)增长模式。然而，我们并不特别强调这个观点，因为这并不是一本关于“科技加速”、“极速增长”，或者集合在“奇点”标题下的各种观点的书。然后，我们要回顾人工智能的历史，之后再探索目前人工智能的能力。，我们简要地介绍一些专家近期的观点和调查，并且思考一下我们对于未来发展之时间表的空白领域。

增长模式和宏大历史

仅在几百万年前，我们的祖先还在非洲森林中穿梭。以地质或进化的时间尺度来看，从与类人猿共同拥有的一代祖先向智人的进化是非常快速的。我们进化出直立的姿势和对生拇指，而最重要的是，我们的大脑体积和神经组织发生了相对微小的变化，但正是这些变化引起了人类认知能力的巨大进步。因此，人类可以进行抽象思维，交流复杂的思想，可以比地球上任何其他物种更好地积累和传承文化信息。

这些能力使人类创造出越来越高效的生产技术，从而使我们的祖先从热带雨林和草原向远方的迁徙成为可能。尤其是进行农耕之后，人口总数和人口密度都在增加。更多的人口意味着更多的想法；更大的人口密度则意味着想法更容易传播，并且更多的个体可以专注于发展专门的技能。这些发展提高了经济生产力和技术实力的增长率。后来与工业革命相关的发展则带来了第二次与此相当的增长率的剧增。

这些增长率的变化有着重要的影响。几十万年前，在早期人类(或原始人类)史前时代，增长非常缓慢，要使人类生产能力增长到能够维持另外100万人基本生存的水平，需要大约100万年的时间。到了公元前5000年，经过了农业革命，增长率已经提高到只需要两个世纪就能实现同样的增长。今天，经过了工业革命，世界经济平均每90分钟就能够增长相同的量。

即使是现在的增长率，如果持续一定时间，也会产生可观的结果。如果世界经济继续以过去50年的速度增长，那么到2050年，全球财富将是现在的约5.8倍，到2100年则是约35倍。

然而，当前这种依指数增长实现稳定繁荣的方式仍旧是不够的，如果世界再经历一次农业革命或工业革命那样的飞跃式增长，世界将会呈现出不同的面貌。经济学家罗宾 汉森通过研究历史上的经济和人口数据，推测出过去社会中经济呈倍数增长所要经历的时间：在洪积世狩猎采集社会下，经济增长翻倍需要224 000年，在农业社会需要909年，在工业社会则需要6.3年。(在汉森的模型中，当今时代是农业社会和工业社会发展模式的混合体，世界经济实现倍数增长的速度还不能达到6.3年这个平均时长。)但如果出现另外一种不同的经济增长模式，类似于农业革命和工业革命时期的飞跃式发展，那么世界经济便会以每两周的时间实现翻倍增长。

以当今形势看，要实现这种增长速度无异于痴人说梦。观察家们可能已经发

洪积世(Pleistocene)，又译更新世，地质时代第4纪的早期。—译者注现，对于以往的历史时期而言，世界经济很难在某一段时期中实现好几次翻倍增长。然而，我们现在就要学着对这种不寻常的情况习以为常。

弗诺 文奇(Vernor Vinge)开创性的文章以及雷 库兹韦尔(Ray Kurzweil)等人的著述所揭示的那种即将到来的技术性奇点已经受到了广泛关注。然而，“奇点”这一术语在很多不同领域被混乱地使用，并催生出一种不合理的技术乌托邦氛围，就好像我们会就此迎来太平盛世了。考虑到“奇点”这个词所指的大部分涵义与本文的论述不甚相关，我们可以去掉这个词并代替以更的术语，以便阐述得更清晰。

我们更感兴趣的一个与“奇点”相关的术语是智能爆发，尤其是机器超级智能的前景。肯定会有人意识到图1–1所显示的增长模式是比农业革命和工业革命还要激烈的另一种可能的飞跃式增长模式。这些人也会意识到，要想让世界经济实现在仅仅数周内翻倍的增长速度，就需要创造出一种比人类的生物性思维更快、更有效的思维方式。但是我们很难通过分析经济增长曲线以及推断过往经济增长模式来认真严肃地了解机器智能变革的前景。我们将看到，更加强有力的理由会让我们认真考虑这一问题。

大预期

自20世纪40年代计算机被发明出来之后，机器就一直被寄予厚望，人们希望机器能够具备人的一般智能，更确切地说，就是机器要具备普通判断力和有效的学习、推理能力，并且要能够制订计划以应对复杂信息处理过程带来的挑战，这种挑战可能来自自然和抽象领域的各个方面。在计算机刚面世时，人们就期望能够在未来20年之内赋予计算机人工智能。但一年又一年过去了，实现让机器具备人工智能的日期却一拖再拖；以至于今天，关心人工智能的未来学家们依旧普遍认为智能机器的出现还需要20多年。

在谈到彻底变革所需要的时间时，预言家们总喜欢用20年这个时间跨度：这个时间跨度既抓眼球，又足够长，长到可以让一个目前看起来还是模糊想象的突破成为现实。为什么不是更短的时间跨度呢？因为大多数在未来5~10年内可能对世界产生重大影响的技术目前已经在小范围内被应用了，而全新的技术在不到15年之内就能让世界焕然一新，当然这也只是一个理论假设。另外，之所以喜欢说20年，还有可能是因为一个预言家的职业生命大概就是这么长，这样一来他在做出大胆假设时也不用承担名声受损的风险。

然而，即便一些人在过去对人工智能的预言不，这也并不意味着人工智能就是不可能或者永远无法实现的。那么，为什么人工智能的发展总是落后于预期呢？这主要是因为创造人工智能机器所遭遇的技术困难远远超过了先驱者们认为的程度。但这也只是说明我们遇到了多大的技术难题以及我们离解决这些难题还有多远。很多时候，一个最初看起来复杂得不可救药的难题往往在后来都会意外地被非常简单的手段所解决，当然，用复杂的手段解决难题更为常见。

在下一章，我们将会看到那些可能实现与人类相同智能的人工智能的具体路径。但我们在一开始就需要注意一点，那就是如果我们将实现人工智能视为一辆火车所要到达的站台，那么不管我们现在与将要到达的站台之间有多少临时停靠站，实现与人类智能相同的机器智能也并不是终点站。顺着这条道路再往前走，下一个站台就是机器智能超越人类智能。这列火车不会在达到人类智能水平这一站就停滞不前或者减速行驶，它很有可能会飞速而过。

第二次世界大战时期，阿兰 图灵密码破译小组的首席统计师兼数学家I. J. 古德大概是清晰阐述人工智能未来图景的及时人。在那段写于1965年、后来被经常引用的名言中，他这样写道：

我们把超智能机器定义为具备超越所有聪慧人类智能活动的机器。考虑到设计机器是智能活动的一部分，那么超智能机器甚至能够设计出更好的机器。毫无疑问，肯定会出现诸如“智能爆发”这样的局面，人类智能会被远远地甩在后面。因此，及时台超智能机器将是人类创造的一台机器，当然前提条件是这台机器足够听话并告诉我们要怎样才能控制它。

目前存在的显著风险便与这个智能爆发相关，我们必须以最严肃的态度审视这一风险，即使我们知道(实际上我们并不知道)出现这一风险的可能性非常小。但是尽管人工智能的先驱者们相信与人类智能水平相当的人工智能所存在的危害，大多数人也并不认为人工智能会有超越人类智能的可能。他们脑海里存在着这样的固有观念，即就算是机器能够达到人类的智能水平，也不能因此就推断出机器最终会发展成超越人类智能的超智能机器。

人工智能的先驱者们大多数时候都不认为他们的事业可能会存在风险。至于创造人工智能以及具备人工智能的计算机霸主是否会存在任何安全隐患或者伦理风险，先驱者们才不会在这些问题上面多费唇舌，更别说去严肃思考了。即便是在当今这个不怎么批判技术使用过程中所存风险的社会背景下，这种缺失也让人备感诧异。我们当然希望这些先驱者们的事业最终能够成功，但我们要的不仅仅是娴熟的技术以引燃智能爆炸，我们还要能在更高水平上掌握控制权，以免我们在爆炸中身首异处。

而在瞻望未来之前，对于机器智能历史的飞速一瞥对我们而言还是颇有助益的。

希望与绝望并存

1956年夏天，10名研究神经网络、自动化理论以及智能的科学家们在达特茅斯学院组成了一个为期6周的工作组。这个达特茅斯夏季项目经常被认为是人工智能研究的及时缕曙光。大多数参与者后来都成了这一领域的开创性人物。项目组成员的乐观预期在给项目资助方洛克菲勒基金会提交的一份报告书中展现得淋漓尽致：

现报告我们10人团队经过两个月针对人工智能的研究成果……这项研究建立在这样一个设想的基础上，即智能所能实现的学习或者任何其他方面的特征在理论上都能够被机器地模拟出来。该研究尝试去发现机器是如何使用语言、形成抽象思维与概念、解决人类所面临的问题以及学会自我改良的。我们认为由这些精心遴选出来的科学家们组成的团队在经过一个夏天的研究后，能够在其中一个或者几个问题上实现突破性进展。

距离这一大胆的开创性研究已经过去了60年，人工智能在这60年中跌宕起伏，既经历过大肆宣传、野心勃勃的高潮期，也遭遇过挫折满满、令人失望的低潮期。

达特茅斯会议激发了人工智能的及时次研究热潮，该项目的主要组织者约翰 麦卡锡说这一时期是一个“看，我能办到！”的时代。在这一人工智能发展的早期时代，研究者们建立起各种系统以批驳那些认为“机器不能做‘某事’”的怀疑论。这类怀疑论在当时非常流行。为了对抗这种怀疑论，人工智能研究者们在某些微观领域创造了小型系统去实现具体的“某事”，以便证明机器是能够做“某事”的。这些微观领域往往被限制在某个非常具体的范围内，使得演示简单的机器性能成为可能。比是早期的逻辑思想家的这类系统便可以证明怀特海和罗素那本《数学原理》(Principia Mathematica)第二章中的大多数定理，而逻辑思想家的证明过程甚至比原来的证明更加简洁，这驳斥了那种认为机器“只会数数”的想法并显示出机器也能够进行推理和逻辑证明。在这之后又出现了通用问题解算程序，这种程序在原理上能够解决很大范围内的专业问题：既有能够解决大学一年级课本里微积分问题的程序，也有能应用于某些智商测验中解决图像类比问题的程序，还有能写出简单代数语言的程序。Shakey(意思为摇摆)机器人的出现显示出逻辑推理能够与知觉结合在一起，并可以应用于设置和控制肢体动作，其之所以被叫作shakey，是因为这种机器人在演示时总是不停抖动。ELIZA程序则展示了一台计算机是如何模仿罗杰斯这类心理治疗师的。在20世纪70年代中期，SHRDLU系统演示了一只模仿人类的机器人手臂是如何在摆放着几何物体的世界中，遵循使用者用英文打出的指令行事并且回答其输入的问题的。在之后的10年中，相继出现了各式各样的系统程序：能够以多个古典音乐作曲家的风格创作曲子的系统，在特定的临床诊断中表现得比初级医师还要好的系统，能够自动驾驶汽车的系统，以及能够发明专利的系统。有的系统甚至还会说笑话。

但在早期的演示系统中取得成功的这种方式却被证明很难向更广泛的领域延伸，也很难解决更难的问题。原因之一在于常用的穷举法很难解决可能的“组合爆炸”的问题。穷举法可以解决简单问题，但是只要问题变得稍微复杂一些，这种方法就没有用了。例如要证明一个有5步推理、一个推理规则以及5条公理的定律，便可以简单列举出3 125种可能的组合方式，然后挨个试验并寻找那个能够推出预期结果的组合。穷举法也可以运算6步或者7步的推理。但是随着任务变得越来越复杂，这种穷举法便很快遇到了瓶颈。要证明一个有50步推理的定律，工作量可并不是证明5步推理定律工作量的10倍，如果用穷举法的话，就可能需要550≈8.9×1034种可能的组合，即使是对于最快速的超级计算机来说，这也是不可能实现的计算。

要克服“组合爆炸”带来的问题，就需要有能够开发目标领域结构的算法，并且要能通过启发式搜索、计划以及灵活的抽象信息处理方式有效利用已有知识，而这些都是早期人工智能系统所欠缺的地方。其早期系统性能还有一个缺陷，就是过多依赖脆弱且无根据的符号化的表达方式，再加上数据稀缺以及硬盘条件严重限制了计算机的存储容量和加工速度，这些都使早期系统没有很好的方法来控制不确定性。到了20世纪70年代中期，这些问题变得越发突出。在意识到多数人工智能项目无法成功实现我们最初的设想后，人工智能的研究迎来了及时个寒冬：项目被砍，资金缩水，怀疑论甚嚣尘上，人工智能备受冷落。

20世纪80年代早期，人工智能迎来了春天。当时日本发起了第5代计算机系统工程，并专门为该工程建立起良好的公私合作伙伴关系，以确保充足的项目资金。该工程的主要目的在于超越当时的技术发展水平，通过发展大规模并行计算结构为人工智能的实现搭建平台。该工程与日本的“战后经济奇迹”一起受到关注，这一时期，西方国家政府以及商业精英们焦急地寻找能够揭示日本经济成功的规律，以期在其国内复制日本的这种繁荣。当日本决定在人工智能领域大手笔投入时，其他国家都紧随其后。

接下来的几年见证了专家系统的繁荣。专家系统的设计理念是为决策者提供支持工具，该系统是一些基于从一系列由实际知识构建的知识库中得到简单推论的程序，而这些实际知识则是由某一领域的人类专家们提供并被精心编成以代码表达的形式语言。当时有大约几百个类似的专家系统被建立起来。然而专家系统也同样存在着缺陷：小规模系统没什么太大价值，大规模系统则需要在开发、确认和数据更新上耗费大量成本，在运用时往往也会非常麻烦。为了运行一个单一程序，就设置一台独立计算机，这不太现实。所以到了20世纪80年代末期，人工智能的这一繁荣时期也变得黯淡起来。

第5代计算机系统工程并没能实现它的目标，而在美国和欧洲开展的类似项目也面临着同样的尴尬局面。第二次人工智能寒潮不期而至。这时，批评家的悲叹甚嚣尘上：“人工智能研究发展到今天，呈现出来的状态往往是在特定领域取得了极其有限的成功之后，便立刻会在实现更宏大目标的过程中遭遇挫折，而这种挫折往往都是被早期的成功所揭示的。”私人投资者们开始回避任何与人工智能相关的风险。甚至对于学术界人士以及学术资助人来说，“人工智能”一词都让人感到厌烦。

但技术依旧飞快地向前发展，到了20世纪90年代，第二次人工智能寒冬的冰雪开始消融。乐观主义者重燃激情，因为新技术似乎提供了一种有别于传统逻辑范式(经常被称为GOFAI，意为“出色的老式人工智能”)的替代路径，它聚焦于高水平符号处理，并且被20世纪80年代的专家系统发挥到了。神经网络和遗传算法等新流行的技术有望在某种程度上克服GOFAI路径的缺陷，尤其有可能会在传统人工智能路径的脆弱性上实现突破。这种脆弱性的主要体现是，只要系统存在一个微小的错误假设，整个结果便会变得毫无意义。让新技术引以为傲的是，它具备了更多的生物有机体属性。以神经网络为例，它具备了“故障弱化”的特性：神经网络的微小损坏通常只会导致整体性能的微小弱化而不会造成系统崩溃。更重要的是，神经网络能够从经验中学习，也可以从样本中找到最自然的概括路径以及所输入数据隐含的统计规律。这使得神经网络能够有效解决模式识别和归类的问题。比如，经过声呐信号训练的神经网络能够学会分辨潜水艇、水雷、海洋生物等不同的声音特征，比人类专家还要。而神经网络在实现识别不同的声音特征前，也不需要人类事先对声音类别进行定义，或者事先总结出这些声音的不同特点。

简单的神经网络模型自20世纪50年代后期开始被人们熟知，在引入能够训练多层神经网络的反向传播算法之后，人工智能领域又迎来了一阵复苏。多层神经网络在输入层和输出层之间有一个或多个神经元隐含层，能够比之前的简单系统具备更强大的功能。辅之以日益强大的计算机，工程师们便可以用改进的算法建立起能够被很好地应用到许多领域中的神经系统网络。

基于传统算法规则的GOFAI系统虽然逻辑严密，但是性能很差，而神经网络具备类似于人类大脑的特质，比之前的GOFAI系统要好出许多。神经网络还催生出了新的“机制”论，即所谓的“连接机制”，这种连接机制聚焦于大规模平行的精粒度亚符号数据处理的重要性。自那时起，以人工神经系统为主题的学术文献已超过150 000篇，并且人工神经系统目前依旧是机器学习的重要路径。

以进化为基础的算法，比如遗传算法和遗传编程，构建了另一条引领人们走出第二次人工智能寒冬的新路径。这类方法在学术领域产生的影响或许并没有神经网络系统那么大，却受到了广泛的欢迎。进化模型能够维系一个备选方案群(方案群本身可以通过数据结构和程序来实现)，并通过改变或重组现有方案群中的变量来生成新的备选群。通过应用选择标准(适应度函数)可以让备选群周期性地减少，并且只让其中那些更好的方案群进入下一代。经过数千代重复之后，备选方案池中解决方案的平均素质就会慢慢提高。这种算法能够在运行中生成有效的解决方案来解决范围很广的问题，而这类解决方案可能是让人耳目一新且非直观的，比任何一个人类工程师设计出来的东西都更像自然结构。从原理上讲，这个过程可以在不太需要人工初始输入具体而简单的适应度函数的情况下发生。但在实际操作中，要让进化方法得以顺利运行，还是需要一定的技巧和独特设计的，特别是要能设计出一个的表达形式。如果不能对可能的解决方案进行有效编码(也就是将其转换成一种基因语言以匹配目标领域的潜在结构)，关于进化的研究道路就会变得蜿蜒曲折且没有尽头，它会迷失在一个宏大的研究空间中或者卡在某个局部环节上停滞不前。不过即便是有了好的表达格式，进化算法也需要极大的计算量，并且常常会被“组合爆炸”击垮。

20世纪90年代，神经网络和遗传算法等研究方法激起了人们广泛的兴趣，为GOFAI范式提供了可替代的路径。但本文在此并不是要为这两个方法唱赞歌，也不是要拔高这类方法在机器学习技术领域中的地位。实际上，过去20年间一个主要的理论进展便是人们更清醒地意识到，目前表面上不同的各类技术，是可以被理解为存在于一个共同数学框架中的特殊案例的。举个例子，许多类型的人工神经网络系统都可以被视为对特定类别统计计算的展示(是一种较大似然估计)。这其实是将神经系统视为从实例中学习分类的更大一类算法中的一种，比如：决策树、逻辑回归模型、支持向量机、朴素贝叶斯、KNN算法等。在一定程度上，遗传算法可以被视为一种随机爬山法的演示，是寻找化算法大类中的一种。每一类这种算法在建立分类和寻找解决空间上都有自己的优缺点，而这些优缺点都是能够借助计算揭示出来的。不同的算法对处理时间和存储空间的要求都有所不同，从而带来了两个问题：一个问题是算法的预先假设存在归纳偏置，不过这个问题可以通过纳入外部内容来得到缓解；另一个问题就是，如何把算法的内在运行机制向人类分析家们解释清楚。

在机器学习以及创造性的问题解决模式之喧嚣炫目的背后，是一系列特定的计算权衡。理想的状态是实现的贝叶斯程序(Bayesian agent)，即在可获得的信息中寻找出概率。当然，这种理想状态是无法实现的，因为没有一台物理计算机能支持它所需要的宏大计算量(延伸阅读1)。但我们仍旧能够将人工智能视为寻找捷径的一种探索：借助人工智能手段，我们可以通过在将其引入特定现实领域并维持其性能的同时牺牲一些解或者普遍性，进而逐步靠近贝叶斯理想状态