人工智能、机器学习、神经网络、超级智能和技术奇点

AlphaGo Zero 智能吗？如果没有对智能的具体定义，就很难说清楚。人工智能研究员 Max Tegmark（2017）将智能简明地定义为“完成复杂目标的能力”。 这个定义足够广泛，可以包含更具体的定义。鉴于该定义，AlphaGo Zero 是智能的，因 为它能够完成一个复杂的目标，即在围棋或国际象棋比赛中打败人类玩家或其他人工智能 体。当然，人类和一般的动物也因此被认为是智能的。 注 6： CPU 代表中央处理器，它是所有标准台式机或笔记本计算机中的通用处理器。超级智能 ｜ 37 就本书而言，以下更具体的定义似乎足够恰当且准确。 狭义人工智能（ANI） 这指定了仅在某些特定领域内超过人类专家级能力和技能的人工智能体。AlphaZero 可 以被认为是围棋、国际象棋和将棋领域的 ANI。一种算法型股票交易人工智能体可以将 投资资本持续实现每年 100% 的净收益率，它也可以被视为 ANI。 通用人工智能（AGI） 这指定了一种人工智能体，它可以在任何领域（比如国际象棋、数学、文本写作或金 融）都达到人类水平的智能。 超级智能（SI） 这指定了在任何方面都超过人类水平智能的智能或人工智能体。 ANI 有能力在某些特定领域内达成复杂目标，并表现出比任何人类都更高的能力。在实现 各种领域的复杂目标方面，AGI 与任何人类个体一样出色。最后，在大部分可以想象的领 域中，在实现复杂目标方面，超级智能比任何人类个体甚至人类集体都要好得多。 前面对超级智能的定义，与 Bostrom 在其名为 Superintelligence（2014）的书中给出的定义 一致： 我们可以暂时将超级智能定义为在所有感兴趣的领域都大大超过人类认知能力的 任何智能。 如前所述，技术奇点是超级智能存在的时间点。然而，哪些途径可能会导致超级智能呢？

2.2　硬件的重要性 在过去十年中，人工智能研究人员和从业者在人工智能算法方面取得了巨大进步。如上一 节所述，强化学习通常会与神经网络相结合用于行动策略表示，这在许多不同领域已被证 明是有用且优越的。 然而，如果没有硬件方面的进步，最近的人工智能成就是不可能达成的。同样，DeepMind 的故事及其通过强化学习掌握围棋游戏的案例为我们提供了一些有价值的见解。表 2-1 是 2015 年以后 AlphaGo 主要版本的硬件使用和功耗概览。可以看到，AlphaGo 不仅实力稳步 提升，硬件要求和相关功耗也大幅下降。5 表2-1：DeepMind用于AlphaGo的硬件 版本 年 Elo评级 硬件 功耗 [TDP] AlphaGo Fan 2015 大于 3000 176 GPU 大于 40 000 AlphaGo Lee 2016 大于 3500 48 TPU 10 000 以上 AlphaGo Master 2016 大于 4500 4 TPU 小于 2000 AlphaGo Zero 2017 大于 5000 4 TPU 小于 2000 注 5： 在表 2-1 中，GPU 代表图形处理单元。TPU 代表张量处理单元，它是一种专用计算机芯片，用于更 有效地处理所谓的张量和对张量的操作。张量是神经网络和深度学习的基本构建块，本书后面内容 和 Chollet（2017）的第 2 章对其进行了更详细的介绍。TDP 代表热设计功率。 图灵社区会员 cxc_3612(17665373813) 专享 尊重版权36 ｜ 第 2 章 人工智能的第一个主要硬件推动来自 GPU，尽管 GPU 最初被用于为计算机游戏生成快速高 分辨率图形，但现代 GPU 也可用于许多其他目的。这些额外目的之一涉及线性代数（比如， 以矩阵乘法的形式），这是一门对一般人工智能，尤其是神经网络至关重要的数学学科。 截至 2020 年年中，市场上速度最快的一款消费级 CPU 是最新迭代的 Intel i9 处理器（具 有 8 个内核和最多 16 个并行线程）。6 根据现有的基准测试任务，它达到了大约 1 TFLOPS （每秒 1 万亿次浮点运算）或略高的速度。 与此同时，市场上速度最快的一款消费级 GPU 是 Nvidia GTX 2080 Ti。它有 4352 个 CUDA 内核，也即 Nvidia 的 GPU 内核，允许高度并行（比如，在线性代数运算的任务中） 的计算。该 GPU 的速度高达 15 TFLOPS，比英特尔最快的消费级 CPU 快约 15 倍。很长 一段时间以来，GPU 一直比 CPU 快。然而，通常一个主要的限制因素是 GPU 拥有相对较 小且专用的内存。较新的 GPU 型号（如 GTX 2080 Ti）显著缓解了这种情况，它具有高达 11 GB 的快速 GDDR6 内存和可在 GPU 之间传输数据的高总线速度。 2020 年年中，这种 GPU 的零售价约为 1400 美元，比 10 年前同等强大的硬件便宜了几 个数量级。这种发展使得人工智能研究对预算相对较少的个人学术研究人员来说（与 DeepMind 等公司相比）更容易负担。 另一个硬件趋势正在推动人工智能方法和算法的进一步发展和采用：基于云计算的 GPU 和 TPU。Scaleway 等云供应商提供了可按小时租用且具有强大 GPU 的云实例（参见 Scaleway GPU 实例）。谷歌等其他公司开发了 TPU，这是专门用于人工智能的芯片，与 GPU 类似，可以提高线性代数运算的效率（参见谷歌 TPU）。 总而言之，从人工智能的角度来看，硬件在过去几年中得到了极大的改进。总结起来，主 要有 3 个方面。 性能 GPU 和 TPU 为硬件提供了高度并行的架构，非常适合人工智能算法和神经网络。 费用 按每 TFLOPS 计算能力的成本已显著下降，使得每 TFLOPS 以更少的预算或者在相同 预算下使用更多算力成为可能。 功耗 功耗也下降了。与人工智能相关的相同任务需要的能源更少了，执行速度也更快了。 2.3　智能的形式 AlphaGo Zero 智能吗？如果没有对智能的具体定义，就很难说清楚。人工智能研究员 Max Tegmark（2017）将智能简明地定义为“完成复杂目标的能力”。 这个定义足够广泛，可以包含更具体的定义。鉴于该定义，AlphaGo Zero 是智能的，因 为它能够完成一个复杂的目标，即在围棋或国际象棋比赛中打败人类玩家或其他人工智能 体。当然，人类和一般的动物也因此被认为是智能的。 注 6： CPU 代表中央处理器，它是所有标准台式机或笔记本计算机中的通用处理器。超级智能 ｜ 37 就本书而言，以下更具体的定义似乎足够恰当且准确。 狭义人工智能（ANI） 这指定了仅在某些特定领域内超过人类专家级能力和技能的人工智能体。AlphaZero 可 以被认为是围棋、国际象棋和将棋领域的 ANI。一种算法型股票交易人工智能体可以将 投资资本持续实现每年 100% 的净收益率，它也可以被视为 ANI。 通用人工智能（AGI） 这指定了一种人工智能体，它可以在任何领域（比如国际象棋、数学、文本写作或金 融）都达到人类水平的智能。 超级智能（SI） 这指定了在任何方面都超过人类水平智能的智能或人工智能体。 ANI 有能力在某些特定领域内达成复杂目标，并表现出比任何人类都更高的能力。在实现 各种领域的复杂目标方面，AGI 与任何人类个体一样出色。最后，在大部分可以想象的领 域中，在实现复杂目标方面，超级智能比任何人类个体甚至人类集体都要好得多。 前面对超级智能的定义，与 Bostrom 在其名为 Superintelligence（2014）的书中给出的定义 一致： 我们可以暂时将超级智能定义为在所有感兴趣的领域都大大超过人类认知能力的 任何智能。 如前所述，技术奇点是超级智能存在的时间点。然而，哪些途径可能会导致超级智能呢？ 这是下一节的主题。 2.4　通往超级智能的途径 多年来，研究人员和从业者都在争论是否有可能创造一种超级智能。技术奇点的实现时间 从预计的几年到几十年，到几个世纪，再到永远。无论人们是否相信超级智能的可行性， 对实现它的潜在途径的讨论都是富有成果的。 下面引用 Bostrom（2014）的第 2 章中一段较长的论述，其中列出了一些可能适用于任何 潜在超级智能途径的一般性考虑： 然而，我们可以辨别出所需要的那种系统的一些一般特征。现在似乎很清楚， 学习能力将是通用智能系统设计的一个核心组成部分，而不是稍后作为扩展或 事后考虑的东西。这同样适用于有效处理不确定性和概率信息的能力。另外， 从感知数据和内部状态中提取有用的概念的能力，以及将获得的概念灵活组合 并用于逻辑和直觉推理的能力，也属于面向通用智能的现代人工智能系统设计 的核心特征。 这些通用特征让人联想到了 AlphaZero 的方法和功能，尽管直觉之类的术语对人工智能体 来说需要更明确的定义。但是如何实际地实现这些通用特性呢？ Bostrom（2014）的第 2 章讨论了 5 种可能的途径，接下来我们将进行探讨。38 ｜ 第 2 章 2.4.1　网络和组织 通往超级智能的第一条途径是通过可能涉及大量人类的网络和组织，以一种方式进行协 调，这种方式会使他们的个人智能被放大并同步工作。由具有不同技能的人组成的团队是 此类网络或组织的一个简单示例。 这条途径似乎有自然限制，因为一个人的能力是相对固定的。进化理论表明，人类难以在 超过 150 人的网络和组织内进行协调，因此大公司通常会以比这小得多的团队、部门或小 组来运行。 另外，即使有数百万个计算节点，计算机和机器的网络（如互联网）也倾向于无缝地系统 工作。如今，此类网络至少能够组织人类的知识和其他数据（声音、图片、视频等）。当 然，人工智能算法已经帮助人类浏览了所有这些知识和数据。然而，值得怀疑的是，超级 智能是否会“自发地”在互联网上出现，至少目前来看仍为时尚早。 2.4.2　生物增强 如今，人们在提高个人认知和身体表现方面付出了很多努力。从自然方法（比如更好的训 练和学习方法）到涉及物理的方法（比如补充剂）再到涉及特殊工具的方法，今天人类比 以往任何时候都更努力地系统且科学地提高个人认知和身体表现。Harari（ 2015）将这项努 力描述为智人寻求创造一个新的、更好版本的自己，即智神（homo deus）。 然而，这种方法再次面临人类硬件基本固定的障碍。它已经进化了数十万年，并且在可预 见的未来可能会继续这样做。但这只会以相当缓慢的速度发生，而且需要很多代的持续进 化。它也只会在很小的程度上发生，因为如今人类的自然选择作用已减弱，而自然选择赋 予进化以改进的力量。Domingos（2015）的第 5 章讨论了进化过程中进步的核心方面。 在这种情况下，可以参考 Tegmark（2017）的第 1 章中概述的生命版本。 • 生命 1.0（生物）：硬件（生物体）和软件（基因）基本固定的生命形式，两者都是通 过进化同时缓慢进化的。这方面的例子是细菌或昆虫。 • 生命 2.0（文化）：具有基本固定且缓慢进化的硬件但主要是设计和学习的软件（基因 加上语言、知识、技能等）的生命形式。人类就是这样一个例子。 • 生命 3.0（技术）：生命形式具有设计和可调整的硬件以及完全学习和进化的软件。一 个例子是用计算机硬件、软件和人工智能算法创建的超级智能。 随着生命 3.0（技术）在超级智能机器中出现，可用硬件的局限性或多或少会完全消失。 因此，目前来看，网络或生物增强之外的途径可能更有希望通往超级智能。 2.4.3　脑机混合 以人类使用各种硬件工具和软件工具为标志，在各个领域提高人类绩效的混合方法在我们 的生活中无处不在。人类自出现以来就使用工具，今天，数十亿人携带着有谷歌地图的智 能手机，即使在从未去过的地区和城市，他们也能轻松导航。我们的祖先则没有这些奢侈 品，因此他们需要根据在天空中看到的物体，或者使用不那么复杂的工具（如指南针）来 获得导航技能。超级智能 ｜ 39 以国际象棋为例，即使计算机（如“深蓝”）被证明更胜一筹，人类也不会停止下棋。相 反，计算机国际象棋程序性能的改进，使其成了每位特级大师系统地改进自身游戏的不可 或缺的工具。人类特级大师和快速计算的国际象棋引擎组成了一个人机团队，在其他条件 相同的情况下，他们的表现比单独一个人要好。甚至还有国际象棋锦标赛，在比赛中，人 类在利用计算机做出下一步行动时会相互对弈。 同样，我们可以想象通过适当的接口将人脑直接连接到机器，这样大脑就可以与机器通 信、交换数据并启动某些计算、分析或学习任务。这些听起来像科幻小说的东西，现在是 一个活跃的研究领域。以 Elon Musk 为例，他创办了一家名为 Neuralink 的初创公司，该 公司所专注的领域就是我们通常所说的神经技术。 总而言之，脑机混合似乎是实际可行的，并且有可能显著超越人类智能。然而，它是否会 带来超级智能还尚不明确。 2.4.4　全脑模拟 另一种通往超级智能的建议途径是先完全模拟人脑，然后再对其进行改进。这个想法是 通过现代脑扫描技术以及生物和医学分析方法绘制整个人类大脑图，从而通过软件以神经 元、突触等形式精确复制其结构。该软件可在适当的硬件上运行。Domingos（2015）的 第 4 章阐述了关于人类大脑的背景信息以及它在学习方面的特征。Kurzweil（2012）通篇 对这个主题进行了阐述，给出了详细的背景信息并勾勒出了实现全脑模拟（WBE，有时也 称为上传）的方法。7 退一步讲，（人工）神经网络正是 WBE 试图实现的目标。神经网络，顾名思义，会受大脑 的启发，并且因为它已经被证明在许多不同领域非常有用且成功，人们可能倾向于得出结 论，WBE 确实可以被认为是通往超级智能的可行途径。然而，迄今为止，绘制完整人脑 的必要技术还不完善。即使能成功绘制完整人脑，也不清楚人脑的模拟版本是否能够做与 人脑相同的事情。 但是，如果 WBE 成功了，那么人脑软件就可以在比人体更强大、速度更快的硬件上运行， 从而有可能实现超级智能。该软件还可以轻松复制，并且可以以协作的方式将大量模拟大 脑组合在一起，这也可能导致超级智能。人脑软件也可以以人类由于生物学限制而无法做 到的方式得到增强。 2.4.5　人工智能 最后，值得一提的是，本书中涉及的人工智能本身可能会导致超级智能：像神经网络这一 类算法可以在标准或专用硬件上运行，并根据可用或自创数据进行训练。如果超级智能是 完全可以实现的，那么大多数研究人员和从业者就有很多理由认为人工智能这条途径是最 可行的。 注 7： 2019 年 1 月，由 Keanu Reeves 主演的美国科幻惊悚片《复制品》在美国上映，这部电影被证明是 商业上的失败，其主题是人类大脑的映射以及将映射转移到机器甚至其他通过克隆和复制生长的人 体。这部电影触及了数百年来人类超越人体物理基础并至少在思想和灵魂方面成为不朽的愿望。即使 WBE 可能不会导致超级智能，但它在理论上是实现这种永生的基础。40 ｜ 第 2 章 第一个主要原因是，从历史上看，人类在工程方面的成功往往是因为忽略了大自然和进化 中为解决某个问题而得到的类似方案。拿飞机的设计来说，其中利用了对物理学、空气动 力学、热力学等的现代理解，而不是试图模仿鸟类或昆虫的飞行方式。再以计算器为例， 当工程师建造第一台计算器时，并没有分析人脑是如何进行计算的，甚至也没有尝试复制 生物学方法，他们更依赖于在技术硬件上实现的数学算法。在这两种情况下，更重要的方 面是功能或能力本身（飞行、计算），其越有效越好，没有必要模仿大自然。 第二个主要原因是，人工智能的成功案例的数量似乎在不断增加。例如，将神经网络应用 于几年前人工智能似乎并不占优势的领域，已被证明是在许多领域实现 ANI 的有效途径。 一个希望可以进一步推动人工智能泛化能力的例子是，AlphaGo 正逐渐转变为 AlphaZero， 在短时间内掌握了多款棋盘游戏。 第三个主要原因是，可能只有在许多 ANI（甚至一些 AGI）被观察到之后，超级智能才会 出现（“奇点”）。由于人工智能在特定专业和领域的力量毋庸置疑，因此研究人员和企业 等将继续专注于改进人工智能算法和硬件。例如，大型对冲基金将努力通过人工智能方法 和智能体来产生 alpha 收益（一种与市场基准相比，衡量基金业绩表现的指标），许多基金 拥有致力于此类工作的大型专门团队。跨不同行业的这些全球性努力可能会共同产生超级 智能所需的进步。 人工智能 在通往超级智能的所有可能途径中，人工智能似乎是最有前途的一种。在经 历了多个人工智能寒冬之后，我们迎来了另一个人工智能的春天，尤其以最 近在强化学习和神经网络领域取得的成功为代表。现在许多人甚至相信超级 智能可能不会像我们几年前想象的那么遥远，该领域的进展比专家不久前预 测的要快得多。 2.5　智能爆炸 前面提到的 Vinge（1993）的引述不仅描绘了技术奇点之后人类面临的危险情景，而且还 预言了危险情景将在不久之后出现，为什么这么快？ 如果存在一个超级智能，那么工程师或超级智能本身就可以创建另一个超级智能，甚至可 能是更好的超级智能，因为与最初的超级智能创造者相比，现在的超级智能将拥有卓越的 工程知识和技能。超级智能的复制不会受到经过数百万年进化的生物过程持续时间的限 制，只会受到新硬件的技术组装过程的限制。超级智能可以以显著的方式对其自身进行改 进。软件可以快速且轻松地复制到新硬件中。资源可能会限制复制，但超级智能会想出更 好的甚至新的方法来挖掘和生产所需的资源。 这些以及类似的论点都支持这样一种观点，即一旦达到技术奇点，智能就会爆炸。这可能 与（某些科学家提出的关于宇宙起源的）创世大爆炸类似，创世大爆炸开始于（物理）奇 点，而已知的宇宙从爆炸中诞生。超级智能 ｜ 41 关于特定领域和 ANI，类似的论点可能适用。假设一个算法交易人工智能体会比市场上的 其他交易者和对冲基金呈现出更成功且更持久的明智表现，这样的人工智能体将通过交易 收益和吸引外部资金来积累更多的资金。反过来，这将增加可用预算来改进硬件、算法、 学习方法等，例如，通过支付高于市场的工资和奖励来吸引人工智能金融领域最聪明的人。 2.6　目标和控制 在正常的人工智能环境中，例如，当人工智能体应该掌握图 2-1 中描述的简单的 CartPole 游戏或更复杂的游戏（如国际象棋或围棋）时，目标通常是明确定义的：“至少获得 200 分的奖励”“通过将死对手赢得国际象棋比赛”等，但超级智能的目标又是什么呢？ 2.6.1　超级智能和目标 对于拥有超人能力的超级智能，目标可能不像前面的例子那么简单和稳定。首先，超级智 能可能会为自己制订一个自认为比最初制订和规划的目标更合适的新目标。毕竟，它有 能力以与工程团队相同的方式做到这一点。一般来说，它可以在任何方面对自己重新编 程。许多科幻小说和电影让我们相信，主要目标的这种变化会对人类不利，这也是 Vinge （1993）所假设的。 即使假设超级智能的主要目标可以以不可更改的方式进行编程和嵌入，或者超级智能可能 会坚持其原始目标，问题仍然会出现。Bostrom（2014）的第 7 章认为，每个超级智能都 有独立于主要目标的 5 个工具性子目标。 自我保护 超级智能需要足够长的生存时间才能实现其主要目标，为此，它可能会采取不同的措 施，而为了确保其生存，其中一些措施可能会对人类有害。 目标内容完整性 这指的是一种想法，即超级智能将尝试保持其当前主要目标，因为这会增加其未来的自 己实现这一目标的可能性，因此，现在和未来的主要目标很可能是相同的。考虑一个以 赢得国际象棋比赛为目标的国际象棋人工智能体，它可能会为了自己的皇后不被吃掉而 不惜一切代价改变其目标。但这可能会阻碍它最终赢得比赛，因此这种目标的改变和赢 得比赛的目标会不一致。 认知能力增强 无论超级智能的主要目标是什么，认知能力增强通常都被证明是有益的。因此，如果这 有助于实现其主要目标，那么它可能会努力以尽可能快的速度提高其认知能力。因此， 认知能力增强是一个主要的工具性目标。 技术完善 技术完善也是一个工具性目标。在生命 3.0 的意义上，超级智能既不会局限于其当前硬 件，也不会局限于其软件的状态。它会努力存在于可能设计和生产的更好的硬件上，并 会利用已编制的改进软件。这通常会服务于其主要目标，并且可能会更快实现。例如， 在金融行业，高频交易（HFT）是一个以争夺技术优势为特征的领域。42 ｜ 第 2 章 资源获取 对大多数主要目标来说，更多的资源通常会提升实现目标的概率和实现速度，当目标中 隐含竞争情况时尤其如此。考虑一个人工智能体，其目标是尽快地挖掘尽可能多的金融 工具。人工智能体可用的硬件、能源等形式的资源越多，就越能更好地实现其目标。在 这种情况下，它甚至可能会出现从加密货币市场中的其他人那里获取（窃取）资源的非 法做法。 从表面上看，工具性目标似乎不会构成威胁，毕竟，它们是为了确保人工智能体主要目标 的实现。然而，正如 Bostrom（2014）被广泛引用的例子所示，问题很容易出现。例如， Bostrom 认为，以最大限度生产回形针为目标的超级智能可能会对人类构成严重威胁。要 了解这一点，请在此类人工智能体的例子中考虑前面的工具性目标。 第一，它会想尽一切办法来保护自己，即使是使用武器来对付自己的创造者。第二，即使 它自己的认知推理能力表明其主要目标并不是真正明智的，但它可能会随着时间的推移坚 持下去以最大化实现此目标的机会。第三，认知增强对于实现其目标肯定是有价值的，因 此，它会尝试各种方法，而为了提高其能力，其中许多方法可能会以牺牲和伤害人类为代 价。第四，它自身的技术或是生产回形针的技术越好，对其主要目标的实现就越有利。因 此，它会通过购买或窃取等方法来获取所有现有技术，并构建有助于实现其目标的新技 术。最后，它拥有的资源越多，可以生产的回形针就越多，直到地球资源枯竭时，它可以 开发太空探索和开采技术。在极端情况下，这样的超级智能可能会耗尽太阳系、银河系甚 至整个宇宙的资源。 工具性目标 假设任何形式的超级智能都具有与其主要目标无关的工具性目标。这可能会 导致许多意想不到的后果，比如为了获取更多资源，超级智能会以任何看起 来有希望的方式进行永不满足的追求。 该示例说明了关于人工智能体目标的两个要点。首先，可能无法以能够完整而清晰地表现 目标制订者意图的方式为人工智能体制订复杂的目标。例如，“保留和保护人类物种”这 样的崇高目标可能会为了确保 1/4 的人类具有更高的生存可能性而杀死剩余的 3/4。在对地 球和人类的未来进行了数十亿次模拟之后，超级智能觉得这种方法最有可能实现其主要目 标。其次，一个看似善意且无害的目标可能会由于工具性目标的存在而导致意想不到的后 果。在回形针示例中，目标中的一个问题是“尽可能多”这句话。这里的一种简单解决方 法是将数字指定为 100 万，但即使这样也可能只是部分修复，因为像自我保护这样的工具 性目标可能会成为主要目标。 2.6.2　超级智能和控制 如果在技术奇点之后可能出现糟糕甚至灾难性的后果，那么设计至少可以潜在地控制超级 智能的措施至关重要。 第一套措施与主要目标的正确制订和设计有关，上一节在一定程度上讨论了这个方面。 Bostrom（2014）的第 9 章在动机选择方法的讨论中提供了更多细节。超级智能 ｜ 43 第二套措施与控制超级智能的能力有关。Bostrom（2014）的第 9 章概述了 4 种基本方法。 封闭 这是一种将正在出现的超级智能与外部世界隔离开来的方法，例如，将人工智能体与互 联网断开，使它没有任何感官能力，同时还要排除人际互动。但这种控制人工智能体能 力的方法也可能导致大量有趣的目标无法实现。考虑一个应该达到 ANI 级别的算法交 易人工智能体，如果不与外部世界（比如股票交易平台）连接，那么人工智能体就没有 机会实现其目标。 激励 人工智能体可能会被赋予最大化其奖励的功能，这种（电子）奖励被有意设计为奖励被 期望的行为并惩罚不被期望的行为。虽然这种间接方法给目标设计提供了更多的自由 度，但它在很大程度上也受到与直接制订目标类似的问题的困扰。 阻碍 这种方法是指在硬件、计算速度或内存等方面故意限制人工智能体的能力。然而，这是 一种刻意为之的方法。过多的阻碍会使超级智能永远不出现，而过少的阻碍和随之而来 的智力爆炸又将使这种方法变得毫无作用。 绊线 这是指有助于尽早识别任何可疑或异常行为，以便启动有针对性的对策的措施。然而， 这种方法存在类似警报系统向警方发出入室盗窃警报的问题。可能窃贼在 5 分钟前就离 开了，但警察需要 10 分钟才能到达犯罪现场，并且即便是监控摄像头也可能无助于找 出窃贼。 能力控制 总而言之，当超级智能达到技术奇点水平时，能否对其进行适当且系统的控 制就变得令人怀疑了。毕竟，它的超能力至少在原则上可以用来克服任何人 为设计的控制机制。 2.7　潜在的结果 除了 Vinge（1993）早期的预言：“超级智能的出现将意味着人类的世界末日”，还有哪些 潜在的结果和情景是可以想象的？ 越来越多的人工智能研究人员和从业者警告了不受控制的人工智能可能带来的潜在威胁。 在超级智能出现之前，人工智能会导致歧视、社会失衡、金融风险等。（在这方面，著名 的人工智能评论家是特斯拉、SpaceX 和 Neuralink 等公司的创始人 Elon Musk。）因此，人 工智能伦理与治理是研究人员和从业者之间激烈争论的话题。简而言之，可以说这个群体 害怕人工智能引发的反乌托邦。而以 Ray Kurzweil（2005，2012）为代表的其他群体则强 调人工智能可能是通往乌托邦的“唯一”途径。 这种情况下的问题是，即使出现反乌托邦的结果的可能性相对较低，也足以令人担忧。正 如上一节所述，鉴于现有技术，可能还无法设计出适当的控制机制。在此背景下，在我撰44 ｜ 第 2 章 写本书时，已有 42 个国家签署了第一个关于人工智能发展的国际协议。 正如 Murgia 和 Shrikanth（2019）在《金融时报》上报道的那样： 上周发生了一个历史性的事件，42 个国家联合起来支持为我们这个时代最强大 的新兴技术之一——人工智能——建立一个全球治理框架。 该协议由美国、英国和日本等经合组织国家以及非成员国签署。签署时正值各国 政府进行清算之际，这些政府最近才开始应对在工业中应用人工智能的道德与实 际后果……近年来，谷歌、亚马逊等公司在人工智能方面的快速发展远远超出了 该领域的监管，从而暴露出它们在以下几方面所面临的重大挑战：带有偏见的人 工智能决策、彻头彻尾的造假和错误信息，以及自动化军事武器的危险。 乌托邦与反乌托邦 即使是基于人工智能进步的乌托邦未来的坚定支持者也必须同意，不能完全 排除技术奇点之后出现反乌托邦未来的可能性。由于后果可能是灾难性的， 因此反乌托邦的结果必须在关于人工智能和超级智能的更广泛讨论中被考虑 进来。 超级智能的数量以及技术奇点之后的情况将会如何？似乎可能出现以下 3 种基本情况。 单极 单一的超级智能会出现并获得非常强大的力量，以至于没有其他超级智能能够生存甚至 出现。例如，谷歌主宰着搜索市场，在该领域几乎占据垄断地位。超级智能在出现后不 久可能会很快在许多相关领域和行业中达到类似的位置。 多极 多个超级智能几乎同时出现并共存更长时间，例如，对冲基金行业有一些大型参与者， 鉴于它们的总市场份额，可以被视为寡头垄断。根据它们之间的分而治之的协议，多个 超级智能可以类似地共存，至少在一段时间内是这样。 原子化 在技术奇点之后不久出现了大量的超级智能。从经济学的角度讲，这种情况类似于一个 完全竞争的市场。从技术角度讲，国际象棋的演变为这种情况提供了一个类比。虽然 IBM 在 1997 年制造了一台可以主宰计算机和人类国际象棋世界的机器，但今天每部智 能手机上的国际象棋应用都胜过人类棋手。截至 2018 年，已经有 30 多亿部智能手机投 入使用。在此背景下，值得注意的是，最近智能手机的硬件趋势是在常规 CPU 之外添 加专用人工智能芯片，稳步提升这些小型设备的功能。 本节并没用争论技术奇点之后的一个或另一个潜在结果（比如反乌托邦、乌托邦、单极、 多极或原子化），而是提供了一个思考超级智能或强大的 ANI 在各自领域潜在影响的基本 框架。超级智能 ｜ 45 2.8　结论 最近，像 DeepMind 和 AlphaZero 这样的成功案例带来了新的人工智能的春天，人们对超 级智能的实现寄予了前所未有的希望。目前，人工智能已经产生了在不同领域远远超过人 类专家水平的 ANI。虽然 AGI 和超级智能是否可能实现仍然存在争议，但至少不能排除通 过某种途径（如人工智能）确实可以实现。一旦技术奇点出现，也不排除超级智能可能会 给人类带来意想不到的、负面的甚至是灾难性的后果。因此，在技术奇点出现之前，对于 控制新兴的、更强大的人工智能体，合适的目标和激励设计以及合适的控制机制可能是至 关重要的。一旦达到奇点，智能爆炸可能会迅速将超级智能的控制权从其创造者和赞助者 手中夺走。 人工智能、机器学习、神经网络、超级智能和技术奇点是对人类生活的各个领域的现在或 将来都很重要的话题。目前，许多研究领域、行业和人类生存涉及的领域因人工智能、机 器学习和深度学习而发生着根本性的变化。金融和金融行业也是如此，不过，由于人工智 能在这两个领域的应用速度相对较慢，因此它的影响可能还没有那么大。但与其他领域一 样，人工智能将会改变金融以及金融市场参与者的基本行为方式，正如后面章节所讨论的 那样。