警告：超级智能机器人正在逼近。

试想一下，某天早上我们醒来，惊讶地发现一个超级强大的人工智能出现了，并带来了灾难性的后果。

尼克·博斯特罗姆的《超级智能》和马克斯·泰格马克的《生命3.0》等书以及最近的一些文章都认为，恶意的超级智能会给人类带来生存风险。

但猜测是永无止境地。最好问一个更具体的、更有经验的问题：什么能提醒我们超级智能已经近在眼前了？

我们把这种预兆称为AI领域的“煤矿里的金丝雀”（类似预警）。如果AI程序开发出一种新基础功能，那就相当于金丝雀的死亡，也就是AI即将取得突破的早期预警。

著名的图灵测试可以作为这只金丝雀吗？

艾伦·图灵在年发明了这项测试，假设当一个人无法区分他在与人交谈还是与电脑交谈时，那么这个AI就到达了人类水平。这个测试很重要，但它当不了金丝雀；确切地说，这是人类水平的人工智能出现的标志。

许多计算机科学家相信，如果这种情况真的发生了，超级智能将很快到来。但我们在这个发展过程中还需要更多的突破。

AI在围棋、扑克或雷神之锤3等游戏中的表现可以称为金丝雀吗？不能。这些游戏中所谓的人工智能实际上是人类在构建问题并设计出了解决方案。

AlphaGo战胜人类围棋冠军，是DeepMind优秀的人类团队的功劳，而不是机器的功劳，它只是运行了人类创造的算法。

这就解释了为什么AI的成功需要多年的努力才能从一个小挑战到下一个小挑战。

即便是在几小时内就达到了世界一流围棋水平的AlphaZero，自年以来也没有实质性地拓宽过它的学习范围。像深度学习这样的方法是通用的，但是它们需要大量人工干预才能成功地应用于特定任务。

从更大的角度来说，机器学习是过去十几年里人工智能成功的核心标志。然而，“机器学习”这个词不太恰当。机器只拥有人类丰富多样的学习能力中的一小部分。

说机器会学习，就像说小企鹅会捕鱼一样。但实际上，成年企鹅会游泳、捕捉、消化、反刍，并把食物放进它们孩子的嘴里。而人工智能也在被人类科学家和工程师们“喂养”着。

与机器学习不同，人类学习会将个人动机（“我想不依赖父母独自开车”）反映到到战略学习计划中（“周末参加驾驶培训并进行练习”）。

一个人会给自己制定具体的学习目标（“练好侧方停车”），收集和标记数据（“这次角度不对”），并且结合外部反馈和背景知识（“教练解释如何使用外后视镜”）。

人类会识别、设计和塑造学习问题。这些能力都无法被机器远程复制。机器可以进行超人般的统计计算，但这仅仅是学习的最后一步。

机器可以进行超人般的统计计算，但这仅仅是学习的最后一步。

那么，自动生成学习问题，就是第一只金丝雀。不过它看起来似乎还没有任何即将死亡的迹象。

自动驾驶汽车是第二只金丝雀。这一发明比埃隆·马斯克等支持者所设想的更遥远。AI在非典型情况下可能会导致灾难性的事故，比如当碰上一个坐轮椅的人过马路时。

开车比以往的人工智能任务更具挑战性，因为它需要根据不可预测的现实世界以及与人类司机、行人和其他人的交互，做出对生命至关重要的实时决策。

当然，一旦自动驾驶汽车的事故率降低了，我们就应该安排受限制的自动驾驶汽车，但只有在AI达到人类水平的驾驶时，这只金丝雀才能算做“晕倒了”。

AI医生是第三只金丝雀。

AI已经能够以超人的精确度分析医学图像，但这只是人类医生工作的一小部分。AI医生必须能够做到与患者面谈，考虑并发症，咨询其他医生等行为。

这些都是具有挑战性的任务，需要让AI理解人类、语言和医学。这样就不需要欺骗病人，让他们以为AI是人，这是和图灵测试不同的地方。

但当它面对大量任务和特殊情况时，必须接近人类医生处理问题的能力。

虽然图灵测试本身不是一个合适的金丝雀，但是测试的部分内容还是可以当做金丝雀看的。现有的人工智能无法理解人类和我们的动机，甚至无法理解一些基本的物理问题。

比如“一架大型喷气式飞机能穿过窗户吗?”我们可以通过与Alexa或谷歌Home这样的人工智能交谈几分钟来进行部分图灵测试，这很快就会暴露出他们对语言和世界的有限理解。这个非常简单的示例基于计算机科学家赫克托·莱韦斯克提出的Winograd模型。

目前的AI都是白痴学者：他们能够成功地完成领域狭窄的任务，比如下围棋或对核磁共振成像进行分类，但缺乏人类的普遍性和全能性。

每个白痴学者都是手工单独创建的，它们离5岁孩子的全能性还差上几十年的距离。相比之下，我提出的“金丝雀现象”则是人工智能领域的转折点。

博斯特罗姆等理论家认为我们必须为概率非常低但后果严重的事件做好计划，要把它们当成是不可避免的一样。他们表示，这类事件后果非常严重，所以我们对其概率的估计并不重要。

这种观点非常愚蠢，相当于17世纪哲学家布莱士·帕斯卡观点的现代版本，它能让任何事都说得过去。

帕斯卡认为，当做上帝是存在的那样去做事是值得的，否则你就有可能陷入永恒的地狱。

他用一个错误的巨大代价来论证一个特定的行动过程是“理性的”，即使它是基于一个高度不可能存在的前提。但基于巨大代价的争论可能会支持相互矛盾的信念。

例如，有一个反基督教的上帝应许，基督徒的每一个行为都将受永恒地狱的惩罚。当然这也是绝对不可能发生的。

然而，从逻辑的角度来看，这和相信圣经中的上帝一样合理。这一矛盾反映了以巨大代价为基础的论点的缺陷。

这些“早期预警信号”（或者叫“金丝雀”）只是说明性的，并不全面，但它能够显示出我们离人类水平的AI还有多远。

如果一个预警不成立，那么在人类水平的AI出现之前，我们将有充足的时间来设计强大的“开关”，并找出我们不希望AI跨越的红线。

没有经验教训的人工智能末世论，会分散人们对解决现有问题的注意力，比如如何监管AI对就业的影响，还有如何确保AI在刑事判决或信用评分中的使用不会歧视某些群体。

正如世界最著名的人工智能专家之一吴恩达所说：“担心人工智能变坏，有点像担心火星上的人口过剩。”在金丝雀开始走向死亡之前，他这句话完全正确。