trival(arrival是什么意思)

大家好，我是讯享网，大家多多关注。

选自spectrum.ieee

作者:Charles Q. Choi

机器心脏编译

编辑:杜威泽南

它的计算能力是有极限的，但也因此，人类无法控制超级人工智能。

近日，一项新的研究发现，理论上，人类是不可能控制超级人工智能的。更糟糕的是，这项研究还明确了人类无法在这个AI产生的时候发现它。

稍感安慰的是，根据不止一个预测，任何通用超级计算机都将在几十年后超越人类。

近年来，人工智能在国际象棋、围棋、德州扑克、Jeopardy等游戏中已经超过了人类。它在Dota2和星际争霸游戏中与顶级玩家打了个来回，时不时引起一点恐慌。有人担心机器智能超越人类有一天会让人无所适从。西班牙马德里自治大学的计算机科学家曼纽尔·阿尔方塞卡(Manuel Alfonseca)说:“关于超级智能是否由人类控制的问题其实很古老。“这可以追溯到20世纪40年代阿西莫夫的机器人三定律。」

任何形式的与超级人工智能的交流都是有风险的。

众所周知的机器人三定律是由科幻作家艾萨克·阿西莫夫于1942年在《机器人一书中首次提出的。规则如下:

机器人不得伤害人类，也不得坐视人类受到伤害；

机器人必须服从人类的命令，除非命令与第一定律相冲突；

机器人可以在不违反第一或第二定律的情况下保护自己。

在1985年的《机器人与帝国》一书中，阿西莫夫将三定律扩展为四定律:增加第零定律——机器人不得伤害整个人类或坐视整个人类受到伤害。

2014年，哲学家、牛津大学人类未来研究所所长尼克·博斯特罗姆(Nick Bostrom)不仅探索了超级人工智能毁灭人类的方式，还研究了这类机器可能的控制策略以及它们不起作用的原因。

尼克·博斯特罗姆.

博斯特罗姆为这个“控制问题”列出了两种可能的解决方案。一种是控制AI能做什么，比如阻止AI连接互联网；另一种是控制AI想做什么，比如教AI规则和价值观，让它按照人类最大利益的原则行事。博斯特罗姆认为，第一种解决方案的问题在于，超级智能机器可能会挣脱人类强加给它的任何限制；第二种解决方案是，人类可能无法训练出超级人工智能。

计算固有的局限性可能导致人类无法控制超级人工智能。

在本月初发表在AI领域顶级期刊《JAIR》上的一篇文章中，来自马德里自治大学、马普人类发展研究所等机构的研究人员认为，由于计算本身固有的基础限制，人类可能无法控制超级人工智能。

他们表示，任何旨在确保超级人工智能无法伤害人类的算法都必须首先模拟机器的行为，以预测其行为的潜在后果。如果超智能机器真的有可能造成伤害，那么这种遏制算法就需要停止机器的运行。

但科学家认为，任何抑制算法都不可能模拟AI的行为，也不可能100%预测AI的行为是否会造成伤害。抑制算法可能无法正确模拟AI的行为或准确预测AI动作的后果，因此无法区分这些故障。

地址:https://jair.org/index.php/jair/article/view/12202/26642

“阿西莫夫给出的第一定律实际上已经被证明是不可计算的，”阿尔方塞卡说，“所以根本无法实现。」

我们甚至不知道我们是否创造了一台超级智能机器——这是可计算理论中赖斯定理的一个推论，该定理指出递归可枚举语言的所有非平凡性质都是不可判定的。本质上，我们不能仅仅通过观察程序本身就知道程序可能输出什么。

另一方面，我们当然不需要提前为未来的机器人大师做准备。在本研究中，有三个重要问题给本文的推论带来了不确定性。

首先，Alfonseca预言强人工智能的关键时刻还很遥远。他说，“至少还剩下两个世纪。」

其次，一般人工智能或强人工智能在理论上是否可行，其实也是未知数。“这里指的是能够像人类一样处理很多领域任务的机器。」

最后，Alfonseca说:“我们还没有证明超级人工智能永远无法被控制，我只是说它们永远无法被控制。」

计算复杂度是阻碍人类控制强人工智能的重要原因。

虽然我们可能无法控制一个强大的人工智能，但控制一个超越人类水平的狭义AI是可行的——我们可以安全地依赖一些专注于某些功能的机器人，而不是像人类一样能够执行多项任务。“我们已经拥有了这种超级智能，”阿尔方斯卡说。“例如，我们有比人类快得多的计算机。这也是一种狭义的超级智能。」