我们要么被迫学会信任人工智能，要么试图控制它们。因为当不透明的算法带来灾难时，我们再去要求解释可能就毫无意义了。

软件在屏幕后主导着我们大部分的日常生活，从浏览哪类信息到跟谁约会。对某些人，秘密的算法还能判断出他们未来实施犯罪的风险大小。想了解这些黑盒子如何实现这一切是很自然的事情，尤其在它对我们的影响如此直接的情况下。

人工智能始终在进步。例如谷歌最近用一种被称为深度学习的技术在围棋比赛中完胜人类对手，而围棋是一种有几千年历史而且极其复杂的棋盘游戏。研究者还认为深度学习能更快地处理大量数据，因此也能用来寻找更有效的药物。苹果也把此项技术植入了Siri，使她变得更聪明。

未来主义者认为，可能以后计算机程序会为我们做所有的决定——从谁能拿到保险到死罪适用什么样的刑罚。甚至很快人工智能就能在战场上指导士兵作战了。实际上，计算机能承担大部分保险推销员、法官和行刑者的工作。

这些担忧促成了欧盟一项计划于年生效的新法案，如果某项「完全基于自动化过程的」决策会产生「不利的法律效果」或对于利害关系人产生相似的负面影响，该法案将会禁止这项决策的实行。该法案声明这种决策可能会包括「拒绝线上信贷申请或网络招聘实例。」

一旦机器足够复杂，那么就几乎不可能能完全解释它的行为。

如果机器会把一个人的生活搞得一团糟，那么专家相信这项新法案会为他带来要求得到答案的可能性。虽然法案并没有明确规定对算法决策的「解释获得权」，一些学者仍旧认为它会给因计算机所作所为而受苦的人们创造一个。

虽然这项被提议的权利很崇高，但却不可能实施。这是一个关于我们面对最强大人工智能——深度学习所处的境地的悖论。

我们后面会更详细地解释这一点，但大致来说，深度学习系统就是「一层层」的数字神经元，其中每个神经元都用输入数据运行各自的计算，并自行重新排列。基本上，它们自己「教会」自己要在庞大的信息流中