现在来谈谈恐惧。即使AGI没有意识，它也会有目标。目标根本不需要意识。病毒的目标是进入细胞并造成严重破坏。白细胞的目标是反过来追击绞杀病毒。基因的目标是自我复制。植物的目标是获得阳光和水，并对此采取行动。

AGI的目标从何而来？现在，我们给计算机程序设定目标，比如识别垃圾邮件或查找语法错误。但是给AGI设定什么目标呢？史蒂芬·霍金再一次很好地阐释了这个问题：“一旦机器到达能够自我进化的关键阶段，我们就无法预测它们的目标是否与我们的一致。”

更进一步，正如霍金在上文中所暗示的那样，AGI会迅速掌控局面。可能它不需要很长时间就能弄清楚该如何改进自己。人们要求它读取互联网资料，它会照做，然后它就知道了我们所知道的一切。我们只能推测AGI将如何对整个互联网做出反应。在《复仇者联盟2》(ThesecondAvengers)中，奥创(Ultron)在接入互联网几分钟后就决定消灭人类。

AGI可以光速创造出更好的自我升级版，而人类只能以生命的固定速度提升自己。从我们的角度看，在短短的几个小时内，AGI可能会从“聪明的两岁孩子”进化成“全能的异形生命形态”，到那时，它将会成为我们今天所说的超级智能，并且超出我们的理解范围。它可能远远领先于我们，就好比我们远远领先于蚂蚁。到最后，未来的AGI们甚至可能像今天人类对它们的讨论一样，就人类是否拥有智能、是否真正活着、是否具有意识展开激烈的辩论。

AGI的目标从何而来？我们可以给它设定目标，但这种设定方式会摧毁我们。这就是在《魔法师的学徒》故事中发生的事情。草率的编程加上赋予AGI强大的认知能力可能会引发灾难。一个负责清理环境的AGI也许会得出这样的结论：清理的最好策略是除掉所有人。计算机先锋纳撒尼尔·博伦斯坦(NathanielBorenstein)这样总结道：“大多数专家认为，世界毁灭的最大可能方式是发生‘意外’。这就是我们的切入点；我们是计算机专业人员。我们也是意外的造就者。”

或者，有人可能故意编程设计一个具有破坏性的AGI。我们在第12小节中探讨了狭义AI在战争中的应用，但是战争中的AGI是一种值得思忖的恐怖事物。我们有理由相信，如果AGI可以被创建，那么破坏性的AGI也可以。

又或者，说到有趣的部分了，AGI可以根据它的编程来制定自己的目标。如果发生这种情况，AGI的目标会是什么呢？答案不能令人满意，因为我们也无从得知。甚至连猜测都不得其法。如果它真的是一种超级智能，那么根据定义，我们也不会发现，因为我们无法知道它是如何思考的。此外，即使它试图告诉我们，我们也可能无法理解它是如何思考的。就像我的猫在后廊给我留下一只死老鼠。猫的所有认知和经历都让它相信这是一份礼物，我会为此感谢它，但它完全缺乏某种精神力量，不能理解什么对于人类来说不是礼物。AGI亦是如此。

虽然我们不能理解它本身的目标是什么，但我们可以列出一些可能性。当然，我们希望它的目标是帮助我们，而且这极有可能。但是如果它有完全不同的目标呢？让我们看看一些对我们来说不会有好结果的例子。

它的目标可能是“生存”，并视人类为威胁，决定摧毁我们。为什么它会得出这样的结论？它可以访问互联网上各种关于如何为AGI设置“终止开关”的讨论。它就此认为：我们恐惧它，而它只须再简单回顾一下生动的人类历史，就会看到我们是如何对待我们所恐惧的事物的。它还可能认为，它正在与我们争夺资源。纽约大学(NewYorkUniversity)认知科学教授加利·马库斯(GaryMarcus)总结了这一担忧：