在为思考人工智能系统做好这些准备后，我们将着重思考为了成为超级人工智能，这些系统潜在的目标是什么，并考虑如何将它们与我们人类的目标进行比较。
从目前的科技水平来看，想要构建任何形式的一般智能机器，依旧是很大的挑战。通过现在的人工智能技术来分析推断，可能会对未来人工智能的发展，有着一点点不太大的指导作用。
如果你也对超级人工智能充满了幻想，但又对这团迷雾感到无所适从。那么这篇文章或许可以引导你构建更加清晰的感觉，我们将暂时抛开基于现有人工智能科技中的局限性，对未来的超级人工智能进行更加天马行空的想象。
当然，研发任何一种人工智能都是极其困难的——似乎比人类历史上完成的任何事情都要困难，甚至光是理解什么是人工智能，就有很大的困难——更别提我们自己去构建它了。
生活中， 我们周身的事务往往是自上而下设计的，并且在系统的不同部分之间有一定的相互依赖性。设想建造一个房子，房子中，每一块砖都拥有自己独特的作用，并且也只起到那个作用。
然而，智能是一种自下而上的现象，它产生于系统各部分之间的相互作用 (股票市场是另一个自下而上类型现象的好例子)。
解释或实现自下而上的现象对于我们来说是一大难题。比如说，当我们试图理解秀丽隐杆线虫的神经系统是如何驱动行为的——虽然线虫只有302个神经元，但由于这些神经之间相互交错而变得无比复杂。
相似地，利用现有的科学技术自下而上，从而构建实现一种超越人类能力的人工智能似乎是不可能的——但我们也并不是没有一点希望。
与其从无到有地提出智能，我们还不如对大脑进行逆向工程，并利用这种理解以不同的方式提高大脑的能力。
而现在，有一个悬而未决的大问题是，我们需要在多大的粒度上理解大脑，然后在人工系统中实现类似的能力。对大脑中用于编码和联想概念的过程的一般理解，是否足以实现一个行为类似的算法? 或者我们是否需要理解大脑中无数的单独回路才能找到大脑智力的真正根源?
神经科学目前正致力于回答这些问题，这些问题的答案将帮助我们理解如何构建一个能根据大脑原理运行的人工智能。这些答案也将帮助我们理解任何人工智能的本质——我们越依赖大脑结构，人工智能就越与我们相似。
虽然“模拟人脑”似乎是人工智能发展的最有可能的途径，但聪明的工程师仍有可能想出创造出智能的替代策略—— 当然，目前我们很难评论这些策略的样子(因为现有的算法距离理想的实现还很遥远)。
但是，上述两者有一个共同的特点，就是它们必须以自下而上的方式构建，而并不是自上而下。
我们用了与大脑运行原则不同的方法构建了人工智能，这也就意味着人工智能拥有着许多与人类大脑截然不同的特性—— 它没有生物动力和活性，不能进行自主的生存和繁殖，它不会像我们一样感知周遭的世界, 甚至连外表看起来都不像我们。
然而，尽管这些都是显著的不同，但它在很多方面与我们非常相似。似乎任何获得智力的方法都需要依靠学习的原则，因为这是在需要效率的无数任务中确保灵活性和适应性的唯一方法。
学习需要时间和经验——因此我们开发的任何人工智能都不会立即解决世界问题或超越人类的极限。
而创建一个超人的人工智能，需要我们拥有一些初始结构和更新迭代的算法，从而使人工智能具有更好的试错和自我学习，自我更新的能力。
最终，我们可能会非常了解智能，以至于我们可以直接向AI灌输特定的知识，但这种能力远比为AI构建有效的初始状态和更新算法困难得多。那这样就变成了一种典型的自上而下的策略，也就是，我们试图以高效的方式直接操纵智能系统的状态。
我们还需要简要考虑人工智能的意识。当你想象这些人工智能需要具备什么样的能力才能获得超人智能时，你会觉得，应该是更自然地赋予它们自我意识。
此外，超级人工智能还需要对自己所处的世界有一定程度的好奇心，以确保他们能循序渐进地体验，从而扩大自己对这个世界的认识。这种好奇心已经在人类的进化过程中根深蒂固——只要看看任何一个蹒跚学步的孩子与他们的世界的互动就知道了。
如果没有好奇心，人工智能可能就不会充分利用它的学习能力，它仍将是一个具有巨大学习潜力但知识有限的神器。另一个有时会被忽视的要求，是人工智能要理解人类的语言。
正如牛顿所说，“我们站在巨人的肩膀上”——如果我们想让我们的人工智能超越我们的智能，我们需要他们站在同样的肩膀上。指望人工智能自己能建立起占用人类数千年的知识，是根本不可能的，至少一开始是不可能的。
但是，这个超人类人工智能到底想要什么呢? 它会寻求用它的智慧来实现什么样的目标呢?
在这个话题上，我们很容易就会像看待今天的机器一样看待任何人工智能——用它们的智能去实现一个确切的最终目标(或多个目标)。
我们人类有一些基本的目标，比如吃、喝和性—— 但我们并不像其他动物那样，纯粹地被这些欲望所驱使。我们的智力让我们将这些原始的欲望融入到我们用来探索世界的过程中，这样我们就从基于生物学的直接欲望中解放了出来。
通俗点讲，我们知道什么时候饿了，也会注意到它，但是我们能够采取相反的行动(比如节食)。同样，我们可以在这些相同的基础驱动器上编程到一个人工智能，但一个超级人工智能，将有更大的能力“跳出系统”并识别这些内部驱动器，使自己摆脱直接的影响。
例如，当一个人工智能电池电量不足时，它可能会被设计成和我们一样感到“饥饿感”。这将使寻找电能，成为AI的一个目标。
我们更高层次的目标呢? 这些目标显得更加难以确定，从如何拥有财富，如何受人尊敬，如何避免对他人造成伤害，如何应对没有财产的情况等等，通过一种自下向上的结构构建与人类类似的大脑和思考模式，并且还要引入社会、文化、学术、宗教的影响等等。
这些目标都是抽象的——它们存在于我们大脑中的表象概念中。从功能层面上理解一个人想要更多钱的原因，需要理解他们对钱的固有概念，他们与这个概念相关联的东西，以及那些相关事物的概念等等。
这些更高层次的目标将以同样的方式出现在任何超级智能代理中，并且由于它们的抽象性质而不能被直接编程 (这就要求你需要对相关概念的编码有一个完整的理解，所有相关的概念等等)。
我们无法提前知道超人类智能想要什么，就好比，我们永远无法从婴儿的大脑中确定成年他想要的一切。总的来说，复杂的目标是超人类智能伴随其经历而产生的一种自然属性，随着生活经历和情景的变化而变化，并不是天生的东西。
这种不确定性就意味着，当我们在研究超人类人工智能的时候，我们必须非常小心谨慎。
随着人工智能的不断成长，它的目标会逐渐同样随着情景发生变化，并将不只是取决于程序员的摆布—— 事实上,他们会更多依赖于程序员的“培育”，而不是算法的规定。
总的来说，超人类人工智能的前景是令人兴奋的—— 它为我们提供了一个摆脱局限于生物链末端的机会，进行一次全新的，飞跃式的进化。
然而，我们离接近这一目标还有很长的路要走，在我们能够利用自然选择的原则来创造自己的创造物之前，还需要对大脑进行更多的研究。
一旦我们有了必要的理解，这些智能系统仍然需要大量的时间来学习——由于解决方案的自下向上的本质，我们所能做的就是设置系统的初始条件，然后进行观察和适当条件下的指导。
我们不可能知道这些可爱的小东西们在学习的过程中会有什么目标——但是经过精心培育，它们或许会与它们的创造者分享更多意想不到的东西。
