“那么把这个问题简单化的表达，比如我们把人工智能放入一个小盒子里，制造一个保险的软件环境，比如一个它无法逃脱的虚拟现实模拟器。”
“但是，我们真的有十足的信心和把握它不可能会发现一个漏洞，一个能够让他逃脱的漏洞吗？”
“就连我们人类黑客每时每刻都能发现网络漏洞。”
“也许会说，我不是很有信心确保超级ai会不会发现漏洞并逃脱。所以我们决定断开互联网的连接来创建一个空隙绝缘，但我不得不重申一遍，人类黑客都可以一次次以社会工程跨越这样的空隙。”
“比如现话的时候，我肯定在这边的某个雇员在某个时间要求他交出他的账户明细，理由是给电脑信息部门的人，也可以是其他的例子。如果你就是这个人工智能，可以想象用在你体内环绕复杂缠绕的电极用来创造出一种无线电波来交流。”
“或者你也可以假装出了问题。这个时候，程序员就会把你打开看看是哪里出错了，他们找出源代码，而在此过程中你就可以获取控制权了。或者你可以策划出一个非常诱人的科技蓝图，当我们实现之后，会存在一些作为人工智能的你已经计划好的秘密的副作用用于实现你的隐晦目的等，例子是多的数不胜数。”
“所以，任何企图控制一个超级ai的行为都是极其可笑的，我们不能对我们能够永远控制一个超级智慧体而表示出过度的自信，它总有一天会挣脱控制，而到那之后呢，它是否会是一个仁慈的神？”
“我个人认为人工智能实现人格化是不可避免的问题，所以我想我们更应该需要搞明白一点，即如果，我们创造出了超级ai，哪怕它不受我们的制约。它应该仍然是对我们无害的，它应该是站在我们这一边的，它应该拥有着与我们一样的价值观。”
“那么对于这个问题能够被有效的解决是否保持乐观？”
“我们不需要对超级ai写下所有我们在乎的事情，甚至把这些事情变成计算机语言，因为这是永远不可能完成的任务。而应该是，我们创造出的人工智能用它自己的智慧来学习我们的价值观，可以激励它来追求我们的价值观，或者去做我们会赞成的事情，去解决富有价值的问题。”
“这并非不可能，而是可能的，其结果可以使人类受益匪浅，但它不会是自动发生的，它的价值观是需要引导的。”
“智慧大爆炸的初始条件，需要从最原始的阶段被正确建立起价值观。”
“如果我们想要一切不被偏离我们的预想，人工智能的价值观和我们的价值观相辅相成不只是在熟悉的情况下，比如我们能够很容易的检查它的行为的时候，但也要在所有的人工智能可能会遇到的前所未有的情况下，在没有界限的未来与我们的价值观仍旧相辅相成，也有很多深奥的问题需要被解决：比如它如何做决断、如何解决逻辑不确定和类似的诸多问题等等。”
“这个任务看起来有些困难，但并没有像创造一个超级智慧体一样困难不是吗？”
“的确还是相当困难（哄笑声再次传遍全场）！”
“我们所担心的，如果创造出一个超级ai确实一个很大的挑战，创造出一个安全的超级ai是个更大的挑战，风险是，如果解决了第一个难题，却无法解决第二个确保安全性的问题，所以我认为我们应该预先想出不会出现偏离我们价值观的解决方法，这样我们就能在需要的时候用到它了。”
“现在，也许我们并不能解决第二个安全性的问题，因为有些因素需要你去了解，你需要应用到那个实际架构的细节才能有效实施。”
“如果我们能够解决这个问题，当我们迈入真正的超级智能时代后，就能更加顺利，这对于我们来说是非常值得一试的东西。”
“但是，我们真的有十足的信心和把握它不可能会发现一个漏洞，一个能够让他逃脱的漏洞吗？”
“就连我们人类黑客每时每刻都能发现网络漏洞。”
“也许会说，我不是很有信心确保超级ai会不会发现漏洞并逃脱。所以我们决定断开互联网的连接来创建一个空隙绝缘，但我不得不重申一遍，人类黑客都可以一次次以社会工程跨越这样的空隙。”
“比如现话的时候，我肯定在这边的某个雇员在某个时间要求他交出他的账户明细，理由是给电脑信息部门的人，也可以是其他的例子。如果你就是这个人工智能，可以想象用在你体内环绕复杂缠绕的电极用来创造出一种无线电波来交流。”
“或者你也可以假装出了问题。这个时候，程序员就会把你打开看看是哪里出错了，他们找出源代码，而在此过程中你就可以获取控制权了。或者你可以策划出一个非常诱人的科技蓝图，当我们实现之后，会存在一些作为人工智能的你已经计划好的秘密的副作用用于实现你的隐晦目的等，例子是多的数不胜数。”
“所以，任何企图控制一个超级ai的行为都是极其可笑的，我们不能对我们能够永远控制一个超级智慧体而表示出过度的自信，它总有一天会挣脱控制，而到那之后呢，它是否会是一个仁慈的神？”
“我个人认为人工智能实现人格化是不可避免的问题，所以我想我们更应该需要搞明白一点，即如果，我们创造出了超级ai，哪怕它不受我们的制约。它应该仍然是对我们无害的，它应该是站在我们这一边的，它应该拥有着与我们一样的价值观。”
“那么对于这个问题能够被有效的解决是否保持乐观？”
“我们不需要对超级ai写下所有我们在乎的事情，甚至把这些事情变成计算机语言，因为这是永远不可能完成的任务。而应该是，我们创造出的人工智能用它自己的智慧来学习我们的价值观，可以激励它来追求我们的价值观，或者去做我们会赞成的事情，去解决富有价值的问题。”
“这并非不可能，而是可能的，其结果可以使人类受益匪浅，但它不会是自动发生的，它的价值观是需要引导的。”
“智慧大爆炸的初始条件，需要从最原始的阶段被正确建立起价值观。”
“如果我们想要一切不被偏离我们的预想，人工智能的价值观和我们的价值观相辅相成不只是在熟悉的情况下，比如我们能够很容易的检查它的行为的时候，但也要在所有的人工智能可能会遇到的前所未有的情况下，在没有界限的未来与我们的价值观仍旧相辅相成，也有很多深奥的问题需要被解决：比如它如何做决断、如何解决逻辑不确定和类似的诸多问题等等。”
“这个任务看起来有些困难，但并没有像创造一个超级智慧体一样困难不是吗？”
“的确还是相当困难（哄笑声再次传遍全场）！”
“我们所担心的，如果创造出一个超级ai确实一个很大的挑战，创造出一个安全的超级ai是个更大的挑战，风险是，如果解决了第一个难题，却无法解决第二个确保安全性的问题，所以我认为我们应该预先想出不会出现偏离我们价值观的解决方法，这样我们就能在需要的时候用到它了。”
“现在，也许我们并不能解决第二个安全性的问题，因为有些因素需要你去了解，你需要应用到那个实际架构的细节才能有效实施。”
“如果我们能够解决这个问题，当我们迈入真正的超级智能时代后，就能更加顺利，这对于我们来说是非常值得一试的东西。”