11 美丽新世界 严肃新问题（第6/9页）

其他研究问题包括人工智能研究人员和政策制定者之间应该进行有建设意义、健康的交流；培养合作、信任和透明的开发文化；避免竞赛，避免在安全标准方面进行削减。

伦理价值观方面，二十三条原则提出了很多愿景，包括人工智能系统的安全，故障透明度（如果人工智能系统造成伤害，应该可以确定原因）；由机器人做出的任何涉及司法决策的行动都要透明可解释，供主管人权机构审核；设计者与使用者要担起道德影响责任；要确保高度自治的人工智能系统的目标和行为与人类的价值观相一致，尊重人类的尊严、权利、自由和文化多样性；保障个人隐私，不仅人工智能系统能够分析和利用人类产生的数据，人类也应该有权获取、管理和控制自身产生的数据；不得不合理地限制人类真实或感知到的自由。人工智能带来的利益应当是普惠人类的；由人类选择如何以及是否委托人工智能系统去完成人类选择的目标；人工智能的力量应当尊重和改善社会健康发展所需的社会和公民进程，而不是颠覆这种进程；避免人工智能军备竞赛。

长期问题方面，建议在没有达成共识的情况下，避免对未来人工智能能力上限做出较为肯定的假设；通过相应的关怀和资源对其进行规划和管理，应对风险；对于那些不断自我完善或通过自我复制快速提高质量或数量的人工智能系统，必须采取严格的安全和控制措施。

最后一条是“共同利益”：超级智慧只应该为广泛共享的伦理理想服务，为了全人类而不是一个国家或组织的利益而发展。

二十三条原则，这个名字不由让人想起黑色幽默文学代表作《第二十二条军规》，那是一条不可能完成的规则。看起来，这二十三条原则更像是二十三条呼吁，提出的是问题而不是解决方案，代表的是愿望而不是已经实现的现实。其中涉及很多价值观问题，科学家倡导发展机器人要遵循人类的价值观，这是理所当然的。不过这里就会有三个问题：

第一，这里制定的价值观基础在于把机器看作工具，要求人类在使用工具时不得损害人类利益。实际上，在任何工具的使用上，人类都没有完全做到这一点，比如军备。不过确实可以尽力加以限制，比如军备条约。

第二，人们之所以前所未有地郑重其事，是因为意识到机器人不同于以往的工具。普通工具没有生命、没有意识，完全听命于人的操作。但机器人如果具有了类人意识，那么人类怎么对待它们？显然二十三条原则并未考虑这个问题。人类拒绝奴役人类，把人当作工具就是一种奴役，那么对机器人呢？如果人类的价值观就是让机器人做工具，类人机器人会认为这种价值观有尊严吗？

第三，人类的价值观本身就存在各种冲突，众所周知，制定这些原则的与会者基本属于硅谷阵营。硅谷阵营在美国2016年大选中的态度及其价值观就和特朗普阵营发生了激烈冲突，他们制定的规则看上去很美，但在现实中未必符合很多人的价值观。

二十三条原则表达了人类良好的愿望，相当于科学家为机器人设置了一套“政治正确”。考虑到“政治正确”在当下美国的尴尬遭遇，我们要明白，人工智能的“政治正确”不是一蹴而就的，集体签名是一回事，做起来是另一回事。价值观不是静态的观念，而是在博弈中生成。价值观也不可能孤立地存在于某种群体身上，比如机器人的价值观实际上是人机的价值观。未来人工智能可能将加入这个博弈，形成新的、动态的人机价值观。我们需要在实践中不断摸索人工智能与人类发展的健康之路。二十三条原则起到了探路者的作用。

现实的法律问题

虽然“算法代替律法”的前景已经出现在不少科技人士的视野里，但到目前为止，法律依然是调节人类社会关系的主要手段。我们需要考虑，人工智能时代的法治会遭遇什么挑战，应该如何应对。

人工智能不仅仅是技术问题，而是整个社会运作方式改变的问题。《少数派报告》这样的电影已经预见了事前的预防性管理会出现。深度学习技术的最大作用在于预测，这也给以往法律思维带来新的启迪。比如法律将从事后补偿模式向事先预防模式变化。不过这个过程将非常不确定。

以算法的复杂性来说，技术界区分了强人工智能和弱人工智能。有学者认为，人工智能在技术认知上没有问题，但在法律上很难按照智能程度给出精确的标准。因为法律应对复杂世界的方式是确立一般性的简单规则，在概念上对社会个体进行抽象假定（如行为能力），而非针对特殊主体，否则规则体系本身将变得异常复杂，难于理解和操作。生产资料之间的信息变得越来越对称，但作为信息匹配中介的人工智能却变得更不透明，其规则设计和运作从属于用户甚至开发者都无法理解的秘密状态，这都回到了法律如何处理与代码的关系问题。[4]