制造比我们更智能的机器可能是人类史上最重大的事件，也是最后一件事

　　这里有个问题，科学家可能会经常问：要是我们成功了该怎么办？也就是说，如果我们实现自己的目标，世界会发生什么样的改变？研究人员躲在办公室、实验室里可以洞见未来，对自己的作品做出最美好的展望。但是其意外后果和卑鄙滥用却变成了事后之明——留在的一堆烂摊子却要由社会来收拾干净。

　　如今，那些混乱已经到处蔓延：全球变暖、空气污染、海洋上漂浮的塑料、核废料，DNA被恶劣改写的婴儿。所有这些，都是精巧技术的产物——技术解决旧问题的方式是制造新问题。在这场不可避免的争相成为首创者的角逐当中，不利因素要么没有进行彻底研究，要么被直接无视或者掩盖住了。

　　1995年时，Stuart Russell写了有关AI的书。他跟Peter Norvig合著的《人工智能：一种现代的方法（Artificial Intelligence: A Modern Approach）》成为全世界最受欢迎的课程教材之一（Norvig曾在NASA工作，2001年加入了Google）。在最后一章的最后几页，作者自己提出了一个问题：如果我们成功了该怎么办？不过他们的答案几乎算不上认可。他们的答案：“这种趋势似乎并不算太消极。”但此后发生了很多事情：–首先就是Google和Facebook。

　　在《Human Compatible》一书中，Russell再次回到了那个问题，这次他不再退缩。其结果无疑是今年AI方面最重要的一本书。也许，就像理查德·布罗蒂根（Richard Brautigan）的诗所言那样，当一切都被慈爱的机器注视着的时候，生活是美好的。但是加州大学伯克利分校教授Russell却看到了更黑暗的可能性。制造超越我们智慧的机器将是人类历史上最大的一个事件。但他警告说，这也可能是人类的最后一次事件。在书中，他提出了令人信服的案例，证明我们选择如何去控制AI“可能是人类面临的最重要的问题”。

　　Russell的时机选择得很好。现在，全世界成千上万最最聪明的头脑都在开发AI。大多数AI都是只有一技之长——“狭义”的AI，要么处理语音，要么翻译语言，要么识别人群，要么诊断疾病，或者下围棋玩星际争霸厉害过人类的那种。但是，这些与该领域的最终目标——可媲美甚至超越人类脑力的通用AI仍相去甚远。

　　这不是一个荒唐的追求。从一开始，Google母公司Alphabet旗下的AI团队DeepMind 就打要“解决智能”问题，然后再用它来解决其他所有问题。七月份，微软与美国公司OpenAI 签署了一份10亿美元的合同，要开发一种模仿人脑的AI。这是一场高风险的比赛。就像弗拉基米尔·普京所说那样：谁成为AI领导者，谁就“将成为世界的统治者”。

　　Russell并未宣称我们距离那个目标不远了。在某个章节里面，他阐述了计算机工程师在开发人类水平的AI时面临的巨大问题。机器必须知道如何将单词变成一致、可靠的知识；它们必须学会如何去发现新的动作并按照适当的次序进行组合（烧开水，拿起杯子，把茶袋放进杯子）。跟我们一样，他们必须管理好自己的认知资源，以便能够快速做出好决策。这些还不是唯一的障碍，光是这些就能让我们感受到未来的任务之艰巨。Russell怀疑这会让研究人员还得再忙活80年，但他强调时间点是没法预测的。

　　哪怕天启已经隐隐若现，这也是一场曲折的机智之旅，我们不知道人类的智能会带我们去往何方？ Russell说，掌握上述所有的本领的机器将会是“现实世界重要的决策者”。它会吸收来自互联网、电视、广播、卫星和闭路电视的大量信息，从而更全面地了解这个世界和住在那里的人，这是任何人都难以企及的。

　　这种情况下有什么可能会向好的呢？在教育领域，人工智能导师可以最大程度地发挥每个孩子的潜力。它们掌握来人体巨大的复杂性，让人类消除疾病。作为数字个人助理，他们会让Siri 和Alexa 感到羞愧：“事实上，你随时都可以召唤一位高能的律师、会计师以及政治顾问到身边。”

　　可能会出现的不好之处？在AI安全和监管方面没有取得重大进展的情况下，Russell预见会出现混乱局面，他关于滥用AI那章让人读得很沮丧。先进的AI会赋予政府强悍的能力，进行监视、劝说和控制，强大到“斯塔西看起来也像是个业余爱好者”。虽然终结者风格的杀手机器人未必要消灭人类，但基于面纹、肤色或者制服来挑选和杀人的无人机是完全可行的。至于工作，我们可能不再靠体力劳动或脑力劳动来谋生来，但我们还可以提供我们的人性。Russell指出：“将来我们需要变得擅长做人。”

　　还有比破坏社会的AI更糟的吗？一个无法关闭的破坏社会的AI。这是一个可怕的，看似荒谬的前景，Russell为此投入了很多时间。其想法是，就像电影《2001太空漫游》里面的HAL一样，智能机器将会意识到，如果某人拔掉插头的话，如果有人拔掉插头的话，其目标会很难实现。如果赋予超级智能AI一项明确的任务–比方说煮咖啡的话–它要做的第一步就是禁用关闭开关。Russell认为，答案要取决于一种全新的方法，要让AI对自己的目标产生一些疑问，因此永远不会反对自己被关掉。然后他提倡要研发“有益可论证”的人工智能，这种AI的算法可以使人类用户受益在数学上必须是可以证明的。可以说这是一项正在进行的工作。我的AI会如何处置你的呢？

　　有一点要明确：有很多AI研究人员奚落这种恐惧。哲学家尼克· 博斯特罗姆（Nick Bostrom）在《超级智能》（2014年）一书中强调了通用AI的潜在危险之后，美国智库信息技术创新基金会将其卢德奖授予了“鼓吹人工智能世界末日的危言耸听者”。有关AI安全的沉闷争论正濒临部落化，而这个奖是有指向性的。这里遇到的危险更多的不是物种的突然灭绝，而是无法改变的走向衰落：丧失了奋斗和理解，这侵蚀了文明的基础，让我们成为“机器驾驶的大船的乘客，无助且无尽地漂泊。”

　　译者：boxi。

本文来自： 36氪