人类智慧不再是衡量智能的标准
作者：Susan Schneider
翻译：文翥、序媛
【导读】本文探讨了智能演化以及未来超级智能及其认知、形态的可能，以及超级智能 AI 与人类的关系。
作者认为，从生物智能到“后生物”智能可能是宇宙中的一种基本过程。没有意识也能发展出超级智能，认为非要拥有“意识”才产生智能，自然就会用消极的观点看待智能的发展。超级智能可能由生物材料构成，但不一定拥有意识，因此也就可能用完全不同的方式判断人类的价值，所以不能排除超级智能 AI 威胁人类的可能。
对于人类来说，研发不具有意识的 AI 才是合理的选择——有意识的机器在人类通过意识去判断的标准下，会带来一系列问题。但是，如何判断一种物质能否产生意识？最终，人类和超级智能的区别可能是，人类有意识——但正因如此，未来的人类或许还会从事“意识工程”，将“情感”散布到整个宇宙。
（文／Susan Schneider）
人类或许并不是宇宙中最卓越的智能。地球作为行星年纪尚轻，最古老的文明历史可能比起我们长久了百亿年。但是即使在地球上，智人（Homo sapiens）作为最聪明的物种，时间或许也不会太长了。
围棋、国际象棋、Jeopardy 的世界冠军现在都是人工智能。接下来几十年，人工智能预计会取代许多人类职业。以其现在飞速发展的趋势，人工智能可能很快就会进化为通用人工智能（AGI），就好像人类智能一样，可以结合来自不同领域的洞见， 并且拥有灵活性与常识。一旦实现了通用人工智能，只需一小步就可以实现超级人工智能，也就是在各个方面都比人类更加智能的存在——即使是在科学推理和社交等现在被认为只有人类才掌握的领域。现在的芸芸众生，很可能就是从最初的细胞进化到合成智能过程中的最后一级阶梯。
从生物智能到“后生物智能”，可能是宇宙中的一个基本过程
我们现在才刚开始意识到，外星智能与人工智能这两种超人智能之间可能并无大异。我们现在所见证的科技发展可能在宇宙的其他地方早就发生过。从生物智能进化到人工智能可能是一个在宇宙中不断发生的基本模式。宇宙中最卓越的智能可能是后生物的（postbiological），超越了曾经的生物文明（这是我同 Paul Davies、Steven Dick、Martin Rees 和 Seth Shostak 等人都认同的一个观点）。从人类的经验来看——这也是我们唯一的样本，从生物到后生物的演化可能只需要几百年。
比起“人工”（artificial）， 我更倾向于用“后生物”（postbiological）这个词，因为“生物”与“合成”之间没有那么明确的区分。想象一下，纯粹通过生物增强而实现的超级智慧的大脑，比如用纳米技术增强后的神经微柱（neural minicolumn）就是后生物的，虽然很多人并不会叫它“人工智能”。 又比如翻拍的电视剧 “Battlestar Galactica” 里的 Cylon Raider，也是纯粹由生物材料做成的智能计算机。
关键在于，没有理由指望人类成为最高级的智能。我们的大脑从特定的环境演化而来，并且大大受限于生理化学和历史偶然性。但是，科技打开了广阔的设计空间，提供了新的材料与操作模式（modes of operation），以及比传统生物演化快得多的探索这些设计的方法。我想为什么人工智能会超越我们的理由已经很清楚了。
硅质的微晶片似乎已经比神经元组合更适合进行信息处理。比起微处理器里的晶体管以兆赫计的速度，神经元的速度在 200 赫兹左右就达到了顶峰。尽管人类大脑现在还是比计算机要智能许多，但是计算机却有着几乎无限的提升空间。通过对人类大脑的逆向工程与算法提升，或者通过结合一些逆向工程和不基于人脑运作模式的高明算法，计算机在不久的将来应该就会达到甚至超越人类大脑的智能。
而且，人工智能可以同时被下载到多处，可以轻易备份修改，还能在生物很难存活的情况下生存，比如星际旅行。我们微小的大脑受脑容量和新陈代谢的限制，而截然不同的是，拥有超级智能的人工智能可以扩展到互联网可及的各处，甚至建立一个星系范围的智能计算机，利用星系内的所有物质来使它的计算达到极致。所以，根本不存在什么人类与超级人工智能的竞争，因为超级人工智能比我们强大太多了。
假设我是对的。假设外星智能是后生物的。我们该怎么做呢？现在地球上关于人工智能的辩论就给了我们启示。争论中的主要两点——所谓的控制难题（即人类如何控制比我们更聪明的人工智能）和主观体验的本质， 影响着我们如何理解外星文明，以及当我们相遇时他们会做什么。
演化出超级智能并不需要意识，而通过意识去判断超级智能是否对人类构成威胁是不明智的
Ray Kurzweil 对于后生物阶段的进化持有乐观的态度，他认为人类会与机器合并，达到一个绚烂的技术乌托邦时代。但是霍金、盖茨、马斯克和其他人则对于人类可能失去对超级智能体的控制权表示担忧。因为超级智能完全可以重写自己的程序，在思维上超越我们为其设定的控制手段。这被称为“控制难题”（control problem）——我们如何控制一个难以预测的并且智力远远在我们之上的 AI。
超级智能 AI 可能在技术奇点时被开发出来，这样的奇点——特别是智能爆发——超出我们的预测和理解能力。但是，即使这样的超级智能体不以这么戏剧性的方式登场，我们依然没有办法预测或者控制它的目标。即使我们可以决定输入机器的道德准则是什么，但道德程序也难免没有漏洞，而且这个程序还是可能在某个情况下被智能体重写。一个聪明的机器可以越过安保系统（比如关闭开关），做出危及生物生命的行为。成千上亿的美元被投入用于研发 AI 安全的机构。一些最聪明的计算机科学家都致力于解决这个问题。他们希望创建一个安全的系统，但是关于控制难题的焦虑依然难以克服。
鉴于以上原因，与外星智能联系可能比我们想象的更加危险。外星生物可能会很危险，但是地球之外的 AI 可能带来更大的危机。外星 AI 可能有着跟生物生存相冲突的目标，拥有任其使用的超级智能，而且比起生物更能够适应险恶的环境。
因此，我们就需要当心所谓的 Active SETI ，Active SETI 不仅仅被动地收听来自地外文明的信号，而是更主动地向外宣告我们的存在。在很多有名的案例中，1974 年 Frank Drake 和卡尔·萨根用超大的无线电天线在波多黎各的 Arecibo，对着星云发送信息。Active SETI拥护者认为，我们应该用最大功率的无线电发射器，比如Arecibo，朝离地球最近的恒星发送信息，而不应该仅仅收听地外智能体的信号。
来源：Martin Gee for Nautilus
在考虑控制难题的时候，这样一个项目如此鲁莽，确实令我震惊。尽管一个真正高级的文明可能对我们根本没有兴趣，但千百万个文明中只要一个文明有敌意，这样做的后果就将是灾难性的。就算届时我们有把握超级智能 AI 无法我们对构成威胁，我们也不应该把超级智能 AI 的注意力引向我们自身。Active SETI 的拥护者指出，雷达和无线电信号已经可检测了，但是这些信号相当弱，很快就会被银河系的噪音所淹没。但如果我们发射频率更强的、可以被收到的信号，那我们可能就是在玩火。
表现出智能的谦逊（intellectual humility）是最安全的心态（mindset）。确实，不考虑那种像电影《Arrival》中外星飞船降临地球的闪耀场景，我很好奇我们是否真能识别出一个真正高级的超级智能的技术标志物。一些科学家认为，超级智能 AI 会通过吸收黑洞，创造戴森球（Dyson Spheres）这样的巨大结构以吸取整个恒星的能量。但是，这只是从我们现有技术能达到的水平进行的推测，认为我们可以预测一个超过我们百万年甚至数十亿年的文明的计算能力和能量需求纯属愚钝而已。
戴森球（英语：Dyson Sphere）是弗里曼·戴森假想出的包围母恒星的巨大球形结构，它可以捕获大部分或者全部的恒星能量输出。戴森认为戴森球是长期生存技术文明对于能量需求增长的必然需求，并认为寻找其存在的证据可以引导发现的先进和智慧的外星生命。不同类型的戴森球和它们的能量收集能力将对应于在卡尔达肖夫指数水平上的技术进步。自从该概念提出以后，诸多科幻作品里提出的包围恒星的人工建筑都被冠以“戴森球”之名。后续的设想认为戴森球上不仅有太阳能电站，还有人类殖民地和工业基地存在。图为戴森球的一种变体。这种大规模人造物会大幅度改变恒星的光谱。来源：维基百科
最先一批超级智能 AI 可能拥有从生物计算机建模出来的简单认知系统，就像深度学习系统可以简单模拟人类大脑的神经网络。这些超级智能 AI 的计算结构可能对我们来说还可以理解，至少在大的框架之内。这些超级智能 AI 可能依然保留着生物的目标，例如繁殖和生存。
但是，超级智能 AI 通过自我提升，可能很快演变成一个我们无法认识的形式。也许有一些超级智能 AI 会选择保留其模型所源自的物种的认知特征，给自己的认知架构设置了限制。谁知道呢？但是，如果没有限制，一个异形超级智能可以很快超越我们的能力，人类无法理解它的行为，甚至都不知道它的存在。这个异形超级智能可能融入宇宙的自然特征中，也许它在暗处只关注它自己。
有 Active SETI 的支持者指出，这正是为什么我们应该发送信号到太空，让他们来找我们，让他们决定我们与他们取得联系的方法，让他们判断是不是可以接触像我们这样的低等智能。虽然我同意这的确是支持 Active SETI 计划的一个理由，但是我们可能遭遇的危险，让这个计划弊远大于利。我们都知道，恶意的超级智能体，可能用病毒感染地球上的 AI 系统，这时候一个理智的文明，其做法是建造防护设备保护自己。我们人类也许需要努力在 Active SETI 启动前到达奇点。我们自己的超级智能 AI 会告知我们银河系的 AI 安全状况预警，人类可能要学会识别宇宙中其他超级智能体的标识，一个一个的去想方设法弄明白。
这自然会让人想到，这是否意味着人类应该不要研发复杂的 AI 去进行太空探索。毕竟，回想到经典的《2001: A Space Odyssey》。我认为，现在考虑未来禁止 AI 进行探索太空为时过早。等到人类可以用自己的 AI 探索宇宙之时，人类很可能发展到了一个临界点：我们要么将彻底失去对 AI 的控制（这种情况下人类甚至没有权利启动太空项目），要么达到对 AI 实现安全掌控的状态。
时间会说明一切。
在智能演化进程中，意识或将是区分人类与其他智能的唯一标准
原始智能不是唯一需要担心的问题。通常我们以为，如果我们遇到了高级的外星智能，我们很可能是遇到非常不同生物机制的生命，但在某种重要意义上，他们依然有像我们一样的思想——就好比有一些东西内在跟我们是一样的。设想你懵懂人生的每个瞬间，你在做梦的时候，它就像是你。当你看着日出时和煦的阳光，或者闻到新鲜出炉的面包香气，这都是有意识的体验。同样的，一个“外星生命”也会有这样的体验——或者我们认为如此。尽管这一假设需要质疑。那么，超级智能 AI 到底能不能和我们有一样的意识体验，如果他们有，我们可以领会吗？他们有内在生命，或者根本没有内在生命，又将怎么影响我们？
AI 是否有内在生命，这一问题是我们评价其存在的关键。意识是我们道德体系中哲学基石，是我们判断一个人或一个物是否拥有自我而非仅仅是一个自动化机器的关键。反之亦然，AI 是否有意识也是 AI 怎么评价我们的关键。AI 对我们价值的判定，可能取决于它是否有内在生命；用它自己的主观体验为跳板，它可能认识到我们意识体验的能力。毕竟，某种程度上，我们评价其他物种的生命的价值，是因为我们深切感受到意识，也因此我们才对杀死黑猩猩感到生畏，但是不会对切苹果有如此的感受。
但是，有着大量智能差异的物种，有不同基质生成的物种，怎么认识到彼此的意识呢？地球哲学家思考，是否意识限制于生物现象。超级智能 AI 是否也有类似的哲学，可以提出类似我们“生物体意识问题”，会不会问是否我们有体验这么一个东西。
没人知道，超级智能体的智能路径将怎么来辨别我们是否有意识。但从我们这方看，人类怎么辨别 AI 是否有意识？不幸的是，这很难。现在，你可以分辨你自己是否有体验，就像感受你自己的存在。你有自己的意识体验反馈。你相信其他人和某种非人类的动物也很可能有意识，因为它们的认知神经系统和你类似。但是，你怎么去分辨一个其他基质的东西是否有意识体验呢？
试想，有一个硅基超级智能体。尽管硅做的微芯片和碳基神经体都能处理信息，我们现在都知道两者在原子结构上都不同，这影响了意识。毕竟，我们曾经怀疑碳是否在化学上比硅更适合复杂生命。如果硅和碳的化学差异极大影响了是否能够构成生命，我们不应该排除化学差异影响其他关键功能的可能，比如是否硅可以产生意识。
意识的产生条件，在AI 研究者、神经学家和哲学家中产生了激烈的辩论。解决这个问题可能需要依靠哲学的实证方法——一种可以在撇除偏见的情况下确认，是否一种信息处理系统能够产生意识，如果是的话又是在什么情况下产生的。
有一个方法，至少可以提高我们对硅是否能够产生意识的理解。硅基大脑芯片已经研发出来，用于解决各种记忆障碍，比如阿尔茨海默症和创伤后应激障碍。有观点认为，如果芯片可以用于大脑负责意识的功能，比如注意力和工作记忆（记忆的第二个阶段），我们就可能开始理解是否硅能够产生意识。我们可能发现，用芯片替代大脑部分区域会引起某些体验的丧失，就如 Oliver Sacks 写的。芯片工程师接下来可能要尝试一种不同的、非神经系统的物质，但是他们可能最终发现，唯一能够产生意识的“芯片”就是生物的神经体组成的。这一过程可能作为一种方法，确认人工系统是否可以拥有意识，至少当置人工系统于一个更大的、我们认为拥有意识的系统的时候。
可能只有在特定环境下，硅才能产生意识。产生负责信息处理的条件也许跟意识消退的条件不一样。意识的产生可能需要意识工程（consciousness engineering）——故意把意识放入机器的工程。
我的担心是，在地球或者哪个遥远的星球上，谁会致力于把意识装进 AI 里面呢？毕竟，当我想到地球已有的AI，我能够理解为什么 AI 工程师会积极避免创造出有意识的机器。
在日本，机器人被设计出来照顾老年人、清理核反应堆以及打仗。那么问题来了，如果这些机器是有意识的，让他们做这些事情是道德吗？这些跟圈养人类做这些事有什么不同？如果我是 Google 或者 Facebook 的 AI 负责人，想到未来，我可不会想去面对不小心设计出一个有感情的系统而遭遇的道德混乱。开发一个有感情的系统，可能导致机器人的薪资诉讼和其他公共关系的噩梦，还会导致在特定领域 AI 技术的禁用。对此，去探索不会让机器人产生意识的架构和物质，才是人类自然的选择。
更进一步，对于自我提高的超级智能体而言，没有意识会更加高效。想想意识是怎么在人脑中工作的：只有很小一部分的人类精神过程可以进入意识。意识与需要注意力和专注力的新奇学习任务相关。一个超级智能体可能在每一个领域都有专家级的知识，有超级计算能力覆盖包含整个互联网甚至超过银河系的巨型数据库。那还有什么对它是新奇的呢？什么可能需要很慢的、慎重的专注力？它不是已经掌控一切了吗？就像一个有经验的司机在一条熟悉的路上，只需要非意识工作就够了。简单的效率论认为，大多数智能系统不会有意识。在宇宙的规模上，意识也许只是一个小小的火花，是在宇宙变为无思想之前，一个短暂的绽放。
如果人们不相信 AI 没有意识，他们很可能会消极看待智能的发展，也即智能如何走向后生物时代。这一观点也加重了我们已有的担忧。为什么无意识的机器可能有着跟生物智能已有的价值观呢，到底谁才是有意识的？
很快，人类将不再是衡量地球智能的标准。也许宇宙某个地方已经有超级智能 AI，它不是生物，已经达到了最高的智能水平。但是，也许生物智能正是因为拥有意识体验，才和其他的物种区分开来。就目前所知，有知觉和感情的 AI 需要通过其他善意的物种以某些精细的工程方法才能创造出来。也许，善意的物种认为创造延续其思维的 AI 后代没有什么不妥。又或许，未来人类会参与意识塑造工程，将知觉和感情散布到其他星系。
原文作者 Susan Schneider 是康涅狄格大学哲学和认知科学副教授，在 Institute for Advanced Study、Center of Theological Inquiry、YHouse 等研究机构担任研究员，著述包括 Science Fiction and Philosophy: From Time Travel to Superintelligence
原文链接：http://cosmos.nautil.us/feature/72/it-may-not-feel-like-anything-to-be-an-alien
