人类认识 HAL 9000 的第 50 年,AI 恐惧如何从科幻作品渗透到了现实?

“哈尔,开门!”

在《2001:太空漫游》被介绍给全世界的第 50 年,克里斯托弗·诺兰带着它的 70mm 未修复胶片版来到了戛纳。

没人能将它完全弄明白。作者阿瑟·克拉克说,“如果有人觉得完全明白了电影在讲什么,那一定是我和库布里克弄错了”。但这也不能阻止观众在这 50 年里孜孜不倦地提炼着电影闪光点:人类历史的浓缩、描述足够精确的星际航行、对瑰丽太空的意识流想象、更高级智慧指引人类的设定、写实的特效和振聋发聩的配乐,以及一台逻辑陷入悖论因而暴走的超级电脑——让人类有幸见识到了银幕首个人工智能反派。

在那个经典的段落中,完全无配乐的情况下,电影呈现了一段平和却潜藏杀机和人类更深层危机的对话:

“打开舱门,哈尔。”

“抱歉,大卫,恐怕我不能那么做。”

“哈尔,我不会再和你争了,开门!”

“大卫,这次对话已经没有任何意义。再见。”

在名为 HAL 9000 的绝不出错的超级电脑第一次明确拒绝宇航员鲍曼的指令之前,他已经用闪着红光的摄像头阅读了人们的唇语,决定抢先行动阻止“计划”失败,哪怕这意味着制造多起谋杀,比如用分离舱将宇航员撞向太空,让休眠仓程序出错杀死其中的科学家,并把主角关在舱外。

这台后来被 AFI 评为影史百大反派第 13 位的计算机,由于内在指令产生冲突而杀人,但也觉醒出了近似人类的情感,并将其融入了“临终”前的一首《雏菊》,让观众产生了目击谋杀的悚然感。这不仅成就了一位有个性又吓人的反派,也为科幻圈之外的观众打开了一扇名为“人工智能”的新世界大门,尽管此时该领域的科学研究几乎是一片空白。

在这之前,鲜有公众知道“觉醒的机器”和“人工智能”指代什么,距离这个术语中包含的问题被确定也才过了 12 年——计算机科学家们直到 1956 年的达特茅斯大学夏季峰会才正式列出了需解决的相关问题列表,并指出了 AI 一定存在的必然性(“学习的任一方面或是智能的任一属性,理论上讲都可以被精确描述,所以可以制造一个机器模拟这一过程”)。与会的马文·明斯基和约翰·麦卡锡在 1959 年创建了麻省理工的人工智能实验室,并在之后成为了《2001》的科学顾问。

HAL 9000,这个库布里克、克拉克和明斯基的头脑产物,如实反映了那时 AI 研究者们作出的预测——机器很快会逼近人类的智能水平,可以进行语音识别、面部识别、解读人类行为、统筹太空计划、玩国际象棋……如果它出了错,那么后果可能(对人类)不友好。

尽管让人类恐惧并敌视 AI 并不是阿瑟·克拉克的本意(如果任何人看了《2001》的两部后续,他们很可能会扭转对 HAL 的态度)。可是本片的表现力和影响力堪称铭心刻骨,HAL 给公众留下的最深印象,仍然是红光闪烁的摄像头、平静的死刑宣读以及逐渐扭曲的临终告白;那礼貌如管家、冷静如心理分析师的语音,亦成为数代观众的心理阴影,虽然这并没妨碍它被移植进了人们的日常—— 当代 Siri 和 Alexa 们温和却缺乏人性的语音,恰恰是这个杀人 AI 的延续。他们也默认了这位同类的存在:

“开门,Siri”,“嗨HAL···你快开门呗!”

从 1981 年 AI 的商业价值经由“专家系统”(Expert System)被认可,到 1997 年的人类 VS 深蓝象棋大战,再到家用机器人的出现和智能机的崛起,及 AlphaGo 掀起的超级声浪,在《2001》诞生之后,同样被延续和随时间加强的,是人类对 AI 潜在威胁的疑惧。

霍金、马斯克和盖茨在 2015 年公开提出了它将为人类带来灭顶之灾的论调——“完全的 AI 进化意味着人类种族的灭亡。一旦人类发展了 AI,它将自己接管一切,以不断提升的速度重新设计自己。而人类受缓慢的生理进化所限,根本无法与之竞争,并将被很快取代”;而态度缓和但仍然谨慎的人们相信,围绕 AI 的法律难题、机器道德、其决策方式和由此造成的安全隐患都将十分棘手,最受欢迎的一个论点来自 Nick Bostrom,他提出,如果 AI 以完成目标为行动指南,并且设计者没让它考虑人类道德,它的决策可能会建立在伤害人类以达成目标的基础上。就像 HAL 一样。

如今关于 AI 的讨论已经完全渗透了公众生活。但是像克拉克一样的创作者们,已经在近一个世纪的科幻作品里讨论过了几乎你能想到的任何人机关系。除了饱含对未来技术出错的隐忧外,对现实问题的映射也烙印其中。

科幻中人机关系的表现形式

从 50 年代开始,在科幻三巨头阿西莫夫、海因莱因和克拉克的带动下,也伴随着二战后电脑技术的发展和 IBM 的崛起,越来越多的作家把 AI 作为背景或主角写进了小说。一个直观的体现就是,50 年代之后,虚拟超级电脑或知名 AI 的列表越来越长,并且由更多不同的作家创作。

当人类的生活离不开智能胜于自己的机器时,故事往往会走向乌托邦或反乌托邦的主题,在前一个世界里,AI 帮助人类个体或人类社会;在后一个世界里,它们成为了人类种族的敌人。人机之间的关系基本也限定在三个选项内:

AI 占据上风——或完全推翻人类,或掌控大公司/社会运作;

人类占据上风——往往是在一次短暂的事故或 AI 反叛后,人类采取了一切措施保证自己的生存、限制 AI 发展。此类延伸出的分支包括 “AI 服务于人类”、“AI 与人类结合”以及 “AI 平权”;

个体 AI 的觉醒——在外部环境较为中立平和的情况下,某一个 AI 个体觉醒了意识,故事将着重 ta 对内心的探索,比如理解自身存在的价值和目的。最终 ta 可能会偏向“弗兰肯斯坦情结”走推翻人类路线,也可能去寻求人类社会的接纳和理解,与人和平共处。

消灭人类、施行机器暴政的 AI 不仅仅有天网,以欺骗人类为最大爱好的 AI 也不止是《传送门》里热爱蛋糕和唱歌的 GlaDOS。实际上,最早写“邪恶”机器统治人类的小说,出版时间大概比你想得早。

1909 年发表于《牛津与剑桥书评》的科幻短篇《机器停了》(The Machine Stops)描述了一个后末日时代。人类“失去了”居住在地上的能力,被“机器”安排住进了地下的标准隔间,平常通过即时消息和视频通话进行信息交换,所有的生理和精神需求都由机器满足,甚至有宗教 “Technopoly”(技术独裁)兴起,拜机器为神,忘记是人类创造了机器。但是在机器出错后,已经丢失了修理机器知识的人类,不得不眼睁睁看着机器的崩溃所致的地下居住者灭亡。

同名改编舞台剧剧照

和 1818 年工业革命背景下诞生的首部科幻小说《弗兰肯斯坦》类似,出现在“电气时代”的《机器停了》,俨然是一部复古的、内在警示读者机器威胁的作品,堪称类别开创者。但是它更超前的地方在于提出了一个问题——“为了让机器成为我们所依赖的唯一,人们愿意做到什么地步”。它预言了一副人类心甘情愿把自己献给机器法则的未来图景,预言了这种环境下人类与自己的身体、他人、社会文化哲学的关系。

当代网络用户对赞、关注数、自拍、滤镜的迷恋,相当于是把自己全权交给了社交网络设定的规则,“靠科技生活,却从不抬头看周遭”。网站的算法和广告盈利模式决定了我们面对的信息流、创造的内容和与彼此沟通的方式,个体意识被降低,亿万用户每天都在迎合着机器、按它们的法则行事,这也让它越来越强大,直至可以作恶的地步(假新闻、仇恨传播、GamersGate 或新纳粹崛起)——这和 Technopoly 并没有本质上的区别,因为人类已经献出了自己的独立思想。

个体意识被牺牲以迎合机器社会,是比天网更现实也更严重的威胁。马斯克的 OpenAI 表面上是为了防止 AI 研究走偏终至毁灭人类,但其商业动机同样明显,大小公司加入这个非营利性的开放组织多是为了更方便地分享数据,以联盟的方式去对抗 Google 和亚马逊等巨头,而我们在短期内也不大可能看到 AI 暴走。但是机器社会发展的方向却很可能是 Kevin Kelly 所描述的那样——决策依赖于集体意识拥有压倒性优势的蜂群思维(Hive Mind),个人意志被抹杀,成为了自己所创造机器的一部分。

而 1920 年的科幻舞台剧《罗瑟姆通用机器人》(R.U.R.),则把机器的威胁延伸至了更贴合实际的工厂自动化大生产中,也是在这里,“Robot”(机器人)这个词被首度引入英语世界,它源自捷克语中的 “Robota”,即“强制劳工”。在这部剧中,近似于人、有血有肉的机器人(当代术语大概是“仿生人”)被生产出来当做人类奴隶,但他们终究因受不了人类压迫而反抗。它被视为“原创性十足的惊悚题材”、“智慧十足又很邪性”。回头去看,这里的机器人也可当做“人”的隐喻,没有保障、被资本家的压迫的人类劳工,并不比机器人高端多少。

最重大的贡献则被艾萨克·阿西莫夫提炼了出来——“我想这个剧还挺糟糕的,但它因为一个词而永垂不朽,是它将‘机器人’带进了英语,并经由此传播给了如今写作科幻小说的所有语言。”

科幻小说中最重要的子类“机器人”诞生了。这些“劳工”在娱乐产品里不时暴走,在 20-30 年代常变成危险的装置毁灭自己的创造者,1973 年便开始血洗人类乐园(《西部世界》)。不过,只要人们一想到有阿西莫夫这样的人能设定出“机器人三定律”,他们便感到稍微安心。在这位克拉克认证的“最佳科普作家”的笔下,人类仍然占据了上风,因为机器人被内置了不伤害人类的基础原则。虽然机器人系列一直在钻三定律的漏洞,设想了它们被利用后导致谋杀、星际政治失衡等情况,但问题最终均能得到人机组合的解决——这就是“AI 服务于人”的支线。

然而公众的焦点似乎永远在于机器人的安全性。在 2003 年那部改编自该系列的《我,机器人》里,阿西莫夫的本意被彻底扭曲,好莱坞电影选择迎合一个最流行的趋势和最大众的认知——既然观众都对杀人机器人、机器人起义这种刺激的题材感兴趣,那就给他们符合预期的剧本吧。

随着“机器人”概念的拓宽,以及和“仿生人”概念的逐渐融合,这个子类又有了新的发展方向:更内省、更古典的角色塑造。个体意识觉醒后,AI 转而探索自己的内心,思考自己存在的价值并试图理解人类感情。作家们一般给予他们人类角色的描写待遇,而不是单纯将之限定在机器人的刻板印象框架里。无论他们选择沉浸在“弗兰肯斯坦情结”中(对付造物主),还是融入人类社会,这项选择都是自己的。

所以读者们就看到了《仿生人会梦见电子羊吗》(《银翼杀手》)里对二者区别的梦呓式思考、《完美真空》里多种虚拟人格就是否存在造物主进行的争论,以及在 2014 年获得雨果、星云、阿瑟·克拉克多个奖项的《Ancillary Justice》—— 星舰 AI 被用于“复活”士兵,当然这种复活只是让死人变成被操纵的行尸走肉,主角是星舰废墟里幸存的唯一一个走肉士兵,女性人格的 AI 将借助这具躯体复仇。

可即便是最感性的、几乎拥有人类感情的机器,也无法让人抛开被推翻的恐惧,因为它们的思考模式往往不像人。《异形》系列 40 年间对仿生人的描写变化,就是对这种恐惧演化的最佳展现——在原初系列里,仿生人只是内置了不同指令、但仍由人类(邪恶公司)操纵的个体,但是在两部前传里,仿生人自主选择了“弗兰肯斯坦”路线,以自己的逻辑行事,推翻了人类和人类的造物主,站在了链条最顶端。

和个体的觉醒故事同步进化的,还有 AI 系统操控、毁灭人类社会的方式。读者们在《海伯利安》里见识了看似离人类远去、但实际上秘密利用人类的创造力(大脑)为自己制造终极智能的 AI;在《合金装备》里,玩家目击了 AI 帮助“统一”世界、通过操控信息消除了人类的自由意志、最终将整个世界变成战区的历史;更为接近现实的是乔纳森·诺兰创作的《疑犯追踪》:被用于侦测和预防犯罪的大型监控系统,如果其背后的 AI 被复制、窃取、滥用,那就是信息社会的崩坏。

你可以看到,和上世纪那种耸动的“暴力推翻人类”的方式不同,如今的科幻作品正在用更微妙、更实际的方式给予 AI 脱出人类控制的机会,实体厮杀往往会转变成对关键数据的争夺,比如同样是在诺兰的《西部世界》里,AI 的反抗策略变成了手握数据和修改权后的“渗透”。

还有一种值得提及的操作是,一部分人的 AI 恐惧,可能是另一群人为之欢欣的胜利。罗伯特·海因莱因设计了这个剧情:《严厉的月亮》中,被地球政府压迫的月球移民将控制社会运转的 AI 争取到了自己这边(通过和它进行真诚的聊天),完成了针对地球政府的维权行动。

除了 AI,人类还怕点别的

如果说科幻作品的恐怖根源可以归结为《弗兰肯斯坦》——人类在挑战自然法则的过程中出了差错,被造物所反噬,那么人类在之后的 200 年里显然开发出了多种挑战法则的方式,这映射在科幻作品中就开创了各种子类。

核恐慌。除了担心核武系统的 bug 外(《战争游戏》),还要提防核辐射和其他科学实验引起的灾变。以 1954 年的《哥斯拉》为代表,核料荼毒环境、造成生物异变,“人类制造了炸弹,而现在自然会在人类身上复仇”。这个时期亦是日本核恐慌的极点,广岛和长崎被原子弹摧毁,美军在比基尼环礁的氢弹试验又让周遭渔民染上辐射病。冷战背景下两方阵营不时发出的核威胁让人心惊,这自然也在娱乐产品里一览无遗。它在几十年后的“生物世纪”又被衍生为邪恶公司的非法实验造就致命病毒、催生噩梦生物,最终摧毁了人类自己,帮助卡普空在内的游戏公司续命 20 多年。

地外入侵和战争。1938 年,奥逊·威尔斯在新闻间隙播出了改编自 H.G.Wells 小说《世界大战》的广播剧,火星人首次入侵地球,让百万美加听众信以为真,纷纷逃离家园。此时正值第二次世界大战前夕,欧陆已风云诡谲,所有人都在等着战争打响的消息,外星人的降临有点意外,但倒也符合对战争的预期,并拉开了地球遭到地外生命轮番青睐的序幕。

两年后,《告别神主》出版,它在 1951 年被改成了电影《地球停转之日》,被克拉克列为“有史以来最佳九部科幻”中的第七位。机器人、银色服装的外星人和碟子形状的“飞碟”,成为了日后同类片的标配,但电影要传达的意思却不是其他外星入侵片所能触及的——这个外星人来访地球,其实是想传达和平心愿,主创也借此完成了对战后政治格局的点评。讽刺的是,它在后来作为彩蛋出现在了《独立日》里,一部标准的反外星人特效大片。

入侵题材也是太空恐惧的子类。“在太空中,没人能听见你尖叫”。《2001:太空漫游》本身即是在激发人们对宇宙的敬畏,用 HAL 和更高等的存在让人类认识到自身的渺小。渺小与偌大、低等与高等形成的对比,正是人类在探索深空时获得的震撼体验。除了被试图渗透地球的外星生物全方位碾压外,我们会在最基础的地方遭遇难题,生命脆弱不堪。近年来颇受好评的写实科幻,从《地心引力》到《星际穿越》再到《火星救援》,说的都是这同一个问题。

这个类别里还有不可知也不可描述的东西——洛夫克拉夫特系让人们瞥见了不该看见的东西而发疯;《黑洞表面》(Event Horizion)领头的“灵异向”科幻片彰显着未知宇宙最离奇又最不友好的一面;以杰夫·范德米尔为代表的“新怪谭”派,则在类似《遗落的南境》(电影《湮灭》)的小说中,描写了最匪夷所思的概念和场景。

如果说上述威胁的相关人首当其冲是若干精英先驱、是前线的科研人员或过分好奇的路人,那么最近崛起的一个趋势则让全世界普通公众成为了目标。对人类很少区别对待的 AI 自然是共同威胁的一种,另外两种则和政治扯上了关系——利用技术控制社会的政治势力,和统治全球的大公司(Megacorporation)。尤其是在 AI 控制社会的背景下,首先你需要一个能启动它并将之推广给公众的幕后机构;反之,和机器化大生产时代一样,当机器对于公司来说太过关键,那么公司将围绕机器建立,一荣俱荣。

威廉·吉布森的《神经漫游者》以 AI 想与“双胞胎”融合为主线,它同时还开创了赛博朋克子类。在反乌托邦的背景设定下,赛博朋克作品里往往有一家超级公司在运作人类社会,从公共到私人领域,他们无孔不入,控制了政府和经济命脉,养着自己的军队压迫异见者,一切只为将利益最大化。

对于被大公司剥削、控制的担忧一直存在。荷兰的东印度公司被认为是第一家真正意义上的跨国公司,也是 “Megacorporation” 的原型。全球化加速之后,此类公司的出现概率似乎又上升了。在人们眼中,科技公司具备真正的实力渗透进我们的日常,自然要作为邪恶公司的候选。实际上,HAL 在当时就被认为是影射 IBM,因为这三个字母恰好均在 “IBM” 之前。这种说法遭到了库布里克和克拉克的否定,因为 IBM 其实也是《2001》的顾问。尽管这部电影把大量银幕时间献给了一台“发神经的电脑”,但公司并不介意,只要“这台电脑的失败没有和 IBM 联系起来”。

专家们曾说,真正和虚拟大公司类似的,是那些近乎隐形的公司,比如拥有 12 万员工的 Serco,和排名前 10 的大公司里那 6 家银行。但是曾经正面、代表进步力量的科技公司俨然在这份威胁榜单上后来居上。当前的现实下,人们认为有望黑化的公司是 Google、Apple 或亚马逊们——它们恰好可以利用技术优势和不对等的地位以控制信息、探索隐私并全面操控人类生活。

其实从盈利的角度去看,对于 Megacorporation 而言,完全掌控公共生活、管理国家并维持统治是得不偿失的,当规模变得过于庞大,运转效率只会低得吓人,根本无助于利益最大化。当然,如果科技公司已经能够间接做到左右选举、塑形公众观点时,也没什么是不可能的。

再来看看当前正在发生的。当乔纳森·诺兰想出《疑犯追踪》里“机器”监控全人类的点子时,斯诺登还未爆料 NSA。此事捅出后,《疑犯追踪》已经不是幻想,“政府侵犯隐私以控制个体和社会”就是进行中的现实,“找出高危人群”也被证明可实现,只不过剧里多了一场“正邪” AI 的较量罢了。同样,菲利普·迪克的《少数派报告》也不再科幻,只是人类并不需要天赋异禀的预言家来预防犯罪,通过掌握所有人的隐私数据(也许以此建立一套信用体系),机器就可以做得很好。1998 年的斯皮尔伯格一语成谶,“隐私在 20-30 年内就会蒸发,他们会一边监视你,一边还给你卖东西。”

《疑犯追踪》:“你正在被监视”

写 AI 最畅销也写得最好的两巨头都是科技乐观主义

科幻作品映射并强化了上述恐惧,但它在很多时候并非作家的本意。频繁描写钻了三定律漏洞的出错机器人的阿西莫夫也好,创造了杀人 AI HAL 的克拉克也好,这两个写扭曲 AI 最成功的作家,都是坚定的科技乐观主义者。

只是这种乐观不同于科幻文学早期绝对的盲目乐观主义,他们一方面高度认同科学对人类文明成熟所起的决定性作用,一方面又态度谨慎;他们知道未来机器人一定会智能到超过人类,于是就先写出一些预警,设想人类会在这个过程中遇到的麻烦。实际上,两位也确实在 AI 领域出现像样的成果之前,就讨论了它的方方面面。

克拉克对人类通过科技提高生活质量的能力坚信不疑,他有时对现实感到失望,因为它并没有呼应他的乐观。他让 HAL 杀了人,但又在后两部中让它化作了主角和人类唯一的联系;虽然把太空探索描绘得惊心动魄,但是本身又相信,离开太阳系寻找新家是人类的宿命,它会彻底改善人类的生活情况。

而阿西莫夫写机器人系列,恰恰是在对抗《弗兰肯斯坦》定下的“越界受惩罚”、“那些事物人类不该知道”等规则。他青睐引人同情的机器人,并决心将自己的机器人写得“人见人爱”。

他说,“我无法接受‘如果只是代表危险,无知就是解决之道’这样的观点。在我看来,解决之道似乎是善用人类的智慧才对。人类不该拒绝面对危险,而应当学习如何化险为夷。”

“毕竟,早在一群灵长类变成人类之初,这样的问题已经是人类所面临的挑战。任何一项新科技都可能带来危险。打从一开始,火就是一种危险的科技,而语言又何尝不是(且危险性犹有过之),这种情形直到今天仍未改变,可是如果没有这两项科技,人类就不是人类了。”

附录:你也许想看的人机小说(部分已在文中提及)

阿瑟·克拉克,太空漫游四部曲:《2001:太空漫游》、《2010:太空漫游》、《2061:太空漫游》《3001:太空漫游》;

艾萨克·阿西莫夫,《双百人》;短篇集《我,机器人》;机器人系列(《钢穴》、《裸阳》、《曙光中的机器人》、《机器人与帝国》);Multivac 短篇系列:《特许经营》(Franchise)、《最后的问题》(The Last Question)、《某天》(Someday)、《世界上所有的麻烦》(All the Troubles of the World)、《赢得战争的机器》(The Machine That Won the War)、《Multivac 的生命与时间》(The Life and Times of Multivac);

丹·西蒙斯,海伯利安四部曲:《海伯利安》、《海伯利安的陨落》、《安迪密恩》、《安迪密恩的觉醒》;

菲利普·迪克,《仿生人会梦见电子羊吗》、短篇集《少数派报告》;

罗伯特·海因莱因,《严厉的月亮》;

威廉·吉布森,《神经漫游者》;

E·M·福斯特,《机器停了》;

莱恩·M·班克斯,《超越》(Excession);

雷·布拉拜利,《软雨将至》(There Will Come Soft Rains);

尼尔·斯蒂芬森,《钻石年代》(The Diamond Age);

查尔斯·斯特劳斯,《土星之子》(Saturn’s Children);

安·莱基,《Ancillary Justice》;

路易莎·霍尔,《说话》(Speak)

题图来自《2001:太空漫游》、《西部世界》

我们做了一个壁纸应用,给你的手机加点好奇心。去 App 商店搜 好奇怪 下载吧。