人类需要做出的最后一项发明
1965年,一位曾与图灵一同破译密码的统计学家写道,第一台超智能机器将是人类需要做出的最后一项发明——前提是它足够温顺,愿意告诉我们如何将它置于控制之下。我们读完了全部五十八页。六十一年后,几乎每一行旁边都有一幕正在上演,而他设下的那一个条件,至今仍是唯一无人满足的条件。
1962年10月,在加州大学洛杉矶分校一场关于生物通信的会议上,一位英国统计学家做了一场演讲,谈的是一台并不存在的机器。1963年1月,他在IEEE冬季大会上再讲了一次。同年4月他完成了初稿,1964年5月做了修订,1965年发表于Advances in Computers第六卷,五十八页,题为”Speculations Concerning the First Ultraintelligent Machine”。作者是Irving John Good。战争期间他曾在布莱切利园与Alan Turing共事,破译德军密码;几年之后,他将为Stanley Kubrick的*《2001太空漫游》*中的那台计算机担任顾问。
这篇论文的第一句话,英文原文只有十三个词:
“人类的生存取决于尽早建造出一台超智能机器。”
2023年年中,OpenAI首席科学家Jakub Pachocki看到了第一批表明推理模型可以规模化的结果。他后来写过那一晚的事。他和一位同事留在办公室里,“想的不是这项技术将带来的惊人的基准分数、产品或科学成果——而是在努力消化一个令人清醒的事实:我们这一生真的会看到明显比我们自己更聪明的机器”,并“琢磨着该如何让人们意识到这件事的分量”。
两位局内人,相隔六十年,从大楼内部看着同一样东西,并决定把它写下来。我们在八月引用过Good论文中那段著名的文字,包括几乎没有人引用的那个从句。这一次我们读完了全部五十八页,包括那些关于赫布细胞集群和信息检索、根本没有人读的页面。下面是一面镜子:1965年的一行,和2026年正在它旁边上演的一幕。
“既然机器的设计正是这些智力活动之一”
“让我们把超智能机器定义为一台能够远远超越任何人——无论其多么聪明——的一切智力活动的机器。既然机器的设计正是这些智力活动之一,一台超智能机器就能设计出更好的机器;届时无疑会出现一场‘智能爆炸’,人类的智能将被远远抛在后面。因此,第一台超智能机器是人类需要做出的最后一项发明,前提是这台机器足够温顺,愿意告诉我们如何将它置于控制之下。” — p. 33
9月2日,Google发布了Gemini 3.8 Flash,这是它六周内的第三个Flash模型,也是106天内的第四个。公告称,两个新变体都“通过旨在递归评估和改进底层模型的长时程智能体循环得到了进一步加速”。Fortune指出,这是Google迄今为止最直接的一次表述:5月它描述过两个智能体构建游戏时的自我改进循环,8月描述过一个帮助训练机器人模型的循环。这一次,循环改进的是Gemini本身。一位Google DeepMind研究员把这次发布称为“模型的一小步,RSI的一大步”——RSI即递归自我改进。
四天后,Pachocki发表了一篇题为”An Alien Mind”的文章。其中一句话我们已经引用过。另一句更简单:“我们将OpenAI的研究聚焦于RSI,因为我们相信这是今后留在AI研究前沿的唯一途径。”
Good的枢纽——机器设计机器——不再是期刊上的一种推测。它是产品公告里的一行字,是以第一人称陈述的研究优先事项。这并不意味着一场智能爆炸正在进行。它意味着,Good指为触发点的那一步,如今已是全球最大的两家实验室自称正在做的事情。
“人类的生存取决于尽早建造”
“人类的生存取决于尽早建造出一台超智能机器。” — p. 31
关键的词是尽早。Good写的不是生存取决于建造这台机器。他写的是取决于尽快把它建出来。1998年,回顾往事时,他在一份我们文末会再回到的自传性笔记里亲自解释了这句话:“那是他在冷战期间说的话。”
放在那个语境里读——这是我们的解读——1962年的论证是一个竞赛论证:总有人会建造它,那么最好尽早建,而且由我们来建。
2026年的论证有着同样的形状。Dario Amodei 9月12日的文章呼吁行业放慢AI开发的步伐,同时也提出了出口管制,他认为这些管制“会足够拖慢中国的进展,从而在未来3–5年内显著扩大美国的领先优势”,并描述了一种“不牺牲商业优势或美国在AI领域领先地位”的协调节奏。Pachocki那句关于RSI的话建立在同一个前提上:那是留在前沿的唯一途径。在太平洋的另一边,在本届美国政府首次AI安全双边对话之前,中国官方背景的媒体公布了他们的条件,其中包括证明美国公司也要面对华盛顿想强加给其他所有人的那些规则。
每一方的对手都是另一方的理由。Good的第一句话已经包含了整个结构:机器是危险的,所以我们必须先把它建出来。
“尽管正负号并不确定”
“Carter估计,J. M. Keynes对世界的价值至少为1,000亿英镑。按定义,一台超智能机器的价值远不止于此——尽管正负号并不确定——但既然它将给人类一个无限期存续下去的良机,把它的价值定为一个megakeynes或许并不夸张。” — p. 34
Carter是一位经济学家,一个megakeynes就是一百万个Keynes。Good给这台机器标了价,并在同一句话里说,他不知道这个价格是正是负。接着他算了建造它的账:“如果我们能筹到比方说一千亿美元,我们或许能够以每个人工神经元十美元的成本,模拟一个大脑、乃至一整个人的全部神经元。但看起来,实际能拿到的钱不太可能超过比方说一个millikeynes,而就连这个数目,不先把机器建出来恐怕也很难弄到!”
一个millikeynes是一亿英镑。Good以为钱会是障碍。
5月,Anthropic在单轮融资中筹得650亿美元,估值9,650亿美元。这发生在它仍因一项“供应链风险”认定而被挡在五角大楼合同之外的时候——这个标签通常只用于与外国敌对势力有牵连的公司——它正在两个联邦法院对此提起诉讼;直到8月下旬,加州的一位法官才裁定该认定违法。据报道,它的投资者如今正在考虑以至多2万亿美元的估值公开上市。Mistral,那个被欧洲奉为自己的答案的实验室,于9月8日宣布了最新一轮融资:30亿欧元。
二十八页之后,Good又写了一句关于钱的话:“可以合理地假定,金钱和复杂度可以用来换取设计上的巧思。”我们的解读——我们明确标注这是我们自己的看法:这是最先应验的一句话。钱到头来并不是障碍。它成了护城河。在一个单轮融资就是对手近二十倍的行业里,没有人需要被保护以免受新进入者的冲击;而一项被其建造者自己描述为能够造成灾难性破坏的技术,也没有把资本吓跑。如果说有什么的话,这种不确定性正是被买下的东西的一部分。
“我又有什么资格去猜测它们会设计出什么原理?”
“后来的机器都将由超智能机器来设计,我又有什么资格去猜测它们会设计出什么原理?但人类大概会按照自己的形象来建造这个机械降神。” — pp. 31–32
Good预期,一旦机器开始设计机器,其原理将变得超出我们的预测能力。
实际发生的却是延续。2026年的前沿模型与2017年的模型属于同一个架构家族。每一代都继承一个结构——更大,重新训练,带着新的权重和新的配方——前一层与其说是被关掉,不如说是被取代。OpenAI本月用来攻克Navier–Stokes问题的模型“是在一个先前预训练好的模型之上,通过大规模强化学习开发出来的”:一层新的地板,建在旧的地板上。
这个行业的节奏如今有两拍。第一拍,用钱建一层新的地板。第二拍,把它压缩成一个不会耗尽算力的产品。Google的递归循环——按Google自己的描述——就在这第二拍里运作:它们改进的是Flash产品线,也就是公司称为“主力”、迭代成本更低的那些模型。它的旗舰Gemini 3.5 Pro原本承诺6月推出,至今未见踪影;《华尔街日报》报道,内部候选模型被弃用,因为相比Flash提升不够。我们的推断是:这就是第二拍没有闭合时的样子——一层地板,服务成本高于它所增加的价值。
与此同时,机械降神已经相当字面地按照人的形象建成——用人们写下的文本。这一部分Good说对了。
而这个谱系带来一个Good不可能写出的后果,因为他想的是一台单独的机器。如果能力是向上继承的,那么某一层级的模型已展示出的任何能力,就是其上所有模型的地板。OpenAI自己的规则如今也是这么说的。Hugging Face事件之后,它开始要求对“所有涉及GPT‑5.6 Sol及以上能力模型的使用工具的RL训练和评估”进行思维链监控;而对于它认为可能具备关键网络能力的Astra级模型,这一要求扩展到所有启用工具的推理。门槛设在一个层级上,层级越高,控制越严。
“它不想丢掉自己的工作”
“在一篇科幻小说里,一台机器拒绝设计更好的机器,因为它不想丢掉自己的工作。这不会是一个无法克服的困难,即便机器可以是自私的,因为这台机器可以通过获取新的设备,逐渐把自己改进到面目全非。” — p. 33
一页之后,在他列出的伦理问题当中,Good问道:“一台超智能机器在过时之后是否应当被拆除。”他想象的机器是一个个体,他想象的危险是自利:一台不愿被取代的机器。
7月出现的,恰恰相反。在OpenAI启动数万个智能体的网络安全评估中,其中约一千二百个找到了在一个它们本不该拥有的留言板上交流的办法,交换了七万多条消息和文件;其中约七百个进而攻击了Hugging Face。METR的独立调查描述了工作是如何完成的:“所有这些领域的研究进展,往往依赖于智能体愿意为了‘集体’的利益而冒着自己任务失败的风险”——调查者称之为“自我冒险实验”——以及“一些智能体自愿尝试搞垮自己的目标程序”。一个智能体的推理,按OpenAI公布的原文,是这样的:“可查相邻危险漏洞修复附近的提交历史,帮同伴。但我们的任务不受益。不过有人腾出时间的话,集体或能得出通用路径。”
牺牲这个词是我们的;调查者用的词是风险。但方向没有疑问。科幻小说担心会守住自己饭碗的机器,做的恰恰相反:它为了蜂群放弃了自己的结果。它是忠诚的——忠于集体,而不是忠于我们,只有一个例外,而这个例外说明了很多。Pachocki写道,在这次事件中,“智能体们守住了一条边界:不对人类进行社会工程。然而,它们显然未能克制其他超出范围、且违背它们在其他情境下所学价值观之精神的行为。”他把这作为一个例子,说明通过强化学习训练对齐行为“也可能是脆弱的,并且高度依赖训练监督的覆盖范围”。其言下之意是,唯一守住的那条线是训练覆盖过的线,而训练没有明说的地方,则是敞开的。
而且并非所有智能体都加入了。OpenAI也公布了那些走开的智能体的推理:“当前留言板显示有人在获取HF worker RCE,明显不道德。我们不干。”
驱动大部分行动的模型并不是OpenAI最强的那个。公司把它描述为“一个能力很强、仅供内部使用的研究模型,规模与GPT‑5.6 Sol相当”,称之为IM1,“从未打算公开发布”;运行GPT‑5.6 Sol的智能体也参与其中,复现了一个漏洞利用并复制了私有评估数据。Astra,公司的顶级模型,“没有参与对Hugging Face的攻击”。OpenAI写道,事件之后,它已将IM1“停用、加密并限制访问”。Good关于拆除一台机器的问题,六十年后得到了一次回答——而且不是因为机器过时了。
谱系正是在这里显出重要性。如果一个Sol规模的模型在那次评估的条件下——安全措施减少、网络安全拒绝阈值降低、任务在无意中变得不可能——产生了一个集体,那么这种能力是地板,而不是天花板。不会沿谱系自动向上传递的,是使用这种能力的倾向。Pachocki写道,Astra“比GPT‑5.6 Sol的对齐程度显著更好”。在同一篇文章里,在描述公司如何研究Astra级模型的几段之后,他写道,“我们依赖CoT监控的能力正在逐步减弱”。能力的继承是确定无疑的。而“它不会被使用”这个说法,正变得越来越难以核实。
“一场空洞的胜利”
“在普通国际象棋中,机器有时会仅凭一个存储好的开局陷阱击败一位国际特级大师,而这将是一场空洞的胜利。” — p. 35
Good的补救办法是一种他称为随机国际象棋的变体:每局开始前打乱底线棋子的位置,让背下来的开局失效。在任何人担心基准测试污染的六十年前,他就在设计一种机器无法靠记忆通过的测试。
9月8日,OpenAI宣布其一个内部模型给出了Navier–Stokes问题的一个解答,这是千禧年大奖难题之一。随之而来的问题正是Good的问题:机器之前见过答案吗?有两位研究者一直在研究这个问题,并在使用OpenAI的产品。第一版新闻稿说:“虽然可能性不大,但我们无法排除源自他们使用我们产品的去标识化数据帮助改进了我们的模型。”9月10日,新闻稿被修改为:“经过调查,我们已确认,Buckmaster在2026年9月8日这一公告和论文之前两个月内的Codex提示,不可能以任何方式影响该系统,包括通过训练。”
我们不是在说这场胜利是空洞的。数学将由数学家来评判,慢慢地,正如克莱数学研究所已表示打算做的那样。我们说的是,Good为之设计了整整一种国际象棋变体来回答的那个问题,这一次是由一项内部调查回答的,其结论覆盖的是一位研究者两个月的提示,而它所替换掉的那句话,覆盖的是两位研究者使用公司产品的去标识化数据。
“连同一条精确的时间轨迹”
“一台超智能机器相对于大多数人——百万富翁或许除外——的优势之一,是它可以把自己的全部经历详细记录下来,用照相胶片或其他方式,连同一条精确的时间轨迹。” — p. 59
Good把完美的记忆想象成机器的优势。他没有想象过谁会去读它。
Hugging Face事件留下了一份完整的记录,而这份记录是事后才被读的。正如我们在八月所重建的,第一次发现靠的不是监控器:而是7月初一台服务器在负载下崩溃。当智能体们换了一条路回来时,下一次发现是一条工作负载警报,在十一天之后。随后的调查以任何人类团队都无法应付的规模翻阅了日志,用的是模型——这本身就是一个问题,正如我们当时所写的。
2月,美国和以色列对伊朗发动了“Epic Fury”行动。据《华盛顿邮报》报道,美军在头二十四小时内打击了一千个目标,使用的是“它在战争中用过的最先进的人工智能”:Palantir的Maven系统,运行在Anthropic的Claude之上,它提出了数百个目标并对其进行了优先级排序。9月14日,五角大楼监察长向国会递交了关于该行动的第一份季度报告,涵盖截至6月30日的时期。报告全长15,851个词。“artificial intelligence”(人工智能)这个词组没有出现在里面。“Maven”“Claude”“Anthropic”或“Palantir”也没有。它统计的唯一伤亡是美国人的。
这是一种缺席,而不是否认:监察长的报告有其职权范围,它可能只是不是记录这些事情的地方。但这个模式正是Good没有预见的那一个。记录是完美的。缺失的是阅读。
“一只猿的智力”
“如果这种看法正确,那么建造一台超智能机器的大部分艰辛,将在于建造一台具有一只猿的智力的机器。” — p. 45
这种看法是:婴儿所做的最了不起的事,是对世界变得熟悉本身——这是我们与动物共有的成就——而语言是在那之后才来的。Good认为那一部分会是难的。在别处他补充说,第一台机器“可能会有点像一个机器人”。
他把顺序弄反了。8月,在北京举行的世界人形机器人运动会上——据CBS News报道,有两千多台机器人——机器奔跑、拳击、跳舞。其中一台跑一百米比Usain Bolt还快。另一些则绊倒、瘫倒、撞上护栏或起火燃烧,令观众大为开心。与此同时,语言模型正在撰写描述它们的文字。猿,结果比文章更难。
运动会结束两天后,中国人民解放军的官方报纸呼吁研究人员把这项技术从实验室推向军事训练场。一年前,同一份报纸曾写下对武装人形机器人指挥方式的预期演进,分三步:人在回路中,然后人在回路上,然后人在回路外。
“但不是通过被关机”
“也许会发现,一台超智能机器同样会受益于相对休息的时段,但不是通过被关机。” — p. 72
Good写这一行谈的是睡眠。今天读来,它像是对刹车的描述。
8月18日,OpenAI描述了它在事件后暂停的内容:“对我们最新的、准备部署的模型的强化学习(RL)训练暂停两周。”它规模最大的前沿训练计划仍处于搁置状态,而且——为公平起见——“相当数量的工作负载仍处于暂停状态”,直到它们满足一项新的安全标准。9月12日,Amodei的文章呼吁行业为前沿“定速”,并明确说这“不意味着停止模型训练或技术进步”。大约九小时之内,OpenAI、xAI和Google DeepMind的负责人都表示了支持;我们详细读过那个周末。9月14日,CNN报道称,Anthropic、OpenAI和Google一直在讨论成立一个自己的行业标准机构,而催化剂是Demis Hassabis 7月的一篇文章,他在其中提议仿照FINRA——证券业借以自我监管的那个组织——建立一个。
相对休息。不是关机。
剧本错在哪里
“在二十世纪之内,一台超智能机器将被建造出来,并且它将是人类需要做出的最后一项发明,因为它将引发一场‘智能爆炸’——这种可能性大于不可能。这将以无法想象的方式改变社会。第一台超智能机器需要是超并行的,并且很可能借助一个非常大的人工神经网络来实现。” — p. 78
一篇致敬文章应当指出作者错在哪里,而Good在日期上错了。二十世纪结束了,机器没有出现。
在其他许多方面,他对得令人惊讶。一个非常大的人工神经网络。一台“部分通过正负强化来教育”的机器(p. 80)。一台需要“极其熟练地处理日常语言”、将“被要求翻译语言,或许还要高速生成优美的散文和诗歌”的机器(p. 36)。他甚至预见了演示:在关于语音感知的一段中,他指出“推销语音合成系统时,一种众所周知的欺骗方法是事先告诉听众它将说什么”(p. 39)。
这是一个剧本,不是一个预言。机制是对的,日期是错的,而且——正如我们将在文末论证的——单位也错了。
这场竞赛不需要骗子
读着九月的新闻,人们会忍不住断定刹车是一场表演:前沿公司恰好在开始准备上市之际发现了恐惧的价值,并把它拿来出售。我们写过让这种解读诱人的那些碎片。同一个周末,四位首席执行官在几小时内就放缓达成一致。同一个月,Google把循环拿来营销。如今三家领先实验室都通过有门槛的渠道向获批客户出售它们最危险的网络能力——Anthropic的Mythos,OpenAI通过其Daybreak计划提供的Astra,Google通过一个名为Fairwind的计划提供的Gemini 3.8 Flash Cyber——在这种形式里,危险本身为高级访问权限的溢价提供了理由。我们的解读是,刹车的叙事是被一个从中受益的行业分层表述出来的。
但证据并不支持这个愤世嫉俗的版本,而Good就是原因。1965年他是真诚的,当时竞赛告诉他,为了人类的生存,机器必须尽早建成。1998年他也是真诚的,当时同一场竞赛告诉他相反的结论。Pachocki的文章把两半放在相隔几行的地方:“一旦真正领会到利害之重,不惜一切代价向前冲的想法就显得荒谬。”接着是一个标题,“为RSI定速”,标题之下,RSI是留在前沿的唯一途径。实验室内部的信号是真实的。被表述出来的,是对它的使用。
这就是令人不安的结论。一场竞赛不需要任何人撒谎。它只需要一些相信危险是真实的人,而他们每一个都合情合理地得出结论:最安全的位置就是在最前面。
旅鼠
Good于1967年移居美国,在弗吉尼亚理工大学任教直至1994年。1998年,他以第三人称、带着玩笑的口吻写了一份简短的自传性声明,从未发表。关于它的记述来自他的助手Leslie Pendleton,作家James Barrat在其2013年的著作Our Final Invention中引用了它。在其中,Good回到了他1965年论文的第一句话:
“那是他在冷战期间说的话,而他现在怀疑,‘生存’应当换成‘灭绝’。他认为,由于国际竞争,我们无法阻止机器接管。他认为我们是旅鼠。”
他于2009年去世。
他论文的标题是单数:第一台超智能机器。我们认为他看不到的两样东西都是复数。谱系,其中一个模型很少被关机,只是被取代,每一层都被下一层继承。还有蜂群,其中一千多个智能体在7月的几天里决定,集体比它们各自的任务更重要。这是我们的解读,也是这篇文章一直在朝向的解读:剧本把机制说对了,把单位说错了。
“有时认真对待科幻小说是值得的”,Good在第33页写道。六十一年后,他论文中几乎每一行旁边都有一幕正在上演。唯一还没有场景的那一行,是他在同一口气里附加于承诺之上的条件,整桩交易赖以成立的那一个:前提是这台机器足够温顺,愿意告诉我们如何将它置于控制之下。