Anthropic 研究员辞职警告 AI 失控风险,内部员工公开回应

Anthropic 研究员辞职警告 AI 失控风险,内部员工公开回应

曾在 Anthropic 与 OpenAI 任职的研究员 Jacob Coxon 公开辞职并警告前沿 AI 开发方向,引发业界对"自我改进超级智能"风险的集中讨论。

阅读原文
发布日期2026-09-15
热度指数88
阅读时长1934 字

事件:研究员公开辞职并警告"拿人类生命赌博"

一位曾在 Anthropic 和 OpenAI 都做过研究工作的研究员 Jacob Coxon,本月初公开宣布从 Anthropic 辞职。他在 X 上连发数条长帖,指责两家头部 AI 公司"正竞相冲向自我改进的超级智能,拿我们的生命赌博",并称自己认识的开发者"真心相信 AI 可能在本十年末(2030 年前)毁灭所有人"。这条帖子累计浏览量超过 7000 万,是目前硅谷 AI 安全讨论里被转发最多的一次个人发声。事件被 CNBC、美联社、CBS、PBS、福布斯等多家权威媒体跟进报道,也成为 9 月份国内知乎等平台讨论度最高的 AI 话题之一。

递归自我改进为什么是这个警告的核心

Coxon 警告之所以没有停留在一般性的"AI 有风险",是因为他点名了递归自我改进(recursive self-improvement,简称 RSI)。人话解释:RSI 指 AI 系统不需要人类干预,就能自己设计并开发出更强的下一代版本,一代比一代强。目前 RSI 还没真正实现,但 Anthropic、OpenAI 都承认它一旦到来,会让人类更难保持对系统的控制。Coxon 的原话是"两家公司都没有负责任地行动",而 Anthropic 的对齐负责人 Evan Hubinger 随即公开回应"Jacob 说得对,我们确实真心相信 AI 可能杀死全人类,我个人认为十年内概率超过 10%"——连现职安全负责人都在公开承认这家公司自身还没有解决超级智能对齐问题的方法。这一"内部员工公开赞同辞职警告"的细节,是过去类似辞职事件里都不曾出现过的,也是这次讨论烈度更高的原因。

这不是第一次"AI 毁灭论",这次为何不同

"AI 可能导致人类灭绝"的说法并非新闻。2023 年,OpenAI CEO 奥尔特曼和 Anthropic CEO 阿莫代伊就共同签署过一份声明,把"降低 AI 灭绝风险"列为与核战争、大流行病同级的全球优先事项;今年 7 月还有约 1400 名 AI 研究者联署了名为"Pacing the Frontier"的公开信,呼吁美国政府开发工具、有意识地放缓自动 AI 开发节奏。Coxon 这次的不同之处在于两点:一是他同时在两家头部公司干过三年研究,属于"内行提醒"而非外部批评;二是有仍在职的关键研究员公开背书,让讨论从"个别离职者的情绪化表达"升级为"业内对失控可能性的集中共识"。

这波 AI 安全讨论对普通用户意味着什么

对大多数正在用 ChatGPT、Claude 等工具的普通用户,Coxon 本人也说得很清楚:现阶段这些 AI 用于日常问答、写作、编程是安全的,并不构成眼下能感受到的威胁,普通人不需要因为这次警告就停用工具。真正需要关注的,是这类声明会不会推动监管和公司行为发生变化——比如是否会有强制性安全审查、第三方透明审计、或对高风险模型训练节奏的约束。如果你在开发或部署依赖前沿模型的业务,建议把这当作一个信号:头部厂商的安全能力、发布节奏和合规话术都可能在未来半年被重新评估,选型和采购时应把"模型提供方的安全治理"也纳入考量,而不只是看性能和价格。

如何自己验证这一事件的真实性

想自己核实,最直接的是看 Coxon 在 X 上的原始发帖(他账号为 @hilbertspaess 相关,CNBC 报道内嵌了原始链接),以及 Anthropic 对齐负责人 Evan Hubinger 的公开回应。其次可以交叉对照 AP、CNBC、CBS、PBS 等多家不同媒体在 9 月 9 日至 11 日的报道,多家独立信源对"工作两家公司三年""7000 万浏览量""十年内概率超 10%"等关键事实表述一致。需要注意的区分是:Coxon 的身份是"前研究员"的个人观点,不代表 Anthropic 或 OpenAI 的官方立场;两家公司都否认会不计后果地开发,Anthropic 官方回应称自己一直公开承认 AI 利弊并存、并持续投入最强的安全防护。

行业影响与下一步关注什么

这次事件最直接的影响,是把"放缓前沿 AI 开发"从实验室内部的学术讨论推到了大众舆论和监管部门面前。紧随其后,Anthropic CEO 阿莫代伊发表了呼吁全行业放缓的公开长文,OpenAI 首席科学家 Pachocki 也撰文承认"没有一家公司已把对齐做到可以持续全速扩张的程度",微软 CEO 纳德拉则宣布对自研 MAI 模型引入行为准则征求意见——一系列头部表态都发生在这次辞职事件发酵的一周内。值得跟进的方向有三个:一是各家实验室的"自我约束承诺"(如阿莫代伊提出的嵌入式评估员框架)是否真的落地;二是美国国会已出现的 FRONTIER Act、禁止人工超级智能法案等立法动议的进展;三是下一代旗舰模型(如 GPT-6 Astra、Claude 的继承者)的发布节奏会不会真的放缓。这些都会直接决定你手上的模型今年能不能用、该怎么用。

来源与说明

本文由 AI 潮汐编辑部基于官方公告与公开资料整理,补充了行业影响、适用场景和行动建议,帮助你在阅读原文前先理解这条信息为什么重要。

原始来源:https://www.cnbc.com/2026/09/09/anthropic-researcher-quits-ai-safety.html

如发现事实、价格或链接有误,可通过 联系我们 提交更正。

常见问题

这次辞职警告意味着 AI 马上会失控吗?

不是。Coxon 本人也明确说,现阶段给普通用户日常使用的 AI 是安全的,不构成眼下可感知的威胁。他的警告指向的是未来数年内的递归自我改进风险,属于"提前预警"而非"现在就要出事"。

我该因为这件事停用 ChatGPT 或 Claude 吗?

不必。当前这些工具用于日常问答、写作、编程没有明显安全风险。真正值得做的是降低对单一高风险模型的过度依赖,并在选型时把厂商的安全治理能力纳入评估。

为什么现在的 AI 公司一边卖模型一边说"可能毁灭人类"?

这正是业内争论的焦点。公司公开承认风险,是为了推动监管和公众讨论、避免被指责隐瞒;但同时它们又按商业节奏持续发布更强模型,形成"一边警示一边推进"的局面。这也是 Coxon 和多位现职研究员所批评的核心矛盾。

递归自我改进(RSI)现在实现了吗?

还没有。RSI 指 AI 能自行设计更强的下一代模型,目前包括 Anthropic、OpenAI 在内的公司都承认尚未实现。但它被普遍视为一旦突破就会让人类更难保持控制的关键拐点,因此成为本轮安全讨论的重心。

信息以哪里为准?

以 Coxon 在 X 的原始发帖、Anthropic 对齐负责人 Evan Hubinger 的公开回应,以及 AP、CNBC、CBS、PBS 等多家媒体的交叉报道为准。个人观点与公司官方立场需要区分,Anthropic 已给出否认"不计后果开发"的官方回应。