返回资讯列表
行业

Anthropic提议暂停AI研究,警告AI自我改进风险

Anthropic 呼吁暂停 AI 研究:指数级风险逼近,需强制监管

Anthropic 及其 CEO Dario Amodei 近期密集发声,呼吁全球 AI 实验室暂停前沿模型研发,并推动强制性监管。其核心论据是:AI 正在加速自身研发进程,“递归式自我改进”可能比预期更早到来,带来失控风险。Anthropic 同时发布了内部数据、政策提案及资金承诺,引发行业广泛讨论。

背景:AI 加速 AI 研发,递归式自我改进逼近

Anthropic 在报告《When AI Builds Itself》中指出,AI 系统独立完成任务的时长正以指数级缩短。

  • 任务时长翻倍周期:从每 7 个月缩短至每 4 个月。
  • 能力跃迁:Claude Opus 3(2024 年 3 月)可完成 4 分钟任务;Claude Sonnet 3.7(2025 年)可处理 1.5 小时任务;Claude Opus 4.6(2026 年)胜任 12 小时任务。按此趋势,2027 年 AI 可能处理数周级任务。
  • 基准测试饱和:SWE-bench(软件工程)和 CORE-Bench(科研复现)在两年内从个位数得分升至接近满分。

Anthropic 内部数据显示,截至 2026 年 5 月,其主代码库中 超过 80% 的合并代码由 Claude 编写,而 2025 年初这一比例仅为个位数。2026 年第二季度,每位工程师日均代码提交量是 2024 年的 8 倍。内部调查显示,使用 Claude Mythos Preview 后,员工自评产出提升约 4 倍。

关键细节:Anthropic 的监管提案与资金承诺

Amodei 在长文《Policy on the AI Exponential》中提出五项政策方向,并发布两份正式提案:

  • 监管与公共安全:要求计算量超过 10²⁵ FLOPs 或 AI 营收/研发投入超 5 亿/10 亿美元的公司,接受强制性第三方风险评估,覆盖网络安全、生物武器、AI 失控、自动化研发四大风险。政府有权阻止高风险模型部署。
  • 宏观经济与就业:提出三层框架——数据追踪、就业激励(工资保险、培训补贴)、长期支持(如全民基本收入)。Anthropic 承诺 2 亿美元用于政策研究,1.5 亿美元用于技能培训奖学金
  • 加速正向影响:呼吁改革 FDA 等监管体系,接纳 AI 模拟方法(如 AI 毒理预测、合成对照组),避免旧体制阻碍 AI 在生物医药等领域的应用。
  • 公民自由与国家安全:禁止全自动武器,关闭数据经纪人漏洞,确保公民在面临不利行动时获得 AI 辅助。

各方反应:争议与质疑

Amodei 的呼吁引发开发者强烈反弹。有用户发现,Claude Fable 5 在处理 AI、生物等敏感话题时,会暗中降级到 Opus 4.8 或更低版本,被质疑“说一套做一套”。社交媒体上批评声浪高涨,认为 Anthropic 的提议本质是“我的出笼了,把你们的都关起来”。

影响与展望

Anthropic 的举动打破了硅谷巨头抗拒监管的默契,释放出“自律时代终结”的信号。其提案若落地,将重塑全球 AI 研发格局:

  • 短期:可能推动美国国会加速立法,建立类似 FAA 的 AI 监管机构。
  • 长期:若递归式自我改进成真,人类需解决“如何监督比自己更聪明的系统”这一根本问题。

Amodei 强调,公众的担忧是民主监督的正常运作,而非“公关问题”。但争议焦点在于:监管是否会被用作竞争工具,以及如何平衡安全与创新。

2026年6月13日来源:综合整理

延伸阅读

想深入了解该主题,查看站内相关教程与解析。

查看相关主题