EN
返回资讯列表
框架

翁荔提出AI自进化新路径:Harness工程或先于模型权重优化

前OpenAI安全研究副总裁、Thinking Machines Lab联合创始人翁荔(Lilian Weng)在个人博客发表长文《Harness Engineering for Self-Improvement》,系统阐述AI递归自我改进(RSI)的现实路径。她认为,近期内AI自我提升不一定从模型直接改写权重开始,而更可能发生在包裹模型的Harness层——即负责编排模型思考、工具调用、上下文管理、结果评估的执行系统。

核心观点:Harness是RSI的可行起点

翁荔将Harness定义为“围绕基础模型搭建的执行系统”,它决定模型如何观察环境、调用工具、管理上下文、存储状态和评估结果。她指出,Claude Code、Codex等编码Agent产品的成功已证明Harness在AI部署中的关键作用。相比早期Agent框架(LLM+记忆+工具+规划+行动),Harness工程增加了工作流设计、评估、权限控制和持久状态管理,更接近运行时和软件系统设计。

优化路径:从上下文到Harness代码的递进

翁荔梳理了Harness优化的递进链条:prompt → 结构化上下文 → 工作流 → Harness代码 → 优化器代码。具体包括:

  • 上下文工程:ACE(Agentic Context Engineering)将上下文视为持续更新的“操作手册”,通过生成器、反思器和策展人三个组件维护结构化条目;MCE(Meta Context Engineering)进一步将“如何管理上下文”与“上下文内容”拆分为两层优化。
  • 工作流设计:AI Scientist、ADAS、AFlow等工作将Agent工作流本身作为可搜索的优化对象,从人类设计流程演进到模型参与设计,再到流程结构进入搜索空间。
  • 自我提升型Harness:Self-Harness系统通过弱点挖掘、Harness提案和提案验证三个步骤,让模型分析自身失败模式并修改Harness配置。在MiniMax M2.5、Qwen3.5、GLM-5等模型上的测试显示,该方法能学出针对不同模型薄弱点的差异化配置。
  • 进化搜索:DGM(Darwin Gödel Machine)让编码Agent直接修改自己的Harness代码仓库。实验表明,以Claude 3.5 Sonnet为基座,从简单初始配置出发,DGM进化出的Agent在SWE-bench Verified上从20%提升至50%,在Polyglot上从14.2%提升至30.7%,达到甚至超过人工设计水平。

挑战与边界

翁荔坦率列出了当前RSI面临的瓶颈:

  • 评估器太弱太模糊,目前仅代码、数学等有明确客观反馈的任务能跑通自我改进循环;
  • 上下文和记忆的生命周期管理问题,任务越自主,需要管理的记忆越多;
  • 负面结果被系统性忽视,模型在成功案例为主的数据上训练,可能不擅长判断何时放弃假设;
  • 多样性坍缩,进化和强化学习类循环容易收敛到局部最优;
  • 允许程序修改系统层代码会打破抽象边界,reward hacking问题依然存在。

长期展望:Harness改进可能被内化

翁荔认为,Harness工程将朝“元方法论”演进——优化的是“获得更好答案的机制”本身。成熟的Harness能支撑模型自我改进的研究循环,而更聪明的模型能防止Harness被过度设计。最终,许多Harness层的改进可能被内化进核心模型行为,但外部上下文和工具的接口应会保留。这一模式在prompt工程历史上已有先例:随着指令微调和推理能力提升,手工prompt技巧变得不那么核心,但指定目标、约束、上下文和评估的需求并未消失。

2026年7月8日来源:综合整理