Agent 的持续进化

这里说的“持续学习”和早年“学了新任务就忘掉旧任务”的研究不是一回事。遗忘只是其中一个子问题。更难的是，没有人告诉模型今天的经历里哪些做对了、哪些做错了。把一百条轨迹塞进长上下文或向量库，能在需要时找回某个案例，但不会自动做跨案例比较：哪些步骤在成功轨迹里反复出现？哪些做法只在旧版接口上有效？某次成功靠的是策略对，还是环境碰巧？

学习发生在系统主动完成“评价、对照、归纳、验证”之后，而不是日志写入磁盘的那一刻。

前面各章提供的部件，本章把它们接成一个闭环

持续进化的起点是第七章的评估。如果系统既不知道任务是否完成，也不知道哪一步导致成败，模型写出来的“反思”就只是猜测。评价一条轨迹要依次回答三个问题：事情办成了没有？是不是用允许的方式办成的？用户舒不舒服？

证据尽量来自真实环境：越靠底层越可靠，越应该优先建。

学习信号只说明 Agent 应当改变，没说改在哪里。事实和经验写成知识文档；能用语言讲清楚的策略写进 Prompt 或 Skill；能精确执行的流程和约束写成程序；感知、语言风格、隐式策略这类高维能力只能进参数。

决定主要载体的是能力的表示性质：它能不能被事实、语言规则或程序完整表达？稳定性、成本和更新频率只影响具体怎么部署。

最轻的进化方式，是把反复出现的经验整理成可检索的文档。它和第三章共用存储、索引和检索，但来源不同：第三章从对话、文档里提取“世界是什么样”，这里从行动轨迹和结果里提取“什么条件下该怎么做”。“该航空公司要求特殊餐食提前 24 小时预订”是领域知识；“订票前先查特殊餐食截止时间，免得付款后才发现办不了”是行动经验。

原始轨迹是证据，知识文档才是复用单元。记录和整理要分开，一次偶然成功或网络故障不能立刻改变 Agent。

知识库给的是“可以参考的资料”，Prompt 和 Skill 规定的是“应该怎样行动”。多条相似轨迹反复暴露同一种策略错误、而且这种错误能用语言讲清楚时，才值得把经验升级成指令。系统 Prompt 对所有任务生效；Skill 只在匹配到某个领域或工具时按需加载；权限等硬约束归程序/Harness。

待验证版本要同时跑两套任务：触发失败的边界集必须变好，正常工作的保留集不能变差。

例子一 · τ²-bench telecom：把“转接人工”的边界写清楚

原政策关于转接只有两条原则：超出动作范围才转接，转接前先尽力解决。换用较弱的模型后，问题暴露：工具报错后 Agent 反复重试，最后转人工收场。

# policy.md（原文不动，只在末尾追加，带出处）
…原有的转接原则…
+ ## 追加规则  来源：提炼集失败轨迹
+ - 需要用户提供的信息，先在对话中询问，拿到后再调用查询工具
+ - 网络状态、SIM 卡、APN 等属于用户设备侧，应引导用户自行操作，而非直接调用

例子二 · 需求澄清 Skill：什么时候先问，问什么

问太少会返工，问太多会打扰。“把登录页改成支持企业登录”，立刻开工就可能替用户在身份提供商、回退方式、兼容旧用户、上线范围上做了决定；每个拼写修复都先问十几个问题，又把简单修改变成访谈。

经验描述的是稳定、重复、可验证的操作时，每次都让模型重读文档再推理并不划算。把它编译成工作流、工具或 Harness 代码，一次探索就变成可重复执行的程序。本节关心的不是一般的代码生成，而是 Agent 怎样根据自己的轨迹修改未来版本的自己。

- fill(to,      "test@example.com")
- fill(subject, "周报")
+ fill(to,      {recipient})
+ fill(subject, {subject})
+ fill(body,    {content})
  pre:  assert visible("发送")      post: assert body != ""
  final: assert 已发送列表包含 {subject}   ← 读真实页面或后端状态

案例 · DeepSeek Harness（dsh）：“一切皆插件”

它的底座 Cordis 论文指出：函数调用、模块导入、类继承是静态组合，编译期就定死；自进化 Harness 需要动态组合，组件要在运行中装入、卸下、重配置。Agent 的每次自我修改，本质上都是一次动态组合。

知识、指令、程序都假设目标能力能被外部符号较完整地表达。医疗影像理解、自然的语音韵律、消除模板化的“AI 味”、长程规划却很难压成几条规则，只能靠后训练写进参数。弯引号的作用域判断处在中间：文档语法边界可以程序解析，语境和例外靠 Skill，跨任务的识别习惯才适合后训练内化。是否参数化也不只看“任务稳不稳定”：新影像设备带来的域偏移仍可能要 LoRA 或持续微调，快速变化的语言风格也能用周期性偏好训练跟上。

另一条正交的轴：优化的是产物，还是产生产物的方法

四种更新方式要进入同一个自主循环，才会从单次优化变成持续进化。更稳妥的做法是双循环：在线循环只做任务、记证据，不直接改写正式 Agent；离线循环聚合轨迹、诊断根因、生成提案，过验证门槛后发布。两者通过版本化的经验库和评估集连接。

正式版本不在运行中直接改写；可信根（权限、审计、验证、回滚）不由普通进化流程自己修改。

9.3.1 · 当“完成”不等于“进步”

Coding、工具调用、业务状态变更有测试、环境状态或确定性规则做快速反馈，闭环最容易成立。开放式科研、战略规划、复杂产品设计则反馈慢、答案不唯一，研究品味和长期价值很难打分。Harness 可能把流程跑得很完整，却只是稳定地产出“像成果的东西”。

自我进化能把一次错误变成长期风险：网页、邮件、工具输出里的提示注入被总结成经验，会跨会话反复生效；自动搜来的恶意软件包被封装成工具，影响会扩散到所有后续任务；有缺陷的验证器会一直批准看似进步、实际退化的版本。所以除了验证“是否更强”，还要限制谁能改什么、依据来自哪里。

睡眠学习：离线整合、遗忘与能力保鲜

“睡眠学习”是认知类比，不要求真在夜里跑。在线 Agent 先完成任务、追加不可变证据；后台进程在空闲期或满足门控时读一批新经历，比较新旧结论、合并重复、解决冲突、提出更新并跑回归。这样一次偶发成功、网络故障或恶意输入不会立刻改写长期能力，整理也能用更大的批量和更便宜的模型。

放在全书结构里，本章构建的是第一章发现循环中的“实验与反馈”环节：提案已经有了，问题变成怎样通过一次基于真实观测的实验，判断它到底有没有让系统变好，再把结果送回下一轮。