斯坦福 CS329A 自我改进 AI 智能体 · 第 4 讲：从工具与代码反馈中学习

CS329A 第四讲比较三种改进模型行为的方式：ReAct 将推理与环境动作交替进行，RLEF 从代码执行中学习，Constitutional AI 则依据人写的原则进行批评。它们都形成反馈循环，但信号含义不同。

搜索结果是观察，失败测试是执行证据，原则指导的判断则是在评价期望行为。它们不能悄悄互相替代。这个区分决定系统能检查什么，以及哪些错误可能持续存在。

课程也区分一次交互中的更好尝试，与更新模型的学习。冻结模型可以在上下文里利用新观察，训练循环则可以在之后改变参数。两者都被称为自我改进，并不意味着机制相同。

ReAct 的基本模式交替出现思考、动作与观察。下一次思考可以使用动作返回的信息，而不是盲目执行一份在证据到来前就写完整的计划。

在历史上的少样本设置中，冻结模型会看到包含这些元素的示范。推理文字本身不改变环境，工具调用才会。提供一组有效动作，可以约束模型下一步的选择，但不能保证所选动作就能完成目标。

这是让回答与外部信息建立联系的一种有用抽象，却不是已经包含所有记忆和会话机制的完整智能体实现。可读的轨迹，也不能被当成每段解释都忠实、每个动作都安全的证明。

课程展示了一道涉及 Apple Remote 与 Front Row 的 HotpotQA 题目。搜索先产生线索，后续查询需要换一种表述，下一步再依据结果调整。推理与检索交替，有助于模型利用不同证据之间的关系。

有学生问，模型如何知道何时需要搜索。讲者指出，模型自信并不可靠，校准仍是未解决问题。应用应重点提供合适工具并检查输出，而不是假设模型总能知道自己知识的边界。

另一个问题涉及相互矛盾的搜索结果。回应强调，需要依据应用进行验证。检索可以减少对无依据内部猜测的依赖，但返回的网页仍需要评价；搜索本身不会把分歧变成事实。

报告的 ReAct 结果，并不是一致超过所有推理基线。在所讨论任务里，允许 ReAct 与思维链自洽方法互相回退的组合，可能比任一简单模式表现更好。

WebShop 增加了模拟购物环境中的顺序决策。其成功指标描述的是完成基准任务，不是证明智能体已经执行了获得授权的真实购买。课程也展示了与人类专家的差距，并指出错误如何在多个步骤间累积。

更大的动作空间需要更多示范，可能挤压上下文；更多推理步骤会增加推理成本。课堂提出的回溯、记忆和更好任务分解，是值得探索的方向，不是已经通过实验证明能治愈噪声反馈的方法。

RLEF 将生成代码视为动作，将测试执行视为观察。模型接收编程题，提出代码，再看到测试通过或失败。失败尝试及反馈可以一起放入上下文，供下一轮使用，直到达到轮数上限。

示例从一个超时的回文问题解法开始。接收执行反馈后，模型改变实现，并通过公开测试。这是一种具体证据：确实运行了测试，而不是另一个模型只说代码看起来正确。

反馈仍有范围。通过现有测试，说明在这些检查下的行为，不是所有可能程序性质。课程的核心结果是：在所研究编程任务中，训练模型利用执行反馈，可以改善后续修复行为。

两层测试策略将较小的公开测试子集交给内层迭代循环，再由隐藏测试为外层强化学习更新提供奖励信息。这里的“私有”是对候选生成过程隐藏，不是用户私密数据，也不是从未使用过的最终评估集。

30:10查看原图

这种分离试图避免把全部学习信号都缩减为即时修复时看见的同一批检查。但用于训练奖励的隐藏测试，仍属于训练的一部分。课堂关于具体消融和术语的争论，并未现场解决，不应改写成已经排除所有过拟合的完整证明。

策略逐词元生成，价值估计则在回答或轮次层面组织。这种混合设计把较整体的奖励分配给生成序列。概念上最重要的区别，是内层使用固定策略，外层依据执行结果更新策略。

课程报告，RLEF 训练后，随着修复轮次推进，解题率提高，错误输出减少。任务属于竞赛编程风格，往往短到可以作为单个解答检查。讲者明确为更难任务需要更丰富反馈留下空间。

二元奖励能够标记成功或失败，但错误轨迹或其他元数据，可能帮助诊断大型系统为何失败。过程奖励、结果奖励、监督微调和固定计算预算比较等问题，仍需结合领域判断。

当代码库超出上下文，学生提出先利用检索、摘要和表示找到相关代码，再打补丁和测试。这些建议将执行循环连接到更大的信息获取问题，却不证明小任务训练结果已经解决任意生产迁移。

Constitutional AI 再次改变反馈来源。人写出描述期望行为的原则，模型依据原则批评和修订回答，修订后的例子再支持监督微调阶段。

进一步的阶段用 AI 生成的偏好训练偏好模型，再由它提供强化学习信号。这减少了为每组生成比较收集人工排名的需求，但人仍在决定原则，以及如何检查评估器。

示例关注帮助程度与无害性。模型必须能识别原则所指的行为，也必须能遵循修订要求。规则写得清楚，并不意味着两种能力自动成立，因此课程后面仍回到与人工判断一致性的检查。

有学生问，宪法原则发生变化后怎么办，旧规则能否被完全移除。讲者将持续学习与可靠遗忘称为开放研究问题。更新文档，不等于已经证明训练后的模型忘掉了此前行为。

帮助程度与无害性的图，也展示取舍，而不是一个无条件总分。在所呈现的比较中，更受限制的行为可能降低帮助程度。Elo 式偏好指标描述的是这些评估里的相对判断，不是所有部署中的安全保证。

因此，课程鼓励寻找目标之间更好的前沿，却没有证明每增加一次批评，就会单调改善每一种性质，也没有把历史上的一套原则规定为所有模型完整且当前的行为规范。

接近结尾时，讲者表示，偏好模型应在验证样例上与人工判断进行比较。大量 AI 反馈可以减少标注工作，却不能取消一个问题：这些反馈是否跟踪了真正期望的行为？

同一个问题连接三篇论文。ReAct 需要有意义的观察，RLEF 需要揭示相关错误的测试，原则训练需要反映所选目标的判断。重复循环，也可能重复其盲点。

结尾讨论保留了领域工作流设计的重要性，即使强化学习正在改善模型。定义明确的游戏，比开放的专业任务具有更清楚的动作空间。更好模型可能自动化更多搜索，但反馈的来源、范围和质量，仍然决定搜索能够学到什么。