斯坦福 CS329A 自我改进 AI 智能体 · 第 5 讲：规划与多步推理

CS329A 第五讲将 LATS、SPRINT 和 SWiRL 放在一起。它们都处理多步推理，却介入不同位置：探索替代行动轨迹，找出可以同时运行的独立工作，或者利用收集好的上下文训练模型选择更好的动作。

保留这个区分，可以避免得出“规划更多就能解决所有任务”的模糊结论。搜索更多分支需要计算，并行执行需要真正独立，依据动作评分进行训练则取决于评判信号是否对应有用行为。

共同目标是，让下一步掌握更多信息，同时不丢掉整个任务。课程示例展示了怎样组织过程，以及假设会在哪里成为限制。

Language Agent Tree Search 将推理、行动与规划同蒙特卡洛树搜索的思路结合。系统不再只是生成一个计划并执行，而是采样可能动作、取得观察，再扩展选中的轨迹。

迷宫示例从打开左门、打开右门或检查房间等选项开始。动作执行后，观察被加入上下文。状态价值结合语言模型对前景的判断，以及动作被采样频率构成的自洽信号。

两个部分都是估计。经常被提出的动作不自动正确，自信的评判器也可能出错。它们负责引导下一条要检查的轨迹，而不是在环境尚未给出结果前，提前认证成功。

UCT 在利用高价值状态与探索较少访问的子节点之间取舍。相对访问次数鼓励搜索去看一条可能被纯贪心策略忽略的分支。

模拟轨迹成功、失败或耗尽预算后，回报沿访问路径更新价值。这里的反向传播更新的是搜索统计量，不是用神经网络梯度修改语言模型权重。

LATS 还将对轨迹的反思放入上下文，供后续尝试参考。课程报告了在所研究多跳问答与模拟购物任务中的收益，却没有声称这种探索公式已经被证明在任意语言智能体问题上全局最优。

课程明确指出两个限制。树扩展和反复评价会增加成本，而引用的工作并未充分分析成本收益。基准表现强，并不能单独证明部署经济划算。

第二个限制是不可逆性。模拟动作可能容易重新尝试，真实交易或付款却未必如此。探索多个可能分支，不应意味着随意执行每一个具有实际后果的动作。

这是方法对环境的假设，不是规划器可以忽略的小细节。树表示也不会自动解决所有重复状态或任意图结构问题。任务的状态、动作和回退属性，决定什么样的搜索适合它。

SPRINT 从一个观察出发：较长推理轨迹里可能包含独立工作。模型处理的某些子问题或计算，不必等待彼此完成。

所描述的数据流程先分割已有推理轨迹，标注规划与执行片段，构建依赖图，再将独立步骤打包在一起。监督微调据此教推理模型，以这样的形式输出计划与执行结构。

底层语言模型仍然预测词元。特殊结构让外部执行过程能够分叉运行独立工作，再将结果同步回上下文。这不是说一条下一词元序列，无需编排就会自然变成多个硬件并行流。

推理时，独立计划可以在不等待每个执行完成的情况下先发出。结果返回上下文后，模型再继续规划，或改变方向。

33:10查看原图

课程报告了所研究模型与任务在顺序词元指标和准确率上的改进，也观察到训练数据集之外的迁移。顺序词元描述的是关键路径上的机会，并不等于总生成词元、真实耗时或全部基础设施成本。

执行较慢的分支仍可能拖延，能并行的宽度也取决于任务。对于较短或简单的推理，规划开销甚至可能让效果差于基线。并行的价值来自真实独立性与运行时利用能力，而不是提示中出现了几个编号计划。

有学生问，各分支单独看都合理，合起来却矛盾怎么办。回应将责任留在最终综合阶段：模型看到返回上下文后，应该在回答前解决冲突。

这种期待是要求，不是保证。顺序推理同样可能包含矛盾，并行执行则增加了需要检查的依赖与同步问题。

讲者在所研究轨迹里观察到，较早阶段探索更广，后期工作更集中。他们把进一步强化学习和运行时优化作为机会，而非所有扩展都已经完成的成果。应评估整个机制，包括它如何识别分支其实并不独立的情况。

SWiRL 处理多步推理与工具使用，同时避免在强化学习更新阶段实时执行工具。工具可能慢、失败，或使训练复杂化，因此方法先离线收集轨迹和环境回应。

迭代提示要求模型一次进行一个步骤：推理、调用工具，或生成最终答案。下一次提示包含此前动作及其观察结果。语言模型评判器为提出的步骤评分，在最终结果信息之外构造过程信号。

因此，“训练时不用工具”有明确范围。数据收集仍会发生工具调用，训练后的系统在推理时也会真实执行工具。它不是在完全没有工具观察的情况下学会使用工具。

在所描述的强化学习过程中，收集好的前缀提供既有上下文与观察，模型提出下一动作。评判器可以评价这个动作是否合理，而不必在更新中执行新提出的工具调用。

60:50查看原图

对于比较年龄的问题，即使评判器不知道返回日期，查询第一个人的年龄也可能是合理搜索。这提供的是动作质量的过程奖励，不是某次实时工具已经返回正确答案的证据。

这种分离让训练更容易实施，却保留一个边界：看似合理的查询，执行后仍可能得到糟糕信息或失败。动作评判器与环境回答不同问题，评估时应继续区分两类信号。

课程报告，对 SWiRL 的强化学习训练而言，依据过程过滤的数据，可能比只保留最终结果正确的轨迹更有帮助。解释是：即使原轨迹结尾不好，模型仍可从有用前缀中学习采取更好的新动作。

监督微调与同一批数据的关系不同。由于它模仿给出的轨迹，错误结尾可能有害；在报告的比较中，同时依据过程和结果过滤，对这个目标更有用。

这些是所描述实验的发现与解释，不是可以把所有错误训练数据都当成有益的许可。数据选择必须与优化目标一起考虑，也包括过程评判器究竟有多可靠。

SWiRL 报告的实验在带计算工具的数学任务，与带搜索工具的多跳问答之间迁移。课程将留出任务上的收益，解释为模型学到了一些超出特定工具的多步动作选择能力。

它也报告训练后过程分数提高。这些是在某个评估器下有信息的测量，不是每一步推理都逻辑有效、或任何新工具无需适配就能工作的独立证明。

贯穿 LATS、SPRINT 和 SWiRL，规划在能说清“改变了什么”时才具体起来：探索的分支、执行的顺序，或学到的动作策略。最终系统仍需检查答案、资源使用，以及让中间反馈有意义的那些假设。