斯坦福 CS329A 自我改进 AI 智能体 · 第 3 讲：稳健验证

语言模型可能在许多次尝试中生成过正确解答，却仍向用户返回错误答案。CS329A 第三讲沿着四篇论文，讨论如何缩小生成与验证之间的差距：学习型答案验证器、人工监督的过程奖励、自动收集的过程标签，以及多个不完美评估器组成的集成。

这条发展路线改变了监督信号从哪里来、计算花在哪里，却不会把一个分数变成真实答案。验证器可能排错候选，过程标签可能反映了不足的后续采样，集成里的模型也可能共享同一个盲点。

因此，反复出现的问题是：分数依据什么证据，如何被使用，最终系统是否真的交付了更多正确答案？这比简单增加一个名为“评判器”的模型，提出了更严格的要求。

第一篇论文介绍 GSM8K，以及面向小学多步数学题的验证器。生成器为每道题产生多个解答，已知最终答案提供了标记依据，用来判断生成结果是否到达期望答案。

基于语言模型的验证器从这些例子中学习。课程介绍了二元正确性目标与语言建模目标，并说明如何用最终分数排列完整回答。测试时，系统采样候选，再返回验证器评分最高的一项。

它与直接微调生成器的区别很重要：生成器可以保持通用，验证器则学习任务相关的选择信号。历史训练流程展示的是这种分工，不是要求今天所有验证器都使用同样的训练轮数或采样数量。

讲者讨论了生成器与验证器规模、训练集大小和候选数量等实验。在报告的比较中，大生成器搭配小验证器表现不错，但寻找合适的成本与质量前沿，仍被作为研究问题提出。

候选数量尤其能暴露问题。学习型验证器在多数投票已经停滞的区间之后，仍能继续带来收益，但最终交付准确率也会停止上升，甚至下降。图中衡量的是被选中的答案，而不仅是候选集合里是否存在正确答案。

候选更多时，错误回答也可能获得具有迷惑性的高分。因此，增加生成既改变成功机会，也改变选择难度。选择器不完美时，覆盖率上升与最终准确率下降并不矛盾。

第二篇论文《Let’s Verify Step by Step》区分结果监督与过程监督。结果模型为整段回答标记，过程模型则接收中间推理步骤的标签。人工标注可以将步骤标为正面、负面或中性。

动机是结果标签容易漏掉的一类假阳性：无效推理可能碰巧得到期望的最终答案。步骤级监督为定位错误、分配功劳提供更精确的位置。PRM800K 指的是约八十万个步骤标签，而不是这么多道独立题目。

课程用一道分数题展示区别：前面的步骤都对，最后却可能出现简单算术错误。逐步判断有助于找出失败位置，而不是把整条路径看成不分层次的成功或失败。

在所研究任务中，报告的过程模型能够更好识别罕见正确解答，也表现出一定分布迁移能力。但比较标签数量，不自动等于比较标注劳动：一个结果标签与多个步骤标签，需要的工作不同。

学生还追问：某一步能否看起来很好，却没有帮助形成有效解答？生成器能否跳过推理，利用评估器的漏洞？讲者区分了固定生成器下的候选选择，与将生成器对着奖励进行训练的情况，后者可能学会钻奖励的空子。

结合结果与过程信号可能有帮助，但也引入阈值和更多调参。人工标注可以表达什么样的过渡合理，却不能让学出来的每个分数都绝对可靠。系统仍需检查反馈在奖励哪些错误、忽略哪些错误。

Math-Shepherd 追问：能不能不让人逐步标注，也收集过程标签？它从某个中间状态出发，采样若干后续延续，再将最终答案与已知结果比较。

硬标签只要有一个延续达到正确答案，就记为正；软标签则记录成功比例。示例中，三个延续有两个成功，因此硬标签为正，软值为三分之二。

40:40查看原图

这里估计的是，在被采样的后续路径下，到达正确结尾的潜力；它不是当前步骤有效性的逻辑证明。方法减少了逐步标注工作，却仍依赖已知最终答案，以及后续采样策略能发现什么。

课堂讨论指出了两种相反错误。某条有希望但少见的路径，可能因少量采样没有找到成功延续而被记零；一个错误中间步骤，则可能因为后面纠正了错误，或碰巧得到正确答案，而获得功劳。

增加采样可以改变估计，却不保证错误消失。面对很难的问题，所有被采样的延续都可能失败，无法提供多少有效信号。这些是标签构造方法的局限，不会因为标签是“自动的”就被解决。

所得过程奖励模型既可在推理时选择答案，也可用强化学习训练生成器，两种用法都依赖其质量。课程报告的是实验改进，讲者也提到收益趋于停滞，以及固定计算预算下仍未解决的比较问题。

Weaver 选择另一条路线：组合现有验证器，包括结果模型、过程模型和语言模型评判器。“弱”指不完美，并不是研究者故意挑选糟糕评估器。

流程为候选评分、归一化输出，利用少量已标注证据过滤低质量验证器，再估计聚合权重。简单平均也可能有帮助，但增加评估器数量并不保证单调改善。

56:20查看原图

课程对弱监督的解释依赖验证信号的独立性假设。如果多个评判器对一切都完全一致，就不会增加多少新信息。多样性的价值在于信号是否提供关于正确性的额外信息，而不是人数更多就构成了独立证明。

接近结尾的 Weaver 结果，衡量的是被选中解答的准确率，而不仅是候选覆盖率。这与“理想选择器能够在候选中找到正确答案”的图，属于不同类型的证据。

某些图例使用“无监督”标签，但课程描述的一个变体，仍用少量已标注子集进行过滤。忠实介绍应该说明这种依赖，而不是将方法改写成完全没有标签信息。

同样，小型开放模型与更大模型、专有模型的比较，属于特定历史基准与预算，不能证明所有任务上模型类别完全等价。本文也不声称重新复现了实验。

集成需要为每个候选运行多个验证器。因此，课程讨论将集成信号蒸馏到更小模型，在另一次训练投入后降低线上计算。

报告中保留教师模型很大一部分准确率，是相对于该教师和实验而言的，不等于每个蒸馏答案都具有同样数值的绝对正确概率，也不是其他工作负载都能获得相同计算节省的保证。

最后的问题回到更广泛的目标：提高第一次回答的质量，同时不要抛弃所有多样性。让模型更集中于一种回答，可能提高效率，也可能减少值得探索的替代路径。稳健验证有助于处理这种张力，但不会让未来如何平衡成为既定事实。