斯坦福 CS329A 自我改进 AI 智能体 · 第 2 讲：测试时计算扩展

CS329A 第二讲追问：保持参数不变，如何让模型实际交付的结果更好？预训练与微调是另外的投入，推理时扩展则改变已经训练好的模型被使用的方式。

重复生成只是第一个例子。课程进一步展开了更宽的设计空间：修改候选、给中间步骤评分、探索多个分支、融合回答，或者搜索整个调用架构。工程目标是在预算约束下取得质量，而不是尽可能多地生成词元。

这也影响如何描述结果。系统可以在内部多次调用之后，只交付一个最终答案。最终回答准确率有意义，却不意味着计算只使用了一次廉价的模型调用。

Large Language Monkeys 反复向模型提供同一个问题，要求生成不同答案。课程讨论的研究发现，增加采样可以提高候选覆盖率，软件工程任务也包括在内。覆盖率的意思是：至少有一个候选解决了问题。

系统仍然需要验证器或选择器，把那个候选返回给用户。因此，小模型大量采样的覆盖率超过另一个模型的单次尝试，是一个特定比较，不是小模型作为线上服务全面更优的证明。

课程反复强调这个区分，因为罕见的成功尤其重要。某道难题的几千个候选里，可能只有少数正确。如果方法只选择常见答案，就可能漏掉那个真正让覆盖率上升的少见解法。

如果某题每次成功概率固定为 p，且各次采样独立，那么 k 次尝试中至少成功一次的概率是 1 − (1 − p)^k。这个式子描述的是满足上述假设的单个问题。

基准则混合了成功概率不同的问题。课程用难题的长尾解释观察到的整体扩展现象：许多题很容易解决，另一些题的单次成功概率很小，需要更多采样才可能命中。

经验曲线有助于估计研究场景中的资源需求，却不保证所有模型、领域或选择器都遵循同一个拟合公式。覆盖率拟合，也不能免除对实际选择机制效果的测量。

课程比较了接近理想条件的选择，与多数投票、奖励模型排序。多数投票可能趋于停滞，而候选覆盖率仍继续上升，因为出现频率并不等于正确性。学习得到的排序器可以缩小差距，却仍可能漏掉难例。

16:50查看原图

在合适领域，形式化证明检查和代码测试可以提供更强信号。例如，把 PyTorch 操作转换为 CUDA 后，比较输出可以具体检查被测输入上的正确性，但不能夸大为针对所有可能输入的等价证明。

有学生明确追问：通过测试，是否仍可能掩盖错误补丁？回答承认，验证器质量与测试覆盖范围都很重要。给某种信号起名“验证器”，不会让它的盲点自动消失。

并行采样独立启动多个候选，顺序修订则让模型重新审视初始方案、改进它，或从另一个角度思考问题。系统也可以结合两者：先让多个候选各自修订，再进行选择。

没有一种模式自动最好。初始方案已有有用内容时，修订可能有帮助；最初方向错误时，探索可能更重要。课程将这些视为需要结合任务和预算评估的选择，而不是一个通用的顺序词元与并行词元比例。

推理模型可能通过训练获得修订行为，外部工作流也可以通过提示要求修订。无论哪种情况，模型确信自己已经完成，都不等于修改后的答案正确。

结果奖励模型为完整回答评分，过程奖励模型则评价中间步骤；这些步骤可以是有意义的推理片段，并不一定逐词元划分。两者都是学习得到的评估器，质量可能随领域变化。

束搜索的示例先生成若干延续，保留评分更高的分支，再继续扩展。因此，过程评分不仅是在最后挑选完成的答案，也改变了计算资源被花在哪里。

这可以将预算集中到有希望的路径，但也让评估器更早产生影响。一个不好的评分，可能在有用分支完成之前就将其丢弃。课程讨论的研究里，领域内训练有帮助；迁移到新任务时，仍然需要检验。

所讨论的研究依据特定模型的单次成功率，将问题分为难度组。因此，这里的难度是可操作、相对模型而言的指标，不是所有系统都一致的内在标签。

在展示的实验中，对于较容易和中等难度的问题，增加推理计算，相比增加预训练可能更有吸引力。对于最难的问题，更强模型在被研究的预算范围内仍可能保持优势。课程并未证明无限采样必定消除所有能力差距。

成本核算也有区别：预训练是可以跨请求复用的共同投入，推理支出则会在每道新问题上重复发生。图中的取舍不是简单的一比一词元价格比较。可行性也很重要：许多团队能购买更多推理，却无法重新运行一次前沿预训练。

Archon 将目标基准、推理调用预算、可用模型和一组操作作为输入，再通过架构搜索，探索怎样连接这些操作，在给定成本下提高质量。

操作包括生成、批评、排序、验证和融合。融合要求模型在看到多个候选的情况下，综合形成新回答。这里描述的是通过提示执行的操作；搜索它们的排列，与更新模型权重不同。

搜索本身也消耗计算。研究者限制了空间，例如从生成开始，让批评先于排序或融合，让测试生成后接评价，再用贝叶斯优化提高配置探索效率。这些约束来自该项目的实验，不是所有工作流都必须遵守的规则。

一项实验比较了随机选择、模型排序、理想选择和融合。讲者报告，融合可以超过从既有候选中选出最好答案的效果。这在机制上并不矛盾，因为融合生成了一个新答案，可能结合多个回答中有用的部分。

理想选择器只能在给定候选里挑选，综合器则可以走出那个集合。因此，这个比较不表示一个可能犯错的模型，神奇地超过了对同一组固定选项的完美验证。

讲者讲到这张图时没有明确辨认具体基准，因此不能靠猜测补上名字。适当的结论是解释机制和报告实验观察，而不是断言混合更多答案永远会提高准确率。

最后的例子包括生成单元测试，以及让模型依据测试条件评价答案。这种评价不一定真正执行代码。对于括号平衡问题，某个性质有助于检查解答，但“长度为偶数”这类必要条件，并不是完整的正确性测试。

课程报告，在所评估任务中，更深的批评与融合组合带来了改进，也包括使用多个开放模型的架构。这些是历史实验比较，不是当前排行榜，更不保证增加一层就值得其成本。

真正有用的评估单位是整个过程：它生成什么、丢弃什么、如何组合证据、返回什么，以及花费多少。一个最终答案可以胜过基础模型的第一次尝试，同时仍依赖一条昂贵、且可能出错的内部判断链。