斯坦福 CS329A 自我改进 AI 智能体 · 第 6 讲：训练时扩展与 RL 扩展

CS329A 第六讲从“为一次答案增加计算”，转向改变产生未来答案的模型。最简单的循环是生成、评价、过滤，再训练。STaR、DeepSeekMath 的 GRPO 和 DAPO，展示了构建与稳定这个循环的不同方式。

它与推理扩展的区分仍很重要。增加候选采样保持权重固定，微调或强化学习则更新权重。某个场景的收益，并不能直接决定全部训练与服务资源的最佳分配。

讲者强调实现细节。奖励必须包含有用差异，基础模型必须能够到达一些成功行为，训练也必须保留足够探索。更多计算不能替代这些条件。

STaR 从少量包含问题、推理过程与答案的示例开始。这些示范引导模型，为更大一批已知最终答案的问题生成推理过程。

方法保留成功输出，再用形成的问题、推理与答案样例微调模型。过程可以重复，让改进后的模型继续产生下一轮训练材料。

这是自举流程，不是完全没有外部参照地创造数据。已知答案提供过滤依据，也意味着初始模型至少要能解决部分相关问题；如果循环没有成功例子，就缺少可供学习的正面材料。

对于模型失败的问题，STaR 提供正确答案，请它构造通向该答案的推理。所得样例随后可以在常规输入不暴露答案提示的情况下使用，仿佛模型直接解出了问题。

这把训练集扩展到初次尝试没有答对的问题，但依赖模型在看到答案后，能够生成有效解释。即使有提示，难题仍可能超出能力范围。

课堂讨论的原始流程，并不独立验证每个生成推理步骤。正确最终答案只是过程质量的替代指标。学生明确指出风险：模型可能学到看似合理、却包含无效推理的事后解释。

历史实验包括常识推理、数学和合成算术。课程介绍了有用收益，也保留合理化结果不一致、某些场景下优质直接微调能带来相近收益，以及多轮迭代改善趋于停滞的情况。

提示风格会影响收集到的推理，因此数据可能继承示范的格式与偏差。人工在定性比较中更喜欢某些解释，是针对那些例子的证据，不是所有推理链都有效的证明。

更强教师提供另一条路线：将其输出蒸馏到小模型。课堂区分了这种实践选择，与研究模型如何从自身行为自举。无论哪种机制，训练样例质量都不会因此变得无关紧要。

DeepSeekMath 的讨论从基础模型和数据开始。讲者描述了从偏向代码的模型出发，再从网页精选数学材料，而不是假设强化学习算法本身能够补齐缺失的领域能力。

论点针对报告的设置：数据覆盖与既有代码能力，帮助建立能够产生有用数学回答的模型。它不应被改写成“学术论文没有训练价值”，或“任何代码模型都自动是数学高手”的普遍断言。

这种准备与自举要求相连：只有系统产生了足够可区分的行为，奖励才能偏向更好的候选。数据工作与优化，是故事中相互补充的部分。

GRPO 减少了基线对单独学习的价值评估模型的依赖。对于一个问题，它采样一组回答，利用组内奖励分布构造相对优势。

课程给出的直观计算，是用某个回答的奖励减去组均值，再依据组内离散程度缩放。回答相对于同组其他回答被评价，而不只依靠孤立的绝对标签。这可以减少与训练价值评估模型相关的内存需求。

这个标量解释的是基线，并非完整算法。策略约束、裁剪和其他实现细节仍然重要。某张训练图里的模型副本数量，不应被当成所有实现通用的内存公式。

如果一组回答全对，或者全错，组内比较就缺少有用的优势差异。这与“简单任务永远无关紧要”，或“全错的问题在根本上不可能解决”不同。

关于能力退化的讨论又提出另一个问题：优化新基准，可能改变其他行为。让策略靠近参照可以限制漂移，却不是其他无关能力绝不退化的证据。

讲者也区分了更稳定的成功，与覆盖此前无法解决的问题。多数投票表现提高，可能反映答案分布发生变化，不能自动宣传成已经产生全新的通用能力。

DAPO 从长推理训练的不稳定性切入：熵可能塌缩，策略可能过度自信，回答长度也可能难以控制。单看一条损失曲线，无法诊断所有这些行为。

其中一项调整使用非对称裁剪，为低概率选择提供更大的上升空间。课程将其与维持探索联系起来，避免过早收窄策略输出分布。

熵仍然只是替代指标。过低可能意味着探索塌缩，但更高并不总是更好，也不能证明正确性。训练过程必须同时观察行为多样性与解答质量。

动态采样先过采样，再排除回答成功结果全都相同的组。它保留包含有用差异的组，试图为相对优势更新维持有效批次。

56:10查看原图

它不是丢弃每一个奖励为零或一的回答。恰恰是这些结果，才能在混合组里形成有用对比。理解方法时，过滤单位非常关键。

课程中的采样数量是示例，或属于论文具体设置。过滤全错组，本身不会教模型解出那道题；它让当前更新更有信息，同时仍保留基础能力与数据选择这两个独立约束。

长回答会让损失如何聚合变得重要。逐词元聚合对不同长度回答的权重，与让每个完整样本具有相同整体贡献不同；这也不等于一条惩罚所有长推理的规则。

课程另外讨论过长与被截断的回答。如果草率处理，未完成轨迹可能引入噪声信号，因此过滤和渐进式过长惩罚，处理的是训练问题的另一个部分。

报告的消融实验组合了多项调整。历史分数提升，并不是可以向新训练任务承诺的普遍可叠加收益。更广泛的经验，是同时监控回答长度、熵和奖励差异，再将观察与实际更新联系起来。

课程对比了推理自举的易用性、组相对优化的内存收益，以及长推理强化学习的工程要求。优质监督数据可以是一条实用途径，强化学习则需要基础设施和值得优化的奖励信号。

结尾的问题仍然开放：改善有多少来自既有行为更常出现，怎样从失败中学习，怎样避免强策略利用弱奖励。讲者对特定结果的解释，不应变成“强化学习永远不能增加能力”的普遍定理。

有用评估要问，究竟什么改善了，在什么留出任务上，以什么成本，以及依靠什么验证条件。更多验证器不会自动修复数据泄漏或缺少训练信号。循环应通过这些检查赢得信任，而不是凭“自我改进”的名称。