斯坦福 CS329A 自我改进 AI 智能体 · 第 7 讲：自我改进与深度研究智能体

CS329A 第七讲连接了两种“搜索”。AlphaCode 在大量生成程序中搜索，Search-o1 则在推理模型解题时检索外部知识。两种情况下，找到更多材料，都只是问题的一部分。

编程系统必须决定，哪些候选值得占用有限提交名额；研究系统必须决定，哪些段落真正帮助当前推理。糟糕的选择可能浪费优秀生成器，也可能让有用证据淹没在噪声中。

因此，共同经验是在约束下筛选。但信号与失败方式仍不同：可执行代码测试检查特定行为，检索来的文档则仍需解释与来源评价。

竞赛编程要求系统理解题目、选择算法，再产生满足输入输出约定的程序。这与补全一行代码，或填充解题思路已经很清楚的短函数，是不同任务。

历史上的 AlphaCode 流程先训练代码模型，采样大量候选程序，再用题目里的示例过滤。随后依据程序在生成输入上的行为分组，选择代表参与评估。

行为分组的价值在于，语法不同的多个程序，在探测输入上可能表现一样。但它不是完整语义等价的证明。通过少量示例测试，也只是初筛；隐藏评估仍对提交程序提供更强检查。

课程区分 pass-at-k 覆盖率，与 10-at-k 这类有限提交指标。前者问 k 个生成候选里是否包含成功，后者还检查过滤与聚类能否从候选池选出有用提交。

如果评估只允许十次尝试，生成一百万个程序的系统不能将它们全部提交。重复的近似候选会浪费名额，因此选出候选之间的多样性很重要。

这解释了为什么生成覆盖率上升时，选择瓶颈仍可能存在。最终结果属于整个流程，包括拒绝了什么、保留哪个代表，而不只属于采样器。

学生问，较好的趋势能否外推到远多于当前的采样数量。讲者把它视为有条件的可能：新增采样必须继续产生有用多样性，成本也必须可以接受。

如果更多计算只是再次生成同样思路，候选池虽然扩大，能力可能并未增加多少。更强基础模型有时能够以更少候选达到相同结果，比单纯大幅增加采样数量更直接地改变成本。

课程还指出，训练损失不是解出竞赛题的完美替代指标，一些算法类别仍很困难。观察到的扩展曲线值得研究，却不能成为无限外推性能的承诺。

AlphaCode 2 从现有 Gemini Pro 模型开始，针对任务微调。课程描述了一组旨在产生多样解法的变体、更好的数据，以及用于候选正确性判断的学习型评分模型。

采样流程编译和测试候选，过滤失败项，将剩余程序聚类，再用分数选择代表。学习型排序器在启发式分组之外增加信息，但仍是近似，而非理想验证器。

29:20查看原图

因此，报告的收益同时涉及更强基础、多样性、数据和选择，不能仅凭整体比较归因于某一个部件。较高拒绝率也说明，即使结果很强，仍可能付出大量无效生成和评估工作。

课程将 AlphaCode 2 描述为，在所评估竞赛中，能够与较强人类选手竞争。这是有意义的历史结果，却不等于在所有软件工程工作或每种编程任务上都更优。

不同竞赛的结果会变化，突出个例不应替代整体比较。课堂讨论了自适应预算、修订和分解等可能扩展；这些想法，与引用系统已经展示的能力不同。

值得问的是，流程里的哪些部分可以迁移：多样性、有限名额选择、执行证据，还是学习型评分器？答案取决于新任务的反馈，而不是把竞赛百分位当成通用智能分数搬过去。

Search-o1 处理复杂推理过程中的知识缺口。模型可能推理很久，却缺少某个新事实、陌生术语，或只有完成前一步后才需要的信息。

一次性检索基线在开头获取文档，这可以有帮助，但后续子问题可能需要不同证据。课程将这种基线，与随着推理展开而生成新查询的系统对比。

这里区分的是被比较的方法，不是规定所有检索增强系统都只能搜索一次。重要设计选择是，系统能否注意到信息需求，并在相关时刻获得有用证据。

仅仅附加许多原始文档，可能让提示更长，却没有让所需事实更容易使用。课程的化学例子对比了猜测、插入较长检索材料，以及先提取相关信息再继续推理。

Search-o1 的文档内推理模块结合查询与当前推理，分析检索材料，再返回更集中的知识片段。这相当于在检索工具内部增加一层过程，而不是将检索当成原文倾倒。

56:20查看原图

提取本身也可能遗漏或歪曲信息，因此相关性与来源忠实度仍需评估。机制试图减少噪声，不代表每份摘要都正确，或每个检索结果都权威。

课程描述了触发搜索的标记，以及在检索期间保留当前问题和推理上下文的缓冲。返回信息进入下一步，而不是让任务变成一份与原问题无关的文档摘要。

如果第一次结果仍有缺口，迭代查询允许继续搜索。这对多跳问题有用，因为下一个实体或关系，可能只有此前证据到来后才显现。

可见的不确定词，并不是对所有缺失事实都校准良好的检测器。最后讨论仍回到过度自信：模型语气确定，也可能错误。工作流需要证据检查，不能只依据推理听起来多有把握。

报告的实验显示，当方法能够提取相关信息时，更多文档可以带来收益。这个条件很重要。新增噪声或仍然缺少关键来源，不会因为文档计数上升就自动变得有用。

讲者也将与专业人士的比较限定在被评估题型，而不是宣称全面超过专家。检索精确率与召回率在讨论中被提出，却没有在课上得到完整分析。

因此，历史基准收益支持继续研究机制，不构成当前最优表现的宣称，也不保证所有科学领域都有效。文章保留这个范围，而不把有限比较改成通用研究资格。

贯穿编程与研究示例，系统可用输出都依赖选择和组织信息。程序聚类避免浪费提交名额，文档分析避免把上下文浪费在不相关文字上。

这些操作也引入失败位置。选择器可能丢掉罕见正确程序，提取器可能漏掉决定性段落。它们的质量必须与生成器、检索器一起衡量，不能由基础模型强就默认成立。

课程简要对比了基于提示的 Search-o1 与强化学习搜索工作，但没有详细覆盖后者。更持久的问题超出具体名称：系统找到更多可能性或参考之后，最终选定的答案究竟依据什么？