斯坦福 CS329A 自我改进 AI 智能体 · 第 9 讲：未来研究方向

最后一讲回到课程对智能体的定义：面向目标的系统与环境交互，接收反馈，再改变下一步行为。研究议程追问，这个循环还在哪些位置依赖脆弱数据、薄弱验证或昂贵计算。

讲者围绕多样推理、检查评判器、生成有用课程，以及改善推理效率组织讨论，也追问经验怎样才能比离线收集数据、再微调的循环更持续地转成学习。

这些是带有潜力工作示例的研究方向，不是宣布通用自我改进已经解决。课程反复依赖特定环境与评价信号，尤其是代码和数学。

单个模型为自己生成微调数据时，可能反复产生相似回答。课程讨论了专门的生成智能体与批评智能体，作为拓宽初始解法、再通过讨论修订的一种方式。

每一轮共享或总结其他回答，批评更新后的答案，再生成下一次尝试。描述的训练用基于多数意见的信号过滤输出，并微调参与模型。报告实验同时追踪表现与回答差异。

多数同意与嵌入距离，都不能建立真实性。同一基础模型的多个变体可能共享错误，额外生成也消耗计算。提案的价值是尝试在多轮中保留有用多样性，而不是假设更多智能体就意味着独立验证。

证明验证的讨论区分了最终答案匹配，与推导是否严谨。语言模型评判器可能接受无效证明，也可能因为一个实际上不存在的问题，批评有效步骤。

课程描述的 DeepSeekMath-V2 架构加入元验证：审查验证器的分析，问它指出的问题是否存在、所给分数是否由分析合理推出。专家对批评质量的标注，帮助建立这个信号。

18:20查看原图

这检查的是原证明之外的另一个对象。它可以改善评估需要给出理由的激励，但仍是学习型验证，不是形式化证明检查器。增加一层，也不消除所有不确定性，更不证明所有领域都不再存在评判依据的问题。

任务生成的讨论在后文被明确称为 Absolute Zero 工作，它追问一个模型能否同时提出任务并解题。代码环境让程序、输入与输出之间存在可通过执行检查的具体关系。

提出者被奖励去寻找接近解题者当前能力边缘的挑战：不简单，也不难到所有尝试都失败。此前任务的缓冲帮助约束后续提案、鼓励多样性。解题者改善之后，课程也能变化。

“没有人工整理提示”有明确范围，不意味着没有预训练、没有人设计的环境，或没有先验知识。环境验证与奖励构造，仍决定生成的课程是否真正有用。

课程描述了在拟议编程任务进入训练前，进行完整性、执行与可重复性检查。这有助于拒绝格式错误的任务，让奖励更可靠。

但环境内部一致，并不意味着它就是最终关心任务的好替身。结尾问题明确回到这个区分：创建模拟，与证明它能有效代表现实交互，是两件事。

从自提出代码任务迁移到数学基准，是研究设置中有希望的证据，却不证明能迁移到所有主观、物理或专业领域；在那里，反馈可能更慢，正确性也可能没有那么清晰。

讲者用芯片模拟和实验室实验说明昂贵反馈。结果可能可以观察，却需要几天才能取得，让数千轮强化学习迭代难以实施。

替代奖励模型可以从此前数据预测昂贵工作的结果。这样将成本移到离线、加快循环，却加入预测误差，也可能让优化在替代模型不可靠的区域钻空子。

主观工作带来相关但不同的挑战：奖励可能无法完整代表人的价值。将大问题拆成可验证部分可能有帮助，却仍需检查组合与最终目标。这些策略都不会让困难反馈问题自动消失。

效率部分考察，当前由云端服务的一部分需求，能否转到本地模型与硬件。动机结合了小模型改善、设备内存增长，以及许多查询可能不需要最大系统的观察。

关键在于“一部分”。写作或实用建议等类别，包含难度差异很大的任务。报告研究评估的是选定查询集合与推理任务，不证明这些类别里的每个请求都简单。

同样，模型装得进内存，也不等于服务问题全部解决。量化、延迟、功耗与回答质量，都会影响本地部署是否有用。课程提出的是需要测量的方向，不是所有推理都应该放到笔记本上的全面建议。

讲者将每瓦智能定义为：评估中的平均任务准确率，除以平均功率。它有意将能力指标与硬件效率指标结合。

47:40查看原图

这不是通用的智能单位，也与完成一次查询所需能量不同，因为功率和总能量并不相同，时间也重要。课程同时考虑延迟和其他服务测量，而不是只有这个比值。

研究对本地模型的定义、硬件比较和查询混合，界定了结论范围。低功耗设备不自动在综合指标上更高效，某个两年期间的改善，也不保证所有模型或加速器未来都以相同速度进步。

一种可能未来是结合本地与云端推理，依据任务复杂度和资源需求路由，再针对实际硬件与工作负载优化模型结构、内核和服务引擎。

这条路线需要证据：哪些任务本地模型能处理，什么时候更大或远程系统值得使用？课程把混合服务作为研究方向，不是已经交付、能够解决路由错误的机制。

推理时扩展让系统问题更加丰富：并行候选、修订、工具调用和共享上下文，与孤立的一次聊天回答具有不同吞吐和延迟需求。效率必须在整个过程上测量。

持续学习的讨论质疑了当下“先收集经验，之后再微调”的分离。讲者追问，成功与失败尝试，能否更自然、更持续地改善模型。

记忆数据库是一种不改权重就保留信息的方式，但模型仍需检索并推理这些信息。保存记录，不确保它已经学会在新领域使用记录所需的技能。

课程想象了对无限上下文的完美访问，随后明确说，这种能力目前并不存在。它也将基于激活或缓存的路线，与权重更新一起讨论。这些是不同研究路径，不证明更大记忆库或持续微调中的任何一种总是充分。

结尾提醒，方法变化很快，底层问题却持续存在：什么带来有用多样性，什么能验证评价，哪些任务构成可学习课程，一个结果的服务成本是什么？

每项提案都应在测试过的边界内评估。代码环境可以提供具体执行反馈，非形式化证明批评器提供学习型判断，效率比值则依赖工作负载和测量过程。

课程最后的讨论是在打开问题，而不是认证下一套系统将无上限改善。一个有价值的后续实验，应该说明要测试什么假设，以及什么证据会表明所提出的循环已经失败。