斯坦福 CS329A 自我改进 AI 智能体 · 第 8 讲：智能体评测与长程任务

CS329A 第八讲追问，当聊天机器人已经能生成流畅回答之后，智能体评估应该测量什么？课程比较三个视角：METR 式任务时域、GDPVal 的专业交付物，以及 DeepScholar-Bench 的研究综合。

这些视角问的是不同问题。一项任务相当于多少人类工作？专家是否更喜欢交付物？研究报告是否找到重要来源，并让论点得到支持？没有一个数字能同时回答三者。

历史结果最有用之处，是展示测量设计与失败分析，而不是提供当前模型排名。一个较好的基准分数，不应被转换成可靠自主工作的全面宣称。

任务时域方法测量智能体在不同任务上的成功情况，任务难度则以熟练人类的完成时间标定。再通过拟合关系，描述在某个成功水平下，例如 50% 或 80%，对应多少人类耗时的任务。

07:30查看原图

这与模型实际运行耗时不同。专业人士需要一小时的任务，智能体可能花不同时间；时域总结的是一组观察，也不保证低于该时长的每个任务都会成功。

这个定义还要求成功率成为陈述的一部分。50% 时域对应的标准，远弱于接近确定完成。省略百分比，会让同一张图听起来比实际更能保证运维可靠性。

课程讨论了收集有经验专业人士的完成时间，并考虑人与人之间的差异。即使基线设计认真，结果仍取决于谁了解环境、任务如何描述，以及怎样算一次成功尝试。

代码库维护能说明这个问题。长期在库中工作的人，可能比需要先理解背景的外部承包者快得多。将智能体与其中任何一方比较，回答的实践问题都不相同。

因此，混乱任务与陌生代码库值得在一条拟合趋势之外单独关注。历史上的翻倍模式，可以描述被评估任务集里的进步，却不应变成所有工作的规律，或未来可自主执行一个月任务的精确预报。

可靠性比较显示，较低与较高成功门槛之间存在明显差距。课程中的具体例子属于当时讨论的模型与研究，目的在于说明，能力时域不能单独使用。

失败类别包括规划不好、工具选择不合适、推理出错、过早放弃任务，以及动作已经失败后仍重复执行。它们是不同缺陷，也指向不同干预方式。

一份听起来完整的最终回答，不足以诊断这些问题。评估者需要检查请求的工作是否完成、轨迹从哪里偏离，以及系统是否恢复。这让基准测量与实践中的“完成任务”联系起来。

GDPVal 问的是，相对于有经验专业人士完成的工作，模型输出是否足够好。课程描述了跨职业的数字任务，交付物可以是文档、表格、设计或其他文件，往往还附有参考材料。

这让评估超出简短问答。正确性可能包括遵循指令、使用给定数据，以及按要求产出可用形式。存在多个有效结果时，人工成对偏好比较具有价值。

赢下一项任务，不证明整个职业都可以被替代。选择优先级、获取隐性背景，以及决定什么问题重要，可能并未包括在给定提示中。交付物上的能力，也与真实部署是否合适、是否获得授权不同。

GDPVal 的胜率图，与任务时域图，坐标轴和结果定义不同。学生明确提出了这一点，讲者也同意，不能简单把两个指标当成彼此矛盾。

胜利与平局也需要区分，整体平均值则可能掩盖任务类型之间的大差异。一个模型能很好地排版演示文稿，却可能在其他地方计算错误或违反指令；单个平均值无法描述每份交付物。

因此，这些比较互为补充。时长指标问的是某个可靠性水平下的任务规模，专业偏好问的是特定评估条件下的输出质量。两者都不能允许用一条好看的趋势线，替代逐项任务分析。

课程突出了一种失败：模型承诺查阅参考数据，却并未真正使用。于是，即使过程说明自信、成品排版漂亮，交付物仍可能包含编造信息。

其他失败涉及格式或指令遵循，人工评分者对什么可以接受也可能有分歧。这些细节影响胜率，以及关于成本或速度结论的解释。

描述充分的提示，可以帮助模型执行已经选定的任务，却仍把发现正确任务的责任留给人。评估中的背景信息是结果的一部分，不是每个工作场景自动获得的免费资源。

DeepScholar-Bench 检查更具体的任务：寻找参考、提取相关信息，再将带引用的论点综合成论文相关工作部分。课程把使用较新论文和定期更新，描述为减少陈旧性的方法。

它区分知识综合、检索质量与可验证性。报告可能组织清楚，却漏掉关键事实；找到的论文可能相关，却遗漏奠基工作；引用也可能看似可信，却不支持附属陈述。

新鲜度有助于降低污染风险，却不证明不存在任何泄漏。同样，引用数量可以作为重要性的替代指标，却不能建立论文正确性，或证明某条论点得到支持。每个维度都需要独立检查。

引用精确率问，所使用的引用是否支持对应论点；覆盖率问，需要支持的论点是否真正获得支持。一份报告可能在其中一个维度较强，另一个维度较弱。

55:00查看原图

课程描述了一些综合文字流畅、却漏掉重要信息的系统，也介绍了即使提供较好来源，事实提取仍不完整的实验。因此，研究报告的所有失败，不能全部归因于检索。

对评估指标进行人工验证，也不等于每一项判断都完全一致。报告分数是在该流程下的证据，不是全部学术质量的绝对量尺，更不保证引用很多的报告已经可以发表。

一项研究任务可能足够长，值得进入任务时域讨论；也可能具有足够经济价值，适合专业工作基准；同时仍在来源覆盖或引用忠实度上薄弱。这些判断可以同时成立。

课程将缺口与上下文管理、多步信息获取、恢复能力和可验证综合联系起来，却没有把所有长尾失败缩减为一份缺失数据集或一个模型功能。

实用评估应说明任务、提供的背景、成功标准、可靠性、成本和证据质量。这样才能把改善与实际变化联系起来，比追问系统是否越过一个叫作“智能”的统一门槛更有信息。