递归语言模型 —— Alex Zhang（MIT 博士）

Alex Zhang 在这期 Latent Space 谈话中的核心论点是，运行框架并不只是一份中立工具清单。其结构会改变语言模型能高效解决哪些问题，以及哪些策略可能泛化。

他通过代码环境描述递归语言模型：大量上下文保存在模型当前提示之外，工具通过代码调用，代码又能递归调用语言模型。这种抽象让模型能够检查、拆分并组合工作。

这个定义不要求一种新的 Transformer 架构。访谈的问题超出命名争论：什么环境能让有用策略容易表达、学习和复用？历史字幕较嘈杂，因此本文不会把不确定名称或数字重建成已核实事实。

讨论从 GPU Mode、内核编程竞赛，以及自动化性能工作的尝试开始。Zhang 描述，有些 AI 辅助解法在排行榜场景里表现很强，却未必在更大系统中保持稳健。

专家可以引导搜索，也能识别基准信号何时误导。这与假设生成代码更多、行数更少就意味着工程更好不同。正确性与真实执行条件仍然重要。

受访者举的是工作观察，不是本文独立审计的当前排名。这些例子在论证中的作用，是说明领域知识如何通过识别值得尝试的方向、值得信任的证据，节省庞大搜索预算。

访谈区分理论性能上界，与实际能达到的实现。数据位置、内存带宽、传输和重叠假设，都可能改变上界的含义。

端到端执行又增加一层。某个操作单独看较慢，却可能让数据留在缓存中，改善下一个操作，进而提高完整序列性能。因此，融合决定未必能只通过测量一个内核判断。

这提前展示了谈话反复出现的主题：优化单位很重要。局部分数可能漏掉决定最终系统行为的交互，不论系统由 GPU 操作组成，还是由语言模型调用组成。

Zhang 批评把熟悉的编程框架当成整个设计空间。许多框架保留“轨迹作为提示”的循环，将此前动作和观察不断附加或压缩，交给下一次调用。

RLM 探索另一种归纳偏置：将上下文移到可访问环境，让模型编写操作它的代码。模型可以使用循环、选择数据片段、让另一个模型处理有边界的子问题，再汇总结果。

论点不是所有现有产品都完全相同，也不是一个抽象永远胜出，而是环境设计可以超出添加工具名称，改变模型学会构造的程序形态。

在描述的环境中，上下文可以留在内存或磁盘，模型通过代码访问。保留原始材料，使工作提示压缩后不再包含每个细节时，仍有可能重新查阅。

47:10查看原图

这与假设整个语料同时存在于模型注意力里、并被完美理解不同。系统仍要选择读什么、怎样形成子问题，以及合并答案时保留足够信息。

递归访问不会取消上下文限制、错误或成本，而是改变管理约束的方式：可能利用更小的局部视图，而不是反复把全部历史塞进同一个当前提示。

访谈讨论了表面不同、却可能共享高层解法的任务：检查一个集合，提出局部问题，再合并答案。子调用处理任务相关细节，父程序保留可复用结构。

Zhang 报告了自己工作中跨长度与任务的迁移，同时说明部分谈到的结果尚未公开。重要假设是：学习程序结构，可能比学习一条冗长整体轨迹更自然地迁移。

这仍有条件。局部子任务必须真正处于模型能力内，汇总也必须正确。让每个调用都面对熟悉问题的分解很有吸引力，却不自动适用于每个分布外问题。

谈话用面向快速分类的模型，作为改变设计空间的另一个例子。系统需要一个有边界的决定时，未必每个子任务都要生成完整自由文本答案。

Zhang 尤其关心校准和训练目标。模型说自己有 43% 把握，不等于一个通过实际结果校准的分数。他也明确将对另一个系统训练方法的猜测视为推测。

对于递归工作流，这很重要，因为许多小调用可能主导延迟。专门的输出形式可能帮助其中一部分，另一些子任务仍需更丰富推理。访谈并未证明一个快速模型能解决所有验证或路由问题。

谈到 Prime Agent 时，Zhang 描述了一个以代码为中心、通过 IPython 进入、其他工具经代码访问的界面。他也描述，技能或提示等选定框架元素，可以通过这个环境修改。

持久子智能体与代码通信又增加生命周期选择：谁可以与谁说话，哪些状态保留，后续交互怎样到达已有进程。这些是系统设计决定，不是调用递归就免费获得的后果。

描述属于访谈中的实现语境，不是当前 API 手册。一般观点是，修改外围程序可以很有力量，但允许修改什么、怎样通信，需要有意设计。

访谈将集中式汇集与协调，同更分散的通信对比。协调器可能成为瓶颈，但较分散的群体，也可能在最终没有贡献的分支上花费大量工作。

Zhang 并不主张一切都应递归化或变成群体。他指出，对许多普通情况，压缩可能因更便宜或更快而更合适；更复杂结构，则可能在难题上证明成本值得。

适当比较是总共有用工作，而不是启动了多少智能体或词元。谈话中对大型运行费用的推算，本文不当成独立核实的支出，也不把它们当成数学突破的证明。

开放性讨论追问，系统如何从大量生成材料中识别有意思的东西。移除固定目标，并不移除选择问题，只是改变目标在哪里形成。

讲者比较为了理解而探索，与有目标的应用工作。Zhang 对不寻常研究的热情，是关于新问题可能在哪里出现的偏好，不是无限制生成会可靠产生有价值发现的证据。

类似问题也出现在长时间的简单工作中。受访者相信，更好抽象可能让当前模型长期更可靠，但把它作为希望看到的工作，而不是已经展示了一个月自主运行的系统。

Zhang 认为，学术项目不必模仿前沿实验室发布模型，才有意义。一个简单抽象，如果改变了领域认为什么可能，并为其他人创造可检验实验，就可能有价值。

他的例子把内核、基准与递归系统联系到更大目的：移除阻碍想法被测试的约束。这也解释了研究者为什么会在底层性能与高层智能体设计之间移动。

结尾建议更看重具体、有理由的观点，而不是对项目名称的模糊热情。同样，评价 RLM 应提出具体问题：它的环境让哪种策略更容易表达，而在公平比较下，质量、迁移或效率是否真的改善？