过去几年，预训练 Scaling Law 让人们逐渐形成了一种共识：模型能力会随着数据量和算力的增加，以相对可预测的方式持续提升。但当大模型真正进入真实世界之后，一个更贴近应用的问题开始出现：它还能不能在与环境的持续交互中继续学习，并不断变强？

近日，我们发布了用于衡量真实世界环境学习的超长程评测集 EdgeBench。该评测集包含 134 个真实且多样的任务，横跨六大能力领域，Agent 在每个任务上都可持续工作至少 12 小时。

基于这些任务上的长程环境交互运行结果，我们发现，Agent 在“环境学习”过程中的整体表现遵循一条高精度的 log-sigmoid 曲线，平均拟合精度 R² 达到 0.998。同时，从不同代际的前沿模型来看，Agent 的学习速度大致呈现出每三个月翻一倍的趋势。

目前，EdgeBench 已开源其中 51 个任务及完整评测框架，供社区进一步研究 Agent 如何从真实世界环境中学习。

项目链接：https://seed.bytedance.com/edgebench
论文链接：https://edge-bench.org/paper.pdf
代码链接：https://github.com/ByteDance-Seed/EdgeBench
数据链接：https://huggingface.co/datasets/ByteDance-Seed/EdgeBench

衡量真实世界环境学习的超长程评测集

真实世界中的模型表现，不只取决于它在训练中学到什么。很多关键知识并不直接存在于训练语料里，真实工作所依赖的也不只是现成信息，还包括反复试错、解读反馈和持续修正的过程。

与此同时，现实环境本身始终在变化，新工具、新问题和新知识不断出现，这意味着任何静态训练数据都不可能提前覆盖一切。因此，Agent 从环境中学习并持续提升任务表现的能力，正变得越来越重要。

现有的大多数模型评测集，衡量的主要是模型已有的知识和能力。而 EdgeBench 更关心 Agent 在拥有足够时间、反馈和改进空间时，如何从真实世界环境中学习。

EdgeBench 在任务设计上呈现以下特点：

• 面向环境学习：每个工作区、反馈信号和评测器都贴近真实实践，分数体现了 Agent 在环境中的学习和改进情况。

• 超长时程：每个任务都支持 12 小时以上的连续运行，部分延长实验超过 72 小时，让经验能够持续累积。从已记录人工投入的任务来看，人类专家完成单个任务所需的时间平均为 57.2 小时，最高达到 320 小时。

• 覆盖六大领域：134 个任务覆盖了科学、复杂软件工程、白领知识工作、算法优化、前沿数学和数字游戏，并由领域专家结合真实问题持续迭代，其中超 90% 任务为全新构建。

EdgeBench 的任务分类

发现环境学习中的 Scaling Law

在 EdgeBench 中，Agent 不是提交一次就结束，而是会不断与任务环境交互，并接受评分、错误信息和改进线索等反馈。也正因此，曲线反映的并不是 Agent 一次性完成任务的能力，而是 Agent 在持续交互中吸收反馈、调整策略，并逐步改进结果的能力。

基于 Agent 在 134 个真实世界任务中的约 38000 小时环境交互记录，我们发现，Agent 的表现并不是静态固定的，而是能够在与环境的持续交互中不断学习、提升。

进一步来看，Agent 在环境学习中的成长轨迹并不单一。除了最终表现存在差异之外，它们在学习、吸收反馈和持续改进的过程中也表现出明显不同的路径：有些稳步提升，有些前期快速进步后进入平台期，也有一些会在长时间停滞后才迎来突破。

Agent 在 3 个任务中 12 小时内的学习曲线，从左到右分别为稳步提升、前期快速进步、后期突破的学习情况

以引力波任务中的一次 12 小时运行为例，GPT-5.5 在 247 次评分尝试中将分数从 42.8 提升到 67.0。这个案例表明，环境学习不是简单的连续调优：分数的关键跃升往往来自 Agent 根据反馈重新定义、拆解并组织问题。

Agent 先让任务可衡量，再拆解失败、定位瓶颈，最后保留可用核心，只修补剩余错误

如果把视角从单个任务扩展到跨任务整体表现，就会发现：这种学习并非无序波动，而是呈现出一种高度稳定的整体规律。

对于每个模型，研究都覆盖了 134 个任务，并对每个任务进行了 3 次独立运行，因此每个模型都会产生 402 条学习曲线。单看某一条任务轨迹时，Agent 在环境中的表现往往充满噪声、波动。但当这些轨迹按照交互时间进行聚合平均后，整体收敛为一条形式简洁且高精度的 log-sigmoid 曲线：

这一函数形式不仅能够稳定拟合不同模型的平均学习轨迹，而且拟合精度极高，平均 R²= 0.998。这并不只是经验层面的拟合现象，还可以从图探索（graph exploration）理论的视角加以解释。

从 134 个任务的平均结果上看，随着与环境交互时间的增加，Agent 整体表现会持续提升，相关分析可参考论文原文

此外，我们还尝试回答：模型从环境中学习的速度，是否会随着代际演进而变化？

为尽量减弱模型先验知识与基础能力差异带来的干扰，我们选取了 18 个初始表现相近的任务，并对自 2025 年 9 月至 2026 年 5 月陆续发布的多代模型进行 2 小时评测，再用这段时间内的性能提升幅度来刻画其“学习速度”。结果表明，随着模型代际演进，模型从环境中学习的速度也在显著加快，对于当时表现最领先的一批模型而言，这一速度接近每三个月翻一倍。

不同版本大模型的学习速度变化趋势

写在最后

随着模型从环境中学习的速度不断提升，未来模型之间的差距，可能不只体现在初始能力上，也会越来越体现在进入环境之后的学习速度上。对反馈的理解能力、经验积累能力以及策略调整能力，将越来越成为模型在长时程、开放式任务中建立持续优势的关键。

我们希望 EdgeBench 能为相关研究和应用实践提供一些参考，也期待未来有更多工作去关注模型在开放环境中的学习、适应与改进。同时，我们将继续理解和研究那些在真实环境中持续创造价值的能力，以及未来决定 AI 上限的关键能力，不断探索未知的智能边界。