事件：微软和 Hugging Face 公开了 ThinkingBox 评测环境
10 月 4 日凌晨，微软与 Hugging Face 联合发布专门评测「会改数据的智能体」的开放环境 ThinkingBox，以及配套基准 ThinkingBox-Bench。官方文章挂在 Hugging Face 博客，署名微软的 Tuhin Kundu。框架代码在 GitHub 的 microsoft/thinkingbox 仓库，MIT 协议，数据集可直接下载，无需门禁。
它的核心判断很直接：智能体给出的回复和工具调用都只是代理指标，真正能作数的是它最后在数据库里留下的记录。这套评测不读模型的总结，只读后端终态。ThinkingBox-Bench 收录 507 个带策略约束的业务工作流，覆盖零售、旅行、汽车保险、新银行内部 IT 和咨询支持五个领域。论文挂在 arXiv，编号 2608.19741。
pass@1 和 pass^20 差多少：同一个任务跑 20 遍的代价
这套评测最反直觉的地方，在于把每个任务重复跑了 20 次，每次都从干净的后端状态重新开始。这是全部结论的基础。pass@1 是所有尝试里成功的比例，回答「它平时做得怎么样」，这也是绝大多数榜单在用的口径。pass@20 是 20 次里至少成功过一次的任务比例，回答「它有没有可能做对」。
而 observed 20/20 就是字面意思，20 次全部成功的任务数，回答「它能不能每次都对」。差距有多大？Claude Opus 5 从 66.50% 的 pass@1 掉到 47.53% 的 pass^20，Kimi-K3 从 57.37% 掉到 17.60%。偶然做对和稳定做对根本不是一回事。
智能体答对了但数据库写错了，失败长什么样
在覆盖 12 个模型、121,680 次尝试的消融实验中，有 79,853 次没通过可执行检查。其中 67.24% 是「干净结束」的：工具调用合法，确实触发了状态变更，也没报出工具层错误。如果验收逻辑只看回复文本或只数工具调用，这些失败会全部被当成成功放过去。
在被漏掉的失败里，77.61% 写错了字段值，43.30% 产生了不该有的额外副作用，25.36% 该做的变更没做，三者有重叠。失败原因分布更有意思。79.9% 集中在工具使用上，写错状态更新占 10.3%，没能真正解决用户诉求占 7.0%，根本没做出状态变更动作占 2.9%。
作者的解读是，智能体通常能走到流程中间，然后在工具报错或前置条件不满足时没能恢复过来。这首先是重试和恢复问题，其次才是模型问题。难度还随领域剧烈波动，零售领域各模型平均 pass@1 有 59.52%，汽车保险只有 33.83%。Claude Opus 4.6 在零售能拿 68.62%，到了保险只剩 8.30%。
哪个模型最值得放进业务流程：单次排名和 20/20 排名几乎矛盾
pass@1 榜单和 20/20 榜单给出的答案几乎是两回事。单次成功率上，Claude Opus 5.5 以 67.16% 领先 Opus 5 的 66.50% 和 GPT-5.4 的 65.36%，Kimi-K3 以 57.37% 是开源权重里最强的。但看谁真正稳定，情况就变了。GPT-6 Astra 保住了单次成功率的 78%，Opus 5.5 和 Opus 5 各保住 71%，而 GLM-5.1、Kimi-K2.6 和 DeepSeek-V4-Pro 只保住约 8%。
最能说明问题的是 Kimi-K3 对 Claude Opus 5。前者能解出的任务最多，pass@20 达 93.89%，但 20 次全对的只有 68 个任务占 13.41%。Opus 5 反过来，至少做对过一次的任务比 Kimi-K3 少，20 次全对的任务却占了 47.53%。Kimi-K3 多解出 75 个任务，Opus 5 却多稳定完成 173 个任务。
更扎心的是，Opus 5.5 单次成功率比 Opus 5 高 0.66 个百分点，解出的任务也更多。但两者 20 次全对的任务数完全相同，都是 241 个。多出来的这半个百分点准确率，一分可靠性都没买到。
一次成功要花多少钱：成本怎么算才不误导
评测把成本也算了进去：把每个模型 507×20 次战役记录的 token 用量按 OpenRouter 未打折标价折算，再除以成功任务数。这是相对效率指数，不是账单。算出的帕累托前沿只有三级：GPT-5.6 Sol 每次成功最便宜，$0.127。GPT-5.4 单次成功率高 3.45 个百分点，每次成功多花 $0.004。Claude Opus 5.5 再加 1.80 个百分点，每次成功 $0.276。
Claude Opus 5 是最典型的被支配项，$0.475 换 66.50%，比 Opus 5.5 又贵又不准。但这个指标奖励的是便宜且经常对，不奖励每次都对。论文于是补了「每个可靠任务的成本」，最低的是 GPT-5.4 的 $6.80 和 Claude Opus 5.5 的 $7.80。Opus 5 同样是 241 个 20/20 任务，单价却涨到 $13.30，而 Kimi-K3 只有 68 个，每个可靠任务要 $20.68。
怎么自己跑一遍 ThinkingBox：环境要求和几个坑
ThinkingBox 已经挂到 Hugging Face 的 OpenEnv 接口上，每个 episode 结束返回一个二元的通过或失败奖励。跑分被固定在框架 commit、数据 release 和一个 bundle hash 上，结论可复现。文档写得细，要求 Linux 或 WSL、Python 3.11、uv 和 Docker。
大致五步：先 clone OpenEnv 并同步 thinkingbox_env，再 clone thinkingbox-data 并切到 thinkingbox-bench-v1.0 这个 tag，用 uv 安装 CLI，起一个 Typesense 30.1 容器，最后分别起 MCP server 和 OpenEnv server。怎么验证环境真的通了？先看 readiness 端点，它返回 503 就说明还没就绪。但它探测不到 Typesense 和模型端点，这两样得单独确认。
评分要用打包的 thinkingbox-eval，不要只跑 example_usage.py。系统级错误会被写进 errors 边车文件，而不是混进模型结果里。正式跑分必须把它解析出来，官方自己就把这些系统错误计为失败尝试。
这次评测的实际影响：哪些团队该照着改验收方式
如果你在把智能体接进会改数据的流程，这套评测给的不是「换模型」的建议，而是「改验收方式」的建议。官方给的落点很具体：在提交之前检查终态，而不是读模型对终态的总结。给工具和系统错误做分类，让重试只打在可恢复的那些上。对无法低成本回滚的变更强制人工审批。
作者明确说了，他们并没有测量这些改法能带来多少提升。所以这四条目前是推理，不是被验证过的结论。编辑判断是，对多数团队来说，把「检查终态」和「补错误恢复」排在「换模型」前面，收益更确定。如果 pass^20 这类重复性指标进入主流榜单，现在按单次成功率排出来的次序可能要重排一次。下次有人宣称「这个模型有 67% 的成功率」时，你知道该追问什么。
来源与说明
本文由 AI 潮汐编辑部基于官方公告与公开资料整理，补充了行业影响、适用场景和行动建议，帮助你在阅读原文前先理解这条信息为什么重要。
原始来源：https://huggingface.co/blog/microsoft/thinkingbox
如发现事实、价格或链接有误，可通过 联系我们 提交更正。
常见问题
ThinkingBox 和现有的 Agent 榜单有什么不一样？
它不看模型的最终回复，也不数工具调用次数，而是直接检查智能体在终态数据库里留下的记录和副作用。同一个任务跑 20 次，每次从干净后端开始，507 个任务覆盖零售、旅行、汽车保险、新银行 IT 和咨询支持五个领域，并报告 pass@1、pass@20 和 20/20 全对三个口径。
我该怎么给自己的智能体做这类评测？
先把验收点从「模型说了什么」换成「数据库里改成了什么」，然后把每个关键任务重复跑多次，至少记录 20 次全对的比例。同时按失败类型做归类，79.9% 的失败其实集中在工具使用与错误恢复上，先补重试和降级，再考虑换模型。
论文里的成本数字能直接拿来算账吗？
不能。这些数字是按 OpenRouter 未打折标价、用整场战役 token 用量除以成功任务数估出来的相对比较指数，官方明确说它不是账单，也不等于生产环境服务一个请求的价格。它适合用来排量级顺序，不适合做预算。
复现这套评测需要什么环境？
Linux 或 WSL、Python 3.11 以上、uv 和 Docker 都需要，另外要起一个 Typesense 30.1 容器供检索。框架要求先 clone OpenEnv 并同步 thinkingbox_env，再 clone thinkingbox-data 并切到 thinkingbox-bench-v1.0 tag，然后用 uv 安装 thinkingbox CLI。OpenEnv 的 readiness 检查探测不到 Typesense 和模型端点，这两样需要单独确认。
这次发布意味着我应该马上换模型吗？
不用。评测结论更偏向改验收流程和补错误恢复，而不是换模型。值得注意的是 Claude Opus 5.5 虽然单次成功率比 Opus 5 高 0.66 个百分点，但两者 20 次全对的任务数完全相同，都是 241 个，说明换新版本带来的可靠性提升在这次测量里是零。