TM所有比较均以当前任务集和运行设置为条件。
相似度、分项差异和失败标签仅描述指定条件下的观测结果；任务分布、推理设置、工具策略或模型版本变化时，估计值可能随之变化。
02
当前发现
选择模型版本
同一组题目上的表现 / GPT 5.5 → 5.6 Sol → 6 Astra
代码分析、翻译与改写提升，工具执行下降。
在相同的 68 个任务、每项 3 次尝试下，任务通过率沿版本依次为 81.37% → 86.27% → 89.71%。 5.5 → 5.6 Sol：代码实现多通过 4 次；信息提取多通过 2 次；翻译与改写少通过 2 次。 5.6 Sol → 6 Astra：代码分析多通过 6 次；翻译与改写多通过 2 次；工具执行少通过 2 次。
通过率 · 每道题测试三次
GPT 5.581.37%GPT 5.6 Sol86.27%GPT 6 Astra89.71%
升级解读
Sol 补强代码实现与信息处理，Astra 进一步提升代码分析并恢复翻译表现。代码实现的进步较小，工具执行略有回落。
5.55.6 Sol6 Astra通过次数 / 测试次数
代码分析
17/24 → 18/24 → 24/24+6 次
翻译与改写
12/12 → 10/12 → 12/12+2 次
智能体工具使用
29/30 → 30/30 → 28/30-2 次
代码实现
21/45 → 25/45 → 26/45+1 次
批判与验证
26/27 → 27/27 → 27/270 次
实测 · FUMO 能力评测 · 每个模型完成相同的 68 道题，每题测试三次。条形图展示各类题目的通过次数；增减数字比较 6 Astra 与 5.6 Sol，选取差异较大的五类展示。 查看计算方法
03
能力互补
无论总分接近还是相差明显，两个模型都可能共享一部分通过项，也各自通过对方失败的项目。共同通过、单方通过和共同失败，进一步呈现能力的重合、互补与缺口。
24 个模型276 个可比较模型对68 个当前匹配项目
FUMO 能力评测。24 个配置可参与比较。每个模型对仅比较双方均完成三次评分的共同任务；分数卡分母按各模型有效覆盖计算，部分模型仍有缺失。
实测 · FUMO 能力评测DeepSeek V4 Flash
DeepSeek V4 Flash
× DeepSeek V4 Pro
DeepSeek V4 Flash35 / 68稳定通过任务 · 146 / 204 已评分回答通过DeepSeek V4 Pro44 / 68稳定通过任务 · 156 / 204 已评分回答通过
在 68 个匹配项目中，6 个仅由 DeepSeek V4 Flash 通过，15 个仅由 DeepSeek V4 Pro 通过；29 个由两者均通过，18 个由两者均未通过。
- 比较单位
- 68 个匹配项目
- 判定规则
- 3 / 3 次尝试均通过 = 稳定通过
- 互补通过
- 21 项任务
DeepSeek V4 Pro
DeepSeek V4 Flash
共同通过29项任务
DeepSeek V4 Flash 独有通过6项任务
DeepSeek V4 Pro 独有通过15项任务
共同盲点18项任务
FUMO 能力评测
openai · xhigh
GPT-6 Astra
89.71%已评分回答通过率
83.82%稳定通过任务占比
覆盖与口径183/204 · 57/68左：已评分回答通过；右：完整三轮任务中三次均通过。固定计划 204 次的交付通过率为 89.71%，包含缺失请求的影响。
质量维度证据题族等权分数 / 100
检查标签计数非互斥标签 · 204 次已评分回答
标签来自评分检查，可能与任务通过同时出现；采用探索性、非互斥分类，不能相加当作失败回答数，也不能解释为发生率。
总分无法说明模型通过了哪些任务。
共同通过反映能力重合，单方通过反映相对长处；两者与共同失败一起描述当前任务集上的能力互补与缺口。
当前结果不能直接外推到未测任务或后续版本。
任务覆盖、重复次数和版本变化都会影响估计；罕见失败与跨领域结论需要更多独立重复。
固定模型版本、推理配置、任务与重复次数。
识别基础设施异常、未完成与评分未决结果。
确定每项指标实际使用的分母。
分别计算尝试成功与稳定任务通过。
只在双方均有效的任务上拆分四类结果。
反映单次运行结果；分母排除无效观测。
只用于设有重复运行的基准；不会与尝试成功率混用。
四类计数之和等于当前模型对的有效匹配项目数。
轨迹前缀干预分析按题目重采样估计区间，重复观测保留在同一题目内。
两种 0–1 文本尺度分别报告；任务覆盖不同的结果不合并。
同一回答可对应多个检查标签，也可能通过任务；原始计数不解释为总体发生率。
FUMO 能力评测数据更新于 2026-09-12 · 评测口径。评测数据持续复核，补测与评分规则修订可能影响分数及有效样本数。