同时衡量能力与成本
Fusion 的评测同时考察任务完成情况和完整系统的资源消耗。
以下结果来自 FUMO Lab 的 Fusion 白皮书 Revision 0.1（2026 年 8 月）。数据与实验说明见第 5 节：Performance Beyond Proportional Compute↗。
成本按一次完整 benchmark 运行计算，单位为美元，四舍五入到整数。API 服务另行定价。
已报告的结果
各 benchmark 按自身的评分标准分别报告。在同一项评测中，分数越高、成本越低越好。
| 系统 | GPQA Diamond 分数 | 成本（美元） | τ³-Banking 分数 | 成本（美元） | Terminal-Bench v2.1 分数 | 成本（美元） |
|---|---|---|---|---|---|---|
| Fusion Max | 94.9% | $13 | 49.5% | $145 | 86.5% | $74 |
| GPT 5.6 Sol (max) | 94.1% | $22 | 44.3% | $251 | 88.0% | $86 |
| Claude Fable 5 (fallback) | 92.6% | $45 | 38.1% | $322 | 84.6% | $299 |
| Sakana Fugu Ultra | 94.4% | $95 | 41.2% | $224 | 79.8% | $144 |
| Fusion Code | 93.5% | $7 | 48.5% | $159 | 89.9% | $71 |
| Claude Opus 5 (max) | 93.2% | $18 | 42.1% | $193 | 89.1% | $215 |
| Kimi K3 | 93.5% | $30 | 46.0% | $122 | 85.0% | $56 |
来源：Revision 0.1↗ 第 5 节的对比表。“max”“fallback”等标记表示对应运行所使用的模型配置。
各项评测关注什么
GPQA Diamond — 科学推理
该工作负载侧重高难度科学推理，用于观察互补工作与最终判断能否改善专家级问题的回答。
τ³-Banking — 受规则约束的工具使用
该评测考察 Agent 能否查找知识、遵守领域规则，并通过工具调用完成整个交互任务。
Terminal-Bench v2.1 — Agent 编程
该工作负载关注终端环境中的可执行任务。规划、实现、调试、失败恢复和外部验证都会影响结果。
三类评测覆盖不同能力和失败模式。选择产品时，还需要用自身业务中的代表性任务验证效果。
能力与成本的取舍
两款 Fusion 产品是同一系统的不同运行配置：
- Fusion Max 在已报告的 GPQA Diamond 和 τ³-Banking 运行中高于 GPT 5.6 Sol，但 Terminal-Bench 分数低 1.5 个百分点；三项完整运行成本均更低。
- Fusion Code 在三项工作负载中均达到或超过 Claude Opus 5 的已报告分数，完整运行成本也均更低。
- 与 Kimi K3 相比，Fusion Code 的分数持平或更高，在 Banking 和 Terminal-Bench 上的成本也更高。
白皮书的分数—成本图连接了实测的非支配点。对于这些点，在已报告的方案中，进一步提高分数或降低成本都需要付出另一项指标上的代价。图中的连线仅连接已测配置。
应根据具体工作负载，以及对能力和成本的要求选择配置。
比较边界
白皮书对 Sakana Fugu Ultra 的对比明确保留了以下限制：
- 模型与服务商快照不同。
- Banking 和 Terminal-Bench 运行兼容官方协议，但不是完全相同的提交。
- 该次 Terminal-Bench 运行不能直接与官方榜单比较。
- Fugu 的 GPQA 分数来自 196 个已评分样本中的 185 个正确结果；另有两个选中样本因执行错误结束。
Revision 0.1 的对比表未提供重复运行的不确定性估计和完整的逐次运行配置清单，因此应谨慎解读较小的分差。复现时还需要核对延迟数据、尝试次数、超时、并发、缓存处理、评分器版本及全部内部模型用量。成本应按完整系统统计，计入所有内部模型调用。
一个长流程案例
白皮书还记录了 Fusion Code 的一次 Terminal-Bench path-tracing 任务：将未知二进制程序生成的图像重建为无外部依赖的 C 程序，并满足压缩后源码的大小限制。
当基本工具不可用时，系统调整了检查方法，继续完成分析与实现，最后通过外部验证。该次运行约 29 分钟、49 个 Agent 步骤，benchmark 验证器的五项测试全部通过。
这条轨迹展示了单个任务中的失败恢复与验证过程。长流程工作的整体可靠性，还需要通过更大规模的任务集评估。
评估自己的工作流
可以依据这些已报告结果选择起始配置，再用代表性任务和自身验收条件进行测试。记录端到端成功率、延迟、每个成功任务的成本、工具失败和过早结束情况，并将基础设施或评分器错误与模型失败分开。
如需了解实验细节或进行特定工作负载评测，请联系 FUMO Lab。