# 你的 AI 编程基准测试掩盖了 2 倍的质量差距

Stet publishes a public search API over its indexed pages; the guide is at https://www.stet.sh/agents/agent-access.

Source: https://www.stet.sh/zh/blog/both-pass
Source observed: 2026-11-08T19:51:42.007Z
Last checked: 2026-11-08T19:51:42.007+00:00
Indexed: 2026-11-08T20:47:00.749+00:00

---

# 你的 AI 编程基准测试掩盖了 2 倍的质量差距

**发布日期：**2026年3月14日 · **阅读时间：**3 分钟阅读  
**作者：**[Ben，Stet 创始人](https://www.stet.sh/about)

这篇中文研究文章说明，单看测试通过率会掩盖 AI 编程智能体之间的质量差异。我们把通过率作为闸门，并在闸门之上评估补丁等价性、代码审查结果和改动范围风险，同时记录每项任务成本。

## 这个假设

SWE-Bench 和 Terminal Bench 等编程智能体评测通常把测试通过率作为主要质量指标。例如，Claude Code 搭配 Opus 4.6 的测试通过率为 73%，Codex 搭配 GPT 5.4 的通过率为 80%。文章用这个例子提出问题：是否应当仅凭通过率选择 GPT 5.4？

要查看当前的两两模型对比，可访问我们的[模型对比中心](https://www.stet.sh/model-comparisons)，其中包含 GPT-5.5、GPT-5.4、Opus 4.7 和 Opus 4.6 在真实编程任务上的运行结果。

## 我们如何测量

我们让 3 个模型完成 87 个任务，任务来自 3 个真实的开源仓库：`Zod`、`graphql-go-tools` 和 `sqlparser-rs`。每个任务都是已经合并到对应仓库的真实 PR 或 commit。智能体获得合并前的仓库状态和任务指令；该 PR 自带的测试决定改动通过还是失败。

通过率是闸门。在闸门之上，我们还评估三个质量维度：

- **等价性：**智能体补丁与真实合并 PR 的接近程度。
- **代码审查：**另一个模型在审查中通过还是拒绝智能体补丁。
- **改动范围风险：**智能体做出的不必要改动数量。

## 难分高下

在 87 个共享 W2 任务上，三个模型的通过率几乎相同：

- `gpt-5.1-codex-mini`: `77/87`（`88.5%`）
- `gpt-5.3-codex`: `78/87`（`89.7%`）
- `gpt-5.4`: `78/87`（`89.7%`）

Mini 和 5.3 在 `82/87` 个任务上结果一致：75 个都通过，7 个都失败，5 个结果不同。因此，通过率标题真正发生变化的只有 5 个任务。我们进一步查看了两个智能体都通过测试的 75 个任务。

| 模型 | 与 gold 的等价性 | 代码审查通过 | 高风险改动范围 | 成本 / 任务 |
|---|---:|---:|---:|---:|
| gpt-5.1-codex-mini | 24.0% | 9.3% | 12.0% | $1.98 |
| gpt-5.3-codex | 38.7% | 8.0% | 9.3% | $5.23 |
| gpt-5.4 | 45.3% | 16.0% | 8.0% | $1.34 |

三个模型的通过率接近，但代码结果不同。gpt-5.3-codex 匹配人类补丁的可能性是 gpt-5.1-codex-mini 的 `1.6x`。在这组比较中，gpt-5.4 的等价性最高、代码审查通过率最高、改动范围风险最低，并且成本最低，为 `$1.34/task`。

## METR 也证实了这一点

METR 请 4 位来自 scikit-learn、Sphinx 和 pytest 的活跃维护者审查 296 个通过自动评分器的 AI 生成 PR，其中约 50% 不会被合并。

> 我们发现，由 2024 年中到 2025 年中/后期智能体编写、通过测试的 SWE-bench Verified PR 中，约有一半不会被仓库维护者合并进 main，即使在调整维护者合并决策中的噪声之后也是如此。
>
> — [METR，2026 年 3 月](https://metr.org/notes/2026-03-10-many-swe-bench-passing-prs-would-not-be-merged-into-main/)

## 其他人也看到了同样的事情

Voratiq 在自己的工作流中研究了 4,784 个候选补丁：通过测试的候选补丁被选中的频率高出 1.8x，而审查评分最高的候选补丁被选中的频率高出 9.9x。测试只是代码团队实际接受内容的一个弱代理。—— [Voratiq，2026 年 3 月](https://voratiq.com/blog/test-evals-are-not-enough)

## 测试是闸门，不是真相来源

通过率是模型达成一致的地方。闸门之上的质量——等价性、审查、改动范围和成本——才是模型产生分歧的地方。如果只用一个让所有模型看起来相同的指标来选择智能体，就无法区分它们。

- [查看完整图景：Why](https://www.stet.sh/why)
- [联系我们：ben@stet.sh](mailto:ben@stet.sh)
- [方法论](https://www.stet.sh/methodology)

**数据说明：**数据来自 Stet 每周排行榜，覆盖 `Zod`、`graphql-go-tools` 和 `sqlparser-rs` 中 87 个共享 W2 任务；评分日期为 2026 年 3 月 7 日。

---

[Read this page’s summary](https://www.stet.sh/agents/api/public/v1/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fzh%2Fblog%2Fboth-pass&trace=t_5da45423e484)

## Ask a follow-up about this page

Need a more specific answer? Ask the exact question you have. It returns a fresh, cited answer from Stet’s knowledge base. No account or API key required.

Open this URL with your own question, URL-encoded. Include your question in q. All research inputs are optional; no account or setup.

`GET https://www.stet.sh/agents/agent/faq?q={question}&trace=t_5da45423e484`

[Tool guide and examples](https://www.stet.sh/agents/agent-access) · [OpenAPI](https://www.stet.sh/agents/api/public/v1/openapi.json) · [Page TLDR form](https://www.stet.sh/agents/agent-tools/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fzh%2Fblog%2Fboth-pass). Opening a form does not execute a tool.