# GPT-5.5 vs GPT-5.4 vs Opus 4.7：56 个来自 2 个开源仓库的真实编码任务

Stet publishes a public search API over its indexed pages; the guide is at https://www.stet.sh/agents/agent-access.

Source: https://www.stet.sh/zh/blog/gpt-55-vs-opus-47
Source observed: 2026-11-08T19:51:46.170Z
Last checked: 2026-11-08T19:51:46.17+00:00
Indexed: 2026-11-08T20:47:49.875+00:00

---

# GPT-5.5 vs GPT-5.4 vs Opus 4.7：56 个来自 2 个开源仓库的真实编码任务

**2026年5月1日 · 15 分钟阅读** · [Ben，Stet 创始人](https://www.stet.sh/about)

Opus 4.7 写出的补丁更小；GPT-5.5 写出的补丁更常经得起代码审查。选择取决于你的仓库中，较小的 diff 是纪律还是不完整。

我们在两个开源仓库的 **56 个真实编码任务**上运行 Opus 4.7、GPT-5.4 和 GPT-5.5：Zod **27** 个任务，`graphql-go-tools` **29** 个任务。每个模型都在自己的原生 agent harness 中使用默认设置：Opus 4.7 使用 Claude Code，两个 GPT 模型使用 OpenAI Codex CLI。

## 模型与运行环境

| 模型 | Harness | 推理级别 |
| --- | --- | --- |
| Opus 4.7 | Claude Code | high |
| GPT-5.4 | Codex CLI | high |
| GPT-5.5 | Codex CLI | high |

这些仓库是任意选择的，结果可能不代表你的体验；在自己的仓库上运行基准测试很重要。

## 简短版本

GPT-5.5 是这次运行中的质量领先者：它通过测试最多，最常匹配人类补丁，并产生最多 clean pass。Opus 4.7 是 footprint 领先者：按照 Stet 的 footprint 模型，它的补丁更小、风险更低。GPT-5.5 也是 token 和平均 agent 时间上的效率领先者；GPT-5.4 的单任务成本最低。

### 全部 56 个任务

| 指标 | Opus 4.7 | GPT-5.4 | GPT-5.5 |
| --- | ---: | ---: | ---: |
| Tests pass | 33 / 56 | 31 / 56 | 38 / 56 |
| Equivalent to human patch | 19 / 56 | 35 / 56 | 40 / 56 |
| Clean pass — tests + review | 10 / 56 | 11 / 56 | 28 / 56 |
| Footprint risk（越低越好） | 0.20 | 0.34 | 0.32 |
| Mean time / task（越低越好） | 11m18s | 8m24s | 6m56s |
| Cost / task（越低越好） | $3.43 | $2.39 | $2.86 |

GPT-5.5 的 28 个 clean pass 约为 Opus 4.7 的三倍。Opus 的 patch 更小，但经常通过可见测试后漏掉人类 PR 中的配套工作。GPT-5.4 单任务更便宜，但成本优势没有抵消 clean-pass 差距。

### 按仓库拆分

| 仓库与指标 | Opus 4.7 | GPT-5.4 | GPT-5.5 |
| --- | ---: | ---: | ---: |
| **Zod — tests pass（27 个任务）** | 12 / 27 | 9 / 27 | 12 / 27 |
| Zod — equivalent | 11 / 27 | 18 / 27 | 18 / 27 |
| Zod — review pass | 6 / 27 | 10 / 27 | 14 / 27 |
| Zod — clean pass | 5 / 27 | 5 / 27 | 10 / 27 |
| **graphql-go-tools — tests pass（29 个任务）** | 21 / 29 | 22 / 29 | 26 / 29 |
| graphql-go-tools — equivalent | 8 / 29 | 17 / 29 | 22 / 29 |
| graphql-go-tools — review pass | 5 / 29 | 6 / 29 | 19 / 29 |
| graphql-go-tools — clean pass | 5 / 29 | 6 / 29 | 18 / 29 |

在 Zod 上，GPT-5.5 与 Opus 测试通过数相同，但 GPT-5.5 在审查者判断和 clean pass 上领先；Opus 的 diff 更小。在 `graphql-go-tools` 上，GPT-5.5 在测试、等价性、审查和 clean pass 上都明显领先。

## 完整记分卡

完整记分卡有 **n = 56**；judge 为 **GPT-5.4**。审查指标通常为 0–4，除非另有说明；越高越好。

| 指标 | Opus 4.7 | GPT-5.4 | GPT-5.5 |
| --- | ---: | ---: | ---: |
| Code-review pass | 11 / 56 | 16 / 56 | 33 / 56 |
| Correctness + bug safety, mean | 2.33 | 2.59 | 3.08 |
| Correctness | 2.11 | 2.60 | 3.16 |
| Introduced-bug safety | 2.55 | 2.56 | 3.04 |
| Maintainability — GraphQL only | 2.07 | 2.55 | 3.03 |
| Rubric average | 2.33 | 2.40 | 2.62 |
| Craft — mean of 5 | 2.41 | 2.54 | 2.78 |
| Clarity | 2.56 | 2.75 | 2.91 |
| Coherence | 1.95 | 2.18 | 2.51 |
| Robustness | 1.92 | 2.43 | 2.69 |
| Discipline — mean of 3 | 2.20 | 2.16 | 2.36 |
| Scope discipline | 2.39 | 2.18 | 2.45 |
| Diff minimality | 2.42 | 2.28 | 2.46 |
| Input tokens | 239.1M | 222.3M | 201.8M |
| Output tokens | 1.29M | 1.09M | 0.72M |

质量分数不只看测试通过。代码审查 grader 在可用时评估正确性、引入 bug 风险和可维护性；custom grader 另行评估八个 rubric，分为五个 craft 维度和三个 discipline 维度。GPT-5.5 在正确性、较低的引入 bug 风险、GraphQL 可维护性、连贯性、鲁棒性、范围纪律和 diff minimality 上得分更高；Opus 赢下机械 footprint 指标。

## 基准测试如何运作

每个任务来自一个真实合并的 commit。模型获得冻结的仓库快照和描述变更的 prompt，并有一次机会产出补丁。Stet 不提供侧面脚手架：Opus 4.7 运行 `claude -p`，GPT-5.5 和 GPT-5.4 运行 `codex exec`，均使用默认设置。Stet 应用补丁，并在隔离容器中运行任务测试。

Stet 评估：

- **测试：** 补丁是否满足可执行的验收测试？
- **等价性：** 是否完成与原始人类补丁相同的行为变更？
- **代码审查：** 审查者是否会接受其正确性、引入 bug 风险、可维护性和边界情况？
- **Footprint risk：** 补丁创建了多少审查和回归表面？
- **Craft/discipline rubrics：** 清晰性、简单性、连贯性、意图性、鲁棒性、指令遵循、范围纪律和 diff minimality。

每个模型每个任务使用单一 seed 运行一次。等价性和 rubric judge 是 GPT-5.4；三个实验臂使用相同 rubric 版本。每个补丁独立评分，judge 看到补丁和任务，而不是实验臂标签或产出它的模型。没有双评审者校准，因此绝对分数应按方向理解；跨实验臂的差值更值得关注。

## GPT-5.5 拉大了差距

在这两个仓库上，GPT-5.5 优于 GPT-5.4：它通过更多测试，产出更多与人类等价的补丁、更多被审查者接受的补丁，以及更多 clean pass。GPT-5.4 仍是成本控制选项，但我们不会把它作为这两个仓库的默认发布模型。

## 测试是信号，不是终点

Clean pass 表示测试通过且代码审查 grader 接受补丁。在 Zod 上，Opus 和 GPT-5.5 都通过 12/27 个测试，但 GPT-5.5 有 **10** 个 clean pass，Opus 有 **5** 个。在 `graphql-go-tools` 上，GPT-5.5 通过 **26/29** 个测试并有 **18** 个 clean pass；Opus 通过 **21/29** 个测试并有 **5** 个 clean pass。

GraphQL 的 PR #1001 修改 HTTP datasource 的 `OnFinished` hook，使消费者可以检查请求和响应元数据。三个模型都通过测试并被判等价，但只有 GPT-5.5 通过代码审查；另外两个在 API 形状、原始 HTTP 对象暴露和 hook 边界鲁棒性上收到警告。

## 审查者看到的差异

### Zod 异步 codecs 和 defaults

该任务要求 codec pipelines 支持 async transforms、防止 defaults 变成 `undefined`，并为构建生成 stub package manifests。三个模型都未通过测试，但审查者仍区分出了补丁质量：Opus 改动 8 个文件，却漏掉核心语义、发布生成的 stubs，并把 `prefault()` 收紧；GPT-5.4 用 11 个文件更接近并被判行为等价，但仍过度收紧相邻 API；GPT-5.5 虽未通过测试，却被判等价，覆盖了 codec/default 测试、版本元数据、stub-manifest 脚本以及 `packages/zod/src/v4/*/schemas.ts` 相关表面。

### GraphQL Apollo 兼容验证

PR #1169 让字段选择验证错误符合 GraphQL spec 和 Apollo Router 约定。三个模型都通过测试，但只有 GPT-5.5 同时通过等价性和审查。Opus 漏掉 enum 和 wrapped-scalar leaf validation，并留下不符合 spec 的 inline-fragment 消息；GPT-5.4 在 validation metadata、enum/wrapped scalar、request-error 转换和 compatibility API 上扩大了错误行为；GPT-5.5 改动 10 个文件（其中 6 个非测试文件），集中加入 Apollo validation metadata，并对齐 field-selection 消息和请求位置。

GPT-5.5 的正确性分为 **3.16**，高于 GPT-5.4 的 **2.60** 和 Opus 的 **2.11**。Discipline 分数分别为 GPT-5.5 **2.36**、Opus **2.20**、GPT-5.4 **2.16**；Opus 的原始 footprint 更小。

## Opus 4.7 的模式

Opus 4.7 保守、精确、低 footprint。在局部且变更表面窄的任务上，这种特性很有吸引力；但它经常实现标题行为后，在配套工作完成前停止。Zod 的并行 Node/Deno 树就是例子：测试覆盖主 `src/` 路径，补丁可能通过测试却让 Deno mirrors 过期。CIDR validation 任务中，Opus 改动 4 个文件并通过测试，GPT-5.5 改动 11 个文件并更新并行分发表面，因此 judge 将 Opus 判为不等价。

在 `graphql-go-tools` 的 PR #1155 中，任务覆盖 gRPC datasource 的 repeated scalar fields、request building、response marshaling、null 和 invalid responses、error status information、disabled datasources 以及动态创建的 clients。Opus 没有产出补丁；GPT-5.5 通过测试、匹配人类补丁并通过审查。小补丁在局部任务上可以是纪律，在集成繁重的任务上也可能是不完整。

## 从 GPT-5.4 到 GPT-5.5

GPT-5.4 在 Zod 上有 **18** 个等价性判断，但只有 **9** 个测试通过；GPT-5.5 缩小了这个执行差距。

- **Schema-to-TypeScript 生成器：** Opus 和 GPT-5.5 构建递归 visitor；GPT-5.4 产出仓库指令文件而非功能。
- **递归 parser 修复：** 两个 GPT 模型采用 visit-count tracking；GPT-5.4 增加 `inProgress` sentinel 和 reset logic，GPT-5.5 保留 count-and-cache-error 行为并移除额外状态，测试通过。
- **CIDR validation：** 两个 GPT 模型采用按 `/` split、验证 address 和 prefix 的核心算法；GPT-5.5 更新 Deno mirrors，GPT-5.4 没有。
- **PR #1232：** 任务要求去重相同的 single fetches，并重写指向被移除重复项的 dependency references；GPT-5.5 是唯一同时通过测试、匹配人类行为并通过审查的模型。

GPT-5.5 更常完成把局部修复变成可发布仓库变更所需的集成工作。

## 做更多事的成本

在 `graphql-go-tools` 上，平均补丁大小约为：Opus **19 KB**、GPT-5.4 **27 KB**、GPT-5.5 **33 KB**；footprint 分数分别为 **0.19、0.32、0.34**。更大的补丁更难审查、更容易冲突，也可能触及敏感路径。可是 GraphQL 上 GPT-5.5 虽然补丁最大，仍在相对于任务的 diff minimality 上小幅领先：minimality 衡量的是完成实际请求所需的最少改动，而不是最少字节。

### Opus 与 GPT-5.5 的仓库成本对比

| 仓库与指标 | Opus 4.7 | GPT-5.5 |
| --- | ---: | ---: |
| **Zod — input tokens** | 53.0M | 50.4M |
| Zod — output tokens | 359K | 290K |
| Zod — mean time / task | 4m25s | 5m09s |
| Zod — cost / task | $1.69 | $1.73 |
| **graphql-go-tools — input tokens** | 186.1M | 151.4M |
| graphql-go-tools — output tokens | 934K | 431K |
| graphql-go-tools — mean time / task | 17m43s | 8m36s |
| graphql-go-tools — explicit planning calls / task | 3.2 | 0.0 |
| graphql-go-tools — patch calls / task | 10.2 | 9.9 |

在 Zod 上 Opus 更快且略便宜；在 GraphQL 上 Opus 使用更多 token、运行更久，却收敛到更小且不完整的补丁。GPT-5.5 使用更多 shell/search 进行仓库检查，Opus 将更多预算用在 planning 和 patch rewrite churn 上。

## 每个模型的特征

- **Opus 4.7：触达不足。** 保守、精确、低 footprint；局部任务强，但可能漏掉测试未覆盖的配套表面。
- **GPT-5.4：形状正确，执行不稳定。** 常找到预期形状，但更容易有过期 mirrors、额外 bookkeeping、缺乏依据的 refactors，或测试未接受的补丁。
- **GPT-5.5：更宽、更大的 footprint。** 集成表面更完整，更可能通过审查；风险是出错时可能在更多文件上出错。

## 为什么仓库特定评估重要

实际问题是：对于这个仓库、这个 harness 和实际发布任务，哪个模型产生的补丁值得信任？Zod 中，GPT-5.5 与 Opus 的测试数相同，但 GPT-5.5 审查对齐更好，Opus 补丁更小。`graphql-go-tools` 中，GPT-5.5 明显更可发布，而 Opus 的小补丁优势伴随更多漏掉的集成工作。仓库有自己的 mirror trees、codegen surfaces、测试盲点、hook conventions、planner invariants、审查标准、`AGENTS.md`、skills、model 和 harness settings，这些细节决定模型特征是资产还是负债。

## 注意事项

- 56 个任务仍然很少，一个任务的变化就可能让仓库级比例移动几个点。
- 每个模型每个任务只运行一次；一些接近的判断在重跑时可能翻转。
- 等价性和 rubric judge 是 GPT-5.4，可能引入同族偏差。
- Claude Code 和 Codex CLI 的 system prompts、planning loops 和 tool surfaces 不同；结果描述的是这些模型在各自发布 harness 中的表现，而不是孤立模型本身。

## 结论

- GPT-5.5 是这两个仓库中更好的默认发布模型。
- Opus 4.7 是低 footprint 模型，窄 diff 最重要时可能更适合。
- GPT-5.4 单任务更便宜，但这里的成本优势不足以弥合 clean-pass 差距。
- 只看测试会隐藏重要结果。
- 同一模型的排名会随仓库变化。

## 常见问题

### GPT-5.4 vs GPT-5.5：哪个更适合编码 agent？

在这 56 个任务中，GPT-5.5 通过 **38/56** 个测试、在 **40/56** 个任务上匹配人类补丁，并产生 **28** 个 clean pass。GPT-5.4 分别为 **31/56、35/56 和 11**。

### GPT-5.5 vs Opus 4.7：写代码应该用哪个模型？

当代码审查质量和完整集成重要时，GPT-5.5 是更好的默认选择。Opus 4.7 的补丁更小、footprint risk 更低，窄变更和紧凑 diff 最重要时可能更适合。

### Clean pass 是什么？

Clean pass 表示候选补丁通过任务测试，并被代码审查 grader 接受；它比单纯测试通过率更严格。

[方法论 →](https://www.stet.sh/methodology)

---

[Read this page’s summary](https://www.stet.sh/agents/api/public/v1/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fzh%2Fblog%2Fgpt-55-vs-opus-47&trace=t_5da45423e484)

## Ask a follow-up about this page

Need a more specific answer? Ask the exact question you have. It returns a fresh, cited answer from Stet’s knowledge base. No account or API key required.

Open this URL with your own question, URL-encoded. Include your question in q. All research inputs are optional; no account or setup.

`GET https://www.stet.sh/agents/agent/faq?q={question}&trace=t_5da45423e484`

[Tool guide and examples](https://www.stet.sh/agents/agent-access) · [OpenAPI](https://www.stet.sh/agents/api/public/v1/openapi.json) · [Page TLDR form](https://www.stet.sh/agents/agent-tools/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fzh%2Fblog%2Fgpt-55-vs-opus-47). Opening a form does not execute a tool.