# GPT-5.5 Codex low、medium、high 与 xhigh：26 项真实任务的推理曲线

Stet publishes a public search API over its indexed pages; the guide is at https://www.stet.sh/agents/agent-access.

Source: https://www.stet.sh/blog/gpt-55-codex-graphql-reasoning-curve
Source observed: 2026-11-08T19:51:37.082Z
Last checked: 2026-11-08T19:51:37.082+00:00
Indexed: 2026-11-08T20:36:32.688+00:00

---

# GPT-5.5 Codex low、medium、high 与 xhigh：26 项真实任务的推理曲线

**2026年5月7日 · 更新于2026年10月20日 · 14分钟阅读**

我们在开源 Go 仓库 GraphQL-go-tools 的同一组 26 项真实任务上，分别运行 GPT-5.5 Codex 的 low、medium、high 和 xhigh 推理力度。

## 结论摘要

- Low 和 medium 的测试通过率同为 21/26，但 medium 在与原人类 PR 的语义等价性和代码审查质量上明显更好。
- High 看起来是实用的平衡点。
- Xhigh 的等价性和审查分数最好，但成本明显更高。
- 推理力度改变的不只是测试通过率，也改变 Codex 生成的补丁类型：low 到 medium 更少依赖启发式和部分实现，更多进行仓库和领域建模；medium 到 high 是更实用的跃升；high 到 xhigh 更像质量模式，适合复杂任务但更贵、更慢。

在这组数据中，等价性从 low 的 15% 上升到 medium 的 42%、high 的 69% 和 xhigh 的 88%。High 是成本—质量的最佳点；xhigh 的成本是 low 的 3.7 倍，并且测试通过率低于 high。

## 指标定义

- **Equivalent：** 补丁是否匹配已合并人类 PR 的意图。
- **Code-review pass：** AI 评审者是否认为补丁可接受。
- **Craft/discipline：** 0–4 分的可维护性与风格量表。
- **Footprint risk：** 相对于人类补丁，代理额外触及了多少代码。

## 总体结果

| 指标 | Low | Medium | High | Xhigh |
| --- | ---: | ---: | ---: | ---: |
| 测试通过 | 21/26，80.8% | 21/26，80.8% | 25/26，96.2% | 24/26，92.3% |
| 等价 | 4/26，15.4% | 11/26，42.3% | 18/26，69.2% | 23/26，88.5% |
| 代码审查通过 | 3/26，11.5% | 5/26，19.2% | 10/26，38.5% | 18/26，69.2% |
| Footprint risk 均值 | 0.200 | 0.268 | 0.314 | 0.365 |
| Code-review rubric 均值 | 2.02 | 2.51 | 2.82 | 3.37 |
| All-3 pass | 3/26 | 5/26 | 10/26 | 17/26 |
| 平均成本/任务 | $2.65 | $3.13 | $4.49 | $9.77 |
| 平均时长 | 286.9s | 411.0s | 579.0s | 753.3s |

## 实验设置

每项任务都来自真实的已合并 PR 或 commit。模型获得冻结的仓库快照、描述变更的提示，并在 Docker 容器中尝试一次生成补丁；我们随后在隔离容器中应用补丁并运行任务测试。

我们还从通过/失败之外评分：

- **等价性：** 候选补丁是否实现与原人类补丁相同的行为变化。
- **代码审查：** 是否考虑正确性、引入缺陷的风险、可维护性和边界情况后仍会被接受。
- **Footprint risk：** 相对于人类补丁，代理触及了多少额外代码。
- **Craft/discipline：** 评估清晰度、简洁性、连贯性、意图性、健壮性、指令遵循、范围纪律和 diff 最小性。

每个模型每项任务运行一次，使用单一 seed。LLM 评审模型为 GPT-5.4；评审者只看到补丁和任务，并不知道生成补丁的模型或推理力度。我们还人工检查了代表性样例，但这组任务没有人工校准，因此单个绝对分数不如差值方向可靠。

- 模型：GPT-5.5
- Harness：Codex 0.128.0
- 数据集：26 项匹配的 GraphQL-go-tools 真实任务
- 主要指标：测试通过、语义等价、代码审查通过、footprint risk、craft/discipline 自定义评分、成本和运行时间

## Low 到 Medium：从启发式到领域建模

Low 和 medium 都在 26 项任务中通过 21 项测试。如果只看测试，两者会显得相同；但语义等价性从 4/26 升到 11/26，代码审查通过从 3/26 升到 5/26，craft/discipline 聚合分数从 2.311 升到 2.604。

以 PR #1297 为例：任务要求在 GraphQL Federation 中验证可空的外部 `@requires` 依赖。若可空的必需字段带错误返回 null，下游依赖 fetch 不应接收该受污染实体。Low 虽通过测试，却使用启发式的必需字段/错误匹配，遗漏了结构化的可空 `@requires` 元数据，因此不等价且审查失败。Medium 追踪受污染对象、过滤下游 fetch 输入，变为等价并通过审查；craft/discipline 从 `1.350` 提升到 `3.225`。

## High 看起来是实用的平衡点

| 指标 | Medium | High | 变化 |
| --- | ---: | ---: | ---: |
| 测试通过 | 21/26，80.8% | 25/26，96.2% | +15.4pp |
| 等价 | 11/26，42.3% | 18/26，69.2% | +26.9pp |
| 代码审查通过 | 5/26，19.2% | 10/26，38.5% | +19.2pp |
| Footprint risk 均值 | 0.268 | 0.314 | +0.046 |
| Craft/Discipline 平均分 | 2.604 | 2.736 | +0.132 |
| 平均成本/任务 | $3.13 | $4.49 | +$1.35，1.43 倍 |
| 平均时长 | 411.0s | 579.0s | +168.0s |

High 是最干净的实用升级：明显改善测试、语义和审查指标，成本虽有明显上升但没有达到 xhigh 的水平。该曲线来自 GraphQL-go-tools 的 26 项任务，不是你的仓库；我们可以在你的仓库上运行同样的 GPT-5.5 Codex low-to-xhigh 扫描。[开始使用](https://www.stet.sh/private)

PR #1209 要求 gRPC datasource 在响应 JSON 中遵守 GraphQL alias、预先验证 protobuf message 类型，并更新 union/interface mutation 路径的映射覆盖。Low 和 medium 都通过测试但不等价且审查失败；High 首次严格通过，加入明确的 response-key/alias 处理，并将 alias 贯穿规划与 JSON 编组，custom quality 达到 `3.625`。Xhigh 也通过，但在重新生成的摘要中用时 790.7s，而 high 为 314.0s。

PR #1155 是广泛的 gRPC datasource 加固任务，涉及重复标量字段、避免 null/无效 message panic、传播 gRPC 状态码、禁用 datasource 和动态客户端。High 变为等价且通过审查；Xhigh 虽通过测试，却因禁用 datasource 语义和无效列表行为错误而不等价且审查失败。

## Xhigh 质量更高，但不明显是更好的默认值

| 指标 | High | Xhigh | 变化 |
| --- | ---: | ---: | ---: |
| 测试通过 | 25/26，96.2% | 24/26，92.3% | -3.8pp |
| 等价 | 18/26，69.2% | 23/26，88.5% | +19.2pp |
| 代码审查通过 | 10/26，38.5% | 18/26，69.2% | +30.8pp |
| Footprint risk 均值 | 0.314 | 0.365 | +0.051 |
| Craft/Discipline 平均分 | 2.736 | 3.071 | +0.335 |
| 平均成本/任务 | $4.49 | $9.77 | +$5.29，2.18 倍 |
| 平均时长 | 579.0s | 753.3s | +174.3s |

Xhigh 提高语义和审查质量，但并非“推高旋钮后一切都会改善”：它更贵，测试表现也不是单调上升。Xhigh 的代码审查 rubric 为均值 `3.365`、中位数 `3.500`，High 为均值 `2.817`、中位数 `2.750`。

在 26 项任务中，Xhigh 总共增加 `13,144` 行：`5,918` 行实现代码和 `7,226` 行测试、fixture 或预期输出。相比 High，Xhigh 多增加 `2,631` 行，其中 `2,436` 行位于测试/fixture/预期输出文件。额外范围不只是生产代码，也包括需要阅读和维护的验证内容。

PR #1076 处理订阅并发：每个订阅的串行写入、心跳控制、竞态检测覆盖和正确的 WebSocket 关闭语义。Medium 通过测试但不等价且审查失败；High 等价但仍因全局事件循环可能被 worker 队列阻塞、停机可能等待卡住的 worker、挂起更新无界，以及客户端级 unsubscribe 遗漏内部订阅而审查失败。Xhigh 首次严格通过，custom quality 达到 `3.475`。

PR #1308 实现 GraphQL `@oneOf` 输入对象，涉及内置指令、introspection、操作字面量、运行时变量和未定义变量位置。Medium 和 High 都通过测试但遗漏运行时变量、可空变量、null payload 或 introspection 形状的重要语义；Xhigh 首次严格通过，健壮性为 `3.7`、指令遵循为 `4.0`、custom quality 为 `3.525`。

PR #1240 要求把 GraphQL AST 字段选择和 inline-fragment 选择合并到单一规范化遍历中。Low 和 High 是严格通过；Xhigh 在语义评分上仍等价，但因保留优先子步骤、改变 `AbstractFieldNormalizer` 顺序并留下过时字段合并注册而审查失败。

## Craft 与 discipline

| 指标 | Low 均值/中位数 | Medium 均值/中位数 | High 均值/中位数 | Xhigh 均值/中位数 |
| --- | --- | --- | --- | --- |
| Craft aggregate | 2.327 / 2.338 | 2.618 / 2.525 | 2.781 / 2.787 | 3.126 / 3.100 |
| Discipline aggregate | 2.295 / 2.325 | 2.590 / 2.588 | 2.691 / 2.688 | 3.015 / 3.013 |
| All custom graders | 2.311 / 2.338 | 2.604 / 2.550 | 2.736 / 2.688 | 3.071 / 3.087 |

| 差值 | Medium - Low | High - Medium | Xhigh - High | Xhigh - Low |
| --- | ---: | ---: | ---: | ---: |
| Craft average | +0.291 | +0.162 | +0.345 | +0.799 |
| Discipline average | +0.295 | +0.101 | +0.324 | +0.720 |
| All custom graders | +0.293 | +0.132 | +0.335 | +0.760 |
| Simplicity | +0.069 | +0.038 | +0.315 | +0.423 |
| Coherence | +0.500 | +0.181 | +0.423 | +1.104 |
| Intentionality | +0.147 | +0.004 | +0.065 | +0.216 |
| Robustness | +0.450 | +0.427 | +0.577 | +1.454 |
| Clarity | +0.054 | +0.088 | +0.131 | +0.273 |
| Instruction adherence | +0.531 | +0.519 | +0.381 | +1.431 |
| Scope discipline | +0.354 | -0.058 | +0.381 | +0.677 |
| Diff minimality | +0.242 | -0.146 | +0.404 | +0.500 |

Low 的健壮性和指令遵循较弱；Medium 在不改善总体测试通过率的情况下修复了其中一部分；High 改善了实用正确性和健壮性；Xhigh 几乎改善所有维度，包括范围和 diff 纪律。

## 成本与运行时间

| 推理力度 | 任务成本均值 | 任务成本中位数 | 代理时长均值 | 代理时长中位数 |
| --- | ---: | ---: | ---: | ---: |
| Low | $2.65 | $1.91 | 286.9s | 294.6s |
| Medium | $3.13 | $2.87 | 411.0s | 371.8s |
| High | $4.49 | $3.99 | 579.0s | 572.9s |
| Xhigh | $9.77 | $6.39 | 753.3s | 732.7s |

High 每项成本约为 Medium 的 1.43 倍；Xhigh 约为 High 的 2.18 倍。Xhigh 的均值受到少数昂贵任务影响，但其中位数成本仍高于 High；运行时间总体也随均值成本上升。

## 局限

这不是统计显著性结果，也不代表会原样迁移到你的仓库。具体限制包括：

- 每项任务只有单一 seed。
- 只有 26 项匹配的 GraphQL-go-tools 真实任务。
- LLM 评审者为 GPT-5.4，看到补丁和任务而不知道标签。
- 这组任务没有 grader 校准。

## 相关工作

Voratiq 的[真实工作排行榜](https://voratiq.com/leaderboard)方向相近，但方法不同：其 GPT-5.5 xhigh 为 `1994`，high 为 `1807`，评分增加 `+187`（`+10.3%`）；成本为 `$4.23` 对 `$2.52`（`+67.9%`），时长为 `11.9m` 对 `7.8m`（`+52.6%`）。我们的 Stet 切片显示 high 到 xhigh 的等价性增加 `+19.2pp`（相对 `+27.8%`），代码审查通过增加 `+30.8pp`（相对 `+80.0%`），craft/discipline 聚合增加约 `+12.2%`。两者方法并不直接可比。

## 结论与使用建议

数据支持在模糊、跨领域、并发密集或审查风险高的工作中使用 xhigh；日常默认使用 high；成本更重要且任务常规、范围明确时使用 medium 或更低设置。

- Medium 比 low 更可靠地建模仓库和领域语义。
- High 是这组数据中的实用设置。
- Xhigh 更像质量模式，而不是默认值。

我们会继续把 high 用作日常设置，把 xhigh 用于探索性或复杂工作。团队应在自己的 harness 和任务上测量，而不是直接复制全局基准默认值。

我们正在构建 Stet.sh，这是运行本地评测的工具。你可以让编码代理改进自己的设置，例如改进 `AGENTS.md`，然后用 Stet 在历史仓库任务上测试候选变更。Stet 完全在本地运行，使用你的 LLM 订阅；你可以从 [https://www.stet.sh/private](https://www.stet.sh/private) 安装并运行首次本地试用，也可以联系我们进行付费试点和 CI 配置。

## FAQ

### 更高的 GPT-5.5 Codex 推理力度会提高编码代理质量吗？

在这组 26 项 GraphQL-go-tools 任务中，更高推理力度提高了等价性、代码审查通过率、all-3 pass 数量和自定义质量分数。但 xhigh 成本显著上升，测试通过率还低于 high，因此没有一个简单的默认选择。

### 这是可直接用于决策的比较吗？

不是。这是来自拼接匹配切片的 inspect-grade 结果：Medium/High 来自一份已完成但证据不足的规则比较，Low/Xhigh 来自同一 26 项切片上的干净候选臂运行。

### 为什么要同时展示测试、等价性、审查、成本和 grader 分数？

因为测试单独会遗漏主要信号。Low 和 Medium 通过相同数量的测试，但 Medium 在等价性、审查、all-3 pass 以及 craft/discipline grader 上明显更好。

[查看 Stet 的测量方式](https://www.stet.sh/methodology)

---

[Read this page’s summary](https://www.stet.sh/agents/api/public/v1/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fblog%2Fgpt-55-codex-graphql-reasoning-curve&trace=t_5da45423e484)

## Ask a follow-up about this page

Need a more specific answer? Ask the exact question you have. It returns a fresh, cited answer from Stet’s knowledge base. No account or API key required.

Open this URL with your own question, URL-encoded. Include your question in q. All research inputs are optional; no account or setup.

`GET https://www.stet.sh/agents/agent/faq?q={question}&trace=t_5da45423e484`

[Tool guide and examples](https://www.stet.sh/agents/agent-access) · [OpenAPI](https://www.stet.sh/agents/api/public/v1/openapi.json) · [Page TLDR form](https://www.stet.sh/agents/agent-tools/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fblog%2Fgpt-55-codex-graphql-reasoning-curve). Opening a form does not execute a tool.