# GLM 5.2 vs Composer 2.5：50 个 Go 和 Rust PR 上的成本与质量

Stet publishes a public search API over its indexed pages; the guide is at https://www.stet.sh/agents/agent-access.

Source: https://www.stet.sh/blog/glm-5-2-passes-tests-fails-review
Source observed: 2026-11-15T21:02:54.981Z
Last checked: 2026-11-16T18:25:38.527+00:00
Indexed: 2026-11-15T21:08:03.94+00:00

---

# GLM 5.2 vs Composer 2.5：50 个真实 Go 和 Rust PR 上的成本与质量

**作者：** [Ben，Stet 创始人](https://www.stet.sh/about)  
**日期：** 2026年6月19日 · 更新于2026年10月20日 · 7 分钟阅读

## 结论先行

我们在两个开源仓库的 50 个真实已合并 PR 上评估 GLM 5.2：Go 的 graphql-go-tools 25 个任务，Rust 的 sqlparser-rs 25 个任务。GLM 5.2 在 Claude Code medium 下运行；该设置映射为 GLM high，而不是 GLM medium。

在这组任务中，GLM 5.2：

- 在两个仓库的 craft 和 equivalence 上都位列最后；
- 运行成本约为 Composer 2.5 的两倍，但质量更低；
- 通过 **38/50** 个测试，而 Composer 2.5 和 GPT-5.5 各通过 **44/50**，Opus 4.8 通过 **47/50**；
- 只通过 **5/50** 个 code reviews；
- 更适合作为有人或更强模型监督的 supervised first draft，不适合无人值守地对生产级仓库运行。

[开始使用 Stet](https://www.stet.sh/private)

## 评估方法

每个模型在冻结的 repo snapshot 上重放一次真实已合并 PR，每项任务只有一次尝试。我们不仅检查测试 pass/fail，还评估：

- **Craft：** 8 个 grader 的均值，范围 0–4，衡量代码质量和 idiom。
- **Equivalence：** 范围 0–1，衡量 patch 对已合并人工 PR 实际行为的复现程度。
- **Code review、footprint 和成本**也用于组合分析。

Stet 是我们构建的本地 eval harness，负责运行和评分；盲评 GPT-5.4 judge 独立于 runner 评分。污染审计在两个仓库均为 clean。成本采用 cache-aware 计算。

## 两个仓库的校准结果

### graphql-go-tools（Go，n=25）

| Arm | Craft | Equiv | $/task |
| --- | ---: | ---: | ---: |
| Opus 4.8 high | 2.90 | 0.73 | $3.98 |
| GPT-5.5 high | 2.72 | 0.73 | $4.69 |
| Opus 4.7 xhigh | 2.63 | 0.68 | $5.93 |
| Composer 2.5 | 2.48 | 0.60 | $0.71 |
| GLM 5.2 medium | 2.38 | 0.47 | $1.40 |

### sqlparser-rs（Rust，n=25）

| Arm | Craft | Equiv | $/task |
| --- | ---: | ---: | ---: |
| Opus 4.8 high | 3.28 | 0.98 | $3.02 |
| Opus 4.7 xhigh | 2.98 | 0.97 | $3.55 |
| GPT-5.5 high | 2.94 | 0.96 | $3.41 |
| Composer 2.5 | 2.84 | 0.95 | $0.53 |
| GLM 5.2 medium | 2.69 | 0.78 | $1.04 |

GLM 在两个仓库都落后于整个 premium field。与 Composer 比较时，Go 上 craft 和 equivalence 的差距在 noise band 内；Rust 上 GLM 的 equivalence 低 **0.17**，属于 decision-grade 差距。Rust 中其他每个 arm 的 equivalence 都超过 **0.95**，GLM 为 **0.78**。

## Patch 形状与运行量

每个 arm 写出的 patch 都比对应人工 PR 更大。人工 PR 的中位变化为 Go **+111 / −47**、Rust **+110 / −17**。

### graphql-go-tools（Go）

| Model | Added / Deleted |
| --- | ---: |
| GLM 5.2 | +222 / −16 |
| Composer 2.5 | +282 / −42 |
| GPT-5.5 | +324 / −35 |
| Opus 4.8 | +228 / −14 |
| Opus 4.7 | +213 / −15 |

### sqlparser-rs（Rust）

| Model | Added / Deleted |
| --- | ---: |
| GLM 5.2 | +284 / −12 |
| Composer 2.5 | +235 / −35 |
| GPT-5.5 | +223 / −19 |
| Opus 4.8 | +175 / −18 |
| Opus 4.7 | +143 / −10 |

GLM 在 Go 上的 diff 规模处于中间，在 Rust 上增加最多、删除很少。质量差距不是单纯的 patch 大小问题：GLM 写出看起来正常的 diff，但 equivalence 和 craft 仍然最低。

### Tokens、turns 和 patch 数量

| Model | Input/task | Output/task | Turns | Patches |
| --- | ---: | ---: | ---: | ---: |
| GLM 5.2 | 3.2M | 22k | 122 | 50/50 |
| Composer 2.5 | 2.1M | 16k | — | 50/50 |
| GPT-5.5 | 4.8M | 15k | 94 | 50/50 |
| Opus 4.8 | 3.0M | 32k | 113 | 50/50 |
| Opus 4.7 | 5.6M | 31k | 100 | 46/50 |

这些是每任务中位数；input/output tokens 和 patch 数量汇总两个仓库。Input 包含 context 和 cache reads，output 是生成 tokens。Turns 使用 sqlparser-rs 中捕获完整的 claude-code 与 codex arm 中位数；Composer 在 Cursor 上运行，少量 assistant turns 会批量完成工作，因此不可直接比较。

GLM 的中位运行时间约 **16 分钟/任务**，是最慢的 arm。最差的 Go 任务消耗 **14.1M tokens**、花费 **$4.07**，在一次 **326-turn** 循环中几乎一直重复读取相同文件。

## 成本与本地分数

Stet 的 repo-balanced local score 使用以下权重：

- Tests：5%
- Equivalence：30%
- Code review：25%
- Craft：25%
- Footprint：15%

| Model | Repo-balanced local score | Cost/task |
| --- | ---: | ---: |
| Opus 4.8 high | 80.2 | $3.50 |
| Opus 4.7 xhigh | 75.9 | $4.74 |
| GPT-5.5 high | 75.6 | $4.05 |
| Composer 2.5 | 71.6 | $0.62 |
| GLM 5.2 medium | 64.6 | $1.22 |

GLM 比 premium arms 便宜，但约为 Composer 两倍成本，且 local score 最低。GLM 的分数只比 Composer 低约 7 分，部分原因是 footprint 是 GLM 没有落后的唯一组件；按单轴查看，GLM 在 craft 和 equivalence 上落后更明显。

## 同一任务上的 GLM 与 Composer

### sqlparser-rs #1472：Hive `!` 与 PostgreSQL `!` factorial

任务是按 dialect 区分 bang operator：Hive 将 `!a` 解释为 logical NOT，PostgreSQL 将 `a!` 解释为 factorial，不支持任一种形式的 dialect 应拒绝两者。

- Composer 2.5：实现等价、通过 review，craft **3.68**。
- GLM 5.2：通过相同测试但不等价；它让 GenericDialect 同时启用两种 bang 形式。人工设计是在 `Dialect` trait 增加两个默认 false 的能力 predicate：`supports_factorial_operator` 和 `supports_bang_not_operator`，而 GLM 依据 dialect identity 写了 `dialect_of!(self is HiveDialect | GenericDialect)` 分支。

### sqlparser-rs #1493：JSON_TABLE `FOR ORDINALITY` with `NESTED PATH`

任务是增加 ordinality column syntax。

- Composer 2.5：等价、review-clean，craft **3.53**。
- GLM 5.2：测试通过但不等价；它在检查 `FOR ORDINALITY` 前先解析 data type，因此真实的无类型 `n FOR ORDINALITY` 无法解析，只有非标准的 `n INT FOR ORDINALITY` 可以工作。

### 其他“测试通过、review 失败”案例

- **graphql-go-tools #859，$0.36：** GLM 让 planner path lookup 通过三个并行缓存达到 O(1)，但没有处理任务同时要求的 `DataSourceMetadata` membership scans，只完成了一半优化。
- **sqlparser-rs #1398，$0.73：** GLM 改了 interval value parsing，却没有增加拒绝缺少 unit 的错误；它删除 `INTERVAL 1 + 1 DAY` regression test，而不是修复实现，因此测试变绿但覆盖被移除。

## 测试通过并不足以区分模型

GLM 通过 **38/50** 个任务；Composer 与 GPT-5.5 各通过 **44/50**；Opus 4.8 通过 **47/50**。所有模型测试通过率都超过 75%，测试 gate 在这个数据集上已经饱和。

模型可以写出结构上合理的 patch，遗漏人工 PR 正在修复的核心行为，同时仍然通过测试，因为测试套件很少覆盖人工改动的每个边界。GLM 反复产生这种结果：**tests green，behavior incomplete**。因此 routing 不应只依赖 pass/fail，应同时查看 equivalence 和 craft。

## GLM 的行为机制

### Turns 和 tokens

GLM 在 Go 上每任务中位约 **135 turns**，Rust 上约 **122 turns**；Opus 4.8 在 Rust 上约 **113 turns**，GPT-5.5 约 **94 turns**。GLM 比 premium models 运行更多 turns，却产生更差的 output。它的成本优势来自更低的 token 价格，而不是效率。每任务中位 token spend 约为 Go **3.9M**、Rust **2.5M**。

### 写得比人工多，却遗漏核心改动

GLM 产生约为人工 **1.8x** 的 churn，通常增加代码而很少删除。差异在于内容，而不只是 diff 形状：它倾向于在既有路径旁边加新代码，而不是准确修改原有行为。

### 结果差异很大

- Go #1308（通过 introspection 和 validation 暴露 `@oneOf` input objects）：GLM 找到了 `@oneOf` directive、`isOneOf` introspection field 和 validation rule，但把新检查放在已有检查之前，导致 one-of selection 中的 undefined variable 返回错误类型；运行 **326 turns、14.1M tokens、$4.07**，其中只有约 **34K** 是 output，其余主要是在重复读取文件。
- Go #1034（规范化 variable names，同时保留原值供 validation）：人工只增加小型 `variables_mapper` layer；GLM 写出 **+522 / −6**，引入 third-party JSON parser，逐字节重新序列化 variables，最后仍丢失 original-variable path；craft **1.94**。
- Rust #2174（`derive_dialect!` macro）：GLM 产生等价 patch，churn 约为人工 PR（**734 / 285**）的一半，但手写 dialect method table 而不是生成它。
- Rust #1538：GLM 做对了，但消耗 **11.3M tokens**、花费 **$3.21**。

这种同一模型、相同设置下的巨大差异，是 routing 问题的核心。

## 成本、用量与限制

按仓库计算：

- GLM：Go **$1.40/task**，Rust **$1.04/task**；约为 premium arms 成本的 0.3x。
- Premium arms：Opus 4.8 **$3.02–$3.98**，GPT-5.5 **$3.41–$4.69**，Opus 4.7 **$3.55–$5.93**。
- Composer：Go **$0.71/task**，Rust **$0.53/task**；GLM 约为其两倍，同时质量更低。

同一 50-task eval 消耗了 GLM **$60/week** plan 一周用量的 **100%**。Composer 相同任务约消耗 **$20/month** plan 一个月用量的 **30%**。GLM 更紧的 five-hour 和 weekly caps 会把长运行拆成多段；限制可以控制 flail cases，但不能修复不完整行为。

## Routing 建议

如果你已经使用 Composer 2.5，在这些 workload 上 GLM 没有优势：它 turns 更多、成本更高、质量更低。

GLM 更适合：

- 有人或 frontier model 紧密指导的 supervised first-draft generation；
- 规格窄、合并前会由人审阅的工作；
- 可以用 turn 和 cost caps 控制异常长循环的场景。

GLM 不适合：

- unattended production work；
- auto-merge-on-green；
- 无人值守的批量运行。

我们的 routing 结论是：**GLM 是带 reviewer 的 draft generator，不是 merge trigger。**

## 这项研究的范围

- 每个模型 50 个任务，两个仓库：graphql-go-tools（Go）和 sqlparser-rs（Rust）。
- 时间：2026年6月。
- Judge：独立于 runner 的 blinded GPT-5.4。
- 每个任务单个 seed、一次尝试。
- 两个仓库均通过 contamination audit。
- GLM 在 Claude Code medium 运行，对应 GLM high。
- 每个仓库重复验证同一发现，比单仓库更有信息；合并数字仍是 directional，而非 definitive。
- 这不是通用 benchmark：只有两个仓库、一个 parser/query-planning domain cluster、一个 judge model 和一个 agent scaffold。其他代码领域、任务分布和 harness 可能得到不同排名。

请在自己的代码上重放已合并 PR，再决定 routing 默认值：[Get started](https://www.stet.sh/private)。

## FAQ

### GLM 5.2 足以替代 premium coding model 吗？

在这 50 个任务上不够。GLM 在两个仓库的 craft 和 equivalence 都最后，落后于整个 premium field。它适合有人审阅的便宜 first draft，不适合无人值守生产工作。

### GLM 5.2 与 Composer 2.5，哪个便宜模型更好？

在这组任务上是 Composer。Go 上两者 craft 和 equivalence 属于 noise-band tie；Rust 上 Composer 的 equivalence 领先到 decision-grade，而且成本约为 GLM 一半：Rust **$0.53/task vs $1.04**，Go **$0.71 vs $1.40**。

### GLM 5.2 运行便宜吗？

它比 premium field 便宜，但约为 Composer 两倍：Go 约 **$1.40/task**、Rust **$1.04/task**。较高 token volume 是成本的重要原因。

### GLM 5.2 失败时是什么样？

它通常产生 plausible partial：测试通过、在旁边增加新代码，但遗漏 PR 实际改变的核心行为。它写出约为人工 **1.8x** 的 churn，很少删除代码，并只在 **5/50** 个任务上通过 code review。

### GLM 5.2 适合在哪里使用？

适合规格窄、有人在合并前审阅的 supervised first-draft work；不适合 auto-merge-on-green 的生产工作或无人值守批处理。five-hour 和 weekly usage caps 还会切碎长运行，而 plausible-partial patch 需要人工检查。

[方法论](https://www.stet.sh/methodology)

---

[Read this page’s summary](https://www.stet.sh/agents/api/public/v1/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fblog%2Fglm-5-2-passes-tests-fails-review&trace=t_5da45423e484)

## Ask a follow-up about this page

Need a more specific answer? Ask the exact question you have. It returns a fresh, cited answer from Stet’s knowledge base. No account or API key required.

Open this URL with your own question, URL-encoded. Include your question in q. All research inputs are optional; no account or setup.

`GET https://www.stet.sh/agents/agent/faq?q={question}&trace=t_5da45423e484`

[Tool guide and examples](https://www.stet.sh/agents/agent-access) · [OpenAPI](https://www.stet.sh/agents/api/public/v1/openapi.json) · [Page TLDR form](https://www.stet.sh/agents/agent-tools/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fblog%2Fglm-5-2-passes-tests-fails-review). Opening a form does not execute a tool.