# Stet 运行的分析与笔记 Stet publishes a public search API over its indexed pages; the guide is at https://www.stet.sh/agents/agent-access. Source: https://www.stet.sh/zh/blog Source observed: 2026-11-08T19:51:36.084Z Last checked: 2026-11-08T19:51:36.084+00:00 Indexed: 2026-11-08T20:25:55.834+00:00 --- # Stet 运行的分析与笔记 我们发布来自真实 AI 编码代理评测的方法论笔记、基准证据和模型对比文章。 ## 模型对比 我们在真实仓库编码代理任务上，对 GPT-5.5、GPT-5.4、Claude Opus 4.7 和 Opus 4.6 比较测试通过率、等价性、代码审查质量、改动范围、时间和成本。 - [模型对比](https://www.stet.sh/model-comparisons) - [GPT-5.4 vs Opus 4.7](https://www.stet.sh/model-comparisons#gpt-54-vs-opus-47) - [GPT-5.5 low vs medium vs high vs xhigh：在开源仓库 26 个真实任务上的推理曲线](https://www.stet.sh/zh/blog/gpt-55-codex-graphql-reasoning-curve) - [GPT-5.5 vs GPT-5.4 vs Opus 4.7：56 个来自 2 个开源仓库的真实编码任务](https://www.stet.sh/zh/blog/gpt-55-vs-opus-47) - [Opus 4.7 vs 旧版 Opus 4.6 vs 新版 Opus 4.6](https://www.stet.sh/zh/blog/opus-4-7-zod) ## 文章 ### [Opus 4.7 Low Vs Medium Vs High Vs Xhigh Vs Max：来自开源仓库 29 个真实任务的推理曲线](https://www.stet.sh/zh/blog/opus-47-graphql-reasoning-curve) **2026年5月12日** — Claude Opus 4.7 在 29 个匹配的 GraphQL-go-tools 任务上的 reasoning-effort 曲线，覆盖 low、medium、high、xhigh 和 max。Medium 在行为指标上胜出；更多推理并不能可靠换来更好的补丁。 ### [GPT-5.5 low vs medium vs high vs xhigh：在开源仓库 26 个真实任务上的推理曲线](https://www.stet.sh/zh/blog/gpt-55-codex-graphql-reasoning-curve) **2026年5月7日** — 交互式 GPT-5.5 Codex 推理力度曲线，基于 26 个匹配的 GraphQL-go-tools 任务，比较 low、medium、high 和 xhigh。 ### [GPT-5.5 vs GPT-5.4 vs Opus 4.7：56 个来自 2 个开源仓库的真实编码任务](https://www.stet.sh/zh/blog/gpt-55-vs-opus-47) **2026年5月1日** — 比较 Opus 4.7、GPT-5.5 和 GPT-5.4 在两个开源仓库的 56 个真实编码任务上的表现。Opus 写出的补丁更小；GPT-5.5 写出的补丁更常经得起代码审查。 ### [Opus 4.7 vs 旧版 Opus 4.6 vs 新版 Opus 4.6](https://www.stet.sh/zh/blog/opus-4-7-zod) **2026年4月17日** — 三个 Opus 快照的测试通过率同为 12/28。越过测试门槛后，4.7 在方向上更好：更有纪律性，但并不是根本上更聪明。 ### [你的 AGENTS.md 是你还没测试过的、杠杆最高的代码](https://www.stet.sh/zh/blog/agents-md-testing) **2026年4月8日** — AGENTS.md 会被加载到每一轮交互里。如果我们没有测试和监控对它的改动，就会在组织规模上靠猜。 ### [你的 AI 编程基准测试掩盖了 2 倍的质量差距](https://www.stet.sh/zh/blog/both-pass) **2026年3月14日** — 三个模型的通过率相同，但其中一个模型匹配人类补丁的频率高出 2 倍。测试通过率是闸门，不是真相来源。 ## 相关入口 - [Leaderboard](https://www.stet.sh/leaderboard) - [Setup comparisons](https://www.stet.sh/leaderboard/compare) - [Model comparisons](https://www.stet.sh/model-comparisons) - [Instruction evals](https://www.stet.sh/instruction-evals) - [Methodology](https://www.stet.sh/methodology) - [Changelog](https://www.stet.sh/changelog) - [Alternatives](https://www.stet.sh/alternatives) - [About](https://www.stet.sh/about) - [Contact](https://www.stet.sh/contact) - [Agents: ask Stet](https://www.stet.sh/agents/agent/faq) - [Get started](https://www.stet.sh/private) --- [Read this page’s summary](https://www.stet.sh/agents/api/public/v1/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fzh%2Fblog&trace=t_5da45423e484) ## Ask a follow-up about this page Need a more specific answer? Ask the exact question you have. It returns a fresh, cited answer from Stet’s knowledge base. No account or API key required. Open this URL with your own question, URL-encoded. Include your question in q. All research inputs are optional; no account or setup. `GET https://www.stet.sh/agents/agent/faq?q={question}&trace=t_5da45423e484` [Tool guide and examples](https://www.stet.sh/agents/agent-access) · [OpenAPI](https://www.stet.sh/agents/api/public/v1/openapi.json) · [Page TLDR form](https://www.stet.sh/agents/agent-tools/page-tldr?url=https%3A%2F%2Fwww.stet.sh%2Fzh%2Fblog). Opening a form does not execute a tool.