编码智能体的“外壳”是系统提示词、工具集和上下文管理规则的总和。山东大学的研究表明,这个外壳可以轻易让任务成本翻三倍,却不会对准确率产生可测量的提升。
实验设计:三个外壳,五个模型,492个任务
山东大学的研究者Yangze Liu和Zhongyi Han试图回答一个在编码智能体领域被频繁提及、却少有严格测量的问题:当底层模型被固定,外壳本身到底贡献了多少?
他们选取了三个具有代表性的生产级外壳:Claude Code、OpenCode,以及一个用约100行Python写成的极简开源外壳mini-SWE-agent。mini-SWE-agent只暴露一个bash工具,不进行上下文压缩。五个模型被放入这三个外壳中运行,包括两个本地部署的开源权重模型(Qwen3.6-35B-A3B和Qwen3.8-27B)和三个API模型(DeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Preview),另以Claude Opus 5搭配Claude Code作为顶级锚点。全部测试在隔离容器中完成,覆盖SWE-bench Verified的492个离线任务。
准确率:最重的外壳与最轻的外壳统计等效
在447个常规任务上,Claude Code和mini-SWE-agent——最重与最轻的两个极端——得分差距在2个百分点以内,在5个百分点的置信区间内被判定为统计等效。在45个最困难的任务上,切换外壳导致任务通过与否发生翻转的比例约为13%,而用同一个外壳重复运行,翻转率的中位数同样是13%。换言之,换外壳带来的变化,与不换任何东西、只是再跑一次所带来的随机波动,处于同一量级。
唯一在统计噪声之上清晰显现的外壳效应,是一个负面效应:OpenCode在较大任务集上落后最多9个百分点,其中约一半的差距与该外壳在模型达到32,000 token输出上限时直接截断、而非提示模型继续生成有关。研究还测试了DeepSeek官方的命令行外壳搭配DeepSeek-V4-Flash,其通过率落在其他三个外壳的区间之内,而每次试验的成本是所有测试外壳中最高的。研究者的结论是直白的:“厂商自家外壳配自家模型,不买来任何分数优势。”
成本:差异从第一次API调用就开始了
与准确率的“统计等效”形成对照的,是成本端的显著分化。在相同模型、相同任务、相同价目表的条件下,不同外壳的每任务成本差异最高达到3倍。在GLM-5.3-Flash上,Claude Code的一次试验成本接近mini-SWE-agent的两倍,超过OpenCode的三倍。
成本差距的根源不在于工具调用的输出,也不在于每一步的增量增长,而在于每次对话轮次都会重新发送的那段固定前置内容。Claude Code在第一次API调用时发送的系统提示词和工具模式合计16,581个token,OpenCode为7,025个,mini-SWE-agent仅为829个。智能体在每一轮都会重发对话记录,因此这笔初始开销会乘以步数。研究者还推断,Claude Code会进一步重发模型的中间推理块,加重每一步的负担。即便96%至99%的输入token命中了提供方的提示缓存,固定前置内容的体量差异仍然决定了成本排序,且这一排序在不同模型之间并不稳定——在DeepSeek-V4-Flash上,mini-SWE-agent反而比Claude Code略贵,因为它用了更多步数(141次模型调用对104次)。
一个被排除的干扰项,和一项独立验证
研究过程中有一个值得单独留意的发现。在早期允许联网的试验中,439次DeepSeek和Qwen的运行里有312次(71%)从GitHub上检索到了原始的人工修复方案。这些运行被剔除,最终评估完全在离线环境下进行。这一细节提示,部分公开榜单上的高分可能部分来自检索而非推理。
山东大学的发现与加州大学伯克利分校Sky Computing Lab和Arena的HarnessTax研究相互印证。伯克利团队在七个模型、三个外壳(Claude Code、Codex CLI、Pi)上测试了60个任务,发现外壳选择对通过率的影响仅为几个百分点,而推理成本最高可扩大5倍。Claude Code的初始上下文平均是Pi的10倍以上,原因同样是更长的指令和更庞大的工具模式。
对企业选型的含义:从“看分数”转向“看账单”
这项研究给出的操作建议并不复杂:不要依据单次运行的微小基准差异来选择编码智能体。外壳之间的准确率差异在多数情况下落在重复运行的噪声范围之内,而成本差异是真实且可复现的。团队在评估编码智能体时,需要同时记录任务成功率和每任务成本,并将“更换外壳”与“重复运行同一配置”作为可比较的基线。在模型能力已经足够解决任务的场景中,最轻的外壳可能是性价比最高的选择;而在模型本身需要外部约束才能稳定工作的场景中,外壳的价值需要由成本节省而非分数提升来证明——Martin Fowler网站的一项独立实验提供了一个对照:一个成本优化模型在无外壳时10次运行仅成功3次,加上行为外壳后10次全部成功,且单次成本比顶级模型低33%。总而言之,外壳是否值得使用,取决于它把什么样的模型推到了什么样的可靠性水平,而不是它在排行榜上多出的那几个百分点。
(素材来自:山东大学 智算芯能前沿网综合)
本文由智算芯能前沿网编辑整理,转载请注明出处。
