企业如何省钱:开源模型的三种跑法与它们各自的账单

开源模型和闭源模型,不是一场你死我活的战争

在计算行业,每当出现更便宜、更开放的替代方案,叙事往往会被包装成一场赢家通吃的决战。Linux与Windows、Android与iOS,都曾被这样描述。但现实是,两边都“赢”了,因为它们服务的是不同的市场,把它看成“二选一”从来就不是正确的视角。

AI模型正在重复这个模式。OpenAI和Anthropic的闭源模型仍然主导企业使用,但推理token的支出正在逐渐向开源模型转移。Andreessen Horowitz的数据显示,37%的企业在生产环境中运行五个或更多模型,开源和闭源并存。对企业而言,真正的风险不是选错了边,而是被单一模型提供商锁死,以至于后来想换都换不了。

企业真正想要的,是控制权

开源模型与闭源模型的性能差距正在缩小,但这只是采用率上升的部分原因。更主要的驱动力是控制:数据去了哪里、模型如何表现、以及如果供应商消失或改变条款,企业会暴露在多大的风险之下。

在本地或企业自有云中运行模型,让AI在医疗、法律和金融服务等受监管行业变得可行——这些行业通常不允许把数据发送到外部API。在自有数据上对开源模型进行后训练,可以把定制化留在内部,塑造模型行为而不必把这个过程交给供应商。而拥有权重意味着,如果供应商消失、被收购或改变条款,企业不会被困住,模型不会被拿走。

但控制是双向的。开源许可不等于开源。你通常拿到的是许可,而不是训练数据、代码或真正的许可证。闭源模型上,供应商已经完成了重要的安全对齐工作;开源模型上,这份工作是你团队的责任,而且它比大多数人意识到的更容易被撤销。研究者已经证明,模型的安全训练可以用少量微调样本逆转,Llama和Gemma这类模型的护栏可以在几分钟内被剥离。这不是回避开源模型的理由,但企业需要清楚自己正在承担什么样的风险。

自托管的隐性账单:73%的GPU时间在空转

开源模型最清晰的用武之地,是嵌入、分类、摘要、代码审查这类范围明确、定义清晰的工作负载。在这些场景中,模型能力已经足够,成本结构也比较容易预测。但“免费下载使用”这句话的另一面是:运行它们要花GPU小时数、服务基础设施和一支运维团队。

最容易被低估的成本不是GPU的小时单价,而是闲置的GPU时间。一台GPU节点一个月运行730小时,用于服务一个8x5的工作负载(约174个有效小时),浪费了大约76%的支出。换句话说,买一个更便宜的GPU小时,不如先把闲置时间消灭掉。规模到零和自动停止,比价比三家更能决定自托管的账单。

自托管只在持续使用量超过一个门槛之后才划算。把每百万token的计算成本算出来——GPU小时价格除以实测输出token/秒×3600/1,000,000,再除以真实利用率——然后与公开的托管每百万token价格对比,最后加上20%到40%的平台工程成本。在每月几亿token以下,托管API几乎总是在纯成本上胜出。

不自己扛,不等于不能用:三层现实路径

对于大多数企业而言,更现实的路径不是自建GPU集群,而是通过推理提供商来使用开源模型。Fireworks、Together AI、Base10等公司专门从事开源模型的运行和扩展。这条路保留了开源模型的核心优势——模型选择、许可可获取、不被单一闭源供应商锁定——同时把GPU采购、服务扩展和运维负担转移给了专业方。

Akamai Inference代表的则是另一种形态:通过OpenAI兼容的API调用开源模型,按百万token付费,没有GPU基础设施需要配置或管理。它提供共享的、自动扩展的无服务器推理端点,也提供预留GPU的专用推理,覆盖从突发流量到稳定高吞吐的不同需求。模型目录包括Llama、Qwen和DeepSeek等主流开源权重模型。NVIDIA的立场与此一致:小团队不需要第一天就运行GPU集群,托管端点、现有云的无服务器目录、第三方推理提供商、私有部署和本地硬件,构成了一条从轻到重的渐进路径。

如果企业确实需要自托管,2026年的工作栈也不是一个工具能搞定的。它至少需要四层:推理服务器(vLLM、SGLang或TGI)负责加载权重并执行推理;Kubernetes上的模型编排层(KubeAI或Ray Serve)管理模型生命周期和自动扩展;OpenAI兼容的网关(LiteLLM)发放密钥、执行预算并路由请求;以及一个部署与治理层,让人类和AI智能体都能以受限、可审计的方式发布服务。跳过任何一层,都会导致严重的问题。

混合路由:把“控制”和“成本”放在同一张架构图里

智能体编程是目前开源模型最弱的环节,所以2026年的务实默认是混合模式:把高容量、重复性的工作——自动补全、嵌入、摘要、代码审查——放在自托管或托管开源模型上,把困难的智能体任务路由到前沿闭源模型。路由决策发生在网关层,这样更换模型不需要触碰智能体本身。

这个架构的意义在于,它把“是否开源”这个二选一的问题,拆解成了“哪些工作负载适合开源、哪些适合闭源、用什么机制在两者之间切换”的一组可操作的选择。开源模型不需要在所有任务上击败闭源模型,它只需要在足够多的任务上足够好、足够便宜,同时保留在需要时切换到更强模型的权利。控制权的价值不在于永远不用闭源模型,而在于随时可以选择不用。

(智算芯能前沿网综合)

本文由智算芯能前沿网编辑整理,转载请注明出处。