开源模型和闭源 API 的讨论,经常停留在“效果谁更强”。但在真实项目里,决定选型的往往是成本结构,而不是榜单名次。

一、把成本拆成四块:调用费(按 token 或按次)、推理硬件、人力(部署、调优、监控)、以及切换到别家的迁移成本。闭源 API 前两项低,后两项也不高,但账单随用量线性上涨;开源自托管前期人力投入大,单价随利用率上升而下降。

二、算拐点:假设某任务每天 200 万 token 输入、50 万 token 输出,先按公开价格估出 API 的月账单;再用同等效果的开源模型估算单卡吞吐与机器成本。多数情况下,日调用量低于几十万 token 时 API 更划算,超过一定规模后自建才开始显现优势,而这个门槛每年都在往下走。

三、别忽略隐性成本:自托管要处理模型更新、量化精度损失、并发排队、显卡故障;API 要处理限流、价格调整、区域可用性。两者都不是“配好就完事”的工程。

一个务实的做法是混合:把高频、格式固定的任务(分类、抽取、改写)压到自托管小模型,把低频、需要强推理的任务留给 API。这样既控制了成本曲线,也保住了效果上限。