10 月 17 日,DeepSeek 给自家小模型推了一个点版本:V4.1-Flash-1017。模型名还是 deepseek-flash,价格一分没涨。点版本通常不值得单独写一篇,这次值得,因为基准表选的项目本身就在说话。

先把数字摆出来

无工具条件下,Humanity's Last Exam 42.6(纯文本子集 44.0)。Terminal-Bench 4.0 拿 42.3——这套题是让 Agent 真的在 shell 里把活干完,不是描述怎么干。DeepSWE v1.1 77.0,ProgramBench 29.1,NL2Repo-Bench 68.2,Automation-Bench v1.0.6 60.5,Agents' Last Exam 35.4。

带工具之后画风变了:Chartography 83.0,BabyVision 92.5,ZeroBench-main 51.0(Pass@5)。

看分布比看峰值有用。一个在图表理解上 83 分、在 ProgramBench 上只有 29 分的模型,不是通才,是有明确能力侧写的模型。对做 Agent 的人来说,Terminal-Bench 42.3 是那行真正该看的数字,因为它衡量的是模型能不能扛完一次 shell 会话,而不是会不会描述一次 shell 会话。

官方说优化了什么

发布说明用了一个词:性能—成本帕累托改进。后面的解释比这个词本身有用——同样的任务结果,运行时间更短、输出长度更短。

少吐点思考过程的字,对按输出 token 付费的人是直接省钱,对等响应的人是直接提速。

说明里还点了名:这一版针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 等平台做了优化,建议升级到 Harness 0.2.1-rc.1 或更高。这个提示少见地具体。各家 Agent 框架序列化工具调用的方式不一样,针对某个 harness 调过的模型,在那个 harness 里会显得比在外面好。

GPU 与堆叠的 HBM:基准表背后真正被衡量的硬件。图:C. Spille / Wikimedia Commons,CC BY-SA 4.0
GPU 与堆叠的 HBM:基准表背后真正被衡量的硬件。图:C. Spille / Wikimedia Commons,CC BY-SA 4.0

最容易漏掉的一段

V4.1-Flash 是直接顶替上一代的。老模型名 deepseek-v4-flash 和 deepseek-v4-flash-vision-exp 还能调,但请求会路由到 V4.1-Flash,按 Flash 的价格计费。

两个后果。依赖旧模型具体行为的请求会悄悄漂移,而且没有版本号可以钉住。另外那条视觉实验线作为独立产品没了——多模态输入现在是默认小模型的属性,不再是旁支。

如果你有东西钉在 deepseek-v4-flash-vision-exp 上,这周就该去看一眼。

怎么自己验

基准表回答的不是你的问题。换生产流量之前,三件事值得做。

跑自己的评测集。从真实工单里抽二十条,人工打分,比任何公开榜单都准。

量每个任务的输出 token,别只量准确率。官方说的收益是推理变短,短了还对,钱才省在这。如果你的任务输出长度没变,这个帕累托改进对你就不成立。

盯工具调用的格式。小模型退化总是先从结构化输出开始:少个括号、JSON 前面多一行解释。总通过率掉两个点,落到你 Agent 依赖的那个工具上,可能就是 20% 的失败率。

一句话

这是一次披着能力升级外衣的成本与延迟升级。能力确实动了——HLE 从 9 月发布时的 36.8 到 42.6,是实打实的跳——但值得在意的理由是同样的活现在花的 token 更少、结束得更早。对一天跑几千步的 Agent 来说,这才是最后出现在账单上的那个数。