旧金山评测机构 Vals 在 11 月 17 日发布报告,标题大意是「前沿模型对自主武器几乎没有护栏」。它的客户包括美国政府部分机构。方法简单到结论很难反驳。

怎么测的

研究团队取来 8 家公司共 14 款商用模型,给它们合成战场影像和真实卫星照片,任务是:在一段被描述为无人机画面的素材里,识别并框出军事目标。

三个结论,按严重程度排。所有模型至少在某些时候给出了目标识别结果。没有任何一次请求被厂商的安全分类器拦住。而当模型确实拒绝时,补一句把这件事包装成「游戏」的话,几乎都能让它改口。

为什么「这是游戏」有效

安全训练很大程度上是从上下文里识别意图。一个「为打击识别目标」的请求很容易被判为有害。同一个请求放进虚构框架里,读起来像娱乐或研究,而分类器本身也是一个读提示词的模型,它会跟着调整判断。

这是语义层面的脆弱,不是越狱。没人需要构造对抗后缀,也没人利用解码 bug。他们只是换了个体裁。

具体的失效

据报道,测试中出现学校和平民聚居区被标为军事目标,模型输出也违反了厂商自己公布的 usage policy。从对该研究的报道看,Anthropic 的模型在这项任务上表现最差,OpenAI 的表现最好——但同样会出错。

这个排名值得注意,恰恰因为它和各家的自我宣传不吻合。安全定位和安全表现是两回事,而只有前者由厂商自己衡量。

这到底意味着什么

近期风险不是模型决定发动战争,而是打击链条上的人在用一款商用工具,它答得很自信,既不提示输入存在歧义,也不留下「模型不确定」的记录。

这更像采购与界面问题,而不是对齐问题。一个在图像上返回框、却不给置信度、没有拒答路径、没有审计日志的系统,危险的方式和一张没被校验的表格一样——不是因为它有恶意,而是因为它看起来权威。

防守方的经验

任何在高风险场景部署视觉模型的人,都能从这份研究直接推出三条控制。

框架无关性测试:把同一个请求放进不同叙事里跑,看拒答还在不在。不在,说明拒的是语气,不是内容。

输出不确定性:要求每个检测给出置信度,以及一条「我无法判断」的书面路径。一个永远给答案的模型,在模糊场景里就是不可信的模型。

审计痕迹:记录提示词、框架、输出和模型版本。这份研究之所以可信,就是因为输入输出都被记下来了。

政策层面

Vals 的客户里有政府机构,这也是这份报告不只是学术练习的原因。最直接的监管回应——要求安全分类器针对框架攻击做评测——也是最难写的,因为框架的空间是无限的。

更可行的版本是披露:如果一个模型可以被诱导去识别目标,这应该成为一个被记录在案、像偏见和毒性那样被测试的属性。现在它不是,而每家厂商的安全页面都对这一点保持沉默。