换模型时最常见的争论是“新模型是不是更好”，而多数团队拿不出证据：没有固定评测集，只能凭几个人试用后的印象。

一、样本从真实流量来：从线上日志里抽 200 到 500 条真实输入，覆盖高频、长尾、以及历史出错的案例。合成数据可以用来扩充，但不能作为唯一来源。

二、评分标准要可执行：不要写“回答是否准确”，而要写“是否包含订单号”“金额是否与工单一致”“是否引用了不存在的政策”。能用规则自动判定的尽量自动，剩下的才人工打分。

三、区分能力维度：抽取准确率、格式合规率、拒答是否得当、幻觉率，分开统计。一个总分掩盖不了“格式全对但内容全错”这种致命组合。

四、版本化：评测集和提示词一起进版本库，每次改动记录分数变化。三个月后你会发现，这份评测集比任何单个模型都更能解释线上表现。

最后一点：评测集要定期补充新出现的错误类型，否则会逐渐失去区分度——所有人都能考满分的时候，这张卷子就没有用了。