客服是 AI 落地最快的场景,也是最容易翻车的场景:一次错误承诺就可能带来真实赔付。

一、幻觉:模型会编造政策、时效、优惠。解法不是“提示词要求不要编”,而是把可回答范围收敛到检索到的知识片段,并在生成后做一致性校验——提到的政策编号是否真的存在于库中,金额是否与配置一致。

二、越权:用户说“我要退款”,模型不该直接执行。把动作类操作拆成“建议 + 人工确认”,涉及金额、账号、隐私的操作一律不自动执行。

三、超时:检索慢了、模型排队了,用户等 20 秒就会挂断。要给整条链路设总预算(例如 6 秒),超时就降级到简短回复并转人工,而不是让用户干等。

四、兜底:必须定义“什么情况下转人工”,并且转接时把上下文一起带过去,别让用户重复描述一遍问题——这是差评的主要来源之一。

上线节奏建议:先做“辅助人工”(模型给建议,人发出去),积累两三个月的数据与评测集,再把高置信度的简单问题放开自动回复。这个顺序看着慢,实际返工最少。