用公开数据训练模型,风险往往藏在细节里。下面五类问题在自查中最常出现。
一、授权范围:数据“公开可访问”不等于“可用于训练”。很多网站的服务条款明确禁止抓取与商用,需要逐站确认,并保存当时的条款快照。
二、个人信息:语料里混入手机号、身份证号、住址、聊天记录。即使来源合法,未做处理直接训练也可能构成违规。上线前要做敏感信息清洗与抽样复检。
三、版权内容:书籍、新闻、代码仓库是高风险区。要保存来源清单与许可证明,并对疑似侵权内容建立下架响应流程——响应速度往往决定了后续处理的难度。
四、标注合规:外包标注团队是否签署了数据处理协议,标注数据是否跨境传输,都需要有书面记录。这块最容易被忽略,也最容易在审计时暴露。
五、输出侧风险:模型可能复现训练数据中的原文。对高价值内容做去重与记忆化检测(例如让模型尝试补全特定段落),是必要的技术手段。
自查不是一次性动作。建议每季度跑一遍清单,把新增数据源纳入管理,并在采购与外包合同中明确数据责任边界。
训练数据合规自查:五类常见风险点