直接回答
隐私安全的测试样例不只是把真实对话里的人名删掉。变换过程应保留本次测试真正需要的任务属性、移除无关可识别细节，并记录具体改了什么。`PRIVACY-01` 区分了本地推理与其他网络/存储路径；`BENCHMARK-01` 要求基准主张保留原始记录。这意味着要同时承担两项责任：保护样例本身，又留下足够的来源信息来解释评测；但默认不保留私人原件。 先写清楚测试问题。如果要测否定词处理，就保留否定；如果要测实体提取，就用已知标签的合成姓名和编号；如果要测长音频边界，就生成或录制经过批准且具备所需时长/分段特征的音频，不要复制用户私人录音。把姓名替换成代号可能改变语法、分词或上下文，应记录变换并核验测试行为仍可比较。没有测量依据时不要宣称两份数据等价。 优先使用为任务专门编写的合成样例。确实需要真实材料时，先确认使用依据，减少字段、替换直接标识符、删除无用元数据，并在受控权限下单独保存源文件。即使删去地址，罕见事件、时间戳、特殊短语或地点组合仍可能重新识别个人。不能只因移除姓名、人脸或账号号段，就称整个数据集匿名。如果样例有机会关联回个人，就按敏感信息处理，执行访问、保留和删除控制。 维护变换清单：样例编号、来源类别、许可或批准依据、变换步骤、保留的任务属性、删除字段、审核者和版本。变换后的输入标签和预期结果必须继续对应。如果变换改变长度、标点、语种混合、音频时序或图片布局，就标出差异，不要当作未改变条件直接比较。等价性审核应围绕确切测试目标，不要泛泛声称语义完全相同。不要为了之后方便重建，把原件提交到代码仓库。 测试样例生成流程本身。用金丝雀值搜索仓库、构建日志、崩溃报告、截图快照、分析载荷和导出文件；核实源文件按批准流程从开发目录和自动化产物中移除或受到保护。检查转换图是否遗留 EXIF、隐藏文本层、未显示的转录片段、文件名或元数据。若是合成内容，仅当生成配方不含私人源文时才保留，并确认没有复现真实用户语句。 样例隐私与基准有效性要分开。脱敏后的样例可能更安全，却不再代表任务；真实样例可能有用，但披露风险不能接受。说明样例集代表哪些任务、条件，不代表哪些人群或设备。保留失败和被拒案例，不得只挑选有利输出。任何公开准确率或普遍性结论，都需要独立记录语料、评分方法和原始结果。本文是数据管理流程，不是法律标准，也不保证匿名。
团队为私人转录文本建立回归样例
开发者想复现用户报告的一个拼写错误。原转录包含姓名、地点和少见短语，可能识别说话人身份。
决策
合成一个保留目标拼写行为的短句，记录变换方式，并按批准流程从固定样例和日志移除原文。
预期结果
回归测试保留相关语言特征、减少私人内容，并不作无依据匿名保证。
需要收集的证据
只有将以下证据与同一模型文件和测试运行关联起来，结论才可复核：
- PRIVACY-01：本地推理不排除其他数据路径
- BENCHMARK-01：基准结果需保留原始测试记录
- ANDROID-PRIVACY-01：应用承担数据访问与存储控制责任
隐私声明需要数据清单和流量证据；“本地模型”标签本身不是证明。
实施流程
- 说明样例要保留的测试属性. 写出狭义目标，例如否定、标点、分段或解析器行为。不要保留超出断言需要的源上下文。
- 创建合成或批准的数据输入. 优先使用虚构姓名与文本。用真实材料时记录批准依据、减少字段、替换标识符并限制源数据访问。
- 记录每项变换. 保存样例编号、版本、修改/移除字段、保留属性、标签和审核者；标明长度、文字系统、时序或布局变化。
- 检查可比性和残留信息. 核对变换是否影响目标行为。用金丝雀检查 EXIF、隐藏文字、文件名、版本库、日志、截图和导出。
- 执行保留和报告控制. 删除或单独保护原件，保留隐私安全的失败案例，并说明样例代表范围；不宣称广泛匿名或准确。
让每个阶段的状态都可观察。失败信息应指出阶段、模型、运行时和恢复动作，同时避免记录用户私密内容。
验收标准
- 每个样例都有明确测试目标和变换记录，说明保留与删除属性。
- 使用合成或批准数据；金丝雀检查在仓库、日志、截图和导出中没有无意的原文。
- 报告区分隐私保护和代表性，不在缺少审核时宣称已匿名或评测准确。
决策对照表
| 维度 | 选择或证据 | 解读方式 |
|---|---|---|
| 合成样例 | 按测试属性编写虚构内容 | 通常降低源数据披露风险，但仍要检查生成文本和元数据。 |
| 变换后的真实样例 | 有批准依据且记录变换 | 可能保留任务属性，也可能重新识别，仍需访问和保留控制。 |
| 真实用户原件 | 原始私人输入 | 可能最贴近实际任务，也可能披露风险最高；默认不要长期保留。 |
需要避免的失败模式
- 只删除姓名就称匿名
- 变换输入后仍按原始任务做可比评价
- 为了复现而把真实用户原件提交代码库
还要避免静默回退、版本未固定、缺少取消处理，以及把不同配置的结果混在一起下结论。失败运行也应与成功记录一并保存。
最小复现记录
| 层级 | 记录内容 |
|---|---|
| 设备 | 厂商、型号、芯片、内存档位、操作系统版本 |
| 软件 | 应用版本和 Git 提交号 |
| 模型 | 系列、变体、版本、格式、文件长度、摘要、量化方式 |
| 运行时 | 名称、版本、请求后端及实际后端证据 |
| 工作负载 | 样例版本、输入摘要、提示词摘要、输出策略 |
| 结果 | 完成、失败、取消、回退及保护隐私的诊断信息 |
发布检查表
- ☐ 主要搜索问题已回答，且没有未经支持的数字。
- ☐ 所有模型文件和运行时版本均已固定。
- ☐ 代表性任务和失败处理策略均有说明。
- ☐ 生命周期、取消、清理和回退均已测试。
- ☐ 用户内容与网络边界均有说明。
- ☐ 结论只适用于被记录的配置。
- ☐ 新增测试结果时链接到原始方法或证据。
来源与相关证据
中文部署与排错专题见。奇连 AI 端侧专题。
常见问题
删去姓名就能让样例匿名吗？
不一定。罕见短语、时间、地点和属性组合仍可能识别个人。应评估重识别风险，并对不确定内容限制访问、复制、搜索、留存和导出。
合成替代句能代表原始样例吗？
只在它保留的那项特定属性上可能可比。应记录变换并检查分词、语法、时序和布局，不能默认等价或替代原始证据及失败案例。
基准里的失败案例应该删除吗？
不能静默删除。保留隐私安全的失败记录并说明排除项，否则评测会偏向成功样例，也无法复核边界表现、筛选过程和重现条件。