离线翻译中的人名与数字测试方法

直接回答

应把人名和数字作为单独验收类别测试，而不要把它们藏在笼统的“翻译质量”分数里。一句话即使很流畅，也可能改错人名、颠倒日月、改变小数分隔符、漏掉单位，或把必须原样保留的编号规范化。运行模型前，先建立有版本号的双语夹具集，并标注哪些文本片段必须逐字保留，哪些可依照书面规则本地化，哪些需要用户确认。源语言到目标语言的每个方向都单独运行；一个方向通过，不代表反向、另一模型制品、图像管线或语音识别也通过。 本文说明的是测试方法，不是离线翻译准确率或语言覆盖声明。项目基准事实明确指出，目前没有完整的真实设备端侧 AI 数据集；可以发布方法和字段结构，发布结果则需要原始运行记录。本内容体系对端侧的定义也只区分推理发生的位置，不认证语言质量。Google 模型文档可能描述模型变体和任务族，但家族级说明不能证明某个具体应用、制品、运行时、设备或语言对能正确保留测试中的实体。应测量计划交付的那条应用路径，并给每个结果标注准确输入条件。 测试夹具可选取真实但不敏感的例子：旅行预订代码、仅在经专业人员审阅时使用的药品标签、街道地址、十进制金额、日期顺序有歧义的日期、电话号码，以及带变音符号或转写规则的人名。每项测试都要事先决定规则：逐字符相同、规范化等价、语义要求，或必须拒绝并请求确认。将源文与译文并列，方便人工检查不确定片段。不要从译出的实体推断医学、法律或财务结论；本测试检查的是信息转换行为，不是专业判断正确性。 在受控条件下运行同一夹具：冻结制品、运行时、提示词、预处理、解码设置与应用构建；记录语言方向；执行所有案例；按标注规则比对输出；再按实体类别分类错误。案例失败时，把获准使用的合成失败项加入回归集，只改一个组件后重跑全套。报告样本分母和错误类别，不能只挑成功案例。如果没有原始设备记录，就只发布测试方案，不填写性能或质量结论。诚实的测试集可以让回归问题现形，而不承诺所有现实中的姓名和号码都一定会完美翻译。 验收规则应包含命名示例，避免测试者临场决定什么算“对”。有些名字可按目标语言转写，有些预订号、序列号和电话字段必须精确保留；日期可以转换格式，但日期所代表的具体日子必须不变。若规则没有先写清，测试就会把格式偏好和语义错误混为一谈。也要保存原始输入字串，避免预处理先行改动后再把变化归因给模型。对于无法判断的结果，记录为不确定并要求人工确认，不要默默修正。 语言对测试也应跟模态隔离。键盘文本、OCR提取文字和语音识别文本的错误来源不同：OCR可能先读错字符，ASR可能改变数字格式，而文本翻译器收到的已经不是原始信号。每次运行应记录输入来自何处，并分别评估抽取、翻译和渲染阶段。离线模式同样要确认测试时使用的模型资产确实已在本地准备好，但“无需网络完成此夹具”只证明这次路径的行为，不证明所有功能都无需网络。

离线旅行翻译把预订编号最后一位改错

团队准备一个发布候选版时发现，一条译文读起来很自然，却改掉了行程预订编号的最后一个字符。应用有多种输入模态，但这个问题来自某个精确制品和方向上的键盘文本输入。

决策

建立实体级验收规则，分别运行双向、有版本号的文本夹具。经授权的评审可对照源文和输出，公开结论仍限定到实际测试集。

预期结果

团队能判断问题属于实体保留、特定方向、预处理还是显示，并增加可重复的回归样例，而不宣称普遍准确。

需要收集的证据

只有将以下证据与同一模型文件和测试运行关联起来，结论才可复核：

• BENCHMARK-01：项目尚无完整真实设备基准集；可发布方法，但结果主张须有原始设备记录。
• ARCH-01：本项目把端侧 AI 定义为推理在用户终端执行；该定义不证明翻译质量。

发布结论只对所记录的配置和验收集有效；扩大适用范围需要更多记录。

实施流程

1. 定义实体类别与规则. 列出人名、日期、时间、地址、数量、单位、金额和标识符。对每类先决定要求原样、规范化等价、语义一致还是请求用户确认，并把规则写下来。
2. 建立有版本且经过审阅的夹具. 用合成或获准示例记录源语言、目标语言、方向、实体区间、预期规则和评审说明。加入含糊日期、小数、变音符号及外形像普通文本的标识符。公开测试资产不能包含真实个人记录。
3. 冻结并标记应用路径. 记录模型制品、运行时、提示模板、预处理、应用构建，以及该次运行的设备与系统；注明输入是键入、语音还是图片提取。先隔离一种模态，不把不同管线结果混在同一结论里。
4. 按实体和方向评分. 分别运行方向 A 和反向 B，依据每个实体自己的规则比对，保留源文与输出对照，并分别标记改变、遗漏、添加、歧义和正确保留。
5. 把失败变成回归与披露. 将经过批准的合成失败案例加入回归集，每次只变更一个变量并重跑所有案例。报告样本数、准确配置和未解决类别。高风险信息应让用户复核，而不是宣称译文已经被自动纠正。

让每个阶段的状态都可观察。失败信息应指出阶段、模型、运行时和恢复动作，同时避免记录用户私密内容。

验收标准

• 每条夹具在查看模型输出前，已有书面实体规则和评审通过的预期解释。
• 每个语言方向和模态单独报告，并记录制品、运行时、提示、预处理、应用构建、设备和系统。
• 改变、遗漏、额外添加、歧义和正确保留属于不同结果类别；流畅的单个示例不充当整体质量分数。
• 不能仅凭该方法声称所有离线翻译准确、全面支持某语言对或保证高风险信息正确。

决策对照表

需要避免的失败模式

• 只凭一个流畅样例判断人名和数值准确。
• 把一个翻译方向、制品或模态的结果外推到其他方向和路径。

还要避免静默回退、版本未固定、缺少取消处理，以及把不同配置的结果混在一起下结论。失败运行也应与成功记录一并保存。

最小复现记录

发布检查表

• ☐ 主要搜索问题已回答，且没有未经支持的数字。
• ☐ 所有模型文件和运行时版本均已固定。
• ☐ 代表性任务和失败处理策略均有说明。
• ☐ 生命周期、取消、清理和回退均已测试。
• ☐ 用户内容与网络边界均有说明。
• ☐ 结论只适用于被记录的配置。
• ☐ 新增测试结果时链接到原始方法或证据。

来源与相关证据

• Cove 基准测试方法
• 端侧 AI 架构概览
• Google Gemma 模型概览与任务变体
• Gemma 音频指南中的转写格式示例

中文部署与排错专题见。奇连 AI 端侧专题。

常见问题