为本地搜索生成 ICU 转写别名而不丢失原文

直接回答

转写搜索键只是派生别名，不应替代原始文本。它可以帮助使用另一种文字的查询找到原文记录，但映射可能有损或含混。应保留权威显示文本和稳定记录 ID，并为每个派生键记录 transform ID、ICU/runtime 版本、源记录版本和生成状态。用别名命中时仍返回原始记录，并标明匹配来自派生键。不能用别名作为身份键、权限 token、去重规则，或两个用户/记录属于同一个实体的证据。 Android 平台 ICU Transliterator 执行字符变换，不翻译单词或句子的含义。Android API 对 android.icu.text.Transliterator 标为 API 29 起。应调用 getAvailableIDs() 或实例化准确 transform ID，并记录 Android/ICU 数据环境；不可用时保留回退。如果改用 ICU4J 依赖，要另行固定 artifact 与数据版本。不能猜某个 script-to-Latin ID 在所有设备上都存在或输出相同。 归一化、case folding 和转写是不同变换。NFC/NFD 处理 Unicode 规范等价；NFKC/NFKD 还会折叠部分兼容差异，可能抹去姓名或标识符的重要区别；它们都不是通用跨脚本拉丁转写。ICU 同时提供这些 transforms，但执行顺序与 filter 会改变结果。保留原始码点，把每一步作为独立有版本的阶段；除非合同有要求，不要普遍删除附加符或标点。 不要假设逆向 transform 一定还原原文。ICU 用户指南解释逆映射不保证每种方向都能精确回到原文；不同源字串也可能生成同一个转写。指南用希腊字母说明两种不同序列可能折叠到相同拉丁结果。搜索别名因此可能命中多个记录。建立 alias 到稳定记录 ID 的一对多关系，展示原始字符串，并让用户消解歧义；不能自动合并，也不能仅选择第一条。别名匹配可以扩大检索范围，但不能授权打开、导出或修改记录。 把完整字段的 alias 生成纳入索引生命周期，不要把输入法式增量转写缓冲区直接当最终键。每个键记录 transform ID、阶段顺序、ICU/依赖版本和源修订。升级规则时先构建候选集合、比较夹具与碰撞，再按真实迁移切换。删除源时删别名并防止排队任务复活旧键；查询和索引流水线版本不匹配时重建或标记不可用。原始查询与派生键分开，结果仍按当前访问权检查。 派生 alias 也可能暴露个人信息，不能因为字符变成拉丁文就打入分析或日志。只保留明确搜索任务需要的别名，继承源数据的保留/删除规则，除非用户明确要求，否则不要导出别名。transform 不存在、别名冲突或只验证了源脚本精确匹配时，都要明确标示。ICU 脚本数据和规则可能随 Android 系统变化；在一台系统镜像上得到结果，不证明其他 OS build 输出相同。 为实际部署的 transform 准备人工审核的合成夹具：规范等价序列、组合附加符、大小写变体、标点、不同转写规范的脚本、歧义序列、空输出、不支持字符，以及两个不同原文会碰撞的用例。记录原文、码点、transform ID/版本、alias、源记录 ID、碰撞组和查询结果。分别测试原文精确搜索与别名搜索、索引重建/删除，并核验匹配行权限。这是可选搜索键层的方法，不是 OCR、翻译质量、普遍罗马化或 Cove 功能声明。

用户用拉丁字母搜索另一种文字中的记录

本地目录按原始文字保存用户提供的姓名，搜索框也接受罗马化输入。当前 Android 系统 ICU 可能将两个不同原字符串转成同一个拉丁别名。

决策

生成有版本的辅助 alias，同时保留权威记录与原文。碰撞时返回所有当前授权的匹配供复核，绝不因转写就合并或选中某个身份。

预期结果

用户可通过经过测试的别名找到可能记录，同时原始拼写、来源和歧义状态都保持可见。

需要收集的证据

只有将以下证据与同一模型文件和测试运行关联起来，结论才可复核：

• ANDROID-ICU-SEARCH-ALIAS-2026-10：Android/ICU transliterator 的 API 可用性、运行时 transform ID 与别名碰撞测试边界。
• RAG-01：本地 retrieval/index 可视作派生阶段，需保留源关联并独立核验。
• BENCHMARK-01：搜索或语言结果没有原始 fixture 记录时只能给方法，不能发布泛化支持/质量结论。

任务质量需要有版本记录的语料和验收规则；流畅的单条样例不等于准确度结果。

实施流程

1. 保持原始身份和显示文本权威. 为每行保留稳定 ID 和精确原文/脚本。alias 只作为可选索引字段，不替代显示文字或主键。
2. 固定运行时存在的 ICU transform. Android API 29+ 使用 getAvailableIDs() 枚举或实例化准确 Transliterator ID，并记录 ICU 数据版本。ID 不存在时保留原脚本精确搜索并报告不支持。
3. 分别定版归一化、大小写折叠和转写. 分别声明 NFC/NFD 或兼容归一化、case folding、脚本 transform、顺序与 filter。除非搜索合同明确定义，不删除附加符或标点。
4. 保留碰撞和匹配 provenance. 将每个 alias 映射到所有源记录 ID，记录 transform 版本和源修订；碰撞时展示原文。不能把 alias 命中当作身份、授权或合并依据。
5. 安全重建并删除派生键. transform/data 更新后重新生成候选集合，比较预期输出和碰撞组，再按实际迁移策略切换索引。源记录删除时删除 alias，并阻止排队任务复活旧键。
6. 分别测试精确搜索与 alias 搜索. 用合成审核样例覆盖组合字符、变体、碰撞、不支持字符和 transform 升级。每次查询重新核验当前源记录权限，普通日志不记录姓名。

让每个阶段的状态都可观察。失败信息应指出阶段、模型、运行时和恢复动作，同时避免记录用户私密内容。

验收标准

• 原文、稳定记录 ID、转写 alias、归一化阶段、transform ID/版本和源修订号分别可追溯。
• 用 getAvailableIDs() 或实际实例化确认 transform 存在后才生成 alias；不可用 ID 标为 unsupported，不猜测或静默替换。
• 多对一 alias 保留所有当前授权的来源匹配，不自动合并记录、不替换显示文本，也不授权后续动作。
• alias 更新和删除与源/index 生命周期一致；完整字段才生成最终键，重建不会恢复已删除或无权访问记录的派生键。
• 不把归一化称为转写、alias 命中称为翻译，也不声称 ICU 输出普遍相同或 Cove 已有跨文字搜索。

决策对照表

需要避免的失败模式

• 用转写结果覆盖原始显示文本、稳定身份或唯一键。
• 把 getInverse 或一组 transliterator ID 当成一定可逆，或把同一 alias 的记录自动合并。
• 把 NFC/NFD 与跨脚本转写混为一谈，或盲目用 NFKC 丢失兼容差异。
• 假定所有 Android 系统都有相同 ICU 数据，或把转写误称翻译。

还要避免静默回退、版本未固定、缺少取消处理，以及把不同配置的结果混在一起下结论。失败运行也应与成功记录一并保存。

最小复现记录

发布检查表

• ☐ 主要搜索问题已回答，且没有未经支持的数字。
• ☐ 所有模型文件和运行时版本均已固定。
• ☐ 代表性任务和失败处理策略均有说明。
• ☐ 生命周期、取消、清理和回退均已测试。
• ☐ 用户内容与网络边界均有说明。
• ☐ 结论只适用于被记录的配置。
• ☐ 新增测试结果时链接到原始方法或证据。

来源与相关证据

• Cove 基准测试方法
• Android API — android.icu.text.Transliterator
• ICU User Guide — Transforms 与转写行为
• Unicode Standard Annex #15 — Unicode Normalization Forms

中文部署与排错专题见。奇连 AI 端侧专题。

常见问题