本地模型输出回归测试方法

直接回答

模型输出回归套件应回答：某项明确产品任务在提示词、制品、运行时或应用变化后，是否仍满足验收规则。它不自动等于通用语言质量基准。固定任务语料、提示模板、模型文件、运行时、解码配置、应用构建和预期属性。结构、必填字段、受保护术语和安全边界可做确定性检查；不能简化成精确字符串匹配的语义属性，应由人工依据评分规则复核。报告失败与回退，而不只展示最好的样例。 生成可能受采样、后端、运行时版本和硬件路径影响。测试应说明哪些条件必须完全相同、哪些采用有限规则评价。JSON 任务要验证模式和领域值。翻译任务要用作者编写的标准检查必需含义和禁止遗漏；没有版本化语料与评分方法，就不能宣称测得翻译准确率。工具调用任务要分别验证工具名、参数、授权、宿主执行结果以及自然语言回复。 测试样例应代表实际产品输入：短长文本、标点、歧义请求、支持和不支持的语言方向、空输入、格式错误来源和用户编辑。避免保存客户私人资料；创建合成或经同意脱敏的样例。每个样例都需要来源说明、预期行为和要捕获的回归类型。不要让同一个模型自己生成预期标签又给自己打分，而不进行独立审核。 修改提示或运行时前先跑基线。尽量一次改变一个因素，否则就记录完整变化配置。比较结构化输出、界面状态、错误、回退；只有使用了明确协议时才比较时延，只有使用适当工具时才比较内存。单纯文本快照会漏掉取消、持久化、UI 状态和隐私回归。 原始运行记录要保留时间、制品和运行时身份、样例版本、采样配置、设备信息、结果、失败阶段和审核决定。只有样例不含敏感数据或获得明确批准时才保留输入文本。先公开方法，再给总结值。没有原始记录时，应发布测试流程与验收标准，而不是数值结果。 每个用例只有绑定到用户可见需求，并能改变发布决定时才有价值。新增样例应来自真实回归、官方行为变化或明确产品要求；如果用例测试同一搜索/产品意图，应合并冗余项。本方法测试具体产品行为，不排名模型、不认证手机，也不证明通用准确度。

提示词修改影响了本地翻译流程

团队更新提示词，想让旅行短句译文更自然。一个例子看起来更流畅，但没有记录否定词是否丢失、语言方向是否变动，也不知道取消和错误状态是否仍然正常。

决策

用版本化、隐私安全的样例集分别测试结构、任务语义和生命周期；不能只靠一个漂亮答案判断修改。

预期结果

审核者能把每个回归结论追溯到产品要求、样例、运行配置和完整结果。

需要收集的证据

只有将以下证据与同一模型文件和测试运行关联起来，结论才可复核：

• 版本化任务样例和提示
• 结构、语义与生命周期验收
• 包含失败和回退的原始运行记录

发布结论只对所记录的配置和验收集有效；扩大适用范围需要更多记录。

实施流程

1. 先定义验收属性. 写明输出结构、必需含义、禁止遗漏、安全拒绝行为和 UI 结果。指出哪些检查可精确自动判断、哪些需要人工量表。
2. 固定样例与配置. 为合成或脱敏样例、提示词、模型修订、运行时、解码设置、应用构建及必要设备记录版本。说明样例来源与要检测的回归。
3. 拆分确定性校验与语义审核. 自动检查模式、必填字段、边界和回退；无法用字符串比较判断的语义或安全问题，由独立人员按标准复核。
4. 保留所有运行结果. 用相同配置标签记录成功、失败、回退、取消和未完成结果。与固定基线比较；没有原始数据和评分方法时不发布分数或排名。

让每个阶段的状态都可观察。失败信息应指出阶段、模型、运行时和恢复动作，同时避免记录用户私密内容。

验收标准

• 每个用例都对应用户可见需求，并有版本化样例和预期行为。
• 报告包含失败、回退和未完成情况，而非只挑选成功示例。
• 所有数值结论都能从保留的原始记录和明确评分规则复现。

决策对照表

需要避免的失败模式

• 只挑选流畅输出
• 让模型独立给自己打分
• 没有原始数据却发布准确率数字

还要避免静默回退、版本未固定、缺少取消处理，以及把不同配置的结果混在一起下结论。失败运行也应与成功记录一并保存。

最小复现记录

发布检查表

• ☐ 主要搜索问题已回答，且没有未经支持的数字。
• ☐ 所有模型文件和运行时版本均已固定。
• ☐ 代表性任务和失败处理策略均有说明。
• ☐ 生命周期、取消、清理和回退均已测试。
• ☐ 用户内容与网络边界均有说明。
• ☐ 结论只适用于被记录的配置。
• ☐ 新增测试结果时链接到原始方法或证据。

来源与相关证据

• Cove 基准测试方法
• FunctionGemma mobile actions
• Cove 基准测试方法与原始数据门禁
• Google AI for Developers — FunctionGemma 模型卡
• Android Developers — 测试 Android 应用

中文部署与排错专题见。奇连 AI 端侧专题。

常见问题