按量化配方与确切制品验证模型

直接回答

量化制品应被视为由具体配方生成的一组特定字节。“INT8”“4-bit”或“量化”只描述配方的一部分，不能确定校准数据、混合精度、被排除张量、分词器、转换器版本、包布局和支持算子。记录精确源修订、量化方法与参数、工具链版本、存在时的校准来源、输出文件、长度，以及可信时的摘要。之后检查包结构，用目标运行时加载，并运行固定任务夹具。不要仅凭标签推断下载更小、运行内存更低、推理更快或质量不变。 事实卡 MEMORY-02 说明参数和位宽只能给出权重存储下界，真实制品还可能包含元数据或混合结构。COVE-MODEL-02 说明当前 Cove E2B 的 SHA-256 为空，因此不能说当前配置已通过摘要验证。这些事实说明应索取哪些元数据，不代表存在新的量化发布。仓库也没有 benchmark 原始结果，所以速度和准确度等主张必须等待真实记录。页面可以发布验证方法和清单格式，但不能编造测量数字。 要把源模型与量化输出分开管理。量化可能改变权重表示、保留或改变算子支持、需要校准输入，并与运行时内核互相作用。应检查格式是否把分词器和模型元数据放在一起，或引用外部文件。清单须列出所有组件并绑定同一输出修订。文件发生变化就要重新运行包和运行时检查，不能只沿用模型家族说明。转换时还需保留来源和许可记录。 存储测量和运行测量是不同问题。记录精确文件长度可用于传输与安装存储规划；如要描述进程内存，应在确切运行时和设备上实测；质量则通过版本化任务夹具检查。参数数量乘位宽只是有前提的下界估算，不等于实际包字节数或峰值内存。量化格式可能存储尺度、零点、元数据及非量化张量；加上伴随文件后，最终文件甚至可能超出直觉估计。不得把简化公式说成设备普遍结果。 应在转换前定义代表任务检查。可以使用确定性或属性检查夹具验证输出结构和必要行为，并记录随机采样设置。若技术条件允许，用相同提示模板、分词器、运行时路径和任务版本比较源模型及量化候选。若这些输入变了，应把比较视为不同实验。不能因为一个样本相似就声称精度相同，也不能把模型卡的模态或上下文直接解释成设备兼容。加载成功既不能说明持续性能，也不能说明产品用途有价值。 还要测试失败路径：缺少伴随分词器、意外张量类型、不支持算子、输出截断、摘要不可得、包解析失败或运行时拒绝。只隔离失败候选，保留用户资料和最后已验收模型。若没有可信预期摘要，应说明其余控制措施——固定来源修订、传输验证、长度、格式解析和加载测试——并明确这些措施不等于密码学完整性验证。没有参与转换的人也应能审核发布清单。 ### 操作步骤 1. 固定源模型与量化配方：源修订、工具链提交和版本、方法、选项、校准数据来源、分词器及目标格式。 2. 生成新的输出修订并清点全部文件。记录长度；只有可信预期摘要存在时才记录校验值；保留来源和许可引用。 3. 用格式官方工具检查元数据和包依赖，核对量化张量、算子假设、分词器与配置链接、外部资源。 4. 在预期运行时加载确切包并运行版本化任务夹具。区分文件解析、运行时加载、任务属性、设备实测和产品验收。 5. 按证据审核对外表述。无可复现原始记录时不发布性能或精度数字；保留已知可用版本和候选拒绝流程。 ### 验收标准 - 发布记录追踪源修订、量化配方、转换器、校准来源、输出修订及伴随文件。 - 同一候选的包检查和运行时加载都单独记录，不能从位宽标签推断成功。 - 不从位宽或模型家族元数据推断文件大小、峰值内存、质量或设备结果。 - 摘要缺失或算子不支持会被明确披露，失败候选不能替换活动模型。 ### 对照 | 标签或证据 | 合理解释 | 不合理推断 | |---|---|---| | “4-bit”或“INT8” | 量化格式或配方描述 | 保证文件大小、速度、内存或精度 | | 精确文件长度 | 此修订的下载或安装字节数 | 运行峰值内存或设备兼容 | | 固定任务结果 | 指定输入与配置下的观测 | 普遍质量一致或 benchmark 结果 | ### 常见问题 **标注 4-bit 就保证下载更小吗？**不能。包中可能含元数据、尺度、混合精度张量和伴随文件。要清点确切制品并测量长度，不应由标签推断大小。 **可以假设量化不会改变模型质量吗？**不可以。应以版本化任务夹具和固定配置验证确切输出并报告真实结果。加载成功或一条答案相似都不足以证明质量相同。 **位宽可以预测手机速度或内存吗？**不可以。运行时缓冲区与设备实现都会影响结果。相关主张必须有确切制品、运行时、任务和设备的原始测量。 **没有可信摘要怎么办？**明确标记摘要不可用，保留固定源修订、传输和长度证据，检查包并尝试加载；但不能把这些说成密码学字节验证。

团队收到只有位宽标签的量化包

供应方交付一个标注“4-bit”的移动模型文件，但没有转换配方、校准记录、输出清单或摘要。团队要判断在接受制品前还能做哪些检查。

决策

把文件当作身份未完整的候选，补充或重建来源记录，检查实际包内容，并在启用前执行运行时与版本化任务验收。

预期结果

发布记录准确说明已验证内容；缺少原始证据的大小、性能、内存和质量保持未知。

需要收集的证据

只有将以下证据与同一模型文件和测试运行关联起来，结论才可复核：

• 源修订与量化工具配方
• 输出文件和可用摘要
• 结构解析及固定任务结果

只有记录了模型身份、构建配置、实际后端、任务样例和失败情况，运行时比较才可复核。

实施流程

1. 索取完整转换配方. 要求源模型修订、量化方法、转换器版本和标志、校准数据来源、分词器修订、目标格式及全部输出文件。位宽标签不是发布清单。
2. 建立候选身份. 为收到的字节创建新修订；只从可信来源记录长度和摘要，并保留来源与许可信息。不能沿用未量化源模型身份。
3. 检查确切包结构. 用官方格式工具检查张量和区段元数据、分词器配置链接、外部文件及运行时支持假设。记录警告，不推断所有算子都有效。
4. 运行目标运行时与任务夹具. 在目标运行时加载同一个候选，再测试版本化提示和验收属性。把加载、质量评估、设备测量和产品验收分开记录。
5. 只按记录批准对外主张. 存储主张按确切文件清单核对；内存或速度要有设备原始记录。摘要、配方或测量缺失时说明缺口，候选暂不批准。

让每个阶段的状态都可观察。失败信息应指出阶段、模型、运行时和恢复动作，同时避免记录用户私密内容。

验收标准

• 源版本、量化方法、工具、校准来源、输出修订和伴随资源都可追溯。
• 确切包通过结构和运行时检查；不从位宽标签推断结果。
• 没有相应原始证据时不声称大小、内存、速度、精度或兼容。
• 摘要缺失或包被拒绝时有披露，且不能替换当前活动制品。

决策对照表

需要避免的失败模式

• 将 INT8 或 4-bit 说成性能保证
• 沿用未量化模型的文件身份
• 无设备原始数据却宣称内存或速度改善

还要避免静默回退、版本未固定、缺少取消处理，以及把不同配置的结果混在一起下结论。失败运行也应与成功记录一并保存。

最小复现记录

发布检查表

• ☐ 主要搜索问题已回答，且没有未经支持的数字。
• ☐ 所有模型文件和运行时版本均已固定。
• ☐ 代表性任务和失败处理策略均有说明。
• ☐ 生命周期、取消、清理和回退均已测试。
• ☐ 用户内容与网络边界均有说明。
• ☐ 结论只适用于被记录的配置。
• ☐ 新增测试结果时链接到原始方法或证据。

来源与相关证据

• Google LiteRT 后训练量化指南
• Google LiteRT 转换器 API 参考
• LiteRT-LM 模型包模式

中文部署与排错专题见。奇连 AI 端侧专题。

常见问题