多语言上下文窗口：token 数不能用词数代替

直接回答

词和模型 token 是两套不同的计数单位。词数由语言或应用界面采用的分词规则决定；token 则由某个具体 tokenizer 对准确输入表示进行切分。不同语言使用空格标记词边界的方式不同；文字脚本、标点、数字、姓名、规范化、特殊控制标记和子词词表都会影响文本转成 token 的结果。字符数、按空格分开的词数，或另一模型 tokenizer 给出的数值，都不是当前模型上下文用量的精确估算。 先确定模型制品和运行时，再确认此集成是否能暴露 tokenizer 或输入 token 数。tokenizer 必须对应准确的制品版本，并使用推理时相同的预处理与聊天模板。界面里看到的一段文字，进入模型前可能扩展成 system 指令、角色标记、分隔符、历史轮次、工具定义和模态标记。只有当前 API 暴露最终序列化请求时，才能对它计数；否则应报告精确数不可用。不能拿名字相似的模型 tokenizer 替代，也不能把云端模型计数 API 说成测到了端侧运行时。 要比较多语言输入，应准备意义和任务相同、由合格审阅者编写的平行夹具，并覆盖实际要测试的语言和文字脚本。保留原始文本、Unicode 规范化形式、标点、空格策略、语言方向和模板版本。按句翻译并不保证词数、字符数、语义内容或 token 数相同。只有确实符合产品任务时，才加入混合脚本姓名、数字、代码和标点。不要发布“一词等于 N 个 token”的比例，也不要用少量人工挑选样本给语言效率排名。 输入计数还要与上下文预算分开。上下文限制属于特定模型变体和运行时路径，可能包括控制 token、对话历史、工具 schema 或非文本输入。多模态模型中的图像或音频可能使用超出可见提示词的模型专属表示。Gemma 4 文档用 token 表示上下文，并指出图像可使用可配置的视觉 token 预算；它没有提供适用于每种语言的 token/词换算，也不能证明某个移动包必定接受模型家族级的总上限。根据 COVE-MODEL-02，当前 Cove Gemma E2B 配置中的 SHA-256 字段为空；报告测量结果时不要声称制品已经按精确哈希验证。 测量真正要讨论的请求。记录源文本字符数和明确定义的词数；若可见，再记准确 tokenizer token 数和模板展开后的请求总数；同时记下历史轮次、工具定义、输出预留、截断或拒绝行为及运行时接受结果。说明运行时是否计入特殊 token，或在内部插入模板文本。如果总 token 数被隐藏，就用带唯一标记的固定边界夹具报告集成实际接受或拒绝的结果；不要根据少数示例反推换算公式。 token 数不是内存测量。MEMORY-01 指出，推理峰值内存还受权重、运行时缓冲区、KV cache、输入张量、系统余量和分配器行为影响，不能由下载大小推算。一个输入满足上下文限制，仍可能超出测试过的内存范围；反过来，字符数也不能判断运行时是否接受输入。应在准确应用构建、制品、运行时、设备和系统上测试代表性最大输入，并将资源测量与 tokenization 数据分开。仓库没有完整真机原始基准集，因此本文提供测量方法，不声称性能或设备支持。 运行夹具前先定义结果分类：原样接受、明确拒绝、在可观察边界截断，或运行时隐藏计数导致不可测。测试记录保留夹具版本、制品身份、已知 tokenizer 身份、运行时、模板、输入语言、输出预留和失败阶段。生产遥测不要记录用户私有文本；用合成或获准夹具进行重复比较。只有样本足够、审阅充分且采样方法已说明时，才报告逐语言分布。可成立的结论仅限这些夹具和准确的 tokenizer/运行时集成，不构成普适 token 比例、语言质量排名、设备容量上限或全部语言支持声明。

多语言摘要触发应用的输入长度警告

开发者比较英文提示和日文译文。英文的空格分隔词数较多，日文的可见字符更多；应用接近输入限制时显示警告，但本地运行时没有暴露 tokenizer 计数。

决策

不能从词数或字符数推断谁占用更多上下文。固定准确制品、模板和运行时，用审阅过的平行夹具测量实际接受行为，并把隐藏 token 数标为未知。

预期结果

报告分别记录人类可读长度、可见 token 证据、运行时接受情况和独立资源测量，不发布普适语言比例。

需要收集的证据

只有将以下证据与同一模型文件和测试运行关联起来，结论才可复核：

• MEMORY-01：推理峰值内存由权重、运行时缓冲区、KV cache、输入张量、系统余量和分配器行为共同决定，不能由模型下载大小推算。
• COVE-MODEL-02：当前 Cove Gemma 4 E2B 配置中的 SHA-256 字段为空；测量报告不能声称该制品已按哈希验证。

设备兼容结论须绑定具体设备、系统、模型、运行时、后端和工作负载，不能靠参数量推测。

实施流程

1. 固定 tokenizer 与执行身份. 记录准确制品及版本、已知 tokenizer 身份或随包文件、运行时包及版本、模板、prompt 构造、应用构建、设备和系统。
2. 准备经审阅的平行夹具. 各语言使用相同任务和意思，并由熟悉该语言的审阅者检查。保留脚本、Unicode 规范化、空格、标点、方向和产品确实涉及的混合语言情况。
3. 只统计可观察单位. 把源文本字符数及明确的 UI 分词规则，与 tokenizer token 分开。只有 API 暴露时才统计最终展开请求；否则写明 token 数不可见。
4. 清点上下文组成. 在可观察范围内分别记录模板文本、角色/控制标记、历史轮次、工具定义、非文本输入及输出预留。不能把用户可见文本当成整个模型请求。
5. 覆盖输入边界行为. 用带有首、中、尾唯一标记的短、典型和长夹具，记录接受、拒绝、截断或不可观察结果，并区分输入限制和输出停止。
6. 报告分布和结论范围. 说明夹具采样方法并保留逐语言结果。将 token 证据与内存、速度、翻译质量和设备支持结论分开。

让每个阶段的状态都可观察。失败信息应指出阶段、模型、运行时和恢复动作，同时避免记录用户私密内容。

验收标准

• 不把固定词/token 或字符/token 比例说成被测制品的精确计数。
• 每个计数都注明单位与来源：UI 词数、Unicode 字符、暴露的 tokenizer token、模板展开请求，或不可观察边界。
• 上下文接受、输出预留和内存观察作为独立结果报告，并绑定准确夹具与运行时。

决策对照表

需要避免的失败模式

• 用空格分词的词数或字符数推算 token，并把少量样本的比例推广到所有语言。
• 把模型家族上下文长度当成当前移动包必定接受的输入，或把 token 容量当成内存容量。

还要避免静默回退、版本未固定、缺少取消处理，以及把不同配置的结果混在一起下结论。失败运行也应与成功记录一并保存。

最小复现记录

发布检查表

• ☐ 主要搜索问题已回答，且没有未经支持的数字。
• ☐ 所有模型文件和运行时版本均已固定。
• ☐ 代表性任务和失败处理策略均有说明。
• ☐ 生命周期、取消、清理和回退均已测试。
• ☐ 用户内容与网络边界均有说明。
• ☐ 结论只适用于被记录的配置。
• ☐ 新增测试结果时链接到原始方法或证据。

来源与相关证据

• Google AI for Developers：Gemma 4 模型卡
• Google AI Edge：LiteRT-LM Android Kotlin API
• SentencePiece 作者：语言无关子词 tokenizer 论文

中文部署与排错专题见。奇连 AI 端侧专题。

常见问题