登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  人工智能

Transformers num_special_tokens_to_add 怎样计算输入的特殊词元开销

来源:17golang原创

时间:2026-11-20 09:25:39 233浏览 收藏

tokenizer.num_special_tokens_to_add(pair=False) 返回单序列编码时分词器自动加入的特殊词元数量;传 pair=True 则读取序列对模式的数量。它用于计算输入包装开销,不需要传入正文,也不会返回正文分词后的总长度。

在长度受限的服务中,先确定经过模型配置与部署约束确认的总长度 L,再减去对应模式的开销 S,就得到普通内容词元的可用预算 L−S。这个公式不包含聊天模板或额外手工拼接的标记,不能替代最终输入的实际编码。

官方地址:https://huggingface.co/docs/transformers/main_classes/tokenizer

固定分词器工件与输入模式

同一服务应固定使用与模型匹配的分词器文件、库版本和相关配置。更换分词器或修改其后处理模板之后,不能继续复用旧的特殊词元数量。不要假定所有模型单句都加两个标记,也不要从某个模型的 CLS、SEP 组合推导其它模型。

pair=False 表示一个序列;pair=True 表示同一条输入中的两个序列,不是一个批次里有两条独立样本。句对分类任务可能需要后者,而批量单句分类仍应使用单序列开销。

单序列与序列对特殊词元开销关系图
静态结构说明图:pair 参数选择输入包装模式,批次大小不属于这个参数的含义。

在初始化时读取两种特殊词元开销

下面从调用者指定的本地分词器目录读取文件,避免示例隐式下载远端工件。使用已安装并固定版本的 Transformers 环境;目录中应有该分词器需要的配置和词表。示例不加载模型权重,不运行训练。

import argparse
import json
from transformers import AutoTokenizer

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("tokenizer_dir")
    args = parser.parse_args()
    # 仅加载本地分词器工件,不启用远端自定义代码
    tokenizer = AutoTokenizer.from_pretrained(
        args.tokenizer_dir,
        local_files_only=True,
        trust_remote_code=False,
    )
    # 初始化时分别读取两种模式,随后复用;不要放到训练内循环
    overhead = {
        "single": tokenizer.num_special_tokens_to_add(pair=False),
        "pair": tokenizer.num_special_tokens_to_add(pair=True),
    }
    print(json.dumps(overhead, ensure_ascii=False, indent=2))

if __name__ == "__main__":
    main()

两个返回值都是整数,但可能相同,也可能不同;不要硬编码成预设值。这个方法的语义是编码包装增加多少特殊词元,不是查看词表里一共登记多少种特殊标记。官方实现说明还提醒调用成本,不建议在训练循环中反复计算。

本地目录缺文件或分词器不兼容时,应让初始化明确失败并保留错误信息;不要把读取异常默认为开销0。如果服务确实采用不自动添加特殊词元的编码方式,则应在预算和编码入口同时明确这个选择。

把开销纳入内容长度预算

预算函数应接收业务已经确认的总长度,避免直接把某些分词器里用于表示“未知上限”的极大 model_max_length 当成真实模型容量。下面函数只计算普通内容可用空间,不进行文本切分。

def content_budget(total_limit, overhead, *, pair=False):
    # 拒绝布尔值和非正整数,防止配置类型被隐式接受
    if type(total_limit) is not int or total_limit 

若部署明确限定总输入为384个词元,且某个已固定分词器在单序列模式下返回2,则普通内容预算为382。这只是条件算例,不表示所有分词器都返回2。句对模式下剩余预算由两段内容共享,具体分配可采用最长序列截断等策略。

总输入长度内容预算与特殊词元开销组成图
静态结构说明图:总长度包括内容词元与自动添加的特殊词元,填充和聊天模板另行处理。

最终调用分词器并使用 add_special_tokens=True 时,max_length 一般表达包含这些特殊词元的总长度;不要把已经减过开销的内容预算再次当成总 max_length,否则会重复扣减。手动截断原始 token ID 再包装输入属于另一条路径,必须确认该分词器支持的构造方式。

记录配置并避免重复计数

初始化记录可以包括分词器工件版本、输入模式、两种开销和服务总长度,不需要记录用户原文。工件更新时重新生成这些配置,才能知道一次发布是否改变了输入包装规则。数量不同不必然是错误,但需要与任务预期一致。

量应怎样理解
特殊词元开销选定输入模式自动加入的数量
正文词元数实际文本经过分词后的数量
padding 数量批次或指定长度下的补齐数量
聊天模板开销模板实际渲染和编码带来的内容,不能直接套用本方法

对聊天消息使用 apply_chat_template 时,角色标识、分隔文本和生成提示可能由模板引入。它们不一定等于 num_special_tokens_to_add 的结果。此时应按实际聊天模板的编码方式统计,不要为了套公式而同时重复添加模板标记与编码器特殊标记。

最后需要明确,这个方法提供数量,不提供权限、内容过滤或模型容量证明。更换上下文长度配置、批次填充方式或任务输入模式时,都需要重新确定预算含义;无需把不相关的安全设置强加到这个只读接口上。

常见问题

pair=True 是不是开销自动乘二?

不是。序列对有自己的包装规则,应读取该模式的实际返回值,不能用单序列数量乘二代替。

返回0一定是分词器坏了吗?

不一定。某些分词器的默认包装可能不自动增加标记。先确认具体工件和编码规则;只有调用本身出错才应走异常处理。

为什么它不能给出一句话的完整长度?

接口没有接收正文,只计算包装开销。完整长度还需要分词文本,并考虑实际采用的模板、截断和填充设置。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>