登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  人工智能

Transformers tokenizer 怎样让 padding 与 truncation 对齐批量输入

来源:17golang原创

时间:2026-11-16 20:32:34 416浏览 收藏

Transformers tokenizer 处理一批长短不一的文本时,关键不是把字符串列表直接传进去,而是先决定“每条样本最终要占多少 token”。通常的组合是:用 truncation 截掉超长部分,再用 padding 把短样本补到批次最长长度或指定的 max_length,这样 input_ids 和 attention_mask 才能组成形状一致的批量输入。

官方地址:https://huggingface.co/docs/transformers/main/en/pad_truncation

下面用一个不依赖具体模型名称的 Python 示例说明参数关系。代码是写法示意,不包含密钥,也不在本文中执行模型推理。

批量输入为什么必须先统一长度

单条文本可以保留自己的 token 长度,但一批文本要送进张量时,通常需要一个矩形结构。假设三条文本编码后分别有 5、8、12 个 token,直接拼成批量张量就会遇到长度不同的问题。

  • truncation=True:当样本超过上限时,从 token 序列中截去超出的部分。
  • padding=True 或 padding='longest':补到当前批次最长样本的长度。
  • padding='max_length':补到 max_length 指定的长度;若没有指定,则使用 tokenizer 或模型可接受的最大长度。

我处理批量输入时,会先把“截断上限”和“补齐目标”写清楚,再选择参数。只打开 padding 而不打开 truncation,长文本仍然可能超过模型可接受长度;只打开 truncation 而不打开 padding,批次内的序列仍可能长短不一。

原始文本列表经过 token 序列、truncation 和 padding 后形成 input_ids 与 attention_mask 的静态关系说明图
图1:批量编码长度契约说明图,展示 token 序列、截断、补齐和模型输入矩阵之间的静态关系;这是原创说明图,不是截图或运行证据。

先用最小参数让字段长度对齐

对大多数普通批量文本,下面这一组参数足够作为起点:padding=True、truncation=True,并把需要的最大长度显式写成 max_length。返回对象通常是 BatchEncoding,其中至少会有模型需要的 input_ids,并可能包含 attention_mask、token_type_ids 等字段。

from transformers import AutoTokenizer

# 使用项目实际采用的 tokenizer;模型名称只作为示例占位。
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")

sentences = [
    "padding 负责把批次中的短序列补齐",
    "truncation 负责限制过长序列",
    "max_length 把长度上限写成明确的批处理契约",
]

batch = tokenizer(
    sentences,
    padding=True,          # 补到当前批次最长序列,适合动态批处理。
    truncation=True,       # 超过上限的序列要先截断,避免输入超过模型边界。
    max_length=32,         # 同时约束截断上限;具体值应按模型和任务决定。
    return_tensors="pt",  # 需要直接交给 PyTorch 时返回张量,否则可省略。
)

# 只检查形状,不把具体 token 数写死到业务逻辑里。
if batch["input_ids"].shape != batch["attention_mask"].shape:
    raise ValueError("input_ids 与 attention_mask 的形状没有对齐")

这里的重点不是 32 这个数字,而是同一批调用中让 tokenizer 同时处理截断和补齐。attention_mask 会标记哪些位置是有效 token,哪些位置是 padding;把它和 input_ids 分开保存或传参,容易造成字段错位。

padding 的三种选择怎么取舍

Transformers 文档把 padding 分成几种策略,实际项目可以按场景选择:

写法长度目标适合场景
padding=True当前批次最长序列动态推理、长度差异较大的普通批次
padding='max_length'max_length 或模型上限需要固定输入形状的训练或导出流程
padding=False不补齐只想查看单条编码,或由后续 collator 统一处理

动态 padding 往往减少无意义的 pad token,但每个批次的形状可能不同;固定 padding 更容易接入静态图或固定形状的下游组件,却可能增加计算量。不要把“更长的固定长度”误认为“更准确”,它只是改变了批次的形状和 padding 数量。

如果硬件或下游算子希望长度是某个倍数,可以在已开启 padding 的前提下增加 pad_to_multiple_of:

batch = tokenizer(
    sentences,
    padding=True,
    truncation=True,
    max_length=32,
    pad_to_multiple_of=8,  # 让最终长度向上补到 8 的倍数,前提是已开启 padding。
    return_tensors="pt",
)

truncation 与 max_length 要一起看

max_length 不是单独的“截断开关”,它需要和 truncation 或 padding='max_length' 组合起来才有明确作用。只写 max_length=128,并不等于所有输入都会自动截断或补到 128。

单序列任务通常使用 truncation=True。如果输入是句子对,才需要进一步考虑 only_first、only_second 或 longest_first:它们决定哪一侧承担截断责任。成对文本不要为了“看起来整齐”随意改成单序列策略,否则可能把问题描述或候选答案的一侧截得过多。

pairs = [
    ("用户问题:如何统一长度", "任务:说明 padding 与 truncation"),
    ("用户问题:如何检查字段", "任务:说明 attention_mask 的作用"),
]

pair_batch = tokenizer(
    pairs,
    padding="max_length",       # 成对输入也使用同一个固定补齐目标。
    truncation="only_second",   # 只让第二段承担截断,适用于第一段必须保留的任务。
    max_length=48,
    return_tensors="pt",
)

# 先确认批次维度,再把结果传给模型;错误要尽早暴露。
if pair_batch["input_ids"].ndim != 2:
    raise ValueError("批量 input_ids 应该是二维结构")

把返回字段当成批处理契约

一个常见误区是只看 input_ids 是否存在。批量编码实际还要看 tokenizer 返回的其他字段是否与它同批、同长度。attention_mask 说明模型应该关注哪些 token;某些模型还会需要 token_type_ids。具体字段由 tokenizer 和模型的输入约定决定,不能把一个模型返回的字段列表硬套到另一个模型。

BatchEncoding 通过 input_ids、attention_mask、overflowing_tokens 和 overflow_to_sample_mapping 关联原始样本索引的静态结构图
图2:BatchEncoding 字段映射结构图,展示模型输入字段和溢出样本索引的静态关系;这是原创结构图,不是 API 截图或实际运行结果。
encoded = tokenizer(
    sentences,
    padding="max_length",
    truncation=True,
    max_length=16,
    return_attention_mask=True,       # 明确要求返回注意力掩码。
    return_length=True,               # 让每条编码带上长度信息,便于记录。
    return_overflowing_tokens=True,   # 超长样本切片时保留溢出关系。
)

input_rows = encoded["input_ids"]
mask_rows = encoded["attention_mask"]
lengths = encoded["length"]

# 每个输入行都要和对应的 mask、length 行数一致。
if not (len(input_rows) == len(mask_rows) == len(lengths)):
    raise ValueError("BatchEncoding 的字段行数不一致")

# 发生溢出切片时,用映射表找回原始样本,不能按当前行号猜测。
mapping = encoded.get("overflow_to_sample_mapping", [])
if mapping and any(index = len(sentences) for index in mapping):
    raise ValueError("overflow_to_sample_mapping 包含无效的原始样本索引")

开启溢出返回后,一条长文本可能对应多个编码行,所以不能再假设“编码行号就等于输入列表下标”。只要业务需要把分类结果、标签或原文片段写回,就应保留 overflow_to_sample_mapping 这类映射关系。

padding_side 和模型输入方向不要混为一谈

tokenizer 还存在 padding_side 和 truncation_side 这样的方向设置。它们影响补齐或截断发生在序列的左侧还是右侧。大多数编码任务可以使用 tokenizer 的默认值;只有当模型或生成任务明确要求左侧补齐、或者业务需要保留某一侧 token 时,才应在项目配置中显式记录。

一个稳妥的配置对象应该同时保存 tokenizer 名称、padding、truncation、max_length、方向设置和返回字段。这样离线预处理、在线推理和回归样本不会因为调用方各写一套默认值而产生不同形状。

批量 tokenizer 的落地清单

  1. 输入是否明确是单条字符串、字符串列表还是句子对?
  2. 是否同时决定了 padding 策略和 truncation 策略?
  3. max_length 是否对应当前 tokenizer 和模型的输入上限?
  4. input_ids、attention_mask 和可选字段的行数、列数是否对齐?
  5. 启用 overflow 后,是否使用原始样本映射而不是猜测行号?
  6. 训练、推理和导出流程是否共用同一份 tokenizer 参数配置?

真正可靠的批量输入,不是所有样本都被补成一个很大的长度,而是每个长度决定都有记录、每个返回字段都能对应回原始样本。先用 padding=True 与 truncation=True 建立基本契约,再按固定形状、句子对或溢出切片的需求逐项增加参数,通常比一次把所有选项都打开更容易排错。

相关问题

只设置 padding=True 为什么仍可能报长度错误?

因为它只负责把短序列补齐,不负责截断超过模型上限的长序列。需要同时设置 truncation=True,必要时再给出明确的 max_length。

padding=True 和 padding='max_length' 有什么区别?

前者通常补到当前批次最长样本,后者补到指定的 max_length 或模型上限。前者更节省无效计算,后者更适合固定形状的下游流程。

开启 overflow 后如何知道切片来自哪条原文?

使用 tokenizer 返回的 overflow_to_sample_mapping,它把每个编码行映射回原始输入样本。不要把编码行号直接当成原始列表下标。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>