Transformers 对句子对分词时怎样只截断第二段

处理问答、文本匹配或相似度任务时，经常要把两段文字交给同一个 Transformers tokenizer。如果第一段是不能丢失的问题描述，第二段只是可压缩的候选答案，可以把 truncation 设置为 "only_second"，再用 max_length 限制整个编码结果。这样 tokenizer 会保留第一段，优先从第二段末尾删除超出预算的 token。

官方文档：https://huggingface.co/docs/transformers/en/main_classes/tokenizer

最小配方是 tokenizer(first_text, second_text, truncation="only_second", max_length=512)。不要只写 truncation=True：句子对默认会采用 longest_first，长的一侧可能先被截断，边界不够明确。

先区分默认截断和 only_second

Transformers 的 tokenizer 接收 text 和可选的 text_pair。当输入是句子对时，truncation=True 等价于使用 longest_first：编码器会从当前较长的一侧逐个移除 token，直到满足 max_length。如果业务要求第一段完整，这个默认策略就不够精确。

因此，标题中的“只截断第二段”不是通过手工切字符串实现，而是把截断策略交给 tokenizer，让它在加入模型所需的特殊 token 后统一计算长度。

用最小调用限制第二段

下面的调用把问题描述作为第一段，把候选文本作为第二段。max_length 是最终编码序列的总长度上限，不是第二段单独可以使用的字符数；特殊 token 也会占用这个编码预算。

from transformers import AutoTokenizer

# 选择与模型配套的 tokenizer；示例模型名仅用于说明调用形状。
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

question = "Which document explains the tokenizer truncation strategy?"
candidate = "A longer candidate passage that may be shortened when the pair exceeds the limit."

encoded = tokenizer(
    question,
    candidate,
    truncation="only_second",  # 只允许第二段被截断，保留第一段。
    max_length=32,              # 限制加入特殊 token 后的总编码长度。
    padding="max_length",      # 不足总长度时补齐；补齐不是截断。
    return_attention_mask=True, # 让模型区分真实 token 和 padding。
)

print(len(encoded["input_ids"]))
# 这里的长度应以 tokenizer 的编码结果为准，不把示例输出写死。

关键参数只有三个：truncation="only_second" 决定删除范围，max_length 决定总上限，padding="max_length" 负责把较短结果补齐。最后一个参数不会把第一段变长，也不会把第二段重新截断。

处理批量输入与 padding

批量输入时，两个序列要分别放在两个列表中，列表长度必须对应。仍然传入同一套截断策略即可；不要先把两段拼成一个字符串，否则 tokenizer 无法知道哪一段是可裁剪的第二段。

questions = [
    "What does only_second mean?",
    "Which sequence should remain complete?",
]
candidates = [
    "This is the first candidate passage.",
    "This is the second candidate passage, which can be longer.",
]

# 两个列表按下标组成句子对，第二个列表才是可截断侧。
batch = tokenizer(
    questions,
    candidates,
    truncation="only_second",  # 每个句子对都只裁剪 candidates 对应的文本。
    max_length=64,
    padding=True,               # 按本批最长编码结果补齐，不改变截断策略。
    return_tensors="pt",       # 交给 PyTorch 模型的批量张量格式。
)

# input_ids、attention_mask 等字段可直接传给兼容的模型。
print(batch.keys())

padding=True 是“对齐长度”，truncation="only_second" 是“删除超长 token”，两者可以同时出现但职责不同。排查结果时，先看每个句子对是否超过 max_length，再看 padding 是否让批次长度一致。

检查边界与常见误区

• 把 max_length 当成第二段上限。它描述的是最终编码长度上限；如果第一段本身已经很长，第二段可用空间可能很小。
• 把 padding 当成保留原文。padding 只添加占位 token，不能恢复已经被截断的第二段。
• 在单句输入上期待 only_second 生效。这个策略的语义针对句子对；只有传入第二个序列时，才有“第二段”可截断。
• 需要滑窗却只设置 truncation。如果要保留被截断部分的重叠片段，应结合 stride 和 return_overflowing_tokens=True 设计分片；不要把一条编码结果误认为包含全部原文。
• 把 token 长度当字符长度。不同 tokenizer 的切分方式不同，预算应以编码后的 token 数为准，不能用 Python 字符串长度替代。

常见问题

只写 truncation="only_second" 不写 max_length 可以吗？可以使用 tokenizer 或模型预设的最大长度，但为了让数据管道的边界可读、可复现，生产代码通常显式传入 max_length。

第一段也超长时会怎样？only_second 不会替你截断第一段；如果总长度仍超过上限，应该先重新设计输入预算，或明确改用能处理第一段的策略。

怎么确认第二段确实被裁剪？可以在自己的调试代码中同时请求长度或溢出信息，并对比编码前后的 token 数；不要只看 padding 后的张量形状。

小结

句子对分词需要保护第一段时，使用 truncation="only_second"，并把 max_length 理解为包含特殊 token 的总预算。批量场景再叠加 padding，就能把“只删第二段”和“补齐批次长度”分开处理；如果需要覆盖全部长文本，则继续设计 stride 与溢出分片。