登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  科技周边 >  人工智能

Transformers BatchEncoding.sequence_ids 怎样区分双句编码中的词元来源

来源:17golang原创

时间:2026-11-18 16:35:58 283浏览 收藏

在文本分类、问答和句对匹配任务里,模型输入经常由两句话组成。真正容易混淆的不是如何调用 tokenizer,而是拿到一串 input_ids 后,怎样知道某个词元来自第一句、第二句,还是 tokenizer 自动补上的特殊词元。对 Fast tokenizer 生成的 BatchEncoding,可以直接用 sequence_ids(batch_index) 读取这层对应关系。

官方文档:https://huggingface.co/docs/transformers/main_classes/tokenizer

把 sequence_ids() 看成“词元到原始句子编号”的映射:None 表示特殊词元,0 表示第一句,1 表示第二句。处理批量输入时,记得传入当前样本的 batch_index。

先把双句编码保留为 BatchEncoding

sequence_ids 不是对普通字典或单独的 input_ids 做推断,而是读取 Fast tokenizer 在编码阶段保留的对齐信息。因此,先使用 AutoTokenizer 获得快速实现,并保留完整返回对象。

from transformers import AutoTokenizer

# 使用 Fast tokenizer,BatchEncoding 才能提供词元对齐方法
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased", use_fast=True)

# text 是第一句,text_pair 是第二句;返回对象不要立刻转成普通字典
encoded = tokenizer(
    "A cat sits on the mat.",
    text_pair="The animal is resting.",
    add_special_tokens=True,
    return_attention_mask=True,
)

# 词元列表与来源列表按同一位置对齐
tokens = encoded.tokens()
source_ids = encoded.sequence_ids()
for token, source_id in zip(tokens, source_ids):
    # None 是 [CLS]、[SEP] 等特殊词元,不属于任一句原文
    print(token, source_id)

这里的关键是不要只保存 encoded["input_ids"]。普通字典仍然能喂给模型,但会丢失由 Fast tokenizer 保存的对齐对象;如果业务后面需要把词元归属回写到句子,就应让 BatchEncoding 继续存在。

用 None、0、1 读取每个词元的来源

对句对编码,sequence_ids() 返回一个与当前样本词元数等长的列表。特殊词元通常位于两句之间或两端,标记为 None;第一句的词元标记为 0,第二句的词元标记为 1。不要把列表下标误当成句子编号,真正的句子来源要看列表元素。

# 按来源拆出词元,保留特殊词元的位置便于后续对齐
tokens = encoded.tokens()
source_ids = encoded.sequence_ids(batch_index=0)

first_tokens = []
second_tokens = []
special_tokens = []

for token, source_id in zip(tokens, source_ids):
    # source_id 的取值来自 tokenizer 的序列映射,不自行猜测分隔符位置
    if source_id == 0:
        first_tokens.append(token)
    elif source_id == 1:
        second_tokens.append(token)
    else:
        # None 包括句首、句间和句尾的特殊词元
        special_tokens.append(token)

print("第一句:", first_tokens)
print("第二句:", second_tokens)
print("特殊词元:", special_tokens)
sequence_ids 将双句词元映射为 None、0、1 的静态关系图
图1:来源映射说明图,查看特殊词元、第一句词元和第二句词元如何与同一位置的 token 对齐。

这种写法适合做词元归属展示、句对字段切分和后处理标注。它不会告诉你词元在原文中的字符范围;若还要回到字符位置,应结合 Fast tokenizer 提供的 offsets 或字符对齐方法。

批量句对要用 batch_index 对准样本

当输入是多个句对时,sequence_ids() 默认读取第 0 个样本。循环处理批量数据时,应该显式传入当前批次下标,并用同一个下标读取 tokens(batch_index),这样每个 token 和来源标记仍然是一一对应的。

batch = tokenizer(
    ["A cat sits.", "A dog runs."],
    text_pair=["The animal rests.", "The animal moves."],
    padding=True,
    truncation=True,
    return_tensors=None,
)

for batch_index in range(len(batch["input_ids"])):
    # tokens 与 sequence_ids 必须使用同一个 batch_index
    tokens = batch.tokens(batch_index)
    source_ids = batch.sequence_ids(batch_index=batch_index)
    pairs = list(zip(tokens, source_ids))

    # 过滤特殊词元后,得到当前样本的两句词元
    first = [token for token, sid in pairs if sid == 0]
    second = [token for token, sid in pairs if sid == 1]
    print(batch_index, first, second)

开启 padding 后,补齐位置通常也不会被当成原始句子词元;实际处理时仍应以返回的标记为准,不要依赖某一种模型固定的 [SEP] 或 padding 位置。

批量句对中 batch_index 与 sequence_ids 对齐关系图
图2:批量边界说明图,外层按 batch_index 选样本,内层再按 None、0、1 解释词元归属。

不要把 sequence_ids 当成 token_type_ids 的替代品

两者都可能出现 0 和 1,但用途不同。sequence_ids 是 Fast tokenizer 在 BatchEncoding 上提供的对齐查询,直接回答“这个词元来自哪一个输入序列”;token_type_ids 是某些模型输入格式中的字段,是否返回、如何使用取决于具体 tokenizer 和模型。

另外,慢速 Python tokenizer 不提供这套 Fast 对齐方法。若代码必须兼容慢速实现,应改用模型实际提供的字段或预先保存输入边界,不要无条件调用 sequence_ids()。这也是为什么示例里显式使用 use_fast=True,并且没有把来源逻辑写成“遇到某个分隔符就切换”的硬编码。

常见问题

为什么只看到 None 和 0,没有 1?

通常说明当前样本只编码了一句话,或者第二句在进入 tokenizer 前为空。先确认调用时确实传入了 text_pair,再查看对应的 batch_index。

可以用 sequence_ids 找原文字符位置吗?

它只返回句子编号,不返回字符起止位置。需要字符范围时,应使用 Fast tokenizer 的 offsets 或 token_to_chars 等对齐接口。

小结

  • 保留 Fast tokenizer 返回的 BatchEncoding,再调用 sequence_ids。
  • None/0/1 分别表示特殊词元、第一句、第二句。
  • 批量输入要让 tokens(batch_index) 和 sequence_ids(batch_index) 使用同一个下标。
声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>