Hugging Face Datasets set_transform 怎样按需生成样本字段
来源:17golang原创
时间:2026-11-19 13:27:42 258浏览 收藏
如果数据集原始列适合存储,但训练或推理时需要临时生成 input_ids、attention_mask 或其他派生字段,可以使用 Dataset.set_transform()。它不会先把整张表改写一遍,而是在调用 ds[index] 或按批取样时,把指定列交给自定义函数,再返回结果。
官方地址:https://huggingface.co/docs/datasets/main/package_reference/main_classes
set_transform 适合“原始数据保持不变、取样时按需加工”的场景。把握三个参数即可:transform决定输出,columns决定输入给函数的列,output_all_columns=True决定是否把未参与转换的列一并带回。
set_transform 和 map 的分工不同
map 更适合把处理结果写回新的数据集缓存,后续反复读取同一份结果;set_transform 则设置的是 __getitem__ 的返回格式,转换发生在取样时。也就是说,数据集的底层列仍然可以是 text、label,但读者拿到的某一行可以已经是模型需要的字段。
这一区分很重要:如果转换函数依赖当前进程中的 tokenizer、随机增强器或设备相关逻辑,提前把结果写入缓存往往不合适;如果转换很昂贵且每个 epoch 都一样,反复现场计算则可能拖慢训练。
先用 columns 控制转换函数看到什么
下面的示例只把 text 传入转换函数,同时保留 label。转换函数接收的是一个批字典,因此每个字段的值通常是列表,而不是单行字符串。
from datasets import Dataset
dataset = Dataset.from_dict({
"text": ["Go 适合编写网络服务", "Datasets 负责组织样本"],
"label": [1, 0],
})
def add_token_count(batch):
# 这里只读取 text,避免把不需要的列耦合进转换逻辑。
texts = batch["text"]
return {
"text": texts,
"token_count": [len(value.split()) for value in texts],
}
# 只向函数提供 text;output_all_columns 让 label 继续出现在返回结果中。
dataset.set_transform(
add_token_count,
columns=["text"],
output_all_columns=True,
)
row = dataset[0]
print(row["text"], row["token_count"], row["label"])
这里的 columns=["text"] 是输入筛选,不是最终输出白名单。函数返回了 text 和 token_count,而 output_all_columns=True 又把没有参与转换的 label 补回结果。

按需生成模型输入字段
更常见的用途是保留原始文本,取样时调用 tokenizer 生成模型输入。下面的函数只展示接口关系,tokenizer 可以替换为项目自己的 Transformers tokenizer。
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")
def encode_batch(batch):
# 批量编码能让 tokenizer 一次处理多个样本,返回张量字段。
return tokenizer(
batch["text"],
truncation=True,
padding=True,
return_tensors="pt",
)
# 取样时只把文本交给 tokenizer,并保留未格式化的 label。
dataset.set_transform(
encode_batch,
columns=["text"],
output_all_columns=True,
)
batch = dataset[:2]
print(batch["input_ids"].shape)
print(batch["attention_mask"].shape)
此时 dataset[:2] 会触发转换,返回值通常包含 tokenizer 产生的 input_ids、attention_mask 和仍以 Python 对象保留的 label。转换不会因为设置动作立即遍历整个数据集,因此适合把动态的格式化逻辑放在取样边界。
要注意,set_transform 只负责返回格式,不会把新字段写入底层数据集。需要持久化列、让后续进程直接复用时,应重新评估是否用 map。

output_all_columns 决定哪些字段会留下
默认情况下,转换函数返回什么,取样结果就主要保留什么。设置 output_all_columns=True 后,未被 columns 选中的原始列会以 Python 对象形式附加回来。
可以按下面的方式选择:
| 配置 | 转换函数输入 | 取样结果 | 适合场景 |
|---|---|---|---|
columns=None | 所有列 | 函数返回值为主 | 函数确实需要整行数据 |
columns=["text"] | 只有 text | 只保留转换输出 | 模型输入完全替代原始列 |
columns=["text"] + output_all_columns=True | 只有 text | 输出加回其他原始列 | 保留 label、id 等元数据 |
如果转换函数内部访问了没有放进 columns 的字段,就会得到键不存在错误。遇到这种情况,先检查输入列范围,再决定是补充列名还是把数据依赖改为函数参数外的稳定对象。
需要时怎样恢复默认格式
set_transform 会替换此前由 set_format 设置的返回格式。希望取消现场转换时,可以调用 reset_format(),让数据集恢复普通 Python 对象返回。
# 取消当前数据集的自定义格式,让 __getitem__ 恢复默认返回。 dataset.reset_format() # 读取当前格式设置,排查函数是否仍然挂在取样路径上。 print(dataset.format)
如果只想在某个调用方得到一个带转换行为的新对象,而不修改原对象,可以考虑 with_transform()。它与 set_transform() 的关键区别是返回新的 Dataset;前者适合把不同消费者的取样格式隔离开,后者适合明确管理一个数据集对象的当前状态。
几个容易混淆的边界
- 不是持久化预处理:转换字段不会自动成为底层列,也不会替代
map的缓存结果。 - 不是只执行一次:每次索引或切片取样都可能调用转换函数,昂贵逻辑需要关注训练吞吐。
- 批量输入要按列表处理:使用
dataset[:N]时,函数收到的是批字典,不能按单个字符串的写法处理。 - 格式设置会互相替换:
set_transform、set_format与reset_format应由同一处生命周期代码管理,避免调用方互相覆盖。
小结
把 set_transform 记成“取样边界上的自定义格式化”即可:用 columns 收窄函数输入,用 output_all_columns 决定是否保留其他列;模型输入适合现场派生,长期复用的结果则应考虑 map。当数据集对象要交给其他消费者时,再用 reset_format 或 with_transform 明确解除或隔离这层行为。
相关问题
set_transform 会修改原始数据集列吗?
不会。它改变的是取样时的返回格式,原始列仍由数据集本身保存。
为什么转换函数收不到 label?
如果设置了 columns,函数只会收到列出的字段;把 label 加进列名,或开启 output_all_columns 保留它用于最终输出。
set_transform 和 with_transform 怎么选?
需要原对象就地切换时用 set_transform;需要给不同调用方提供隔离的转换视图时用 with_transform。
-
346 收藏
-
235 收藏
-
297 收藏
-
405 收藏
-
387 收藏
-
240 收藏
-
289 收藏
-
382 收藏
-
132 收藏
-
202 收藏
-
309 收藏
-
258 收藏
-
389 收藏
-
346 收藏
-
316 收藏
-
429 收藏
-
283 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 485次学习