AI Datasets 按列过滤 怎样处理

Hugging Face Datasets 按列处理时，先看目标是“只留下少数列”，还是“删掉少数列”：前者用 select_columns()，后者用 remove_columns()。两者都会返回新的数据集对象，不会把原对象悄悄改掉；如果对象是 DatasetDict，列操作会作用于其中的各个 split。

官方地址：https://huggingface.co/docs/datasets/

字段很少、白名单明确时优先用 select_columns；只需要去掉元数据或临时字段时用 remove_columns。执行前先看 column_names，执行后把返回值重新赋回变量。

先分清“保留列”和“删除列”

select_columns(["text", "label"]) 表示只保留列白名单，适合把原始数据裁剪成模型真正需要的输入。remove_columns(["source", "debug"]) 表示删除黑名单，适合保留大部分字段、只清掉不再使用的内容。不要把二者当成原地操作，也不要把 filter() 混用进来：filter() 是按行条件筛选，不是按列裁剪。

from datasets import load_dataset

# 只保留后续处理真正需要的字段，白名单更适合固定训练输入
dataset = load_dataset("rotten_tomatoes", split="train")
train_view = dataset.select_columns(["text", "label"])

# 只删除调试字段，保留其余业务字段
clean_view = dataset.remove_columns(["label"])

# 两个结果都是新对象；原 dataset 仍然保持原来的列集合
print(train_view.column_names)
print(clean_view.column_names)

如果字段白名单很短，select_columns() 通常更容易审查：新增列不会意外进入模型输入。若字段很多且只有一两个临时列需要移除，remove_columns() 更省维护工作。

Dataset 和 DatasetDict 的作用范围不同

使用 split="train" 加载时得到的是单个 Dataset，列操作只影响这个对象。没有指定 split 时，通常得到包含 train、validation、test 等分片的 DatasetDict；此时对字典调用列方法，会把同一列规则应用到各个分片。

from datasets import load_dataset

# 不指定 split，得到的对象包含多个数据分片
dataset_dict = load_dataset("rotten_tomatoes")

# DatasetDict 会把同一白名单应用到各个 split
model_inputs = dataset_dict.select_columns(["text", "label"])

# 先确认每个分片当前有哪些列，再决定是否能使用统一规则
for split_name, split_data in model_inputs.items():
    print(split_name, split_data.column_names)

这里有一个容易忽略的边界：不同 split 如果列集合不一致，统一的白名单可能在某个 split 上找不到。需要分别处理时，先对每个 Dataset 检查 column_names，不要假设训练集的字段一定存在于测试集。

和 map 一起用时，先决定转换输入和最终字段

map() 的 remove_columns 参数是在映射过程中移除指定字段；它适合“读取旧字段、生成新字段、最后丢弃原字段”的场景。直接调用 remove_columns() 则适合不需要转换内容的纯字段裁剪。两者的意图不同，混用时要确认新列不会被一起删掉。

from datasets import load_dataset

dataset = load_dataset("rotten_tomatoes", split="train")

def make_length(example):
    # 读取原文本并生成模型或统计阶段需要的新字段
    return {"text_length": len(example["text"])}

prepared = dataset.map(
    make_length,
    remove_columns=["label"],  # 映射结束后删除旧标签，保留 text 和新列
)

print(prepared.column_names)

如果只是想保留 text 和新生成的 text_length，也可以先 map() 再使用 select_columns(["text", "text_length"])，这样最终字段集合更明确。处理大数据时，尽量避免先把所有行转换成 Python 列表再裁剪列。

出现报错时按列名和赋值顺序排查

“找不到列”通常不是模型问题，而是列名拼写、split 结构或前一步已经删除字段。先读取 column_names，再执行裁剪；若要保留原始对象用于回滚，就把结果放进新变量，而不是覆盖唯一引用。

def keep_existing_columns(dataset, wanted):
    # 只把真实存在的字段交给 select_columns，避免把错误列名带进处理链
    available = set(dataset.column_names)
    missing = [name for name in wanted if name not in available]
    if missing:
        raise KeyError(f"缺少字段: {missing}")
    return dataset.select_columns(wanted)

# 保留原始对象，出错时仍可回到未裁剪的数据
source = dataset
model_view = keep_existing_columns(source, ["text", "label"])
print(model_view.column_names)

回滚很简单：保留原始 Dataset 引用，重新从它生成裁剪结果即可。列裁剪不是按行过滤，也不会替你判断标签是否适合训练；它只负责数据结构层面的字段集合。

常见问题

select_columns 会修改原 Dataset 吗？ 不会。它返回只包含目标字段的新对象，调用后要接收返回值。

DatasetDict 可以直接按列处理吗？ 可以，列操作会作用于其中的各个 split，但统一字段规则要求各 split 都具备对应列。

按列过滤和 filter 有什么区别？ 按列裁剪改变字段集合，filter() 按条件筛选行，二者不能互换。

小结

白名单场景用 select_columns()，黑名单场景用 remove_columns()；多 split 先确认字段一致性；map 生成新列时再决定删除旧列；所有方法返回新对象，保留原始引用就能快速回退。