Hugging Face Datasets 分片时连续划分和交错划分有什么区别

用Hugging Face Datasets处理大体积数据集、需要拆分多份分片存储或者分布式加载的时候，连续划分和交错划分是两种最常用的分片策略，两者的分片生成逻辑、最终产出的样本分布、适用场景都有明显区别。

连续划分会沿着数据集现有样本顺序从头切分，前N个样本归分片0、接下来N个归分片1，直到所有样本分配完毕；交错划分则是按分片数为步长循环分配样本，第0个样本归分片0、第1个归分片1……第k个归分片k，回到分片0继续循环，两类划分要根据数据集的原始排序特性选择。

在普通 Dataset 上，shard 的 contiguous=True 把相邻行分成块；False 则按行下标的余数交错取行。选择前先确定后续是否需要直接拼回原顺序，以及数据是否已经按类别排列。

先固定可辨认的行号

用十行本地数据观察分配，不需要下载模型或语料。下列输出是按规则推导的预期结果。

from datasets import Dataset
# 用固定编号代表原始顺序
ds = Dataset.from_dict({"row_id": list(range(10))})
# 选择三片中的第一片，下标从零开始
block = ds.shard(num_shards=3, index=0, contiguous=True)
stride = ds.shard(num_shards=3, index=0, contiguous=False)
print(list(block["row_id"]))   # 预期：[0, 1, 2, 3]
print(list(stride["row_id"]))  # 预期：[0, 3, 6, 9]

连续划分保留相邻行

十行分三片时，前一片四行，其余各三行。适合分块处理后按片号拼接；原始排序也会保留在块内，不能据此认为每片类别分布相同。

交错划分按余数取行

交错模式让第零片取得0、3、6、9。它具有确定性，但不等于随机抽样，也不保证标签平衡；周期性排列可能使某片集中得到同一标签。

安排处理与合并顺序

先固定同一份输入和片数，再让各处理任务使用不同片号。需要直接恢复顺序时优先连续分片；交错分片的结果应保留原始行号，合并后按行号排序。若每片处理还会过滤或扩增行，应另外定义结果排序键。

常见问题

这是训练集和测试集划分吗？

它只负责选取某片数据。评估隔离、同一用户泄漏和标签分层需要另行设计。

流式数据也按每一行交错吗？

不能直接套用这个例子。IterableDataset 的分片涉及底层数据分片，须分别阅读对应接口。

参数和适用对象参考 Hugging Face 官方文档：https://huggingface.co/docs/datasets/en/package_reference/main_classes#datasets.Dataset.shard。