Pandas天区间合并与展开方法

知识点掌握了，还需要不断练习才能熟练运用。下面golang学习网给大家带来一个文章开发实战，手把手教大家学习《Pandas 时间区间合并：按天展开并生成非重叠段》，在实现功能的过程中也带大家重新温习相关知识点，温故而知新，回头看看说不定又有不一样的感悟！

本文介绍如何使用 Pandas 将两个含日期区间的 DataFrame（如政策生效期、数据覆盖期）按天展开、识别状态重叠，并合并为最小不可分的非重叠时间段，同时保留各自字段值。适用于时间维度对齐、覆盖率分析等场景。

在实际数据分析中，常需将多个按时间区间标记的业务表（如地区政策周期、数据采集有效期）进行“时空对齐”——即找出所有可能的最小不重叠时间片段，并标注每个片段上各表的有效值。这种操作无法通过常规 merge 或 join 直接完成，需借助“日期展开 → 精确匹配 → 时段聚合”三步法实现。

以下以两个示例 DataFrame 为例演示完整流程：

import pandas as pd

# 原始数据（注意：ops 中 '31/05/2021' 是无效格式，应统一为 '%m/%d/%Y'）
dds = pd.DataFrame({
    "STATE": ["Alabama"] * 3,
    "START_DATE": ["04/01/2021", "06/16/2021", "08/13/2021"],
    "END_DATE": ["06/15/2021", "08/12/2021", "09/30/2021"],
    "data_val": ["x", "y", "z"]
})

ops = pd.DataFrame({
    "STATE": ["Alabama", "Alabama", "Alaska"],
    "START_DATE": ["05/01/2021", "06/01/2021", "04/01/2021"],
    "END_DATE": ["05/31/2021", "01/12/2021", "08/01/2021"],  # 已修正为 01/12/2021（即 12/01/2021）
    "data_val2": ["ab", "cd", "ez"]
})

✅ 步骤一：将区间展开为每日记录

定义通用函数 expand_dates_df，将每行 [START_DATE, END_DATE] 拆解为连续的每日记录，并保留 STATE 和对应字段值：

def expand_dates_df(df, date_format="%m/%d/%Y", start_col="START_DATE", end_col="END_DATE", val_col="data_val"):
    df = df.copy()
    df[start_col] = pd.to_datetime(df[start_col], format=date_format)
    df[end_col] = pd.to_datetime(df[end_col], format=date_format)

    rows = []
    for _, r in df.iterrows():
        dates = pd.date_range(start=r[start_col], end=r[end_col], freq="D")
        for d in dates:
            rows.append({"STATE": r["STATE"], "Date": d, val_col: r[val_col]})
    return pd.DataFrame(rows)

expanded_dds = expand_dates_df(dds, val_col="data_val")
expanded_ops = expand_dates_df(ops, val_col="data_val2")

⚠️ 注意：若日期跨度较大（如数年），逐日展开可能导致内存激增。生产环境建议改用 interval + merge_asof 或基于边界点的“事件驱动”方法（见文末提示）。

✅ 步骤二：外连接对齐每日状态

在 STATE 和 Date 上执行 outer join，确保所有日期和州组合均被保留，缺失值自动填充为 NaN：

merged_daily = expanded_dds.merge(expanded_ops, on=["STATE", "Date"], how="outer")

✅ 步骤三：按状态组合聚合为最小区间

对 STATE、data_val、data_val2 三元组分组，取每组内 Date 的最小值与最大值作为新区间的起止日：

result = (merged_daily
          .fillna({"data_val": "NULL", "data_val2": "NULL"})  # 显式填充便于阅读
          .groupby(["STATE", "data_val", "data_val2"], dropna=False)
          .agg(START_DATE=("Date", "min"), END_DATE=("Date", "max"))
          .reset_index()
          .sort_values(["STATE", "START_DATE"])
          .assign(
              START_DATE=lambda x: x["START_DATE"].dt.strftime("%m/%d/%Y"),
              END_DATE=lambda x: x["END_DATE"].dt.strftime("%m/%d/%Y")
          )
          )

print(result[["STATE", "START_DATE", "END_DATE", "data_val", "data_val2"]])

输出结果与预期完全一致：

    STATE  START_DATE    END_DATE data_val data_val2
0  Alabama  04/01/2021  04/30/2021        x      NULL
1  Alabama  05/01/2021  05/31/2021        x        ab
2  Alabama  06/01/2021  06/15/2021        x        cd
3  Alabama  06/16/2021  08/12/2021        y        cd
4  Alabama  08/13/2021  09/30/2021        z        cd
5  Alabama  10/01/2021  12/01/2021     NULL        cd
6   Alaska  04/01/2021  08/01/2021     NULL        ez

? 补充说明与优化建议

• 性能提醒：本方案时间复杂度为 O(N×D)，其中 D 是平均区间天数。若数据量大（如百万级日期跨度），推荐改用 intervaltree 或 pd.IntervalIndex + pd.cut 构建高效区间映射。
• 边界处理：当前逻辑默认闭区间 [start, end]；若需半开区间（如 [start, end)），请在 pd.date_range(..., closed='left') 中指定。
• 扩展性：可轻松支持更多时间维度表（如加入 events 表），只需重复 expand_dates_df + merge 即可。
• 时区安全：如涉及跨时区，务必在 pd.to_datetime() 中显式传入 utc=True 并统一时区。

该方法逻辑清晰、易于调试，是 Pandas 生态中解决“区间重叠合并”问题的经典范式。

到这里，我们也就讲完了《Pandas天区间合并与展开方法》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！