Pandas按日期批量修改列值技巧

本篇文章向大家介绍《Pandas按日期批量更新列值方法》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

在数据分析和处理中，我们经常需要根据特定条件来修改DataFrame中的数据。其中一个常见的需求是，依据日期或时间列的范围来更新另一列的值。例如，在特定日期区间内，将某个标志列（如dummy列）设置为特定值（如'x'）。手动通过索引切片（如df["dummy"][1:3] = "X"）虽然可行，但当条件依赖于日期时，这种方法既不灵活也不高效。Pandas提供了更为强大的工具来解决这类问题。

准备示例数据

首先，我们创建一个示例DataFrame，它包含ID、日期和用于更新的dummy列。为了确保日期操作的准确性，我们将Date列转换为Pandas的datetime类型。

import pandas as pd
import numpy as np

# 原始数据
data = {
    'ID': [0, 1, 2, 3],
    'Date': ['2019-01-03 20:00:00', '2019-01-04 14:30:00', '2019-01-04 16:00:00', '2019-01-04 20:00:00'],
    'dummy': ['', '', '', ''] # 初始dummy列为空字符串
}

df = pd.DataFrame(data)

# 将'Date'列转换为datetime类型，这是进行日期范围操作的关键
df['Date'] = pd.to_datetime(df['Date'])

print("原始 DataFrame:")
print(df)

输出：

原始 DataFrame:
   ID                Date dummy
0   0 2019-01-03 20:00:00      
1   1 2019-01-04 14:30:00      
2   2 2019-01-04 16:00:00      
3   3 2019-01-04 20:00:00      

我们的目标是，将Date列在2019-01-04 14:30:00到2019-01-04 20:00:00（包含两端）之间的行的dummy列值设置为'x'。

方法一：使用 pandas.Series.between() 和 numpy.where()

pandas.Series.between(left, right, inclusive='both') 方法用于检查Series中的每个元素是否在指定的left和right值之间。它返回一个布尔Series。numpy.where(condition, x, y) 函数则根据条件condition选择x或y，其中x是条件为真时的值，y是条件为假时的值。

这种方法的优点是可以在一行代码中同时指定满足条件和不满足条件时的值。

# 定义日期范围
start_date = '2019-01-04 14:30:00'
end_date = '2019-01-04 20:00:00'

# 使用between()创建布尔掩码，然后用np.where()更新'dummy'列
df['dummy'] = np.where(df['Date'].between(start_date, end_date), 'x', '')

print("\n使用 between() 和 np.where() 更新后的 DataFrame:")
print(df)

输出：

使用 between() 和 np.where() 更新后的 DataFrame:
   ID                Date dummy
0   0 2019-01-03 20:00:00      
1   1 2019-01-04 14:30:00     x
2   2 2019-01-04 16:00:00     x
3   3 2019-01-04 20:00:00     x

方法二：使用 pandas.Series.between() 和布尔索引 (.loc)

布尔索引是Pandas中一种非常强大的数据选择和修改方式。我们可以先使用between()生成一个布尔Series作为行选择条件，然后通过.loc定位到这些行和目标列，进行赋值操作。

这种方法更直观，尤其适用于只需要修改满足条件的行，而不需要为不满足条件的行设置默认值的情况。

# 重新加载原始数据以演示此方法
df = pd.DataFrame(data)
df['Date'] = pd.to_datetime(df['Date'])

# 定义日期范围
start_date = '2019-01-04 14:30:00'
end_date = '2019-01-04 20:00:00'

# 创建布尔掩码
date_condition = df['Date'].between(start_date, end_date)

# 使用布尔索引和.loc更新'dummy'列
df.loc[date_condition, 'dummy'] = 'x'

print("\n使用 between() 和布尔索引 (.loc) 更新后的 DataFrame:")
print(df)

输出：

使用 between() 和布尔索引 (.loc) 更新后的 DataFrame:
   ID                Date dummy
0   0 2019-01-03 20:00:00      
1   1 2019-01-04 14:30:00     x
2   2 2019-01-04 16:00:00     x
3   3 2019-01-04 20:00:00     x

注意事项

1. 日期类型转换: 始终确保你的日期/时间列是Pandas的datetime类型。如果不是，请使用pd.to_datetime()进行转换。否则，between()可能无法正确识别日期范围，或者会进行字符串比较而非日期比较。
2. 日期范围的包含性: between()函数默认是包含边界的（inclusive='both'）。如果你需要排除边界，可以设置inclusive='left'、'right'或'neither'。
3. 性能: 对于大型数据集，使用between()结合numpy.where()或布尔索引（.loc）比使用循环迭代（如for循环或apply与lambda函数）的效率要高得多，因为它们利用了Pandas和NumPy的矢量化操作。
4. 目标列的初始状态:
   • np.where()会为所有行重新赋值，包括不满足条件的行（赋值为y）。
   • 布尔索引（.loc）只会修改满足条件的行，不满足条件的行保持原值。根据你的具体需求选择合适的方法。

总结

本教程展示了在Pandas DataFrame中根据日期范围条件批量更新列值的两种高效方法：结合pandas.Series.between()与numpy.where()，以及结合pandas.Series.between()与布尔索引（.loc）。这两种方法都比传统的循环迭代更为高效和Pythonic。在实际应用中，务必注意日期列的类型转换，并根据是否需要为不满足条件的行设置默认值来选择最适合的更新策略。掌握这些技巧将极大地提升你在Pandas中处理时间序列数据的能力。

今天关于《Pandas按日期批量修改列值技巧》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！