本文介绍如何使用 Pandas 的 groupby.rolling 函数，基于连续时间段的状态列高效地生成标志。针对大数据集，避免低效的循环，提供两种方案：一种考虑未来12个月的状态，另一种仅考虑过去12个月的状态。通过代码示例，详细展示了如何实现这两种标志生成逻辑，并提供了相应的输出结果。
利用 Pandas 滚动窗口进行状态标志生成
在数据分析中，经常需要基于时间序列数据生成标志。一个常见的场景是，根据一段时间内的状态来标记特定时间点。本文将介绍如何使用 Pandas 的滚动窗口功能，高效地根据连续时间段的状态列生成标志，避免使用低效的循环。
假设我们有一个包含 ID、Period 和 status 列的数据集。我们的目标是为每一行生成一个 Flag 列，该列的值取决于接下来（或之前）12 个月内的 status 列的值。如果接下来的 12 个月内 status 列中至少有一个值为 1，则将该行的 Flag 列标记为 1，否则标记为 0。
数据准备
首先，我们需要准备数据。假设我们的数据存储在一个 Pandas DataFrame 中，如下所示：
import pandas as pddata = {'ID': ['A'] * 13, 'Period': ['2020-10-28', '2020-11-28', '2020-12-28', '2021-01-28', '2021-02-28', '2021-03-28', '2021-04-28', '2021-05-28', '2021-06-28', '2021-07-28', '2021-08-28', '2021-09-28', '2021-10-28'], 'status': [0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0]}df = pd.DataFrame(data)
方案一：考虑未来 12 个月
此方案考虑未来12个月的状态，如果未来12个月中存在状态为1，则Flag标记为1。
df['Flag'] = (df .assign(Period=pd.to_datetime(df['Period']).dt.to_period('M')) [::-1] .groupby('ID').rolling(12, on='Period', min_periods=1) ['status'].max()[::-1].to_numpy())print(df)
代码解释:
df.assign(Period=pd.to_datetime(df[‘Period’]).dt.to_period(‘M’)): 将 Period 列转换为 Pandas Period 类型，方便进行滚动计算。[::-1]: 反转 DataFrame 的顺序，因为 rolling 函数默认是向前滚动。.groupby(‘ID’).rolling(12, on=’Period’, min_periods=1): 按 ID 分组，并创建一个滚动窗口，窗口大小为 12 个月。min_periods=1 表示即使窗口内的样本数量少于 12 个，也会进行计算。[‘status’].max(): 计算滚动窗口内 status 列的最大值。[::-1].to_numpy(): 再次反转结果，使其与原始 DataFrame 的顺序一致，并将结果转换为 NumPy 数组。
输出结果:
ID Period status Flag0 A 2020-10-28 0 1.01 A 2020-11-28 0 1.02 A 2020-12-28 0 1.03 A 2021-01-28 0 1.04 A 2021-02-28 0 1.05 A 2021-03-28 0 1.06 A 2021-04-28 0 1.07 A 2021-05-28 0 1.08 A 2021-06-28 1 1.09 A 2021-07-28 0 0.010 A 2021-08-28 0 0.011 A 2021-09-28 0 0.012 A 2021-10-28 0 0.0
方案二：仅考虑过去 12 个月
此方案仅考虑过去12个月的状态，如果过去12个月中存在状态为1，则Flag标记为1。
df['Flag'] = (df .assign(Period=pd.to_datetime(df['Period']).dt.to_period('M')) .set_index('Period') [::-1] .groupby('ID')['status'] .transform(lambda g: g.rolling(12, min_periods=1) .max().shift(fill_value=0) ) .to_numpy()[::-1])print(df)
代码解释:
df.assign(Period=pd.to_datetime(df[‘Period’]).dt.to_period(‘M’)): 将 Period 列转换为 Pandas Period 类型，方便进行滚动计算。.set_index(‘Period’): 将 ‘Period’ 列设置为索引。[::-1]: 反转 DataFrame 的顺序，因为 rolling 函数默认是向前滚动。.groupby(‘ID’)[‘status’]: 按 ID 分组，并选择 status 列。.transform(lambda g: g.rolling(12, min_periods=1).max().shift(fill_value=0)): 使用 transform 函数对每个分组应用滚动窗口计算。rolling(12, min_periods=1).max() 计算滚动窗口内的最大值。.shift(fill_value=0) 将结果向下移动一位，并用 0 填充缺失值，从而实现仅考虑过去 12 个月。.to_numpy()[::-1]: 将结果转换为 NumPy 数组，并再次反转结果，使其与原始 DataFrame 的顺序一致。
输出结果:
ID Period status Flag0 A 2020-10-28 0 1.01 A 2020-11-28 0 1.02 A 2020-12-28 0 1.03 A 2021-01-28 0 1.04 A 2021-02-28 0 1.05 A 2021-03-28 0 1.06 A 2021-04-28 0 1.07 A 2021-05-28 0 1.08 A 2021-06-28 1 0.09 A 2021-07-28 0 0.010 A 2021-08-28 0 0.011 A 2021-09-28 0 0.012 A 2021-10-28 0 0.0
注意事项
数据类型: 确保 Period 列的数据类型正确。如果不是日期类型，需要先转换为日期类型。排序: 根据 ID 和 Period 对数据进行排序，以确保滚动窗口计算的正确性。内存占用: 对于非常大的数据集，滚动窗口计算可能会占用大量内存。可以考虑使用 Dask 等工具进行分布式计算。min_periods 参数: 根据实际需求调整 min_periods 参数。如果要求窗口内必须有 12 个有效值才能计算，则可以省略此参数。
总结
本文介绍了如何使用 Pandas 的 groupby.rolling 函数，高效地根据连续时间段的状态列生成标志。通过避免使用循环，可以显著提高处理大数据集的效率。根据实际需求，可以选择考虑未来或过去的状态。在实际应用中，需要注意数据类型、排序和内存占用等问题。
以上就是使用 Pandas 滚动窗口高效生成状态标志的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1368232.html
微信扫一扫 
支付宝扫一扫 
