本文详细介绍了如何在Pandas时间序列数据中，实现expanding()函数按天重新开始计算的逻辑。通过将日期时间索引转换为单独的日期列，并结合groupby()方法，用户可以有效地对每日数据进行独立的累积统计分析，确保每个新的一天都从头开始计算其滚动指标，适用于需要分日统计的场景。
理解Pandas中的Expanding操作
在时间序列分析中，expanding()函数是pandas提供的一个强大工具，用于执行累积（或扩展）窗口计算。与固定大小的rolling()窗口不同，expanding()窗口会随着数据的增加而不断扩大，从序列的第一个元素开始，逐步包含后续所有元素。例如，data[“somecolumn”].expanding().mean()会计算从序列开始到当前点的所有数据的累积平均值。
然而，在某些业务场景下，我们可能需要这种累积计算在特定时间点（例如每天开始时）“重置”。这意味着当新的一天到来时，expanding()计算应该从该天的第一条记录重新开始，而不是继续前一天的累积。
每日重置Expanding计算的挑战
默认的expanding()方法会跨越整个序列进行累积计算，不会自动识别日期边界并重置。如果直接在一个包含多天数据的DataFrame上应用expanding().mean()，它将计算整个时间跨度内的累积平均值，这不符合每日重置的需求。例如，如果第二天的数据是第一条记录，它将与前一天的所有数据一起计算，而不是作为新一天的起点。
解决方案：结合groupby()按天分组
解决此问题的关键在于利用Pandas的groupby()方法。我们可以首先从时间序列索引中提取出“日期”部分，将其作为一个新的分组键。然后，对这个日期键进行分组，并在每个组（即每一天）内部独立地应用expanding()函数。这样，expanding()操作就会在每天的边界处自动“重置”。
实施步骤
以下是实现每日重置expanding()计算的具体步骤：
准备数据： 确保你的DataFrame有一个DatetimeIndex，这是进行时间序列操作的基础。提取日期信息： 从DatetimeIndex中提取出单独的日期部分，并将其存储为一个新的列。这个新列将作为我们groupby()操作的键。应用groupby()和expanding()： 使用新创建的日期列作为groupby()的参数，然后在其结果上链式调用expanding()和所需的聚合函数（如mean()、sum()、`count()等）。
示例代码
让我们通过一个具体的例子来演示这个过程。假设我们有一个包含多天数据的DataFrame，我们希望计算每日的累积平均值。
import pandas as pd# 1. 准备示例数据# 创建一个包含多天时间序列数据的DataFramedf = pd.DataFrame( {"B": [1, 2, 4, 0, 4]}, index=pd.to_datetime( ["2023-12-11 21:00:00", "2023-12-11 22:00:00", "2023-12-11 23:00:00", "2023-12-12 00:00:00", "2023-12-12 01:00:00"] ))# 确保索引已排序（虽然本例数据已排序，但这是一个好习惯）# df = df.sort_index()print("原始DataFrame:")print(df)print("-" * 30)# 2. 提取日期信息并创建新的“day”列# 使用 .dt 访问器和 strftime 方法将日期格式化为 YYYY-MM-DD 字符串df["day"] = df.index.to_series().dt.strftime("%Y-%m-%d")print("添加'day'列后的DataFrame:")print(df)print("-" * 30)# 3. 应用 groupby() 和 expanding().mean()# 首先按“day”列分组，然后在每个组内应用 expanding().mean()daily_expanding_mean = df.groupby("day")["B"].expanding().mean()print("每日重置的Expanding平均值结果:")print(daily_expanding_mean)
代码解释：
我们创建了一个名为df的DataFrame，其索引是DatetimeIndex，包含两天的数据。df[“day”] = df.index.to_series().dt.strftime(“%Y-%m-%d”) 这一行是关键。它从DataFrame的日期时间索引中提取出日期部分，并将其格式化为”YYYY-MM-DD”字符串，然后作为新列”day”添加到DataFrame中。使用字符串格式化可以确保即使时间戳包含时区信息，日期分组也能准确无误。df.groupby(“day”)[“B”].expanding().mean()：df.groupby(“day”)：将DataFrame按照”day”列的值进行分组。这意味着所有属于同一天的数据将被视为一个独立的组。[“B”]：指定我们要在列”B”上执行计算。.expanding().mean()：在每个分组内部，对列”B”应用expanding().mean()。当一个新组（新的一天）开始时，expanding()的计算将重新开始。
输出结果分析：
原始DataFrame: B2023-12-11 21:00:00 12023-12-11 22:00:00 22023-12-11 23:00:00 42023-12-12 00:00:00 02023-12-12 01:00:00 4------------------------------添加'day'列后的DataFrame: B day2023-12-11 21:00:00 1 2023-12-112023-12-11 22:00:00 2 2023-12-112023-12-11 23:00:00 4 2023-12-112023-12-12 00:00:00 0 2023-12-122023-12-12 01:00:00 4 2023-12-12------------------------------每日重置的Expanding平均值结果:day 2023-12-11 2023-12-11 21:00:00 1.000000 2023-12-11 22:00:00 1.500000 2023-12-11 23:00:00 2.3333332023-12-12 2023-12-12 00:00:00 0.000000 2023-12-12 01:00:00 2.000000
从结果中可以看出，对于2023-12-11这一天：
第一个值是 1.000000 (1 / 1)第二个值是 1.500000 ((1 + 2) / 2)第三个值是 2.333333 ((1 + 2 + 4) / 3)
当日期切换到2023-12-12时，expanding()计算被重置：
第一个值是 0.000000 (0 / 1)第二个值是 2.000000 ((0 + 4) / 2)
这正是我们期望的每日重置行为。
注意事项与扩展
索引类型： 确保DataFrame的索引是DatetimeIndex。如果不是，你需要先使用pd.to_datetime()将其转换。日期提取方式： 除了dt.strftime(“%Y-%m-%d”)，你也可以使用df.index.to_series().dt.date来获取Python的date对象进行分组。这两种方法在groupby的效果上是相似的。其他Expanding聚合： 这种方法不仅适用于mean()，也适用于expanding().sum()、expanding().min()、expanding().max()、expanding().count()等所有expanding()支持的聚合函数。性能考量： 对于非常大的数据集，创建新的辅助列可能会增加内存消耗。然而，groupby()和expanding()的组合通常是处理此类时间序列问题的有效且高效的方法。多级索引： df.groupby(“day”).expanding().mean()的输出结果是一个Series，其索引是多级索引（MultiIndex），第一级是日期，第二级是原始的DatetimeIndex。如果你需要将其合并回原始DataFrame，可以使用join()或merge()操作。
总结
通过巧妙地结合Pandas的groupby()功能与日期时间索引的提取能力，我们可以轻松地实现expanding()函数在每日边界处重置的需求。这种方法提供了一种灵活且强大的方式，用于在时间序列数据中执行分段的累积统计分析，从而更好地满足特定的业务逻辑和数据分析要求。
以上就是Pandas时间序列：实现每日重置的滚动计算的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1376288.html
微信扫一扫 
支付宝扫一扫 
