本教程将详细介绍如何在Pandas时间序列数据中，实现expanding()函数按日重置计算。通过将时间序列索引转换为日期列，并结合groupby()方法，我们可以有效地为每个新的一天独立地重新开始扩展窗口计算，从而满足特定时间周期内的累积统计需求。
引言
在处理时间序列数据时，pandas的expanding()方法是一个非常强大的工具，它允许我们计算累积统计量，例如累积平均值、累积总和等。然而，在某些场景下，我们可能不希望expanding()计算从数据集的起点一直持续到终点。例如，我们可能需要每天的扩展计算都从当天的数据开始重新计数，而不是延续前一天的数据。本文将详细阐述如何利用pandas的groupby()功能，结合时间序列索引，实现这种按日重置的expanding()计算。
核心概念：expanding()与时间序列
expanding()方法会生成一个扩展窗口对象，该窗口从序列的第一个元素开始，并随着序列的推进而不断扩大，直到包含当前元素之前的所有元素。例如，data.expanding().mean()会计算第一个元素的平均值（即它本身），然后是前两个元素的平均值，依此类推。
当数据集是时间序列时，expanding()默认的行为是跨越所有时间点连续计算。但如果我们的业务逻辑要求每天的统计都独立进行，即每天开始时，累积计算需要“归零”并重新开始，那么直接使用expanding()就无法满足需求。
实现按日重置的扩展计算
要实现按日重置的扩展计算，核心思想是先将数据按照日期进行分组，然后在每个日期组内独立地应用expanding()方法。这可以通过以下步骤完成：
1. 准备时间序列数据
首先，确保你的DataFrame拥有一个DatetimeIndex。这是进行时间序列操作的基础。如果你的时间列不是索引，或者不是DatetimeIndex类型，你需要先进行转换。
import pandas as pd# 创建一个示例DataFrame，包含跨天的时序数据df = pd.DataFrame( {"B": [1, 2, 4, 0, 4]}, index=pd.to_datetime( ["2023-12-11 21:00:00", "2023-12-11 22:00:00", "2023-12-11 23:00:00", "2023-12-12 00:00:00", "2023-12-12 01:00:00"] ))print("原始DataFrame:")print(df)
2. 提取日期信息并创建分组键
接下来，我们需要从DatetimeIndex中提取出纯粹的日期部分，并将其作为一个新的列添加到DataFrame中。这个日期列将作为我们进行分组的键。
# 从DatetimeIndex中提取日期部分，格式化为"YYYY-MM-DD"字符串df["day"] = df.index.to_series().dt.strftime("%Y-%m-%d")print("n添加'day'列后的DataFrame:")print(df)
使用dt.strftime(“%Y-%m-%d”)可以确保我们只提取日期，而忽略时间部分，这对于按日分组至关重要。
3. 分组并应用expanding()
有了“day”列作为分组键，我们现在可以使用groupby()方法按天对数据进行分组，然后在每个组内应用expanding()计算。
# 按'day'列分组，然后在每个组内应用expanding().mean()daily_expanding_mean = df.groupby("day")["B"].expanding().mean()print("n按日重置的扩展平均值:")print(daily_expanding_mean)
输出结果分析：
按日重置的扩展平均值:day 2023-12-11 2023-12-11 21:00:00 1.000000 2023-12-11 22:00:00 1.500000 2023-12-11 23:00:00 2.3333332023-12-12 2023-12-12 00:00:00 0.000000 2023-12-12 01:00:00 2.000000
从结果可以看出，对于2023-12-11这一天，扩展平均值依次为1.0、(1+2)/2=1.5、(1+2+4)/3=2.33。当进入2023-12-12这一天时，扩展计算重新开始，第一个数据0的平均值为0.0，第二个数据4的平均值为(0+4)/2=2.0。这正是我们期望的按日重置行为。
完整示例代码
import pandas as pd# 1. 准备时间序列数据df = pd.DataFrame( {"B": [1, 2, 4, 0, 4]}, index=pd.to_datetime( ["2023-12-11 21:00:00", "2023-12-11 22:00:00", "2023-12-11 23:00:00", "2023-12-12 00:00:00", "2023-12-12 01:00:00"] ))# 2. 提取日期信息并创建分组键df["day"] = df.index.to_series().dt.strftime("%Y-%m-%d")# 3. 分组并应用expanding()# 可以对DataFrame的多个列或特定列应用expanding()daily_expanding_result = df.groupby("day")["B"].expanding().mean()print("按日重置的扩展计算结果:")print(daily_expanding_result)# 如果需要将结果合并回原始DataFrame，可以使用transform或join# 例如，使用transform会返回一个与原始DataFrame索引对齐的Series# df["daily_expanding_mean_B"] = df.groupby("day")["B"].transform(lambda x: x.expanding().mean())# print("n合并回原始DataFrame:")# print(df)
注意事项
索引类型: 确保你的DataFrame索引是pd.DatetimeIndex类型。如果不是，请使用pd.to_datetime()进行转换。索引排序: 虽然groupby通常能正确处理，但在某些复杂情况下，如果你的DatetimeIndex没有按时间顺序排序，可能会导致意外结果。建议在执行此操作前，先使用df = df.sort_index()对DataFrame进行排序。聚合函数: expanding()可以与多种聚合函数结合使用，例如sum()、min()、max()、std()、count()等，不仅仅是mean()。根据你的需求选择合适的聚合方法。日期格式: strftime(“%Y-%m-%d”)是一种常见的日期格式，确保它能准确地代表你希望分组的“天”。如果你需要按周、按月或按其他时间粒度重置，可以相应地调整strftime格式字符串或使用dt.to_period(‘W’)、dt.to_period(‘M’)等方法。结果形式: groupby().expanding().mean()返回的是一个Series，其索引是一个多级索引（MultiIndex），其中包含分组键（日期）和原始时间戳。如果需要将结果合并回原始DataFrame，可能需要进行额外的操作，例如使用transform()或join()。
总结
通过在Pandas中巧妙地结合groupby()和expanding()方法，我们可以轻松实现时间序列数据中按指定时间粒度（如按天）重置扩展计算的需求。这种方法提供了一种灵活且高效的解决方案，适用于需要周期性累积统计分析的场景，极大地增强了Pandas在时间序列数据处理方面的能力。理解并掌握这种技巧，将有助于你更精确地分析和处理复杂的时序数据。
以上就是Pandas时间序列：按日分组重置expanding()操作的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1376114.html
微信扫一扫 
支付宝扫一扫 
