使用pandas的resample方法进行时间序列数据处理及聚合的核心步骤如下：1. 确保dataframe或series具有datetimeindex，这是resample操作的前提；2. 使用resample(‘freq’)指定目标频率，如’d’（日）、’w’（周）、’m’（月）等；3. 应用聚合函数如.mean()、.sum()、.ohlc()等对每个时间区间内的数据进行汇总；4. 可通过label和closed参数控制时间区间的标签位置和闭合端点；5. 对缺失值使用fillna()方法进行填充或保留nan；6. 结合apply()、agg()、pipe()实现自定义聚合、多列多函数聚合和后处理流程；7. 区分resample()与asfreq()，前者用于聚合降频，后者用于频率转换而不聚合。
用Python处理时间序列数据，特别是涉及频率转换和数据聚合时，Pandas库里的resample方法简直是神器。它能让你轻松地将数据从一个时间粒度转换到另一个，比如把每分钟的数据汇总成每日、每周甚至每月的数据，同时还能对这些新的时间段内的数据进行各种统计计算。
解决方案
要使用resample，你首先得确保你的DataFrame或Series有一个DatetimeIndex。这是基础，也是关键。一旦有了这个索引，resample方法就能像变魔术一样工作。
想象一下，你有一组高频的传感器数据，每秒记录一次，但你现在只想看每天的平均值。
立即学习“Python免费学习笔记（深入）”；
import pandas as pdimport numpy as np# 创建一个示例时间序列数据# 假设从2023年1月1日0点开始，每分钟一个数据点start_time = pd.to_datetime('2023-01-01 00:00:00')time_index = pd.date_range(start=start_time, periods=1000, freq='T') # 'T' for minute frequencydata = np.random.rand(1000) * 100df = pd.DataFrame({'value': data}, index=time_index)print("原始数据（前5行）：")print(df.head())print("n原始数据信息：")df.info()# 将数据重采样为每日平均值daily_avg = df.resample('D').mean()print("n重采样为每日平均值（前5行）：")print(daily_avg.head())# 重采样为每周总和weekly_sum = df.resample('W').sum()print("n重采样为每周总和（前5行）：")print(weekly_sum.head())# 重采样为每月OHLC（开高低收）monthly_ohlc = df['value'].resample('M').ohlc()print("n重采样为每月OHLC（前5行）：")print(monthly_ohlc.head())# 如果想指定标签的位置（比如用区间的结束时间作为标签）daily_avg_end_label = df.resample('D', label='right').mean()print("n重采样为每日平均值（标签为区间结束时间，前5行）：")print(daily_avg_end_label.head())# 还可以用loffset来调整时间戳daily_avg_shifted = df.resample('D', loffset='-12H').mean() # 将标签向后移12小时print("n重采样并调整标签（前5行）：")print(daily_avg_shifted.head())
resample的字符串参数非常灵活，支持各种频率，比如'D'（日）、'W'（周）、'M'（月）、'Q'（季度）、'A'（年）、'H'（小时）、'T'或'min'（分钟）、'S'（秒）等等。后面跟着的聚合函数（如.mean(), .sum(), .first(), .last(), .ohlc(), .count()）决定了每个新时间段内的数据如何被汇总。
resample背后的数据聚合逻辑是什么？
在我看来，resample的核心逻辑，其实就是一种智能的“分箱”（binning）操作。它根据你指定的频率，在时间轴上划分出一个个连续的、互不重叠的时间区间。然后，它会把落在同一个时间区间内的所有原始数据点“收集”起来，形成一个临时的组。最后，你调用 .mean(), .sum() 或者其他聚合函数时，就是对这些组内的数据进行计算，得到每个新时间区间的最终结果。
举个例子，如果你把数据从分钟级别重采样到日级别（resample('D')），那么它会识别出所有属于1月1日的数据，把它们归到一起；再识别出所有属于1月2日的数据，又归到一起，以此类推。每个“日”就形成了一个独立的箱子。聚合函数就是对这些箱子里的数据进行操作。
这个过程很巧妙，因为它不仅仅是简单地选择数据，而是真正地重新组织数据。如果某个时间段内没有数据，resample默认会为这个时间段创建一个条目，并填充NaN，这在处理不连续或稀疏的时间序列时非常有用，因为它能帮你清晰地看到数据的缺失情况。我觉得这种“显式缺失”比隐式缺失要好得多，至少你知道哪里没数据。
如何处理resample操作中的缺失值和边界情况？
缺失值和边界情况在实际数据处理中是常态，resample也提供了参数来应对。
缺失值处理：正如前面提到的，如果某个重采样后的时间区间内没有原始数据点，resample会填充NaN。处理这些NaN，你可以在resample之后链式调用Pandas的缺失值处理方法：
# 假设我们有一个稀疏的时间序列sparse_time_index = pd.to_datetime(['2023-01-01', '2023-01-03', '2023-01-06'])sparse_data = [10, 20, 30]sparse_df = pd.DataFrame({'value': sparse_data}, index=sparse_time_index)# 重采样为每日，会有NaNdaily_sparse = sparse_df.resample('D').mean()print("n稀疏数据重采样为每日（含NaN）：")print(daily_sparse)# 填充缺失值daily_filled_ffill = daily_sparse.fillna(method='ffill') # 用前一个有效值填充print("n缺失值前向填充：")print(daily_filled_ffill)daily_filled_bfill = daily_sparse.fillna(method='bfill') # 用后一个有效值填充print("n缺失值后向填充：")print(daily_filled_bfill)daily_filled_zero = daily_sparse.fillna(0) # 填充0print("n缺失值填充0：")print(daily_filled_zero)
选择哪种填充方式取决于你的业务逻辑和数据特性。有时候，NaN本身就是一种信息，表示那个时间点确实没有数据，不需要填充。
边界情况（closed和label）：resample默认情况下，区间的左边界是包含的，右边界是不包含的（closed='left'），并且新生成的时间戳标签是区间的左边界（label='left'）。但你可以在特定场景下调整它们：
closed: 决定区间的哪一端是闭合的（包含）。'left' (默认): [start, end)'right': (start, end]label: 决定新时间段的标签是使用区间的开始时间还是结束时间。'left' (默认): 使用区间的开始时间作为标签。'right': 使用区间的结束时间作为标签。
# 原始数据，方便观察边界data_for_boundary = pd.DataFrame({'value': range(5)}, index=pd.to_datetime(['2023-01-01 00:00', '2023-01-01 23:59', '2023-01-02 00:00', '2023-01-02 23:59', '2023-01-03 00:00']))print("n原始数据用于边界观察：")print(data_for_boundary)# 默认行为：closed='left', label='left'# 2023-01-01的数据包括00:00到23:59# 2023-01-02的数据包括00:00到23:59default_resample = data_for_boundary.resample('D').sum()print("n默认重采样（closed='left', label='left'）：")print(default_resample)# closed='right', label='right'# 2023-01-01的数据包括(2022-12-31 23:59, 2023-01-01 23:59]# 标签是结束时间right_closed_right_label = data_for_boundary.resample('D', closed='right', label='right').sum()print("n重采样（closed='right', label='right'）：")print(right_closed_right_label)
理解这些参数对于确保数据聚合的准确性至关重要，特别是当你的业务对时间边界有严格要求时。
除了简单的聚合，resample还能做哪些高级操作？
resample的强大之处远不止于简单的聚合函数。它能与Pandas的其他功能结合，实现更复杂的分析。
自定义聚合函数 (apply)：如果内置的mean, sum等不能满足你的需求，你可以传入一个自定义函数到apply方法中。这个函数会接收每个重采样区间的Series数据。
# 计算每个月数据的范围 (max - min)monthly_range = df['value'].resample('M').apply(lambda x: x.max() - x.min())print("n每月数据范围（自定义聚合）：")print(monthly_range.head())# 甚至可以返回多个值，但需要确保返回的是Series或DataFrame，或者每个区间返回一个标量# 比如返回每个月的Q1和Q3def get_quantiles(x): return pd.Series({'Q1': x.quantile(0.25), 'Q3': x.quantile(0.75)})monthly_quantiles = df['value'].resample('M').apply(get_quantiles)print("n每月Q1和Q3（自定义聚合返回多值）：")print(monthly_quantiles.head())
这给了你极大的灵活性，可以根据业务需求实现任何复杂的聚合逻辑。
多列聚合：如果你DataFrame有多列，并且想对不同的列应用不同的聚合函数，可以使用agg方法。
df_multi_col = df.copy()df_multi_col['another_value'] = np.random.rand(len(df)) * 50# 对'value'列求平均，对'another_value'列求和daily_agg_multi = df_multi_col.resample('D').agg({ 'value': 'mean', 'another_value': 'sum'})print("n多列聚合（不同函数）：")print(daily_agg_multi.head())# 对所有数值列应用多个聚合函数daily_agg_all_cols = df_multi_col.resample('D').agg(['mean', 'sum', 'std'])print("n所有数值列应用多个聚合函数：")print(daily_agg_all_cols.head())
agg方法让多维度分析变得异常便捷。
与pipe结合：pipe方法允许你将resample的结果直接传递给一个函数或一系列函数，实现更流畅的工作流。
def process_resampled_data(resampled_df): # 假设这里有一些后处理逻辑，比如填充缺失值并计算一个新列 processed_df = resampled_df.fillna(0) processed_df['value_ratio'] = processed_df['value'] / processed_df['another_value'] return processed_df# 将resample的结果通过pipe传递给自定义处理函数processed_output = df_multi_col.resample('D').mean().pipe(process_resampled_data)print("n使用pipe进行后处理：")print(processed_output.head())
这有助于构建清晰、可读的数据处理管道。
asfreq()与resample()的区别：虽然不是resample本身的高级操作，但理解asfreq()和resample()的区别对于时间序列处理至关重要。resample()是聚合操作，它会改变数据点的数量，并对每个区间进行聚合。而asfreq()仅仅是改变频率，它不会进行聚合，如果新的频率点上没有数据，它会填充NaN，或者直接取最近的一个点（取决于参数）。
# df是原始分钟级数据# resample到每小时，取平均hourly_resample = df.resample('H').mean()print("nresample到每小时（平均）：")print(hourly_resample.head())# asfreq到每小时，不聚合，直接取对应时间点的值，没有则NaN# 注意：asfreq通常用于升采样，或在降采样时仅取特定点hourly_asfreq = df.asfreq('H')print("nasfreq到每小时（不聚合）：")print(hourly_asfreq.head())
asfreq在需要保持原始数据点结构，只是改变观察频率时非常有用，比如从日数据变为月数据，但只关心每个月的第一天。
这些高级用法让resample不仅仅是一个简单的聚合工具，更是时间序列分析中不可或缺的利器。通过灵活运用，你可以解决各种复杂的时间序列数据挑战。
以上就是如何用Python处理时间序列数据？resample重采样的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1363704.html
微信扫一扫 
支付宝扫一扫 
