本教程详细介绍了如何使用 Python Pandas 库高效地计算数据集中指定历史周期的值，并进一步分析其绝对变化和百分比变化。通过构建灵活的辅助函数，文章展示了如何利用日期偏移和DataFrame自合并的策略，解决在时间序列数据中获取同期对比数据的常见需求，确保数据分析的准确性和可扩展性。
在数据分析中，我们经常需要将当前数据与历史同期数据进行比较，例如与上个月、上季度或去年同期的数据进行对比，以洞察趋势和变化。Pandas 库提供了强大的数据处理能力，但直接获取精确的历史同期值并计算其变化率可能需要一些技巧。本教程将通过一个实际案例，详细讲解如何构建一个灵活且可重用的 Python 函数来解决这一问题。
核心概念：历史同期数据提取
要获取历史同期数据，主要涉及以下几个步骤：
日期偏移: 使用 Pandas 的 DateOffset 功能，根据当前日期计算出目标历史日期的值。例如，要获取一个月前的数据，可以将当前日期减去一个月。DataFrame 自合并 (Self-Merge): 将原始 DataFrame 与其自身进行合并。通过将当前日期的历史偏移值作为合并键，与原始 DataFrame 中的日期列进行匹配，从而将历史数据引入到当前行的上下文中。数据清洗与计算: 合并后，清理冗余列，并根据需要计算当前值与历史值之间的绝对变化和百分比变化。
实现细节：get_last_period_values 函数解析
我们首先定义一个核心辅助函数 get_last_period_values，它负责获取指定历史周期的数据及其变化。
import pandas as pdimport iodef get_last_period_values(df, months_prior, metric_cols, dimension_cols, date_col): """ 获取指定月份前的历史数据，并计算绝对变化和百分比变化。 参数: df (pd.DataFrame): 输入的DataFrame。 months_prior (int): 要回溯的月份数。 metric_cols (list): 需要计算历史值和变化的指标列名列表。 dimension_cols (list): 维度列名列表，这些列会随历史数据一起被带入，但通常不用于合并键。 date_col (str): 日期列的名称。 返回: pd.DataFrame: 包含历史数据、绝对变化和百分比变化的DataFrame。 """ df_copy = df.copy() # 创建DataFrame副本，避免修改原始数据 # 1. 计算历史日期 # 为每行计算其对应的历史日期 df_copy[f'{date_col}_Prior'] = df_copy[date_col] - pd.DateOffset(months=months_prior) # 2. DataFrame 自合并 # 将DataFrame与自身合并，以获取历史数据。 # left_on: 当前DataFrame的计算出的历史日期。 # right_on: 原始DataFrame的日期列。 # how='left': 确保保留所有当前数据，如果找不到对应的历史数据，则填充NaN。 # suffixes: 用于区分合并后同名列（如Organic Keywords）的当前值和历史值。 df_copy = df_copy.merge( df_copy[[date_col] + dimension_cols + metric_cols], left_on=f'{date_col}_Prior', right_on=date_col, how='left', suffixes=('', f'_{months_prior}mo_Prior') # 为历史数据列添加后缀 ) # 3. 数据清洗 # 删除辅助的_Prior日期列和合并过程中可能产生的冗余维度列 df_copy = df_copy.drop(columns=[f'{date_col}_Prior'] + [col + f'_{months_prior}mo_Prior' for col in dimension_cols]) # 4. 计算绝对变化 # 遍历每个指标列，计算当前值与历史值之间的差值 for metric in metric_cols: df_copy[f'{metric}_{months_prior}mo_Abs_Change'] = df_copy[metric] - df_copy[f'{metric}_{months_prior}mo_Prior'] # 5. 计算百分比变化 # 遍历每个指标列，计算百分比变化并四舍五入到两位小数 for metric in metric_cols: # 避免除以零错误，这里直接使用公式，NaN值会在计算中自然产生 df_copy[f'{metric}_{months_prior}mo_Pct_Change'] = df_copy[metric] / df_copy[f'{metric}_{months_prior}mo_Prior'] - 1 df_copy[f'{metric}_{months_prior}mo_Pct_Change'] = df_copy[f'{metric}_{months_prior}mo_Pct_Change'].round(2) return df_copy
函数关键点说明：
pd.DateOffset(months=months_prior): 这是 Pandas 中处理日期偏移的核心工具。它允许我们以月、日、年等单位精确地加减日期。df_copy.merge(…): 自合并是实现历史数据匹配的关键。left_on=f'{date_col}_Prior’ 和 right_on=date_col 定义了合并的键。当前 DataFrame 的计算出的历史日期 (Date_Prior) 将与原始 DataFrame 的实际日期 (Date) 进行匹配。how=’left’ 确保了所有当前日期的数据都被保留。如果某个当前日期没有对应的历史数据（例如，数据集中最早的几个月），则历史数据列将填充 NaN。suffixes=(”, f’_{months_prior}mo_Prior’) 非常重要。它为合并后来自右侧 DataFrame 的同名列（如 Organic Keywords）添加后缀，以便我们可以区分当前值和历史值。计算变化: 函数不仅获取历史值，还进一步计算了绝对变化（Abs_Change）和百分比变化（Pct_Change），这在实际分析中非常有用。百分比变化计算时，通过 round(2) 进行了格式化。
处理多周期分析：get_period_values 函数
为了方便地对多个历史周期进行分析（例如，同时获取 1 个月前和 12 个月前的数据），我们可以再封装一个函数 get_period_values。
def get_period_values(df, periods, metric_cols, dimension_cols, date_col): """ 对多个指定周期执行历史数据提取和变化计算。 参数: df (pd.DataFrame): 输入的DataFrame。 periods (list): 包含要分析的月份数的列表 (e.g., [1, 3, 12])。 metric_cols (list): 需要计算历史值和变化的指标列名列表。 dimension_cols (list): 维度列名列表。 date_col (str): 日期列的名称。 返回: pd.DataFrame: 包含所有指定周期历史数据和变化的DataFrame。 """ df_copy = df.copy() for period in periods: df_copy = get_last_period_values(df_copy, period, metric_cols, dimension_cols, date_col) return df_copy
这个函数简单地遍历 periods 列表，对每个周期调用 get_last_period_values 函数，并将结果逐步合并到 df_copy 中。
完整示例代码
下面是结合上述函数的完整脚本，它读取一个 CSV 格式的字符串数据，并计算 1 个月和 12 个月前的历史数据及其变化。
import pandas as pdimport io## 常量定义，提高代码可读性和可维护性INITIAL_COL_REORDER = ['URL', 'Date', 'Organic Keywords', 'Organic Traffic']METRIC_COLS = ['Organic Keywords', 'Organic Traffic'] # 需要分析的指标列DIMENSION_COLS = ['URL'] # 维度列，此处只有一个URL，但设计上可扩展DATE_COL = 'Date' # 日期列名PERIODS = [1, 12] # 需要计算的周期 (1个月前, 12个月前)# 示例输入数据 (CSV格式字符串)INPUT_CSV = """URL,Organic Keywords,Organic Traffic,Datehttps://www.example-url.com/,1315,11345,20231115https://www.example-url.com/,1183,5646,20231015https://www.example-url.com/,869,5095,20230915https://www.example-url.com/,925,4574,20230815https://www.example-url.com/,899,4580,20230715https://www.example-url.com/,1382,5720,20230615https://www.example-url/,1171,5544,20230515https://www.example-url/,1079,5041,20230415https://www.example-url/,734,3855,20230315https://www.example-url/,853,3455,20230215https://www.example-url/,840,2343,20230115https://www.example-url/,325,2318,20221215https://www.example-url/,156,1981,20221115https://www.example-url/,166,2059,20221015https://www.example-url/,124,1977,20220915https://www.example-url/,98,1919,20220815https://www.example-url/,167,1796,20220715https://www.example-url/,140,1596,20220615https://www.example-url/,168,1493,20220515https://www.example-url/,171,1058,20220415https://www.example-url/,141,1735,20220315https://www.example-url/,129,1836,20220215https://www.example-url/,141,746,20220115https://www.example-url/,129,1076,20211215"""## HELPER FUNCTION ### (此处省略get_last_period_values和get_period_values函数定义，因为前面已给出)# 请确保将上述两个函数定义粘贴到此处，以便脚本完整运行。## MAIN SCRIPT ##if __name__ == '__main__': # 1. 读取CSV数据 df = pd.read_csv(io.StringIO(INPUT_CSV)) # 2. 初始列重排 (可选，根据需要调整) df = df[INITIAL_COL_REORDER] # 3. 将日期列转换为datetime对象 df[DATE_COL] = pd.to_datetime(df[DATE_COL], format='%Y%m%d') # 4. 按日期降序排序 (重要，确保数据处理的逻辑一致性) df = df.sort_values(by=DATE_COL, ascending=False) # 5. 调用主函数计算所有周期的历史数据和变化 df_final = get_period_values(df, PERIODS, METRIC_COLS, DIMENSION_COLS, DATE_COL) # 6. 显示最终结果 print(df_final.to_string()) # 使用to_string()防止输出被截断
注意事项与最佳实践
数据预处理:日期格式: 确保日期列被正确转换为 Pandas 的 datetime 类型。本例中使用 pd.to_datetime(df[DATE_COL], format=’%Y%m%d’) 进行转换。数据排序: 在进行时间序列分析时，通常建议将 DataFrame 按日期列进行排序，尽管 merge 操作本身不依赖排序，但良好的数据习惯有助于理解和调试。本例中采用降序排序。处理缺失值 (NaN):由于 how=’left’ 合并策略，如果当前日期没有对应的历史日期数据（例如，数据集最早的几个月份），那么历史数据列将填充 NaN。在进行后续分析或可视化时，需要考虑如何处理
以上就是使用 Pandas 高效计算历史同期数据及变化率的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1377355.html
微信扫一扫 
支付宝扫一扫 
