本文深入探讨了在Pandas中对分组数据计算滚动平均值时遇到的常见问题，特别是TypeError: incompatible index of inserted column with frame index错误以及结果不准确的情况。通过分析groupby().rolling().mean()操作产生的多级索引问题，文章详细介绍了如何利用droplevel()方法来解决索引不兼容性，从而实现对DataFrame正确地添加分组滚动平均值列，确保计算结果的准确性和数据的完整性。
在数据分析中，对分组数据计算滚动统计量（如滚动平均值）是一项常见的操作。Pandas库提供了强大的groupby()和rolling()方法来支持此类计算。然而，在使用这些方法并将结果赋值回原始DataFrame时，用户可能会遇到TypeError: incompatible index of inserted column with frame index错误或得到不符合预期的计算结果。本文将详细解析这个问题的原因，并提供一个简洁有效的解决方案。
理解问题：分组滚动平均值的索引不兼容性
首先，让我们通过一个示例数据集来重现并理解这个问题。
import pandas as pdimport numpy as np# 创建示例DataFramedf = pd.DataFrame({ 'a': np.random.choice(['x', 'y'], 8), 'b': np.random.choice(['r', 's'], 8), 'c': np.arange(1, 8 + 1)})print("原始DataFrame:")print(df)
一个可能的输出如下：
原始DataFrame: a b c0 y s 11 y r 22 y s 33 y r 44 y s 55 x r 66 y r 77 x r 8
现在，我们尝试按照列’a’和’b’进行分组，然后计算列’c’的窗口大小为3的滚动平均值，并直接将其赋值给原始DataFrame的新列’ROLLING_MEAN’：
# 尝试直接赋值（会导致TypeError）# df['ROLLING_MEAN'] = df.groupby(['a', 'b'])['c'].rolling(3).mean()
如果直接执行上述代码，Pandas会抛出TypeError: incompatible index of inserted column with frame index。这是因为df.groupby([‘a’, ‘b’])[‘c’].rolling(3).mean()这个操作的返回值是一个带有多级索引（MultiIndex）的Series。这个多级索引包含了分组键（’a’和’b’）以及原始DataFrame的索引。例如，单独查看其输出：
intermediate_result = df.groupby(['a', 'b'])['c'].rolling(3).mean()print("ngroupby().rolling().mean()的中间结果（带有MultiIndex）:")print(intermediate_result)
一个可能的输出（注意索引结构）：
groupby().rolling().mean()的中间结果（带有MultiIndex）:a b x r 5 NaN 7 NaN s 3 NaNy r 1 NaN 4 NaN 6 5.0y s 0 NaN 2 NaNName: c, dtype: float64
（请注意，示例输出中的索引值和原始DataFrame的索引值可能因为np.random.choice的随机性而有所不同，但关键在于其索引结构是a, b和原始索引的组合。）
由于这个Series的索引与原始DataFrame的单级整数索引不兼容，Pandas无法直接将其作为新列插入。
错误的.values使用及其影响
有时，为了规避TypeError，用户可能会尝试在.mean()后面加上.values：
# 尝试使用.values（会避免TypeError，但结果不准确）df['ROLLING_MEAN_VALUES'] = df.groupby(['a', 'b'])['c'].rolling(3).mean().valuesprint("n使用.values后的DataFrame（结果不准确）:")print(df)
虽然.values操作会提取Series中的数值数组，避免了索引不兼容的错误，但它破坏了数据与原始DataFrame行的对应关系。.values只是简单地按顺序提取数值，而没有考虑原始DataFrame的行索引。这意味着计算出的滚动平均值会错误地分配到DataFrame的行中，导致结果完全不准确。
例如，如果我们查看某个特定分组的滚动平均值，会发现其值与该分组的数据完全不匹配。
解决方案：使用 droplevel() 移除多级索引
解决这个问题的关键在于，我们需要将groupby().rolling().mean()返回的Series的多级索引降维（droplevel），使其只保留原始DataFrame的行索引。这样，生成的Series就能与原始DataFrame的索引对齐，从而实现正确的赋值。
droplevel()方法可以从MultiIndex中移除一个或多个级别。在本例中，我们需要移除代表分组键的’a’和’b’级别。
# 正确的解决方案：使用 droplevel()df['ROLLING_MEAN'] = df.groupby(['a', 'b'])['c'] .rolling(3).mean() .droplevel(['a', 'b'])print("n使用droplevel()后的DataFrame（结果正确）:")print(df)
一个可能的输出如下：
使用droplevel()后的DataFrame（结果正确）: a b c ROLLING_MEAN0 y s 1 NaN1 y r 2 NaN2 y s 3 NaN3 y r 4 NaN4 y s 5 3.0000005 x r 6 NaN6 y r 7 4.3333337 x r 8 NaN
结果验证：让我们手动验证一个分组的计算。假设在上述输出中，df的索引4对应的行是y, s, 5，并且其ROLLING_MEAN是3.000000。如果df的原始数据是：
a b c0 y s 11 y r 22 y s 33 y r 44 y s 5
对于分组 (‘y’, ‘s’)，其 c 列的值序列是 1, 3, 5。
索引0 (c=1): NaN (窗口不足3)索引2 (c=3): NaN (窗口不足3)索引4 (c=5): (1 + 3 + 5) / 3 = 3.0。这与输出结果一致。
注意事项
索引对齐的重要性： Pandas的核心优势之一是其强大的索引对齐功能。在进行复杂的转换和合并操作时，始终要关注Series或DataFrame的索引结构，确保它们能够正确对齐。rolling() 的 min_periods 参数： 默认情况下，rolling()要求窗口中有足够的非NaN值才能进行计算。例如，rolling(3)表示需要至少3个值才能计算平均值。可以通过设置min_periods参数来改变这一行为，例如rolling(3, min_periods=1)表示只要有1个值就可以计算。链式操作的可读性： 当进行多步操作时，使用括号和换行符可以提高代码的可读性，如示例中所示。
总结
在Pandas中对分组数据计算滚动平均值并将其添加回原始DataFrame时，groupby().rolling().mean()操作会产生一个带有MultiIndex的Series，这与原始DataFrame的单级索引不兼容。解决此问题的正确方法是使用.droplevel([‘group_key1’, ‘group_key2’])方法，将MultiIndex降维，使其索引与原始DataFrame的索引对齐。通过这种方式，可以确保计算结果的准确性，并避免常见的TypeError。
以上就是如何使用Pandas在分组数据上正确计算滚动平均值的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381821.html
微信扫一扫 
支付宝扫一扫 
