本文旨在解决在 Pandas 中使用 groupby() 和 rolling().mean() 进行分组滚动平均计算时遇到的 TypeError: incompatible index 错误和结果错位问题。通过深入分析 groupby().rolling() 操作产生的多级索引，并引入 droplevel() 方法来调整索引，确保计算结果能正确地与原始 DataFrame 对齐，从而实现精确的分组滚动统计。
1. 引言：分组滚动统计的需求
在数据分析中，我们经常需要在不同的数据组内计算滚动（或移动）平均值、总和等统计量。例如，在一个包含多个类别的数据集中，我们可能需要分别计算每个类别的销售额的3天滚动平均值。Pandas 提供了强大的 groupby() 和 rolling() 方法来支持这类操作，但其组合使用时，如果不注意索引的处理，可能会遇到一些常见的陷阱。
2. 问题描述：索引不兼容与结果错位
考虑以下示例 DataFrame，我们希望根据 ‘a’ 和 ‘b’ 列进行分组，然后计算 ‘c’ 列的3个元素的滚动平均值。
import pandas as pdimport numpy as npdf = pd.DataFrame({ 'a': np.random.choice(['x', 'y'], 8), 'b': np.random.choice(['r', 's'], 8), 'c': np.arange(1, 8 + 1)})print("原始 DataFrame:")print(df)
一个直观但错误的尝试是直接将 groupby().rolling().mean() 的结果赋值给 DataFrame 的新列：
# 错误的尝试# df['ROLLING_MEAN'] = df.groupby(['a', 'b'])['c'].rolling(3).mean()
执行上述代码会抛出 TypeError: incompatible index of inserted column with frame index 错误。这个错误明确指出，尝试插入的 Series 的索引与 DataFrame 的索引不兼容。
为了规避这个错误，有人可能会尝试在链式调用中添加 .values：
# 另一个错误的尝试：使用 .valuesdf['ROLLING_MEAN_WRONG'] = df.groupby(['a', 'b'])['c'].rolling(3).mean().valuesprint("n使用 .values 后的 DataFrame (结果错误):")print(df)# 检查特定分组的结果print("n特定分组 (a='x', b='r') 的结果 (仍然错误):")print(df[ (df['a'] == 'x') & (df['b'] == 'r')])
虽然 .values 避免了 TypeError，但它会产生错误的结果。例如，对于 (a=’x’, b=’r’) 这个分组，可能会看到如下输出（具体数值可能因随机数据而异）：
a b c ROLLING_MEAN_WRONG0 x r 1 NaN2 x r 3 2.6666673 x r 4 4.0000004 x r 5 5.6666677 x r 8 NaN
这里的问题在于，滚动平均值 5.666 出现在 ‘c’ 列值仅为 1, 3, 4, 5, 8 的分组中，这显然是不正确的。5.666 意味着 (X + Y + Z) / 3，而在这个分组中，还没有出现足够大的数值来产生这样的滚动平均。这种错误是由于 .values 方法在将 Series 转换为 NumPy 数组时，丢失了原有的索引信息，导致数据在赋值时进行了错误的按位置对齐。
3. 根本原因：多级索引不匹配
为了理解为什么会发生这种情况，我们首先来看一下 df.groupby([‘a’, ‘b’])[‘c’].rolling(3).mean() 的原始输出：
# 查看分组滚动平均的原始输出grouped_rolling_output = df.groupby(['a', 'b'])['c'].rolling(3).mean()print("n分组滚动平均的原始输出 (多级索引):")print(grouped_rolling_output)
输出示例：
a b x r 3 NaN 4 NaN 6 5.333333 s 1 NaNy r 2 NaN 5 NaN s 0 NaN 7 NaNName: c, dtype: float64
可以看到，这个 Series 拥有一个多级索引（MultiIndex），其中包含了分组键 ‘a’ 和 ‘b’，以及原始 DataFrame 的索引。当尝试将其直接赋值给 df[‘ROLLING_MEAN’] 时，Pandas 发现这个多级索引与 df 的单一整数索引不兼容，因此抛出 TypeError。
而 .values 方法则粗暴地将这个多级索引的 Series 转换为一个纯粹的 NumPy 数组，丢弃了所有索引信息。当这个数组被赋值回 DataFrame 时，Pandas 只能进行按位置（positional）对齐。由于 rolling() 操作会在每个分组的开头产生 NaN 值，这些 NaN 值在 .values 转换后会被放置在数组的开头，从而导致与原始 DataFrame 的行错位，使得滚动平均值被错误地分配到不属于它的行。
4. 解决方案：使用 droplevel() 调整索引
解决这个问题的关键在于，在将分组滚动计算的结果赋值回原始 DataFrame 之前，将其索引调整为与原始 DataFrame 的索引一致。pandas.Series.droplevel() 方法正是为此而生，它可以移除 Series 或 DataFrame 索引中的一个或多个级别。
我们需要移除由 groupby() 操作引入的 ‘a’ 和 ‘b’ 这两个索引级别，只保留原始 DataFrame 的行索引。
# 正确的解决方案df['ROLLING_MEAN_CORRECT'] = df.groupby(['a', 'b'])['c'] .rolling(3).mean() .droplevel(['a', 'b'])print("n使用 droplevel() 后的 DataFrame (结果正确):")print(df)# 检查特定分组的正确结果print("n特定分组 (a='x', b='r') 的正确结果:")print(df[ (df['a'] == 'x') & (df['b'] == 'r')])
代码解析：
df.groupby([‘a’, ‘b’])[‘c’]: 按照 ‘a’ 和 ‘b’ 列进行分组，并选择 ‘c’ 列进行操作。.rolling(3).mean(): 在每个分组内部，计算 ‘c’ 列的3个元素的滚动平均值。这会产生一个带有 ‘a’, ‘b’ 和原始索引的多级索引 Series。.droplevel([‘a’, ‘b’]): 这一步是关键。它移除了多级索引中的 ‘a’ 和 ‘b’ 这两个级别，只留下原始 DataFrame 的行索引。这样，生成的 Series 的索引就与原始 DataFrame 的索引兼容了。df[‘ROLLING_MEAN_CORRECT’] = …: 将索引调整后的 Series 正确地赋值给 DataFrame 的新列。Pandas 会根据匹配的索引进行智能对齐。
预期输出示例：（请注意，由于数据是随机生成的，以下输出仅为示例，实际运行时请根据您的随机数据进行验证）
a b c ROLLING_MEAN_CORRECT0 y s 1 NaN1 y r 2 NaN2 y s 3 NaN3 y r 4 NaN4 y s 5 3.000000 # (1+2+5)/3 或 (3+4+5)/3 等，取决于具体分组数据5 x r 6 NaN6 y r 7 4.333333 # (2+5+7)/3 或 (4+5+7)/3 等7 x r 8 NaN
现在，如果检查特定分组 (a=’x’, b=’r’) 的结果，会发现滚动平均值被正确地计算并对齐到相应的行。例如，如果 (a=’x’, b=’r’) 组的数据是 c=[1, 3, 4, 5, 8]，那么：
第一个和第二个元素（1, 3）的滚动平均为 NaN。第三个元素（4）的滚动平均是 (1+3+4)/3 = 2.666…第四个元素（5）的滚动平均是 (3+4+5)/3 = 4.0第五个元素（8）的滚动平均是 (4+5+8)/3 = 5.666…这些值会准确地出现在原始 DataFrame 中对应行的 ROLLING_MEAN_CORRECT 列中。
5. 注意事项与总结
索引对齐的重要性： 在 Pandas 中，当您尝试将一个 Series 或 DataFrame 赋值给另一个 DataFrame 的新列时，Pandas 会尝试通过索引进行对齐。如果索引不匹配，就会导致 TypeError 或数据错位。droplevel() 的应用场景： droplevel() 方法不仅适用于 groupby().rolling() 后的场景，任何时候您需要从多级索引中移除一个或多个级别以进行索引对齐时，它都是一个非常有用的工具。.values 的风险： 除非您明确知道自己在做什么，并且不关心索引信息，否则应谨慎使用 .values 将 Series 转换为 NumPy 数组。它会丢弃索引，可能导致数据在赋值时错位。性能考量： 对于非常大的数据集，链式操作可能会创建中间 Series。在大多数情况下，Pandas 会进行优化，但如果遇到性能瓶颈，可以考虑分步执行或使用 apply() 结合自定义函数（通常效率较低，除非操作复杂）。
通过理解 groupby().rolling() 操作如何产生多级索引，并掌握使用 droplevel() 进行索引调整的技巧，您可以有效地在 Pandas 中执行复杂的分组滚动统计，确保数据的准确性和代码的健壮性。
以上就是Pandas 分组滚动计算：解决索引不兼容与结果错位问题的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1382087.html
微信扫一扫 
支付宝扫一扫 
