在pandas中实现多级分组聚合的核心方法是使用groupby()并传入多个列名列表，随后调用聚合函数。1. 创建或加载包含多个分类列和数值列的数据；2. 使用groupby([‘列名1’, ‘列名2’])指定多级分组键；3. 通过sum()、mean()等函数进行统一聚合，或使用agg()方法实现更灵活的聚合逻辑，如对不同列应用不同函数或自定义函数；4. 聚合结果可通过reset_index()扁平化索引、unstack()进行数据透视，或使用loc进行层次化数据选择，以便后续分析。
Pandas中实现数据的多级分组聚合，核心在于
groupby()
方法。你只需将需要作为分组依据的多个列名以列表的形式传递给它，然后链式调用各种聚合函数，如
sum()
、
mean()
、
count()
，或者使用更灵活的
agg()
方法来应用多种聚合操作。这种方式能让你从不同维度、不同层级深入挖掘数据，发现单层分组难以察觉的模式和洞察。
解决方案
多级分组聚合的核心步骤包括：
创建或加载数据： 准备一个包含需要分析的多个分类列和数值列的DataFrame。指定多级分组键： 将作为分组依据的列名放入一个Python列表中，传递给
df.groupby()
。选择聚合列并应用聚合函数： 在
groupby
对象上直接调用聚合函数（如
.sum()
、
.mean()
），或者使用
.agg()
方法进行更复杂的聚合操作。
这里是一个具体的例子：
假设我们有一个销售数据，包含区域（Region）、产品类别（Product_Category）、销售额（Sales）和数量（Quantity）。我们想按区域和产品类别来统计总销售额和平均销售数量。
import pandas as pdimport numpy as np# 模拟数据data = { 'Region': ['North', 'South', 'North', 'East', 'South', 'North', 'East', 'West', 'North', 'South'], 'Product_Category': ['Electronics', 'Clothing', 'Electronics', 'Books', 'Electronics', 'Books', 'Clothing', 'Electronics', 'Books', 'Clothing'], 'Sales': [1200, 800, 1500, 300, 900, 450, 600, 1000, 700, 550], 'Quantity': [5, 3, 7, 2, 4, 3, 2, 5, 4, 3]}df = pd.DataFrame(data)# 多级分组并聚合# 方法一：直接调用聚合函数（适用于所有数值列应用相同聚合）# grouped_df_simple = df.groupby(['Region', 'Product_Category']).sum()# print("简单聚合结果:n", grouped_df_simple)# 方法二：使用agg()进行更灵活的聚合# 针对特定列应用不同函数，并可以重命名结果列grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg( total_sales=('Sales', 'sum'), # 计算销售额总和，并命名为total_sales average_quantity=('Quantity', 'mean'), # 计算数量平均值，并命名为average_quantity num_transactions=('Sales', 'count') # 计算每个组的交易次数)print("复杂聚合结果:n", grouped_df_complex)# 如果想对所有数值列应用多个聚合函数# grouped_all_multi_agg = df.groupby(['Region', 'Product_Category']).agg(['sum', 'mean', 'count'])# print("n所有数值列多函数聚合结果:n", grouped_all_multi_agg)
这段代码首先创建了一个示例DataFrame。然后，通过
df.groupby(['Region', 'Product_Category'])
指定了“区域”和“产品类别”作为两级分组的依据。接着，
agg()
方法被用来定义具体的聚合操作：计算每个组的总销售额（
total_sales
）、平均销售数量（
average_quantity
）以及交易次数（
num_transactions
）。这种方式不仅灵活，还能清晰地为聚合后的列命名。
为什么常规的单层分组聚合无法满足复杂分析需求？
我个人在数据探索时，就经常发现，单一维度的聚合往往只是冰山一角，真正有价值的洞察，往往藏在多维度的交叉审视里。试想一下，如果我只按“区域”来统计总销售额，我能知道哪个区域卖得最好，但却无法得知在这个区域里，具体是哪类产品贡献了大部分销售，或者哪些产品表现不佳。这种信息缺失，就导致了决策上的盲区。
单层分组就像你只看一张地图的某个局部，而多级分组则提供了不同缩放级别的视角。比如，你可能发现“北方”区域的总销售额很高，这听起来不错。但如果进一步按“产品类别”分组，你可能会惊奇地发现，北方区域的销售额主要是由“电子产品”贡献的，而“图书”类别在这个区域的销售却非常惨淡。这种细致入微的发现，是单层聚合无法提供的。它揭示了数据背后的层次结构和更深层次的业务问题，比如北方区域的图书销售策略可能需要调整，或者电子产品有更大的市场潜力。这种层次化的信息，是构建复杂业务模型、进行精准营销或优化供应链的关键。
如何在多级分组中应用不同的聚合函数或自定义聚合逻辑？
这就像你在厨房里做菜，不是所有食材都只用一种烹饪方法，有些需要蒸，有些需要炒，聚合也是如此，得按需定制。Pandas的
agg()
方法在这方面提供了极大的灵活性。你可以针对不同的列应用不同的聚合函数，甚至对同一列应用多个函数，或者定义你自己的聚合逻辑。
为不同列应用不同聚合函数：这是最常见的需求。比如，我们想看每个区域-产品组合的总销售额和平均数量。
# 继续使用之前的dfagg_result = df.groupby(['Region', 'Product_Category']).agg( total_sales=('Sales', 'sum'), avg_quantity=('Quantity', 'mean'))print("n不同列应用不同函数:n", agg_result)
对同一列应用多个聚合函数：有时候，我们想从多个角度审视一个指标。例如，除了总销售额，我们还想知道每个分组的销售额最大值和最小值。
multi_func_on_one_col = df.groupby(['Region', 'Product_Category']).agg( sales_sum=('Sales', 'sum'), sales_max=('Sales', 'max'), sales_min=('Sales', 'min'))print("n同一列应用多个函数:n", multi_func_on_one_col)
或者更简洁地，直接传递函数列表：
multi_func_list = df.groupby(['Region', 'Product_Category'])['Sales'].agg(['sum', 'mean', 'max'])print("n对单列直接应用函数列表:n", multi_func_list)
使用自定义聚合函数：如果Pandas内置的聚合函数无法满足你的需求，你可以定义自己的Python函数，并将其传递给
agg()
。这个函数会接收一个Series作为输入（即每个分组的某列数据），并返回一个单一值。
# 定义一个自定义函数，例如计算销售额的标准差与平均值的比率def sales_variation_ratio(series): if series.mean() == 0: return 0 return series.std() / series.mean()custom_agg_result = df.groupby(['Region', 'Product_Category']).agg( total_sales=('Sales', 'sum'), sales_ratio=('Sales', sales_variation_ratio) # 使用自定义函数)print("n使用自定义聚合函数:n", custom_agg_result)
这种灵活性使得
agg()
成为处理复杂聚合任务的利器，它远不止是简单的求和或求平均。
多级分组聚合后如何进行数据透视或进一步的层次化分析？
处理完多级聚合的结果，我常会发现，原始的MultiIndex虽然强大，但视觉上并不总是那么直观。这时候，透视一下或者干脆扁平化，往往能让数据“说话”更清晰。聚合后的DataFrame通常会带有一个MultiIndex（多级索引），这在进行后续的层次化分析时非常有用。
扁平化索引：
reset_index()
这是最常用的操作之一。它将MultiIndex转换为普通的列，使DataFrame回到一个更“平坦”的结构，方便导出到CSV或进行其他非层次化的操作。
# 假设我们有之前的grouped_df_complex# grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg(# total_sales=('Sales', 'sum'),# average_quantity=('Quantity', 'mean'),# num_transactions=('Sales', 'count')# )flattened_df = grouped_df_complex.reset_index()print("n扁平化后的DataFrame:n", flattened_df)
这会把
Region
和
Product_Category
从索引变成普通的数据列。
数据透视：
unstack()
当你的MultiIndex结果需要进行交叉表式的展示时，
unstack()
就显得非常有用。它能将MultiIndex的一个或多个级别“旋转”成列。
# 将Product_Category从索引级别旋转到列pivoted_df = grouped_df_complex.unstack(level='Product_Category')print("n透视后的DataFrame (unstack):n", pivoted_df)# unstack后，列名会变成MultiIndex，可以进一步扁平化# pivoted_df.columns = ['_'.join(col).strip() for col in pivoted_df.columns.values]# print("n透视并扁平化列名:n", pivoted_df)
unstack()
操作会将
Product_Category
的每个唯一值变成新的列名，非常适合制作汇总表格。注意，
unstack()
后，列名本身也可能变成MultiIndex，这需要根据后续分析需求进行处理（例如，使用列表推导式来扁平化列名）。
层次化选择数据：
loc
与切片即使不扁平化或透视，MultiIndex也允许你进行非常精细的层次化数据选择。
# 选择某个特定区域的所有产品类别数据north_data = grouped_df_complex.loc['North']print("n选择'North'区域的数据:n", north_data)# 选择某个特定区域的特定产品类别数据north_electronics_data = grouped_df_complex.loc[('North', 'Electronics')]print("n选择'North'区域'Electronics'类别的数据:n", north_electronics_data)# 使用切片选择多个区域或产品类别（需要排序索引）# grouped_df_complex_sorted = grouped_df_complex.sort_index()# print("n排序后的数据（切片需要）:n", grouped_df_complex_sorted)# slice_data = grouped_df_complex_sorted.loc[('North':'South', 'Books':'Electronics'), :]# print("n切片选择数据:n", slice_data)
通过这些操作，你可以在保持数据层次结构的同时，灵活地展现和分析多级分组聚合的结果，为后续的数据可视化或更深层的统计建模打下基础。
以上就是Pandas中如何实现数据的多级分组聚合？复杂分析技巧的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1366581.html
微信扫一扫 
支付宝扫一扫 
