pandas中实现数据分类汇总的核心工具是groupby()方法。1. 使用groupby()按一个或多个列分组数据；2. 通过.agg()方法定义聚合逻辑，如sum()、mean()、count()等；3. 可使用reset_index()或多级索引参数as_index=false来处理汇总后的多级索引结构；4. 面对复杂需求时，可结合lambda函数实现条件聚合，或通过自定义函数配合agg()或apply()完成更灵活的计算。这些工具和方法构成了pandas强大的分类汇总功能，能够满足多样化的数据分析需求。
Pandas里实现数据分类汇总，核心工具就是groupby()方法。它能让你根据一个或多个列的值把数据巧妙地分成若干组，然后对每一组独立地执行各种聚合操作，比如求和、计算平均值、计数等等。这就像是把一大堆散乱的乐高积木，按照颜色、形状分好类，再数数每种颜色有多少块，或者看看每种形状的积木总共有多高，非常实用。
Pandas的groupby()方法是实现数据分类汇总的基石。通常，我们会先用groupby()指定分组的键，然后紧接着使用.agg()方法来定义具体的聚合逻辑。
import pandas as pdimport numpy as np# 假设我们有一些销售数据data = { 'Region': ['East', 'West', 'East', 'North', 'West', 'East', 'North', 'West'], 'Product': ['A', 'B', 'A', 'C', 'B', 'A', 'C', 'D'], 'Sales': [100, 150, 120, 80, 200, 110, 90, 180], 'Quantity': [10, 15, 12, 8, 20, 11, 9, 18]}df = pd.DataFrame(data)# 简单的按区域汇总销售额regional_sales = df.groupby('Region')['Sales'].sum()print("按区域汇总销售额：n", regional_sales)# 也可以同时按多个维度分组，并进行多种聚合# 比如，按区域和产品类型，计算总销售额和平均销量multi_dim_summary = df.groupby(['Region', 'Product']).agg( TotalSales=('Sales', 'sum'), AverageQuantity=('Quantity', 'mean'))print("n按区域和产品汇总销售额与平均销量：n", multi_dim_summary)# 如果聚合逻辑更复杂，例如需要自定义函数，可以使用 .apply()# 比如，我们想计算每个区域内，销售额超过100的产品数量def count_high_sales_products(group): return (group['Sales'] > 100).sum()high_sales_count = df.groupby('Region').apply(count_high_sales_products)print("n每个区域销售额超过100的产品数量：n", high_sales_count)
聚合函数怎么选，才能切中要害？
选择合适的聚合函数，其实就是看你最终想从数据里“提炼”出什么信息。Pandas提供了非常丰富的内置聚合函数，覆盖了我们日常分析的绝大部分场景。
最常见的有：
sum()：计算总和，比如总销售额、总库存。mean()：计算平均值，比如平均客单价、平均响应时间。count()：计算非空值的数量，看某个类别有多少条记录。size()：计算组的大小，包括NaN值，这能告诉你每个分组有多少行。min() / max()：找出最小值或最大值，比如最低价、最高气温。median()：中位数，对异常值不那么敏感的中心趋势度量。std() / var()：标准差和方差，衡量数据的波动性。
当你需要同时进行多种聚合时，agg()方法就显得格外强大。你可以给它传入一个字典，键是新的列名，值是一个元组，元组里包含你想要聚合的列和聚合函数。这样输出的结果就非常清晰，避免了多层索引的麻烦。
# 还是用上面的df# 假设我们想看每个区域的总销售额、平均销量和产品种类数量comprehensive_summary = df.groupby('Region').agg( TotalSales=('Sales', 'sum'), AverageQuantity=('Quantity', 'mean'), ProductCount=('Product', 'nunique') # nunique计算唯一值的数量)print(comprehensive_summary)
这里nunique就非常巧妙，它能帮你快速统计每个区域有多少种不同的产品。选择聚合函数，关键在于你的分析目标：想看总量就sum，想看分布就mean或median，想看覆盖面就count或size。没有绝对的最佳选择，只有最适合你当前问题的那一个。
分类汇总后的多级索引，是福是祸？又该如何驯服它？
groupby()操作之后，一个很常见的情况就是结果DataFrame会带有多级索引（MultiIndex）。这在某些分析场景下，比如你需要进一步筛选或展示层级关系时，确实非常方便。它能清晰地展示数据是如何被层层分组的。
然而，在另一些情况下，特别是当你需要将汇总结果用于后续的合并、写入文件，或者直接作为扁平化表格展示时，多级索引可能会显得有点“碍事”。它让列的访问变得复杂，也可能不符合某些工具或数据库的导入要求。
驯服它的方法主要有两种：
reset_index()：这是最直接、最常用的方法。它会把所有索引层级都转换为普通的列，从而得到一个扁平化的DataFrame。你可以指定drop=True来丢弃旧的索引，或者不指定让它们变成新列。
# 承接上文的 multi_dim_summaryprint("原始多级索引汇总：n", multi_dim_summary)# 使用 reset_index() 将索引转换为列flattened_summary = multi_dim_summary.reset_index()print("n扁平化后的汇总：n", flattened_summary)
as_index=False：在groupby()的时候就直接告诉Pandas，别把分组键作为索引。这样，它会把分组键保留为普通列，直接输出一个扁平化的结果，省去了后续reset_index()的步骤。
# 再次按区域和产品类型分组，但这次不使用索引no_index_summary = df.groupby(['Region', 'Product'], as_index=False).agg( TotalSales=('Sales', 'sum'), AverageQuantity=('Quantity', 'mean'))print("n直接生成扁平化汇总（as_index=False）：n", no_index_summary)
选择哪种方式取决于你的习惯和具体需求。如果我一开始就知道我最终需要一个扁平的表格，我可能会倾向于直接用as_index=False。但如果我需要逐步探索数据，或者多级索引能更好地表达我的数据结构，那我就先让它保持多级索引，等到需要扁平化时再reset_index()。这就像是，你知道最终要吃面条，可以直接煮面，也可以先煮一大锅高汤，再捞出来放面。各有各的便利。
面对更复杂的聚合需求，例如条件聚合或自定义函数，Pandas还能怎么玩？
有时候，简单的sum()或mean()满足不了我们刁钻的需求。比如，我只想统计某个特定条件下才满足的销售额，或者需要一个完全定制的计算逻辑。这时候，Pandas依然能灵活应对。
条件聚合（Conditional Aggregation）：你可以在agg()内部结合布尔索引来实现条件聚合。这通常需要你传入一个具名聚合（named aggregation），然后在一个lambda函数中嵌入条件判断。
# 假设我们想计算每个区域中，只有销售额超过100的订单的总销售额conditional_sales = df.groupby('Region').agg( HighValueSales=('Sales', lambda x: x[x > 100].sum()), # 还可以计算高价值订单的数量 HighValueOrdersCount=('Sales', lambda x: (x > 100).sum()))print("n每个区域高价值订单的汇总：n", conditional_sales)
这里，lambda x: x[x > 100].sum()就是精髓。x代表分组后的Series（比如某个Region下的所有Sales值），我们对这个Series进行布尔索引，只选择大于100的值，然后再求和。这种方式非常简洁高效。
自定义函数（Custom Functions）：当你的聚合逻辑非常复杂，无法用简单的lambda表达式表达时，你可以定义一个普通的Python函数，然后将其传递给agg()或apply()。
传递给agg()：如果你的函数接受一个Series并返回一个标量值，那就可以直接用在agg()里。
# 比如，我们想计算每个区域销售额的中位数与平均值的差值def median_mean_diff(series): return series.median() - series.mean()diff_summary = df.groupby('Region').agg( SalesDiff=('Sales', median_mean_diff))print("n每个区域销售额中位数与平均值的差值：n", diff_summary)
使用apply()：apply()是groupby()操作中最灵活的。它会将每个分组作为一个完整的DataFrame（或Series）传递给你的函数。这意味着你可以在函数内部进行任何Pandas操作，甚至更复杂的逻辑，只要最终返回一个DataFrame、Series或标量。
# 假设我们想找出每个区域销售额最高的两个产品及其销售额def top_n_sales(group_df, n=2): return group_df.nlargest(n, 'Sales')[['Product', 'Sales']]top_products_by_region = df.groupby('Region').apply(top_n_sales, n=2)print("n每个区域销售额最高的两个产品：n", top_products_by_region)
apply()的强大之处在于，它给你的函数提供的是整个分组的上下文，而不仅仅是某一列。这使得你可以执行跨列的计算、复杂的过滤或排序，甚至返回一个结构完全不同的结果。不过，apply()通常比内置聚合函数或agg()的性能要差一些，因为它在Python循环中执行。所以，能用内置函数或agg()解决的，尽量优先考虑它们。但当逻辑实在太复杂时，apply()就是你的救星。
总之，Pandas的分类汇总功能，从简单的sum()到复杂的apply()，提供了一整套工具来帮助你深入挖掘数据。理解并灵活运用它们，数据分析的效率和深度都能得到显著提升。
以上就是Pandas中如何实现数据的分类汇总？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1366389.html
微信扫一扫 
支付宝扫一扫 
