Pandas的groupby()可按列分组数据并应用聚合函数如sum、mean等,支持多级分组、agg多种聚合、transform组内转换及apply自定义函数,默认排除NaN值,可用fillna填充,结合sort_values和head可获取每组前N条,transform还能将结果合并回原DataFrame。

Pandas 中使用
groupby()
方法可以轻松实现数据分组,然后配合聚合函数进行统计分析。这是一种非常强大的数据处理工具,能让你快速了解数据的不同维度。
解决方案
Pandas 的
groupby()
函数允许你根据一个或多个列的值对 DataFrame 进行分组。分组后,你可以对每个组应用聚合函数,例如
sum()
,
mean()
,
count()
,
min()
,
max()
等。
以下是一些常用的 Pandas 分组聚合操作示例:
立即学习“Python免费学习笔记(深入)”;
import pandas as pd# 创建一个示例 DataFramedata = {'Category': ['A', 'A', 'B', 'B', 'A', 'C', 'C'], 'Value': [10, 15, 20, 25, 12, 30, 35], 'City': ['Beijing', 'Shanghai', 'Beijing', 'Shanghai', 'Guangzhou', 'Shanghai', 'Guangzhou']}df = pd.DataFrame(data)# 按照 'Category' 列进行分组,并计算每组 'Value' 的总和grouped_sum = df.groupby('Category')['Value'].sum()print("按照 Category 分组求和:n", grouped_sum)# 按照 'Category' 列进行分组,并计算每组 'Value' 的平均值grouped_mean = df.groupby('Category')['Value'].mean()print("n按照 Category 分组求平均值:n", grouped_mean)# 按照 'Category' 和 'City' 列进行分组,并计算每组 'Value' 的总和grouped_multi = df.groupby(['Category', 'City'])['Value'].sum()print("n按照 Category 和 City 分组求和:n", grouped_multi)# 使用 agg 函数进行多种聚合操作grouped_agg = df.groupby('Category')['Value'].agg(['sum', 'mean', 'count'])print("n使用 agg 函数进行多种聚合操作:n", grouped_agg)# 对不同的列应用不同的聚合函数grouped_diff_agg = df.groupby('Category').agg({'Value': 'sum', 'City': 'nunique'})print("n对不同的列应用不同的聚合函数:n", grouped_diff_agg)# 使用 transform 进行组内转换df['Category_Mean'] = df.groupby('Category')['Value'].transform('mean')print("n使用 transform 进行组内转换:n", df)# 使用 apply 应用自定义函数def custom_function(x): return x.max() - x.min()grouped_apply = df.groupby('Category')['Value'].apply(custom_function)print("n使用 apply 应用自定义函数:n", grouped_apply)
Pandas 分组后如何处理缺失值 (NaN)?
在分组聚合操作中,如果数据包含缺失值 (NaN),
groupby()
默认会将 NaN 值排除在外。这意味着 NaN 值不会参与到聚合计算中。
排除 NaN (默认行为):
groupby()
默认跳过 NaN 值。 如果一个组内的所有值都是 NaN,那么聚合结果也会是 NaN。填充 NaN: 你可以在分组之前使用
fillna()
方法填充 NaN 值。例如,使用组内的平均值或中位数填充。
import pandas as pdimport numpy as npdata = {'Category': ['A', 'A', 'B', 'B', 'A'], 'Value': [10, np.nan, 20, 25, 12]}df = pd.DataFrame(data)# 默认行为:排除 NaNgrouped_sum = df.groupby('Category')['Value'].sum()print("排除 NaN:n", grouped_sum)# 填充 NaN 值 (使用组内平均值)df['Value'] = df.groupby('Category')['Value'].transform(lambda x: x.fillna(x.mean()))grouped_sum_filled = df.groupby('Category')['Value'].sum()print("n填充 NaN 后求和:n", grouped_sum_filled)
如何对分组后的数据进行排序,并获取每组的前 N 个值?
有时候,你需要对每个分组内的数据进行排序,然后提取每组的前 N 个值。 这在很多场景下都很有用,例如找出每个类别下销量最高的前几名产品。
import pandas as pddata = {'Category': ['A', 'A', 'A', 'B', 'B', 'B'], 'Value': [10, 15, 5, 20, 25, 18]}df = pd.DataFrame(data)# 按照 Category 分组,并对 Value 降序排序,获取每组的前 2 个值def top_n(df, n=2): return df.sort_values(by='Value', ascending=False).head(n)top_2 = df.groupby('Category').apply(top_n)print(top_2)# 如果想重置索引,可以这样做top_2 = df.groupby('Category').apply(top_n).reset_index(drop=True)print("n重置索引后:n", top_2)
分组聚合后,如何将结果合并回原始 DataFrame?
transform()
函数非常适合这种场景。 它可以将聚合后的结果广播回原始 DataFrame,保持索引对齐。
import pandas as pddata = {'Category': ['A', 'A', 'B', 'B', 'A'], 'Value': [10, 15, 20, 25, 12]}df = pd.DataFrame(data)# 计算每个 Category 的平均值,并将结果合并回原始 DataFramedf['Category_Mean'] = df.groupby('Category')['Value'].transform('mean')print(df)
这个方法避免了手动合并的麻烦,而且效率很高。
transform()
保持了 DataFrame 的结构,使得后续分析更加方便。
以上就是Python怎么用pandas对数据进行分组_pandas DataFrame数据分组聚合操作的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1371840.html
微信扫一扫
支付宝扫一扫