本文详细介绍了如何在Pandas中利用`groupby`结合`agg`方法对多个数据列执行自定义聚合操作。通过定义一个通用的字符串连接函数，并结合字典推导式，可以高效且灵活地对DataFrame中除分组键外的所有指定列进行聚合，例如将数值列表转换为逗号分隔的字符串。教程提供了完整的代码示例，并强调了这种方法在处理大量变量时的实用性和可扩展性，同时提示了`agg`方法在结合其他内置函数时的灵活性。
Pandas groupby 多列聚合与自定义函数应用
在数据分析中，我们经常需要根据一个或多个分组键（Group Key）对DataFrame中的其他列进行聚合操作。Pandas的groupby方法提供了强大的功能来完成这项任务。当聚合逻辑比较复杂，例如需要将每个组内某一列的所有值连接成一个字符串时，我们需要结合自定义函数。本教程将详细介绍如何使用groupby和agg方法，对DataFrame中的多个列应用自定义聚合函数。
1. 问题场景：单列聚合的局限性
假设我们有一个DataFrame，包含Group、Value和Qty等列。我们的目标是根据Group列进行分组，然后将每个组内Value和Qty列的所有值分别连接成一个逗号分隔的字符串。
以下是初始DataFrame的示例：
import pandas as pd# 示例DataFramedata = { 'Group': ['A', 'A', 'B', 'B', 'A', 'B'], 'Value': [1, 2, 3, 4, 5, 6], 'Qty': [100, 202, 403, 754, 855, 1256]}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
如果只针对单列进行聚合，例如Value列，我们可能会使用apply方法：
# 单列聚合示例result_single_column = df.groupby('Group')['Value'].apply(lambda x: ', '.join(map(str, x))).reset_index()print("n单列'Value'聚合结果:")print(result_single_column)
这种方法虽然有效，但当需要聚合的列有多个时（例如本例中的Value和Qty，甚至更多），逐一应用会变得非常繁琐且效率低下。
2. 定义自定义聚合函数
为了实现多列的自定义聚合，首先我们需要定义一个通用的聚合函数。在本例中，我们希望将Series中的所有元素转换为字符串并用逗号连接起来。
def concatenate_with_comma(series): """ 将Pandas Series中的所有元素转换为字符串，并用逗号连接。 """ return ', '.join(map(str, series))
这个函数接收一个Pandas Series作为输入，然后使用map(str, series)将Series中的每个元素都转换为字符串，最后通过’, ‘.join()将这些字符串连接起来。
3. 应用自定义函数到多列聚合
Pandas的groupby对象提供了一个agg()方法，它允许我们对多个列应用不同的聚合函数，或者对所有指定列应用同一个函数。
要对除分组键以外的所有列应用concatenate_with_comma函数，我们可以使用字典推导式来动态构建agg方法的参数：
# 对多列应用自定义聚合函数# 筛选出除'Group'列之外的所有列columns_to_aggregate = [col for col in df.columns if col != 'Group']# 构建聚合字典：将每个待聚合列映射到自定义函数aggregation_dict = {col: concatenate_with_comma for col in columns_to_aggregate}# 执行多列聚合aggregated_data = df.groupby('Group').agg(aggregation_dict)print("n多列聚合结果:")print(aggregated_data)
代码解析：
[col for col in df.columns if col != ‘Group’]: 这一行代码动态地获取了DataFrame中除了Group列之外的所有列名。这种方法在实际数据集中拥有大量变量时非常实用，避免了手动列出所有列名。{col: concatenate_with_comma for col in columns_to_aggregate}: 这是一个字典推导式，它为每个待聚合的列（Value, Qty）创建了一个键值对，其中键是列名，值是我们要应用的自定义函数concatenate_with_comma。df.groupby(‘Group’).agg(aggregation_dict): agg方法接收这个字典作为参数，然后对每个分组中的相应列应用指定的函数。
4. 完整示例代码
以下是整合了所有步骤的完整代码，可以直接运行：
import pandas as pd# 1. 示例DataFramedata = { 'Group': ['A', 'A', 'B', 'B', 'A', 'B'], 'Value': [1, 2, 3, 4, 5, 6], 'Qty': [100, 202, 403, 754, 855, 1256]}df = pd.DataFrame(data)print("原始DataFrame:")print(df)# 2. 定义自定义聚合函数def concatenate_with_comma(series): """ 将Pandas Series中的所有元素转换为字符串，并用逗号连接。 """ return ', '.join(map(str, series))# 3. 对多列应用自定义聚合函数# 筛选出除'Group'列之外的所有列columns_to_aggregate = [col for col in df.columns if col != 'Group']# 构建聚合字典aggregation_dict = {col: concatenate_with_comma for col in columns_to_aggregate}# 执行多列聚合aggregated_data = df.groupby('Group').agg(aggregation_dict)print("n多列聚合结果:")print(aggregated_data)
输出结果：
原始DataFrame: Group Value Qty0 A 1 1001 A 2 2022 B 3 4033 B 4 7544 A 5 8555 B 6 1256多列聚合结果: Value QtyGroup A 1, 2, 5 100, 202, 855B 3, 4, 6 403, 754, 1256
5. 注意事项与灵活性
数据类型转换： 在concatenate_with_comma函数中，map(str, series)是关键。它确保了即使Series中包含数值类型（如整数或浮点数），也能正确地转换为字符串再进行连接，避免了类型错误。灵活性： agg方法非常灵活。除了自定义函数，你还可以传入Pandas或NumPy的内置聚合函数（如’sum’, ‘mean’, ‘min’, ‘max’, ‘count’等）。不同列应用不同函数： 如果需要对不同列应用不同的聚合函数，只需在aggregation_dict中为相应的列指定不同的函数即可。例如：
# 示例：对Value求和，对Qty进行字符串连接mixed_aggregation = df.groupby('Group').agg({ 'Value': 'sum', 'Qty': concatenate_with_comma})print("n混合聚合结果:")print(mixed_aggregation)
单列应用多个函数： 甚至可以对同一列应用多个聚合函数，只需将函数列表作为值：
# 示例：对Value求和与均值multi_func_on_col = df.groupby('Group').agg( Value_sum=('Value', 'sum'), Value_mean=('Value', 'mean'))print("n单列多函数聚合结果:")print(multi_func_on_col)
这种命名元组（named aggregation）的语法在Pandas 0.25及以上版本中可用，可以为输出列指定新的名称。
总结
通过定义一个通用的自定义聚合函数，并结合groupby().agg()方法以及字典推导式，我们可以高效且优雅地解决Pandas中多列聚合的复杂需求。这种方法不仅代码简洁，而且具有高度的可扩展性，能够轻松应对包含大量变量的数据集，是进行高级数据转换和汇总的强大工具。掌握agg方法的灵活运用，将大大提升你在Pandas中的数据处理能力。
以上就是使用Pandas groupby 对多列进行自定义聚合的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1380408.html
微信扫一扫 
支付宝扫一扫 
