本教程详细介绍了如何使用Pandas在两个DataFrame之间进行复杂的数据匹配与聚合操作。核心问题在于一个DataFrame的列包含店铺ID列表，而另一个DataFrame包含单个店铺的详细数据。我们将通过explode函数展开列表型列，然后利用merge和groupby操作，根据月份和店铺ID匹配数据，并最终计算出匹配店铺中的最小值，为处理复杂数据结构提供了高效解决方案。
引言与场景描述
在数据分析实践中，我们经常会遇到需要从一个数据源中根据多个条件提取信息，并将其关联到另一个数据源的场景。当其中一个数据源的关键匹配列包含列表（例如，一个订单可能关联多个商品ID，或者一个区域可能包含多个店铺ID）时，传统的直接合并操作会变得复杂。本教程将聚焦于一个具体场景：给定两个DataFrame，df1包含店铺的单月价值数据，df2包含店铺ID列表和月份。我们的目标是根据df2中的月份和店铺ID列表，从df1中找到所有匹配店铺的价值，并取其中的最小值作为df2的新列。
示例数据准备
为了演示这一过程，我们首先创建两个Pandas DataFrame作为示例数据：
import pandas as pd# 第一个DataFrame: df1 包含单个店铺的价值数据data1 = { 'store': [1, 1, 2, 2], 'value': [24, 28, 29, 0], 'month': [1, 2, 1, 2]}df1 = pd.DataFrame(data1)# 第二个DataFrame: df2 包含店铺ID列表和月份data2 = { 'store': [[1, 2, 3], [2]], 'month': [1, 2]}df2 = pd.DataFrame(data2)print("df1:")print(df1)print("ndf2:")print(df2)
输出的DataFrame如下：
df1: store value month0 1 24 11 1 28 22 2 29 13 2 0 2df2: store month0 [1, 2, 3] 11 [2] 2
我们的目标是为df2的每一行添加一个value列，其值为df1中对应月份和店铺ID列表里所有店铺价值的最小值。例如，对于df2的第一行 ([1, 2, 3], 1)：
店铺1，月份1 的价值是 24。店铺2，月份1 的价值是 29。店铺3，月份1 在 df1 中不存在。因此，min(24, 29) 应为 24。
核心解决方案：分步解析
解决这个问题的关键在于有效地处理df2中的列表型列，并将其与df1中的单个店铺数据进行匹配。我们将采用explode、merge和groupby的组合策略。
1. 预处理源数据 (df1)
在进行合并操作之前，为了确保数据的一致性，我们可以对df1进行预处理。如果df1中存在相同store和month组合下的多条记录，并且我们只关心其中的最小值，那么可以先进行聚合。在我们的示例中，df1的(store, month)组合是唯一的，但这是一个良好的实践。
# 确保df1中每个(store, month)组合只有一个最小值# 如果df1本身有重复的(store, month)对，此步骤会取其最小值df1_processed = df1.groupby(['store', 'month'], as_index=False)['value'].min()print("ndf1_processed:")print(df1_processed)
在这个特定示例中，df1_processed与df1内容相同，因为没有重复的(store, month)组合。
2. 展开目标数据中的列表 (df2)
df2中的store列是一个列表，这使得直接与df1进行合并变得困难。pd.DataFrame.explode()函数能够将列表或类列表的条目转换为单独的行，从而有效地“展开”DataFrame。在展开后，我们需要保留原始行的索引，以便后续聚合。
# 展开df2的'store'列，并将原始索引重置为一列df2_exploded = df2.explode('store').reset_index()print("ndf2_exploded:")print(df2_exploded)
df2_exploded的输出：
df2_exploded: index store month0 0 1 11 0 2 12 0 3 13 1 2 2
现在，df2_exploded中的store列已经转换为单个店铺ID，并且index列记录了它来源于df2的哪一行。
3. 合并数据帧
接下来，我们将展开后的df2_exploded与预处理过的df1_processed进行合并。合并的键是store和month。我们使用how=’left’确保df2_exploded中的所有行都被保留，即使在df1_processed中没有匹配项（例如，店铺3在月份1）。
# 将展开的df2与预处理的df1合并merged_df = df2_exploded.merge(df1_processed, on=['store', 'month'], how='left')print("nmerged_df:")print(merged_df)
merged_df的输出：
merged_df: index store month value0 0 1 1 24.01 0 2 1 29.02 0 3 1 NaN3 1 2 2 0.0
可以看到，对于原始df2的第一行（index为0），现在有三行数据，分别对应店铺1、2、3在月份1的价值。店铺3由于在df1中不存在，其value为NaN。
4. 聚合计算最终最小值
现在，我们需要回到原始df2的行级别，并为每行计算其匹配店铺价值的最小值。这可以通过再次使用groupby原始index列并对value列取最小值来实现。
# 根据原始索引聚合，并取每个原始行的最小值final_values = merged_df.groupby('index')['value'].min()print("nfinal_values:")print(final_values)
final_values的输出：
final_values:index0 24.01 0.0Name: value, dtype: float64
这里，index为0的行对应df2的第一行，其匹配的value有24.0、29.0和NaN，最小值为24.0。index为1的行对应df2的第二行，其匹配的value为0.0，最小值为0.0。
5. 更新目标DataFrame
最后一步是将计算出的最小值添加回原始的df2 DataFrame中。可以使用pd.DataFrame.assign()方法实现。
# 将计算出的最小值添加为df2的新列df2_final = df2.assign(value=final_values)print("ndf2_final:")print(df2_final)
df2_final的最终输出：
df2_final: store month value0 [1, 2, 3] 1 24.01 [2] 2 0.0
这正是我们期望的结果。
完整代码示例
将上述所有步骤整合到一起，形成一个完整的解决方案：
import pandas as pd# 示例数据data1 = {'store': [1, 1, 2, 2], 'value': [24, 28, 29, 0], 'month': [1, 2, 1, 2]}df1 = pd.DataFrame(data1)data2 = {'store': [[1, 2, 3], [2]], 'month': [1, 2]}df2 = pd.DataFrame(data2)# 1. 预处理df1，确保每个(store, month)组合只有一个最小值df1_processed = df1.groupby(['store', 'month'], as_index=False)['value'].min()# 2. 展开df2的'store'列，并保留原始索引df2_exploded = df2.explode('store').reset_index()# 3. 将展开的df2与预处理的df1合并merged_df = df2_exploded.merge(df1_processed, on=['store', 'month'], how='left')# 4. 根据原始索引聚合，并取每个原始行的最小值# 注意：NaN值在min()计算中会被忽略，这符合我们的需求final_values = merged_df.groupby('index')['value'].min()# 5. 将计算出的最小值添加为df2的新列df2_final = df2.assign(value=final_values)print("最终结果df2_final:")print(df2_final)
结果分析
最终的df2_final DataFrame准确地反映了我们的需求：
对于第一行 ([1, 2, 3], 1)，df1中店铺1在月份1的价值是24，店铺2在月份1的价值是29。店铺3在月份1没有记录。取有效值的最小值 min(24, 29) 得到24。对于第二行 ([2], 2)，df1中店铺2在月份2的价值是0。因此，最小值为0。
注意事项与总结
explode的效率: explode函数是处理列表型列的强大工具，它能将一个包含列表的行拆分成多行，极大地简化了后续的合并和聚合操作。对于大型数据集，explode通常比自定义循环或apply函数更高效。NaN值的处理: 在merge操作后，如果df2_exploded中的某个store在df1_processed中没有匹配项，那么合并后的value列将包含NaN。groupby().min()函数在计算最小值时会自动忽略NaN值，这恰好符合我们只考虑有效匹配值的需求。原始索引的重要性: reset_index()在explode之后是关键一步，它创建了一个新的index列来记录原始行的位置。这个index列在后续的groupby操作中用于将数据聚合回原始df2的行级别。数据类型: 在合并和聚合过程中，value列的数据类型可能会从整数变为浮点数（例如，24变为24.0），这是因为NaN（Not a Number）只能表示为浮点数类型。如果需要，可以在最终结果生成后进行类型转换。适用场景: 这种explode-merge-groupby-assign模式非常适合处理一个DataFrame的列包含多个ID，需要根据这些ID从另一个DataFrame中提取并聚合数据的场景。
通过本教程，您应该已经掌握了如何使用Pandas高效地处理包含列表型列的复杂数据匹配和聚合任务。
以上就是使用Pandas处理列表型列：跨DataFrame提取与聚合最小值的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1373781.html
微信扫一扫 
支付宝扫一扫 
