本教程详细阐述了如何使用Pandas在两个DataFrame之间进行数据操作，以实现基于键匹配和出现频率的数据值拆分与合并。核心方法是首先计算主DataFrame中每个键的出现次数，然后将另一个DataFrame中对应键的值按这些频率进行标准化（除法），最后通过左连接将标准化后的值合并回主DataFrame，从而有效地将聚合值按比例分配到每个匹配的记录上。
问题场景描述
在数据分析和处理中，我们经常会遇到这样的需求：有两个dataframe，一个包含重复的键值（例如，订单明细表中的产品id），另一个包含每个唯一键的汇总数据（例如，产品库存或总销售额）。现在，我们希望将汇总dataframe中的值根据键在明细dataframe中出现的次数进行平均分配或拆分，并将这些拆分后的值合并回明细dataframe中。
考虑以下两个示例DataFrame：
DataFrame 1 (df1): 包含重复的id，代表需要分配的记录。
ABACAAC
DataFrame 2 (df2): 包含唯一的id以及与这些id相关的聚合数据。
A40010020B200800C600800
我们期望的输出结果是：对于df1中的每一行，如果其id在df2中有对应值，则df2中Col1, Col2, Col3的值应根据该id在df1中出现的总次数进行平均分配。例如，id ‘A’在df1中出现了4次，在df2中Col1为400，那么每个id ‘A’对应的Col1值应为 400 / 4 = 100。
期望输出：
A100255B200800A100255C300400A100255A100255C300400
核心思路与步骤
解决此问题的关键在于利用Pandas的强大功能，包括value_counts()、div()和merge()。具体步骤如下：
计算键的出现频率： 统计df1中每个id出现的次数。标准化DataFrame 2： 将df2中的数据列根据步骤1中计算出的频率进行除法运算。合并数据帧： 将标准化后的df2与原始df1进行左连接，以获取最终结果。
1. 准备数据
首先，我们创建示例DataFrame：
TeemIp – IPAM and DDI solution
TeemIp是一个免费、开源、基于WEB的IP地址管理（IPAM）工具，提供全面的IP管理功能。它允许您管理IPv4、IPv6和DNS空间：跟踪用户请求，发现和分配IP，管理您的IP计划、子网空间、区域和DNS记录，符合最佳的DDI实践。同时，TeemIp的配置管理数据库（CMDB）允许您管理您的IT库存并将您的配置项（CIs）与它们使用的IP关联起来。项目源代码位于https://github.com/TeemIP
10 查看详情
import pandas as pdimport numpy as np# DataFrame 1data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}df1 = pd.DataFrame(data1)# DataFrame 2data2 = {'id': ['A', 'B', 'C'], 'Col1': [400, 200, 600], 'Col2': [100, np.nan, 800], # 使用np.nan表示空值 'Col3': [20, 800, np.nan]}df2 = pd.DataFrame(data2)print("原始 df1:")print(df1)print("n原始 df2:")print(df2)
2. 计算键的出现频率
使用value_counts()方法可以轻松获取df1中id列的每个唯一值的出现次数。
id_counts = df1['id'].value_counts()print("nid 在 df1 中的出现频率:")print(id_counts)# 输出示例:# A 4# C 2# B 1# Name: id, dtype: int64
3. 标准化DataFrame 2
这是实现值拆分的关键一步。我们将df2的id列设置为索引，然后使用div()方法将其数据列除以id_counts。axis=0确保按行（即按id）进行除法。
# 将df2的'id'列设为索引，以便与id_counts对齐df2_indexed = df2.set_index('id')# 将df2的数据列除以对应的id出现频率# Pandas会自动根据索引（id）进行对齐df2_standardized = df2_indexed.div(id_counts, axis=0)print("n标准化后的 df2:")print(df2_standardized)# 输出示例:# Col1 Col2 Col3# id# A 100.0 25.0 5.0# B 200.0 NaN 800.0# C 300.0 400.0 NaN
4. 合并数据帧
最后一步是将标准化后的df2_standardized与原始df1进行合并。为了保留df1的原始行顺序和索引信息，我们通常会先重置df1的索引，进行合并后再恢复。
# 为了在合并后保留df1的原始索引顺序，先reset_index()# 然后进行左连接，将标准化后的数据合并到df1# 最后通过set_index().reindex()恢复原始索引和顺序result_df = (df1.reset_index() # 保存原始索引 .merge(df2_standardized, on='id', how='left') .set_index('index') # 恢复原始索引 .reindex(df1.index) # 确保顺序与df1完全一致 )print("n最终结果 DataFrame:")print(result_df)
完整代码示例
将上述步骤整合到一起，得到简洁高效的解决方案：
import pandas as pdimport numpy as np# 1. 准备数据data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}df1 = pd.DataFrame(data1)data2 = {'id': ['A', 'B', 'C'], 'Col1': [400, 200, 600], 'Col2': [100, np.nan, 800], 'Col3': [20, 800, np.nan]}df2 = pd.DataFrame(data2)# 2. 计算id在df1中的出现频率，并标准化df2# df2.set_index('id') 将id列设为索引# .div(df1['id'].value_counts(), axis=0) 将df2的数据列按id出现频率进行除法# axis=0 表示按行（即按索引id）进行对齐和除法df2_standardized = df2.set_index('id').div(df1['id'].value_counts(), axis=0)# 3. 合并数据帧# df1.reset_index() 暂时保存df1的原始索引，以便后续恢复# .merge(..., on='id', how='left') 执行左连接，基于'id'合并标准化后的数据# .set_index('index').reindex(df1.index) 恢复原始索引并确保行顺序与df1一致output_df = (df1.reset_index() .merge(df2_standardized, on='id', how='left') .set_index('index').reindex(df1.index) )print("最终输出:")print(output_df)
输出结果:
最终输出: id Col1 Col2 Col30 A 100.0 25.0 5.01 B 200.0 NaN 800.02 A 100.0 25.0 5.03 C 300.0 400.0 NaN4 A 100.0 25.0 5.05 A 100.0 25.0 5.06 C 300.0 400.0 NaN
注意事项与最佳实践
how=’left’ 合并： 使用左连接（how=’left’）可以确保df1中的所有行都被保留，即使某些id在df2中没有对应项。对于df2中不存在的id，合并后的相应数据列将填充NaN。处理 NaN 值： 如果df2中存在空值（如Col2中id ‘B’对应的空值），经过除法运算后仍然会是NaN。这通常是符合预期的行为。如果需要填充这些NaN，可以在合并后使用fillna()方法。索引管理： reset_index()、set_index()和reindex()的组合使用是为了确保合并后的DataFrame不仅包含正确的数据，而且其行索引和顺序与原始df1完全一致，这对于后续的数据处理或分析非常重要。性能考量： 对于非常大的DataFrame，Pandas的这些操作通常是高度优化的。value_counts()和div()是基于C语言实现的，效率很高。merge()操作也经过了优化。然而，如果df1或df2的规模达到数百万甚至上亿行，可能需要考虑内存使用和更高级的优化策略。通用性： 这种方法不仅适用于单个数据列，而是可以自动应用于df2中所有非id的数据列，提供了很高的通用性。
总结
本教程展示了一种高效且灵活的Pandas解决方案，用于根据键的出现频率将一个DataFrame中的值智能地拆分并合并到另一个DataFrame中。通过结合value_counts()统计频率、set_index()和div()进行标准化，以及merge()进行数据整合，我们能够轻松处理复杂的数据分配需求。掌握这种模式对于进行高级数据预处理和特征工程至关重要。
以上就是Pandas DataFrame：基于键匹配与计数实现数据值智能拆分与合并的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/853690.html
微信扫一扫 
支付宝扫一扫 
