本教程深入探讨如何在Pandas中高效合并两个DataFrame，以实现对共有键的数据进行更新和扩展，同时将独有键的数据作为新行添加。我们将详细介绍使用 DataFrame.join(how=’outer’) 和 DataFrame.combine_first() 两种方法，并通过实例代码展示如何处理多列键，最终生成一个包含所有信息且结构清晰的合并结果。
1. 问题背景与目标
在数据分析和处理过程中，我们经常需要将来自不同来源的数据进行整合。一个常见的需求是，当两个dataframe拥有共同的标识键时，我们希望合并它们的数据，使得：
对于具有相同键的数据行，能够将第二个DataFrame中的新列添加到第一个DataFrame中，实现数据的扩展。对于只存在于其中一个DataFrame中的键，能够将其作为新行添加到最终的合并结果中，确保所有信息不丢失。
这种合并方式旨在创建一个全面的数据集，其中包含两个原始DataFrame的所有信息，通过共享键进行对齐，并用 NaN 值填充缺失的数据。
考虑以下两个示例DataFrame dfa 和 dfb：
import pandas as pdimport numpy as np# DataFrame Adata_a = { 'host': ['aa', 'bb', 'cc'], 'val1': [11, 22, 33], 'val2': [44, 55, 66]}dfa = pd.DataFrame(data_a)# DataFrame Bdata_b = { 'host': ['aa', 'bb', 'dd'], 'val1': [11, 22, 0], 'val3': [77, 88, 99]}dfb = pd.DataFrame(data_b)print("DataFrame A:")print(dfa)print("nDataFrame B:")print(dfb)
输出：
DataFrame A: host val1 val20 aa 11 441 bb 22 552 cc 33 66DataFrame B: host val1 val30 aa 11 771 bb 22 882 dd 0 99
我们期望的合并结果如下，其中 (‘host’, ‘val1’) 组合是共享键：
host val1 val2 val30 aa 11 44.0 77.01 bb 22 55.0 88.02 cc 33 66.0 NaN3 dd 0 NaN 99.0
可以看到，(‘aa’, 11) 和 (‘bb’, 22) 的数据被合并，dfa 独有的 (‘cc’, 33) 和 dfb 独有的 (‘dd’, 0) 也被保留为新行。
2. 方法一：使用 DataFrame.join(how=’outer’)
pandas.DataFrame.join() 方法提供了一种灵活的方式来合并两个DataFrame。当使用 how=’outer’ 参数时，它会执行外连接操作，确保所有在两个DataFrame中出现的键都会被包含在最终结果中。对于只存在于一个DataFrame中的键，相应缺失的数据将用 NaN 填充。
关键步骤：
设置索引： 由于我们的合并基于 host 和 val1 两列的组合，需要将它们设置为DataFrame的索引。join 方法默认基于索引进行操作。执行外连接： 使用 dfa.join(dfb, how=’outer’) 进行连接。重置索引： 合并完成后，将索引重新转换回普通列，以便于后续的数据处理。
示例代码：
# 定义用于合并的键cols_to_merge = ['host', 'val1']# 使用 set_index 将键列设置为索引，然后执行外连接，最后重置索引merged_df_join = dfa.set_index(cols_to_merge).join(dfb.set_index(cols_to_merge), how='outer').reset_index()print("n使用 DataFrame.join(how='outer') 的合并结果:")print(merged_df_join)
输出结果：
使用 DataFrame.join(how='outer') 的合并结果: host val1 val2 val30 aa 11 44.0 77.01 bb 22 55.0 88.02 cc 33 66.0 NaN3 dd 0 NaN 99.0
这种方法清晰地实现了我们期望的合并逻辑，尤其适用于需要全面保留所有键值对的场景。
3. 方法二：使用 DataFrame.combine_first()
pandas.DataFrame.combine_first() 方法提供了一种不同的合并策略。它会优先保留调用者DataFrame（即 dfa）中的非 NaN 值。对于 dfa 中为 NaN 的位置，它会尝试使用参数DataFrame（即 dfb）中对应位置的值进行填充。如果 dfb 中对应位置也是 NaN，则最终结果仍为 NaN。此方法在处理数据填充和合并时非常有用，尤其当一个DataFrame是主数据源，另一个是补充数据源时。
关键步骤：
设置索引： 同样，需要将 host 和 val1 列设置为DataFrame的索引，以便 combine_first 能正确地基于这些键进行对齐和合并。执行合并填充： 使用 dfa.combine_first(dfb)。由于 combine_first 是按元素级别的操作，它会尝试填充 dfa 中的缺失值。对于 dfb 中独有的行，dfa 对应位置视为完全缺失，因此会被 dfb 的值填充。重置索引： 合并完成后，将索引转换回普通列。
示例代码：
# 定义用于合并的键cols_to_merge = ['host', 'val1']# 使用 set_index 将键列设置为索引，然后执行 combine_first，最后重置索引merged_df_combine_first = dfa.set_index(cols_to_merge).combine_first(dfb.set_index(cols_to_merge)).reset_index()print("n使用 DataFrame.combine_first() 的合并结果:")print(merged_df_combine_first)
输出结果：
使用 DataFrame.combine_first() 的合并结果: host val1 val2 val30 aa 11 44.0 77.01 bb 22 55.0 88.02 cc 33 66.0 NaN3 dd 0 NaN 99.0
combine_first 在此场景下也能达到相同的效果，因为它本质上是在构建一个“完整”的DataFrame，其中 dfa 的数据优先，然后用 dfb 的数据来补充 dfa 中缺失的部分，包括 dfa 中不存在的行和列。
4. 两种方法比较与选择
DataFrame.join(how=’outer’)：优点： 语义清晰，直接表达了外连接的意图，即保留所有键并合并相关列。适用于需要明确指定连接类型（内连接、左连接、右连接、外连接）的场景。缺点： 如果两个DataFrame有同名但非键的列，join 会默认重命名这些列（例如 _x, _y 后缀），可能需要额外处理。DataFrame.combine_first()：优点： 适用于一个DataFrame作为“主”数据源，另一个作为“补充”数据源的场景。它会智能地填充 NaN 值，且不会因为非键列同名而自动重命名。缺点： 语义上更侧重于填充缺失值而非通用的连接操作，可能不如 join 或 merge 在表达连接意图上直接。
在处理本教程中描述的特定需求（合并共有键数据并添加独有键行）时，两种方法都能有效达成目标。选择哪种方法取决于个人偏好以及对代码语义的理解。通常，join(how=’outer’) 在表达“全面合并”的意图上更为直观。
5. 注意事项与最佳实践
多列键的处理： 当合并需要基于多列的组合时，务必使用 set_index([‘col1’, ‘col2’, …]) 将所有键列设置为索引，这是 join 和 combine_first 能够正确执行对齐操作的基础。NaN 值的理解： 合并结果中出现的 NaN 值表示在某个原始DataFrame中该位置没有对应的数据。在后续分析中，可能需要对这些 NaN 值进行填充、删除或特殊处理。性能考量： 对于非常大的数据集，索引操作 (set_index) 和合并操作都可能消耗较多内存和计算资源。在实际应用中，应根据数据规模和性能要求进行测试和优化。pd.merge() 的替代： 值得一提的是，pandas.merge() 函数是Pandas中最通用的合并函数，它也可以通过 how=’outer’ 参数实现类似的功能。例如：
# 使用 pd.merge 实现相同效果merged_df_merge = pd.merge(dfa, dfb, on=cols_to_merge, how='outer')print("n使用 pd.merge(how='outer') 的合并结果:")print(merged_df_merge)
merge 的优势在于可以直接指定 on 参数进行列合并，而无需先 set_index 再 reset_index，代码通常更简洁。本教程重点介绍了 join 和 combine_first 作为替代方案，但 merge 也是一个非常强大的工具。
6. 总结
本教程详细介绍了在Pandas中合并两个DataFrame的两种高级方法：DataFrame.join(how=’outer’) 和 DataFrame.combine_first()，以满足对共有键数据进行扩展并添加独有键行的需求。通过将关键列设置为索引，这两种方法都能有效地实现数据的全面整合，生成一个包含所有原始信息且结构清晰的DataFrame。理解它们的原理和适用场景，能够帮助您在数据处理任务中做出更合适的选择，从而高效地管理和分析数据。
以上就是Pandas DataFrame 高级合并技巧：处理共有与独有键的策略的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1372723.html
微信扫一扫 
支付宝扫一扫 
