本教程详细介绍了如何使用 pandas 对 dataframes 进行多列外连接（outer join）。通过 pd.dataframe.merge 方法结合 how=’outer’ 参数，以及 add_suffix 技巧处理列名冲突，实现基于多个共同列的合并，确保匹配项对齐，非匹配项以 nan 填充，从而生成结构清晰的合并结果。
在数据分析和处理中，经常需要将多个数据表（DataFrame）根据一个或多个共同的键进行合并。当需要保留所有源数据中的信息，即使某些行在另一个表中没有匹配项时，外连接（Outer Join）就成为了理想的选择。本教程将深入探讨如何使用 Pandas 的 merge 函数，基于多列进行外连接，并有效处理合并过程中的列名冲突及缺失值。
准备数据
首先，我们创建两个示例 DataFrame，它们都包含 level 和 title 两列。
import pandas as pdimport numpy as np# DataFrame 1data1 = { 'level': ['Level 0', 'Level 1', 'Level 1', 'Level 1', 'Level 2', 'Level 2', 'Level 3'], 'title': ['Effective', 'Evaluation', 'Ice Breaker', 'Fire', 'Introduction', 'Understanding', 'Connect']}df1 = pd.DataFrame(data1)print("DataFrame 1:")print(df1)print("n" + "="*30 + "n")# DataFrame 2data2 = { 'level': ['Level 0', 'Level 1', 'Level 1', 'Level 2', 'Level 2', 'Level 4'], 'title': ['Effective', 'Evaluation', 'Comedy', 'Introduction', 'Understanding', 'Connect']}df2 = pd.DataFrame(data2)print("DataFrame 2:")print(df2)
输出：
DataFrame 1: level title0 Level 0 Effective1 Level 1 Evaluation2 Level 1 Ice Breaker3 Level 1 Fire4 Level 2 Introduction5 Level 2 Understanding6 Level 3 Connect==============================DataFrame 2: level title0 Level 0 Effective1 Level 1 Evaluation2 Level 1 Comedy3 Level 2 Introduction4 Level 2 Understanding5 Level 4 Connect
核心方法：使用 merge 进行多列外连接
Pandas 的 merge 函数是实现 DataFrame 连接的核心工具。要基于多列进行外连接，我们需要关注以下几个关键参数：
how=’outer’: 指定连接类型为外连接，这意味着将包含左 DataFrame 和右 DataFrame 中的所有行。如果某一行在另一侧没有匹配项，则对应的列将填充 NaN（Not a Number）。left_on 和 right_on: 用于指定左右 DataFrame 中作为连接键的列。当基于多列连接时，这两个参数都应传入一个列名列表。
为了使合并后的结果更清晰，避免默认的 _x 和 _y 后缀，我们可以在合并前对其中一个 DataFrame 的列名进行重命名。这里，我们使用 add_suffix(‘_’) 方法给 df2 的所有列名添加 _ 后缀。
# 对df2的列名添加后缀，以区分合并后的列df2_suffixed = df2.add_suffix('_')# 执行多列外连接merged_df = df1.merge(df2_suffixed, how='outer', left_on=['level', 'title'], right_on=['level_', 'title_'])print("n合并结果 (使用 add_suffix):")print(merged_df)
输出：
合并结果 (使用 add_suffix): level title level_ title_0 Level 0 Effective Level 0 Effective1 Level 1 Evaluation Level 1 Evaluation2 Level 1 Ice Breaker NaN NaN3 Level 1 Fire NaN NaN4 Level 2 Introduction Level 2 Introduction5 Level 2 Understanding Level 2 Understanding6 Level 3 Connect NaN NaN7 NaN NaN Level 1 Comedy8 NaN NaN Level 4 Connect
在这个结果中，来自 df1 的列是 level 和 title，来自 df2 的列是 level_ 和 title_。如果某一行只存在于 df1 中，那么 level_ 和 title_ 将为 NaN；反之，如果只存在于 df2 中，则 level 和 title 将为 NaN。这种方式清晰地展示了两个 DataFrame 的对应关系和非匹配项。
进阶方法：直接指定 Series 作为连接键
另一种 merge 的用法是直接将 DataFrame 的 Series 对象作为 left_on 和 right_on 的值。这种方法在某些场景下，例如当你需要基于非列名而是 Series 内容进行复杂匹配时可能有用，但对于简单的多列连接，它通常会导致更多辅助列的生成。
# 直接使用 Series 作为连接键进行合并merged_df_advanced = df1.merge(df2, how='outer', left_on=[df1['level'], df1['title']], right_on=[df2['level'], df2['title']])# 默认情况下，merge 会为连接键生成 key_0, key_1 等列，# 并为重名的原始列添加 _x 和 _y 后缀print("n合并结果 (直接指定 Series 作为连接键):")print(merged_df_advanced)
输出：
合并结果 (直接指定 Series 作为连接键): key_0 key_1 level_x title_x level_y title_y0 Level 0 Effective Level 0 Effective Level 0 Effective1 Level 1 Evaluation Level 1 Evaluation Level 1 Evaluation2 Level 1 Ice Breaker Level 1 Ice Breaker NaN NaN3 Level 1 Fire Level 1 Fire NaN NaN4 Level 2 Introduction Level 2 Introduction Level 2 Introduction5 Level 2 Understanding Level 2 Understanding Level 2 Understanding6 Level 3 Connect Level 3 Connect NaN NaN7 Level 1 Comedy NaN NaN Level 1 Comedy8 Level 4 Connect NaN NaN Level 4 Connect
这种方法会创建额外的 key_0, key_1 等列来表示连接键，同时原始的 level 和 title 列会分别被重命名为 level_x, title_x（来自 df1）和 level_y, title_y（来自 df2）。虽然也能实现外连接，但通常需要额外的清理步骤来达到与前一种方法相似的输出结构。在需要对合并后的键进行排序时，这种方法可以配合 sort_values 使用：
以上就是Pandas DataFrame 多列外连接：高效合并与缺失值处理的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1380496.html
微信扫一扫 
支付宝扫一扫 
