本教程详细探讨了在pandas中进行dataframe合并时，如何处理关键列包含多值分隔符的场景。当传统的`pd.merge()`方法因精确匹配限制而失效时，本文提供了一种基于迭代和字符串包含判断的解决方案。通过构建查找字典和遍历列表，实现将一个dataframe中的单值与另一个dataframe中可能包含多个分隔符的值进行模糊匹配，并将相关信息映射回原始dataframe。
引言：传统合并的局限性与挑战
在数据分析中，使用Pandas进行DataFrame的合并（merge操作）是常见的任务。通常，我们通过指定一个或多个共享的键列（on参数）来实现精确匹配。然而，在实际数据处理中，经常会遇到一种特殊情况：一个DataFrame的键列包含单个值，而另一个DataFrame的对应键列可能包含多个值，这些值通常由特定分隔符（如分号、逗号）连接。例如，df1中有一个PD（产品ID）是2345，而df2中某个PD列的单元格是9045;4729;5392。此时，如果df1的2345需要匹配到df2中包含2345的任何单元格，传统的pd.merge()将无法直接实现这种“包含”或“模糊”匹配。
考虑以下数据结构示例：df1：| PDs || :– || 2345 || 2675 || … |
df2：| Number | PDs || :—– | :———— || 101 | 2345 || 102 | 2675 || 103 | 9045;4729;5392 || 104 | 3452 || … | |
我们的目标是，对于df1中的每个PD，查找df2中PDs列（可能包含分隔符）是否包含该PD，如果包含，则将df2中对应的Number映射回df1。直接使用df1.merge(df2[[‘Number’, ‘PDs’]], on=’PDs’)只能匹配df1的2345与df2的2345，而无法匹配到9045;4729;5392这种包含多值的单元格。
解决方案：基于迭代和字符串包含的模糊匹配
为了解决上述问题，我们可以采用一种迭代的方法，通过遍历并检查字符串包含关系来实现模糊匹配。
1. 准备示例数据
首先，我们创建两个示例DataFrame来模拟上述场景：
import pandas as pd# 模拟 df1data1 = {'PDs': [2345, 2675, 8706, 9999, 3452]}df1 = pd.DataFrame(data1)# 模拟 df2，包含单值和多值（分隔符）data2 = {'Number': [101, 102, 103, 104, 105], 'PDs': ['2345', '2675', '9045;4729;5392', '3452', '8706;1111']}df2 = pd.DataFrame(data2)print("df1:")print(df1)print("ndf2:")print(df2)
输出：
豆包大模型
字节跳动自主研发的一系列大型语言模型
834 查看详情
df1: PDs0 23451 26752 87063 99994 3452df2: Number PDs0 101 23451 102 26752 103 9045;4729;53923 104 34524 105 8706;1111
2. 构建查找字典
为了高效地在df2中查找匹配项，我们将df2的Number列作为键，PDs列作为值，创建一个字典。这样，我们可以通过df2的Number快速获取对应的PDs字符串。
# 从 df2 创建一个字典，键为 Number，值为 PDs# 注意：这里假设 Number 是唯一的标识符df2_lookup_dict = dict(zip(df2['Number'], df2['PDs']))print("ndf2 查找字典:")print(df2_lookup_dict)
输出：
df2 查找字典:{101: '2345', 102: '2675', 103: '9045;4729;5392', 104: '3452', 105: '8706;1111'}
3. 提取待匹配列表
将df1中需要进行匹配的PDs列转换为列表，以便于迭代。
# 将 df1 的 PDs 列转换为列表df1_pds_list = df1['PDs'].tolist()print("ndf1 PDs 列表:")print(df1_pds_list)
输出：
df1 PDs 列表:[2345, 2675, 8706, 9999, 3452]
4. 执行迭代匹配
这是解决方案的核心步骤。我们将遍历df1_pds_list中的每一个PD，然后对df2_lookup_dict中的每一个键值对进行检查。如果df1的PD（转换为字符串）包含在df2的PD字符串中，我们就记录下df2对应的Number。
# 用于存储匹配结果的列表matched_numbers = []# 遍历 df1 中的每个 PDfor df1_pd in df1_pds_list: found_match = False # 标记是否找到匹配 # 遍历 df2 的查找字典 for df2_number, df2_pds_str in df2_lookup_dict.items(): # 检查 df1 的 PD 是否包含在 df2 的 PD 字符串中 # 注意：需要将 df1_pd 转换为字符串进行比较，以防类型不匹配 if str(df1_pd) in df2_pds_str: matched_numbers.append(df2_number) found_match = True break # 找到匹配后跳出内层循环，避免重复匹配（如果一个df1_pd只对应一个df2_number） if not found_match: matched_numbers.append(None) # 如果没有找到匹配，则填充 None 或其他占位符print("n匹配到的 Number 列表:")print(matched_numbers)
输出：
匹配到的 Number 列表:[101, 102, 105, None, 104]
这里，9999没有在df2中找到任何匹配，所以对应的结果是None。
5. 整合结果到 df1
最后一步是将匹配到的Number列表作为新列添加到df1中。
# 将匹配结果添加到 df1 中df1['Matched_Number'] = matched_numbersprint("n最终 df1:")print(df1)
输出：
最终 df1: PDs Matched_Number0 2345 1011 2675 1022 8706 1053 9999 None4 3452 104
注意事项与优化
性能考量：
上述迭代方法对于小型到中型数据集是有效的。然而，对于包含数百万行的大型DataFrame，双层循环的性能可能会成为瓶颈。替代方案：df2预处理与explode： 如果df2的PDs列总是由分号分隔，可以先将其拆分成列表，然后使用df.explode()将其展平，创建出多行单值的DataFrame。之后，就可以使用标准的pd.merge()进行合并。这种方法通常更高效，但会增加df2的行数。apply结合str.contains： 可以对df1的每一行应用一个函数，该函数在df2的PDs列中查找包含关系。这比纯Python循环稍快，但仍然不是Pandas向量化操作的最佳实践。正则表达式： 如果匹配逻辑更复杂，可以使用正则表达式 (re模块) 结合 str.contains。
数据类型：
在进行字符串包含判断时，务必确保所有参与比较的值都是字符串类型。在示例中，我们使用了str(df1_pd)来确保df1的PD值被正确处理。
分隔符：
本教程假设分隔符是分号（;）。如果您的数据使用其他分隔符（如逗号,, 管道符|等），请在处理df2的PDs列时相应调整拆分逻辑（如果选择explode方法）。
多重匹配处理：
当前的解决方案中，break语句确保了df1中的一个PD只会匹配到df2中的第一个符合条件的Number。如果一个df1的PD可能匹配到df2中的多个Number，并且您需要获取所有匹配项（例如，将Matched_Number列存储为列表），则需要移除break语句，并将matched_numbers.append()修改为存储列表的逻辑（例如，matched_numbers.append([df2_number])并在找到多个时扩展）。
无匹配项处理：
当df1中的某个PD在df2中找不到任何匹配时，我们将其对应的Matched_Number设置为None。您可以根据业务需求选择其他占位符（如NaN、空字符串等）。
总结
在Pandas中处理包含分隔符的列进行模糊匹配合并是一个常见的需求，尤其当传统的pd.merge()无法满足“包含”而非“精确”匹配的场景时。本文提供了一种基于Python循环和字符串包含判断的直接解决方案，通过构建查找字典和迭代匹配，有效地将df1中的单值与df2中可能包含多值的单元格进行关联，并将相关信息映射回df1。虽然对于大规模数据，性能可能需要进一步优化，但该方法提供了一个清晰、易于理解和实现的基础方案。在实际应用中，应根据数据量、性能要求和匹配逻辑的复杂性，选择最合适的处理策略。
以上就是Pandas DataFrame模糊匹配合并：处理包含分隔符的列的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/595382.html
微信扫一扫 
支付宝扫一扫 
