本文详细介绍了如何使用pandas在dataframe中识别并标记成对行的匹配状态。通过将源数据和目标数据分离，并利用 `pd.merge` 的内连接功能，我们可以高效地找出完全匹配的行对，进而为源行标记“通过”或“失败”状态，最终生成结构清晰、易于分析的结果。
在数据处理和分析中，我们经常会遇到需要比较两组相关数据以确定它们之间一致性的场景。例如，在审计、数据校验或版本比对等任务中，我们可能拥有“源”(Source)数据和“目标”(Target)数据，它们以成对的形式存在于同一个DataFrame中。我们的目标是判断每一对数据是否匹配，并在DataFrame中添加一个“Result”列来标记其状态为“Pass”（通过）或“Fail”（失败）。
1. 理解问题：数据配对与匹配判断
假设我们有一个DataFrame，其中包含交替出现的“Source”和“Target”行，每两行构成一个逻辑上的数据对。我们需要根据指定列的值来判断这对数据是否完全匹配。
原始数据结构示例：
1SourceA10X2TargetA10X3SourceB20Y4TargetB20Y5SourceC30Z6TargetD30Z
期望的输出结果：
1SourcePassA10X2TargetA10X3SourcePassB20Y4TargetB20Y5SourceFailC30Z6TargetD30Z
从期望结果可以看出，“Result”列只在“Source”行显示，且当“Source”和“Target”行的Col1、Col2、Col3全部匹配时为“Pass”，否则为“Fail”。
2. 数据准备与核心思路
处理这类问题，Pandas库提供了强大的数据操作能力。核心思路是利用DataFrame的合并（merge）功能来高效地识别匹配项。
步骤概述：
创建示例DataFrame： 模拟实际数据。分离源数据与目标数据： 将原始DataFrame拆分为独立的“Source”和“Target”DataFrame。识别“通过”的配对： 使用 pd.merge 的内连接（how=’inner’）来找出在指定比较列上完全一致的源-目标行对。标记“失败”的配对： 任何未在内连接结果中出现的源行，即被视为“失败”。整合结果： 将匹配状态添加回原始DataFrame，并调整列顺序。
示例数据创建：
绘蛙
电商场景的AI创作平台，无需高薪聘请商拍和文案团队，使用绘蛙即可低成本、批量创作优质的商拍图、种草文案
175 查看详情
import pandas as pddata = { 'Obs': [1, 2, 3, 4, 5, 6], 'Dataset': ['Source', 'Target', 'Source', 'Target', 'Source', 'Target'], 'Col1': ['A', 'A', 'B', 'B', 'C', 'D'], 'Col2': [10, 10, 20, 20, 30, 30], 'Col3': ['X', 'X', 'Y', 'Y', 'Z', 'Z']}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
3. 实现匹配逻辑
我们将通过以下详细步骤实现上述逻辑。
3.1 分离源数据与目标数据
首先，根据Dataset列将DataFrame拆分为source_df和target_df。为了避免修改原始DataFrame，我们使用.copy()。
# 定义用于比较的列comparison_cols = ['Col1', 'Col2', 'Col3']# 分离Source和Target数据source_df = df[df['Dataset'] == 'Source'].copy()target_df = df[df['Dataset'] == 'Target'].copy()# 为了能将匹配结果链接回原始的Source行，我们为source_df添加一个临时ID# 这里直接使用原始的'Obs'作为唯一标识source_df['source_obs'] = source_df['Obs']print("n分离后的Source DataFrame:")print(source_df)print("n分离后的Target DataFrame:")print(target_df)
3.2 识别“通过”(Pass)的配对
使用 pd.merge 对 source_df 和 target_df 进行内连接。内连接只会保留在 comparison_cols 中所有值都匹配的行。
# 执行内连接，找出所有匹配的Source-Target对# merge操作将基于comparison_cols找到完全匹配的行merged_pass = pd.merge( source_df, target_df, on=comparison_cols, how='inner', suffixes=('_source', '_target') # 为可能重复的列名添加后缀)print("n内连接结果 (匹配的Source-Target对):")print(merged_pass[['source_obs', 'Col1', 'Col2', 'Col3']])
merged_pass DataFrame现在包含了所有在Col1, Col2, Col3上完全匹配的源行及其对应的目标行信息。source_obs列记录了这些匹配源行的原始Obs值。
3.3 标记“失败”(Fail)的配对
初始化原始DataFrame的Result列为空字符串。然后，根据merged_pass中的source_obs来标记“Pass”和“Fail”。
# 初始化原始DataFrame的'Result'列df['Result'] = ''# 标记“Pass”：如果一个Source行的'Obs'存在于merged_pass的'source_obs'中，则标记为'Pass'df.loc[df['Obs'].isin(merged_pass['source_obs']), 'Result'] = 'Pass'# 标记“Fail”：对于所有'Dataset'为'Source'且其'Obs'不在merged_pass的'source_obs'中的行，标记为'Fail'df.loc[(df['Dataset'] == 'Source') & (~df['Obs'].isin(merged_pass['source_obs'])), 'Result'] = 'Fail'
3.4 整合结果并格式化输出
最后，调整DataFrame的列顺序以符合期望的输出格式。
# 调整列顺序以符合期望的输出desired_order = ['Obs', 'Dataset', 'Result', 'Col1', 'Col2', 'Col3']df_final = df[desired_order]print("n最终结果DataFrame:")print(df_final)
4. 关键考量与最佳实践
匹配列的定义： comparison_cols 列表是此解决方案的核心。它明确定义了哪些列必须完全一致才能被视为“匹配”。根据实际业务需求，您可能需要调整此列表。“失败”的多种含义： 在本教程中，“失败”特指源行在所有指定比较列上未能找到完全匹配的目标行。在更复杂的场景中，“失败”可能有其他含义，例如：目标行缺失：源行有数据，但没有对应的目标行。部分匹配：某些比较列匹配，但并非全部。
以上就是确定DataFrame行匹配对并展示通过/失败状态的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/917854.html
微信扫一扫 
支付宝扫一扫 
