本文详细介绍了如何利用Pandas库的DataFrame.compare()方法，高效地对比两个结构相似的DataFrame，并精确地提取出所有存在差异的行和列。教程将演示如何通过设置索引、调用compare()函数及后续的数据清洗步骤，最终生成一个仅包含差异数据及关键标识列的DataFrame，从而简化数据审计和变更追踪工作。
在数据分析和管理中，经常需要对比两个dataframe以识别它们之间的差异。例如，在版本控制、数据同步或审计场景下，我们可能需要找出哪些数据点发生了变化，并仅关注这些变化本身。传统的合并（merge）操作虽然能识别出整行差异，但往往难以直接定位到具体的差异列，并且会保留大量未变化的列，导致结果冗余。pandas提供了dataframe.compare()方法，专门用于解决这类问题，它能够以简洁高效的方式呈现两个dataframe之间的元素级差异。
1. 问题背景与传统方法的局限性
假设我们有两个结构相同的DataFrame，其中包含一些标识列（如pet_name, exam_day）和多个数据列（如result_1, result_2）。我们的目标是：
识别出所有有差异的行。对于这些有差异的行，仅保留导致差异的列，以及必要的标识列。最终的输出应清晰地展示两个DataFrame中对应位置的差异值。
以下是两个示例DataFrame：
import pandas as pdimport numpy as np# DataFrame 1data1 = { 'pet_name': ['Patrick', 'Patrick', 'Patrick', 'Patrick'], 'exam_day': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'], 'result_1': [1, 2, 3, 4], 'result_2': [10, 20, 30, 40], 'pre_result_1': [123, 123, 123, 123]}df1 = pd.DataFrame(data1)# DataFrame 2 (与df1有差异)data2 = { 'pet_name': ['Patrick', 'Patrick', 'Patrick', 'Patrick'], 'exam_day': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'], 'result_1': [1, 99, 3, 4], # 差异: df1[1, 'result_1'] = 2, df2[1, 'result_1'] = 99 'result_2': [10, 20, 30, 100], # 差异: df1[3, 'result_2'] = 40, df2[3, 'result_2'] = 100 'pre_result_1': [123, 123, 123, 123]}df2 = pd.DataFrame(data2)print("df1:")print(df1)print("ndf2:")print(df2)
df1:
pet_name exam_day result_1 result_2 pre_result_10 Patrick 2023-01-01 1 10 1231 Patrick 2023-01-02 2 20 1232 Patrick 2023-01-03 3 30 1233 Patrick 2023-01-04 4 40 123
df2:
pet_name exam_day result_1 result_2 pre_result_10 Patrick 2023-01-01 1 10 1231 Patrick 2023-01-02 99 20 1232 Patrick 2023-01-03 3 30 1233 Patrick 2023-01-04 4 100 123
如果使用merge配合indicator=True，虽然可以找出有差异的行，但会保留所有列，并且差异值会出现在不同的行中，不便于直接对比。例如：
pets_diff_merge = df1.merge(df2, on=list(df1.columns), how="outer", indicator=True)pets_diff_merge = pets_diff_merge[pets_diff_merge["_merge"] != "both"]print("n使用merge的差异结果:")print(pets_diff_merge)
使用merge的差异结果:
pet_name exam_day result_1 result_2 pre_result_1 _merge1 Patrick 2023-01-02 2 20 123 left_only5 Patrick 2023-01-02 99 20 123 right_only3 Patrick 2023-01-04 4 40 123 left_only7 Patrick 2023-01-04 4 100 123 right_only
可以看到，merge方法虽然识别了差异行，但保留了所有列，并且对于同一差异点，df1和df2的值分别位于两行，不符合我们仅保留差异列并在一行或相邻行展示差异值的需求。
2. 使用 DataFrame.compare() 提取差异数据
DataFrame.compare()方法是专门为这种场景设计的。它能够逐元素地对比两个DataFrame，并返回一个仅包含差异值的新DataFrame。
2.1 核心步骤
设置索引: 将用于标识唯一行的列（即“维度”列）设置为DataFrame的索引。这确保了compare方法能够正确地对齐要比较的行。调用 compare() 方法: 使用df1.compare(df2, align_axis=0)进行比较。align_axis=0 是关键，它指示compare方法将self (df1) 和 other (df2) 的差异值堆叠在一起，而不是并排显示为多级列。这样，对于每个有差异的行，df1和df2的值会出现在连续的两行中，便于查看。后处理: compare方法的输出会有一个多级列索引，其中包含self和other标签。我们需要清理这些索引，并把之前设置为索引的标识列重新变回普通列。
2.2 示例代码
# 1. 设置索引df1_indexed = df1.set_index(['pet_name', 'exam_day'])df2_indexed = df2.set_index(['pet_name', 'exam_day'])# 2. 调用 compare() 方法# align_axis=0 将 df1 和 df2 的差异值堆叠在一起diff_raw = df1_indexed.compare(df2_indexed, align_axis=0)print("ncompare() 原始输出 (带多级索引):")print(diff_raw)# 3. 后处理：清理索引并重置# droplevel(-1) 移除最内层（即 'self'/'other'）的列索引# reset_index() 将之前设置的索引（pet_name, exam_day）变回普通列final_diff_df = diff_raw.droplevel(-1, axis=1).reset_index()print("n最终差异结果:")print(final_diff_df)
compare() 原始输出 (带多级索引):
result_1 result_2 pre_result_1pet_name exam_day Patrick 2023-01-02 self 2.0 NaN NaN other 99.0 NaN NaN 2023-01-04 self NaN 40.0 NaN other NaN 100.0 NaN
最终差异结果:
pet_name exam_day result_1 result_2 pre_result_10 Patrick 2023-01-02 2.0 NaN NaN1 Patrick 2023-01-02 99.0 NaN NaN2 Patrick 2023-01-04 NaN 40.0 NaN3 Patrick 2023-01-04 NaN 100.0 NaN
2.3 结果解读
最终的final_diff_dfDataFrame清晰地展示了差异。
行: 每一对相邻的行（例如索引0和1，2和3）代表一个差异点。第一行显示df1在该位置的值，第二行显示df2在该位置的值。列: 仅保留了存在差异的列（如result_1, result_2）以及作为标识符的索引列（pet_name, exam_day）。NaN值: 对于在某个差异行中但本身没有发生变化的列，其值会显示为NaN。例如，在第一对差异行中，result_1发生了变化，而result_2和pre_result_1没有变化，所以它们显示为NaN。这正是我们想要的效果：只关注差异点。
3. 进一步优化与注意事项
尽管上述方法已经非常有效，但在实际应用中，我们可能希望进一步优化结果或注意一些细节。
3.1 移除全为 NaN 的列
在某些情况下，如果所有差异都集中在少数几列，compare()的输出可能会包含一些全为NaN的列（如果keep_equal=False且这些列在所有差异行中都未改变）。虽然本例中droplevel(-1, axis=1)已经去除了多级列，但如果需要，可以通过以下方式删除那些除了标识列外，数据列全为NaN的列：
# 假设我们只关心实际有差异的数值列# 筛选出非标识列中至少有一个非NaN值的列value_cols = [col for col in final_diff_df.columns if col not in ['pet_name', 'exam_day']]cleaned_diff_df = final_diff_df.dropna(axis=1, how='all', subset=value_cols)print("n移除全NaN列后的差异结果:")print(cleaned_diff_df)
移除全NaN列后的差异结果:
pet_name exam_day result_1 result_20 Patrick 2023-01-02 2.0 NaN1 Patrick 2023-01-02 99.0 NaN2 Patrick 2023-01-04 NaN 40.03 Patrick 2023-01-04 NaN 100.0
这会移除pre_result_1列，因为它在所有差异行中都是NaN。
3.2 compare() 方法的其他参数
keep_equal: 默认为False。如果设置为True，即使元素值相同，也会在输出中显示它们，这通常不符合我们仅关注差异的需求。keep_shape: 默认为False。如果设置为True，输出DataFrame的形状将与原始DataFrame相同，差异处显示差异值，相同处显示NaN。这会保留所有行和列，通常不如align_axis=0结合droplevel的结果简洁。result_names: 可以自定义多级列索引中的self和other标签，例如result_names=(‘df1_val’, ‘df2_val’)。
3.3 性能考量
对于非常大的DataFrame，compare()方法可能会消耗较多内存和计算时间，因为它需要逐元素比较。如果DataFrame非常庞大，可以考虑分块处理或使用其他专门针对大数据差异比较的工具。然而，对于大多数中等规模的数据集，compare()的性能是完全可以接受的。
4. 总结
pandas.DataFrame.compare()方法提供了一种强大且直观的方式来识别和提取两个DataFrame之间的元素级差异。通过结合set_index()进行行对齐，align_axis=0进行差异堆叠，以及后续的droplevel()和reset_index()进行结果清理，我们可以高效地生成一个仅包含差异数据及其关键标识符的DataFrame。这种方法极大地简化了数据变更追踪和审计工作，是Pandas数据处理工具箱中一个非常有用的功能。掌握这一技巧，将有助于更高效地进行数据分析和质量控制。
以上就是高效对比Pandas DataFrame并提取差异数据的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1373053.html
微信扫一扫 
支付宝扫一扫 
