本文旨在解决在Pandas数据框中比较两列浮点数差异时的常见挑战，特别是如何处理浮点精度问题和NaN值。我们将介绍如何利用pandas.DataFrame.round()来统一浮点精度，并结合pandas.DataFrame.compare()方法来高效地找出并统计两列之间的实际差异行数，同时确保NaN值被正确地视为“相等”而不计入差异。
在数据分析工作中，我们经常需要比较两个数据框（dataframe）中特定列的数值差异。当这些列包含浮点数时，比较过程会遇到两个主要挑战：浮点数精度问题和nan（not a number）值的处理。
挑战一：浮点数精度问题
计算机中浮点数的表示方式可能导致看似相同的数值在进行精确相等比较（==）时被判定为不同。例如，0.1 + 0.2可能不严格等于0.3。这在比较从不同来源或经过不同计算路径得出的浮点数时尤为常见，可能导致误报差异。
挑战二：NaN值的特殊性
NaN值在Python和Pandas中具有特殊的行为，即NaN == NaN的结果为False。这意味着如果两列在同一位置都包含NaN，直接比较会将其视为差异。然而，在许多实际场景中，我们希望将两个NaN值视为“相等”或“无差异”，不应将其计入差异总数。
为了克服这些挑战，Pandas提供了强大的工具来精确且灵活地执行此类比较。
解决方案：结合 round() 和 compare()
我们将使用pandas.DataFrame.round()方法来解决浮点数精度问题，并通过pandas.DataFrame.compare()方法来高效地找出差异，并自然地处理NaN值。
步骤一：统一浮点数精度
在进行比较之前，为了消除浮点数精度带来的干扰，我们需要将两列浮点数四舍五入到相同的有效小数位数。这可以通过对DataFrame的列应用round()方法实现。选择合适的四舍五入位数取决于数据的特性和对精度的要求。
import pandas as pdimport numpy as np# 示例数据d1 = {"col": [7.1, 2.0, 3.0, 4.0, np.nan, 1.9, 1.3]}d2 = {"col": [7.1, 2.5, 3.0, 4.0, np.nan, 1.2, np.nan]}df1 = pd.DataFrame(d1)df2 = pd.DataFrame(d2)print("原始DataFrame 1:")print(df1)print("n原始DataFrame 2:")print(df2)# 将浮点数列四舍五入到指定小数位数（例如，4位）# 这有助于解决浮点数精度问题df1["col"] = df1["col"].round(4)df2["col"] = df2["col"].round(4)print("n四舍五入后的DataFrame 1:")print(df1)print("n四舍五入后的DataFrame 2:")print(df2)
在这个例子中，我们假设将浮点数四舍五入到小数点后4位足以解决精度问题。
步骤二：使用 compare() 方法找出差异
pandas.DataFrame.compare()方法专门用于比较两个DataFrame，并返回一个只包含差异行和列的新DataFrame。它的一个关键特性是，如果两个DataFrame在同一位置都包含NaN值，compare()方法默认不会将它们报告为差异，这恰好符合我们对NaN值“视为相等”的需求。
# 使用compare方法找出两个DataFrame之间的差异# 默认情况下，如果两个DataFrame在同一位置都为NaN，则不会报告为差异comparison = df1.compare(df2)print("n差异比较结果:")print(comparison)
compare()方法返回的DataFrame结构比较特殊，它会为每个差异列生成两列，分别标记为self和other，表示原DataFrame（调用compare()的DataFrame）和被比较DataFrame的值。
步骤三：统计差异行数
compare()方法返回的DataFrame的行数即为两个原始DataFrame中存在差异的行数。
# 统计差异行数different_rows_count = len(comparison)print(f"n差异行总数: {different_rows_count}")
完整示例代码及输出
将上述步骤整合，我们可以得到一个完整的解决方案：
import pandas as pdimport numpy as np # 导入numpy以使用np.nan# 示例数据d1 = {"col": [7.1, 2.0, 3.0, 4.0, np.nan, 1.9, 1.3]}d2 = {"col": [7.1, 2.5, 3.0, 4.0, np.nan, 1.2, np.nan]}df1 = pd.DataFrame(d1)df2 = pd.DataFrame(d2)# 打印原始数据框以便对比print("--- 原始数据框 ---")print("df1:")print(df1)print("ndf2:")print(df2)# 步骤1: 处理浮点精度问题，将列四舍五入到指定小数位数# 这里我们选择四舍五入到4位小数df1_rounded = df1["col"].round(4)df2_rounded = df2["col"].round(4)# 将四舍五入后的Series重新赋值给DataFrame，或直接在比较时使用# 为了清晰，我们这里直接对原始DataFrame的列进行修改df1["col"] = df1_roundeddf2["col"] = df2_roundedprint("n--- 四舍五入后的数据框 ---")print("df1 (rounded):")print(df1)print("ndf2 (rounded):")print(df2)# 步骤2: 使用compare方法找出差异# compare方法默认会忽略两个DataFrame在同一位置都为NaN的情况，不将其视为差异comparison_result = df1.compare(df2)print("n--- 差异比较结果 ---")print(comparison_result)# 步骤3: 统计差异行数total_different_rows = len(comparison_result)print(f"n--- 差异行总数 ---")print(f"总共有 {total_different_rows} 行存在差异。")
输出结果：
--- 原始数据框 ---df1: col0 7.11 2.02 3.03 4.04 NaN5 1.96 1.3df2: col0 7.11 2.52 3.03 4.04 NaN5 1.26 NaN--- 四舍五入后的数据框 ---df1 (rounded): col0 7.11 2.02 3.03 4.04 NaN5 1.96 1.3df2 (rounded): col0 7.11 2.52 3.03 4.04 NaN5 1.26 NaN--- 差异比较结果 --- col self other1 2.0 2.55 1.9 1.26 1.3 NaN--- 差异行总数 ---总共有 3 行存在差异。
从输出可以看出：
索引为1的行，df1中的2.0与df2中的2.5不同。索引为5的行，df1中的1.9与df2中的1.2不同。索引为6的行，df1中的1.3与df2中的NaN不同。索引为4的行，df1和df2都为NaN，因此没有被compare()报告为差异，符合我们的预期。
最终统计的差异行数为3。
注意事项与总结
四舍五入精度选择： 选择合适的四舍五入位数至关重要。过高的精度可能无法完全消除浮点误差，而过低的精度可能将实际的微小差异误判为相等。通常，应根据业务需求和数据特性来决定。compare()的灵活性： pandas.DataFrame.compare()方法还提供了其他参数，如align_axis、keep_shape和keep_equal，以应对更复杂的比较场景。例如，keep_equal=True可以显示所有行，包括相等行，但对于本教程的需求（只关注差异），默认设置已足够。性能考虑： 对于非常大的DataFrame，compare()方法通常比手动循环或使用逐元素比较（如np.isclose()结合布尔索引）更高效，因为它在C语言层面进行了优化。NaN处理： compare()方法在处理NaN时表现出良好的默认行为，即当两个DataFrame在同一位置都为NaN时，不将其视为差异。如果您的需求是将NaN与任何数值都视为差异，则可能需要额外的预处理步骤，例如使用fillna()将NaN替换为特定的哨兵值，但这与本教程的目标相反。
通过上述方法，我们可以有效地解决Pandas中含NaN浮点数列的比较难题，确保统计结果的准确性和可靠性。
以上就是Pandas中精确比较含NaN浮点数列的差异并计数的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1376955.html
微信扫一扫 
支付宝扫一扫 
