当使用pandas series的`corr()`方法计算相关性时，若返回nan，通常是由于两个series的索引未对齐所致。pandas在计算前会尝试基于索引进行对齐，若无共同索引则产生nan。解决方案是通过`set_axis`方法强制series索引对齐，以获得正确的相关性结果，这与numpy在处理数组时不考虑索引的行为形成对比。
在数据分析中，计算两个序列之间的相关性是一项常见操作。Pandas库提供了方便的Series.corr()方法，但在某些情况下，该方法可能出人意料地返回NaN（Not a Number），即使数据本身看起来是有效的。本文将深入探讨这一现象的根本原因，并提供一个标准的解决方案。
问题现象：Pandas Series.corr返回NaN
考虑以下两个Pandas Series对象s1和s2，它们包含数值数据：
import pandas as pdimport numpy as np# 示例数据s1 = pd.Series([-0.443538, -0.255012, -0.582948, -0.393485, 0.430831, 0.232216, -0.014269, -0.133158, 0.127162, -1.855860], name='s1')s2 = pd.Series([-0.650857, -0.135428, 0.039544, 0.241506, -0.793352, -0.054500, 0.901152, -0.660474, 0.098551, 0.822022], index=range(29160, 29170), name='s2')print("Series s1:")print(s1)print("nSeries s2:")print(s2)
输出如下：
Series s1:0 -0.4435381 -0.2550122 -0.5829483 -0.3934854 0.4308315 0.2322166 -0.0142697 -0.1331588 0.1271629 -1.855860Name: s1, dtype: float64Series s2:29160 -0.65085729161 -0.13542829162 0.03954429163 0.24150629164 -0.79335229165 -0.05450029166 0.90115229167 -0.66047429168 0.09855129169 0.822022Name: s2, dtype: float64
当我们尝试计算s1和s2的相关性时：
s1.corr(s2)
结果却是nan。
然而，如果使用NumPy的corrcoef函数对这些序列的底层数值进行计算，可以得到一个有效的结果：
np.corrcoef(s1, s2)[0][1]
输出：-0.4918385039519204。
这表明数据本身是具有相关性的，问题出在Pandas的corr()方法上。
根本原因：Pandas的索引对齐机制
Pandas的核心设计理念之一是“索引对齐”。当对两个或多个Pandas对象（如Series或DataFrame）执行操作时，Pandas会尝试根据它们的索引进行自动对齐。如果两个对象的索引没有共同的标签，或者共同标签下的数据类型不匹配，Pandas会用NaN填充缺失值。
在上述例子中，s1的索引是默认的0到9，而s2的索引是29160到29169。这两个Series的索引完全不重叠，没有任何共同的标签。当s1.corr(s2)被调用时，Pandas会尝试将s2对齐到s1的索引上。由于没有共同的索引，对齐后的s2将全部是NaN。两个包含NaN的序列进行相关性计算，结果自然就是NaN。
NumPy的np.corrcoef函数则不同，它处理的是纯粹的数值数组，不考虑Pandas的索引信息。它直接将两个Series的底层数值数组作为输入，因此能够正确计算出相关性。
解决方案：强制索引对齐
要解决这个问题，我们需要在计算相关性之前，确保两个Series的索引是匹配的。最直接的方法是强制其中一个Series使用另一个Series的索引。Pandas提供了set_axis()方法来修改Series的轴标签（即索引）。
我们可以将s2的索引设置为与s1相同的索引：
# 强制s2使用s1的索引aligned_s2 = s2.set_axis(s1.index)print("nAligned s2:")print(aligned_s2)# 再次计算相关性correlation_result = s1.corr(aligned_s2)print(f"nCorrelation after alignment: {correlation_result}")
输出：
Aligned s2:0 -0.6508571 -0.1354282 0.0395443 0.2415064 -0.7933525 -0.0545006 0.9011527 -0.6604748 0.0985519 0.822022Name: s2, dtype: float64Correlation after alignment: -0.49183852303556697
现在，我们得到了一个与NumPy结果非常接近的有效相关性值。
总结与注意事项
Pandas的索引对齐是其强大功能之一，但也可能导致意外行为。 在执行跨Series/DataFrame操作时，始终要留意它们的索引是否匹配你的预期。Series.corr()方法在计算前会尝试对齐Series的索引。 如果索引不重叠，对齐后的Series将包含大量NaN，从而导致相关性计算结果为NaN。使用set_axis()方法可以强制Series使用指定的索引。 这是解决索引不对齐导致corr()返回NaN的有效方法。请确保在进行此操作时，你确实希望将一个Series的数据与另一个Series的索引进行匹配。NumPy的数组操作不考虑Pandas的索引。 如果你只需要计算底层数值的相关性，而不在意索引对齐，可以直接提取Series的.values属性并使用NumPy函数。
理解Pandas的索引对齐机制对于高效和准确地进行数据分析至关重要。通过正确处理索引，可以避免许多常见的陷阱，并确保你的计算结果是可靠的。
以上就是解决Pandas Series.corr返回NaN：深入理解索引对齐问题的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381488.html
微信扫一扫 
支付宝扫一扫 
