在Pandas中，直接将一个DataFrame子集赋值给另一个DataFrame的子集时，Pandas会默认尝试根据索引和列标签进行对齐。若标签不匹配，这可能导致目标DataFrame中出现意外的NaN值。本文将深入解析Pandas的这一赋值机制，并提供一种有效的解决方案：通过将源数据转换为NumPy数组，强制进行基于位置的赋值，从而避免不必要的对齐和NaN的产生。
Pandas DataFrame赋值机制解析
pandas在进行dataframe之间的赋值操作时，其核心特性之一是智能的数据对齐（data alignment）。这意味着，当您尝试将一个dataframe（或其子集）的值赋给另一个dataframe（或其子集）时，pandas会默认根据行索引和列标签来匹配数据。如果源数据和目标位置的标签不完全一致，pandas会尝试找到匹配的标签进行赋值，对于无法匹配的标签，则会用nan（not a number）填充。
考虑以下示例代码，它展示了在列标签不匹配时可能出现的问题：
import pandas as pddf1 = pd.DataFrame({'1':[1,2,3,4,5,6], '2':[10,20,30,40,50,60],'3': [100,200,300,400,500,600]})df2 = pd.DataFrame({'1':[22,22], '2':[22,22], '3':[22,22]})print("原始 df1:n", df1)print("n原始 df2:n", df2)# 尝试将 df2 的特定子集赋值给 df1 的特定子集# df1 的目标是行 0,1 和列 '2','3'# df2 的源是行 0,1 和列 '1','2'df1.loc[[0,1],['2','3']] = df2.loc[[0,1],['1','2']]print("n赋值后的 df1:n", df1)
执行上述代码，df1的输出如下所示：
1 2 30 1.0 22.0 NaN1 2.0 22.0 NaN2 3.0 30.0 300.03 4.0 40.0 400.04 5.0 50.0 500.05 6.0 60.0 600.0
可以看到，df1的第0、1行、第’3’列的值变成了NaN，而第’2’列的值被正确更新。这是因为在 df1.loc[[0,1],[‘2′,’3’]] = df2.loc[[0,1],[‘1′,’2’]] 这行代码中，Pandas尝试将 df2 中列标签为 ‘1’ 和 ‘2’ 的数据，对齐到 df1 中列标签为 ‘2’ 和 ‘3’ 的位置。
df2 的列 ‘2’ 成功匹配到 df1 的列 ‘2’，因此相应值被正确赋值。df2 的列 ‘1’ 在 df1 的目标列 (‘2’, ‘3’) 中找不到匹配项，其值不会被赋值到df1的任何目标列。df1 的目标列 ‘3’ 在 df2 的源列 (‘1’, ‘2’) 中找不到匹配项。由于 df1 的目标切片中包含了列 ‘3’，但 df2 的源数据中没有名为 ‘3’ 的列来填充它，Pandas便将其填充为 NaN。这种行为是Pandas为了保持数据完整性和避免潜在的数据错位而设计的。
解决方案：使用NumPy数组绕过对齐
当您明确知道源数据和目标位置的维度和顺序是匹配的，并且希望执行基于位置的直接赋值，而不是基于标签的对齐时，可以将源DataFrame（或其子集）转换为NumPy数组。NumPy数组是纯粹的数值结构，不包含标签信息，因此赋值操作将完全按照位置进行，忽略任何列名或索引的差异。
修正上述问题的代码如下：
import pandas as pdimport numpy as np # 导入 numpy 库，尽管在这里不是必需的，但通常与 numpy 数组操作相关df1 = pd.DataFrame({'1':[1,2,3,4,5,6], '2':[10,20,30,40,50,60],'3': [100,200,300,400,500,600]})df2 = pd.DataFrame({'1':[22,22], '2':[22,22], '3':[22,22]})print("原始 df1:n", df1)print("n原始 df2:n", df2)# 使用 .to_numpy() 将右侧转换为 NumPy 数组df1.loc[[0,1], ['2','3']] = df2.loc[[0,1], ['1','2']].to_numpy()print("n修正赋值后的 df1:n", df1)
执行此代码，df1的输出将是期望的结果：
1 2 30 1 22 221 2 22 222 3 30 3003 4 40 4004 5 50 5005 6 60 600
通过 .to_numpy() 方法，df2.loc[[0,1], [‘1′,’2’]] 被转换为一个2×2的NumPy数组 [[22, 22], [22, 22]]。这个数组不携带任何列名信息，因此Pandas在赋值时不再尝试进行列标签对齐，而是直接将数组中的值按顺序填充到 df1.loc[[0,1], [‘2′,’3’]] 所指定的2×2区域内。即，NumPy数组的第一列（原df2的’1’列数据）赋值给 df1 的列 ‘2’，第二列（原df2的’2’列数据）赋值给 df1 的列 ‘3’。
注意事项与最佳实践
在使用 .to_numpy() 进行DataFrame子集赋值时，需要注意以下几点：
形状匹配至关重要： 使用 .to_numpy() 进行赋值时，源数据的形状（行数和列数）必须与目标区域的形状完全一致。如果形状不匹配，Pandas将抛出 ValueError: Must have equal reindex for all elements in the array 错误。例如，如果 df2.loc[[0,1], [‘1′,’2’]].to_numpy() 得到一个2×2的数组，而目标 df1.loc[[0,1], [‘2′,’3’]] 也是2×2的区域，则赋值成功。如果目标区域是2×1，则会报错。数据类型转换： 尽管 .to_numpy() 避免了 NaN，但如果源NumPy数组的数据类型与目标DataFrame列的现有数据类型不兼容，Pandas可能会进行隐式的数据类型转换（例如，从整数转换为浮点数），以容纳新值。请始终注意赋值操作可能带来的数据类型变化。何时使用 .to_numpy()：当您需要进行基于位置的精确赋值，且明确知道源和目标的维度匹配时。当源DataFrame的列标签与目标DataFrame的列标签不一致，但您希望按顺序而非按标签赋值时。当您希望提高赋值操作的性能，尤其是在处理大型数据集时，因为NumPy操作通常比Pandas的标签对齐操作更快。何时避免 .to_numpy()：当您希望利用Pandas强大的标签对齐功能，确保数据在不同DataFrame之间按标签正确匹配时。当源和目标DataFrame的结构可能不完全一致，且您希望Pandas自动处理缺失值或重新索引时。
总结
Pandas在DataFrame赋值时的自动对齐机制是一项强大功能，但在特定场景下（如源列标签与目标列标签不匹配但希望按位置赋值时），它可能导致意外的NaN值。理解这一机制是高效使用Pandas的关键。通过将源数据显式转换为NumPy数组（使用 .to_numpy()），我们可以绕过Pandas的标签对齐行为，强制进行基于位置的赋值，从而精确控制数据的填充方式，避免不必要的NaN。在实践中，选择哪种赋值方式取决于您的具体需求：是希望利用Pandas的智能对齐，还是需要进行严格的按位置赋值。
以上就是Pandas DataFrame子集赋值：深入理解列对齐与NaN值避免策略的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1367452.html
微信扫一扫 
支付宝扫一扫 
