
在 Pandas DataFrame 中将一个子框赋值给另一个子框时,Pandas 会根据索引和列标签自动对齐数据。当左右两侧的标签不匹配时,这可能导致意外的 NaN 值。为确保数据按位置正确赋值,而不受标签对齐的影响,核心解决方案是将右侧的 DataFrame 或 Series 转换为 NumPy 数组后再进行赋值操作。
Pandas DataFrame 子框赋值的自动对齐机制
pandas 在进行 dataframe 赋值操作时,尤其是涉及到子框(subframe)赋值时,其内部机制会尝试根据索引(index)和列名(column labels)进行智能的数据对齐。这意味着,如果赋值操作的左侧和右侧数据结构具有不同的索引或列名,pandas 会尝试将它们对齐,只有标签匹配的单元格才会进行赋值。对于不匹配的标签,如果右侧没有对应数据,左侧对应的位置可能会被填充 nan(not a number)。
考虑以下示例,我们尝试将 df2 的部分数据赋值给 df1 的特定区域:
import pandas as pddf1 = pd.DataFrame({'1':[1,2,3,4,5,6], '2':[10,20,30,40,50,60],'3': [100,200,300,400,500,600]})df2 = pd.DataFrame({'1':[22,22], '2':[22,22], '3':[22,22]})# 尝试将 df2 的前两行、列 '1' 和 '2' 赋值给 df1 的前两行、列 '2' 和 '3'df1.loc[[0,1],['2','3']] = df2.loc[[0,1],['1','2']]print("赋值后的 df1:")print(df1)
执行上述代码后,df1 的输出如下:
赋值后的 df1: 1 2 30 1.0 22.0 NaN1 2.0 22.0 NaN2 3.0 30.0 300.03 4.0 40.0 400.04 5.0 50.0 500.05 6.0 60.0 600.0
在这里,df1.loc[[0,1],[‘2′,’3’]] 定义了一个目标区域,它包含列 ‘2’ 和 ‘3’。而右侧的 df2.loc[[0,1],[‘1′,’2’]] 则提供了列 ‘1’ 和 ‘2’ 的数据。Pandas 在赋值时会根据列名进行对齐:
df1 的列 ‘2’ 尝试与 df2 的列 ‘2’ 对齐,由于列名匹配,df2 中列 ‘2’ 的数据 [22, 22] 被成功赋值到 df1 的相应位置。df1 的列 ‘3’ 尝试与 df2 的列 ‘3’ 对齐,但 df2 的子框中没有名为 ‘3’ 的列。因此,df1 的 [0,1] 行、’3′ 列被填充了 NaN。
解决方案:转换为 NumPy 数组
要解决这个问题,即强制 Pandas 进行基于位置(而非标签)的赋值,最直接有效的方法是将右侧的 DataFrame 或 Series 转换为 NumPy 数组(numpy.ndarray)。NumPy 数组是纯粹的数值或通用数据结构,不包含 Pandas 的索引或列名信息。当 Pandas 接收到一个 NumPy 数组进行赋值时,它会按照形状匹配的原则,直接将数组元素按位置填充到目标区域,而不再进行标签对齐。
import pandas as pdimport numpy as np # 导入 numpy 库df1 = pd.DataFrame({'1':[1,2,3,4,5,6], '2':[10,20,30,40,50,60],'3': [100,200,300,400,500,600]})df2 = pd.DataFrame({'1':[22,22], '2':[22,22], '3':[22,22]})# 将右侧的 df2 子框转换为 NumPy 数组df1.loc[[0,1], ['2','3']] = df2.loc[[0,1], ['1','2']].to_numpy()print("修正赋值后的 df1:")print(df1)
执行上述代码后,df1 的输出将符合预期:
修正赋值后的 df1: 1 2 30 1 22 221 2 22 222 3 30 3003 4 40 4004 5 50 5005 6 60 600
在这里,df2.loc[[0,1], [‘1′,’2’]].to_numpy() 会生成一个 (2, 2) 形状的 NumPy 数组,其中包含 df2 在指定位置上的值。由于 NumPy 数组不携带列名信息,Pandas 在赋值时会简单地将这个 (2, 2) 的数组按位置填充到 df1.loc[[0,1], [‘2′,’3’]] 所定义的 (2, 2) 区域内。具体来说,NumPy 数组的第一列(源自 df2 的 ‘1’ 列数据)被赋值给 df1 目标区域的第一列(即 df1 的 ‘2’ 列),而 NumPy 数组的第二列(源自 df2 的 ‘2’ 列数据)被赋值给 df1 目标区域的第二列(即 df1 的 ‘3’ 列)。
注意事项与最佳实践
形状匹配: 使用 .to_numpy() 进行赋值时,最关键的一点是确保右侧 NumPy 数组的形状(shape)与左侧目标区域的形状完全匹配。如果形状不匹配,Pandas 将会报错 ValueError 或其他形状不匹配的错误。例如,df1.loc[[0,1], [‘2′,’3’]] 定义了一个 2 行 2 列的区域,因此右侧的 NumPy 数组也必须是 2 行 2 列。数据类型: 将 DataFrame 转换为 NumPy 数组时,如果 DataFrame 包含多种数据类型,NumPy 可能会尝试寻找一个兼容所有元素的通用数据类型。这可能导致数据类型转换(例如,整数和浮点数混合时转换为浮点数,字符串和数字混合时转换为对象类型)。在赋值回 DataFrame 时,Pandas 会尝试保持或推断最佳数据类型。何时使用 .to_numpy():当你明确知道源数据和目标区域的物理位置对应关系,且不希望 Pandas 进行标签对齐时。当你需要将一个 DataFrame 或 Series 的 值 严格按照其在内存中的顺序赋值到另一个位置,而不关心其原始标签时。何时不使用 .to_numpy():当你希望利用 Pandas 强大的标签对齐功能来确保数据正确匹配时(例如,在合并、连接或基于标签的复杂更新操作中)。在这种情况下,如果标签不匹配,你可能希望得到 NaN 或其他明确的提示,而不是静默地按位置覆盖。当你处理的数据量非常大,并且性能不是极致瓶颈时,Pandas 的标签对
以上就是Pandas DataFrame 子框赋值:理解与规避自动对齐陷阱的详细内容,更多请关注创想鸟其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1367392.html
微信扫一扫
支付宝扫一扫