本文详细介绍了如何在Pandas DataFrame中高效创建依赖于其他行值的条件列。通过结合使用Series.where()进行条件赋值和Series.bfill()或Series.ffill()进行缺失值填充，可以灵活地根据当前行或相邻行的特定条件来确定新列的值，从而避免低效的循环操作，提升数据处理效率。
引言
在数据处理过程中，我们经常需要根据dataframe中某一列或多列的条件来生成新的列。更复杂的情况是，新列的值不仅取决于当前行的条件，还可能依赖于其上方或下方的行的值。例如，当某一行的特定条件不满足时，我们可能希望新列继承其上方或下方最近一个满足条件的行的值。传统的循环方法在处理大型数据集时效率低下，而pandas提供了更高效的向量化操作来实现这一目标。
核心方法：Series.where()结合Series.bfill()或Series.ffill()
Pandas中的Series.where()方法允许我们根据布尔条件选择性地替换Series中的值。当条件为False时，对应位置的值将被替换为NaN（默认行为），而当条件为True时，原值保持不变。结合使用Series.bfill()（backward fill，向后填充）或Series.ffill()（forward fill，向前填充）可以巧妙地处理行间依赖关系。
假设我们有一个DataFrame df，包含 Colonne 1 和 Dimension 1 两列。我们的目标是创建一个新列 new，其规则如下：
如果 Dimension 1 的值为 ‘Organisation’，则 new 列取 Colonne 1 列的当前行的值。如果 Dimension 1 的值不是 ‘Organisation’，则 new 列取其下方（或上方，取决于需求）最近一个 Dimension 1 为 ‘Organisation’ 的行的 Colonne 1 值。
以下是示例DataFrame：
import pandas as pdimport numpy as npdata = { 'Colonne 1': ['MTN_LI2', 'MTN_IRU', 'MTN_ACE', 'MTN_IME', 'RIPP7', 'CA_SOT', 'CA_OTI', 'CNW00', 'BSNTF', 'RIPNJ'], 'Dimension 1': ['Indicator', 'Indicator', 'Indicator', 'Indicator', 'Organisation', 'Indicator', 'Indicator', 'Organisation', 'Organisation', 'Organisation']}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
原始DataFrame:
Colonne 1 Dimension 10 MTN_LI2 Indicator1 MTN_IRU Indicator2 MTN_ACE Indicator3 MTN_IME Indicator4 RIPP7 Organisation5 CA_SOT Indicator6 CA_OTI Indicator7 CNW00 Organisation8 BSNTF Organisation9 RIPNJ Organisation
场景一：向后填充（bfill）——取下方最近的有效值
如果需求是当 Dimension 1 不是 ‘Organisation’ 时，新列的值应取其下方最近一个 Dimension 1 为 ‘Organisation’ 的行的 Colonne 1 值，我们可以使用 Series.bfill()。
df['new_bfill'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).bfill()print("n使用 bfill() 的结果:")print(df)
解释：
df[‘Dimension 1’].eq(‘Organisation’) 生成一个布尔Series，指示哪些行 Dimension 1 等于 ‘Organisation’。df[‘Colonne 1’].where(…)：当布尔条件为True时（即 Dimension 1 为 ‘Organisation’），保留 Colonne 1 的原始值；当条件为False时，将 Colonne 1 的值替换为 NaN。此时，new_bfill 列将变为：[NaN, NaN, NaN, NaN, ‘RIPP7’, NaN, NaN, ‘CNW00’, ‘BSNTF’, ‘RIPNJ’]。.bfill()：对这个包含 NaN 的Series进行向后填充。这意味着每个 NaN 值都会被其下方的第一个非 NaN 值填充。索引0-3的NaN会被索引4的’RIPP7’填充。索引5-6的NaN会被索引7的’CNW00’填充。索引7-9的’CNW00′, ‘BSNTF’, ‘RIPNJ’保持不变，因为它们不是NaN。
输出结果:
Colonne 1 Dimension 1 new_bfill0 MTN_LI2 Indicator RIPP71 MTN_IRU Indicator RIPP72 MTN_ACE Indicator RIPP73 MTN_IME Indicator RIPP74 RIPP7 Organisation RIPP75 CA_SOT Indicator CNW006 CA_OTI Indicator CNW007 CNW00 Organisation CNW008 BSNTF Organisation BSNTF9 RIPNJ Organisation RIPNJ
场景二：向前填充（ffill）——取上方最近的有效值
如果需求是当 Dimension 1 不是 ‘Organisation’ 时，新列的值应取其上方最近一个 Dimension 1 为 ‘Organisation’ 的行的 Colonne 1 值，我们可以使用 Series.ffill()。
df['new_ffill'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).ffill()print("n使用 ffill() 的结果:")print(df)
解释：
df[‘Colonne 1’].where(df[‘Dimension 1’].eq(‘Organisation’)) 步骤与 bfill() 相同，生成包含 NaN 的Series。.ffill()：对这个包含 NaN 的Series进行向前填充。这意味着每个 NaN 值都会被其上方的第一个非 NaN 值填充。索引0-3的NaN在它们上方没有非NaN值，所以它们将保持为NaN。索引5-6的NaN会被索引4的’RIPP7’填充。索引7-9的’CNW00′, ‘BSNTF’, ‘RIPNJ’保持不变。
输出结果:
Colonne 1 Dimension 1 new_bfill new_ffill0 MTN_LI2 Indicator RIPP7 NaN1 MTN_IRU Indicator RIPP7 NaN2 MTN_ACE Indicator RIPP7 NaN3 MTN_IME Indicator RIPP7 NaN4 RIPP7 Organisation RIPP7 RIPP75 CA_SOT Indicator CNW00 RIPP76 CA_OTI Indicator CNW00 RIPP77 CNW00 Organisation CNW00 CNW008 BSNTF Organisation BSNTF BSNTF9 RIPNJ Organisation RIPNJ RIPNJ
注意事项：
初始NaN值： 使用 ffill() 时，如果Series的开头部分是 NaN 且其上方没有有效值，这些 NaN 将会保留。同理，使用 bfill() 时，如果Series的末尾部分是 NaN 且其下方没有有效值，这些 NaN 也会保留。根据实际需求，可能需要对这些初始或末尾的 NaN 进行额外的处理（例如，填充一个默认值）。性能： 这种组合方法是Pandas中处理此类问题的向量化、高效方式，尤其适用于大型数据集，远优于使用Python循环或 apply 方法。灵活性： where() 方法可以接受更复杂的布尔条件，而 bfill() 和 ffill() 也可以配合 limit 参数来限制填充的范围。
总结
通过巧妙地结合 Series.where() 和 Series.bfill() / Series.ffill()，我们可以在Pandas中高效地创建依赖于行间关系的条件列。这种方法不仅代码简洁，而且在处理大规模数据时表现出卓越的性能，是Pandas数据操作中非常实用的技巧。理解其工作原理，可以帮助我们解决各种复杂的条件赋值和数据填充问题。
以上就是Pandas中基于条件和行间依赖创建新列的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1367004.html
微信扫一扫 
支付宝扫一扫 
