本教程旨在详细介绍如何在pandas dataframe中高效地对多个目标列执行复杂的列间加减运算。我们将探讨两种主要的实现方法：利用`dataframe.eval()`进行多行表达式计算，以及通过链式调用`add()`和`sub()`等矢量化方法。文章将通过具体示例代码，阐述这些方法的应用场景、优势，并提供选择策略和注意事项，帮助读者优化数据处理流程。
引言
在数据分析和处理中，我们经常需要根据现有列的值计算新列或更新现有列。当这种操作涉及多个列，并且遵循相同的计算模式时，如何高效且简洁地实现这些批量操作就显得尤为重要。本教程将以一个具体的场景为例：对DataFrame中的多个目标列（如C, D, E）执行相同的复合运算，即目标列 = 目标列 – B列 + A列。
初始数据准备
首先，我们创建一个示例Pandas DataFrame，作为所有操作的基础。
import pandas as pddata = { "A": [42, 38, 39, 23], "B": [45, 30, 15, 65], "C": [60, 50, 25, 43], "D": [12, 70, 35, 76], "E": [87, 90, 45, 43], "F": [40, 48, 55, 76], "G": [58, 42, 85, 10],}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
输出的原始DataFrame如下：
原始DataFrame: A B C D E F G0 42 45 60 12 87 40 581 38 30 50 70 90 48 422 39 15 25 35 45 55 853 23 65 43 76 43 76 10
我们的目标是更新列C, D, E，使其值变为当前值 – B列的值 + A列的值。
立即学习“Python免费学习笔记（深入）”；
方法一：使用 DataFrame.eval() 进行多行表达式计算
DataFrame.eval() 方法允许我们使用字符串表达式来计算DataFrame的列。它在内部使用NumExpr库，对于大型DataFrame和复杂的表达式，通常能提供比直接Python操作更高的性能。其优势在于可以清晰地表达复杂的列间运算，并且支持多行表达式。
import pandas as pddata = { "A": [42, 38, 39, 23], "B": [45, 30, 15, 65], "C": [60, 50, 25, 43], "D": [12, 70, 35, 76], "E": [87, 90, 45, 43], "F": [40, 48, 55, 76], "G": [58, 42, 85, 10],}df_eval = pd.DataFrame(data.copy()) # 使用副本进行操作df_eval = df_eval.eval('''C = C - B + AD = D - B + AE = E - B + A''')print("n使用 df.eval() 后的DataFrame:")print(df_eval)
解析：eval() 方法接受一个多行字符串，每一行代表一个赋值操作。Pandas会自动识别字符串中的列名，并将其作为DataFrame的列进行操作。这种方式使得批量更新多个列变得非常直观和易读，尤其当表达式结构相似时。
方法二：使用矢量化方法链式操作 (add, sub)
Pandas的Series和DataFrame对象支持各种矢量化数学运算方法，如add()、sub()、mul()、div()等。对于本例中的目标列 = 目标列 – B列 + A列，我们可以将其重构为目标列 = 目标列 + (A列 – B列)。这样，我们就可以计算出一个公共的偏移量A – B，然后将其批量加到目标列上。
import pandas as pddata = { "A": [42, 38, 39, 23], "B": [45, 30, 15, 65], "C": [60, 50, 25, 43], "D": [12, 70, 35, 76], "E": [87, 90, 45, 43], "F": [40, 48, 55, 76], "G": [58, 42, 85, 10],}df_vectorized = pd.DataFrame(data.copy()) # 使用副本进行操作# 计算公共的偏移量 (A - B)offset = df_vectorized['A'].sub(df_vectorized['B'])# 将偏移量批量加到目标列上# 注意：当Series与DataFrame的子集进行操作时，需要指定 axis=0 表示按行（索引）对齐df_vectorized[['C', 'D', 'E']] = df_vectorized[['C', 'D', 'E']].add(offset, axis=0)print("n使用矢量化方法后的DataFrame:")print(df_vectorized)
解析：
df_vectorized[‘A’].sub(df_vectorized[‘B’])：首先计算列A减去列B的结果，得到一个Series，这代表了每个目标列需要应用的共同调整量。df_vectorized[[‘C’, ‘D’, ‘E’]]：选择需要更新的目标列。.add(offset, axis=0)：将之前计算的offset Series加到选定的多列DataFrame子集上。axis=0在这里至关重要，它指示Pandas按行（即索引）对齐Series和DataFrame进行加法运算。如果不指定，Pandas可能会尝试按列对齐，导致错误或非预期结果。
最终结果验证
两种方法得到的最终DataFrame结果应该是一致的：
A B C D E F G0 42 45 57 9 84 40 581 38 30 58 78 98 48 422 39 15 49 59 69 55 853 23 65 1 34 1 76 10
注意事项与选择策略
可读性与复杂性：eval() 方法在处理涉及多个列的复杂或多行表达式时，通常具有更好的可读性，因为它直接模仿了数学表达式的写法。矢量化方法链式操作在表达式相对简单或可以分解为公共部分时，也非常清晰。但如果表达式非常复杂，链式调用可能会变得冗长。性能：对于非常大的DataFrame，eval() 在内部利用NumExpr库，通常能提供比纯Python循环或某些直接的Pandas操作更优的性能。矢量化方法本身在Pandas中是高度优化的，对于大多数常见操作，其性能已经非常出色。在选择时，除非有明确的性能瓶颈，否则应优先考虑代码的可读性和维护性。axis 参数的重要性：当使用如add()、sub()等方法将一个Series（如offset）与一个DataFrame或DataFrame的子集进行操作时，务必注意axis参数。axis=0表示按行（索引）对齐进行操作，这是本例中所需的行为。就地修改与副本：df.eval() 默认返回一个新的DataFrame，不会修改原始DataFrame。如果你想就地修改，可以重新赋值，如df = df.eval(…)。矢量化操作df[[‘C’, ‘D’, ‘E’]] = … 会直接修改原始DataFrame的相应列。
总结
本教程介绍了在Pandas DataFrame中对多列执行相同加减运算的两种高效方法：DataFrame.eval() 和链式矢量化方法（add(), sub()）。eval() 提供了一种简洁的字符串表达式方式，适用于复杂的多行计算；而矢量化方法通过分解公共部分并利用Pandas的优化操作，同样能实现高效且清晰的代码。理解并掌握这两种方法，将有助于你更灵活、高效地处理数据，并提升代码的质量。在实际应用中，根据表达式的复杂度和对代码可读性、性能的要求，选择最适合的方法。
以上就是在Python Pandas DataFrame中高效执行列间加减运算的教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1382480.html
微信扫一扫 
支付宝扫一扫 
