本教程探讨如何高效地比较两个Pandas DataFrame，并根据第一个DataFrame中的行是否完全存在于第二个DataFrame中，来有条件地设置新列的值。我们将利用isin()方法进行元素级匹配，结合all(axis=1)进行行级聚合判断，并通过numpy.where()实现灵活的条件赋值，从而实现精准的数据整合与标记。
在数据分析和处理中，经常会遇到需要比较两个数据集（通常是pandas dataframe）并根据比较结果更新其中一个数据集的场景。一个典型的需求是，判断dataframe a中的每一行是否存在于dataframe b中，然后根据判断结果在dataframe a中新增一个列，并赋予相应的值。例如，如果某行在dataframe b中存在，则标记为“open”，否则标记为“new”。
场景描述与需求
假设我们有两个DataFrame，data1和data2，它们包含相似的结构和数据：
import pandas as pdimport numpy as npdata1 = pd.DataFrame( {'A': [1, 2, 3, 4, 5], 'B': ['apple', 'banana', 'orange', 'apple', 'grape'], 'C': [10, 20, 30, 40, 50]})data2 = pd.DataFrame( {'A': [1, 2, 6], 'B': ['apple', 'banana', 'kiwi'], 'C': [10, 20, 60]})print("DataFrame 1:")print(data1)print("nDataFrame 2:")print(data2)
我们的目标是检查data1中的每一行是否与data2中的某一行完全匹配。如果匹配，则在data1中新增的new_col列中标记为“Open”；否则，标记为“New”。
期望的输出结果如下：
A B C new_col0 1 apple 10 Open1 2 banana 20 Open2 3 orange 30 New3 4 apple 40 New4 5 grape 50 New
核心解决方案：isin()与numpy.where()
要实现上述需求，我们可以利用Pandas DataFrame的isin()方法结合all(axis=1)以及NumPy的where()函数。
Grok
马斯克发起的基于大语言模型(LLM)的AI聊天机器人TruthGPT，现用名Grok
437 查看详情
DataFrame.isin(other):这个方法用于检查DataFrame中的每个元素是否包含在other（可以是Series、DataFrame、字典或列表）中。当other是一个DataFrame时，isin()会进行列对列的比较。它会返回一个布尔类型的DataFrame，其中每个元素指示对应位置的值是否在other DataFrame的相应列中存在。
all(axis=1):isin()返回的布尔DataFrame，其行数和列数与原始DataFrame相同。为了判断一行是否完全匹配data2中的某一行，我们需要确保该行中的所有元素都在data2的对应列中存在。all(axis=1)方法可以对布尔DataFrame的每一行进行逻辑“与”操作，如果一行中的所有布尔值为True，则结果为True，否则为False。这正是我们进行行级匹配所需要的。
numpy.where(condition, x, y):numpy.where()是一个非常强大的条件选择函数。它接受三个参数：
condition: 一个布尔数组或可转换为布尔数组的表达式。x: 当condition为True时选择的值。y: 当condition为False时选择的值。通过将isin(…).all(axis=1)的结果作为condition，我们可以根据行匹配的结果有条件地赋值。
完整代码示例
将上述概念结合起来，我们可以得到以下解决方案：
import pandas as pdimport numpy as np# 示例数据data1 = pd.DataFrame( {'A': [1, 2, 3, 4, 5], 'B': ['apple', 'banana', 'orange', 'apple', 'grape'], 'C': [10, 20, 30, 40, 50]})data2 = pd.DataFrame( {'A': [1, 2, 6], 'B': ['apple', 'banana', 'kiwi'], 'C': [10, 20, 60]})# 使用 isin() 检查 data1 的每个元素是否在 data2 的对应列中# 然后使用 all(axis=1) 判断 data1 的每一行是否所有元素都在 data2 中# 最后使用 np.where() 根据条件设置新列的值data1['new_col'] = np.where(data1.isin(data2).all(axis=1), 'Open', 'New')print("更新后的 DataFrame 1:")print(data1)
代码解析：
data1.isin(data2): 这一步会生成一个与data1形状相同的布尔DataFrame。例如，data1.loc[0, ‘A’]的值1在data2[‘A’]中存在，所以对应的布尔值为True。data1.loc[2, ‘B’]的值’orange’在data2[‘B’]中不存在，所以对应的布尔值为False。.all(axis=1): 对上一步生成的布尔DataFrame进行行级操作。只有当一行中所有列的布尔值都为True时，该行的结果才为True。这意味着data1中的该行在data2中找到了完全匹配的对应行。np.where(…): 接收.all(axis=1)的结果作为条件。如果条件为True（即行匹配），则将new_col设置为’Open’；如果条件为False（即行不匹配），则设置为’New’。
注意事项
列名与顺序: isin(other_df)在比较时会匹配列名。只有当data1和data2拥有相同的列名时，这种方法才能正确工作。如果列名不同，或者列的顺序很重要，但data2的列顺序与data1不同，可能需要先对data2进行列重排或选择子集。性能: 对于非常大的DataFrame，isin()操作可能会消耗较多内存和计算资源。在极端情况下，可以考虑使用merge()或join()操作来达到类似的效果，尤其是在需要更复杂匹配逻辑时。例如，pd.merge(data1, data2, how=’left’, indicator=True)可以生成一个指示列，表明data1的行是否在data2中。精确匹配: isin()方法进行的是精确匹配。这意味着data1中的一行必须与data2中的某一行在所有指定列上都完全相同才会被认为是匹配。
总结
通过巧妙地结合使用Pandas的isin()方法和NumPy的where()函数，我们可以高效且灵活地实现DataFrame之间的行级比较，并根据比较结果有条件地更新或新增列。这种方法在数据清洗、特征工程和报告生成等多种场景下都非常实用，能够帮助用户快速识别并标记数据中的特定模式或关系。理解其背后的原理和注意事项，将有助于更有效地利用Pandas进行数据处理。
以上就是Pandas DataFrame行级比较：基于行存在性条件赋值新列的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/925459.html
微信扫一扫 
支付宝扫一扫 
