本教程将深入探讨如何利用Pandas库高效识别DataFrame中包含多个相同值的行，并提供两种实用的提取方法：一是获取这些行中非重复或首次出现的值，二是仅提取重复出现的值。我们将通过df.duplicated(axis=1)等核心功能，结合具体示例代码，详细讲解实现步骤与技巧。
数据准备
在数据分析和处理中，经常需要识别并处理数据集中行内存在的重复值。例如，在一个包含多个测量值的行中，我们可能需要找出哪些行包含了至少两个相同的测量结果，并进一步提取这些重复值或非重复值。
首先，我们创建一个示例DataFrame来模拟这种场景：
import numpy as npimport pandas as pddf = pd.DataFrame([[1,1,2,4,5,6,7,7], [2,5,6,7,22,23,34,48], [3,3,5,6,7,45,46,48], [4,6,7,14,29,32,6,29], # 行内有重复值 6 和 29 [5,6,7,13,23,33,35,7], # 行内有重复值 7 [6,1,6,7,8,9,10,8], [7,0,2,5,7,19,7,5]], # 行内有重复值 7 和 5 columns = ['Row_Num', 'Num1','Num2','Num3','Num4','Num5','Num6','Num7'])print("原始DataFrame:")print(df)
我们的目标是从Num1到Num7这些列中，找出那些包含多个相同值的行，并根据需求提取不同的结果。
核心步骤：识别行内重复值
要识别行内的重复值，Pandas提供了duplicated()方法。关键在于正确使用axis参数。
1. 设置索引
为了更方便地进行行级操作和结果的追踪，我们通常会将表示行号的列（例如Row_Num）设置为DataFrame的索引。
df_indexed = df.set_index('Row_Num')print("n设置Row_Num为索引后的DataFrame:")print(df_indexed)
2. 生成重复值布尔掩码
df.duplicated(axis=1)方法用于检测行内（axis=1）的重复值。然而，直接应用于DataFrame会返回整个DataFrame的布尔值。更灵活的方法是使用df.transform()结合lambda函数，对每一行应用pd.Series.duplicated()。
# 对每一行应用duplicated()方法，生成一个布尔DataFrame，指示每个元素是否为行内重复值df_duplicated_mask = df_indexed.transform(lambda x: x.duplicated(), axis=1)print("n行内重复值布尔掩码 (df_duplicated_mask):")print(df_duplicated_mask)
在这个布尔掩码中，True表示该位置的值在其所在行中是重复出现的（即不是第一次出现）。
筛选包含重复值的目标行
现在我们有了指示哪些值是重复的布尔掩码，下一步是识别哪些行整体上包含“多个相同值”。根据问题描述，这意味着一行中至少有一个值出现了两次或更多次。我们可以通过计算每行df_duplicated_mask中True的数量来判断。如果某行True的数量大于等于1（即sum(axis=1) >= 1），就说明该行包含重复值。原始问题中提到“more than 1 of the same values”，即至少有两个相同的值，这意味着至少有一个值被标记为重复。因此，我们筛选df_duplicated_mask.sum(axis=1) >= 1的行。
# 筛选出至少包含一个重复值的行# 注意：df.duplicated()默认标记除第一次出现外的所有重复项。# 因此，如果一行中有一个值重复，那么至少会有一个True。rows_with_duplicates_condition = df_duplicated_mask.sum(axis=1) >= 1 print("n筛选出包含重复值的行（布尔序列）:")print(rows_with_duplicates_condition)# 应用条件筛选原始DataFrame和布尔掩码target_df = df_indexed[rows_with_duplicates_condition]target_duplicated_mask = df_duplicated_mask[rows_with_duplicates_condition]print("n筛选后的目标DataFrame (target_df):")print(target_df)print("n筛选后的重复值布尔掩码 (target_duplicated_mask):")print(target_duplicated_mask)
提取结果一：非重复值或首次出现值
第一种提取需求是获取这些目标行中，那些非重复出现的值，或者说是首次出现的值。这可以通过将目标DataFrame与布尔掩码的反向进行逻辑与操作来实现。
# 使用 ~target_duplicated_mask 筛选出非重复值或首次出现的值# .dropna(axis=1) 用于移除筛选后可能产生的全NaN列result1 = target_df[~target_duplicated_mask].dropna(axis=1)print("n结果一：非重复值或首次出现值 (result1):")print(result1)
结果分析:对于Row_Num为4的行，原始数据是 [6,7,14,29,32,6,29]。重复值是6和29。~target_duplicated_mask会保留6、7、14、29、32（即第一次出现的6和29，以及其他非重复值）。对于Row_Num为7的行，原始数据是 [0,2,5,7,19,7,5]。重复值是7和5。~target_duplicated_mask会保留0、2、5、7、19。
这个结果与问题中df2的示例输出基本一致，它返回了每行中所有非重复值以及重复值第一次出现的位置。
提取结果二：仅重复值
第二种需求是仅提取这些目标行中重复出现的值。这可以通过将目标DataFrame与布尔掩码本身进行逻辑与操作来实现。
# 使用 target_duplicated_mask 筛选出重复值# .dropna(axis=1) 用于移除筛选后可能产生的全NaN列result2 = target_df[target_duplicated_mask].dropna(axis=1)print("n结果二：仅重复值 (result2):")print(result2)
结果分析:对于Row_Num为4的行，原始数据是 [6,7,14,29,32,6,29]。重复值是6和29。target_duplicated_mask会标记第二次出现的6和29。对于Row_Num为7的行，原始数据是 [0,2,5,7,19,7,5]。重复值是7和5。target_duplicated_mask会标记第二次出现的7和5。
这个结果与问题中df3的示例输出完全一致，它成功提取了每行中被标记为重复的值。
输出格式调整与注意事项
1. 重置索引和列名调整
如果需要将Row_Num从索引恢复为普通列，并调整列名以匹配特定的输出格式，可以使用reset_index()和列重命名操作。
# 示例：对result2进行重置索引和列重命名final_result2 = result2.reset_index()# 根据实际提取的重复值数量，手动调整列名# 例如，如果知道最多只有两列重复值，可以这样命名final_result2.columns = ['Row_Num', 'Num_Dup1', 'Num_Dup2'] print("n调整格式后的结果二:")print(final_result2)
2. duplicated()方法的行为
默认行为: pd.Series.duplicated()（以及DataFrame.duplicated()）默认标记除第一次出现外的所有重复项（keep=’first’）。这意味着如果一个值出现3次，只有第2和第3次会被标记为True。标记所有重复项: 如果需要将所有重复项（包括第一次出现）都标记为True，可以使用keep=False参数。
# 示例：标记所有重复项df_duplicated_all_mask = df_indexed.transform(lambda x: x.duplicated(keep=False), axis=1)print("n标记所有重复项的布尔掩码:")print(df_duplicated_all_mask)
根据具体需求选择keep参数的值。在本教程的场景中，默认的keep=’first’足以识别“有重复值”的行并提取后续重复项。
3. NaN值处理
如果原始数据中包含NaN值，duplicated()方法默认会将它们视为不相等的值（即NaN == NaN为False），因此NaN不会被标记为重复。如果需要将NaN视为重复值，可能需要在执行duplicated()之前对NaN进行填充（例如，使用一个特殊值），或者进行其他预处理。
4. 性能考量
对于非常大的DataFrame，transform结合lambda可能会有性能开销。在极端情况下，可以考虑使用更底层的NumPy操作或针对特定场景优化的库来提高效率。然而，对于大多数常见的数据集，Pandas的内置方法通常足够高效。
总结
本教程详细介绍了如何在Pandas DataFrame中高效地识别并提取行内重复值。通过以下核心步骤，我们可以灵活地处理这类数据清洗和特征工程任务：
设置索引：便于行级操作和结果追踪。生成布尔掩码：利用df.transform(lambda x: x.duplicated(), axis=1)精确识别行内重复值。筛选目标行：根据布尔掩码的总和筛选出包含重复值的行。按需提取：根据~mask（非重复值/首次出现）或mask（仅重复值）来提取所需数据。
掌握这些技术，将大大提升您在处理复杂数据结构时的数据操作能力，为后续的数据分析和建模奠定坚实基础。
以上就是Pandas DataFrame行内重复值的高效识别与提取教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1371576.html
微信扫一扫 
支付宝扫一扫 
