本教程旨在解决数据分析中常见的挑战：如何从Pandas DataFrame中高效地筛选出基于特定列的重复项，并仅保留每组重复项中的最新N条记录。我们将探讨一种简洁且性能优越的方法，即利用groupby().tail()组合操作，并提供详细的代码示例与性能考量，以帮助读者在处理大规模数据集时做出最佳选择。
引言：数据帧重复项处理的挑战
在数据清洗和预处理阶段，处理数据帧中的重复记录是一项常见任务。有时，我们不仅需要识别重复项，还需要根据特定业务逻辑进行筛选，例如，保留每组重复项中的最新或最旧的几条记录。当数据集规模庞大时，选择一个高效的处理方法至关重要，以避免不必要的计算资源消耗和漫长的等待时间。
考虑一个场景，您有一个包含用户活动记录的数据帧，其中可能存在基于用户姓名和性别等信息的多条记录。您的目标是针对每个唯一的姓名-性别组合，仅保留其最新的三条活动记录。
常见但可能效率较低的方法（基于窗口函数）
一种常见的思路是使用窗口函数（在PySpark等分布式计算框架中尤为常见，但在Pandas中也可以通过模拟实现）。其基本步骤包括：
分区 (PartitionBy)：根据重复项的定义列（例如 first_name, last_name, sex）对数据进行分组。排序 (OrderBy)：在每个分区内，根据一个唯一标识符（例如 id 列，代表记录的顺序或时间戳）进行排序，通常是降序以获取最新记录。行号分配 (row_number)：为每个分区内的记录分配一个行号。过滤 (Filter)：筛选出 row_number 小于或等于N的记录。
以下是这种思路的示例代码（模仿Spark的Window函数概念）：
# 假设df是一个Pandas DataFrame，且F是pandas的函数别名# import pandas.api.extensions as F# from pandas.core.window import RollingGroupby, ExpandingGroupby # 实际Pandas中没有直接的Window函数# 这里的代码是用户尝试的Spark风格代码，在Pandas中实现会更复杂，且可能效率不高# window_spec = Window.partitionBy('first_name', 'last_name', 'sex').orderBy(F.desc('id'))# df_with_row_number = df.withColumn('row_number', F.row_number().over(window_spec))# filtered_df = df_with_row_number.filter('row_number <= 3')# result_df = filtered_df.drop('row_number')
尽管这种方法逻辑清晰，但在处理大规模Pandas DataFrame时，手动实现复杂的窗口函数逻辑（如自定义排序和行号分配）可能涉及多次数据遍历和中间DataFrame的创建，从而导致性能开销较大，尤其是在内存使用方面。
Pandas groupby().tail() 的高效解决方案
Pandas库提供了一个更为简洁和高效的方法来解决这个问题：groupby().tail()。这个组合操作允许我们首先根据指定的列对数据帧进行分组，然后从每个组的末尾（或头部）选择指定数量的行。结合预排序，这可以非常高效地实现我们的目标。
示例代码
让我们通过一个具体的例子来演示如何使用 groupby().tail(N) 来筛选并保留每组重复项的最后N条记录。
import pandas as pd# 原始数据帧示例data = { 'id': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 'first_name': ['John', 'John', 'John', 'Mark', 'John', 'Mark', 'John', 'Mark', 'Mark', 'John'], 'last_name': ['Doe', 'Doe', 'Doe', 'Kay', 'Doe', 'Kay', 'Doe', 'Kay', 'Kay', 'Doe'], 'sex': ['Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male'], 'country': ['USA', 'Canada', 'Mexico', 'Italy', 'Spain', 'France', 'Peru', 'India', 'Laos', 'Benin']}df = pd.DataFrame(data)print("原始数据帧:")print(df)print("-" * 30)# 步骤1: 确保数据按 'id' 列（或其他代表顺序的列）排序# 这一步至关重要，它定义了“最后N个”的含义。# 如果id越大代表越新，则按id升序排列。df_sorted = df.sort_values(by='id', ascending=True)# 步骤2: 使用 groupby() 和 tail() 保留每组的最后3条记录# 根据 'first_name', 'last_name', 'sex' 进行分组，并从每个组的末尾选择3条记录result_df = df_sorted.groupby(['first_name', 'last_name', 'sex']).tail(3)# 步骤3: 重置索引（可选）# 如果需要一个干净的、从0开始的整数索引，可以执行此步骤。result_df = result_df.reset_index(drop=True)print("n筛选后的数据帧 (保留每组最新3条):")print(result_df)
代码详解
数据准备: 首先，我们创建了一个示例 pd.DataFrame，它模拟了具有重复 first_name, last_name, sex 组合的数据。数据排序 (df.sort_values(by=’id’, ascending=True)): 这是实现“保留最新N条”的关键一步。tail(N) 方法总是从组的末尾选择行。因此，为了确保这些“末尾”的行确实是您想要的“最新”记录，您必须在执行 groupby().tail() 之前，根据一个能够表示记录顺序（例如时间戳、ID号）的列对整个数据帧进行排序。在这里，我们假设 id 值越大代表记录越新，因此按 id 升序排列。分组与截取 (df_sorted.groupby([‘first_name’, ‘last_name’, ‘sex’]).tail(3)):groupby([‘first_name’, ‘last_name’, ‘sex’])：根据 first_name, last_name, sex 这三列的值将数据帧分成多个逻辑组。例如，所有 John Doe Male 的记录将形成一个组。.tail(3)：对于每个分组，此方法会选择该组中最后3行。由于我们之前已经按 id 进行了排序，这确保了选出的3行是该组中 id 值最大的（即最新的）3条记录。重置索引 (result_df.reset_index(drop=True)): groupby().tail() 操作会保留原始索引。如果您希望结果数据帧拥有一个从0开始的连续新索引，可以使用 reset_index(drop=True)。drop=True 参数表示不将旧索引作为新列添加到数据帧中。
输出结果
执行上述代码后，您将得到以下结果：
原始数据帧: id first_name last_name sex country0 1 John Doe Male USA1 2 John Doe Male Canada2 3 John Doe Male Mexico3 4 Mark Kay Male Italy4 5 John Doe Male Spain5 6 Mark Kay Male France6 7 John Doe Male Peru7 8 Mark Kay Male India8 9 Mark Kay Male Laos9 10 John Doe Male Benin------------------------------筛选后的数据帧 (保留每组最新3条): id first_name last_name sex country0 5 John Doe Male Spain1 6 Mark Kay Male France2 7 John Doe Male Peru3 8 Mark Kay Male India4 9 Mark Kay Male Laos5 10 John Doe Male Benin
性能考量与最佳实践
效率对比: groupby().tail() 方法在Pandas中通常比手动实现复杂的窗口函数（如使用 apply 结合自定义逻辑）更高效。Pandas的 groupby 操作是高度优化的，并且 tail 方法直接作用于分组对象，减少了中间数据结构的创建和内存消耗。排序的重要性: 务必记住，tail(N) 总是选择组的“末尾”N行。如果“最新”或“最旧”有特定定义，您必须在 groupby 之前对数据帧进行适当的排序。要保留最新N条，按时间/ID升序排序，然后使用 tail(N)。要保留最旧N条，按时间/ID降序排序，然后使用 tail(N)，或者更直接地使用 head(N) (在升序排序后)。数据规模: 对于中等规模的数据集（GB级别），Pandas的 groupby().tail() 表现优异。对于超大规模数据集（TB级别或更大），您可能需要考虑使用分布式计算框架，如PySpark，其中窗口函数是其核心功能，并能更好地利用集群资源。处理 NaN 值: groupby 操作默认会忽略分组键中的 NaN 值。如果您的分组列中可能包含 NaN，并且您希望将它们视为一个独立的组或进行特定处理，请在 groupby 之前进行适当的缺失值处理（如填充或删除）。
总结
本教程详细介绍了如何利用Pandas的 groupby().tail() 方法高效地从数据帧中筛选出基于特定列的重复项，并仅保留每组的最新N条记录。通过结合 sort_values 进行预排序，这种方法不仅代码简洁，而且在性能上通常优于手动实现的窗口函数逻辑。理解并正确应用这些Pandas操作，将极大地提升您在数据清洗和预处理任务中的效率。
以上就是数据帧中高效筛选重复项并保留最新N条记录的教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1370210.html
微信扫一扫 
支付宝扫一扫 
