本文档旨在介绍如何使用 Pandas DataFrame 有效地过滤掉重复项，并为每个重复组保留指定数量的最新记录。我们将演示如何根据特定列识别重复项，并利用 groupby() 和 tail() 函数实现高效的数据筛选，特别适用于大型数据集。
在数据分析和处理中，经常需要处理包含重复项的数据集。 有时，我们需要识别这些重复项并将其删除，但同时希望保留每个重复组中的一部分记录（例如，最新的几条记录）。 Pandas 提供了强大的工具来实现这一目标，尤其是在处理大型数据集时，效率至关重要。
以下是如何使用 Pandas 实现此操作的详细步骤和示例：
1. 导入 Pandas 库
首先，确保你已经安装了 Pandas 库。 如果没有，可以使用 pip install pandas 命令进行安装。 然后，在你的 Python 脚本中导入 Pandas：
import pandas as pd
2. 创建或加载 DataFrame
为了演示，我们创建一个示例 DataFrame，类似于问题中提供的结构：
data = { 'id': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 'first_name': ['John', 'John', 'John', 'Mark', 'John', 'Mark', 'John', 'Mark', 'Mark', 'John'], 'last_name': ['Doe', 'Doe', 'Doe', 'Kay', 'Doe', 'Kay', 'Doe', 'Kay', 'Kay', 'Doe'], 'sex': ['Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male'], 'country': ['USA', 'Canada', 'Mexico', 'Italy', 'Spain', 'France', 'Peru', 'India', 'Laos', 'Benin']}df = pd.DataFrame(data)print(df)
3. 根据特定列排序 DataFrame
为了确保我们保留的是每个重复组中最新的记录，我们需要根据一个能区分记录顺序的列（例如，id 列）对 DataFrame 进行排序。 通常，id 越大，记录越新。
df = df.sort_values(by='id')print(df)
4. 使用 groupby() 和 tail() 删除重复项并保留最新记录
这是核心步骤。 我们使用 groupby() 方法根据需要识别重复项的列（例如，first_name、last_name 和 sex）对 DataFrame 进行分组。 然后，对于每个组，我们使用 tail(n) 方法选择最后 n 条记录，其中 n 是要保留的记录数。 在这个例子中，我们保留每组的最后 3 条记录。
result_df = df.groupby(['first_name', 'last_name', 'sex']).tail(3)print(result_df)
5. 重置索引（可选）
分组和筛选操作可能会导致索引不连续。 如果需要，可以重置索引以使其连续：
result_df = result_df.reset_index(drop=True)print(result_df)
完整代码示例
import pandas as pd# 示例 DataFramedata = { 'id': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 'first_name': ['John', 'John', 'John', 'Mark', 'John', 'Mark', 'John', 'Mark', 'Mark', 'John'], 'last_name': ['Doe', 'Doe', 'Doe', 'Kay', 'Doe', 'Kay', 'Doe', 'Kay', 'Kay', 'Doe'], 'sex': ['Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male', 'Male'], 'country': ['USA', 'Canada', 'Mexico', 'Italy', 'Spain', 'France', 'Peru', 'India', 'Laos', 'Benin']}df = pd.DataFrame(data)# 排序df = df.sort_values(by='id')# 分组并保留最后 3 条记录result_df = df.groupby(['first_name', 'last_name', 'sex']).tail(3)# 重置索引result_df = result_df.reset_index(drop=True)# 打印结果print(result_df)
注意事项和总结
排序的重要性： 在使用 tail() 方法之前，务必根据合适的列对 DataFrame 进行排序，以确保保留的是最新的记录。 如果不排序，则保留的将是每个组中的最后 n 条记录，但这可能不是你想要的。内存使用： 对于非常大的数据集，groupby() 操作可能会占用大量内存。 如果遇到内存问题，可以考虑使用 Dask 或其他分布式计算框架。性能优化： groupby() 和 tail() 方法通常已经非常高效。 但是，如果性能仍然是瓶颈，可以尝试使用 Cython 或 Numba 等工具来加速代码。灵活性： 此方法非常灵活，可以轻松地调整要分组的列以及要保留的记录数。替代方案： 虽然问题中提到了使用 Spark 的 Window 函数，但对于 Pandas DataFrame，groupby() 和 tail() 通常是更简洁和高效的解决方案。
通过使用 Pandas 的 groupby() 和 tail() 方法，可以有效地从 DataFrame 中删除重复项，并为每个重复组保留指定数量的最新记录。 这种方法简单、灵活且高效，非常适合处理各种数据分析任务。
以上就是Pandas DataFrame 中高效去除重复项并保留指定数量的最新记录的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1370200.html
微信扫一扫 
支付宝扫一扫 
