本教程详细介绍了如何使用 Pandas 高效地向现有 DataFrame 添加新数据，同时自动识别并移除重复项，并确保序列化的 ID 列能够正确更新。文章通过 `pd.concat` 和 `drop_duplicates` 的组合应用，展示了一种简洁且性能优越的数据处理方法，避免了传统迭代方式可能导致的索引和性能问题，确保数据完整性和一致性。
在数据处理和分析中，我们经常需要向现有数据集（通常以 Pandas DataFrame 的形式存在）添加新的记录。一个常见的挑战是，在添加新数据时，需要确保新记录不会与现有记录重复，并且如果数据中包含一个序列化的 ID 列，该列在添加新数据后仍能保持其连续性和正确性。本教程将介绍一种使用 Pandas 高效解决此问题的方法。
问题分析与传统方法局限
假设我们有一个包含 Id 和 Name 列的 DataFrame，其中 Id 是一个从0开始递增的唯一标识符。我们希望添加一个新项列表，但要排除那些 Name 值已经存在于 DataFrame 中的项，并在添加后重新生成连续的 Id。
传统上，一些用户可能会尝试通过迭代新项列表，并使用 df.append()（或其在 Pandas 2.0+ 中的替代方法 pd.concat([df, new_row_df])）逐行添加，然后再调用 df.drop_duplicates()。然而，这种方法存在几个问题：
性能问题： 逐行追加操作在处理大量数据时效率低下，因为它可能导致 DataFrame 的频繁重构。索引管理： append() 或 pd.concat() 默认会保留原始索引，这可能导致在去重或重新排序后，索引变得不连续或重复。ID 列的复杂性： 如果在去重前尝试分配新的 Id，去重后可能导致 Id 不连续或存在跳跃。如果在去重后分配，则需要一种有效的方式来重新生成整个 Id 列。
高效解决方案：合并、去重与重置ID
Pandas 提供了一种更优雅、更高效的方法来处理这类场景，即结合使用 pd.concat() 进行数据合并，drop_duplicates() 进行去重，以及在去重后统一重置 Id 列。
1. 准备示例数据
首先，我们创建一个初始的 DataFrame 和要添加的新项列表。
import pandas as pd# 初始 DataFramedata = {'Id': [0, 1, 2, 3], 'Name': ['Alpha', 'Beta', 'Gamma', 'Delta']}df_original = pd.DataFrame(data)print("原始 DataFrame:")print(df_original)# 待添加的新项列表items_to_add = ["Epsilon", "Beta", "Zeta"]print("n待添加的新项:", items_to_add)
输出:
原始 DataFrame: Id Name0 0 Alpha1 1 Beta2 2 Gamma3 3 Delta待添加的新项: ['Epsilon', 'Beta', 'Zeta']
2. 将新项转换为 DataFrame
为了使用 pd.concat()，我们需要将 items_to_add 列表转换为一个 DataFrame。
df_new_items = pd.DataFrame({"Name": items_to_add})print("n新项 DataFrame:")print(df_new_items)
输出:
新项 DataFrame: Name0 Epsilon1 Beta2 Zeta
3. 合并 DataFrame 并去重
现在，我们将原始 DataFrame 和新项 DataFrame 合并，然后基于 Name 列进行去重。drop_duplicates(subset=”Name”) 将会检查 Name 列，并默认保留每个重复项的第一个出现。
# 合并原始 DataFrame 和新项 DataFrame# 注意：这里不需要对df_new_items使用ignore_index=True，因为后续会重新设置Id列df_combined = pd.concat([df_original, df_new_items])# 基于 'Name' 列去重，保留第一次出现的记录df_final = df_combined.drop_duplicates(subset="Name", keep='first')print("n合并并去重后的 DataFrame (Id尚未重置):")print(df_final)
输出:
合并并去重后的 DataFrame (Id尚未重置): Id Name0 0 Alpha1 1 Beta2 2 Gamma3 3 Delta0 NaN Epsilon2 NaN Zeta
解释:可以看到，Beta 因为在 df_original 中已经存在，所以被去重了。Epsilon 和 Zeta 是新添加的，它们在合并后的 df_combined 中被保留。但由于 df_new_items 中没有 Id 列，pd.concat 会自动填充 NaN。这正是我们下一步需要解决的问题。
4. 重置 Id 列
最后一步是为去重后的 DataFrame 重新生成一个连续的 Id 列。我们可以通过 range(len(df_final)) 来实现。
df_final["Id"] = range(len(df_final))print("n最终结果 DataFrame (Id已重置):")print(df_final)
输出:
最终结果 DataFrame (Id已重置): Id Name0 0 Alpha1 1 Beta2 2 Gamma3 3 Delta4 4 Epsilon5 5 Zeta
现在，Id 列已经正确地从0开始连续递增，并且所有重复的 Name 都已被移除。
完整代码示例
import pandas as pd# 1. 初始 DataFramedata = {'Id': [0, 1, 2, 3], 'Name': ['Alpha', 'Beta', 'Gamma', 'Delta']}df_original = pd.DataFrame(data)print("原始 DataFrame:")print(df_original)# 2. 待添加的新项列表items_to_add = ["Epsilon", "Beta", "Zeta"]print("n待添加的新项:", items_to_add)# 3. 将新项转换为 DataFramedf_new_items = pd.DataFrame({"Name": items_to_add})# 4. 合并原始 DataFrame 和新项 DataFramedf_combined = pd.concat([df_original, df_new_items])# 5. 基于 'Name' 列去重，保留第一次出现的记录df_final = df_combined.drop_duplicates(subset="Name", keep='first')# 6. 重置 Id 列，确保其从0开始连续递增df_final["Id"] = range(len(df_final))print("n最终处理结果:")print(df_final)# 如果需要保存到 CSV 文件# df_final.to_csv('output.csv', index=False)
注意事项与最佳实践
keep 参数： drop_duplicates() 方法中的 keep 参数非常重要。keep=’first’ (默认值)：保留第一次出现的重复项。keep=’last’：保留最后一次出现的重复项。keep=False：删除所有重复项（即如果一个值出现多次，所有这些行都会被删除）。根据具体需求选择。在本教程中，我们希望保留原始数据中的项，因此 keep=’first’ 是合适的。性能： 使用 pd.concat() 结合 drop_duplicates() 是处理这类批量数据操作的高效方法，远优于循环逐行添加。索引： 在 pd.concat() 之后，DataFrame 的索引可能会变得混乱（例如，新添加行的索引可能从0开始重复）。但由于我们最终会重新设置 Id 列，并且 Id 列是我们的主要标识符，原始索引的混乱通常不是问题。如果需要一个干净的、从0开始的 Pandas 内部索引，可以在 df_final[“Id”] = range(len(df_final)) 之后再调用 df_final = df_final.reset_index(drop=True)。数据类型： 确保 Name 列的数据类型一致，以便 drop_duplicates() 正确工作。
总结
通过结合使用 pd.concat() 进行高效的数据合并，drop_duplicates(subset=”Name”) 进行基于特定列的去重，以及 df[“Id”] = range(len(df)) 进行 ID 列的重新序列化，我们可以优雅且高效地解决向 DataFrame 添加去重数据并维护连续 ID 的问题。这种方法不仅代码简洁，而且在处理大规模数据集时表现出卓越的性能。
以上就是Pandas 数据去重与ID序列化：高效向 DataFrame 添加新行的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1379912.html
微信扫一扫 
支付宝扫一扫 
