本教程旨在解决pandas中合并多个大型dataframe时遇到的列重复和内存效率问题。当dataframe已按索引对齐，且`pd.merge`因列数过多导致性能瓶颈时，我们将深入探讨如何利用`pd.dataframe.update`方法，结合列集合操作，高效地将多个dataframe合并为一个，同时避免列名冲突、保持列顺序，并有效管理内存，特别适用于具有相同id列且行数一致的数据集。
引言：Pandas DataFrame合并的挑战
在数据处理中，我们经常需要将多个DataFrame合并成一个。Pandas提供了强大的pd.merge函数，但当面临以下特定场景时，其局限性会变得突出：
大量列（Wide DataFrames）: 每个DataFrame包含数万列，例如40,000列以上。重复列名: 除了作为合并键的列（如id），多个DataFrame中还存在其他同名列。内存效率: pd.merge在处理重复列时会添加_x和_y后缀，这会创建额外的列，对于极宽的DataFrame而言，不仅增加内存消耗，后续清理也变得非常耗时。数据对齐: 所有DataFrame都基于一个共同的键（如id列）进行对齐，并且行数一致，意味着它们实际上是同一组记录的不同属性集合。
在这种情况下，pd.merge即使配合suffixes选项，也难以高效地完成任务。本教程将介绍一种基于pd.DataFrame.update的替代方案，它更适合处理这种场景。
pd.DataFrame.update方法简介
pd.DataFrame.update方法用于将一个DataFrame中的非NA值更新到另一个DataFrame中。它的核心特点是：
按索引和列名对齐: 它会根据目标DataFrame和源DataFrame的索引和列名进行匹配。非NA值更新: 源DataFrame中的非NA值会覆盖目标DataFrame中对应的位置。不创建新列: 如果源DataFrame中存在目标DataFrame中没有的列，这些列会被添加到目标DataFrame中。如果源DataFrame中的列在目标DataFrame中已存在，则会更新其值，而不会创建新的重复列。
正是由于这些特性，update方法成为了解决上述合并问题的理想选择。
使用update方法合并DataFrame
以下是使用pd.DataFrame.update方法合并多个DataFrame的具体步骤和示例。
示例数据准备
我们首先定义三个示例DataFrame，它们都包含一个id键，以及一些共享和独有的列。
import pandas as pdfrom functools import reducedf1 = pd.DataFrame({ 'id': ['a', 'b', 'c'], 'col1': [123, 121, 111], 'col2': [456, 454, 444], 'col3': [786, 787, 777],})df2 = pd.DataFrame({ 'id': ['a', 'b', 'c'], 'col1': [123, 121, 111], 'col2': [456, 454, 444], 'col4': [11, 44, 77],})df3 = pd.DataFrame({ 'id': ['a', 'b', 'c'], 'col1': [123, 121, 111], 'col2': [456, 454, 444], 'col5': [1786, 1787, 1777],})# 将所有DataFrame放入一个列表中dfs = [df1, df2, df3]
步骤一：收集所有唯一的列名并确定最终顺序
为了确保最终DataFrame包含所有必要的列，并且保持我们期望的列顺序，我们需要首先收集所有输入DataFrame的列名集合。
# 使用functools.reduce和集合的union操作来获取所有唯一的列名# sort=False 参数保持原始列的顺序，避免不必要的排序开销all_unique_cols = reduce(lambda a, b: a.union(b, sort=False), (x.columns for x in dfs))print("所有唯一列名及其顺序:", all_unique_cols.tolist())# 预期输出: ['id', 'col1', 'col2', 'col3', 'col4', 'col5']
这里，reduce函数迭代dfs列表中的每个DataFrame，并对其列名执行union操作。pd.Index.union方法会返回两个索引的并集，sort=False参数可以避免对结果进行排序，从而保持列的原始发现顺序。
步骤二：初始化目标DataFrame
接下来，我们创建一个空的或基于第一个DataFrame初始化的目标DataFrame。这个DataFrame将具有与所有输入DataFrame相同的索引，并包含所有唯一的列。
方法一：创建空的DataFrame
# 基于第一个DataFrame的索引和所有唯一列名创建一个空的DataFrame# 这样可以确保最终DataFrame的行数和索引与输入一致final_df = pd.DataFrame(index=dfs[0].index, columns=all_unique_cols)print("初始化后的DataFrame (方法一):n", final_df)
这个方法会创建一个所有值为NaN的DataFrame，然后通过update逐步填充。
方法二：使用第一个DataFrame进行初始化
# 使用第一个DataFrame的内容作为基础，并确保包含所有唯一的列# 这样可以避免第一次迭代时填充NaN值final_df_variant = pd.DataFrame(dfs[0], columns=all_unique_cols)print("初始化后的DataFrame (方法二):n", final_df_variant)
这种方法在初始化时就包含了第一个DataFrame的所有数据，对于后续的update操作可能略微高效，因为它不需要填充第一个DataFrame的NaN值。
步骤三：迭代更新目标DataFrame
无论是哪种初始化方法，接下来的更新逻辑都是相同的。我们遍历所有输入DataFrame，并使用update方法将它们的数据合并到目标DataFrame中。
针对方法一的更新：
# 遍历所有DataFrame，并使用update方法将数据合并到final_df中for df in dfs: final_df.update(df)print("n最终合并结果 (方法一):n", final_df)
针对方法二的更新：
# 遍历除第一个DataFrame之外的其余DataFrame，并更新final_df_variantfor df in dfs[1:]: # 注意这里从第二个DataFrame开始迭代 final_df_variant.update(df)print("n最终合并结果 (方法二):n", final_df_variant)
两种方法都会产生相同的最终结果：
id col1 col2 col3 col4 col50 a 123 456 786 11 17861 b 121 454 787 44 17872 c 111 444 777 77 1777
优势与注意事项
优势
内存效率高: 避免了pd.merge在处理重复列时创建大量带有_x, _y后缀的中间列，显著降低内存消耗。这对于拥有数万列的DataFrame尤其重要。避免列名冲突: update方法会自动处理重复列，它会用源DataFrame中的值更新目标DataFrame中已存在的列，而不会创建新的列。保持列顺序: 通过预先收集所有列名并指定顺序，可以精确控制最终DataFrame的列顺序。适用于对齐数据: 当多个DataFrame的索引（或通过set_index设置的键）已经对齐时，此方法非常高效。
注意事项
索引对齐是关键: pd.DataFrame.update是基于索引进行匹配和更新的。如果你的DataFrame不是通过id列作为索引对齐的，你需要先使用df.set_index(‘id’, inplace=True)将id列设置为索引。在上面的示例中，由于所有DataFrame的默认整数索引是隐式对齐的（行数相同且顺序一致），所以可以直接使用。值覆盖逻辑: update方法会用源DataFrame中的非NA值覆盖目标DataFrame中的对应值。如果多个输入DataFrame在同一个共享列的同一个位置都有非NA值，那么最后被update的DataFrame的值将是最终结果。这意味着迭代顺序很重要。性能: 对于少量DataFrame和少量列，pd.merge可能更简洁。但当DataFrame数量众多、列数巨大且存在大量重复列时，update方案的性能优势会非常明显。
总结
当面对需要合并大量、宽且已按键对齐的Pandas DataFrame，同时希望避免列名重复和优化内存使用时，传统的pd.merge方法可能力不从心。本文介绍的基于pd.DataFrame.update的策略，通过预先识别所有唯一列并迭代更新目标DataFrame，提供了一个高效且内存友好的解决方案。掌握这一技巧，将使您在处理大规模复杂数据集时更加得心应手。
以上就是Pandas高效合并DataFrame：避免列重复并保持列顺序的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381212.html
微信扫一扫 
支付宝扫一扫 
