本文详细介绍了在pandas dataframe中将多列堆叠并重塑为更简洁结构的三种高效方法。通过实例代码，分别演示了如何利用multiindex、`melt`与`pivot`组合以及`janitor`库的`pivot_longer`函数来实现数据从宽格式到长格式的转换，旨在帮助用户根据具体场景选择最合适的重塑策略，提升数据处理效率。
在数据分析和处理中，经常需要对DataFrame的结构进行调整，以适应不同的分析需求或模型输入。其中一个常见场景是将多个具有相似语义的列堆叠（stack）成少数几列，同时引入一个标识原始列来源的新列。例如，将包含左右侧（left_和right_）计数（_count）和总和（_sum）的列重塑为包含side、count和sum的更紧凑格式。
考虑以下初始DataFrame：
import pandas as pddf = pd.DataFrame({ 'date': ['2023-12-01', '2023-12-05', '2023-12-07'], 'other_col': ['a', 'b', 'c'], 'right_count': [4, 7, 9], 'right_sum': [2, 3, 5], 'left_count': [1, 8, 5], 'left_sum': [0, 8, 4]})print("原始DataFrame:")print(df)
期望的输出格式如下：
date other_col side count sum0 2023-12-01 a right 4 21 2023-12-05 b right 7 32 2023-12-07 c right 9 53 2023-12-01 a left 1 04 2023-12-05 b left 8 85 2023-12-07 c left 5 4
下面将介绍三种实现此重塑目标的方法。
方法一：利用MultiIndex和stack进行自定义重塑
这种方法通过巧妙地构建一个临时的MultiIndex（多级索引）来组织列，然后使用stack操作将数据从宽格式转换为长格式。
设置索引：首先，将不需要重塑的列（如date, other_col）设置为DataFrame的索引。创建MultiIndex列：将剩余的列名（如right_count, left_sum）通过下划线_拆分，创建两级列索引，其中第一级表示side（如right, left），第二级表示度量类型（如count, sum）。重命名列轴：为MultiIndex的列轴命名，使其更具可读性。堆叠：使用stack(‘side’)将第一级列索引（side）堆叠到行索引中。重置索引：最后，将所有索引重置为列，并清理生成的列名。
out_multiindex = (df .set_index(['date', 'other_col']) # 1. 设置索引 .pipe(lambda x: x.set_axis(x.columns.str.split('_', expand=True), axis=1)) # 2. 创建MultiIndex列 .rename_axis(columns=['side', None]) # 3. 重命名列轴 .stack('side') # 4. 堆叠'side'层 .reset_index() # 5. 重置索引)print("n方法一：使用MultiIndex和stack")print(out_multiindex)
注意事项：这种方法非常灵活，适用于列名具有清晰分隔符，并且需要将特定层级的列名转换为新列的场景。它要求对Pandas的MultiIndex操作有一定理解。
方法二：结合melt和pivot操作
melt和pivot是Pandas中进行数据重塑的两个核心函数，它们组合起来可以实现复杂的宽长格式转换。
melt操作：首先，使用melt函数将所有需要重塑的列“融化”到一个新的value列中，同时创建一个side（这里暂时命名为var_name）列来存储原始的列名。拆分列名：将melt生成的side列（如right_count）拆分为两部分：实际的side（right或left）和度量类型（count或sum）。pivot操作：最后，使用pivot函数，将拆分出的度量类型作为新的列名，value列的数据填充到这些新列中，并以date、other_col和side作为新的行索引。重置索引和清理：重置索引并清理pivot操作可能留下的MultiIndex列名。
tmp = df.melt(['date', 'other_col'], var_name='temp_col') # 1. melt操作# 2. 拆分列名tmp[['side', 'col_type']] = tmp['temp_col'].str.split('_', n=1, expand=True)out_melt_pivot = (tmp.pivot(index=['date', 'other_col', 'side'], columns='col_type', values='value') # 3. pivot操作 .reset_index() # 4. 重置索引 .rename_axis(columns=None) # 清理列名 )print("n方法二：结合melt和pivot")print(out_melt_pivot)
注意事项：melt和pivot是Pandas中非常常用的重塑工具，理解它们的工作原理对于处理各种数据格式至关重要。这种方法通常更易于理解和调试，因为它将重塑过程分解为几个逻辑步骤。
方法三：使用janitor库的pivot_longer函数
对于更复杂的重塑任务，或者当需要更简洁的语法时，可以考虑使用第三方库pyjanitor。它提供了类似R语言tidyr包的pivot_longer功能，能够以更声明式的方式处理宽长格式转换。
安装janitor：如果尚未安装，需要先安装pyjanitor库。
pip install pyjanitor
导入janitor：在代码中导入janitor。使用pivot_longer：指定不变的索引列（index），以及如何将原始列名映射到新的列（names_to）和如何解析原始列名（names_pattern）。names_pattern使用正则表达式来捕获列名的不同部分。
# pip install pyjanitorimport janitorout_janitor = df.pivot_longer(index=['date', 'other_col'], names_to=('side', '.value'), names_pattern=r'([^_]+)_([^_]+)')print("n方法三：使用janitor库的pivot_longer")print(out_janitor)
注意事项：janitor库的pivot_longer函数提供了强大的正则表达式匹配能力，使得处理具有复杂命名模式的列变得非常简单。.value占位符指示匹配到的部分应该直接作为新的列名，而不是作为新列的值。虽然引入了外部依赖，但对于频繁进行复杂重塑的用户来说，它可以显著提高代码的可读性和开发效率。
总结
本文介绍了在Pandas DataFrame中将多列堆叠并重塑为更简洁结构的三种主要方法：
MultiIndex与stack：适用于列名具有清晰分隔符，且希望通过构建多级列索引来灵活控制堆叠过程的场景。它提供了底层控制的强大能力。melt与pivot组合：这是一种经典且通用的方法，通过将数据先“融化”再“透视”，分步实现重塑。它逻辑清晰，易于理解和调试，是Pandas数据重塑的基石。janitor.pivot_longer：对于追求简洁和声明式语法的用户，特别是当列名模式复杂时，pyjanitor库提供的pivot_longer是一个非常高效且直观的选择，它利用正则表达式简化了列名解析过程。
选择哪种方法取决于具体的数据结构、个人偏好以及对库的熟悉程度。在实际应用中，建议根据数据的复杂性和团队的习惯，选择最适合的工具来高效完成数据重塑任务。
以上就是Pandas数据重塑教程：高效堆叠多列的多种方法的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1381168.html
微信扫一扫 
支付宝扫一扫 
