本教程详细介绍了如何使用Pandas库中的melt()函数，将常见的宽格式数据集（如以年份作为列的世界银行数据）高效地转换为更适合分析和可视化的长格式数据。通过具体的代码示例和参数解析，读者将学会如何将分散在多个列中的值聚合到一个新列中，并为原列名创建一个对应的标识列，从而实现数据结构的优化。
在数据分析和处理中，我们经常会遇到需要改变数据结构以适应特定分析工具或可视化需求的场景。其中一个常见的需求是将“宽格式”数据转换为“长格式”数据。宽格式数据通常意味着某些类别信息分散在多个列中，而长格式数据则将这些类别信息和对应的值聚合到少数几个列中。
1. 理解宽格式与长格式数据
考虑一个典型的世界银行数据集，其中包含了不同年份的指标数据。原始数据可能呈现为宽格式：
当前数据结构示例 (宽格式):
InflatioUnited KingdomUKGBPxxxx
这种格式在某些情况下可能难以直接进行时间序列分析或绘制趋势图，因为年份作为列名而不是一个独立的变量。
我们的目标是将其转换为长格式，使得每一年份的数据都作为独立的一行，并新增一个“年份”列和一个“指标值”列：
期望数据结构示例 (长格式):
United KingdomUKGBP2000xUnited KingdomUKGBP2001xUnited KingdomUKGBP2002xUnited KingdomUKGBP2003x
2. 使用 Pandas melt() 函数进行数据重塑
Pandas库提供了强大的melt()函数，专门用于将DataFrame从宽格式重塑为长格式。这个函数的核心思想是将一个或多个列“unpivot”（非枢轴化），即将这些列的列名转换为新的一列中的值，并将这些列中的数据转换为另一列中的值。
melt()函数的主要参数包括：
id_vars: 一个列表，包含不进行非枢轴化的标识符列。这些列将保持不变，并在结果DataFrame中重复出现。value_vars: 一个列表，包含需要进行非枢轴化的值列。这些列的列名将成为新变量列的值，其对应的值将成为新值列的值。如果省略，则除了id_vars之外的所有列都将被视为value_vars。var_name: 一个字符串，用于指定新创建的变量列的名称（该列将包含原value_vars的列名）。value_name: 一个字符串，用于指定新创建的值列的名称（该列将包含原value_vars的值）。
3. 示例代码与解析
下面我们将通过一个具体的Python示例来演示如何使用melt()函数实现上述数据转换。
首先，我们创建一个模拟的原始DataFrame：
import pandas as pd# 创建原始的宽格式DataFramedata = { "TOPIC": ["Inflatio"], "COVENTRY": ["United Kingdom"], "CODE": ["UK"], "CURRENCY": ["GBP"], "2000": ["x_2000"], "2001": ["x_2001"], "2002": ["x_2002"], "2003": ["x_2003"]}df = pd.DataFrame(data)print("原始DataFrame:")print(df)
原始DataFrame输出:
原始DataFrame: TOPIC COVENTRY CODE CURRENCY 2000 2001 2002 20030 Inflatio United Kingdom UK GBP x_2000 x_2001 x_2002 x_2003
接下来，使用melt()函数进行数据重塑：
# 定义作为标识符的列id_columns = ["TOPIC", "COVENTRY", "CODE", "CURRENCY"]# 定义需要非枢轴化的年份列value_columns = ["2000", "2001", "2002", "2003"]# 使用melt()函数进行数据重塑out = df.melt( id_vars=id_columns, value_vars=value_columns, var_name='YEAR', # 新的变量列名称 value_name="INFLATION" # 新的值列名称)print("n重塑后的DataFrame:")print(out)
重塑后的DataFrame输出:
重塑后的DataFrame: TOPIC COVENTRY CODE CURRENCY YEAR INFLATION0 Inflatio United Kingdom UK GBP 2000 x_20001 Inflatio United Kingdom UK GBP 2001 x_20012 Inflatio United Kingdom UK GBP 2002 x_20023 Inflatio United Kingdom UK GBP 2003 x_2003
代码解析：
id_vars=id_columns: 我们指定”TOPIC”, “COVENTRY”, “CODE”, “CURRENCY”这些列作为标识符。它们在重塑过程中不会被改变，其值会在结果DataFrame中根据需要重复。value_vars=value_columns: 我们指定”2000”, “2001”, “2002”, “2003”这些列是需要被“融化”的列。它们的列名将成为新YEAR列的值，它们各自单元格中的数据将成为新INFLATION列的值。var_name=’YEAR’: 指定将原value_vars的列名（即”2000″, “2001”等）聚合到的新列的名称为’YEAR’。value_name=”INFLATION”: 指定将原value_vars中的数据聚合到的新列的名称为’INFLATION’。
通过上述操作，我们成功将宽格式的世界银行数据转换为长格式，使得年份和通货膨胀值都成为独立的列，极大地简化了后续的数据分析和可视化流程。
4. 注意事项与最佳实践
选择正确的id_vars和value_vars: 这是melt()函数最关键的部分。id_vars应包含所有你希望保持不变的识别信息，而value_vars则应包含所有你希望“非枢轴化”的列。数据类型: melt()函数默认会将value_vars中的所有值转换为一个共同的数据类型（通常是字符串或对象），以容纳所有可能的值。重塑后，你可能需要对新生成的YEAR或INFLATION列进行类型转换（例如，将YEAR从字符串转换为整数，如果它们代表年份）。与pivot_table()的关系: melt()和pivot_table()（或pivot()）是互补的操作。melt()将宽格式转换为长格式（unpivot），而pivot_table()将长格式转换为宽格式（pivot）。性能: 对于大型数据集，melt()的性能通常很高，因为它是由Pandas底层优化过的操作。
5. 总结
pandas.melt()函数是数据预处理中一个极其有用的工具，尤其在处理时间序列数据或需要将多列指标转换为统一格式进行分析时。通过合理配置id_vars、value_vars、var_name和value_name参数，可以高效地将宽格式数据转换为更易于管理和分析的长格式数据，从而为后续的数据探索、建模和可视化奠定坚实基础。掌握melt()的使用，能够显著提升数据处理的效率和灵活性。
以上就是Pandas数据重塑：利用melt()函数将宽格式时间序列数据转换为长格式的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1376208.html
微信扫一扫 
支付宝扫一扫 
