本文详细介绍了如何利用Pandas库中的pd.lreshape函数，将具有重复模式列（如id_mXX和mprice对）的宽格式Excel表格数据，高效转换为更易于分析的长格式。教程涵盖了数据加载、lreshape参数配置及代码示例，旨在提供一种专业且简洁的数据重构方案，避免传统melt函数可能带来的复杂性和空值问题。
1. 数据重构需求概述
在数据分析工作中，我们经常会遇到以“宽”格式存储的数据，其中包含大量重复模式的列组。例如，一个Excel表格可能包含多对id和mprice列，如id_m00、mprice、id_m01、mprice，依此类推。这种结构虽然在某些情况下便于数据录入，但在进行数据分析或构建模型时，通常需要将其转换为“长”格式，即每行代表一个独立的观测值，且相关的id和mprice数据分别位于单独的列中。
原始数据示例：
01.01.2023aa-bb-cc12,05dd-ee-fr8,8002.01.2023aa-dd-ee09,55ff-gg-gg7,50
目标数据结构：
01.01.2023aa-bb-cc12,0502.01.2023aa-dd-ee09,5501.01.2023dd-ee-fr8,8002.01.2023ff-gg-gg7,50
对于这种特定的重构需求，传统的pd.melt函数可能不够直接，容易产生额外的中间列或大量的空值，需要后续进行复杂的清理。而pd.lreshape函数则为此类场景提供了更为优雅和高效的解决方案。
2. 使用 pd.lreshape 进行数据重构
pd.lreshape函数专门用于处理具有固定模式列组的宽表数据。它的核心思想是指定一组“stubnames”（存根名称）以及这些存根名称对应的所有列，然后将它们堆叠起来。
2.1 核心概念
pd.lreshape的语法如下：pandas.lreshape(data, column_groups, dropna=False)
data: 要进行重塑的DataFrame。column_groups: 一个字典，键是新的列名（即重塑后的列名），值是一个列表，包含原始DataFrame中属于该新列名的所有列名。这些列表中的列名必须按照它们在原始DataFrame中的逻辑顺序排列，以确保正确配对。
2.2 实现步骤与代码示例
假设我们已经将Excel数据加载到一个名为df的Pandas DataFrame中。
import pandas as pd# 模拟加载原始Excel数据# 在实际应用中，您会使用 pd.read_excel("您的文件路径.xlsx")data = { 'Date': ['01.01.2023', '02.01.2023'], 'id_m00': ['aa-bb-cc', 'aa-dd-ee'], 'mprice': ['12,05', '09,55'], 'id_m01': ['dd-ee-fr', 'ff-gg-gg'], 'mprice.1': ['8,80', '7,50'] # 注意：Pandas在加载重复列名时会自动添加后缀，如 mprice.1}df = pd.DataFrame(data)print("原始DataFrame:")print(df)print("-" * 30)# 定义要重塑的列组# 使用 df.filter(like="...") 可以方便地选择所有匹配模式的列# 对于 'id' 列组，我们选择所有包含 'id_m' 的列id_columns = df.filter(like="id_m").columns.tolist()# 对于 'mprice' 列组，我们选择所有包含 'price' 的列# 注意这里我们使用了 'price' 而不是 'mprice'，因为加载后可能有 'mprice.1' 等mprice_columns = df.filter(like="price").columns.tolist()# 使用 lreshape 进行重塑# column_groups 字典的键是重塑后的列名，值是原始DataFrame中对应的列名列表out = pd.lreshape( df, {"id": id_columns, "mprice": mprice_columns})# 格式化 mprice 列，将逗号替换为小数点并转换为数值类型out['mprice'] = out['mprice'].str.replace(',', '.').astype(float)print("n重塑后的DataFrame:")print(out)
代码解释：
数据加载模拟： pd.DataFrame(data) 模拟了从Excel文件加载数据后的DataFrame结构。特别注意，当Excel中存在同名列（如多个mprice）时，Pandas在加载时会自动为后续的同名列添加.1, .2等后缀，例如mprice.1。这是lreshape能够正确识别并配对的关键。识别列组：df.filter(like=”id_m”).columns.tolist() 会返回所有列名中包含“id_m”的列，例如[‘id_m00’, ‘id_m01’]。df.filter(like=”price”).columns.tolist() 会返回所有列名中包含“price”的列，例如[‘mprice’, ‘mprice.1’]。这些列表将作为lreshape中column_groups字典的值。执行 lreshape：{“id”: id_columns, “mprice”: mprice_columns} 定义了重塑的规则。它告诉lreshape，将id_columns列表中的所有列（按顺序）合并到新的id列下，同时将mprice_columns列表中的所有列（按顺序）合并到新的mprice列下。由于列名列表是按原始顺序提供的，lreshape能够智能地将id_m00与第一个mprice配对，id_m01与mprice.1配对，以此类推。数据类型转换： 原始数据中的mprice可能包含逗号作为小数分隔符，并且是字符串类型。out[‘mprice’].str.replace(‘,’, ‘.’).astype(float) 将其转换为标准的浮点数类型，以便后续的数值计算。
3. 注意事项与总结
列名规范性： pd.lreshape非常依赖于原始列名的模式。确保您的宽表数据中的列名遵循可识别的模式（例如，id_mXX和mprice）。Pandas加载Excel的列名处理： 当Excel文件中存在重复的列名时，pd.read_excel会自动为后续的重复列名添加数字后缀（如mprice, mprice.1, mprice.2）。lreshape正是利用了这种机制来正确匹配对应的列。因此，在构建column_groups时，使用df.filter(like=”…”)这种模式匹配的方式来获取所有相关列，比手动列出所有列名更为健壮和方便。与 melt 的区别： 尽管melt也能用于宽到长的转换，但对于这种具有固定配对模式的列（如id和value总是成对出现），lreshape提供了更直接、更少中间步骤的解决方案，避免了melt可能产生的额外variable列和需要后续透视才能恢复原始配对的复杂性。性能： 对于大型数据集，lreshape通常表现出良好的性能，因为它针对这种特定类型的重塑进行了优化。
通过掌握pd.lreshape，数据分析师和工程师可以高效地处理复杂的宽表数据重构任务，将数据转换为更利于分析和建模的“长”格式，从而提升数据处理的效率和准确性。
以上就是使用Pandas高效重构Excel宽表数据的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1363110.html
微信扫一扫 
支付宝扫一扫 
