本教程详细介绍了如何使用Python的Pandas库高效地处理和整合来自多个Excel文件中的特定工作表数据。我们将学习如何遍历目录、识别Excel文件、加载文件、提取指定工作表的数据并将其存储到一个字典中，同时解决常见的AttributeError: ‘str’ object has no attribute ‘sheet_names’错误，并探讨如何进一步实现跨文件同名工作表的合并。
1. 引言与背景
在数据分析和处理的日常工作中，我们经常会遇到需要从多个excel文件中提取特定数据的情况。这些excel文件可能包含多个工作表，而我们只对其中某些特定名称的工作表感兴趣。本教程旨在提供一个清晰、专业的指南，利用python的pandas库来自动化这一过程，将所需数据整合到一个方便操作的字典结构中。
2. 核心工具介绍
本教程主要依赖于以下两个Python库：
os 模块：用于操作系统相关的交互，例如遍历文件目录和构建文件路径。pandas 库：强大的数据处理库，尤其适用于表格数据。我们将使用其ExcelFile对象来读取Excel文件及其包含的工作表，并使用parse()方法将工作表数据加载为DataFrame。
3. 解决 AttributeError: ‘str’ object has no attribute ‘sheet_names’
在处理Excel文件时，一个常见的错误是尝试在文件路径字符串上调用sheet_names属性。例如，path.sheet_names()会导致AttributeError。这是因为sheet_names是pandas.ExcelFile对象的方法，而不是一个普通的字符串。
错误原因分析：当你通过os.path.join(root, fname)获取到的是一个字符串，代表Excel文件的完整路径。要访问工作表名称，你需要先使用pd.ExcelFile()将这个路径字符串封装成一个ExcelFile对象。
正确做法：
import pandas as pd# file_path 是一个字符串，例如 'data/my_excel.xlsx'xls_file = pd.ExcelFile(file_path) # 创建一个ExcelFile对象for sheet_name in xls_file.sheet_names: # 现在可以正确访问sheet_names属性 print(sheet_name)
4. 整合多个Excel文件中的特定工作表数据
以下是实现这一目标的代码示例，它将遍历指定目录下的所有Excel文件，提取名为“Portfolios”或“SP Search Term Req”的工作表数据，并将每个工作表的数据存储为一个Pandas DataFrame，最终将这些DataFrame收集到一个字典中。
import osimport pandas as pd# 1. 定义Excel文件所在的根目录# 请将 'your/excel/files/path' 替换为实际的目录路径excel_root_path = 'your/excel/files/path'# 2. 初始化一个字典，用于存储提取出的DataFrame# 字典的键将是工作表名称，值将是对应工作表的DataFramedf_dict_flex = {}# 3. 遍历指定目录及其子目录下的所有文件for root, _, files in os.walk(excel_root_path): for fname in files: # 4. 构造文件的完整路径 file_path = os.path.join(root, fname) # 5. 确保只处理Excel文件（.xlsx 或 .xls 扩展名） if file_path.endswith(('.xlsx', '.xls')): try: # 6. 使用pd.ExcelFile加载Excel文件，获得ExcelFile对象 xls_file = pd.ExcelFile(file_path) print(f"正在处理文件: {file_path}") # 7. 遍历当前Excel文件中的所有工作表 for sheet_name in xls_file.sheet_names: print(f" 发现工作表: {sheet_name}") # 8. 检查工作表名称是否符合我们的条件 # 这里我们筛选 'Portfolios' 和 'SP Search Term Req' 两个工作表 if sheet_name == 'Portfolios' or sheet_name == 'SP Search Term Req': # 9. 解析指定工作表的数据为DataFrame df = xls_file.parse(sheet_name) # 10. 将DataFrame存储到字典中 # 注意：如果多个文件包含同名工作表，后处理的文件会覆盖前一个文件的数据 # 如果需要合并同名工作表的数据，请参考下一节的“进一步合并同名工作表” df_dict_flex[sheet_name] = df print(f" 已将工作表 '{sheet_name}' 的数据加载到字典中。") except Exception as e: print(f"处理文件 '{file_path}' 时发生错误: {e}") continue # 继续处理下一个文件# 11. 打印最终的字典内容（可选，用于验证）# print("n最终整合的DataFrame字典:")# for sheet_name, df in df_dict_flex.items():# print(f" 工作表 '{sheet_name}' 包含 {len(df)} 行数据。")# print(df.head()) # 打印前几行数据进行预览
5. 注意事项与最佳实践
路径设置：务必将excel_root_path变量替换为你的Excel文件实际所在的目录路径。文件类型过滤：代码中通过file_path.endswith((‘.xlsx’, ‘.xls’))确保只处理Excel文件，避免尝试用Pandas打开非Excel文件导致错误。错误处理：使用try-except块捕获文件加载或解析过程中可能出现的错误，增强代码的健壮性。df_dict_flex 的行为：当前代码逻辑是，如果多个Excel文件包含名称相同的工作表（例如，多个文件都有“Portfolios”工作表），那么df_dict_flex[sheet_name] = df会覆盖之前存储的数据，最终字典中只会保留最后一个被处理的同名工作表的数据。内存管理：如果处理大量大型Excel文件，内存消耗可能会很高。考虑逐个处理文件并及时释放不再需要的DataFrame，或者使用chunksize参数分块读取。
6. 进一步合并同名工作表数据
如果你的目标是，对于所有Excel文件中名称相同的工作表，将其数据合并（例如，纵向拼接）成一个单一的DataFrame，那么上述代码需要进行修改。
以下是实现这一目标的扩展代码示例：
import osimport pandas as pdexcel_root_path = 'your/excel/files/path' # 替换为你的路径merged_df_by_sheet = {} # 存储最终合并的DataFrame，键为工作表名for root, _, files in os.walk(excel_root_path): for fname in files: file_path = os.path.join(root, fname) if file_path.endswith(('.xlsx', '.xls')): try: xls_file = pd.ExcelFile(file_path) print(f"正在处理文件: {file_path}") for sheet_name in xls_file.sheet_names: if sheet_name == 'Portfolios' or sheet_name == 'SP Search Term Req': df = xls_file.parse(sheet_name) # 如果该工作表名已存在于字典中，则进行纵向拼接 if sheet_name in merged_df_by_sheet: merged_df_by_sheet[sheet_name] = pd.concat( [merged_df_by_sheet[sheet_name], df], ignore_index=True # 重新生成索引 ) print(f" 已将工作表 '{sheet_name}' 的数据与现有数据合并。") else: # 否则，首次添加该工作表的数据 merged_df_by_sheet[sheet_name] = df print(f" 已将工作表 '{sheet_name}' 的数据添加到字典。") except Exception as e: print(f"处理文件 '{file_path}' 时发生错误: {e}") continue# 打印最终合并的DataFrame（可选）# for sheet_name, df in merged_df_by_sheet.items():# print(f"n合并后的工作表 '{sheet_name}' 包含 {len(df)} 行数据。")# print(df.head())
通过这种方式，merged_df_by_sheet字典将为每个符合条件的工作表名称存储一个包含所有相关Excel文件数据的合并DataFrame。
7. 总结
本教程详细讲解了如何利用Python和Pandas库来批量处理多个Excel文件，并从中提取特定工作表的数据。我们不仅解决了常见的AttributeError，还提供了两种数据存储策略：一种是将每个符合条件的工作表数据独立存储，另一种是将所有文件中同名工作表的数据进行纵向合并。掌握这些技术将大大提高你在数据整合方面的效率和灵活性。请根据你的具体需求选择合适的代码实现。
以上就是Pandas：高效整合多工作表Excel数据教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1374426.html
微信扫一扫 
支付宝扫一扫 
