本教程详细介绍了如何使用Python的Pandas库高效地处理和整合来自多个Excel文件中的特定工作表数据。我们将学习如何遍历目录、识别Excel文件、加载文件、提取指定工作表的数据并将其存储到一个字典中，同时解决常见的AttributeError: ‘str’ object has no attribute ‘sheet_names’错误，并探讨如何进一步实现跨文件同名工作表的合并。
1. 引言与背景
在数据分析和处理的日常工作中，我们经常会遇到需要从多个excel文件中提取特定数据的情况。这些excel文件可能包含多个工作表，而我们只对其中某些特定名称的工作表感兴趣。本教程旨在提供一个清晰、专业的指南，利用python的pandas库来自动化这一过程，将所需数据整合到一个方便操作的字典结构中。
2. 核心工具介绍
本教程主要依赖于以下两个Python库：
os 模块：用于操作系统相关的交互，例如遍历文件目录和构建文件路径。pandas 库：强大的数据处理库，尤其适用于表格数据。我们将使用其ExcelFile对象来读取Excel文件及其包含的工作表，并使用parse()方法将工作表数据加载为DataFrame。
3. 解决 AttributeError: ‘str’ object has no attribute ‘sheet_names’
在处理Excel文件时，一个常见的错误是尝试在文件路径字符串上调用sheet_names属性。例如，path.sheet_names()会导致AttributeError。这是因为sheet_names是pandas.ExcelFile对象的方法，而不是一个普通的字符串。
错误原因分析：当你通过os.path.join(root, fname)获取到的是一个字符串，代表Excel文件的完整路径。要访问工作表名称，你需要先使用pd.ExcelFile()将这个路径字符串封装成一个ExcelFile对象。
正确做法：
import pandas as pd# file_path 是一个字符串，例如 'data/my_excel.xlsx'xls_file = pd.ExcelFile(file_path) # 创建一个ExcelFile对象for sheet_name in xls_file.sheet_names: # 现在可以正确访问sheet_names属性 print(sheet_name)
4. 整合多个Excel文件中的特定工作表数据
以下是实现这一目标的代码示例，它将遍历指定目录下的所有Excel文件，提取名为“Portfolios”或“SP Search Term Req”的工作表数据，并将每个工作表的数据存储为一个Pandas DataFrame，最终将这些DataFrame收集到一个字典中。
import osimport pandas as pd# 1. 定义Excel文件所在的根目录# 请将 'your/excel/files/path' 替换为实际的目录路径excel_root_path = 'your/excel/files/path'# 2. 初始化一个字典，用于存储提取出的DataFrame# 字典的键将是工作表名称，值将是对应工作表的DataFramedf_dict_flex = {}# 3. 遍历指定目录及其子目录下的所有文件for root, _, files in os.walk(excel_root_path): for fname in files: # 4. 构造文件的完整路径 file_path = os.path.join(root, fname) # 5. 确保只处理Excel文件（.xlsx 或 .xls 扩展名） if file_path.endswith(('.xlsx', '.xls')): try: # 6. 使用pd.ExcelFile加载Excel文件，获得ExcelFile对象 xls_file = pd.ExcelFile(file_path) print(f"正在处理文件: {file_path}") # 7. 遍历当前Excel文件中的所有工作表 for sheet_name in xls_file.sheet_names: print(f" 发现工作表: {sheet_name}") # 8. 检查工作表名称是否符合我们的条件 # 这里我们筛选 'Portfolios' 和 'SP Search Term Req' 两个工作表 if sheet_name == 'Portfolios' or sheet_name == 'SP Search Term Req': # 9. 解析指定工作表的数据为DataFrame df = xls_file.parse(sheet_name) # 10. 将DataFrame存储到字典中 # 注意：如果多个文件包含同名工作表，后处理的文件会覆盖前一个文件的数据 # 如果需要合并同名工作表的数据，请参考下一节的“进一步合并同名工作表” df_dict_flex[sheet_name] = df print(f" 已将工作表 '{sheet_name}' 的数据加载到字典中。") except Exception as e: print(f"处理文件 '{file_path}' 时发生错误: {e}") continue # 继续处理下一个文件# 11. 打印最终的字典内容（可选，用于验证）# print("n最终整合的DataFrame字典:")# for sheet_name, df in df_dict_flex.items():# print(f" 工作表 '{sheet_name}' 包含 {len(df)} 行数据。")# print(df.head()) # 打印前几行数据进行预览
5. 注意事项与最佳实践
路径设置：务必将excel_root_path变量替换为你的Excel文件实际所在的目录路径。文件类型过滤：代码中通过file_path.endswith((‘.xlsx’, ‘.xls’))确保只处理Excel文件，避免尝试用Pandas打开非Excel文件导致错误。错误处理：使用try-except块捕获文件加载或解析过程中可能出现的错误，增强代码的健壮性。df_dict_flex 的行为：当前代码逻辑是，如果多个Excel文件包含名称相同的工作表（例如，多个文件都有“Portfolios”工作表），那么df_dict_flex[sheet_name] = df会覆盖之前存储的数据，最终字典中只会保留最后一个被处理的同名工作表的数据。内存管理：如果处理大量大型Excel文件，内存消耗可能会很高。考虑逐个处理文件并及时释放不再需要的DataFrame，或者使用chunksize参数分块读取。
6. 进一步合并同名工作表数据
如果你的目标是，对于所有Excel文件中名称相同的工作表，将其数据合并（例如，纵向拼接）成一个单一的DataFrame，那么上述代码需要进行修改。
PHP与MySQL程序设计3
本书是全面讲述PHP与MySQL的经典之作，书中不但全面介绍了两种技术的核心特性，还讲解了如何高效地结合这两种技术构建健壮的数据驱动的应用程序。本书涵盖了两种技术新版本中出现的最新特性，书中大量实际的示例和深入的分析均来自于作者在这方面多年的专业经验，可用于解决开发者在实际中所面临的各种挑战。本书内容全面深入，适合各层次PHP和MySQL开发人员阅读，既是优秀的学习教程，也可用作参考手册。
253 查看详情
以下是实现这一目标的扩展代码示例：
import osimport pandas as pdexcel_root_path = 'your/excel/files/path' # 替换为你的路径merged_df_by_sheet = {} # 存储最终合并的DataFrame，键为工作表名for root, _, files in os.walk(excel_root_path): for fname in files: file_path = os.path.join(root, fname) if file_path.endswith(('.xlsx', '.xls')): try: xls_file = pd.ExcelFile(file_path) print(f"正在处理文件: {file_path}") for sheet_name in xls_file.sheet_names: if sheet_name == 'Portfolios' or sheet_name == 'SP Search Term Req': df = xls_file.parse(sheet_name) # 如果该工作表名已存在于字典中，则进行纵向拼接 if sheet_name in merged_df_by_sheet: merged_df_by_sheet[sheet_name] = pd.concat( [merged_df_by_sheet[sheet_name], df], ignore_index=True # 重新生成索引 ) print(f" 已将工作表 '{sheet_name}' 的数据与现有数据合并。") else: # 否则，首次添加该工作表的数据 merged_df_by_sheet[sheet_name] = df print(f" 已将工作表 '{sheet_name}' 的数据添加到字典。") except Exception as e: print(f"处理文件 '{file_path}' 时发生错误: {e}") continue# 打印最终合并的DataFrame（可选）# for sheet_name, df in merged_df_by_sheet.items():# print(f"n合并后的工作表 '{sheet_name}' 包含 {len(df)} 行数据。")# print(df.head())
通过这种方式，merged_df_by_sheet字典将为每个符合条件的工作表名称存储一个包含所有相关Excel文件数据的合并DataFrame。
7. 总结
本教程详细讲解了如何利用Python和Pandas库来批量处理多个Excel文件，并从中提取特定工作表的数据。我们不仅解决了常见的AttributeError，还提供了两种数据存储策略：一种是将每个符合条件的工作表数据独立存储，另一种是将所有文件中同名工作表的数据进行纵向合并。掌握这些技术将大大提高你在数据整合方面的效率和灵活性。请根据你的具体需求选择合适的代码实现。
以上就是Pandas：高效整合多工作表Excel数据教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/925078.html
微信扫一扫 
支付宝扫一扫 
