Pandas 教程:高效合并多 Excel 文件多工作表数据并解决常见错误

Pandas 教程:高效合并多 Excel 文件多工作表数据并解决常见错误

本教程详细介绍了如何使用 Python 的 Pandas 库高效地合并指定目录下的多个 Excel 文件中的特定工作表数据。文章通过迭代文件和工作表,将符合条件的数据导入到 Pandas DataFrame 字典中,并重点解析了 AttributeError: ‘str’ object has no attribute ‘sheet_names’ 这一常见错误及其解决方案,确保数据处理流程的顺畅与准确。

在数据分析和处理的日常工作中,我们经常需要处理分布在多个 excel 文件中的数据,并且每个文件可能包含多个工作表。将这些数据高效地整合到一起是提高工作效率的关键。本教程将指导您如何使用 pandas 实现这一目标,并特别关注如何避免和解决在处理过程中可能遇到的 attributeerror。

理解问题:AttributeError: ‘str’ object has no attribute ‘sheet_names’

在尝试遍历 Excel 文件中的工作表时,一个常见的错误是 AttributeError: ‘str’ object has no attribute ‘sheet_names’。这个错误通常发生在您尝试在一个字符串对象上调用或访问属于 pandas.ExcelFile 对象的方法或属性时。

例如,如果 path 是一个文件路径字符串,直接执行 path.sheet_names 会导致此错误,因为字符串对象并没有 sheet_names 这个属性。正确的做法是,首先使用 pd.ExcelFile() 将文件路径加载为一个 ExcelFile 对象,然后通过这个对象来访问其工作表名称。

解决方案:使用 Pandas 高效合并多工作表 Excel 数据

以下是使用 Pandas 合并指定目录下多个 Excel 文件中特定工作表数据的详细步骤和代码示例。

步骤一:环境准备与文件路径定义

首先,确保您已安装 Pandas 库。如果尚未安装,可以通过 pip install pandas openpyxl 进行安装(openpyxl 是 Pandas 读取 .xlsx 文件的后端引擎)。然后,定义您的 Excel 文件所在的目录路径。

import osimport pandas as pd# 定义您的 Excel 文件所在的目录路径# 请将 'your/excel/files/path' 替换为实际路径excel_files_directory = 'your/excel/files/path' # 初始化一个字典,用于存储每个符合条件的工作表数据为一个 DataFrame# 字典的键将是工作表名称,值是对应的 DataFramedf_dict_flex = {}

步骤二:遍历目录并加载 Excel 文件

使用 os.walk() 函数可以递归地遍历指定目录及其子目录中的所有文件。对于每个找到的文件,我们需要检查它是否是 Excel 文件,然后使用 pd.ExcelFile() 将其加载。

# 遍历指定目录下的所有文件for root, dirs, files in os.walk(excel_files_directory):    for fname in files:        # 构建文件的完整路径        file_path = os.path.join(root, fname)        # 确保只处理 Excel 文件(.xlsx 或 .xls 格式)        if file_path.endswith('.xlsx') or file_path.endswith('.xls'):            print(f"正在处理文件: {file_path}")            try:                # 使用 pd.ExcelFile() 加载 Excel 文件,这将创建一个 ExcelFile 对象                xls_file = pd.ExcelFile(file_path)                # ... (后续步骤将在这里处理工作表)            except Exception as e:                print(f"无法加载文件 {file_path}:{e}")

关键点: xls_file = pd.ExcelFile(file_path) 是解决 AttributeError 的核心。它将文件路径字符串转换为一个 ExcelFile 对象,该对象拥有 sheet_names 属性和 parse() 方法。

步骤三:迭代工作表并按条件解析数据

加载 ExcelFile 对象后,我们可以通过其 sheet_names 属性获取所有工作表的名称。然后,您可以根据业务需求定义条件来筛选并解析特定的工作表。

import osimport pandas as pdexcel_files_directory = 'your/excel/files/path' df_dict_flex = {}for root, dirs, files in os.walk(excel_files_directory):    for fname in files:        file_path = os.path.join(root, fname)        if file_path.endswith('.xlsx') or file_path.endswith('.xls'):            print(f"正在处理文件: {file_path}")            try:                xls_file = pd.ExcelFile(file_path)                # 遍历当前 Excel 文件中的所有工作表名称                for sheet_name in xls_file.sheet_names:                    print(f"  发现工作表: {sheet_name}")                    # 定义工作表筛选条件。这里以 'Portfolios' 和 'SP Search Term Req' 为例                    # 您可以根据实际需求修改或扩展此条件                    if sheet_name == 'Portfolios' or sheet_name == 'SP Search Term Req':                        print(f"    正在解析工作表 '{sheet_name}'...")                        # 使用 xls_file.parse() 方法解析指定工作表为 DataFrame                        # 注意:这里是 xls_file.parse(),而不是 file.parse()                        df = xls_file.parse(sheet_name)                        # 将解析出的 DataFrame 存储到字典中                        # 如果有多个文件包含相同名称的工作表,后解析的会覆盖前面解析的                        # 如果需要合并相同名称的工作表数据,需要额外的逻辑(如 pd.concat)                        df_dict_flex[sheet_name] = df                        print(f"    工作表 '{sheet_name}' 数据已存储。")            except Exception as e:                print(f"无法加载或处理文件 {file_path}:{e}")# 最终,df_dict_flex 字典将包含所有符合条件的工作表的 DataFrameprint("n所有符合条件的工作表数据已成功加载到 df_dict_flex 字典中。")print("字典键 (工作表名称):", df_dict_flex.keys())# 示例:查看 'Portfolios' 工作表的数据(如果存在)# if 'Portfolios' in df_dict_flex:#     print("n'Portfolios' 工作表数据示例:")#     print(df_dict_flex['Portfolios'].head())

代码解析与注意事项

os.walk(excel_files_directory): 这是遍历指定目录下所有文件和子目录的强大工具。它返回一个三元组 (root, dirs, files),其中 root 是当前目录路径,dirs 是当前目录下的子目录列表,files 是当前目录下的文件列表。os.path.join(root, fname): 安全地拼接路径,无论操作系统如何,都能生成正确的路径字符串。文件类型过滤: if file_path.endswith(‘.xlsx’) or file_path.endswith(‘.xls’): 确保我们只尝试处理 Excel 文件,避免对其他类型文件(如 .txt, .csv 等)进行不必要的或错误的解析。pd.ExcelFile(file_path): 这是解决 AttributeError 的核心。它将文件路径字符串转换为一个 ExcelFile 对象。这个对象代表了整个 Excel 文件,并提供了访问其工作表名称和内容的方法。xls_file.sheet_names: 这是一个属性(不是方法),它返回一个列表,包含当前 ExcelFile 对象中所有工作表的名称。xls_file.parse(sheet_name): 这是 ExcelFile 对象的一个方法,用于将指定名称的工作表解析为一个 Pandas DataFrame。工作表名称匹配逻辑: 示例代码使用了 if sheet_name == ‘Portfolios’ or sheet_name == ‘SP Search Term Req’: 来筛选特定的工作表。您可以根据需要调整此逻辑,例如使用正则表达式进行模糊匹配,或维护一个需要导入的工作表名称列表。错误处理: try…except 块用于捕获文件加载或解析过程中可能发生的错误,例如文件损坏、权限问题或格式不正确,从而增强程序的健壮性。数据覆盖问题: 如果多个 Excel 文件中存在同名工作表,并且您的目标是合并这些同名工作表的数据,当前的 df_dict_flex[sheet_name] = df 会导致后解析的数据覆盖前解析的数据。若要合并,您需要引入额外的逻辑,例如使用 pd.concat():

if sheet_name in df_dict_flex:    df_dict_flex[sheet_name] = pd.concat([df_dict_flex[sheet_name], df], ignore_index=True)else:    df_dict_flex[sheet_name] = df

内存管理: 对于包含大量工作表或非常大的 Excel 文件,一次性将所有数据加载到内存中可能会消耗大量资源。如果遇到内存问题,可以考虑分批处理、只加载必要列,或者使用 Dask 等工具进行大规模数据处理。

总结

通过本教程,您应该已经掌握了如何使用 Pandas 高效地遍历目录、加载多个 Excel 文件、筛选并解析其中的特定工作表,并将其存储到 Python 字典中。同时,我们详细解释了 AttributeError: ‘str’ object has no attribute ‘sheet_names’ 产生的原因及其解决方案,强调了正确使用 pd.ExcelFile 对象的重要性。掌握这些技巧将极大地提升您在处理复杂 Excel 数据集时的效率和代码的健壮性。请务必将代码中的 ‘your/excel/files/path’ 替换为您的实际文件路径。

以上就是Pandas 教程:高效合并多 Excel 文件多工作表数据并解决常见错误的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1374392.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月14日 14:06:52
下一篇 2025年12月14日 14:07:08

相关推荐

  • 如何解决本地图片在使用 mask JS 库时出现的跨域错误?

    如何跨越localhost使用本地图片? 问题: 在本地使用mask js库时,引入本地图片会报跨域错误。 解决方案: 要解决此问题,需要使用本地服务器启动文件,以http或https协议访问图片,而不是使用file://协议。例如: python -m http.server 8000 然后,可以…

    2025年12月24日
    200
  • 使用 Mask 导入本地图片时,如何解决跨域问题?

    跨域疑难:如何解决 mask 引入本地图片产生的跨域问题? 在使用 mask 导入本地图片时,你可能会遇到令人沮丧的跨域错误。为什么会出现跨域问题呢?让我们深入了解一下: mask 框架假设你以 http(s) 协议加载你的 html 文件,而当使用 file:// 协议打开本地文件时,就会产生跨域…

    2025年12月24日
    200
  • Bear 博客上的浅色/深色模式分步指南

    我最近使用偏好颜色方案媒体功能与 light-dark() 颜色函数相结合,在我的 bear 博客上实现了亮/暗模式切换。 我是这样做的。 第 1 步:设置 css css 在过去几年中获得了一些很酷的新功能,包括 light-dark() 颜色函数。此功能可让您为任何元素指定两种颜色 &#8211…

    2025年12月24日
    100
  • 如何在 Web 开发中检测浏览器中的操作系统暗模式?

    检测浏览器中的操作系统暗模式 在 web 开发中,用户界面适应操作系统(os)的暗模式设置变得越来越重要。本文将重点介绍检测浏览器中 os 暗模式的方法,从而使网站能够针对不同模式调整其设计。 w3c media queries level 5 最新的 web 标准引入了 prefers-color…

    2025年12月24日
    000
  • 如何使用 CSS 检测操作系统是否处于暗模式?

    如何在浏览器中检测操作系统是否处于暗模式? 新发布的 os x 暗模式提供了在 mac 电脑上使用更具沉浸感的用户界面,但我们很多人都想知道如何在浏览器中检测这种设置。 新标准 检测操作系统暗模式的解决方案出现在 w3c media queries level 5 中的最新标准中: 立即学习“前端免…

    2025年12月24日
    000
  • 如何检测浏览器环境中的操作系统暗模式?

    浏览器环境中的操作系统暗模式检测 在如今科技的海洋中,越来越多的设备和软件支持暗模式,以减少对眼睛的刺激并营造更舒适的视觉体验。然而,在浏览器环境中检测操作系统是否处于暗模式却是一个令人好奇的问题。 检测暗模式的标准 要检测操作系统在浏览器中是否处于暗模式,web 开发人员可以使用 w3c 的媒体查…

    2025年12月24日
    200
  • 浏览器中如何检测操作系统的暗模式设置?

    浏览器中的操作系统暗模式检测 近年来,随着用户对夜间浏览体验的偏好不断提高,操作系统已开始引入暗模式功能。作为一名 web 开发人员,您可能想知道如何检测浏览器中操作系统的暗模式状态,以相应地调整您网站的设计。 新 media queries 水平 w3c 的 media queries level…

    2025年12月24日
    000
  • 正则表达式在文本验证中的常见问题有哪些?

    正则表达式助力文本输入验证 在文本输入框的验证中,经常遇到需要限定输入内容的情况。例如,输入框只能输入整数,第一位可以为负号。对于不会使用正则表达式的人来说,这可能是个难题。下面我们将提供三种正则表达式,分别满足不同的验证要求。 1. 可选负号,任意数量数字 如果输入框中允许第一位为负号,后面可输入…

    2025年12月24日
    000
  • 我在学习编程的第一周学到的工具

    作为一个刚刚完成中学教育的女孩和一个精通技术并热衷于解决问题的人,几周前我开始了我的编程之旅。我的名字是OKESANJO FATHIA OPEYEMI。我很高兴能分享我在编码世界中的经验和发现。拥有计算机科学背景的我一直对编程提供的无限可能性着迷。在这篇文章中,我将反思我在学习编程的第一周中获得的关…

    2025年12月24日
    000
  • 为什么多年的经验让我选择全栈而不是平均栈

    在全栈和平均栈开发方面工作了 6 年多,我可以告诉您,虽然这两种方法都是流行且有效的方法,但它们满足不同的需求,并且有自己的优点和缺点。这两个堆栈都可以帮助您创建 Web 应用程序,但它们的实现方式却截然不同。如果您在两者之间难以选择,我希望我在两者之间的经验能给您一些有用的见解。 在这篇文章中,我…

    2025年12月24日
    000
  • 姜戈顺风

    本教程演示如何在新项目中从头开始配置 django 和 tailwindcss。 django 设置 创建一个名为 .venv 的新虚拟环境。 # windows$ python -m venv .venv$ .venvscriptsactivate.ps1(.venv) $# macos/linu…

    2025年12月24日
    000
  • 花 $o 学习这些编程语言或免费

    → Python → JavaScript → Java → C# → 红宝石 → 斯威夫特 → 科特林 → C++ → PHP → 出发 → R → 打字稿 []https://x.com/e_opore/status/1811567830594388315?t=_j4nncuiy2wfbm7ic…

    2025年12月24日
    000
  • 使用CSS3实现模拟IOS滑动开关效果

    这篇文章主要为大家详细介绍了css3模拟ios滑动开关效果,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 前言 H5站点需要IOS滑动按钮的效果,想了想似乎CSS3能搞起,就折腾出来了…挺简单的..请看注释 效果 代码 立即学习“前端免费学习笔记(深入)”; CSS3模拟IOS开关 …

    2025年12月24日
    000
  • 响应式HTML5按钮适配不同屏幕方法【方法】

    实现响应式HTML5按钮需五种方法:一、CSS媒体查询按max-width断点调整样式;二、用rem/vw等相对单位替代px;三、Flexbox控制容器与按钮伸缩;四、CSS变量配合requestAnimationFrame优化的JS动态适配;五、Tailwind等框架的响应式工具类。 如果您希望H…

    2025年12月23日
    000
  • jimdo如何添加html5表单_jimdo表单html5代码嵌入与字段设置【实操】

    可通过嵌入HTML5表单代码、启用字段验证属性、添加CSS样式反馈及替换提交按钮并绑定JS事件四种方式在Jimdo实现自定义表单行为。 如果您在 Jimdo 网站中需要自定义表单行为或字段逻辑,而内置表单编辑器无法满足需求,则可通过嵌入 HTML5 表单代码实现更灵活的控制。以下是具体操作步骤: 一…

    2025年12月23日
    000
  • html5怎么导视频_html5用video标签导出或Canvas转DataURL获视频【导出】

    HTML5无法直接导出video标签内容,需借助Canvas捕获帧并结合MediaRecorder API、FFmpeg.wasm或服务端协同实现。MediaRecorder适用于WebM格式前端录制;FFmpeg.wasm支持MP4等格式及精细编码控制;服务端方案适合高负载场景。 如果您希望在网页…

    2025年12月23日
    300
  • 如何查看编写的html_查看自己编写的HTML文件效果【效果】

    要查看HTML文件的浏览器渲染效果,需确保文件以.html为扩展名保存、用浏览器直接打开、利用开发者工具调试、必要时启用本地HTTP服务器、或使用编辑器实时预览插件。 如果您编写了HTML代码,但无法直观看到其在浏览器中的实际渲染效果,则可能是由于文件未正确保存、未使用浏览器打开或文件扩展名设置错误…

    2025年12月23日
    400
  • node.js怎么运行html_node.js运行html步骤【指南】

    答案是使用Node.js内置http模块、Express框架或第三方工具serve可快速搭建服务器预览HTML文件。首先通过http模块创建服务器并读取index.html返回响应;其次用Express初始化项目并配置静态文件服务;最后利用serve工具全局安装后一键启动服务器,三种方式均在浏览器访…

    2025年12月23日
    300
  • html5游戏怎么修改_HT5改JS逻辑或资源文件调整游戏玩法效果【修改】

    需直接编辑核心JavaScript代码或替换图片、音频等资源文件;先用浏览器开发者工具的Sources面板定位含game、main等关键词的.js文件,再搜索score++、if (health等逻辑片段进行修改。 如果您下载了某个HTML5游戏的本地文件,希望调整其玩法逻辑或替换资源以改变视觉效果…

    2025年12月23日
    000
  • html5怎么重叠图片_html5用position:absolute或z-index让图片重叠【重叠】

    在HTML5中实现图片重叠需结合CSS定位与层叠控制:一、用position:absolute+top/left精确定位,父容器设position:relative;二、用z-index设定堆叠顺序(需已定位);三、用transform:translate()实现无文档流干扰的偏移重叠;四、用CSS…

    2025年12月23日
    200

发表回复

登录后才能评论
关注微信