本教程详细介绍了如何使用Python的requests、BeautifulSoup和Pandas库从复杂网页中精确提取结构化表格数据。我们将以抓取特定区域的积雪深度数据为例，演示从识别HTML元素、解析表格结构到最终构建Pandas DataFrame的完整过程，并提供实用的代码示例和注意事项。
1. 背景与目标
在数据分析和自动化任务中，我们经常需要从网页上获取特定信息。当目标数据以表格形式呈现时，直接通过简单的元素选择器可能无法有效获取其结构化内容。本教程的目标是演示如何从一个包含积雪深度信息的网页（例如：https://www.yr.no/nb/sn%c3%b8dybder/no-46/norge/vestland）中，准确提取特定区域的积雪深度数据，并将其整理成易于分析的pandas dataframe。
2. 初始尝试与挑战
许多初学者在尝试抓取网页数据时，可能会先尝试查找页面上所有包含特定值的通用标签，例如通过soup.find_all(“span”, {“class”: “snow-depth__value”})来获取所有带有snow-depth__value类的span标签。这种方法虽然能获取到所有匹配的值，但存在以下问题：
缺乏上下文： 仅仅获取值无法知道它属于哪个区域、哪个时间点，数据是零散的。结构化困难： 将这些零散的值与对应的标题或描述关联起来，并最终放入DataFrame中，需要额外的逻辑处理，效率低下且容易出错。
正确的思路是首先识别目标数据在网页上的整体结构，特别是当数据呈现为表格时。
3. 精确抓取表格数据：分步指南
我们将利用requests库获取网页内容，BeautifulSoup解析HTML，然后识别并提取表格的标题和每一行数据，最终使用Pandas构建DataFrame。
3.1 引入必要的库
首先，导入我们将用到的Python库：
import requestsfrom bs4 import BeautifulSoupfrom bs4.element import ResultSet, Tagfrom typing import Generator, Listfrom pandas import DataFrame
3.2 发送HTTP请求并解析HTML
使用requests.get()方法获取网页的HTML内容，然后使用BeautifulSoup对其进行解析。
# 目标网页URLurl = 'https://www.yr.no/nb/sn%C3%B8dybder/NO-46/Norge/Vestland'# 发送GET请求获取网页内容response: requests.Response = requests.get(url)html: str = response.content# 使用BeautifulSoup解析HTMLsoup: BeautifulSoup = BeautifulSoup(html, 'html.parser')
3.3 识别并提取表格头部（列名）
表格的列名通常位于
# 查找所有表格头部单元格table_headers: ResultSet = soup.find_all('th', class_='fluid-table__cell--heading')# 提取列名文本# 注意：在BeautifulSoup中，由于'class'是Python的保留关键字，# 在find_all/find方法中作为参数传递时需要使用'class_'。colnames: List[str] = [th.text for th in table_headers]print("提取到的列名:", colnames)
3.4 识别并提取表格行数据
表格的每一行数据通常位于
标签中。同样，通过检查HTML结构，我们可以找到包含数据的标签具有特定的类名，例如fluid-table__row fluid-table__row–link。
为了高效处理数据，我们可以使用生成器表达式（Generator comprehension）来延迟计算，避免一次性加载所有数据到内存，这对于大型表格尤其有用。
# 查找所有表格数据行table_rows: ResultSet = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')# 使用生成器表达式提取每行中的所有单元格文本# 每个子生成器代表一行数据，包含该行所有子元素的文本内容# 这里的child.text会提取标签下所有子标签（如）的文本row_data: Generator[Generator[str, None, None], None, None] = ( (child.text for child in row.children) for row in table_rows)# 打印前几行数据以供检查（可选）print("n提取到的部分行数据:")for i, row in enumerate(row_data): if i >= 3: # 只打印前3行 break print(list(row)) # 将生成器转换为列表以便打印
3.5 构建Pandas DataFrame
有了列名和行数据，我们就可以轻松地使用Pandas的DataFrame构造函数来创建结构化的数据表。
# 重新获取row_data，因为上一步的打印操作已经消耗了生成器table_rows_for_df: ResultSet = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')row_data_for_df: Generator[Generator[str, None, None], None, None] = ( (child.text for child in row.children) for row in table_rows_for_df)# 创建Pandas DataFramedf: DataFrame = DataFrame(row_data_for_df, columns=colnames)# 尝试将所有列的数据类型转换为整数，如果遇到无法转换的值则忽略（保持原类型）df = df.astype(int, errors='ignore')print("n最终生成的Pandas DataFrame:")print(df.head())
4. 完整代码示例
将以上步骤整合，得到完整的代码如下：
import requestsfrom bs4 import BeautifulSoupfrom bs4.element import ResultSet, Tagfrom typing import Generator, Listfrom pandas import DataFramedef scrape_snow_depth_data(url: str) -> DataFrame: """ 从指定的URL抓取积雪深度表格数据并返回Pandas DataFrame。 Args: url (str): 目标网页的URL。 Returns: DataFrame: 包含积雪深度数据的Pandas DataFrame。 """ try: response: requests.Response = requests.get(url) response.raise_for_status() # 检查HTTP请求是否成功 except requests.exceptions.RequestException as e: print(f"请求网页失败: {e}") return DataFrame() html: str = response.content soup: BeautifulSoup = BeautifulSoup(html, 'html.parser') # 提取表格头部（列名） table_headers: ResultSet = soup.find_all('th', class_='fluid-table__cell--heading') colnames: List[str] = [th.text.strip() for th in table_headers] # 使用.strip()清除空白符 # 提取表格行数据 table_rows: ResultSet = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link') # 使用生成器表达式提取每行中的所有单元格文本 # 注意：这里需要确保每个row.children都能正确解析出所需的数据， # 有时需要更精确的选择器如row.find_all('td') row_data: Generator[List[str], None, None] = ( [child.text.strip() for child in row.children if isinstance(child, Tag)] for row in table_rows ) # 过滤掉空行或不完整的行，确保每行的数据量与列名数量一致 filtered_row_data = [row for row in row_data if len(row) == len(colnames)] # 创建Pandas DataFrame df: DataFrame = DataFrame(filtered_row_data, columns=colnames) # 尝试将所有列的数据类型转换为整数，如果遇到无法转换的值则忽略 # 可能会有非数字列，所以使用errors='ignore' for col in df.columns: try: df[col] = pd.to_numeric(df[col], errors='ignore') except: pass # 无法转换为数字的列保持原样 return dfif __name__ == "__main__": import pandas as pd # 在主执行块中导入pd，避免全局污染 target_url = 'https://www.yr.no/nb/sn%C3%B8dybder/NO-46/Norge/Vestland' snow_depth_df = scrape_snow_depth_data(target_url) if not snow_depth_df.empty: print("成功获取并处理积雪深度数据:") print(snow_depth_df.head()) print("nDataFrame信息:") snow_depth_df.info() else: print("未能获取到数据。")
5. 注意事项与最佳实践
网站结构变化： 网页的HTML结构可能会随时改变。如果代码突然失效，很可能是因为网站更新了其HTML标签、类名或结构。这时需要重新检查目标网页的HTML，并调整选择器。robots.txt： 在进行网页抓取前，务必检查网站的robots.txt文件（例如：https://www.yr.no/robots.txt），了解网站的抓取策略和允许抓取的范围。遵守这些规则是道德和法律要求。请求频率： 避免在短时间内发送大量请求，这可能导致IP被封禁或对网站服务器造成不必要的负担。可以使用time.sleep()在请求之间添加延迟。错误处理： 在实际应用中，应添加更健壮的错误处理机制，例如处理网络连接问题、页面不存在（404错误）、解析失败等情况。数据清洗： 抓取到的数据可能包含额外的空白字符、特殊符号或非预期的格式。使用.strip()、replace()等字符串方法进行进一步清洗是常见的步骤。astype(int, errors=’ignore’)： 这个方法在尝试转换数据类型时非常有用，它会忽略那些无法转换为指定类型的值，保持其原始类型，从而避免程序崩溃。
6. 总结
通过本教程，我们学习了如何利用requests、BeautifulSoup和Pandas库，从复杂的网页中高效且准确地提取结构化表格数据。关键在于深入理解目标网页的HTML结构，特别是表格（
、
、
、）的组织方式。掌握这些技术，将使您能够自动化地获取并分析各种在线数据源，极大地提升数据处理能力。
以上就是利用BeautifulSoup和Pandas高效抓取并结构化网页表格数据的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1370722.html
赞 (0)
打赏
微信扫一扫
支付宝扫一扫
关于作者
Pandas数据透视与向量化操作：高效聚合复杂数据集
上一篇
2025年12月14日 10:47:37
Tkinter应用中优雅地管理和关闭启动画面（Splash Screen）
下一篇
2025年12月14日 10:47:48
相关推荐
-
Pandas数据透视与向量化操作：高效聚合复杂数据集
本教程旨在解决Pandas数据处理中常见的重复性select和merge操作问题。通过引入pivot函数和向量化计算，我们将展示如何将繁琐的多步骤数据筛选、合并和计算过程，简化为简洁、高效且易于维护的代码。文章将详细阐述如何利用这些强大的Pandas功能，实现复杂数据聚合与转换，显著提升代码的可读性…
-
Pandas高效聚合：利用pivot和广播操作简化复杂数据转换
本教程旨在解决Pandas数据处理中常见的重复性过滤、选择和合并操作问题。通过深入讲解pivot函数将长格式数据转换为宽格式，并结合Pandas的广播机制进行高效的元素级计算，最终实现数据聚合的简洁化和性能优化。文章将提供详细的代码示例，帮助读者掌握利用pivot和链式操作实现复杂数据转换的最佳实践…
-
Pandas 数据聚合优化：利用 Pivot 提升效率与代码简洁性
本文旨在解决使用 Pandas 进行数据聚合时，因频繁的筛选和合并操作导致的冗余代码问题。我们将介绍如何利用 Pandas 的 pivot 函数高效重塑数据，并通过简洁的代码实现复杂的统计计算，从而显著提升数据处理效率和代码可维护性，避免不必要的中间 DataFrame。 传统数据聚合方法的痛点 在…
-
利用Python进行网页表格数据抓取与Pandas DataFrame转换
本教程详细介绍了如何使用Python的requests、BeautifulSoup和pandas库，从动态网页中抓取结构化的表格数据，特别是雪深信息，并将其高效地转换为Pandas DataFrame。内容涵盖了HTTP请求、HTML解析、元素定位以及数据清洗与整合，旨在提供一套完整的网页数据抓取与…
-
使用Pandas pivot 和向量化操作优化重复性数据聚合
本文旨在解决Pandas数据处理中常见的重复性select和merge操作问题。通过详细阐述如何利用pivot函数重塑数据，并结合sub等向量化方法进行高效计算，显著减少代码量，提高可读性和执行效率。教程将提供清晰的示例代码，帮助读者掌握更简洁、专业的数据聚合技巧，特别适用于处理大规模数据集时的复杂…
-
Pandas高效数据聚合：利用Pivot与向量化操作简化复杂统计计算
本文旨在解决Pandas数据聚合中常见的冗余操作问题，特别是当需要从原始数据框中提取多个子集并进行合并计算时。通过引入pivot函数重塑数据结构，并结合Pandas的向量化操作（如sub），我们将展示如何以更简洁、高效且易于维护的方式实现复杂的统计计算，从而避免大量中间DataFrame和merge…
-
解决FastAPI项目Poetry安装Greenlet失败的教程
本教程旨在解决FastAPI项目中使用Poetry管理依赖时，Greenlet安装失败的常见问题，尤其是在与SQLAlchemy结合时。文章将深入分析问题根源，并提供三种行之有效的解决方案：优先依赖SQLAlchemy的Greenlet、重建Poetry环境，以及作为备选方案的指定Greenlet版…
-
在Keras中实现Conv2D输入补丁的局部归一化
本教程详细介绍了如何在Keras中对Conv2D层的每个独立输入补丁进行L1范数归一化。通过创建一个自定义Keras层，我们可以灵活地在卷积操作之前对局部区域应用特定的预处理转换，例如L1范数归一化，从而增强模型对局部特征的感知能力。文章提供了自定义层的实现步骤、代码示例及其在模型中的集成方法，并讨…
-
使用同一 .spec 文件，控制 PyInstaller 打包时是否显示控制台
本文介绍如何在使用 PyInstaller 打包 PyQt5 应用时，通过修改 .spec 文件，实现在开发和调试阶段显示控制台，而在最终发布版本中隐藏控制台。重点在于利用 PyInstaller 6.0.0 及其以上版本中新增的参数传递功能，在同一 .spec 文件基础上，通过命令行参数控制 co…
-
使用同一 .spec 文件控制 PyInstaller 打包程序是否显示控制台
本文介绍如何使用同一 PyInstaller .spec 文件，通过命令行参数控制打包后的 PyQt5 应用程序是否显示控制台窗口，从而方便开发调试和生成最终发布版本。该方法避免了维护多个 .spec 文件，确保不同构建版本（开发、候选发布、正式发布）的一致性，仅在控制台显示上有所区别。此方案依赖于…
-
使用同一 PyInstaller .spec 文件控制控制台显示
本文介绍了如何使用同一 PyInstaller .spec 文件，通过命令行参数控制最终生成的可执行文件是否显示控制台。通过修改 .spec 文件并结合 PyInstaller 的参数传递功能，可以在开发、测试和发布阶段灵活地控制控制台的显示与隐藏，从而简化构建流程并确保最终产品的最终产品的一致性。…
-
Google Cloud Function 错误处理与状态码返回指南
本文旨在帮助开发者理解 Google Cloud Functions 中的错误处理机制，并提供正确的错误报告方法。重点解释了为何即使返回 500 错误码，函数状态仍显示 “OK” 的原因，并针对 HTTP 函数和事件驱动函数，分别阐述了如何正确地报告运行时错误，确保错误信息能…
-
使用 PyInstaller 同一个 .spec 文件控制控制台显示
本文介绍了如何使用 PyInstaller 的同一个 .spec 文件，根据不同构建环境（例如开发分支、发布候选版本和最终发布版本）灵活控制控制台的显示与隐藏。核心在于利用 PyInstaller 6.0.0 及以上版本提供的参数传递功能，修改 .spec 文件中的 console 属性。通过这种方…
-
Google Cloud Function 异常处理与状态码返回最佳实践
摘要：本文旨在帮助开发者理解 Google Cloud Functions 中异常处理机制，并提供正确返回错误状态码的实践方法。文章将解释为何即使在函数内部捕获异常并返回 500 错误码时，日志仍显示 “OK” 状态，并针对不同类型的 Cloud Functions 提供相应…
-
Google Cloud Function 异常处理与状态码返回
本文旨在解决 Google Cloud Function 中捕获异常后状态码仍显示 “OK” 的问题。通过分析 finally 块的执行机制以及 Cloud Function 的错误处理方式，本文将详细介绍如何在 Python Cloud Function 中正确报告运行时错…
-
使用BeautifulSoup移除HTML元素中的指定标签
本文旨在介绍如何使用Python的BeautifulSoup库从HTML文档中移除特定的标签，例如移除 标签内的所有标签。我们将通过示例代码详细讲解如何定位目标标签，并使用replace_with()方法或extract()方法将其移除，最终得到清洗后的HTML内容。 在处理HTML文档时，我们经常…
-
使用 Gradio 中的自定义 JavaScript 事件处理程序
本文介绍了如何在 Gradio 应用中使用自定义 JavaScript 事件处理程序与 Python 代码进行交互。通过在 Gradio 应用中嵌入 JavaScript 代码，监听特定事件，并将事件数据传递回 Python 函数，实现更灵活的前后端交互。本文提供了一个具体示例，展示了如何监听图像点…
-
使用BeautifulSoup移除HTML元素中的特定标签
本文旨在指导开发者如何使用BeautifulSoup库从HTML文档中移除特定的标签，同时保留标签内的文本内容。通过结合select()和replace_with()方法，可以精确地定位并移除目标标签，从而实现对HTML结构的精细控制。本文将提供详细的代码示例和步骤，帮助读者理解和掌握这一技巧。 使…
-
Tkinter类方法控制启动画面：非阻塞式集成与关闭策略
本教程探讨了如何在Python Tkinter应用中，通过类定义实现一个启动画面，并从外部主程序非阻塞地控制其显示与关闭。核心解决方案在于避免在启动画面类内部调用mainloop()，而是将事件循环管理权交给主程序，并利用root.after()方法调度启动画面的关闭和主窗口的显示，从而实现流畅的用…
-
使用 BeautifulSoup 从 HTML 元素中移除特定标签
本文介绍了如何使用 Python 的 BeautifulSoup 库从 HTML 文档的特定元素中移除指定的标签。通过 select 方法定位目标标签，并利用 replace_with 或 extract 方法实现标签的移除，并使用 smooth() 方法清理文档，最终得到期望的 HTML 结构。本…
微信扫一扫 
支付宝扫一扫 
