投稿获客
  1. 创想鸟首页
  2. 用户投稿

利用BeautifulSoup和Pandas高效抓取并结构化网页表格数据

程序猿 • • 用户投稿 • 阅读 0

利用BeautifulSoup和Pandas高效抓取并结构化网页表格数据

本教程详细介绍了如何使用Python的requests、BeautifulSoup和Pandas库从复杂网页中精确提取结构化表格数据。我们将以抓取特定区域的积雪深度数据为例，演示从识别HTML元素、解析表格结构到最终构建Pandas DataFrame的完整过程，并提供实用的代码示例和注意事项。

1. 背景与目标

在数据分析和自动化任务中，我们经常需要从网页上获取特定信息。当目标数据以表格形式呈现时，直接通过简单的元素选择器可能无法有效获取其结构化内容。本教程的目标是演示如何从一个包含积雪深度信息的网页（例如：https://www.yr.no/nb/sn%c3%b8dybder/no-46/norge/vestland）中，准确提取特定区域的积雪深度数据，并将其整理成易于分析的pandas dataframe。

2. 初始尝试与挑战

许多初学者在尝试抓取网页数据时，可能会先尝试查找页面上所有包含特定值的通用标签，例如通过soup.find_all(“span”, {“class”: “snow-depth__value”})来获取所有带有snow-depth__value类的span标签。这种方法虽然能获取到所有匹配的值，但存在以下问题：

缺乏上下文： 仅仅获取值无法知道它属于哪个区域、哪个时间点，数据是零散的。结构化困难： 将这些零散的值与对应的标题或描述关联起来，并最终放入DataFrame中，需要额外的逻辑处理，效率低下且容易出错。

正确的思路是首先识别目标数据在网页上的整体结构，特别是当数据呈现为表格时。

3. 精确抓取表格数据：分步指南

我们将利用requests库获取网页内容，BeautifulSoup解析HTML，然后识别并提取表格的标题和每一行数据，最终使用Pandas构建DataFrame。

3.1 引入必要的库

首先，导入我们将用到的Python库：

import requestsfrom bs4 import BeautifulSoupfrom bs4.element import ResultSet, Tagfrom typing import Generator, Listfrom pandas import DataFrame

3.2 发送HTTP请求并解析HTML

使用requests.get()方法获取网页的HTML内容，然后使用BeautifulSoup对其进行解析。

# 目标网页URLurl = 'https://www.yr.no/nb/sn%C3%B8dybder/NO-46/Norge/Vestland'# 发送GET请求获取网页内容response: requests.Response = requests.get(url)html: str = response.content# 使用BeautifulSoup解析HTMLsoup: BeautifulSoup = BeautifulSoup(html, 'html.parser')

3.3 识别并提取表格头部（列名）

表格的列名通常位于

标签中。通过检查网页的HTML结构，我们可以发现列名所在的 标签具有特定的类名，例如fluid-table__cell–heading。

# 查找所有表格头部单元格table_headers: ResultSet = soup.find_all('th', class_='fluid-table__cell--heading')# 提取列名文本# 注意：在BeautifulSoup中，由于'class'是Python的保留关键字，# 在find_all/find方法中作为参数传递时需要使用'class_'。colnames: List[str] = [th.text for th in table_headers]print("提取到的列名:", colnames)

3.4 识别并提取表格行数据

表格的每一行数据通常位于

标签中。同样，通过检查HTML结构，我们可以找到包含数据的标签具有特定的类名，例如fluid-table__row fluid-table__row–link。

为了高效处理数据，我们可以使用生成器表达式（Generator comprehension）来延迟计算，避免一次性加载所有数据到内存，这对于大型表格尤其有用。

# 查找所有表格数据行table_rows: ResultSet = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')# 使用生成器表达式提取每行中的所有单元格文本# 每个子生成器代表一行数据，包含该行所有子元素的文本内容# 这里的child.text会提取标签下所有子标签（如）的文本row_data: Generator[Generator[str, None, None], None, None] = (    (child.text for child in row.children) for row in table_rows)# 打印前几行数据以供检查（可选）print("n提取到的部分行数据:")for i, row in enumerate(row_data):    if i >= 3: # 只打印前3行        break    print(list(row)) # 将生成器转换为列表以便打印

3.5 构建Pandas DataFrame

有了列名和行数据，我们就可以轻松地使用Pandas的DataFrame构造函数来创建结构化的数据表。

# 重新获取row_data，因为上一步的打印操作已经消耗了生成器table_rows_for_df: ResultSet = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')row_data_for_df: Generator[Generator[str, None, None], None, None] = (    (child.text for child in row.children) for row in table_rows_for_df)# 创建Pandas DataFramedf: DataFrame = DataFrame(row_data_for_df, columns=colnames)# 尝试将所有列的数据类型转换为整数，如果遇到无法转换的值则忽略（保持原类型）df = df.astype(int, errors='ignore')print("n最终生成的Pandas DataFrame:")print(df.head())

4. 完整代码示例

将以上步骤整合，得到完整的代码如下：

import requestsfrom bs4 import BeautifulSoupfrom bs4.element import ResultSet, Tagfrom typing import Generator, Listfrom pandas import DataFramedef scrape_snow_depth_data(url: str) -> DataFrame:    """    从指定的URL抓取积雪深度表格数据并返回Pandas DataFrame。    Args:        url (str): 目标网页的URL。    Returns:        DataFrame: 包含积雪深度数据的Pandas DataFrame。    """    try:        response: requests.Response = requests.get(url)        response.raise_for_status()  # 检查HTTP请求是否成功    except requests.exceptions.RequestException as e:        print(f"请求网页失败: {e}")        return DataFrame()    html: str = response.content    soup: BeautifulSoup = BeautifulSoup(html, 'html.parser')    # 提取表格头部（列名）    table_headers: ResultSet = soup.find_all('th', class_='fluid-table__cell--heading')    colnames: List[str] = [th.text.strip() for th in table_headers] # 使用.strip()清除空白符    # 提取表格行数据    table_rows: ResultSet = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')    # 使用生成器表达式提取每行中的所有单元格文本    # 注意：这里需要确保每个row.children都能正确解析出所需的数据，    # 有时需要更精确的选择器如row.find_all('td')    row_data: Generator[List[str], None, None] = (        [child.text.strip() for child in row.children if isinstance(child, Tag)]         for row in table_rows    )    # 过滤掉空行或不完整的行，确保每行的数据量与列名数量一致    filtered_row_data = [row for row in row_data if len(row) == len(colnames)]    # 创建Pandas DataFrame    df: DataFrame = DataFrame(filtered_row_data, columns=colnames)    # 尝试将所有列的数据类型转换为整数，如果遇到无法转换的值则忽略    # 可能会有非数字列，所以使用errors='ignore'    for col in df.columns:        try:            df[col] = pd.to_numeric(df[col], errors='ignore')        except:            pass # 无法转换为数字的列保持原样    return dfif __name__ == "__main__":    import pandas as pd # 在主执行块中导入pd，避免全局污染    target_url = 'https://www.yr.no/nb/sn%C3%B8dybder/NO-46/Norge/Vestland'    snow_depth_df = scrape_snow_depth_data(target_url)    if not snow_depth_df.empty:        print("成功获取并处理积雪深度数据:")        print(snow_depth_df.head())        print("nDataFrame信息:")        snow_depth_df.info()    else:        print("未能获取到数据。")

5. 注意事项与最佳实践

网站结构变化： 网页的HTML结构可能会随时改变。如果代码突然失效，很可能是因为网站更新了其HTML标签、类名或结构。这时需要重新检查目标网页的HTML，并调整选择器。robots.txt： 在进行网页抓取前，务必检查网站的robots.txt文件（例如：https://www.yr.no/robots.txt），了解网站的抓取策略和允许抓取的范围。遵守这些规则是道德和法律要求。请求频率： 避免在短时间内发送大量请求，这可能导致IP被封禁或对网站服务器造成不必要的负担。可以使用time.sleep()在请求之间添加延迟。错误处理： 在实际应用中，应添加更健壮的错误处理机制，例如处理网络连接问题、页面不存在（404错误）、解析失败等情况。数据清洗： 抓取到的数据可能包含额外的空白字符、特殊符号或非预期的格式。使用.strip()、replace()等字符串方法进行进一步清洗是常见的步骤。astype(int, errors=’ignore’)： 这个方法在尝试转换数据类型时非常有用，它会忽略那些无法转换为指定类型的值，保持其原始类型，从而避免程序崩溃。

6. 总结

通过本教程，我们学习了如何利用requests、BeautifulSoup和Pandas库，从复杂的网页中高效且准确地提取结构化表格数据。关键在于深入理解目标网页的HTML结构，特别是表格（

、

、

、）的组织方式。掌握这些技术，将使您能够自动化地获取并分析各种在线数据源，极大地提升数据处理能力。

以上就是利用BeautifulSoup和Pandas高效抓取并结构化网页表格数据的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1370722.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
Pandas数据透视与向量化操作：高效聚合复杂数据集
上一篇 2025年12月14日 10:47:37
Tkinter应用中优雅地管理和关闭启动画面（Splash Screen）
下一篇 2025年12月14日 10:47:48

相关推荐

  • 修复Django电商项目中AJAX过滤产品列表图片不显示问题 用户投稿

    修复Django电商项目中AJAX过滤产品列表图片不显示问题

    在Django电商项目中，当使用AJAX动态加载过滤后的产品列表时，常遇到图片无法正常显示的问题。这通常是由于前端模板中图片加载方式（如data-setbg属性结合JavaScript库）与AJAX动态内容更新机制不兼容所致。解决方案是直接在AJAX返回的HTML中使用标准的标签来渲染图片，确保浏览…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • Matplotlib 地图中多类型图例的创建与优化

    Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化

    本教程旨在解决matplotlib地图可视化中，如何在一个图例中同时展示颜色块（如区域分类）和自定义标记（如特定兴趣点）的问题。文章详细介绍了当传统`patch`对象无法正确显示标记时，如何利用`matplotlib.lines.line2d`创建标记图例句柄，并将其与颜色块图例句柄合并，从而生成一…

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    100
  • Golang JSON序列化：控制敏感字段暴露的最佳实践 用户投稿

    Golang JSON序列化：控制敏感字段暴露的最佳实践

    本教程探讨golang中如何高效控制结构体字段在json序列化时的可见性。当需要将包含敏感信息的结构体数组转换为json响应时，通过利用`encoding/json`包提供的结构体标签，特别是`json:”-“`，可以轻松实现对特定字段的忽略，从而避免敏感数据泄露，确保api…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 利用海象运算符简化条件赋值：Python教程与最佳实践 用户投稿

    利用海象运算符简化条件赋值：Python教程与最佳实践

    本文旨在探讨Python中海象运算符（:=）在条件赋值场景下的应用。通过对比传统if/else语句与海象运算符，以及条件表达式，分析海象运算符在简化代码、提高可读性方面的优势与局限性。并通过具体示例，展示如何在列表推导式等场景下合理使用海象运算符，同时强调其潜在的复杂性及替代方案，帮助开发者更好地掌…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 怎么在PHP代码中实现图片上传功能_PHP图片上传功能实现与安全处理教程 用户投稿

    怎么在PHP代码中实现图片上传功能_PHP图片上传功能实现与安全处理教程

    首先创建含enctype的HTML表单，再用PHP接收文件，检查目录、移动临时文件，验证类型与大小，生成唯一文件名，并调整php.ini限制以确保上传成功。 如果您尝试在PHP项目中添加图片上传功能，但服务器无法正确接收或保存文件，则可能是由于表单配置、文件处理逻辑或安全限制的问题。以下是实现该功能…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 比特币新手教程 比特币交易平台有哪些 用户投稿

    比特币新手教程 比特币交易平台有哪些

    比特币是一种去中心化的数字货币，基于区块链技术实现点对点交易，具有匿名性、有限发行和不可篡改等特点；新手可通过交易所购买，P2P交易获得比特币，常用平台包括Binance、OKX和Huobi；交易流程包括注册账户、实名认证、绑定支付方式、充值法币并下单购买，可选择市价单或限价单；比特币存储方式有交易…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用 用户投稿

    c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用

    SFINAE 是“替换失败不是错误”的原则，指模板实例化时若参数替换导致错误，只要存在其他合法候选，编译器不报错而是继续重载决议。它用于条件启用模板、类型检测等场景，如通过 decltype 或 enable_if 控制函数重载，实现类型特征判断。尽管 C++20 引入 Concepts 简化了部分…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • HTML如何隐藏滚动条或去除滚动条

    滚动条可以存在也可以不存在，本文主要介绍了html 隐藏滚动条和去除滚动条的方法的相关资料,大家一起来学习一下html隐藏滚动条或去除滚动条的方法吧。 1. html 标签加属性 XML/HTML Code复制内容到剪贴板 2.body中加入以下代码 立即学习“前端免费学习笔记（深入）”； html…

    程序猿的头像 程序猿
    用户投稿 2026年5月10日
    000
  • Go语言mgo查询构建：深入理解bson.M与日期范围查询的正确实践 用户投稿

    Go语言mgo查询构建：深入理解bson.M与日期范围查询的正确实践

    本文旨在解决go语言mgo库中构建复杂查询时，特别是涉及嵌套`bson.m`和日期范围筛选的常见错误。我们将深入剖析`bson.m`的类型特性，解释为何直接索引`interface{}`会导致“invalid operation”错误，并提供一种推荐的、结构清晰的代码重构方案，以确保查询条件能够正确…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • vscode上怎么运行html_vscode上运行html步骤【指南】 用户投稿

    vscode上怎么运行html_vscode上运行html步骤【指南】

    首先保存文件为.html格式，再通过浏览器或Live Server插件打开预览；推荐安装Live Server实现本地服务器运行与实时刷新，提升开发体验。 在 VS Code 上运行 HTML 文件并不需要复杂的配置，只需几个简单步骤即可预览页面效果。VS Code 本身是一个代码编辑器，不直接运行…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • RichHandler与Rich Progress集成：解决显示冲突的教程 用户投稿

    RichHandler与Rich Progress集成：解决显示冲突的教程

    在使用rich库的`richhandler`进行日志输出并同时使用`progress`组件时，可能会遇到显示错乱或溢出问题。这通常是由于为`richhandler`和`progress`分别创建了独立的`console`实例导致的。解决方案是确保日志处理器和进度条组件共享同一个`console`实例…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 修复点击时按钮抖动：CSS垂直对齐实践 用户投稿

    修复点击时按钮抖动：CSS垂直对齐实践

    本文探讨了在Web开发中，交互式按钮（如播放/暂停按钮）在点击时发生意外垂直位移的问题。通过分析CSS样式变化对元素布局的影响，我们发现这是由于按钮不同状态下的边框样式和内边距改变，以及默认的垂直对齐行为共同作用所致。核心解决方案是利用CSS的vertical-align属性，将其设置为middle…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • Golang goroutine与channel调试技巧 用户投稿

    Golang goroutine与channel调试技巧

    使用go run -race检测数据竞争，结合runtime.NumGoroutine监控协程数量，通过pprof分析阻塞调用栈，利用select超时避免永久阻塞，有效排查goroutine泄漏、死锁和数据竞争问题。 Go语言的goroutine和channel是并发编程的核心，但它们也带来了调试上…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 页面中文本域的值怎么设置 用户投稿

    页面中文本域的值怎么设置

    标签定义多行的文本输入控件。 文本区中可容纳无限数量的文本，其中的文本的默认字体是等宽字体（通常是 Courier）。 可以通过 cols 和 rows 属性来规定 textarea 的尺寸，不过更好的办法是使用 CSS 的 height 和 width 属性。 注释：在文本输入区内的文本行间，用 …

    程序猿的头像 程序猿
    2026年5月10日
    000

  • 《魔兽世界》将于6月11日开启国服回归技术测试

    《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试

    《%ign%ignore_a_1%re_a_1%》官方宣布，将于6月11日开启国服回归技术测试，时间为7天，并称可以在6月内正式开服，玩家们可以访问官网下载战网客户端并预下载“巫妖王之怒”客户端，技术测试详情见下图。 WordAi WordAI是一个AI驱动的内容重写平台 53 查看详情 以上就是《…

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    200
  • 使用 Jupyter Notebook 进行探索性数据分析 用户投稿

    使用 Jupyter Notebook 进行探索性数据分析

    Jupyter Notebook通过单元格实现代码与Markdown结合，支持数据导入（pandas）、清洗（fillna）、探索（matplotlib/seaborn可视化）、统计分析（describe/corr）和特征工程，便于记录与分享分析过程。 Jupyter Notebook 是进行探索性…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 如何在HTML中插入表单元素_HTML表单控件与输入类型使用指南 用户投稿

    如何在HTML中插入表单元素_HTML表单控件与输入类型使用指南

    HTML表单通过标签构建，包含action和method属性定义数据提交目标与方式，常用input类型如text、password、email等适配不同输入需求，配合label、required、placeholder提升可用性，结合textarea、select、button等控件实现完整交互，是…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • HTML5网页如何实现手势操作 HTML5网页移动端交互的处理技巧 用户投稿

    HTML5网页如何实现手势操作 HTML5网页移动端交互的处理技巧

    首先利用原生touch事件实现滑动判断，再通过preventDefault解决滚动冲突，接着引入Hammer.js处理复杂手势，最后通过优化点击区域、避免事件冲突和增加视觉反馈提升体验。 在移动端浏览器中，HTML5网页可以通过触摸事件实现手势操作，提升用户体验。虽然原生JavaScript提供了基…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 创建指定大小并填充特定数据的Golang文件教程 用户投稿

    创建指定大小并填充特定数据的Golang文件教程

    本文将介绍如何使用Golang创建一个指定大小的文件，并用特定数据填充它。我们将使用 `os` 包提供的函数来创建和截断文件，从而实现快速生成大文件的目的。示例代码展示了如何创建一个10MB的文件，并将其填充为全零数据。掌握这些方法，可以方便地在例如日志系统或磁盘队列等场景中，预先创建测试文件或初始…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • Python命令怎样使用profile分析脚本性能 Python命令性能分析的基础教程 用户投稿

    Python命令怎样使用profile分析脚本性能 Python命令性能分析的基础教程

    使用Python的cProfile模块分析脚本性能最直接的方式是通过命令行执行python -m cProfile your_script.py，它会输出每个函数的调用次数、总耗时、累积耗时等关键指标，帮助定位性能瓶颈；为进一步分析，可将结果保存为文件python -m cProfile -o ou…

    程序猿的头像 程序猿
    2026年5月10日
    000

发表回复

登录后才能评论
关注微信