投稿获客
  1. 创想鸟首页
  2. 用户投稿

使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本

程序猿 • • 用户投稿 • 阅读 0

使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本

本文详细介绍了如何利用 python 的 beautiful soup 库，结合 css 选择器和 `stripped_strings` 方法，从非结构化 html 中精确提取特定标签（如包含 `` 标签的 “）内 `
` 标签之后的文本内容。教程通过示例代码演示了如何解决常见的数据提取挑战，并提供了高效、健壮的解决方案，适用于处理复杂的 html 结构。

引言：HTML 文本提取的挑战

在网络爬虫和数据抓取任务中，从 HTML 页面中提取特定信息是常见的需求。然而，HTML 结构往往不规则，目标文本可能隐藏在复杂的标签层级中，或者紧邻其他非目标内容。特别是当我们需要提取某个特定标签（如
）之后的文本时，传统的 find() 或 find_all() 方法配合 next_sibling 可能会因为文本节点、空白字符等原因导致提取失败。本文将以一个具体的 HTML 结构为例，演示如何使用 Beautiful Soup 库，通过更强大的 CSS 选择器和字符串处理方法，高效且准确地提取所需文本。

问题场景分析

假设我们有以下 HTML 片段，目标是提取

标签中 标签之后、
标签紧随其后的文本内容（例如 “aaa” 和 “bbb”）。

    
                    
                Swan                Flower            
            
                                    
Playground
                		            
            
                                    Animal:                    
aaa		            
            
                                    Fish:                    
bbb

初次尝试可能通过 find_all(‘td’, {‘colspan’: ‘2’, ‘strong’: True}) 来定位目标

标签，然后尝试获取
的 next_sibling。然而，strong: True 并非有效的 td 标签属性，因此这种选择器无法准确匹配。即使能够定位到

，br_tag.next_sibling.strip() 也可能因文本节点或空白字符处理不当而失败。

解决方案：结合 CSS 选择器与 stripped_strings

Beautiful Soup 提供了强大的 CSS 选择器功能，通过 soup.select() 方法可以实现更灵活、精确的元素定位。结合 stripped_strings 属性，我们可以有效地提取所需文本。

立即学习“前端免费学习笔记（深入）”；

小绿鲸英文文献阅读器 小绿鲸英文文献阅读器

英文文献阅读器，专注提高SCI阅读效率

小绿鲸英文文献阅读器 199 查看详情 小绿鲸英文文献阅读器

核心思路

使用 :has() 伪类选择器定位父元素： 找到所有包含 标签的

元素。这比直接查找 的父级更具描述性，并且可以确保我们只处理包含特定子元素的

。利用 stripped_strings 提取纯净文本： 对于定位到的每个

元素，stripped_strings 属性会迭代其所有子孙文本内容，并自动去除多余的空白字符。由于我们的目标文本 “aaa” 或 “bbb” 总是

中最后一个有意义的文本片段（在 和
之后），我们可以简单地获取 stripped_strings 列表中的最后一个元素。

示例代码

以下是实现这一目标的 Python 代码：

from bs4 import BeautifulSoup# 模拟 HTML 内容html_text = """    
                    
                Swan                Flower            
            
                                    
Playground
                		            
            
                                    Animal:                    
aaa		            
            
                                    Fish:                    
bbb		            
            
                                                                                                                                                            
            
"""# 使用 Beautiful Soup 解析 HTMLsoup = BeautifulSoup(html_text, "html.parser")# 使用 CSS 选择器定位所有包含  标签的  元素# ":has(strong)" 伪类选择器用于匹配包含指定子元素的父元素target_tds = soup.select("td:has(strong)")# 遍历每个目标  元素并提取所需文本extracted_texts = []for td in target_tds:    # `td.stripped_strings` 返回一个生成器，迭代所有子孙文本，并去除空白    # 将其转换为列表，并获取最后一个元素，即 `
` 后的文本    text = list(td.stripped_strings)[-1]    extracted_texts.append(text)    print(text)print(f"n所有提取的文本: {extracted_texts}")

输出结果：

aaabbb所有提取的文本: ['aaa', 'bbb']

代码解析

from bs4 import BeautifulSoup: 导入 Beautiful Soup 库。soup = BeautifulSoup(html_text, “html.parser”): 初始化 Beautiful Soup 对象，使用 html.parser 解析器解析 HTML 文本。soup.select(“td:has(strong)”): 这是关键一步。td: 选择所有

标签。:has(strong): 这是一个 CSS 伪类选择器，它会进一步过滤

标签，只保留那些内部包含 标签的

。这使得我们能够精确地找到目标父元素。for td in target_tds:: 遍历所有匹配到的

元素。text = list(td.stripped_strings)[-1]:td.stripped_strings: 这个属性返回一个生成器，它会遍历当前 td 标签及其所有子孙标签中的文本内容，并自动去除文本两端的空白字符（如换行符、空格）。list(…): 将生成器转换为列表，这样我们可以通过索引访问其元素。[-1]: 获取列表中的最后一个元素。在我们的 HTML 结构中，Animal: 是第一个文本片段，而 aaa 是在
之后，作为

内的最后一个有意义的文本片段。因此，获取最后一个 stripped_strings 元素就能准确得到我们想要的内容。

注意事项与总结

CSS 选择器的强大性： Beautiful Soup 的 select() 方法支持大部分 CSS3 选择器，包括类选择器、ID 选择器、属性选择器、伪类选择器（如 :nth-of-type, :first-child, :has() 等）。熟练掌握 CSS 选择器能够极大地提高 HTML 元素定位的效率和准确性。stripped_strings 的应用场景： 当你需要从一个标签内部提取所有纯净的文本内容，并且这些文本可能被其他标签或空白字符分隔时，stripped_strings 是一个非常实用的工具。它能自动处理文本的拼接和空白去除。HTML 结构分析： 在进行任何数据提取之前，仔细分析目标 HTML 的结构至关重要。通过浏览器开发者工具检查元素的层级关系、属性和文本位置，可以帮助你设计出最有效的选择器和提取逻辑。健壮性考虑： 这种方法相对 next_sibling 更为健壮，因为它不依赖于
标签和目标文本之间是否存在空白文本节点。只要目标文本是其父元素内最后一个有意义的文本片段，list(td.stripped_strings)[-1] 就能成功提取。

通过本文的讲解，读者应该能够理解并运用 Beautiful Soup 的 select() 方法和 stripped_strings 属性，高效地从复杂的 HTML 结构中提取出所需的特定文本内容。这种方法不仅适用于本例，也能灵活应用于各种类似的网页数据抓取场景。

以上就是使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/588470.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
SQL 聚合函数如何与 CASE WHEN 配合？
上一篇 2025年11月10日 14:16:48
如何用SQL计算连续登录次数_SQL统计连续登录次数方法
下一篇 2025年11月10日 14:17:00

相关推荐

  • composer require-dev和require有什么不同_Composer Require与Require-Dev区别解析 用户投稿

    composer require-dev和require有什么不同_Composer Require与Require-Dev区别解析

    require用于声明项目运行必需的依赖，如框架、数据库组件和第三方SDK，这些包会随项目部署到生产环境；2. require-dev用于声明仅在开发和测试阶段需要的工具，如PHPUnit、PHPStan、Faker等，不会默认部署到生产环境；3. 安装时composer install根据环境决定…

    程序猿的头像 程序猿
    2026年5月10日
    1000
  • 修复Django电商项目中AJAX过滤产品列表图片不显示问题 用户投稿

    修复Django电商项目中AJAX过滤产品列表图片不显示问题

    在Django电商项目中，当使用AJAX动态加载过滤后的产品列表时，常遇到图片无法正常显示的问题。这通常是由于前端模板中图片加载方式（如data-setbg属性结合JavaScript库）与AJAX动态内容更新机制不兼容所致。解决方案是直接在AJAX返回的HTML中使用标准的标签来渲染图片，确保浏览…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • Matplotlib 地图中多类型图例的创建与优化

    Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化

    本教程旨在解决matplotlib地图可视化中，如何在一个图例中同时展示颜色块（如区域分类）和自定义标记（如特定兴趣点）的问题。文章详细介绍了当传统`patch`对象无法正确显示标记时，如何利用`matplotlib.lines.line2d`创建标记图例句柄，并将其与颜色块图例句柄合并，从而生成一…

    程序猿的头像 程序猿
    2026年5月10日 • 用户投稿
    100
  • Golang JSON序列化：控制敏感字段暴露的最佳实践 用户投稿

    Golang JSON序列化：控制敏感字段暴露的最佳实践

    本教程探讨golang中如何高效控制结构体字段在json序列化时的可见性。当需要将包含敏感信息的结构体数组转换为json响应时，通过利用`encoding/json`包提供的结构体标签，特别是`json:”-“`，可以轻松实现对特定字段的忽略，从而避免敏感数据泄露，确保api…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 利用海象运算符简化条件赋值：Python教程与最佳实践 用户投稿

    利用海象运算符简化条件赋值：Python教程与最佳实践

    本文旨在探讨Python中海象运算符（:=）在条件赋值场景下的应用。通过对比传统if/else语句与海象运算符，以及条件表达式，分析海象运算符在简化代码、提高可读性方面的优势与局限性。并通过具体示例，展示如何在列表推导式等场景下合理使用海象运算符，同时强调其潜在的复杂性及替代方案，帮助开发者更好地掌…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • Debian syslog性能优化技巧有哪些 用户投稿

    Debian syslog性能优化技巧有哪些

    提升Debian系统syslog (通常基于rsyslog)性能，关键在于精简配置和高效处理日志。以下策略能有效优化日志管理，提升系统整体性能： 精简配置，高效加载: 在rsyslog配置文件中，仅加载必要的输入、输出和解析模块。 使用全局指令设置日志级别和格式，避免不必要的处理。 自定义模板: 创…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 怎么在PHP代码中实现图片上传功能_PHP图片上传功能实现与安全处理教程 用户投稿

    怎么在PHP代码中实现图片上传功能_PHP图片上传功能实现与安全处理教程

    首先创建含enctype的HTML表单，再用PHP接收文件，检查目录、移动临时文件，验证类型与大小，生成唯一文件名，并调整php.ini限制以确保上传成功。 如果您尝试在PHP项目中添加图片上传功能，但服务器无法正确接收或保存文件，则可能是由于表单配置、文件处理逻辑或安全限制的问题。以下是实现该功能…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 获取日期中的周数：CodeIgniter 教程 用户投稿

    获取日期中的周数：CodeIgniter 教程

    本教程旨在帮助开发者在 CodeIgniter 框架中，从日期字符串中准确提取周数。我们将使用 PHP 内置的 DateTime 类，并提供详细的代码示例和注意事项，确保您能够轻松地在项目中实现此功能。 使用 DateTime 类获取周数 PHP 的 DateTime 类提供了一种便捷的方式来处理日…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 比特币新手教程 比特币交易平台有哪些 用户投稿

    比特币新手教程 比特币交易平台有哪些

    比特币是一种去中心化的数字货币，基于区块链技术实现点对点交易，具有匿名性、有限发行和不可篡改等特点；新手可通过交易所购买，P2P交易获得比特币，常用平台包括Binance、OKX和Huobi；交易流程包括注册账户、实名认证、绑定支付方式、充值法币并下单购买，可选择市价单或限价单；比特币存储方式有交易…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用 用户投稿

    c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用

    SFINAE 是“替换失败不是错误”的原则，指模板实例化时若参数替换导致错误，只要存在其他合法候选，编译器不报错而是继续重载决议。它用于条件启用模板、类型检测等场景，如通过 decltype 或 enable_if 控制函数重载，实现类型特征判断。尽管 C++20 引入 Concepts 简化了部分…

    程序猿的头像 程序猿
    2026年5月10日
    000

  • HTML如何隐藏滚动条或去除滚动条

    滚动条可以存在也可以不存在，本文主要介绍了html 隐藏滚动条和去除滚动条的方法的相关资料,大家一起来学习一下html隐藏滚动条或去除滚动条的方法吧。 1. html 标签加属性 XML/HTML Code复制内容到剪贴板 2.body中加入以下代码 立即学习“前端免费学习笔记（深入）”； html…

    程序猿的头像 程序猿
    用户投稿 2026年5月10日
    100
  • css max-height属性怎么用 用户投稿

    css max-height属性怎么用

    max-height 属性设置元素的最大高度。 说明 该属性值会对元素的高度设置一个最高限制。因此，元素可以比指定值矮，但不能比其高。不允许指定负值。 注意：max-height 属性不包括外边距、边框和内边距。 立即学习“前端免费学习笔记（深入）”； 值描述none 默认。定义对元素被允许的最大高…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • vscode上怎么运行html_vscode上运行html步骤【指南】 用户投稿

    vscode上怎么运行html_vscode上运行html步骤【指南】

    首先保存文件为.html格式，再通过浏览器或Live Server插件打开预览；推荐安装Live Server实现本地服务器运行与实时刷新，提升开发体验。 在 VS Code 上运行 HTML 文件并不需要复杂的配置，只需几个简单步骤即可预览页面效果。VS Code 本身是一个代码编辑器，不直接运行…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • RichHandler与Rich Progress集成：解决显示冲突的教程 用户投稿

    RichHandler与Rich Progress集成：解决显示冲突的教程

    在使用rich库的`richhandler`进行日志输出并同时使用`progress`组件时，可能会遇到显示错乱或溢出问题。这通常是由于为`richhandler`和`progress`分别创建了独立的`console`实例导致的。解决方案是确保日志处理器和进度条组件共享同一个`console`实例…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 修复点击时按钮抖动：CSS垂直对齐实践 用户投稿

    修复点击时按钮抖动：CSS垂直对齐实践

    本文探讨了在Web开发中，交互式按钮（如播放/暂停按钮）在点击时发生意外垂直位移的问题。通过分析CSS样式变化对元素布局的影响，我们发现这是由于按钮不同状态下的边框样式和内边距改变，以及默认的垂直对齐行为共同作用所致。核心解决方案是利用CSS的vertical-align属性，将其设置为middle…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • Golang goroutine与channel调试技巧 用户投稿

    Golang goroutine与channel调试技巧

    使用go run -race检测数据竞争，结合runtime.NumGoroutine监控协程数量，通过pprof分析阻塞调用栈，利用select超时避免永久阻塞，有效排查goroutine泄漏、死锁和数据竞争问题。 Go语言的goroutine和channel是并发编程的核心，但它们也带来了调试上…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 页面中文本域的值怎么设置 用户投稿

    页面中文本域的值怎么设置

    标签定义多行的文本输入控件。 文本区中可容纳无限数量的文本，其中的文本的默认字体是等宽字体（通常是 Courier）。 可以通过 cols 和 rows 属性来规定 textarea 的尺寸，不过更好的办法是使用 CSS 的 height 和 width 属性。 注释：在文本输入区内的文本行间，用 …

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 使用 Jupyter Notebook 进行探索性数据分析 用户投稿

    使用 Jupyter Notebook 进行探索性数据分析

    Jupyter Notebook通过单元格实现代码与Markdown结合，支持数据导入（pandas）、清洗（fillna）、探索（matplotlib/seaborn可视化）、统计分析（describe/corr）和特征工程，便于记录与分享分析过程。 Jupyter Notebook 是进行探索性…

    程序猿的头像 程序猿
    2026年5月10日
    000
  • 如何在HTML中插入表单元素_HTML表单控件与输入类型使用指南 用户投稿

    如何在HTML中插入表单元素_HTML表单控件与输入类型使用指南

    HTML表单通过标签构建，包含action和method属性定义数据提交目标与方式，常用input类型如text、password、email等适配不同输入需求，配合label、required、placeholder提升可用性，结合textarea、select、button等控件实现完整交互，是…

    程序猿的头像 程序猿
    2026年5月10日
    100
  • 前端缓存策略与JavaScript存储管理 用户投稿

    前端缓存策略与JavaScript存储管理

    根据数据特性选择合适的存储方式并制定清晰的读写与清理逻辑，能显著提升前端性能；合理运用Cookie、localStorage、sessionStorage、IndexedDB及Cache API，结合缓存策略与定期清理机制，可在保证用户体验的同时避免安全与性能隐患。 前端缓存和JavaScript存…

    程序猿的头像 程序猿
    2026年5月10日
    200

发表回复

登录后才能评论
关注微信