投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 后端开发

使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本

程序猿 • • 后端开发 • 阅读 0

使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本

本文详细介绍了如何利用 python 的 beautiful soup 库，结合 css 选择器和 `stripped_strings` 方法，从非结构化 html 中精确提取特定标签（如包含 `` 标签的 “）内 `
` 标签之后的文本内容。教程通过示例代码演示了如何解决常见的数据提取挑战，并提供了高效、健壮的解决方案，适用于处理复杂的 html 结构。

引言：HTML 文本提取的挑战

在网络爬虫和数据抓取任务中，从 HTML 页面中提取特定信息是常见的需求。然而，HTML 结构往往不规则，目标文本可能隐藏在复杂的标签层级中，或者紧邻其他非目标内容。特别是当我们需要提取某个特定标签（如
）之后的文本时，传统的 find() 或 find_all() 方法配合 next_sibling 可能会因为文本节点、空白字符等原因导致提取失败。本文将以一个具体的 HTML 结构为例，演示如何使用 Beautiful Soup 库，通过更强大的 CSS 选择器和字符串处理方法，高效且准确地提取所需文本。

问题场景分析

假设我们有以下 HTML 片段，目标是提取

标签中 标签之后、
标签紧随其后的文本内容（例如 “aaa” 和 “bbb”）。

    
                    
                Swan                Flower            
            
                                    
Playground
                		            
            
                                    Animal:                    
aaa		            
            
                                    Fish:                    
bbb

初次尝试可能通过 find_all(‘td’, {‘colspan’: ‘2’, ‘strong’: True}) 来定位目标

标签，然后尝试获取
的 next_sibling。然而，strong: True 并非有效的 td 标签属性，因此这种选择器无法准确匹配。即使能够定位到

，br_tag.next_sibling.strip() 也可能因文本节点或空白字符处理不当而失败。

解决方案：结合 CSS 选择器与 stripped_strings

Beautiful Soup 提供了强大的 CSS 选择器功能，通过 soup.select() 方法可以实现更灵活、精确的元素定位。结合 stripped_strings 属性，我们可以有效地提取所需文本。

立即学习“前端免费学习笔记（深入）”；

小绿鲸英文文献阅读器 小绿鲸英文文献阅读器

英文文献阅读器，专注提高SCI阅读效率

小绿鲸英文文献阅读器 199 查看详情 小绿鲸英文文献阅读器

核心思路

使用 :has() 伪类选择器定位父元素： 找到所有包含 标签的

元素。这比直接查找 的父级更具描述性，并且可以确保我们只处理包含特定子元素的

。利用 stripped_strings 提取纯净文本： 对于定位到的每个

元素，stripped_strings 属性会迭代其所有子孙文本内容，并自动去除多余的空白字符。由于我们的目标文本 “aaa” 或 “bbb” 总是

中最后一个有意义的文本片段（在 和
之后），我们可以简单地获取 stripped_strings 列表中的最后一个元素。

示例代码

以下是实现这一目标的 Python 代码：

from bs4 import BeautifulSoup# 模拟 HTML 内容html_text = """    
                    
                Swan                Flower            
            
                                    
Playground
                		            
            
                                    Animal:                    
aaa		            
            
                                    Fish:                    
bbb		            
            
                                                                                                                                                            
            
"""# 使用 Beautiful Soup 解析 HTMLsoup = BeautifulSoup(html_text, "html.parser")# 使用 CSS 选择器定位所有包含  标签的  元素# ":has(strong)" 伪类选择器用于匹配包含指定子元素的父元素target_tds = soup.select("td:has(strong)")# 遍历每个目标  元素并提取所需文本extracted_texts = []for td in target_tds:    # `td.stripped_strings` 返回一个生成器，迭代所有子孙文本，并去除空白    # 将其转换为列表，并获取最后一个元素，即 `
` 后的文本    text = list(td.stripped_strings)[-1]    extracted_texts.append(text)    print(text)print(f"n所有提取的文本: {extracted_texts}")

输出结果：

aaabbb所有提取的文本: ['aaa', 'bbb']

代码解析

from bs4 import BeautifulSoup: 导入 Beautiful Soup 库。soup = BeautifulSoup(html_text, “html.parser”): 初始化 Beautiful Soup 对象，使用 html.parser 解析器解析 HTML 文本。soup.select(“td:has(strong)”): 这是关键一步。td: 选择所有

标签。:has(strong): 这是一个 CSS 伪类选择器，它会进一步过滤

标签，只保留那些内部包含 标签的

。这使得我们能够精确地找到目标父元素。for td in target_tds:: 遍历所有匹配到的

元素。text = list(td.stripped_strings)[-1]:td.stripped_strings: 这个属性返回一个生成器，它会遍历当前 td 标签及其所有子孙标签中的文本内容，并自动去除文本两端的空白字符（如换行符、空格）。list(…): 将生成器转换为列表，这样我们可以通过索引访问其元素。[-1]: 获取列表中的最后一个元素。在我们的 HTML 结构中，Animal: 是第一个文本片段，而 aaa 是在
之后，作为

内的最后一个有意义的文本片段。因此，获取最后一个 stripped_strings 元素就能准确得到我们想要的内容。

注意事项与总结

CSS 选择器的强大性： Beautiful Soup 的 select() 方法支持大部分 CSS3 选择器，包括类选择器、ID 选择器、属性选择器、伪类选择器（如 :nth-of-type, :first-child, :has() 等）。熟练掌握 CSS 选择器能够极大地提高 HTML 元素定位的效率和准确性。stripped_strings 的应用场景： 当你需要从一个标签内部提取所有纯净的文本内容，并且这些文本可能被其他标签或空白字符分隔时，stripped_strings 是一个非常实用的工具。它能自动处理文本的拼接和空白去除。HTML 结构分析： 在进行任何数据提取之前，仔细分析目标 HTML 的结构至关重要。通过浏览器开发者工具检查元素的层级关系、属性和文本位置，可以帮助你设计出最有效的选择器和提取逻辑。健壮性考虑： 这种方法相对 next_sibling 更为健壮，因为它不依赖于
标签和目标文本之间是否存在空白文本节点。只要目标文本是其父元素内最后一个有意义的文本片段，list(td.stripped_strings)[-1] 就能成功提取。

通过本文的讲解，读者应该能够理解并运用 Beautiful Soup 的 select() 方法和 stripped_strings 属性，高效地从复杂的 HTML 结构中提取出所需的特定文本内容。这种方法不仅适用于本例，也能灵活应用于各种类似的网页数据抓取场景。

以上就是使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/588470.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

337.9K 文章
0 评论
1 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月10日 14:16:08
下一篇 2025年11月10日 14:17:25

相关推荐

  • Google App Engine Go运行时与CGo兼容性探讨 好文分享

    Google App Engine Go运行时与CGo兼容性探讨

    本文深入探讨了cgo在google app engine (gae) go运行时中的支持情况。由于gae作为paas平台的严格隔离性要求，cgo目前不受支持，且未来支持的可能性较低。这意味着依赖cgo进行系统级交互或高性能计算的go应用程序无法直接部署在gae上。开发者需考虑优化纯go代码、寻求替代…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang 并发编程：安全地向共享切片追加元素 好文分享

    Golang 并发编程：安全地向共享切片追加元素

    本文深入探讨了在go语言中，多个goroutine并发地向同一个切片追加元素时可能遇到的竞态条件问题。文章提供了三种主要的并发安全解决方案：使用`sync.mutex`进行互斥访问、通过通道（channel）收集结果，以及在已知最终大小的情况下，通过预分配切片并按索引写入。通过详细的代码示例和解释，…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Go 语言中通过方法安全地从切片移除元素的正确姿势 好文分享

    Go 语言中通过方法安全地从切片移除元素的正确姿势

    在 go 语言中，通过方法修改切片（slice）时，理解值接收器和指针接收器之间的区别至关重要。本文深入探讨了如何利用指针接收器，并结合正确的切片操作语法，实现从切片中安全、有效地移除元素。通过分析 `append` 函数的行为和 go 的运算符优先级，我们提供了一个清晰的解决方案和最佳实践，确保切…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang如何使用gRPC拦截器处理请求 好文分享

    Golang如何使用gRPC拦截器处理请求

    gRPC拦截器是Go中用于在RPC调用前后插入逻辑的机制，服务端通过grpc.UnaryServerInterceptor实现日志、鉴权、错误处理等功能，可在grpc.NewServer时通过UnaryInterceptor注册，支持链式组合多个拦截器，提升服务可维护性和可观测性。 在Go语言中使用…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang如何在Windows中配置WSL开发环境 好文分享

    Golang如何在Windows中配置WSL开发环境

    启用WSL并安装Linux发行版；2. 在WSL中下载、解压Go并配置PATH；3. 设置GOPATH和GOBIN（可选）；4. 使用VS Code Remote-WSL插件进行开发，实现Windows与Linux环境融合的Go开发体验。 在Windows上使用WSL（Windows Subsyst…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang如何实现错误分类管理 好文分享

    Golang如何实现错误分类管理

    Go通过自定义错误类型、哨兵错误和errors.As/Is实现错误分类，结合包装与统一结构体可兼顾上下文与业务处理。 在Go语言中，错误处理是程序设计的重要部分。随着项目规模增大，统一且可区分的错误管理变得非常关键。通过错误分类管理，可以更清晰地判断错误类型、快速定位问题，并做出相应处理。Go虽然没…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • 如何在Golang中测试接口实现正确性 好文分享

    如何在Golang中测试接口实现正确性

    答案：通过编译期空赋值断言 var _ Interface = (*Type)(nil) 可确保类型实现接口，若未实现则编译失败，从而在构建阶段及时发现错误，提升代码健壮性。 在 Golang 中，接口是隐式实现的，编译器不会强制要求你声明某个类型实现了某个接口。这种设计虽然灵活，但也容易导致运行时…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang如何实现动态生成HTML页面 好文分享

    Golang如何实现动态生成HTML页面

    Go语言通过html/template包实现安全高效的HTML动态生成，首先解析模板文件并自动转义数据防止XSS攻击；接着支持外部模板文件加载，便于维护；结合if和range实现条件与循环逻辑；推荐预编译模板提升性能，适用于中小型Web应用。 Go语言通过 html/template 包可以高效安全…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Go语言中自定义错误类型的接口断言与处理：以go-flags库为例 好文分享

    Go语言中自定义错误类型的接口断言与处理：以go-flags库为例

    本文深入探讨了go语言中处理自定义错误类型（如`go-flags`库的`flags.error`）的最佳实践。当函数返回`error`接口时，我们如何安全地将其断言回具体的错误类型以访问其内部字段，例如判断错误是否为`flags.errhelp`。文章将详细解释go接口的特性、类型断言机制及其`co…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Go语言中如何通过反射获取结构体字段列表 好文分享

    Go语言中如何通过反射获取结构体字段列表

    本文详细介绍了在go语言中如何利用reflect包来动态获取结构体的所有字段名称。通过示例代码，演示了如何将结构体实例转换为reflect.value，并利用fieldbynamefunc方法高效地遍历所有字段，将其名称收集到字符串切片中，这对于运行时检查、序列化或元数据处理等场景至关重要。 动态获…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang如何使用pprof分析性能瓶颈 好文分享

    Golang如何使用pprof分析性能瓶颈

    Go语言通过pprof可高效定位性能问题，只需导入net/http/pprof即可在/debug/pprof/暴露分析接口；通过HTTP访问或命令行工具采集CPU、内存、goroutine数据；使用top、list、web等命令分析热点函数与调用关系，结合heap和goroutine profile…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang如何实现Web表单字段动态校验 好文分享

    Golang如何实现Web表单字段动态校验

    核心是结合结构体标签、反射和自定义校验函数实现动态校验。使用validator库定义基础规则，通过RegisterValidation注册依赖其他字段或上下文的校验逻辑，如根据用户类型或租户策略动态调整规则，并返回结构化错误信息以提升前端交互体验。 Go语言中实现Web表单字段的动态校验，核心在于结…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang如何使用net/url解析URL 好文分享

    Golang如何使用net/url解析URL

    使用net/url解析URL需先调用url.Parse()获取*url.URL对象，再访问其Scheme、Host、Path等字段；通过Query()方法处理查询参数，支持多值和安全获取；利用ResolveReference()解析相对路径；Encode()用于正确编码查询参数。 在Go语言中，ne…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang如何在CI环境中运行测试 好文分享

    Golang如何在CI环境中运行测试

    配置CI环境运行Golang测试需确保环境一致性和依赖清晰，以GitHub Actions为例，通过定义workflows文件实现自动化测试，流程包括代码拉取、Go版本安装、依赖下载及测试执行；为提升效率可启用-race检测竞态、生成覆盖率报告并缓存模块依赖，核心是版本固定、命令可重复，保障测试可信…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • 如何在Golang中进行数据库性能基准测试 好文分享

    如何在Golang中进行数据库性能基准测试

    使用testing包模拟高并发读写，通过Benchmark函数测试数据库操作性能，结合b.RunParallel实现并发负载，利用b.ReportAllocs和pprof分析内存与CPU消耗，优化查询与连接池配置，并将基准测试集成到CI中监控性能趋势。 在Golang中进行数据库性能基准测试，关键在…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • Golang如何实现RPC请求压缩 好文分享

    Golang如何实现RPC请求压缩

    使用gRPC时通过注册gzip等压缩器并配置UseCompressor可实现高效RPC压缩；若用net/rpc则需自定义codec，在序列化后手动压缩数据。 Go语言实现RPC请求压缩的关键在于对传输数据进行编码层面的压缩，通常结合gRPC或标准库中的net/rpc来完成。直接在网络传输中减少数据体…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • 如何在Golang中对错误信息进行格式化 好文分享

    如何在Golang中对错误信息进行格式化

    使用 fmt.Errorf 结合 %w 动词可格式化并封装错误，保留原始上下文，支持 errors.Is 和 errors.As 判断，如 return fmt.Errorf(“读取文件失败: %w”, err)，并在多层调用中添加有意义的上下文信息，提升错误定位能力。 在G…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • 如何在Golang中实现错误级别分类 好文分享

    如何在Golang中实现错误级别分类

    通过自定义错误类型添加级别字段，实现Go错误分级：定义ErrorLevel常量，创建含级别、消息、原始错误的leveledError结构体，实现Error()和Level()方法，并提供Debug、Info、Warn、Error、Fatal等构造函数，结合日志库按级别输出。 在Golang中实现错误…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • 如何在Golang中实现HTTP请求Header自定义 好文分享

    如何在Golang中实现HTTP请求Header自定义

    在Golang中发送HTTP请求并自定义Header，需通过net/http包创建请求后调用req.Header.Set方法设置，如添加User-Agent、Authorization等；可使用http.NewRequest初始化请求，再修改Header，注意Set会覆盖原有值而Add为追加；对于重…

    程序猿的头像 程序猿
    2025年12月16日
    000
  • 如何在Golang中测试私有函数 好文分享

    如何在Golang中测试私有函数

    可通过将测试文件置于同一包内直接测试私有函数；2. 推荐通过测试调用私有函数的公有函数来间接覆盖逻辑；3. 复杂私有函数可提取至内部包并导出测试；4. 避免使用反射强行调用，破坏封装性。 在Golang中，无法直接从外部包调用私有函数（即首字母小写的函数），但测试私有函数是常见需求。Golang的测…

    程序猿的头像 程序猿
    2025年12月16日
    000

发表回复

登录后才能评论
关注微信