原创投稿
  1. 创想鸟首页
  2. 用户投稿

使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本

程序猿 • • 用户投稿

使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本

本文详细介绍了如何利用 python 的 beautiful soup 库，结合 css 选择器和 `stripped_strings` 方法，从非结构化 html 中精确提取特定标签（如包含 `` 标签的 “）内 `
` 标签之后的文本内容。教程通过示例代码演示了如何解决常见的数据提取挑战，并提供了高效、健壮的解决方案，适用于处理复杂的 html 结构。

引言：HTML 文本提取的挑战

在网络爬虫和数据抓取任务中，从 HTML 页面中提取特定信息是常见的需求。然而，HTML 结构往往不规则，目标文本可能隐藏在复杂的标签层级中，或者紧邻其他非目标内容。特别是当我们需要提取某个特定标签（如
）之后的文本时，传统的 find() 或 find_all() 方法配合 next_sibling 可能会因为文本节点、空白字符等原因导致提取失败。本文将以一个具体的 HTML 结构为例，演示如何使用 Beautiful Soup 库，通过更强大的 CSS 选择器和字符串处理方法，高效且准确地提取所需文本。

问题场景分析

假设我们有以下 HTML 片段，目标是提取

标签中 标签之后、
标签紧随其后的文本内容（例如 “aaa” 和 “bbb”）。

    
                    
                Swan                Flower            
            
                                    
Playground
                		            
            
                                    Animal:                    
aaa		            
            
                                    Fish:                    
bbb

初次尝试可能通过 find_all(‘td’, {‘colspan’: ‘2’, ‘strong’: True}) 来定位目标

标签，然后尝试获取
的 next_sibling。然而，strong: True 并非有效的 td 标签属性，因此这种选择器无法准确匹配。即使能够定位到

，br_tag.next_sibling.strip() 也可能因文本节点或空白字符处理不当而失败。

解决方案：结合 CSS 选择器与 stripped_strings

Beautiful Soup 提供了强大的 CSS 选择器功能，通过 soup.select() 方法可以实现更灵活、精确的元素定位。结合 stripped_strings 属性，我们可以有效地提取所需文本。

立即学习“前端免费学习笔记（深入）”；

小绿鲸英文文献阅读器 小绿鲸英文文献阅读器

英文文献阅读器，专注提高SCI阅读效率

小绿鲸英文文献阅读器 199 查看详情 小绿鲸英文文献阅读器

核心思路

使用 :has() 伪类选择器定位父元素： 找到所有包含 标签的

元素。这比直接查找 的父级更具描述性，并且可以确保我们只处理包含特定子元素的

。利用 stripped_strings 提取纯净文本： 对于定位到的每个

元素，stripped_strings 属性会迭代其所有子孙文本内容，并自动去除多余的空白字符。由于我们的目标文本 “aaa” 或 “bbb” 总是

中最后一个有意义的文本片段（在 和
之后），我们可以简单地获取 stripped_strings 列表中的最后一个元素。

示例代码

以下是实现这一目标的 Python 代码：

from bs4 import BeautifulSoup# 模拟 HTML 内容html_text = """    
                    
                Swan                Flower            
            
                                    
Playground
                		            
            
                                    Animal:                    
aaa		            
            
                                    Fish:                    
bbb		            
            
                                                                                                                                                            
            
"""# 使用 Beautiful Soup 解析 HTMLsoup = BeautifulSoup(html_text, "html.parser")# 使用 CSS 选择器定位所有包含  标签的  元素# ":has(strong)" 伪类选择器用于匹配包含指定子元素的父元素target_tds = soup.select("td:has(strong)")# 遍历每个目标  元素并提取所需文本extracted_texts = []for td in target_tds:    # `td.stripped_strings` 返回一个生成器，迭代所有子孙文本，并去除空白    # 将其转换为列表，并获取最后一个元素，即 `
` 后的文本    text = list(td.stripped_strings)[-1]    extracted_texts.append(text)    print(text)print(f"n所有提取的文本: {extracted_texts}")

输出结果：

aaabbb所有提取的文本: ['aaa', 'bbb']

代码解析

from bs4 import BeautifulSoup: 导入 Beautiful Soup 库。soup = BeautifulSoup(html_text, “html.parser”): 初始化 Beautiful Soup 对象，使用 html.parser 解析器解析 HTML 文本。soup.select(“td:has(strong)”): 这是关键一步。td: 选择所有

标签。:has(strong): 这是一个 CSS 伪类选择器，它会进一步过滤

标签，只保留那些内部包含 标签的

。这使得我们能够精确地找到目标父元素。for td in target_tds:: 遍历所有匹配到的

元素。text = list(td.stripped_strings)[-1]:td.stripped_strings: 这个属性返回一个生成器，它会遍历当前 td 标签及其所有子孙标签中的文本内容，并自动去除文本两端的空白字符（如换行符、空格）。list(…): 将生成器转换为列表，这样我们可以通过索引访问其元素。[-1]: 获取列表中的最后一个元素。在我们的 HTML 结构中，Animal: 是第一个文本片段，而 aaa 是在
之后，作为

内的最后一个有意义的文本片段。因此，获取最后一个 stripped_strings 元素就能准确得到我们想要的内容。

注意事项与总结

CSS 选择器的强大性： Beautiful Soup 的 select() 方法支持大部分 CSS3 选择器，包括类选择器、ID 选择器、属性选择器、伪类选择器（如 :nth-of-type, :first-child, :has() 等）。熟练掌握 CSS 选择器能够极大地提高 HTML 元素定位的效率和准确性。stripped_strings 的应用场景： 当你需要从一个标签内部提取所有纯净的文本内容，并且这些文本可能被其他标签或空白字符分隔时，stripped_strings 是一个非常实用的工具。它能自动处理文本的拼接和空白去除。HTML 结构分析： 在进行任何数据提取之前，仔细分析目标 HTML 的结构至关重要。通过浏览器开发者工具检查元素的层级关系、属性和文本位置，可以帮助你设计出最有效的选择器和提取逻辑。健壮性考虑： 这种方法相对 next_sibling 更为健壮，因为它不依赖于
标签和目标文本之间是否存在空白文本节点。只要目标文本是其父元素内最后一个有意义的文本片段，list(td.stripped_strings)[-1] 就能成功提取。

通过本文的讲解，读者应该能够理解并运用 Beautiful Soup 的 select() 方法和 stripped_strings 属性，高效地从复杂的 HTML 结构中提取出所需的特定文本内容。这种方法不仅适用于本例，也能灵活应用于各种类似的网页数据抓取场景。

以上就是使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/588470.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
SQL 聚合函数如何与 CASE WHEN 配合？
上一篇 2025年11月10日 14:16:48
如何用SQL计算连续登录次数_SQL统计连续登录次数方法
下一篇 2025年11月10日 14:17:00

相关推荐

  • 规划指南vs随性秘籍：右滑直达华为负一屏搞定你的国庆假期！

    规划指南vs随性秘籍：右滑直达华为负一屏搞定你的国庆假期！规划指南vs随性秘籍：右滑直达华为负一屏搞定你的国庆假期！规划指南vs随性秘籍：右滑直达华为负一屏搞定你的国庆假期！规划指南vs随性秘籍：右滑直达华为负一屏搞定你的国庆假期！

    国庆长假即将到来，最近南方的小伙伴们肯定还无心假期，都在忐忑等待全球最强台风“桦加沙”的到来。目前广东多地都因台风过境而宣布实时“五停”，大家台风天气记得做好防护，不出门不上路，保障人身安全。为了便于让广大居民在家了解台风情况，华为手机负一屏已上线台风动态卡片功能，用户桌面右滑可以快速查看台风等级、…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    100

  • 如何免费查询抖音店铺名字大全？推荐技巧

    如何免费查询抖音店铺名字大全？推荐技巧如何免费查询抖音店铺名字大全？推荐技巧如何免费查询抖音店铺名字大全？推荐技巧如何免费查询抖音店铺名字大全？推荐技巧

    想要免费获取抖音店铺名字灵感并掌握高效查询技巧，不妨参考以下实用方法： 1. 善用抖音内置搜索 抖音平台本身就是一个巨大的命名灵感库。只需几步即可挖掘热门名称： 打开抖音App，点击顶部搜索栏。输入行业关键词，如“女装店”、“奶茶店”、“手作饰品”等。浏览搜索结果中的账号昵称与店铺名，筛选出风格契合…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    100

  • 360极速浏览器怎么查看历史浏览记录_360极速浏览器访问历史记录查询与管理

    360极速浏览器怎么查看历史浏览记录_360极速浏览器访问历史记录查询与管理360极速浏览器怎么查看历史浏览记录_360极速浏览器访问历史记录查询与管理360极速浏览器怎么查看历史浏览记录_360极速浏览器访问历史记录查询与管理360极速浏览器怎么查看历史浏览记录_360极速浏览器访问历史记录查询与管理

    可通过历史记录功能查找并管理360极速浏览器的浏览记录。一、点击右上角菜单→“历史记录”→“显示所有历史记录”查看完整列表；二、在历史页面顶部搜索框输入关键词精准查找；三、悬停记录点击“删除”可清除单条，或点击“清除上网痕迹”选择时间范围及数据类型后点击“立即清理”清除全部记录。 如果您在使用360…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    000

  • sublime怎么安装less或sass的编译插件_Sublime Less及Sass自动编译插件安装配置

    sublime怎么安装less或sass的编译插件_Sublime Less及Sass自动编译插件安装配置sublime怎么安装less或sass的编译插件_Sublime Less及Sass自动编译插件安装配置sublime怎么安装less或sass的编译插件_Sublime Less及Sass自动编译插件安装配置sublime怎么安装less或sass的编译插件_Sublime Less及Sass自动编译插件安装配置

    Sublime Text中Less/Sass编译插件的核心优势在于实现自动编译，提升开发效率。通过Package Control安装如Less2Css或SassBuild等插件，可在保存文件时自动将Less或Sass代码转换为CSS，无需手动执行命令行编译。其主要优势包括：即时反馈，修改后保存即生成…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    000

  • win8怎么安装chrome浏览器_Win8安装Chrome浏览器教程

    win8怎么安装chrome浏览器_Win8安装Chrome浏览器教程win8怎么安装chrome浏览器_Win8安装Chrome浏览器教程win8怎么安装chrome浏览器_Win8安装Chrome浏览器教程win8怎么安装chrome浏览器_Win8安装Chrome浏览器教程

    首先尝试通过官网在线下载安装Chrome，若失败则使用离线安装包，最后可采用命令行静默安装解决Windows 8系统无法安装Chrome的问题。 如果您尝试在Windows 8系统上安装Chrome浏览器，但遇到无法下载或安装失败的情况，可能是由于网络问题、系统兼容性或安装源受限所致。以下是解决此问…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    000

  • edge提示“由你的组织管理”怎么解除_edge解除“由你的组织管理”提示的方法

    edge提示“由你的组织管理”怎么解除_edge解除“由你的组织管理”提示的方法edge提示“由你的组织管理”怎么解除_edge解除“由你的组织管理”提示的方法edge提示“由你的组织管理”怎么解除_edge解除“由你的组织管理”提示的方法edge提示“由你的组织管理”怎么解除_edge解除“由你的组织管理”提示的方法

    首先删除注册表中HKEY_LOCAL_MACHINE和HKEY_CURRENT_USER下的Edge策略项，再通过gpedit.msc禁用组策略设置，接着重置Edge浏览器，排查卸载第三方管理软件，最后手动清除Local State文件中的管理配置。 如果您在使用 Microsoft Edge 浏览…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    000
  • 显卡散热风扇的轴承技术如何影响噪音与寿命？ 用户投稿

    显卡散热风扇的轴承技术如何影响噪音与寿命？

    显卡风扇的噪音和寿命主要由轴承类型决定，含油轴承成本低但寿命短、易变吵；滚珠轴承寿命长、稳定性好，但可能有轻微机械噪音；流体动压轴承（FDB/HDB）静音效果最佳、寿命最长，是高端显卡首选。此外，风扇叶片设计、电机品质、散热结构、安装方式及线圈啸叫等也影响整体噪音。通过定期除尘、优化风道、自定义风扇…

    程序猿的头像 程序猿
    2026年9月27日
    000
  • VSCode如何优化文件搜索速度 VSCode全局搜索的性能优化建议 用户投稿

    VSCode如何优化文件搜索速度 VSCode全局搜索的性能优化建议

    vscode文件搜索慢的核心原因是未合理排除无关文件及系统环境限制，解决方法是一套组合拳：1. 配置search.exclude在settings.json中排除node_modules、dist等无关文件夹；2. 确保使用.gitignore并开启search.useignorefiles；3. …

    程序猿的头像 程序猿
    2026年9月27日
    000
  • 【Linux/C++】Linux下C++命令行编译示例 用户投稿

    【Linux/C++】Linux下C++命令行编译示例

    本文是关于c++++编程语言基础和linux系统操作基础的系列文章的第二部分。我们将详细介绍在linux环境下如何编译c++代码，并展示相关的编译示例和技巧。 文章目录 准备源代码编译实战引入目录进行编译使用-Wall、-std 参数进行编译生成库文件链接静态库生成可执行文件链接动态库生成可执行文件…

    程序猿的头像 程序猿
    2026年9月27日
    100

  • linux脚本怎么写

    linux脚本怎么写linux脚本怎么写linux脚本怎么写linux脚本怎么写

    编写 Linux 脚本涉及以下步骤：选择脚本语言（例如 Bash、Python）创建脚本文件并添加 Shebang 行（例如，#!/bin/bash）编写脚本内容，包括变量、命令、循环和条件语句赋予执行权限（chmod +x script.sh）运行脚本（./script.sh）脚本结构通常包括：S…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    000

  • Gemini移动端如何节省流量 Gemini数据压缩与缓存设置指南

    Gemini移动端如何节省流量 Gemini数据压缩与缓存设置指南Gemini移动端如何节省流量 Gemini数据压缩与缓存设置指南Gemini移动端如何节省流量 Gemini数据压缩与缓存设置指南Gemini移动端如何节省流量 Gemini数据压缩与缓存设置指南

    gemini移动端节省流量的核心方法包括：1.开启应用内的数据压缩模式，选择低分辨率加载图片和视频；2.关闭自动播放功能，防止后台流量浪费；3.限制或关闭后台刷新与预加载，减少无谓的数据更新；4.定期清理缓存或设置缓存上限，避免过期数据重复下载；5.启用系统级低数据模式，限制后台流量使用；6.关闭g…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    100

  • 星巴克点单抖音怎么弄的？快速了解方法与实用技巧

    星巴克点单抖音怎么弄的？快速了解方法与实用技巧星巴克点单抖音怎么弄的？快速了解方法与实用技巧星巴克点单抖音怎么弄的？快速了解方法与实用技巧星巴克点单抖音怎么弄的？快速了解方法与实用技巧

    引言： 在移动互联网高速发展的今天，抖音已成为大众记录生活、分享日常的重要社交平台。不少用户开始关注：是否可以直接在抖音上点星巴克咖啡？答案是肯定的！本文将为您详细介绍如何通过抖音轻松完成星巴克点单，并提供实用操作技巧与相关知识，助您畅享便捷又有趣的消费体验。 一、星巴克为何选择抖音点单？背后趋势解…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    000

  • sublime怎么配置java语法检查_sublime Java语法检查配置

    sublime怎么配置java语法检查_sublime Java语法检查配置sublime怎么配置java语法检查_sublime Java语法检查配置sublime怎么配置java语法检查_sublime Java语法检查配置sublime怎么配置java语法检查_sublime Java语法检查配置

    首先安装Package Control，再通过它安装SublimeLinter和SublimeLinter-javac插件，确保系统已配置JDK并能全局运行javac，最后在SublimeLinter设置中启用javac，即可实现Java语法检查。 Sublime Text 本身不自带 Java 语…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    1000

  • qq浏览器如何删除历史访问记录 QQ浏览器单条与批量删除历史记录教程

    qq浏览器如何删除历史访问记录 QQ浏览器单条与批量删除历史记录教程qq浏览器如何删除历史访问记录 QQ浏览器单条与批量删除历史记录教程qq浏览器如何删除历史访问记录 QQ浏览器单条与批量删除历史记录教程qq浏览器如何删除历史访问记录 QQ浏览器单条与批量删除历史记录教程

    首先打开QQ浏览器，进入“我的”页面点击“历史记录”。若要删除单条记录，长按目标条目后点击删除并确认；若需批量删除，点击“管理”勾选多个条目后选择“删除所选”并确认；如要清空全部历史，点击右下角“清空”按钮，勾选“同时清空全部历史记录”后确认即可完成操作。 如果您在使用QQ浏览器时希望管理您的浏览历…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    600

  • sublime怎么配置git_Sublime Text集成Git版本控制教程

    sublime怎么配置git_Sublime Text集成Git版本控制教程sublime怎么配置git_Sublime Text集成Git版本控制教程sublime怎么配置git_Sublime Text集成Git版本控制教程sublime怎么配置git_Sublime Text集成Git版本控制教程

    Sublime Text 本身不内置 Git 功能，但可以通过插件和外部 Git 环境实现集成。以下是配置 Sublime Text 使用 Git 的完整方法，帮助你在编辑器中便捷地进行版本控制操作。 1. 安装并配置 Git 环境 确保你的系统已安装 Git，并能通过命令行使用： Windows：…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    100

  • win8如何分区硬盘_Win8硬盘分区教程

    win8如何分区硬盘_Win8硬盘分区教程win8如何分区硬盘_Win8硬盘分区教程win8如何分区硬盘_Win8硬盘分区教程win8如何分区硬盘_Win8硬盘分区教程

    首先打开磁盘管理工具，通过压缩卷释放未分配空间或删除分区清空区域，再利用新建简单卷向导设置大小、分配盘符并格式化为NTFS，从而完成分区创建或重组。 如果您希望在Windows 8系统中对硬盘进行重新规划，以便更好地管理文件或安装多个操作系统，则可以通过系统自带的磁盘管理工具来创建、调整或删除分区。…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    100

  • 库迪咖啡的抖音优惠券：小程序核销操作步骤

    库迪咖啡的抖音优惠券：小程序核销操作步骤库迪咖啡的抖音优惠券：小程序核销操作步骤库迪咖啡的抖音优惠券：小程序核销操作步骤库迪咖啡的抖音优惠券：小程序核销操作步骤

    如今，抖音已成为社交平台中的热门应用，而库迪咖啡作为深受大众喜爱的连锁咖啡品牌，近期在抖音上线了多项吸引人的优惠券活动，引发众多咖啡爱好者争相参与。如果你也想获取并使用这些超值福利，却还不清楚具体如何操作，接下来将为你详细解析通过抖音小程序领取及核销优惠券的完整流程。 1. 启动抖音App 请确认你…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    100

  • 怎样让 AI 模型持续改进工具与豆包配合进行改进？全流程指南​

    怎样让 AI 模型持续改进工具与豆包配合进行改进？全流程指南​怎样让 AI 模型持续改进工具与豆包配合进行改进？全流程指南​怎样让 AI 模型持续改进工具与豆包配合进行改进？全流程指南​怎样让 AI 模型持续改进工具与豆包配合进行改进？全流程指南​

    要让ai模型与豆包配合更好，需通过持续反馈、调优和迭代实现。1. 明确使用场景并设定目标，记录问题并打标签以指导优化方向；2. 善用豆包反馈机制，具体描述问题并定期分析反馈记录；3. 进阶用户可结合结构化外部数据进行微调并通过a/b测试验证效果；4. 优化提示词设计，明确角色、格式和逻辑顺序，提升交…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    000

  • Sublime运行Python代码中文乱码_修改默认编码格式解决方案

    Sublime运行Python代码中文乱码_修改默认编码格式解决方案Sublime运行Python代码中文乱码_修改默认编码格式解决方案Sublime运行Python代码中文乱码_修改默认编码格式解决方案Sublime运行Python代码中文乱码_修改默认编码格式解决方案

    答案是修改文件编码声明、配置Sublime构建系统、更改系统区域设置或输出到文件。首先在Python文件首行添加# — coding: utf-8 –，然后在Sublime中创建自定义构建系统并设置环境变量PYTHONIOENCODING为utf-8，接着可调整Windows…

    程序猿的头像 程序猿
    2026年9月27日 • 用户投稿
    000
  • 就业培训里PHP+MySQL安全开发的讲解深度 用户投稿

    就业培训里PHP+MySQL安全开发的讲解深度

    php+mysql安全开发的讲解深度应包括：1)基础安全措施的详细讲解，2)常见攻击类型和防范方法的深入探讨，3)最佳实践和开发习惯的培养，以提升学员的技术技能和安全意识。 在就业培训中，关于PHP+MySQL安全开发的讲解深度是一个非常关键的话题。这不仅关系到学员能否掌握必要的技能，也直接影响到他…

    程序猿的头像 程序猿
    2026年9月27日
    000

发表回复

登录后才能评论
关注微信