本教程详细阐述了如何使用Python的BeautifulSoup和html
标签）和表格（
标签）。文章深入分析了在迭代HTML元素时管理状态的关键性，指出了常见的字典初始化陷阱，并提供了一个健壮的解决方案，确保段落内容能够正确累积，并在遇到表格时将其作为独立项分离，最终生成结构清晰的数据列表。
HTML内容解析挑战：段落与表格的混合提取
在处理包含多种类型内容的HTML文档时，常见的需求是将特定类型的元素（如段落）聚合起来，而将另一些元素（如表格）作为独立项处理。例如，我们可能需要将所有连续的段落文本合并成一个逻辑单元，而一旦遇到表格，则将其视为一个新的独立数据块。这要求我们在遍历HTML结构时，能够有效地管理和维护当前解析的状态。
初始尝试与常见陷阱
许多开发者在初次尝试时，可能会采用一种直观的迭代方式，但在处理状态积累时容易陷入误区。考虑以下一个简化的、具有缺陷的初始代码逻辑：
from bs4 import BeautifulSoupimport html2textimport json# 假设 data3 包含混合的 p 和 table 标签data3 = """这是一个段落。
这是第二个段落。
Header A Header B Value 1A Value 1B
表格后的段落。
最后一个段落。
"""converter = html2text.HTML2Text()soup = BeautifulSoup(data3, 'html.parser')content_items = []for tag in soup.descendants: # 陷阱：在每次循环迭代中都重新初始化 content_dict content_dict = {'Title': "文档标题", 'Content': ''} if tag.name == "p": # 如果 content_dict 每次都被重新创建，这里只会收集当前 p 标签的内容 content_dict['Content'] += converter.handle(str(tag)) elif tag.name == "table": # 如果前面有 p 标签内容，先添加 if content_dict['Content']: content_items.append(content_dict) # 为表格创建一个新的字典，并添加 content_dict = {'Title': "文档标题", 'Content': converter.handle(str(tag))} content_items.append(content_dict) print(json.dumps(content_items, indent=4, ensure_ascii=False))
上述代码的根本问题在于 content_dict 在每次循环迭代时都被重新初始化。这意味着，当循环处理到一个新的标签时，前一个标签（即使是连续的
标签）所累积的内容会丢失，因为 content_dict 被重置为一个空字典。因此，它无法实现将多个连续的
标签内容合并到同一个 Content 字段中。
立即学习“前端免费学习笔记（深入）”；
解决方案：使用缓冲区管理状态
为了正确地实现段落内容的累积和表格的分离，我们需要引入一个临时的缓冲区来存储连续的段落内容，并在遇到非段落元素（特别是表格）时，将缓冲区内容清空并作为独立项添加，然后处理当前非段落元素。
表格形态的AI工作流搭建工具，支持批量化的AI创作与分析任务，接入DeepSeek R1满血版
以下是实现此逻辑的修正代码：
from bs4 import BeautifulSoupimport html2textimport json# 示例 HTML 数据data3 = """这是一个段落内容。
这是第二个段落，与上一个段落连续。
表格后的第一个段落。
这是一个span标签。 表格后的第二个段落。
"""converter = html2text.HTML2Text()soup = BeautifulSoup(data3, 'html.parser')content_items = [] # 存储最终结果的列表current_p_buffer = [] # 临时缓冲区，用于累积连续的 p 标签内容# 遍历 HTML 文档的所有子孙节点# 使用 soup.descendants 能够遍历到所有嵌套层级的标签，并大致按照文档顺序for tag in soup.descendants: # 确保只处理 Tag 对象，跳过 NavigableString 等文本节点 if tag.name == "p": # 如果当前标签是 p，则将其内容添加到缓冲区 current_p_buffer.append(converter.handle(str(tag))) elif tag.name == "table": # 如果遇到 table 标签，首先检查 p 缓冲区是否有内容 if current_p_buffer: # 将累积的 p 标签内容合并，并作为一个条目添加到结果列表 content_items.append({ 'Title': "35.23.060 - DR Zone Standards", # 示例标题，可根据实际需求动态设置 'Content': "".join(current_p_buffer) }) current_p_buffer = [] # 清空 p 缓冲区，准备收集下一组段落 # 然后，将 table 标签的内容作为一个独立条目添加到结果列表 content_items.append({ 'Title': "35.23.060 - DR Zone Standards", # 示例标题 'Content': converter.handle(str(tag)) }) # 可以根据需要添加其他标签的处理逻辑，例如忽略 div, span 等 # else: # # 如果遇到其他非 p 非 table 标签，也可能需要清空 p 缓冲区 # # 这取决于具体需求，例如是否只有 p 和 table 才能作为主要内容块 # if current_p_buffer: # content_items.append({ # 'Title': "35.23.060 - DR Zone Standards", # 'Content': "".join(current_p_buffer) # }) # current_p_buffer = []# 循环结束后，检查 p 缓冲区是否还有剩余内容（即文档末尾的段落）if current_p_buffer: content_items.append({ 'Title': "35.23.060 - DR Zone Standards", 'Content': "".join(current_p_buffer) })# 打印提取的数据print(json.dumps(content_items, indent=4, ensure_ascii=False))
代码解析与最佳实践
current_p_buffer：核心缓冲区 这个列表是实现段落内容累积的关键。它在循环外部初始化，确保其状态在每次迭代中得以保留。当遇到
标签时，其内容被追加到 current_p_buffer 中。
soup.descendants 与 soup.children
soup.descendants 迭代器会按照文档顺序遍历所有子孙节点，包括嵌套在其他标签内的
或
。这对于处理复杂、多层级的HTML结构非常有用。如果 HTML 结构相对扁平，且
和
标签通常是同级兄弟元素，那么使用 soup.children 或 soup.contents 可能会更直接，因为它只遍历直接子节点。然而，对于普遍情况，descendants 更具鲁棒性。
条件判断与状态转换
当 tag.name == “p” 时，内容被添加到 current_p_buffer。当 tag.name == “table” 时，这是一个“状态转换点”。此时，首先检查 current_p_buffer 是否有内容。如果有，说明前面累积了一组段落，需要将其合并并添加到 content_items 列表中，然后清空 current_p_buffer。接着，将当前
的内容作为一个新的独立项添加到 content_items。循环结束后的处理 ：在 for 循环结束后，需要再次检查 current_p_buffer。这是为了捕获文档末尾可能存在的、未被任何
标签中断的连续段落。
html2text.HTML2Text() 的作用 html2text 库用于将 HTML 片段转换为 Markdown 格式的文本。这在需要从 HTML 中提取纯文本内容，并保留一定的格式（如标题、列表、表格的Markdown表示）时非常有用。converter.handle(str(tag)) 将标签及其内部 HTML 转换为文本。
json js
总结
正确地从混合内容的HTML中提取和分组数据，关键在于有效地管理迭代过程中的状态。通过引入一个临时缓冲区来累积同类型元素（如段落），并在遇到不同类型或分隔元素（如表格）时处理缓冲区内容，我们可以构建一个健壮且灵活的解析器。这种模式不仅适用于段落和表格，也适用于任何需要按类型分组或合并的HTML元素提取任务。理解并应用状态管理技巧，是高效进行Web数据抓取和内容处理的基础。
以上就是高效解析HTML：按类型分组提取段落与表格内容的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。https://www.chuangxiangniao.com/p/571220.html
(0)
打赏
相关推荐
如何跨越localhost使用本地图片？ 问题: 在本地使用mask js库时，引入本地图片会报跨域错误。 解决方案: 要解决此问题，需要使用本地服务器启动文件，以http或https协议访问图片，而不是使用file://协议。例如： python -m http.server 8000 然后，可以…
跨域疑难：如何解决 mask 引入本地图片产生的跨域问题？ 在使用 mask 导入本地图片时，你可能会遇到令人沮丧的跨域错误。为什么会出现跨域问题呢？让我们深入了解一下： mask 框架假设你以 http(s) 协议加载你的 html 文件，而当使用 file:// 协议打开本地文件时，就会产生跨域…
如何在浏览器中获取ip地理位置信息 要获取ip地址和地理位置信息，可以利用http://ip.tanwan.com/index.php?action=ipinfo&format=js提供的js脚本，但该脚本请求类型为文档，并不适用于ajax请求。 解决方法：像cdn一样引入脚本 一种可行的解…
如何利用ajax获取远程数据并赋值给html元素？ 你提供的url是一个js文件，其中包含了ip信息。虽然该文件可以通过ajax获取，但需要注意的是，对于document类型的请求是无法使用ajax的。因此，通常会采取类似cdn引入的方式来获取这类数据。 代码演示： 在html文件中加入必要的脚本引…
探究类选择器样式的覆盖规则 给定如下html和css代码： html： 展示的内容立即学习“前端免费学习笔记（深入）”； css： .a1 { color: red;}.a2 { color: green;}.a3 { color: blue;} 元素的文本显示为蓝色，这是为什么？ 答案： 由于cs…
样式覆盖：在 style.css 中覆盖内联样式 对于css样式覆盖的问题，您提到无法在style.css中使用max-width覆盖页面中的.goods_dialog样式，即使加了!important，这确实是一个常见的问题。 解决方法是增加css选择器的权重。权重是css选择器的一个属性，它决定…
长方形中实现直接梯形，利用clip-path一招搞定 如何在长方形中实现一个直接梯形，这个问题让许多开发者伤透脑筋。不过，利用css的clip-path属性，就可以轻松解决。 clip-path属性可以让我们使用多边形（polygon）来裁剪元素的形状。在我们的例子中，我们将使用以下多边形来创建一个…
offsetWidth为何报错？ 在网页中，您希望获取offsetWidth值，却无故报错。 问题根源： 使用offsetWidth时，需要确保元素具有可见的宽度。 解决方案： 根据您提供的代码片段，您试图获取一个带有focus类名的元素的offsetWidth。以下是可能导致问题的两个原因： 您使…
正则表达式助力文本输入验证 在文本输入框的验证中，经常遇到需要限定输入内容的情况。例如，输入框只能输入整数，第一位可以为负号。对于不会使用正则表达式的人来说，这可能是个难题。下面我们将提供三种正则表达式，分别满足不同的验证要求。 1. 可选负号，任意数量数字 如果输入框中允许第一位为负号，后面可输入…
css（层叠样式表）是使网页具有视觉吸引力的重要工具。 html（超文本标记语言） 提供网页的结构和内容，而 css 负责设计、布局和整体呈现。 css 允许开发人员控制网站的外观和感觉，从颜色和字体到间距和布局，确保用户体验既具有视觉吸引力，又在不同设备上保持一致。 本文将介绍 css 的基础知识…
html/css 课程 – 第 1 课细分 第 1 课：基本 html 回顾和高级 html 元素简介 目标： 刷新基础 html 标签。引入中级html元素来构建更多功能性网页。 1。 html结构简介 首先简要说明 html 如何使用标签组织网页内容。强调html（超文本标记语言）用…
在全栈和平均栈开发方面工作了 6 年多，我可以告诉您，虽然这两种方法都是流行且有效的方法，但它们满足不同的需求，并且有自己的优点和缺点。这两个堆栈都可以帮助您创建 Web 应用程序，但它们的实现方式却截然不同。如果您在两者之间难以选择，我希望我在两者之间的经验能给您一些有用的见解。 在这篇文章中，我…
本教程演示如何在新项目中从头开始配置 django 和 tailwindcss。 django 设置 创建一个名为 .venv 的新虚拟环境。 # windows$ python -m venv .venv$ .venvscriptsactivate.ps1(.venv) $# macos/linu…
→ Python → JavaScript → Java → C# → 红宝石 → 斯威夫特 → 科特林 → C++ → PHP → 出发 → R → 打字稿 []https://x.com/e_opore/status/1811567830594388315?t=_j4nncuiy2wfbm7ic…
CSS伪类选择器是一种选择特定状态或行为元素的特殊选择器，使用element:pseudo-class语法，常见伪类包括：hover（悬停）、active（激活）、focus（焦点）、link（链接）和visited（访问过）。可用于为元素悬停、激活、获得焦点、链接和访问时应用样式，例如为按钮悬停时…
在CSS中，DIV表示一个块级元素，用于创建可通过CSS样式化的容器，包含任何类型的HTML内容，并可用于组织、分组，并通过CSS灵活布局，并可添加语义信息。与SPAN不同，DIV是块级元素用于创建容器，而SPAN是内联元素用于样式化文本。 DIV在CSS中的含义 在层叠样式表（CSS）中，DIV是…
ridge是CSS中的边框样式，用于创建具有浮雕效果的3D边框，具体表现为一条凸起的山脊状线条。 什么是ridge？ ridge是CSS中的一种边框样式，用于创建具有浮雕效果的3D边框。 ridge样式的具体效果 ridge样式的边框呈现为一条凸起的、类似于山脊的线条。在较新的浏览器上，ridge样…
CSS样式表中优先级最高的样式是内联样式，它直接嵌入到HTML元素中，作用于特定的元素。其语法为文本，并高于嵌入式样式和外部样式。 CSS样式表中优先级最高的样式 CSS样式表中优先级最高的样式是内联样式。 内联样式直接嵌入到HTML元素中，使用style属性。由于它作用于特定的元素，因此优先级高于…
CSS样式可写入以下三个位置：行内样式：直接写入HTML元素的style属性中。内部样式表：在标签内的元素中编写。外部样式表：写在单独的.css文件中，并通过标签链接到HTML页面。通常，根据具体情况选择最合适的样式写入位置。 CSS样式写入位置 CSS（Cascading Style Sheets…
CSS 选择器优先级最高的是内联样式，它直接写在 HTML 元素的 style 属性中，具有最高的优先级，其他优先级依次为：ID 选择器、类选择器、元素选择器、通配符选择器。 CSS选择器优先级最高的是什么？ 在CSS中，选择器优先级决定了哪些样式规则将被应用到元素上。优先级最高的规则将覆盖优先级较…
微信扫一扫 
支付宝扫一扫 
