使用Selenium和JavaScript精准提取HTML标签内的直属文本内容

使用selenium和javascript精准提取html标签内的直属文本内容

本教程详细阐述了如何利用Selenium的execute_script方法结合JavaScript,精准地从HTML标签中提取所有直接文本内容,而非其子元素中的文本。通过遍历DOM节点并识别TEXT_NODE类型,此方法能够有效解决传统文本提取方式的局限性,确保获取到纯粹的、非嵌套的文本信息。

在Web自动化测试和数据抓取中,我们经常需要从HTML元素中提取文本内容。然而,当一个标签内包含子标签和直接文本混合的情况时,简单的element.text属性或firstChild方法往往无法满足需求。例如,考虑以下HTML结构:

  

Name

Dompdf
Dompdf

dompdf是一个HTML到PDF转换器。在其核心,dompdf是一个(大部分)符合CSS 2.1标准的HTML布局和渲染引擎,使用PHP编写。它是一个以样式驱动的渲染器,它会下载并读取外部样式表,内联样式标签和单个HTML元素的样式属性。它还支持大多数表现性HTML属性。PDF渲染目前由PDFLib或由Wayne Munro编写的捆绑版本的R&OS CPDF类提供。(对R&OS类进行了一些重要的更改,但是)。为了使用dompdf与PDFLib,需要安装PDFLib PECL扩展。使用PD

Dompdf 5
查看详情 Dompdf

立即学习Java免费学习笔记(深入)”;

agdsf
John Smith dfsdf Address:
NewYork

如果我们的目标是提取“John Smith Address: NewYork”,而忽略

、等子标签中的文本,传统的Selenium方法可能会遇到挑战。

传统方法的局限性

element.text属性: 这个属性通常会返回元素及其所有子元素中可见的文本内容,这会包含

Name

立即学习“Java免费学习笔记(深入)”;

中的“Name”以及agdsf中的“agdsf”,不符合我们只获取直属文本的需求。driver.execute_script(‘return arguments[0].firstChild;’, td_tag)[‘textContent’]: 这种方法只能获取到元素的第一个子节点(如果它是文本节点)的文本。在上述例子中,td_tag的第一个子节点是

Name

立即学习“Java免费学习笔记(深入)”;

,所以它不会返回“John Smith”。即使第一个子节点是文本节点,它也无法获取后续的直属文本。

解决方案:利用JavaScript节点遍历

为了精准地提取所有直属文本节点,我们需要借助Selenium的execute_script方法,执行一段自定义的JavaScript代码。这段代码将遍历目标元素的所有直接子节点,并仅提取类型为TEXT_NODE的节点内容。

示例代码

以下是使用Python和Selenium实现此功能的代码:

from selenium import webdriverfrom selenium.webdriver.common.by import Byimport time# 假设您已经设置好了WebDriver# driver = webdriver.Chrome() # 或其他浏览器驱动# 为了演示,我们创建一个虚拟的HTML页面driver = webdriver.Chrome()driver.get("data:text/html,

Name

立即学习Java免费学习笔记(深入)”;

agdsf
John SmithdfsdfAddress:
NewYork")time.sleep(1) # 等待页面加载# 查找目标td元素td_tag = driver.find_element(By.ID, "td_id")# 执行JavaScript代码提取直属文本all_direct_text = driver.execute_script(""" var node = arguments[0]; // 获取传入的td元素 var text = ''; // 初始化一个空字符串用于存储结果 // 遍历td元素的所有直接子节点 for (var child = node.firstChild; child; child = child.nextSibling) { // 检查子节点是否是文本节点 (Node.TEXT_NODE 的值为 3) if (child.nodeType === Node.TEXT_NODE) { // 如果是文本节点,将其内容添加到结果字符串中,并去除首尾空白 // 并在每个文本块后添加一个空格,以便区分 text += child.textContent.trim() + ' '; } } // 返回最终结果,并去除末尾可能多余的空格 return text.trim();""", td_tag)print(f"提取到的直属文本:'{all_direct_text}'")# 预期输出:'John Smith Address: NewYork'driver.quit()

代码解析

var node = arguments[0];:arguments[0]是JavaScript执行环境中接收到的第一个参数,这里即是从Python端传入的td_tag元素。var text = ”;:初始化一个空字符串text,用于累积所有提取到的直属文本内容。for (var child = node.firstChild; child; child = child.nextSibling):这是一个标准的JavaScript DOM遍历循环。node.firstChild:获取当前元素的第一个子节点。child:循环条件,当child为null(即没有更多子节点)时循环结束。child = child.nextSibling:在每次迭代后,将child更新为当前子节点的下一个兄弟节点。if (child.nodeType === Node.TEXT_NODE):这是核心判断逻辑。nodeType属性返回节点的类型。Node.TEXT_NODE是一个常量,其值为3,表示该节点是一个纯文本节点。通过此判断,我们确保只处理直接的文本内容,而忽略元素节点(如

、)。text += child.textContent.trim() + ‘ ‘;:如果当前子节点是文本节点,我们通过child.textContent获取其文本内容。.trim()方法用于移除文本内容两端的空白字符(如换行符、空格)。在每个文本块后添加一个空格,以确保不同文本块之间有适当的分隔。return text.trim();:在循环结束后,返回累积的text字符串。最后的.trim()用于移除整个字符串末尾可能多余的一个空格。

注意事项

Node.TEXT_NODE的重要性: 理解nodeType及其对应的常量(如Node.ELEMENT_NODE为1,Node.COMMENT_NODE为8等)是进行精确DOM操作的关键。空白字符处理: HTML中的换行符和多余空格会被视为文本节点的一部分。使用.trim()可以有效地清理这些不必要的空白,确保输出的整洁性。适用场景: 这种方法特别适用于需要从复杂HTML结构中精确提取特定文本内容的场景,尤其当这些文本与其他HTML元素混杂在一起时。

总结

通过结合Selenium的execute_script功能和JavaScript的DOM遍历能力,我们可以实现对HTML元素内部直属文本的精确提取。这种方法绕过了Selenium内置文本提取方法的局限性,提供了更细粒度的控制,使得在处理复杂Web页面时能够获取到更符合需求的文本数据。掌握这种技术对于进行高级Web抓取和自动化任务至关重要。

以上就是使用Selenium和JavaScript精准提取HTML标签内的直属文本内容的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1374837.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月14日 14:29:42
下一篇 2025年12月14日 14:29:50

相关推荐

  • 如何解决本地图片在使用 mask JS 库时出现的跨域错误?

    如何跨越localhost使用本地图片? 问题: 在本地使用mask js库时,引入本地图片会报跨域错误。 解决方案: 要解决此问题,需要使用本地服务器启动文件,以http或https协议访问图片,而不是使用file://协议。例如: python -m http.server 8000 然后,可以…

    2025年12月24日
    200
  • 使用 Mask 导入本地图片时,如何解决跨域问题?

    跨域疑难:如何解决 mask 引入本地图片产生的跨域问题? 在使用 mask 导入本地图片时,你可能会遇到令人沮丧的跨域错误。为什么会出现跨域问题呢?让我们深入了解一下: mask 框架假设你以 http(s) 协议加载你的 html 文件,而当使用 file:// 协议打开本地文件时,就会产生跨域…

    2025年12月24日
    200
  • 如何利用JS脚本在浏览器中获取IP地址和地理位置信息?

    如何在浏览器中获取ip地理位置信息 要获取ip地址和地理位置信息,可以利用http://ip.tanwan.com/index.php?action=ipinfo&format=js提供的js脚本,但该脚本请求类型为文档,并不适用于ajax请求。 解决方法:像cdn一样引入脚本 一种可行的解…

    2025年12月24日
    100
  • 如何使用Ajax从远程JS文件获取IP信息并展示在HTML元素中?

    如何利用ajax获取远程数据并赋值给html元素? 你提供的url是一个js文件,其中包含了ip信息。虽然该文件可以通过ajax获取,但需要注意的是,对于document类型的请求是无法使用ajax的。因此,通常会采取类似cdn引入的方式来获取这类数据。 代码演示: 在html文件中加入必要的脚本引…

    2025年12月24日
    000
  • 为什么CSS中多个类选择器声明时,最后声明的样式会覆盖前面的样式?

    探究类选择器样式的覆盖规则 给定如下html和css代码: html: 展示的内容立即学习“前端免费学习笔记(深入)”; css: .a1 { color: red;}.a2 { color: green;}.a3 { color: blue;} 元素的文本显示为蓝色,这是为什么? 答案: 由于cs…

    2025年12月24日
    000
  • 如何用 style.css 覆盖页面中的内联样式?

    样式覆盖:在 style.css 中覆盖内联样式 对于css样式覆盖的问题,您提到无法在style.css中使用max-width覆盖页面中的.goods_dialog样式,即使加了!important,这确实是一个常见的问题。 解决方法是增加css选择器的权重。权重是css选择器的一个属性,它决定…

    2025年12月24日
    000
  • 如何使用 CSS clip-path 在长方形中创建直角梯形?

    长方形中实现直接梯形,利用clip-path一招搞定 如何在长方形中实现一个直接梯形,这个问题让许多开发者伤透脑筋。不过,利用css的clip-path属性,就可以轻松解决。 clip-path属性可以让我们使用多边形(polygon)来裁剪元素的形状。在我们的例子中,我们将使用以下多边形来创建一个…

    2025年12月24日
    000
  • offsetWidth 为什么出错了?

    offsetWidth为何报错? 在网页中,您希望获取offsetWidth值,却无故报错。 问题根源: 使用offsetWidth时,需要确保元素具有可见的宽度。 解决方案: 根据您提供的代码片段,您试图获取一个带有focus类名的元素的offsetWidth。以下是可能导致问题的两个原因: 您使…

    2025年12月24日
    000
  • 正则表达式在文本验证中的常见问题有哪些?

    正则表达式助力文本输入验证 在文本输入框的验证中,经常遇到需要限定输入内容的情况。例如,输入框只能输入整数,第一位可以为负号。对于不会使用正则表达式的人来说,这可能是个难题。下面我们将提供三种正则表达式,分别满足不同的验证要求。 1. 可选负号,任意数量数字 如果输入框中允许第一位为负号,后面可输入…

    2025年12月24日
    000
  • CSS(层叠样式表):网页的样式和布局

    css(层叠样式表)是使网页具有视觉吸引力的重要工具。 html(超文本标记语言) 提供网页的结构和内容,而 css 负责设计、布局和整体呈现。 css 允许开发人员控制网站的外观和感觉,从颜色和字体到间距和布局,确保用户体验既具有视觉吸引力,又在不同设备上保持一致。 本文将介绍 css 的基础知识…

    2025年12月24日
    000
  • HTML/CSS 课程 – 课程或年级

    html/css 课程 – 第 1 课细分 第 1 课:基本 html 回顾和高级 html 元素简介 目标: 刷新基础 html 标签。引入中级html元素来构建更多功能性网页。 1。 html结构简介 首先简要说明 html 如何使用标签组织网页内容。强调html(超文本标记语言)用…

    2025年12月24日
    000
  • 为什么多年的经验让我选择全栈而不是平均栈

    在全栈和平均栈开发方面工作了 6 年多,我可以告诉您,虽然这两种方法都是流行且有效的方法,但它们满足不同的需求,并且有自己的优点和缺点。这两个堆栈都可以帮助您创建 Web 应用程序,但它们的实现方式却截然不同。如果您在两者之间难以选择,我希望我在两者之间的经验能给您一些有用的见解。 在这篇文章中,我…

    2025年12月24日
    000
  • 姜戈顺风

    本教程演示如何在新项目中从头开始配置 django 和 tailwindcss。 django 设置 创建一个名为 .venv 的新虚拟环境。 # windows$ python -m venv .venv$ .venvscriptsactivate.ps1(.venv) $# macos/linu…

    2025年12月24日
    000
  • 花 $o 学习这些编程语言或免费

    → Python → JavaScript → Java → C# → 红宝石 → 斯威夫特 → 科特林 → C++ → PHP → 出发 → R → 打字稿 []https://x.com/e_opore/status/1811567830594388315?t=_j4nncuiy2wfbm7ic…

    2025年12月24日
    000
  • css伪类选择器怎么用

    CSS伪类选择器是一种选择特定状态或行为元素的特殊选择器,使用element:pseudo-class语法,常见伪类包括:hover(悬停)、active(激活)、focus(焦点)、link(链接)和visited(访问过)。可用于为元素悬停、激活、获得焦点、链接和访问时应用样式,例如为按钮悬停时…

    2025年12月24日
    000
  • div在css中是什么意思

    在CSS中,DIV表示一个块级元素,用于创建可通过CSS样式化的容器,包含任何类型的HTML内容,并可用于组织、分组,并通过CSS灵活布局,并可添加语义信息。与SPAN不同,DIV是块级元素用于创建容器,而SPAN是内联元素用于样式化文本。 DIV在CSS中的含义 在层叠样式表(CSS)中,DIV是…

    2025年12月24日
    000
  • ridge在css中是什么意思

    ridge是CSS中的边框样式,用于创建具有浮雕效果的3D边框,具体表现为一条凸起的山脊状线条。 什么是ridge? ridge是CSS中的一种边框样式,用于创建具有浮雕效果的3D边框。 ridge样式的具体效果 ridge样式的边框呈现为一条凸起的、类似于山脊的线条。在较新的浏览器上,ridge样…

    2025年12月24日
    000
  • css样式表里优先级别最高的是哪个

    CSS样式表中优先级最高的样式是内联样式,它直接嵌入到HTML元素中,作用于特定的元素。其语法为文本,并高于嵌入式样式和外部样式。 CSS样式表中优先级最高的样式 CSS样式表中优先级最高的样式是内联样式。 内联样式直接嵌入到HTML元素中,使用style属性。由于它作用于特定的元素,因此优先级高于…

    2025年12月24日
    000
  • css样式写在哪个位置

    CSS样式可写入以下三个位置:行内样式:直接写入HTML元素的style属性中。内部样式表:在标签内的元素中编写。外部样式表:写在单独的.css文件中,并通过标签链接到HTML页面。通常,根据具体情况选择最合适的样式写入位置。 CSS样式写入位置 CSS(Cascading Style Sheets…

    2025年12月24日
    000
  • css选择器优先级最高的是什么

    CSS 选择器优先级最高的是内联样式,它直接写在 HTML 元素的 style 属性中,具有最高的优先级,其他优先级依次为:ID 选择器、类选择器、元素选择器、通配符选择器。 CSS选择器优先级最高的是什么? 在CSS中,选择器优先级决定了哪些样式规则将被应用到元素上。优先级最高的规则将覆盖优先级较…

    2025年12月24日
    000

发表回复

登录后才能评论
关注微信