Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $YECBGYFECGEAFWHA as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2

Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $BBWFDDBHHYHDXXAB as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2
使用Selenium和JavaScript精准提取HTML标签内的直属文本内容_创想鸟

使用Selenium和JavaScript精准提取HTML标签内的直属文本内容

使用selenium和javascript精准提取html标签内的直属文本内容

本教程详细阐述了如何利用Selenium的execute_script方法结合JavaScript,精准地从HTML标签中提取所有直接文本内容,而非其子元素中的文本。通过遍历DOM节点并识别TEXT_NODE类型,此方法能够有效解决传统文本提取方式的局限性,确保获取到纯粹的、非嵌套的文本信息。

在Web自动化测试和数据抓取中,我们经常需要从HTML元素中提取文本内容。然而,当一个标签内包含子标签和直接文本混合的情况时,简单的element.text属性或firstChild方法往往无法满足需求。例如,考虑以下HTML结构:

  

Name

Dompdf
Dompdf

dompdf是一个HTML到PDF转换器。在其核心,dompdf是一个(大部分)符合CSS 2.1标准的HTML布局和渲染引擎,使用PHP编写。它是一个以样式驱动的渲染器,它会下载并读取外部样式表,内联样式标签和单个HTML元素的样式属性。它还支持大多数表现性HTML属性。PDF渲染目前由PDFLib或由Wayne Munro编写的捆绑版本的R&OS CPDF类提供。(对R&OS类进行了一些重要的更改,但是)。为了使用dompdf与PDFLib,需要安装PDFLib PECL扩展。使用PD

Dompdf 5
查看详情 Dompdf

立即学习“Java免费学习笔记(深入)”;

agdsf
John Smith dfsdf Address:
NewYork

如果我们的目标是提取“John Smith Address: NewYork”,而忽略

、

、等子标签中的文本,传统的Selenium方法可能会遇到挑战。

传统方法的局限性

element.text属性: 这个属性通常会返回元素及其所有子元素中可见的文本内容,这会包含

Name

立即学习“Java免费学习笔记(深入)”;

中的“Name”以及agdsf中的“agdsf”,不符合我们只获取直属文本的需求。driver.execute_script(‘return arguments[0].firstChild;’, td_tag)[‘textContent’]: 这种方法只能获取到元素的第一个子节点(如果它是文本节点)的文本。在上述例子中,td_tag的第一个子节点是

Name

立即学习“Java免费学习笔记(深入)”;

,所以它不会返回“John Smith”。即使第一个子节点是文本节点,它也无法获取后续的直属文本。

解决方案:利用JavaScript节点遍历

为了精准地提取所有直属文本节点,我们需要借助Selenium的execute_script方法,执行一段自定义的JavaScript代码。这段代码将遍历目标元素的所有直接子节点,并仅提取类型为TEXT_NODE的节点内容。

示例代码

以下是使用Python和Selenium实现此功能的代码:

from selenium import webdriverfrom selenium.webdriver.common.by import Byimport time# 假设您已经设置好了WebDriver# driver = webdriver.Chrome() # 或其他浏览器驱动# 为了演示,我们创建一个虚拟的HTML页面driver = webdriver.Chrome()driver.get("data:text/html,

Name

立即学习“Java免费学习笔记(深入)”;

agdsf
John SmithdfsdfAddress:
NewYork")time.sleep(1) # 等待页面加载# 查找目标td元素td_tag = driver.find_element(By.ID, "td_id")# 执行JavaScript代码提取直属文本all_direct_text = driver.execute_script(""" var node = arguments[0]; // 获取传入的td元素 var text = ''; // 初始化一个空字符串用于存储结果 // 遍历td元素的所有直接子节点 for (var child = node.firstChild; child; child = child.nextSibling) { // 检查子节点是否是文本节点 (Node.TEXT_NODE 的值为 3) if (child.nodeType === Node.TEXT_NODE) { // 如果是文本节点,将其内容添加到结果字符串中,并去除首尾空白 // 并在每个文本块后添加一个空格,以便区分 text += child.textContent.trim() + ' '; } } // 返回最终结果,并去除末尾可能多余的空格 return text.trim();""", td_tag)print(f"提取到的直属文本:'{all_direct_text}'")# 预期输出:'John Smith Address: NewYork'driver.quit()

代码解析

var node = arguments[0];:arguments[0]是JavaScript执行环境中接收到的第一个参数,这里即是从Python端传入的td_tag元素。var text = ”;:初始化一个空字符串text,用于累积所有提取到的直属文本内容。for (var child = node.firstChild; child; child = child.nextSibling):这是一个标准的JavaScript DOM遍历循环。node.firstChild:获取当前元素的第一个子节点。child:循环条件,当child为null(即没有更多子节点)时循环结束。child = child.nextSibling:在每次迭代后,将child更新为当前子节点的下一个兄弟节点。if (child.nodeType === Node.TEXT_NODE):这是核心判断逻辑。nodeType属性返回节点的类型。Node.TEXT_NODE是一个常量,其值为3,表示该节点是一个纯文本节点。通过此判断,我们确保只处理直接的文本内容,而忽略元素节点(如

、

、)。text += child.textContent.trim() + ‘ ‘;:如果当前子节点是文本节点,我们通过child.textContent获取其文本内容。.trim()方法用于移除文本内容两端的空白字符(如换行符、空格)。在每个文本块后添加一个空格,以确保不同文本块之间有适当的分隔。return text.trim();:在循环结束后,返回累积的text字符串。最后的.trim()用于移除整个字符串末尾可能多余的一个空格。

注意事项

Node.TEXT_NODE的重要性: 理解nodeType及其对应的常量(如Node.ELEMENT_NODE为1,Node.COMMENT_NODE为8等)是进行精确DOM操作的关键。空白字符处理: HTML中的换行符和多余空格会被视为文本节点的一部分。使用.trim()可以有效地清理这些不必要的空白,确保输出的整洁性。适用场景: 这种方法特别适用于需要从复杂HTML结构中精确提取特定文本内容的场景,尤其当这些文本与其他HTML元素混杂在一起时。

总结

通过结合Selenium的execute_script功能和JavaScript的DOM遍历能力,我们可以实现对HTML元素内部直属文本的精确提取。这种方法绕过了Selenium内置文本提取方法的局限性,提供了更细粒度的控制,使得在处理复杂Web页面时能够获取到更符合需求的文本数据。掌握这种技术对于进行高级Web抓取和自动化任务至关重要。

以上就是使用Selenium和JavaScript精准提取HTML标签内的直属文本内容的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1374837.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
Python中二进制位操作:解决字符串比较陷阱与奇偶位判断
上一篇 2025年12月14日 14:29:42
Discord.py持久化按钮:解决交互超时与机器人重启后的失效问题
下一篇 2025年12月14日 14:29:50

相关推荐

  • 本机IP地址获取教程—实用步骤解析本机网络IP检查方式

    本机IP地址获取教程—实用步骤解析本机网络IP检查方式本机IP地址获取教程—实用步骤解析本机网络IP检查方式本机IP地址获取教程—实用步骤解析本机网络IP检查方式本机IP地址获取教程—实用步骤解析本机网络IP检查方式

    通过命令提示符输入ipconfig可查Windows本机IP;2. macOS在系统设置网络选项中查看;3. Linux使用ip a命令查找inet地址;4. 浏览器访问ip.cn等网站可查公网IP。 想知道自己的本机IP地址?无论是排查网络问题,还是设置局域网设备,获取本机IP是基础操作。下面介绍…

    2026年9月25日 • 用户投稿
    300
  • Bukkit插件开发:正确处理物品显示名称与玩家识别

    Bukkit插件开发:正确处理物品显示名称与玩家识别Bukkit插件开发:正确处理物品显示名称与玩家识别Bukkit插件开发:正确处理物品显示名称与玩家识别Bukkit插件开发:正确处理物品显示名称与玩家识别

    本文旨在解决Bukkit插件开发中,从BlockPlaceEvent获取物品显示名称并将其用于玩家识别时常见的“乱码”问题。我们将深入探讨Component对象与纯文本字符串的区别,并提供两种核心解决方案:直接获取放置方块的玩家名称,以及如何正确地将Component转换为纯文本字符串,以避免不必要…

    2026年9月25日 • 用户投稿
    200
  • sublime怎么折叠所有代码_sublime代码折叠快捷方法

    sublime怎么折叠所有代码_sublime代码折叠快捷方法sublime怎么折叠所有代码_sublime代码折叠快捷方法sublime怎么折叠所有代码_sublime代码折叠快捷方法sublime怎么折叠所有代码_sublime代码折叠快捷方法

    Sublime Text 支持多种代码折叠快捷键,Windows/Linux 使用 Ctrl + Shift + [/] 折叠/展开代码块,Ctrl + K, Ctrl + 1 展开所有用 Ctrl + K, Ctrl + J,macOS 用户将 Ctrl 替换为 Command。 在 Sublim…

    2026年9月25日 • 用户投稿
    100
  • 想将 AI 模型组装工具与豆包联用完成模型组装?方法详解​

    想将 AI 模型组装工具与豆包联用完成模型组装?方法详解​想将 AI 模型组装工具与豆包联用完成模型组装?方法详解​想将 AI 模型组装工具与豆包联用完成模型组装?方法详解​想将 AI 模型组装工具与豆包联用完成模型组装?方法详解​

    ai模型组装工具与豆包联用是可行且高效的,关键在于接口兼容性、数据流转和部署方式。具体步骤如下:1. 理解豆包的模型接入规范,包括支持的模型格式、api调用方式及资源需求;2. 在组装工具中完成模型构建、训练与导出,确保符合平台要求;3. 如需转换模型格式(如pytorch转onnx),使用相应工具…

    2026年9月25日 • 用户投稿
    000
  • sublime怎么实现sass/scss的自动编译_sublime配置SASS自动编译方法

    sublime怎么实现sass/scss的自动编译_sublime配置SASS自动编译方法sublime怎么实现sass/scss的自动编译_sublime配置SASS自动编译方法sublime怎么实现sass/scss的自动编译_sublime配置SASS自动编译方法sublime怎么实现sass/scss的自动编译_sublime配置SASS自动编译方法

    安装LiveSassCompiler插件并配置路径后,保存SCSS文件可自动编译为CSS。1. 通过Package Control安装插件;2. 设置输入输出路径;3. 保存文件触发编译,提升开发效率。 Sublime Text 要实现 SASS/SCSS 的自动编译,可以通过安装插件并配置构建系统…

    2026年9月25日 • 用户投稿
    200
  • 解析音调调整指令:一个Java教程

    解析音调调整指令:一个Java教程解析音调调整指令:一个Java教程解析音调调整指令:一个Java教程解析音调调整指令:一个Java教程

    本文旨在提供一个清晰易懂的Java教程,用于解析包含音调调整指令的字符串。通过使用正则表达式,我们可以从复杂的输入字符串中提取乐器名称、调整方向和调整量。本教程将详细解释代码实现,并提供示例,帮助读者理解如何在Java中处理这类问题。 使用正则表达式解析音调调整指令 在音乐领域,音调的微调至关重要。…

    2026年9月25日 • 用户投稿
    000
  • 如何利用Debian Apache日志提升网站性能

    如何利用Debian Apache日志提升网站性能如何利用Debian Apache日志提升网站性能如何利用Debian Apache日志提升网站性能如何利用Debian Apache日志提升网站性能

    本文将阐述如何通过分析Debian系统下的Apache日志来提升网站性能。 一、日志分析基础 Apache日志记录了所有HTTP请求的详细信息,包括IP地址、时间戳、请求URL、HTTP方法和响应代码等。在Debian系统中,这些日志通常位于/var/log/apache2/access.log和/…

    2026年9月25日 • 用户投稿
    000
  • Java字符串高级解析:使用正则表达式处理复杂指令模式

    Java字符串高级解析:使用正则表达式处理复杂指令模式Java字符串高级解析:使用正则表达式处理复杂指令模式Java字符串高级解析:使用正则表达式处理复杂指令模式Java字符串高级解析:使用正则表达式处理复杂指令模式

    本教程演示如何使用Java的java.util.regex包,通过正则表达式高效解析包含多条调音指令的复杂字符串。我们将学习构建匹配特定模式的正则表达式,并利用Pattern和Matcher类从输入字符串中准确提取乐器名称、调音方向和数值,从而将原始指令转换为清晰可读的输出格式。 1. 问题背景与挑…

    2026年9月25日 • 用户投稿
    000
  • 360极速浏览器怎么关闭热搜和新闻弹窗_360极速浏览器屏蔽热点资讯与弹窗教程

    360极速浏览器怎么关闭热搜和新闻弹窗_360极速浏览器屏蔽热点资讯与弹窗教程360极速浏览器怎么关闭热搜和新闻弹窗_360极速浏览器屏蔽热点资讯与弹窗教程360极速浏览器怎么关闭热搜和新闻弹窗_360极速浏览器屏蔽热点资讯与弹窗教程360极速浏览器怎么关闭热搜和新闻弹窗_360极速浏览器屏蔽热点资讯与弹窗教程

    关闭360极速浏览器热搜和新闻弹窗需三步操作:一、在“设置-实验室-其他设置”中关闭“启用‘360热点资讯’功能”;二、在“隐私设置-网站设置-弹出式窗口”中开启阻止;三、手动点击弹窗上的“不再弹出”选项。 如果您在使用360极速浏览器时频繁遭遇热搜和新闻弹窗干扰,影响正常浏览体验,这通常是因为浏览…

    2026年9月25日 • 用户投稿
    000
  • Java中整数类型溢出行为详解:二进制补码与循环特性

    Java中整数类型溢出行为详解:二进制补码与循环特性Java中整数类型溢出行为详解:二进制补码与循环特性Java中整数类型溢出行为详解:二进制补码与循环特性Java中整数类型溢出行为详解:二进制补码与循环特性

    Java中原始整数类型在处理超出其范围的数值时,会遵循一种基于二进制补码的循环溢出机制。这意味着当正数溢出时会“回卷”为负数,反之亦然,如同数字在一个有限的圆环上循环。理解这一特性对于准确预测类型转换和算术运算结果至关重要。 计算机中的数值表示:位、字节与二进制 在计算机底层,所有数据都以二进制形式…

    2026年9月25日 • 用户投稿
    000
  • Java数据类型溢出:原理、预测与避免

    Java数据类型溢出:原理、预测与避免Java数据类型溢出:原理、预测与避免Java数据类型溢出:原理、预测与避免Java数据类型溢出:原理、预测与避免

    本文旨在深入解析Java中数据类型溢出的现象,阐述其背后的二进制补码原理,并提供预测溢出结果的方法。通过理解数据在计算机中的存储方式,以及溢出时数值的循环特性,开发者可以更好地掌握Java中的数据类型,避免潜在的错误。 数据在计算机中的存储:二进制补码 计算机底层使用二进制(bits)来表示所有数据…

    2026年9月25日 • 用户投稿
    000
  • 夸克浏览器PC版怎么下载安装_夸克浏览器电脑版下载与安装全流程

    夸克浏览器PC版怎么下载安装_夸克浏览器电脑版下载与安装全流程夸克浏览器PC版怎么下载安装_夸克浏览器电脑版下载与安装全流程夸克浏览器PC版怎么下载安装_夸克浏览器电脑版下载与安装全流程夸克浏览器PC版怎么下载安装_夸克浏览器电脑版下载与安装全流程

    首先访问夸克官网下载电脑版安装包,运行QuarkSetup.exe完成安装并创建快捷方式,最后启动浏览器登录阿里系账号同步数据并进行个性化设置。 如果您尝试在电脑上使用夸克浏览器,但尚未安装其桌面版本,则需要完成下载与安装流程。以下是解决此问题的步骤: 本文运行环境:联想小新Air 14,Windo…

    2026年9月25日 • 用户投稿
    000
  • PDF转Word怎么一键转换_PDF一键转Word的简单操作流程

    PDF转Word怎么一键转换_PDF一键转Word的简单操作流程PDF转Word怎么一键转换_PDF一键转Word的简单操作流程PDF转Word怎么一键转换_PDF一键转Word的简单操作流程PDF转Word怎么一键转换_PDF一键转Word的简单操作流程

    可通过在线工具、Word、WPS或Adobe软件将PDF转为Word。在线工具如iLovePDF上传即转;2. Word可直接打开PDF另存为.docx;3. WPS点击“PDF转Word”一键转换;4. Adobe Acrobat选择“导出PDF”为Word格式,精准保留原排版。 如果您需要将PD…

    2026年9月25日 • 用户投稿
    200
  • safari浏览器如何管理和删除Cookie_safari浏览器Cookie管理和删除方法

    清除或管理Safari浏览器的Cookie可解决网页加载异常、登录状态丢失等问题。1、通过“设置-隐私-管理网站数据”可查看并删除特定网站的Cookie;2、点击“移除全部”可彻底清除所有Cookie,重置浏览状态;3、勾选“阻止所有Cookie”能增强隐私保护,但会影响网站正常功能;4、使用“无痕…

    2026年9月25日
    100
  • Java中数据类型溢出的原理及预测方法

    Java中数据类型溢出的原理及预测方法Java中数据类型溢出的原理及预测方法Java中数据类型溢出的原理及预测方法Java中数据类型溢出的原理及预测方法

    本文旨在阐明Java中当数值超出所选数据类型范围时发生的溢出现象,并提供预测溢出结果的方法。文章将深入探讨计算机中数值的存储方式,特别是补码表示法,以及溢出时数值如何“环绕”的原理。通过理解这些概念,读者可以准确预测Java中数据类型溢出的结果。 理解计算机中的数值表示:补码 在计算机中,所有数据最…

    2026年9月25日 • 用户投稿
    100
  • uc浏览器怎么添加书签到主页_UC浏览器将书签添加到首页快捷方式

    uc浏览器怎么添加书签到主页_UC浏览器将书签添加到首页快捷方式uc浏览器怎么添加书签到主页_UC浏览器将书签添加到首页快捷方式uc浏览器怎么添加书签到主页_UC浏览器将书签添加到首页快捷方式uc浏览器怎么添加书签到主页_UC浏览器将书签添加到首页快捷方式

    首先可通过书签管理长按添加,其次在浏览时点击菜单选择添加到桌面,最后部分版本可直接使用工具栏+按钮创建快捷方式。 如果您希望快速访问常用网站,可以通过将书签添加到UC浏览器主页来实现便捷操作。这一功能可以帮助您在启动浏览器时一键跳转至目标页面。 本文运行环境:小米14,Android 14 一、通过…

    2026年9月25日 • 用户投稿
    100
  • 使用 DynamoDBMapper 进行条件更新操作

    使用 DynamoDBMapper 进行条件更新操作使用 DynamoDBMapper 进行条件更新操作使用 DynamoDBMapper 进行条件更新操作使用 DynamoDBMapper 进行条件更新操作

    本文将介绍如何利用 DynamoDBMapper 在 Java 中执行基于当前值的条件更新操作,特别是使用 “ADD” 操作来递减账户余额。虽然 DynamoDBMapper 默认不支持直接使用更新表达式,但通过配置 SaveBehavior,可以实现类似的效果。 Dynam…

    2026年9月25日 • 用户投稿
    000
  • 解决JavaFX应用导出为可运行JAR后FXMLLoader资源加载失败的问题

    解决JavaFX应用导出为可运行JAR后FXMLLoader资源加载失败的问题解决JavaFX应用导出为可运行JAR后FXMLLoader资源加载失败的问题解决JavaFX应用导出为可运行JAR后FXMLLoader资源加载失败的问题解决JavaFX应用导出为可运行JAR后FXMLLoader资源加载失败的问题

    本文旨在解决JavaFX应用在Eclipse中正常运行,但导出为可运行JAR包后,因FXMLLoader无法找到FXML资源文件而抛出IllegalStateException: Location is not set异常的问题。核心解决方案是调整FXMLLoader.setLocation()方法…

    2026年9月25日 • 用户投稿
    100
  • Chrome浏览器怎么设置最小字体大小_网页最小显示字体设置教程

    Chrome浏览器怎么设置最小字体大小_网页最小显示字体设置教程Chrome浏览器怎么设置最小字体大小_网页最小显示字体设置教程Chrome浏览器怎么设置最小字体大小_网页最小显示字体设置教程Chrome浏览器怎么设置最小字体大小_网页最小显示字体设置教程

    首先调整Chrome最小字体设置至12像素以上,其次可通过页面缩放或开发者工具临时修改字体大小以提升可读性。 如果您发现Chrome浏览器中某些网页的字体过小导致阅读困难,这可能是因为浏览器或网页本身设置了较小的最小字体限制。以下是解决此问题的步骤: 本文运行环境:Dell XPS 13,Windo…

    2026年9月25日 • 用户投稿
    100
  • Debian Apache日志对SEO有何影响

    debian apache日志记录了网站的所有访问请求,包括ip地址、请求类型、响应状态等详细信息。这些日志对于seo有以下几个方面的影响: SEO GPT 免费的白帽SEO,PPC和网站经销商平台 17 查看详情 Apache日志对SEO的重要性 监控网站流量和用户行为:通过分析Apache访问日…

    2026年9月25日
    000

发表回复

登录后才能评论
关注微信