Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $YECBGYFECGEAFWHA as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2

Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $BBWFDDBHHYHDXXAB as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2
Playwright Java:精确提取网页表格数据并按列处理的教程_创想鸟

Playwright Java:精确提取网页表格数据并按列处理的教程

Playwright Java:精确提取网页表格数据并按列处理的教程

本教程旨在解决使用Playwright Java从网页表格提取数据时,内容被误存储为单个单元格的问题。通过详细指导如何利用嵌套循环和Playwright的Locator API精确抓取每个单元格的文本内容,实现数据按列分离,为后续导出到Excel等结构化存储提供了清晰、可操作的解决方案,确保数据完整性和可用性。

引言:网页表格数据提取的挑战

在使用playwright java进行web自动化测试或数据抓取时,经常需要从网页表格中提取结构化数据。一个常见的挑战是,当尝试提取整行数据时,例如使用row.allinnertexts()方法,可能会导致该行所有单元格的内容被合并成一个字符串,最终在导出到excel等工具时,所有数据挤在一个单元格中,无法实现按列分离。这大大降低了数据的可用性和分析价值。

本教程将详细介绍如何通过精确的元素定位和循环机制,确保从网页表格中提取的每一项数据都能对应到独立的列,从而为后续的数据处理和导出(如到Excel)打下坚实的基础。

问题分析:allInnerTexts()的局限性

在Playwright中,Locator.allInnerTexts()方法用于获取定位器匹配到的所有元素的内部文本列表。对于一个

(表格行)元素,如果直接对其调用allInnerTexts(),它通常会返回一个包含所有子元素(如

或

)文本的列表。然而,如果行内的文本被渲染为一个连续的块,或者在某些情况下,它可能将所有单元格的文本合并成一个字符串作为列表中的单个项。

例如,原始代码中的输出:

[   Airi Satou  Accountant  Tokyo   33  $162,700]

这表明row.allInnerTexts()在某些渲染下,会将一行中的所有单元格文本连接起来,形成一个包含单一长字符串的列表。这与我们期望的“每个单元格数据独立”的目标相悖。

立即学习“Java免费学习笔记(深入)”;

解决方案:精确到单元格的遍历

要解决这个问题,我们需要放弃直接获取整行文本的策略,转而采用更精细的方法:首先定位到每一行,然后在每一行内部,再遍历定位到每一个具体的单元格(

元素),并单独提取其文本内容。这可以通过嵌套循环和Playwright的Locator API结合XPath或CSS选择器来实现。

1. 核心思路

外部循环: 遍历表格中的每一行(

)。内部循环: 在每一行内部,遍历该行中的每一个数据单元格(

)。定位器: 使用String.format()动态构建XPath或CSS选择器,精确地指向tbody下的特定行和特定列的单元格。

2. 示例代码

以下是使用Playwright Java实现精确提取网页表格数据并按列处理的完整代码示例。此示例将导航到一个包含数据表格的网页,并逐行逐列地提取数据。

import com.microsoft.playwright.*;import com.microsoft.playwright.options.*;import java.util.ArrayList;import java.util.List;public class WebTableDataExtractor {    public static void main(String[] args) {        Playwright playwright = Playwright.create();        Browser browser = null;        try {            // 启动Chromium浏览器,并设置为无头模式(可选,生产环境推荐)            browser = playwright.chromium().launch(new BrowserType.LaunchOptions().setHeadless(true));            Page page = browser.newPage();            // 导航到目标网页            page.navigate("https://datatables.net/extensions/select/examples/initialisation/checkbox.html");            // 等待表格加载完成,确保tbody和tr元素可见            // 这是一个良好的实践,防止在元素未加载完成时尝试定位            page.waitForSelector("table#example tbody tr", new Page.WaitForSelectorOptions().setTimeout(10000));            // 定义一个列表来存储所有提取的数据行            List<List> allTableData = new ArrayList();            // 假设我们要提取表格的前10行数据            // 注意:XPath索引通常从1开始            int numberOfDataRowsToExtract = 10;            // 假设表格有5列数据(Name, Position, Office, Age, Salary)            int numberOfColumns = 5;             System.out.println("开始提取网页表格数据:");            // 外部循环:遍历每一行数据            for (int rowIndex = 1; rowIndex <= numberOfDataRowsToExtract; rowIndex++) {                List currentRowData = new ArrayList(); // 存储当前行的数据                System.out.print(String.format("正在提取第 %d 行: [", rowIndex));                // 内部循环:遍历当前行的每一个单元格                for (int colIndex = 1; colIndex <= numberOfColumns; colIndex++) {                    // 构建精确的单元格Locator                    // 使用String.format动态构建XPath,定位到特定行和列的                    // table#example tbody 确保我们定位到数据体而不是表头                    String cellXPath = String.format("table#example tbody tr[%d] td[%d]", rowIndex, colIndex);                    Locator cellLocator = page.locator(cellXPath);                    // 提取单元格的文本内容                    String cellText = cellLocator.innerText().trim(); // 使用trim()去除首尾空白                    currentRowData.add(cellText); // 将单元格数据添加到当前行列表                    System.out.print(cellText + (colIndex < numberOfColumns ? "t" : "")); // 打印并用制表符分隔                }                allTableData.add(currentRowData); // 将当前行数据添加到总数据列表                System.out.println("]");            }            System.out.println("n所有数据提取完成,准备进行后续处理(例如导出到Excel)。");            // 此时,allTableData 包含了所有按行按列分离的结构化数据            // 可以进一步使用Apache POI等库将其写入Excel        } catch (PlaywrightException e) {            System.err.println("Playwright操作失败,请检查网络连接或选择器: " + e.getMessage());        } catch (Exception e) {            System.err.println("发生未知错误: " + e.getMessage());        } finally {            // 确保在程序结束时关闭浏览器和Playwright实例            if (browser != null) {                browser.close();            }            if (playwright != null) {                playwright.close();            }        }    }}

3. 代码说明

Playwright 初始化: 标准的Playwright实例创建和浏览器启动流程。setHeadless(true)表示在后台运行浏览器,不显示UI,适合自动化脚本。导航与等待: page.navigate()用于打开目标网页。page.waitForSelector()是关键,它确保在尝试查找元素之前,表格及其内容已经加载并可见,避免ElementNotFound错误。数据结构: List<List> allTableData被用来存储所有提取到的数据。外层List代表所有行,内层List代表每一行的所有单元格数据。动态 XPath: String.format(“table#example tbody tr[%d] td[%d]”, rowIndex, colIndex)是核心。它根据当前循环的行索引(rowIndex)和列索引(colIndex)动态生成一个精确的XPath表达式,定位到表格数据区(tbody)中的特定单元格。table#example:通过ID定位到具体的表格。tbody:定位到表格的数据体部分,排除表头。tr[%d]:定位到第rowIndex行。注意XPath索引通常从1开始。td[%d]:定位到当前行的第colIndex个数据单元格。innerText(): cellLocator.innerText().trim()用于获取单个单元格的纯文本内容,trim()用于去除文本两端的空白字符,使数据更干净。错误处理与资源释放: 使用try-catch-finally块来捕获可能发生的Playwright异常或其他运行时错误,并在finally块中确保浏览器和Playwright实例被正确关闭,释放资源。

注意事项与最佳实践

选择器鲁棒性: 示例中使用的是基于ID和tbody的XPath。实际项目中,表格结构可能更复杂或动态变化。选择器应尽可能健壮,例如使用包含特定文本的

作为参考,或使用更通用的CSS选择器。

动态行/列数: 如果表格的行数或列数不固定,可以通过先定位所有行page.locator(“table#example tbody tr”).count()和所有列page.locator(“table#example tbody tr[1] td”).count()来动态获取。

分页与滚动: 对于带有分页或无限滚动的表格,需要额外的逻辑来处理翻页操作或滚动加载更多数据。

数据类型转换: 提取的所有数据都是字符串类型。如果需要进行数值计算或日期处理,务必进行适当的类型转换。

导出到Excel: 提取到的List<List>数据结构非常适合使用Apache POI等Java库导出到Excel。您可以遍历此列表,将每一行的数据写入Excel的相应单元格。

示例 Excel 导出思路 (伪代码):

// 假设 allTableData 已经填充// 创建一个Excel工作簿和工作表// XSSFWorkbook workbook = new XSSFWorkbook();// Sheet sheet = workbook.createSheet("Table Data");// int rowNum = 0;// for (List rowData : allTableData) {//     Row excelRow = sheet.createRow(rowNum++);//     int colNum = 0;//     for (String cellValue : rowData) {//         excelRow.createCell(colNum++).setCellValue(cellValue);//     }// }// 将工作簿写入文件// FileOutputStream outputStream = new FileOutputStream("output.xlsx");// workbook.write(outputStream);// workbook.close();// outputStream.close();

总结

通过本教程,我们学习了如何使用Playwright Java精确地从网页表格中提取数据,确保每个单元格的内容都能独立存储,解决了allInnerTexts()可能导致的合并问题。核心在于利用嵌套循环和动态XPath/CSS选择器,实现对表格行和单元格的精细化定位。掌握这一技术,将使您在Web数据抓取和自动化任务中能够更高效、准确地处理结构化表格数据,为后续的数据分析和报表生成奠定坚实基础。

以上就是Playwright Java:精确提取网页表格数据并按列处理的教程的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/50299.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
PHP框架如何帮助简化代码维护和协作?
上一篇 2025年11月8日 16:21:12
Windows 10更新错误0x80070490如何解决?
下一篇 2025年11月8日 16:21:18

相关推荐

  • Win7系统如何给文件夹设置密码?

    Win7系统如何给文件夹设置密码?Win7系统如何给文件夹设置密码?Win7系统如何给文件夹设置密码?Win7系统如何给文件夹设置密码?

    我们如今对电脑的依赖程度越来越高,无论是日常生活、工作还是学习都离不开它。而在使用过程中,我们会存储许多重要的文件在电脑里,但如果希望这些文件不被他人查看,该怎么做呢?当然,给文件夹加个密码是最直接的办法。今天,我们就一起来看看如何为文件夹设置密码吧! 前几天,我在浏览网页时发现有很多网友都在讨论如…

    2026年9月25日 • 用户投稿
    100
  • Hibernate/Spring Boot中复合主键与多对多关联的实现指南

    Hibernate/Spring Boot中复合主键与多对多关联的实现指南Hibernate/Spring Boot中复合主键与多对多关联的实现指南Hibernate/Spring Boot中复合主键与多对多关联的实现指南Hibernate/Spring Boot中复合主键与多对多关联的实现指南

    本教程详细阐述了在Spring Boot和Hibernate框架中,如何优雅地处理具有附加属性的多对多关系,特别是当连接表需要复合主键时。我们将通过构建一个用户电影评分系统为例,深入探讨@EmbeddedId、@Embeddable以及@OneToMany、@ManyToOne等JPA注解的实际应用…

    2026年9月25日 • 用户投稿
    000
  • 如何自定义debian readdir的输出格式

    如何自定义debian readdir的输出格式如何自定义debian readdir的输出格式如何自定义debian readdir的输出格式如何自定义debian readdir的输出格式

    本文介绍几种在Debian系统中自定义readdir输出格式的方法,readdir是用于读取目录内容的系统调用。 方法一:使用opendir和readdir函数 以下C程序演示如何使用opendir和readdir函数读取目录并自定义输出: #include #include #include #i…

    2026年9月25日 • 用户投稿
    400
  • sublime的goto symbol in project功能怎么用_sublime Goto Symbol in Project使用方法

    sublime的goto symbol in project功能怎么用_sublime Goto Symbol in Project使用方法sublime的goto symbol in project功能怎么用_sublime Goto Symbol in Project使用方法sublime的goto symbol in project功能怎么用_sublime Goto Symbol in Project使用方法sublime的goto symbol in project功能怎么用_sublime Goto Symbol in Project使用方法

    使用快捷键Ctrl+Shift+R(Win/Linux)或Cmd+Shift+R(Mac)可快速调用Goto Symbol in Project功能,通过搜索符号名称跳转到函数、类等定义位置,支持模糊匹配与实时过滤,需确保项目已添加至侧边栏且语法包正确安装以保证索引识别效果。 Sublime Tex…

    2026年9月25日 • 用户投稿
    100
  • 【新手入门】使用ERNIE-4.5-0.3B-Paddle从原始文本构建知识图谱

    1. 概述 本文将探讨如何使用ernie-4.5-0.3b-paddle模型从原始文本构建知识图谱。通过结合大语言模型(llm)和检索增强生成(rag)技术实现文本生成,帮助我们从非结构化数据中高效提取实体和关系信息。 2. 什么是知识图谱? 2.1 基本概念 知识图谱是一种语义网络,它表示和连接现…

    2026年9月25日
    000
  • 解决Android Studio Gradle构建问题的网络仓库配置指南

    解决Android Studio Gradle构建问题的网络仓库配置指南解决Android Studio Gradle构建问题的网络仓库配置指南解决Android Studio Gradle构建问题的网络仓库配置指南解决Android Studio Gradle构建问题的网络仓库配置指南

    本文旨在解决Android Studio项目中因网络限制导致的Gradle构建失败问题,特别是“插件未找到”等错误。核心解决方案是通过配置替代的Maven仓库(如阿里云镜像)来绕过网络障碍,确保Gradle能够成功解析和下载所需的插件与依赖,从而恢复项目的正常构建。 1. 问题背景与常见症状 在an…

    2026年9月25日 • 用户投稿
    000
  • AI Overviews适合初学者使用吗 功能易用性与学习曲线评估

    AI Overviews适合初学者使用吗 功能易用性与学习曲线评估AI Overviews适合初学者使用吗 功能易用性与学习曲线评估AI Overviews适合初学者使用吗 功能易用性与学习曲线评估AI Overviews适合初学者使用吗 功能易用性与学习曲线评估

    AI Overviews作为一项新兴功能,许多初学者对其适用性感到好奇。本文旨在评估AI Overviews对于初学者而言是否友好,将从功能易用性和学习曲线两个方面进行深入探讨。文章会详细解析其操作流程,帮助用户理解并掌握如何有效地使用这项功能,从而解决标题中关于其适合初学者使用的问题。 ☞☞☞AI…

    2026年9月25日 • 用户投稿
    200
  • sublime如何快速切换项目 _sublime项目快速切换方法

    sublime如何快速切换项目 _sublime项目快速切换方法sublime如何快速切换项目 _sublime项目快速切换方法sublime如何快速切换项目 _sublime项目快速切换方法sublime如何快速切换项目 _sublime项目快速切换方法

    使用命令面板输入“Switch Project”可快速切换项目;2. 通过设置快捷键如Ctrl+Alt+P实现一键切换;3. 需先保存项目为.sublime-project文件才能在列表中显示;4. 也可通过菜单Project→Recent Projects用鼠标选择最近项目。掌握这些方法可高效管理…

    2026年9月25日 • 用户投稿
    000
  • MAC怎么快速切换不同的音频输出设备_Mac菜单栏音量图标切换声音输出

    MAC怎么快速切换不同的音频输出设备_Mac菜单栏音量图标切换声音输出MAC怎么快速切换不同的音频输出设备_Mac菜单栏音量图标切换声音输出MAC怎么快速切换不同的音频输出设备_Mac菜单栏音量图标切换声音输出MAC怎么快速切换不同的音频输出设备_Mac菜单栏音量图标切换声音输出

    通过菜单栏音量图标可快速切换音频输出设备,点击音量图标并选择目标设备即可生效;2. 使用快捷键与自动化工具如Keyboard Maestro或快捷指令创建AppleScript脚本,一键切换指定设备;3. 进入系统设置→声音→输出,手动选择设备,适用于初次配置或排查问题。 如果您在Mac上连接了多个…

    2026年9月25日 • 用户投稿
    100
  • 谷歌浏览器开发者工具网络面板数据延迟如何修复

    谷歌浏览器开发者工具网络面板数据延迟如何修复谷歌浏览器开发者工具网络面板数据延迟如何修复谷歌浏览器开发者工具网络面板数据延迟如何修复谷歌浏览器开发者工具网络面板数据延迟如何修复

    延迟通常由网络环境、浏览器状态或页面性能导致。先通过Waterfall分析DNS、TCP等阶段耗时,确认是否真实延迟;更换网络或设备对比速度;清除缓存、禁用缓存或使用无痕模式排除干扰;检查代理设置并切换为公共DNS;最后结合Performance面板排查脚本阻塞与资源瓶颈。 Chrome开发者工具网…

    2026年9月25日 • 用户投稿
    800
  • PHP一键环境如何配置Memcached_Memcached缓存集成

    首先安装Memcached服务并启动,然后启用PHP的memcached扩展并重启服务,最后通过PHP代码连接并测试缓存读写;具体步骤包括:Windows或Linux系统下安装Memcached服务,确保端口11211监听;在宝塔等环境中安装php-memcached扩展并确认phpinfo显示模块…

    2026年9月25日
    000
  • 蓝牙鼠标出现输入码无效现象怎么办

    蓝牙鼠标出现输入码无效现象怎么办蓝牙鼠标出现输入码无效现象怎么办蓝牙鼠标出现输入码无效现象怎么办蓝牙鼠标出现输入码无效现象怎么办

     最近几年,很多人都用起了蓝牙鼠标。相比传统的鼠标,蓝牙鼠标无需长长的鼠标线,连接蓝牙即可使用,很是方便。不过蓝牙鼠标有时候也会出现一些问题,那时候应该怎么解决呢?下面就让小编给大家提供的蓝牙鼠标出现输入码无效现象的解决方法。 一、按下“WIN+R”键唤出运行,输入services.msc,点击确定…

    2026年9月25日 • 用户投稿
    000
  • sublime怎么对选中的行进行字母排序 _sublime选中行排序方法

    sublime怎么对选中的行进行字母排序 _sublime选中行排序方法sublime怎么对选中的行进行字母排序 _sublime选中行排序方法sublime怎么对选中的行进行字母排序 _sublime选中行排序方法sublime怎么对选中的行进行字母排序 _sublime选中行排序方法

    使用快捷键Ctrl + F9(Win/Linux)或Cmd + F9(Mac)可对选中行按首字符字典序升序排列,需确保整行或每行部分内容被选中,若需降序或更复杂排序建议安装Sort Lines等插件。 在 Sublime Text 中对选中的行进行字母排序非常简单,不需要安装额外插件,内置功能即可完…

    2026年9月25日 • 用户投稿
    000
  • Debian回收机制是否完善

    Debian回收机制是否完善Debian回收机制是否完善Debian回收机制是否完善Debian回收机制是否完善

    Debian 6 (Squeeze) 作为长期支持版本,其文件管理机制与现代操作系统略有不同。它没有内置的回收站功能,但这并不意味着缺乏文件恢复能力。Debian 6 提供多种替代方案来保护和恢复误删文件。 文件恢复方法: 隐藏的垃圾文件夹: Debian 6 使用隐藏的 .local/share/…

    2026年9月25日 • 用户投稿
    000
  • 为什么有些硬件参数在官方宣传中总是模糊不清?

    为什么有些硬件参数在官方宣传中总是模糊不清?为什么有些硬件参数在官方宣传中总是模糊不清?为什么有些硬件参数在官方宣传中总是模糊不清?为什么有些硬件参数在官方宣传中总是模糊不清?

    厂商模糊硬件参数主要出于制造差异、竞争策略和营销灵活性。半导体生产存在体质差异,通过“binning”分级后需用“最高可达”等表述覆盖全合格品,避免售后风险;同时防止竞争对手轻易获取技术细节,保持领先优势;还能为后续优化留空间,适应市场变化。此外,复杂参数不易被大众理解,模糊化有助于简化宣传。面对此…

    2026年9月25日 • 用户投稿
    200
  • Gemini是否能导出成思维导图 AI生成内容结构化展示方式详解

    Gemini是否能导出成思维导图 AI生成内容结构化展示方式详解Gemini是否能导出成思维导图 AI生成内容结构化展示方式详解Gemini是否能导出成思维导图 AI生成内容结构化展示方式详解Gemini是否能导出成思维导图 AI生成内容结构化展示方式详解

    针对“gemini是否能导出成思维导图 ai生成内容结构化展示方式详解”这一问题,本文将详细阐述如何利用gemini生成有助于构建思维导图的结构化内容,并介绍如何配合外部工具完成思维导图的制作。您将了解到gemini作为一款大型语言模型,其主要输出形式是文本。它并不具备直接生成或导出图形化思维导图文…

    2026年9月25日 • 用户投稿
    000
  • 教你电脑安全证书过期的解决方法

    教你电脑安全证书过期的解决方法教你电脑安全证书过期的解决方法教你电脑安全证书过期的解决方法教你电脑安全证书过期的解决方法

    我们在使用计算机时,常常会遇到安全证书过期的提示,相信不少用户都曾碰到过这类问题。如果你已经确认本地的日期和时间设置无误,那么可以通过重新安装该网站的证书来解决此问题。接下来,就由黑鲨小编为大家详细介绍具体的解决步骤,一起来了解下吧! 1、按下 Win + R 键打开“运行”窗口,输入:mmc,然后…

    2026年9月25日 • 用户投稿
    500
  • vivo浏览器如何彻底删除浏览数据_vivo浏览器完全清除个人浏览数据指南

    vivo浏览器如何彻底删除浏览数据_vivo浏览器完全清除个人浏览数据指南vivo浏览器如何彻底删除浏览数据_vivo浏览器完全清除个人浏览数据指南vivo浏览器如何彻底删除浏览数据_vivo浏览器完全清除个人浏览数据指南vivo浏览器如何彻底删除浏览数据_vivo浏览器完全清除个人浏览数据指南

    首先清除浏览器缓存与历史记录,进入“我的”-“设置”-“清除浏览数据”,勾选浏览历史、缓存文件等项并确认清除;其次通过i管家的“空间清理”功能扫描并清理浏览器残留数据;再者可重置浏览器设置至默认状态,移除个性化配置;最后可卸载并重装vivo浏览器以彻底删除所有数据。 如果您在使用vivo浏览器时希望…

    2026年9月25日 • 用户投稿
    1000
  • 微信小店客服怎么接入?微信小店怎么增加客服

    微信已成为我国最大的社交平台之一。微信小店作为微信电商的重要组成部分,为广大商家提供了便捷的线上销售渠道。为了提升用户体验,商家需要搭建一套高效的客服体系。本文将详细介绍微信小店客服接入方法,帮助商家实现高效服务。 一、微信小店客服接入概述 1. 客服接入方式 微信小店客服接入主要有以下两种方式: …

    2026年9月25日
    100
  • 统一解析ISO Zoned Date-Time格式的日期字符串

    统一解析ISO Zoned Date-Time格式的日期字符串统一解析ISO Zoned Date-Time格式的日期字符串统一解析ISO Zoned Date-Time格式的日期字符串统一解析ISO Zoned Date-Time格式的日期字符串

    本教程详细阐述如何在Java 8+中使用java.time API统一解析看似不同但实则遵循ISO 8601扩展ISO_ZONED_DATE_TIME格式的日期字符串。通过ZonedDateTime的直接解析能力和OffsetDateTime结合DateTimeFormatter.ISO_ZONED…

    2026年9月25日 • 用户投稿
    000

发表回复

登录后才能评论
关注微信