本文详细阐述了如何利用Selenium和Python高效地从动态加载的网页表格中抓取特定数据。教程聚焦于解决识别复杂HTML元素（如单个`
`内嵌套多个字段）和处理“加载更多”按钮等动态内容加载的挑战，通过优化定位器、运用`WebDriverWait`进行同步以及健壮的错误处理机制，确保数据提取的准确性与稳定性。
网页数据抓取：Selenium与Python实战指南
在进行网页数据抓取时，经常会遇到动态加载内容和复杂HTML结构的情况，这给传统的数据提取方法带来了挑战。本教程将以从金融网站抓取股票信息为例，详细介绍如何使用Selenium和Python克服这些难题，实现精准、高效的数据提取。
1. 初始化WebDriver与页面导航
首先，我们需要导入必要的Selenium模块，并初始化Chrome浏览器驱动。为了确保页面元素的完整显示，建议最大化浏览器窗口。
from selenium import webdriverfrom selenium.common.exceptions import NoSuchElementException, StaleElementReferenceExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWaitimport time# 定义目标URLurl = 'https://www.tradingview.com/markets/stocks-turkey/market-movers-all-stocks/'# 初始化Chrome WebDriverdriver = webdriver.Chrome()# 最大化浏览器窗口，有助于确保所有元素可见driver.maximize_window()# 访问目标网页driver.get(url)
2. 处理动态加载内容（“加载更多”按钮）
许多网站采用无限滚动或“加载更多”按钮来动态加载数据。为了获取所有数据，我们需要模拟点击这些按钮直到所有内容加载完毕。这里我们采用一个while循环，持续点击“Load More”按钮，直到按钮不再出现或变为陈旧（StaleElementReferenceException）。
立即学习“Python免费学习笔记（深入）”；
print("开始加载所有数据...")while True: try: # 尝试查找并点击“Load More”按钮 # 使用text()函数定位包含特定文本的span元素 load_more_button = driver.find_element(By.XPATH, '//span[text()="Load More"]') load_more_button.click() # 添加一个短暂的等待，让页面有时间响应点击并加载新内容 time.sleep(0.5) except StaleElementReferenceException: # 当“Load More”按钮不再出现或其引用失效时，说明所有内容已加载，跳出循环 print("所有数据已加载或“加载更多”按钮已消失。") break except NoSuchElementException: # 如果一开始就没有找到“Load More”按钮，或者所有数据加载完毕后按钮彻底消失，也跳出循环 print("未找到“加载更多”按钮，可能已加载完毕或页面结构不同。") break except Exception as e: # 捕获其他可能的异常 print(f"点击“加载更多”时发生未知错误: {e}") break
注意事项：
上述代码利用StaleElementReferenceException和NoSuchElementException来判断“加载更多”按钮是否已完全消失或不可用。这是一种处理动态元素消失的健壮策略。虽然time.sleep()在这里用于稍微等待页面响应，但在更复杂的场景中，推荐使用WebDriverWait等待特定元素出现或消失，以实现更精确的同步。
3. 精准提取表格数据
一旦所有数据加载完毕，下一步就是遍历表格行并提取所需的信息。目标网页的结构特点是，股票代码和名称可能嵌套在同一个
元素内。我们需要通过更精细的XPath或CSS选择器来定位这些子元素。
首先，使用WebDriverWait等待所有表格行可见，以确保页面加载稳定。
print("开始提取数据...")# 初始化WebDriverWait，设置最大等待时间为10秒wait = WebDriverWait(driver, 10)# 等待所有具有特定CSS选择器的表格行可见# 'table[class="table-Ngq2xrcG"] tr.listRow' 精确定位到表格主体内的每一行数据rows = wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR,'table[class="table-Ngq2xrcG"] tr.listRow')))
接下来，遍历每一行并提取数据。对于嵌套在单个
中的元素，我们将使用相对XPath进行定位。
# 遍历每一行并提取数据for i, row in enumerate(rows): try: # 提取股票代码：位于第一个内的标签文本 ticker_symbol = row.find_element(By.XPATH, './td[1]//a').text # 提取股票名称：位于第一个 内的标签文本 ticker_name = row.find_element(By.XPATH, './td[1]//sup').text # 提取价格：位于第二个 的文本 ticker_price = row.find_element(By.XPATH, './td[2]').text # 提取市值：位于第六个 的文本 ticker_marketcap = row.find_element(By.XPATH, './td[6]').text # 提取行业：位于第十一个 内的标签文本 # 注意：某些行可能没有行业信息，需要使用try-except处理NoSuchElementException try: ticker_sector = row.find_element(By.XPATH, './td[11]/a').text except NoSuchElementException: ticker_sector = "—" # 如果没有找到，则设置为默认值 # 打印提取到的数据 print(f"{i+1}. {ticker_symbol} {ticker_name} {ticker_price} {ticker_marketcap} {ticker_sector}") except Exception as e: print(f"提取第 {i+1} 行数据时发生错误: {e}") # 可以选择跳过此行或记录错误信息 关键点解析：
相对XPath (./td[1]//a)： 当从一个父元素（row，即）查找子元素时，使用./开头表示从当前元素开始查找。td[1]选择第一个元素，//a则在其内部查找任意层级的元素。这种方式对于从复杂单元格中分离数据非常有效。处理缺失元素： 并非所有数据行都包含所有字段（例如，某些股票可能没有明确的行业分类）。使用try-except NoSuchElementException块是处理这种情况的健壮方法，可以避免程序崩溃并提供默认值。
4. 完整代码示例
将上述所有部分整合，形成一个完整且可运行的Python脚本：
from selenium import webdriverfrom selenium.common.exceptions import NoSuchElementException, StaleElementReferenceExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWaitimport time# 定义目标URLurl = 'https://www.tradingview.com/markets/stocks-turkey/market-movers-all-stocks/'# 初始化Chrome WebDriverdriver = webdriver.Chrome()driver.maximize_window() # 最大化窗口driver.get(url) # 访问网页print("开始加载所有数据...")# 循环点击“加载更多”按钮，直到所有数据加载完毕while True: try: # 尝试查找并点击“Load More”按钮 load_more_button = driver.find_element(By.XPATH, '//span[text()="Load More"]') load_more_button.click() time.sleep(0.5) # 稍微等待，减少StaleElementReferenceException的发生几率 except StaleElementReferenceException以上就是使用Selenium和Python从动态加载的网页表格中精准提取数据的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1379755.html赞 (0)打赏微信扫一扫
支付宝扫一扫
关于作者
相关推荐
使用正则表达式判断字符串中字符是否全部唯一
本文介绍如何使用Java正则表达式来判断一个字符串中的所有字符是否都是唯一的。我们将探讨一种使用正则表达式检测字符串中是否存在重复字符的方法，并提供相应的Java代码示例。通过本文，你将学习如何利用正则表达式的强大功能来解决字符串处理中的常见问题。 在字符串处理中，经常需要判断一个字符串中的字符是否…
用豆包AI生成Python数据挖掘代码
想用豆包ai生成python数据挖掘代码的关键在于明确任务目标和数据结构。1. 首先明确数据挖掘任务类型，如分类、聚类或回归，并具体描述需求，例如“根据用户年龄、消费金额和购买频率做客户分群”。2. 接着提供清晰的数据格式与来源，比如说明csv文件中的字段信息，以便ai进行数据预处理和建模。3. 要…
sublime怎么解决许可证密钥(license key)无效问题 _sublime许可证密钥无效修复方法
使用官方购买的正版密钥并清除非法残留可解决Sublime Text许可证无效问题，确保正确输入用户名和多行密钥，删除Local目录下的License.sublime_license文件，检查hosts文件是否屏蔽验证域名，重启软件后即可恢复正常。 Sublime Text 出现许可证密钥无效的问题，…
Debian系统OpenSSL漏洞修复
确保Debian系统的OpenSSL安全，请遵循以下步骤： 一、系统更新： 首先，更新您的Debian系统至最新版本。使用以下命令更新软件包列表并升级所有已安装软件： sudo apt updatesudo apt upgrade 二、版本确认： 检查当前OpenSSL版本： openssl ver…
忘记iphone手机密码如何解决
通过iCloud恢复备份（需已开启iCloud备份并能正常登录Apple ID） 在电脑浏览器中访问iCloud官网，使用与锁定iPhone关联的Apple ID和密码登录。 登录后，进入“查找我的iPhone”功能页面。 在设备列表中选择已锁定的iPhone，点击“抹掉iPhone”选项。此操作将…
RTX 5080整机塞进保时捷911轮毂！通过钥匙开机重启
10月13日，当汽车与高性能计算相遇，会激发出怎样的创意奇迹？nvidia在最新一期geforce garage节目中揭晓了答案。 这一次，他们携手改装界传奇人物JCustom（Justin Chu），将一台完整的RTX 5080游戏主机巧妙植入保时捷911的轮毂之中，实现了汽车工艺与电脑科技的惊艳…
亚马逊拟再次向AI创企Anthropic投资数十亿美元
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 有消息透露，亚马逊正计划再度向人工智能企业Anthropic注资数十亿美元，旨在深化两家公司的战略合作关系。据悉，此次潜在的投资可能在去年11月承诺的80亿美元基础上进一步加码。 早在2024年…
Tomcat日志如何帮助排查内存泄漏
Tomcat日志是诊断内存泄漏问题的关键。通过分析Tomcat日志，您可以深入了解内存使用情况和垃圾回收（GC）行为，从而有效定位和解决内存泄漏。以下是如何利用Tomcat日志排查内存泄漏： 1. GC日志分析 首先，启用详细的GC日志记录。在Tomcat启动参数中添加以下JVM选项： -XX:+P…
尽管投资创纪录，但仅有 12% 的 AI 项目实现全面部署
根据 Riverbed 最新发布的全球调查报告，企业在人工智能（AI）采用方面展现出强烈承诺，并正在对 IT 运营进行战略性重塑以支撑 AI 发展。尽管整体 AI 投资额几乎翻倍，且高达 87% 的组织表示其 AIOps 项目的投资回报已达到或超出预期，但仅有 12% 的 AI 项目实现了全企业范围…
本机IP地址获取教程—实用步骤解析本机网络IP检查方式
通过命令提示符输入ipconfig可查Windows本机IP；2. macOS在系统设置网络选项中查看；3. Linux使用ip a命令查找inet地址；4. 浏览器访问ip.cn等网站可查公网IP。 想知道自己的本机IP地址？无论是排查网络问题，还是设置局域网设备，获取本机IP是基础操作。下面介绍…
Bukkit插件开发：正确处理物品显示名称与玩家识别
本文旨在解决Bukkit插件开发中，从BlockPlaceEvent获取物品显示名称并将其用于玩家识别时常见的“乱码”问题。我们将深入探讨Component对象与纯文本字符串的区别，并提供两种核心解决方案：直接获取放置方块的玩家名称，以及如何正确地将Component转换为纯文本字符串，以避免不必要…
sublime怎么折叠所有代码_sublime代码折叠快捷方法
Sublime Text 支持多种代码折叠快捷键，Windows/Linux 使用 Ctrl + Shift + [/] 折叠/展开代码块，Ctrl + K, Ctrl + 1 展开所有用 Ctrl + K, Ctrl + J，macOS 用户将 Ctrl 替换为 Command。 在 Sublim…
vivo Z5的GPU是什么
vivo Z5 搭载了 Adreno 612 GPU，与前代相比，其性能提升 35%，能效更高，支持 HDR10+，兼容 Vulkan 和 OpenGL ES，并集成了 Qualcomm AI Engine，可加速机器学习任务。 vivo Z5 的 GPU vivo Z5 智能手机搭载了 Adren…
华硕TUF RTX 4090显卡拆解 19相供电设计分析
华硕tuf rtx 4090显卡的19相供电设计相比其他显卡具有更稳定、更纯净的电流输出优势。1. 降低纹波电压，提高gpu核心稳定性；2. 提高供电效率，降低mosfet温度；3. 增强超频潜力，提供更大性能提升空间；4. 延长显卡寿命，降低工作温度。判断其供电设计是否优秀，可从元件选择、pwm控…
Win10电脑亮度调节按钮怎么显示出来？
很多用户在使用电脑时常常会遇到屏幕亮度过低的问题，这会对使用体验造成影响。实际上，我们可以通过一些方法自行调整屏幕亮度。那么，如果台式电脑没有亮度调节按钮该怎么办呢？下面将为大家详细介绍解决办法。 Win10 台式电脑无亮度调节按钮的解决方法 一、显示设置 在 Win10 桌面的空白区域右键，选择“…
想将 AI 模型组装工具与豆包联用完成模型组装？方法详解
ai模型组装工具与豆包联用是可行且高效的，关键在于接口兼容性、数据流转和部署方式。具体步骤如下：1. 理解豆包的模型接入规范，包括支持的模型格式、api调用方式及资源需求；2. 在组装工具中完成模型构建、训练与导出，确保符合平台要求；3. 如需转换模型格式（如pytorch转onnx），使用相应工具…
荣耀 X70 开售 内置 8300mAh 超大电池 128GB 售 1399 元
荣耀手机官方宣布，其最新千元机型——荣耀 x70 将于 7 月 18 日上午 10 点 08 分正式上市。目前该机起售价为 1399 元，叠加国家补贴后价格低至 1189 元。 核心性能方面，荣耀 X70 搭载了第四代骁龙 6 移动平台，该平台采用八核 CPU 架构，具体为 1 × A720*2.3…
sublime怎么实现sass/scss的自动编译_sublime配置SASS自动编译方法
安装LiveSassCompiler插件并配置路径后，保存SCSS文件可自动编译为CSS。1. 通过Package Control安装插件；2. 设置输入输出路径；3. 保存文件触发编译，提升开发效率。 Sublime Text 要实现 SASS/SCSS 的自动编译，可以通过安装插件并配置构建系统…
AI Overviews如何实现数据自动备份 AI Overviews备份策略设置
ai overviews可以辅助制定数据备份策略，但不直接执行备份。1. 使用关键词搜索可获取不同平台的备份设置步骤；2. 汇总备份频率、存储位置及安全加密建议；3. 可学习选择合适工具、设定备份路径与启用加密机制；4. 避免忽略日志检查、空间预留、版本控制与单一备份依赖；5. 建议结合手动验证、通…
解析音调调整指令：一个Java教程
本文旨在提供一个清晰易懂的Java教程，用于解析包含音调调整指令的字符串。通过使用正则表达式，我们可以从复杂的输入字符串中提取乐器名称、调整方向和调整量。本教程将详细解释代码实现，并提供示例，帮助读者理解如何在Java中处理这类问题。 使用正则表达式解析音调调整指令 在音乐领域，音调的微调至关重要。…
