本文旨在解决使用Python进行Web Scraping时，由于网页内容由JavaScript动态生成而导致无法抓取的问题。文章将介绍如何通过分析XHR/API请求获取JSON数据，以及使用Selenium等工具模拟浏览器行为来渲染动态内容，从而成功抓取目标信息。通过本文，读者将掌握应对动态网页抓取的有效方法，并能灵活应用于实际项目中。
动态网页抓取概述
传统的requests和BeautifulSoup组合在抓取静态网页时非常有效。然而，现代Web应用通常使用JavaScript动态生成内容，这意味着页面的HTML结构在加载后会发生改变。直接使用requests获取的HTML源码可能不包含目标数据，导致抓取失败。
解决方案一：分析XHR/API请求
许多动态网页通过异步JavaScript和XML（XHR）请求从服务器获取数据，这些数据通常以JSON格式返回。我们可以通过浏览器的开发者工具（通常按F12打开）的网络选项卡来分析这些请求。
打开开发者工具： 打开目标网页，按下F12键，进入开发者工具。切换到网络选项卡： 在开发者工具中，选择“Network”（网络）选项卡。刷新页面： 刷新页面，观察网络请求。筛选XHR请求： 过滤请求类型，只显示XHR（或Fetch/XHR）请求。查找API端点： 找到包含目标数据的API请求。通常，这些请求的响应类型为JSON。分析请求URL和参数： 记录API的URL和请求参数，这些信息将用于Python代码中。
示例代码：
立即学习“Python免费学习笔记（深入）”；
以下代码演示了如何使用requests库获取JSON数据并提取所需信息。
import requestsurl = 'https://comic.naver.com/api/article/list?titleId=811721&page=1' # 替换为实际的API端点try: response = requests.get(url) response.raise_for_status() # 检查请求是否成功 data = response.json() for article in data['articleList']: print(article.get('subtitle')) # 提取并打印漫画标题except requests.exceptions.RequestException as e: print(f"请求错误: {e}")except ValueError as e: print(f"JSON解码错误: {e}")except KeyError as e: print(f"KeyError: {e}, JSON结构可能已更改")
代码解释：
requests.get(url): 发送GET请求到指定的API端点。response.raise_for_status(): 检查HTTP响应状态码，如果不是200 OK，则抛出异常。response.json(): 将响应内容解析为JSON格式。data[‘articleList’]: 访问JSON数据中的articleList键，通常包含一个列表，其中每个元素代表一个漫画章节。article.get(‘subtitle’): 从每个章节的字典中获取subtitle键的值，即漫画标题。异常处理: 包含requests.exceptions.RequestException处理请求错误，ValueError处理JSON解码错误，KeyError处理JSON结构变更。
注意事项：
API端点可能会改变，需要定期检查和更新代码。某些API可能需要身份验证（例如，需要提供API密钥或登录凭据）。应遵守网站的robots.txt协议，避免过度请求导致服务器过载。
解决方案二：使用Selenium模拟浏览器行为
如果无法直接找到API端点，或者API的使用受到限制，可以使用Selenium等工具模拟浏览器行为，渲染动态内容。
安装Selenium和WebDriver：
pip install selenium
还需要下载与你的浏览器版本匹配的WebDriver（例如，ChromeDriver for Chrome）。将WebDriver的可执行文件放在系统PATH中，或者在Selenium代码中指定其路径。
编写Selenium代码：
from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC# 配置Chrome选项（可选）chrome_options = Options()chrome_options.add_argument("--headless") # 无头模式，不显示浏览器窗口# 创建WebDriver实例driver = webdriver.Chrome(options=chrome_options) # 确保ChromeDriver在PATH中，或者指定路径try: # 加载网页 driver.get("https://comic.naver.com/webtoon/list?titleId=811721&tab=wed") # 等待目标元素加载（使用显式等待） wait = WebDriverWait(driver, 10) element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "span.EpisodeListList__title--lfIzU"))) # 提取数据 cartoons = driver.find_elements(By.CSS_SELECTOR, "span.EpisodeListList__title--lfIzU") for cartoon in cartoons: print(cartoon.text)except Exception as e: print(f"发生错误: {e}")finally: # 关闭浏览器 driver.quit()
代码解释：
webdriver.Chrome(): 创建Chrome浏览器的WebDriver实例。driver.get(url): 加载指定的网页。WebDriverWait和EC.presence_of_element_located: 使用显式等待，确保目标元素加载完成后再进行操作。这可以避免因元素未加载完成而导致的错误。driver.find_elements(By.CSS_SELECTOR, “span.EpisodeListList__title–lfIzU”): 使用CSS选择器查找所有匹配的元素。cartoon.text: 获取元素的文本内容。driver.quit(): 关闭浏览器。
注意事项：
Selenium需要安装WebDriver，并确保WebDriver的版本与浏览器版本兼容。使用显式等待可以提高代码的稳定性，避免因元素未加载完成而导致的错误。无头模式可以在后台运行浏览器，提高效率。Selenium的性能开销比requests大，应根据实际情况选择合适的解决方案。
总结
动态网页抓取是一个常见的挑战，但通过分析XHR/API请求或使用Selenium等工具模拟浏览器行为，可以有效地解决这个问题。选择哪种方法取决于网页的结构、API的可用性以及性能要求。理解这些技术可以帮助你更有效地抓取Web数据，并将其应用于各种应用场景中。
以上就是使用Python进行Web Scraping：动态网页内容抓取及解决方案的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1367616.html
微信扫一扫 
支付宝扫一扫 
