本文旨在解决从Dermnet等采用JavaScript动态加载内容的网站爬取图片时，传统BeautifulSoup或Selenium方法失效的问题。通过深入分析浏览器开发者工具中的网络请求，我们发现此类网站常通过Google Custom Search Engine (CSE) API获取图片数据。教程将详细指导如何识别并直接请求该API接口，解析返回的JSON数据以高效提取图片URL，并探讨分页处理机制，从而实现对动态加载图片的精准抓取。
传统爬取方法的局限性
在进行网页数据抓取时，beautifulsoup和selenium是常用的工具。beautifulsoup擅长解析静态html内容，而selenium则能够模拟浏览器行为，处理javascript渲染的动态内容。然而，对于某些高度动态的网站，特别是那些通过第三方api异步加载关键数据的网站，这两种方法可能会遇到瓶颈。
例如，当尝试从Dermnet这类网站抓取图片时，即使使用Selenium模拟浏览器加载页面，也可能发现目标图片所在的div块或img标签难以直接定位。这通常是因为图片并非直接嵌入在初始HTML中，而是通过JavaScript在页面加载完成后，向某个API发送请求，然后根据API返回的数据动态生成。在这种情况下，BeautifulSoup无法看到这些动态内容，而Selenium虽然能渲染页面，但如果目标数据是通过一个独立的API调用获取的，直接通过DOM解析效率低下，甚至无法触及API返回的原始数据。
洞察：动态加载背后的API
解决这类问题的关键在于改变思路：不再仅仅盯着页面的DOM结构，而是深入探究页面加载过程中发生了哪些网络请求。许多网站为了实现高性能和模块化，会选择将数据（如图片列表）通过API接口从后端获取。
使用开发者工具
识别这些隐藏API请求的最佳工具是浏览器的开发者工具（通常通过F12键打开）。
打开目标页面并进入开发者工具： 访问Dermnet的搜索结果页，例如https://dermnetnz.org/search.html?q=basal+cell+carcinoma+dermoscopy。切换到“Network”（网络）选项卡： 刷新页面，并观察所有发出的网络请求。筛选请求类型： 通常，动态加载的数据请求属于XHR（XMLHttpRequest）或Fetch类型。在“Network”选项卡中，可以筛选这些请求类型。识别关键API请求： 在Dermnet的案例中，通过观察，我们会发现有请求发送到cse.google.com域名。这是一个重要的线索，表明网站正在使用Google Custom Search Engine (CSE) API来获取图片列表。
通过点击这些cse.google.com的请求，我们可以检查它们的“Headers”（请求头）和“Response”（响应）内容。你会发现响应通常是JSON格式，其中包含了我们所需的图片信息。
解析Google CSE API请求与响应
一旦识别出Google CSE API请求，下一步就是理解其工作原理。
关键URL参数分析
以一个典型的Google CSE API请求URL为例：https://cse.google.com/cse/element/v1?rsz=large&num=16&hl=en&source=gcsc&gss=.com&cselibv=8e77c7877b8339e2&searchtype=image&cx=015036873904746004277:nz7deehiccq&q=basal%20cell%20carcinoma%20dermoscopy&safe=off&cse_tok=AFW0emwRaupmNcwPmPDnZm7vKaJV:1684998350721&exp=csqr,cc,bf&callback=google.search.cse.api10440
这里包含多个重要参数：
rsz=large: 结果图片的大小。num=16: 每页返回的结果数量。hl=en: 语言设置。searchtype=image: 明确指定搜索类型为图片。cx=015036873904746004277:nz7deehiccq: 自定义搜索引擎的ID，这是特定于Dermnet网站的。q=basal%20cell%20carcinoma%20dermoscopy: 搜索查询词，经过URL编码。cse_tok=…: 一个动态生成的令牌（token），用于验证请求。这个参数非常关键，因为它可能会在不同会话或一段时间后失效，需要从页面中动态获取或定期更新。callback=google.search.cse.api10440: 这是一个JSONP（JSON with Padding）回调函数名。这意味着API响应会被包裹在这个函数调用中，以便跨域请求。
处理JSONP响应
由于callback参数的存在，API的响应不是纯粹的JSON，而是类似google.search.cse.api10440({…})的格式。我们需要手动移除这个函数包裹，才能将其解析为标准的JSON对象。
响应数据结构
API响应的JSON结构中，通常会有一个名为results的字段，它是一个列表，包含每个搜索结果的详细信息。每个结果对象里会包含url（或src）、title、width、height等图片相关属性。
实战：利用Python爬取图片URL
现在，我们将使用Python的requests库来模拟API请求，并解析数据。
准备工作
确保安装了requests库：
pip install requests
构建API请求
我们需要构造与浏览器中观察到的API请求一致的URL和参数。为了简化，我们先假设cse_tok可以从开发者工具中获取并作为固定值使用（但在实际生产环境中，它可能需要动态获取）。
import requestsimport jsonimport redef fetch_dermnet_images(query, start_index=1, cse_token="YOUR_CSE_TOKEN_HERE"): """ 从Dermnet网站的Google CSE API获取图片信息。 :param query: 搜索关键词。 :param start_index: 分页起始索引。 :param cse_token: 从浏览器开发者工具中获取的cse_tok。 :return: 包含图片信息的列表。 """ base_url = "https://cse.google.com/cse/element/v1" # 观察到的关键参数 params = { "rsz": "large", "num": "16", # 每页结果数量 "hl": "en", "source": "gcsc", "gss": ".com", "cselibv": "8e77c7877b8339e2", # 这个参数可能随时间变化 "searchtype": "image", "cx": "015036873904746004277:nz7deehiccq", "q": query, "safe": "off", "cse_tok": cse_token, "exp": "csqr,cc,bf", # 这个参数可能随时间变化 "callback": "google.search.cse.api10440", "start": str(start_index) # 分页参数 } headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36", "Referer": "https://dermnetnz.org/" # 设置Referer以模拟浏览器请求 } try: response = requests.get(base_url, params=params, headers=headers, timeout=10) response.raise_for_status() # 检查HTTP请求是否成功 # 处理JSONP响应：移除回调函数包裹 jsonp_text = response.text match = re.search(r"google.search.cse.apid+((.*))", jsonp_text) if match: json_data = match.group(1) data = json.loads(json_data) return data else: print("未能从响应中解析JSONP数据。") return None except requests.exceptions.RequestException as e: print(f"请求失败: {e}") return None except json.JSONDecodeError as e: print(f"JSON解析失败: {e}") print(f"原始响应文本: {jsonp_text[:500]}...") # 打印部分响应方便调试 return None
解析JSON数据并提取图片
API返回的数据中，图片信息通常在results字段下。
def extract_image_urls(api_response): """ 从API响应中提取图片URL。 :param api_response: API返回的JSON数据。 :return: 包含图片URL的列表。 """ image_urls = [] if api_response and "results" in api_response: for item in api_response["results"]: # 图片URL可能在不同的字段，例如'url'或'image_url' # 观察开发者工具中的响应结构来确定 if "url" in item: # 假设图片主URL在'url'字段 image_urls.append(item["url"]) elif "image" in item and "url" in item["image"]: # 或者在嵌套的'image'字段中 image_urls.append(item["image"]["url"]) return image_urls
处理分页机制
Google CSE API通常通过start参数来控制分页，start表示结果的起始索引。如果每页num是16，那么第一页start=1，第二页start=17，第三页start=33，以此类推。我们需要一个循环来不断增加start参数，直到没有更多结果。
def scrape_all_dermnet_images(query, cse_token, max_pages=5): """ 爬取Dermnet网站指定查询的所有图片URL。 :param query: 搜索关键词。 :param cse_token: Google CSE API的动态令牌。 :param max_pages: 最大爬取页数，防止无限循环。 :return: 所有图片URL的列表。 """ all_image_urls = [] start_index = 1 page_count = 0 while page_count < max_pages: print(f"正在抓取查询 '{query}' 的第 {page_count + 1} 页 (start={start_index})...") api_response = fetch_dermnet_images(query, start_index, cse_token) if not api_response: print("未能获取API响应或响应为空，停止抓取。") break current_page_urls = extract_image_urls(api_response) if not current_page_urls: print("当前页没有图片URL，停止抓取。") break all_image_urls.extend(current_page_urls) print(f"已获取 {len(current_page_urls)} 张图片，总计 {len(all_image_urls)} 张。") # 更新start_index以获取下一页 # 根据API响应中的'nextPage'或类似字段来判断是否有下一页， # 或者简单地增加num的值。 # 这里假设每页16个结果，下一页的start是当前start + num。 results_per_page = int(api_response.get("context", {}).get("num", "16")) # 尝试从响应中获取num if not results_per_page: # 如果获取不到，则使用默认值 results_per_page = 16 start_index += results_per_page page_count += 1 # 实际项目中可能需要加入延时，防止请求过快被封 # import time # time.sleep(1) return all_image_urls
完整代码示例
import requestsimport jsonimport reimport time# 注意：cse_tok是动态的，需要从浏览器开发者工具中获取最新的值# 示例值仅供参考，实际使用时请替换为最新的有效tokenYOUR_CSE_TOKEN = "AFW0emwRaupmNcwPmPDnZm7vKaJV:1684998350721" def fetch_dermnet_images(query, start_index=1, cse_token=YOUR_CSE_TOKEN): """ 从Dermnet网站的Google CSE API获取图片信息。 :param query: 搜索关键词。 :param start_index: 分页起始索引。 :param cse_token: 从浏览器开发者工具中获取的cse_tok。 :return: 包含图片信息的字典或None。 """ base_url = "https://cse.google.com/cse/element/v1" params = { "rsz": "large", "num": "16", "hl": "en", "source": "gcsc", "gss": ".com", "cselibv": "8e77c7877b8339e2", "searchtype": "image", "cx": "015036873904746004277:nz7deehiccq", "q": query, "safe": "off", "cse_tok": cse_token, "exp": "csqr,cc,bf", "callback": "google.search.cse.api10440", "start": str(start_index) } headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36", "Referer": "https://dermnetnz.org/" } try: response = requests.get(base_url, params=params, headers=headers, timeout=10) response.raise_for_status() jsonp_text = response.text match = re.search(r"google.search.cse.apid+((.*))", jsonp_text) if match: json_data = match.group(1) data = json.loads(json_data) return data else: print("未能从响应中解析JSONP数据。") return None except requests.exceptions.RequestException as e: print(f"请求失败: {e}") return None except json.JSONDecodeError as e: print(f"JSON解析失败: {e}") print(f"原始响应文本: {jsonp_text[:500]}...") return Nonedef extract_image_urls(api_response): """ 从API响应中提取图片URL。 :param api_response: API返回的JSON数据。 :return: 包含图片URL的列表。 """ image_urls = [] if api_response and "results" in api_response: for item in api_response["results"]: if "url" in item: image_urls.append(item["url"]) elif "image" in item and "url" in item["image"]: image_urls.append(item["image"]["url"]) return image_urlsdef scrape_all_dermnet_images(query, cse_token, max_pages=5): """ 爬取Dermnet网站指定查询的所有图片URL。 :param query: 搜索关键词。 :param cse_token: Google CSE API的动态令牌。 :param max_pages: 最大爬
以上就是应对动态内容抓取：Dermnet图片爬取中的Google CSE API应用的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1522057.html
微信扫一扫 
支付宝扫一扫 
