本文旨在解决使用browsermob proxy与selenium进行网络请求头捕获时har文件为空的问题。我们将探讨传统代理方案的局限性，并详细介绍如何利用selenium 4内置的devtools api实现高效、稳定的网络流量（包括请求url、方法、头部信息）拦截与分析，提供完整的java示例代码和最佳实践，助力开发者进行前端调试和自动化测试。
1. 引言：网络请求拦截的重要性及传统方案的挑战
在Web自动化测试、性能分析和前端调试中，捕获和分析浏览器发出的网络请求（包括请求头、响应头、请求体、响应体等）是至关重要的一环。传统上，开发者常借助第三方代理工具如Browsermob Proxy (BMP) 来实现这一目标。Browsermob Proxy作为一个基于HAR格式的HTTP代理，能够拦截浏览器与服务器之间的所有流量，并将其记录为HAR（HTTP Archive）文件，方便后续分析。
然而，在使用Browsermob Proxy结合Selenium进行自动化测试时，用户可能会遇到HAR文件记录为空的困境，即使正确配置了代理并尝试了多种捕获类型，也无法获取预期的网络日志。这通常是由于代理配置的复杂性、SSL证书处理、浏览器兼容性或时序问题导致的。例如，在无头模式下运行Chrome并配置BMP代理时，可能会因为证书信任问题或代理流量未正确路由而导致捕获失败。
以下是一个典型的Browsermob Proxy与Selenium结合的代码示例，它展示了尝试捕获HAR的常见模式，但可能面临HAR为空的问题：
import io.github.bonigarcia.wdm.WebDriverManager;import net.lightbody.bmp.BrowserMobProxy;import net.lightbody.bmp.BrowserMobProxyServer;import net.lightbody.bmp.client.ClientUtil;import net.lightbody.bmp.core.har.Har;import net.lightbody.bmp.proxy.CaptureType;import org.openqa.selenium.Proxy;import org.openqa.selenium.WebDriver;import org.openqa.selenium.chrome.ChromeDriver;import org.openqa.selenium.chrome.ChromeOptions;import org.openqa.selenium.remote.CapabilityType;import org.openqa.selenium.remote.DesiredCapabilities;import java.io.File;import java.util.concurrent.TimeUnit;public class BrowsermobProxyExample { public static void main(String[] args) throws Exception { WebDriver driver = null; BrowserMobProxy proxy = new BrowserMobProxyServer(); proxy.setTrustAllServers(true); // 信任所有SSL证书 proxy.start(0); // 启动代理，端口随机 // 创建Selenium Proxy对象并关联Browsermob Proxy Proxy seleniumProxy = ClientUtil.createSeleniumProxy(proxy); String hostIp = "localhost"; seleniumProxy.setHttpProxy(hostIp + ":" + proxy.getPort()); seleniumProxy.setSslProxy(hostIp + ":" + proxy.getPort()); WebDriverManager.chromedriver().setup(); ChromeOptions options = new ChromeOptions(); options.addArguments("--headless"); // 无头模式 options.addArguments("--ignore-certificate-errors"); // 忽略证书错误 DesiredCapabilities capabilities = new DesiredCapabilities(); capabilities.setCapability(CapabilityType.PROXY, seleniumProxy); capabilities.setCapability(CapabilityType.ACCEPT_INSECURE_CERTS, true); options.merge(capabilities); try { driver = new ChromeDriver(options); // 启用HAR捕获类型 proxy.enableHarCaptureTypes(CaptureType.REQUEST_HEADERS, CaptureType.RESPONSE_HEADERS, CaptureType.REQUEST_CONTENT, CaptureType.RESPONSE_CONTENT); proxy.newHar("example.com"); // 创建新的HAR文件 driver.get("https://www.example.com"); // 访问目标网站 TimeUnit.SECONDS.sleep(10); // 等待页面加载及网络请求完成 Har har = proxy.getHar(); // 获取HAR日志 har.writeTo(new File("test.har")); // 写入文件 System.out.println("HAR entries captured: " + har.getLog().getEntries().size()); } finally { if (driver != null) { driver.quit(); } if (proxy != null) { proxy.endHar(); proxy.stop(); } } }}
尽管上述代码逻辑看似完整，但在实际运行中，特别是在某些复杂的网络环境下或特定Selenium/BrowserMob Proxy版本组合下，test.har文件中的entries列表可能依然为空。这促使我们寻找更稳定、更集成的解决方案。
2. 现代解决方案：Selenium 4 DevTools API
随着Selenium 4的发布，其引入了与浏览器DevTools（开发者工具）API的直接集成，为网络请求拦截提供了一个更为强大和稳定的原生方法。通过DevTools API，我们可以直接与浏览器内部通信，监听并获取网络事件，而无需依赖外部代理。这种方法避免了代理配置、SSL证书信任等复杂问题，使得网络流量捕获更加可靠。
2.1 核心概念
DevTools: 浏览器内置的开发者工具，提供丰富的调试和诊断功能。CDP (Chrome DevTools Protocol): Chrome浏览器提供的一套协议，允许外部工具（如Selenium）与浏览器进行交互和控制。Network Domain: CDP中的一个域，专门用于处理网络相关的事件和命令，例如启用网络监控、监听请求发送、响应接收等。
2.2 使用Selenium 4 DevTools API进行网络拦截
以下是使用Selenium 4 DevTools API拦截网络请求头的详细步骤和示例代码：
2.2.1 准备工作
Shakker
多功能AI图像生成和编辑平台
103 查看详情 
确保您的项目中引入了Selenium 4.6.0或更高版本的依赖。
org.seleniumhq.selenium selenium-java 4.7.0
2.2.2 示例代码
import org.openqa.selenium.chrome.ChromeDriver;import org.openqa.selenium.chrome.ChromeOptions;import org.openqa.selenium.devtools.DevTools;import org.openqa.selenium.devtools.v120.network.Network; // 根据Selenium版本调整vXXXimport org.openqa.selenium.devtools.v120.network.model.RequestWillBeSent; // 根据Selenium版本调整vXXXimport java.util.Optional;import java.util.concurrent.TimeUnit;public class DevToolsNetworkInterceptor { public static void main(String[] args) throws InterruptedException { // 1. 初始化ChromeDriver // 确保ChromeDriver与您的Chrome浏览器版本兼容 // System.setProperty("webdriver.chrome.driver", "/path/to/chromedriver"); // 或者使用WebDriverManager自动管理驱动 // WebDriverManager.chromedriver().setup(); ChromeOptions options = new ChromeOptions(); // options.addArguments("--headless"); // 如果需要无头模式，可以添加此参数 ChromeDriver driver = new ChromeDriver(options); // 2. 获取DevTools实例并创建会话 DevTools devTools = driver.getDevTools(); devTools.createSession(); // 3. 启用Network域 // Optional.empty() 表示不设置额外的参数，如最大请求体大小、最大响应体大小等 devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty())); // 4. 添加监听器，捕获请求发送事件 devTools.addListener(Network.requestWillBeSent(), request -> { System.out.println("--------------------------------------------------"); System.out.println("Request URL: " + request.getRequest().getUrl()); System.out.println("Request Method: " + request.getRequest().getMethod()); System.out.println("Request Headers: " + request.getRequest().getHeaders().toJson()); System.out.println("--------------------------------------------------"); }); // （可选）添加监听器，捕获响应接收事件 devTools.addListener(Network.responseReceived(), response -> { System.out.println("Response URL: " + response.getResponse().getUrl()); System.out.println("Response Status: " + response.getResponse().getStatus()); System.out.println("Response Headers: " + response.getResponse().getHeaders().toJson()); }); // 5. 导航到目标URL driver.get("https://www.google.com"); // 6. 等待一段时间，确保网络请求有足够时间被捕获和处理 // 在实际应用中，应使用WebDriverWait等显式等待机制，而不是Thread.sleep TimeUnit.SECONDS.sleep(10); // 7. 关闭浏览器和DevTools会话 devTools.close(); driver.quit(); }}
代码解析：
ChromeDriver driver = new ChromeDriver(options);: 初始化Chrome浏览器实例。ChromeOptions可以用于配置浏览器行为，如无头模式。DevTools devTools = driver.getDevTools();: 从ChromeDriver实例中获取DevTools对象。devTools.createSession();: 创建一个与浏览器DevTools的会话。这是与DevTools API交互的起点。devTools.send(Network.enable(…));: 向DevTools发送命令，启用Network域的事件监听。一旦启用，浏览器将开始发送网络事件。devTools.addListener(Network.requestWillBeSent(), request -> {…});: 这是核心部分。它注册了一个监听器，当浏览器即将发送一个网络请求时，会触发requestWillBeSent事件。监听器中的Lambda表达式会接收到一个RequestWillBeSent对象，其中包含了请求的详细信息，如URL、方法、请求头等。request.getRequest().getUrl()：获取请求的URL。request.getRequest().getMethod()：获取请求的方法（GET, POST等）。request.getRequest().getHeaders().toJson()：获取请求头，以JSON格式表示。driver.get(“https://www.google.com”);: 导航到目标网页。此时，所有由该页面发起的网络请求都将被DevTools捕获。TimeUnit.SECONDS.sleep(10);: 这是一个简单的等待，用于确保页面加载完成并且所有网络请求都有机会被监听器捕获。在实际的自动化测试中，建议使用WebDriverWait结合特定的条件来等待，以提高测试的健壮性。devTools.close(); 和 driver.quit();: 关闭DevTools会话并退出浏览器，释放资源。
2.3 捕获更多网络事件
除了requestWillBeSent，Network域还提供了许多其他有用的事件和命令，例如：
Network.responseReceived()：当浏览器接收到响应头时触发。Network.loadingFinished()：当一个网络请求的加载完成时触发。Network.setExtraHTTPHeaders()：可以设置额外的HTTP请求头。Network.clearBrowserCache()：清除浏览器缓存。
通过组合这些事件，您可以构建出更复杂的网络监控和控制逻辑。
3. 注意事项与最佳实践
Selenium版本兼容性： 确保您的Selenium Java库版本与您使用的Chrome浏览器和ChromeDriver版本兼容。DevTools API在Selenium 4中引入，并且其内部协议（如v120）会随着Chrome浏览器版本的更新而变化，因此建议使用最新稳定版的Selenium。驱动管理： 推荐使用WebDriverManager（如io.github.bonigarcia:webdrivermanager）来自动管理和下载ChromeDriver，以避免手动下载和路径配置的麻烦。无头模式： 在无头模式下运行Chrome（options.addArguments(“–headless”)）时，DevTools API同样有效，这对于服务器端运行的自动化任务非常有用。等待机制： 在实际应用中，避免使用Thread.sleep()进行硬编码等待。应使用Selenium提供的WebDriverWait结合ExpectedConditions来等待特定的元素出现、页面加载完成或网络请求结束，以确保数据的完整捕获和测试的稳定性。数据存储： 捕获到的网络数据（如请求头、URL等）可以直接在监听器中进行处理，例如写入文件、存储到列表或数据库中。如果需要生成标准的HAR文件，则需要手动将捕获到的事件数据按照HAR规范进行组装。性能影响： 启用DevTools网络监听会增加浏览器的开销，尤其是在捕获大量数据时。在不需要网络分析的测试场景中，应避免启用此功能。
4. 总结
Selenium 4提供的DevTools API为Java自动化测试带来了强大的网络请求拦截能力，有效解决了传统Browsermob Proxy方案中可能出现的HAR文件为空等问题。通过直接与浏览器DevTools协议交互，开发者可以更稳定、更细致地控制和监控网络流量，从而提升自动化测试的深度和效率。掌握这一技术，对于进行API测试、性能分析、安全审计以及复杂前端调试的工程师而言，无疑是一个重要的工具。
以上就是使用Selenium 4 DevTools API进行网络请求拦截与分析的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1101602.html
微信扫一扫 
支付宝扫一扫 
