本文探讨了如何在目标网页内容由javascript生成且不涉及额外xhr请求时进行数据提取。核心策略是深入检查页面初始加载的html和javascript源码，识别并解析其中可能嵌入的json或其他结构化数据。通过这种方法，即使传统xpath失效，也能有效获取所需信息，为处理特定类型的动态网页爬取提供了解决方案。
动态内容抓取的挑战与传统方法的局限
在网页数据抓取（Web Scraping）领域，传统的方法通常依赖于解析页面的静态HTML结构，例如使用XPath或CSS选择器来定位和提取数据。然而，随着现代Web技术的发展，越来越多的网站采用JavaScript在客户端动态生成内容。这给传统爬虫带来了挑战：当目标内容由JavaScript生成时，它可能不会出现在初始加载的HTML源码中，导致XPath等工具无法找到。
更进一步的挑战在于，一些网站虽然使用JavaScript生成内容，但并没有通过显式的AJAX（XHR）请求从服务器异步加载数据。这意味着，即使使用浏览器的开发者工具检查网络活动，也可能看不到任何与目标数据相关的XHR请求。在这种情况下，传统的基于XHR监控或Selenium等无头浏览器的方法可能显得过于笨重或效率低下。
识别问题：JavaScript生成但无XHR的场景
以https://www.wowhead.com/today-in-wow为例，我们希望提取特定
这种现象表明，尽管内容是动态生成的，但其所需的数据并非在页面加载后通过额外的网络请求获取，而是很可能已经以某种形式（例如JSON字符串）嵌入在页面初始加载的HTML或内联JavaScript代码中。
立即学习“Java免费学习笔记（深入）”；
解决方案：深入分析初始HTML源码
当遇到JavaScript生成内容且无XHR请求的场景时，核心策略是转变思路：不再专注于DOM结构，而是深入挖掘页面加载时获取的原始HTML源码。
核心假设
如果内容是JavaScript生成的，但没有额外的XHR请求，那么支撑这些内容的数据极有可能作为JavaScript变量、内联JSON对象或数组的形式，直接嵌入在页面的标签中，或者作为某个HTML元素的data-*属性值存在于初始加载
以上就是绕过XHR：从JavaScript生成页面中提取嵌入式数据的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1532644.html
微信扫一扫 
支付宝扫一扫 
