本文介绍了如何使用 R 语言中的 rvest 和 xml2 包从网页中提取嵌套的 URL。由于某些网页的内容是通过 JavaScript 动态加载的，直接使用 read_html 可能无法获取完整的 HTML 结构。本文提供了一种通过分析网络请求，直接获取包含 URL 的 JSON 数据的方法，并使用 httr 包和 dplyr 包进行解析和提取。
理解动态加载的网页
现代网页经常使用 JavaScript 来动态加载内容。这意味着，当你使用 read_html 函数读取网页时，你可能只能获取到初始的 HTML 结构，而缺少通过 JavaScript 加载的部分。这些动态加载的内容可能包含你想要提取的 URL。
分析网络请求
要解决这个问题，你需要分析网页的网络请求，找到加载数据的 API 接口。你可以使用浏览器的开发者工具（通常通过 F12 键打开）来查看网络请求。在 “Network” 选项卡中，你可以找到网页加载的所有资源，包括 HTML、CSS、JavaScript、图片和 JSON 数据等。
获取 JSON 数据
在找到包含 URL 的 JSON 数据后，你可以使用 httr 包来发送 HTTP 请求，获取数据。以下是一个示例：
library(httr)library(dplyr)url % lapply(function(x) data.frame(product = x$title, url = x$url)) %>% bind_rows() %>% as_tibble()
代码解释：
library(httr) 和 library(dplyr): 加载 httr 用于发送 HTTP 请求，dplyr 用于数据处理。url : 构建 API 的 URL。你需要根据你分析的网络请求结果修改这个 URL。content(GET(url))$products: 使用 GET 函数发送 HTTP GET 请求，content 函数将响应内容解析为 R 对象。 $products 用于提取 JSON 数据中包含产品信息的列表。lapply(function(x) data.frame(product = x$title, url = x$url)): 使用 lapply 函数遍历产品列表，并提取每个产品的标题和 URL，并将它们存储在一个数据框中。bind_rows(): 将所有数据框合并成一个大的数据框。as_tibble(): 将数据框转换为 tibble 对象，这是一种更现代的数据框格式。
注意事项
API 的 URL 可能会改变: 网页的 API 接口可能会随着时间的推移而改变。你需要定期检查你的代码，确保它仍然能够正常工作。需要遵守网站的robots.txt: 在抓取网页数据时，务必遵守网站的 robots.txt 协议，尊重网站的爬取规则。设置请求头 (User-Agent): 有些网站会根据请求头来判断是否为爬虫，可以在 GET 请求中设置 User-Agent 字段，模拟浏览器行为。
library(httr)library(dplyr)url % lapply(function(x) data.frame(product = x$title, url = x$url)) %>% bind_rows() %>% as_tibble()
总结
当使用 rvest 和 xml2 无法直接提取动态加载的网页内容时，分析网络请求，直接获取 JSON 数据是一种有效的替代方案。使用 httr 包发送 HTTP 请求，并使用 dplyr 包进行数据处理，可以轻松地提取你需要的 URL。记住，你需要定期检查你的代码，确保它仍然能够正常工作，并遵守网站的爬取规则。
以上就是使用 rvest 和 xml2 从网页中提取所有嵌套 URL的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1573684.html
微信扫一扫 
支付宝扫一扫 
