本教程旨在解决使用Python进行Web Scraping时，遇到的动态加载数据抓取问题。以TFL（伦敦交通局）自行车数据为例，演示如何通过分析XHR/API请求，从XML文件中提取所需的CSV文件链接。通过示例代码，详细讲解如何使用requests和BeautifulSoup库抓取动态加载的数据，并提供注意事项，帮助读者更有效地进行Web Scraping。
当使用传统的Web Scraping方法抓取网页时，有时会遇到网页内容是通过JavaScript动态加载的情况。直接使用requests库获取的HTML源码可能不包含所需的数据，导致只能抓取到一些静态内容，例如Terms and Conditions链接。解决这类问题的关键在于分析网页的XHR (XMLHttpRequest) / API请求，找到数据来源。
分析XHR/API请求
现代浏览器都提供了开发者工具，可以用来分析网络请求。以Chrome浏览器为例，打开开发者工具（通常按F12键），切换到Network标签，然后刷新网页。在Network标签中，可以看到浏览器发出的所有请求。我们需要找到返回数据的那一个。通常，这类请求的类型是XHR或者Fetch/XHR。
在这个TFL自行车数据的例子中，通过分析可以发现，数据存储在一个XML文件中，该文件可以通过以下URL访问：
https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500
这个XML文件包含了所有CSV文件的链接信息。
使用BeautifulSoup解析XML数据
获取到XML数据后，可以使用BeautifulSoup库来解析它，提取出需要的CSV文件链接。以下是示例代码：
import requestsfrom bs4 import BeautifulSoupurl = 'https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500'response = requests.get(url)soup = BeautifulSoup(response.text, 'xml') # 指定解析器为xmlfor content in soup.find_all('Contents'): key = content.find('Key').text if key.startswith('usage-stats') and key.endswith('.csv'): print('https://cycling.data.tfl.gov.uk/' + key)
代码解释：
导入库: 导入requests用于发送HTTP请求，BeautifulSoup用于解析XML。发送请求并解析XML: 使用requests.get()获取XML数据，然后使用BeautifulSoup(response.text, ‘xml’)将其解析为BeautifulSoup对象。注意这里需要指定解析器为xml。查找并提取链接: 使用soup.find_all(‘Contents’)找到所有包含文件信息的标签。过滤链接: 循环遍历每个标签，找到标签，提取其文本内容，判断是否以usage-stats开头且以.csv结尾，如果是，则拼接成完整的URL并打印。
注意事项：
XML解析器: BeautifulSoup默认使用HTML解析器，解析XML时需要明确指定xml解析器，否则可能导致解析错误。URL拼接: 在拼接URL时，需要确保URL的正确性，避免出现多余的斜杠或者缺少斜杠的情况。请求频率: 在进行Web Scraping时，需要控制请求频率，避免对目标服务器造成过大的压力。可以设置请求间隔，或者使用代理IP。数据清洗: 抓取到的数据可能需要进行清洗和处理，例如去除空格、转换数据类型等。robots.txt: 在进行Web Scraping之前，应该查看目标网站的robots.txt文件，了解网站的抓取规则，避免违反网站的规定。
总结：
通过分析XHR/API请求，可以解决动态加载数据的抓取问题。本教程以TFL自行车数据为例，演示了如何使用requests和BeautifulSoup库抓取XML数据，并提取所需的CSV文件链接。在实际应用中，需要根据具体情况进行分析和调整，才能更有效地进行Web Scraping。记住，负责任地进行Web Scraping，遵守网站的规定，并尊重网站的劳动成果。
以上就是Web Scraping动态加载数据：TFL自行车数据抓取教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1367216.html
微信扫一扫 
支付宝扫一扫 
