本教程旨在解决使用Python爬虫抓取动态加载的CSV数据时遇到的问题。我们将以伦敦交通局(TfL)自行车使用数据为例，演示如何通过分析XHR/API请求，找到包含数据链接的XML文件，并使用BeautifulSoup解析XML，最终提取所需的CSV文件URL。本文将提供详细的代码示例和步骤，帮助读者掌握爬取动态加载数据的通用方法。
网络爬虫在面对静态网页时通常表现良好，但当网页内容通过JavaScript动态加载时，传统的爬取方法可能无法获取完整的数据。本教程将介绍如何应对这种情况，以伦敦交通局(TfL)的自行车使用数据为例，演示如何抓取动态加载的CSV文件链接。
1. 问题分析：动态加载与传统爬取的局限性
当使用requests和BeautifulSoup等库直接请求包含动态内容的网页时，服务器返回的HTML可能不包含完整的数据。这是因为数据是通过JavaScript在客户端加载的，而requests只获取服务器返回的初始HTML。例如，直接爬取TfL自行车数据页面时，只能获取到条款和条件链接，而无法获取到实际的CSV文件链接。
2. 解决方案：分析XHR/API请求
解决动态加载问题的关键在于找到加载数据的API接口。现代浏览器提供了开发者工具，可以用来检查网络请求（包括XHR/API请求）。
立即学习“Python免费学习笔记（深入）”；
步骤：
打开目标网页（例如：https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d）。打开浏览器的开发者工具（通常按F12键）。切换到“Network”选项卡。刷新页面。在“Network”选项卡中，筛选XHR或Fetch/XHR请求。寻找与数据相关的请求。通常，请求的响应类型为JSON或XML。
通过分析TfL自行车数据页面，可以发现一个名为https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500的请求，其响应是一个包含CSV文件链接的XML文件。
3. 代码实现：提取CSV文件链接
找到包含数据链接的XML文件后，可以使用requests获取XML内容，并使用BeautifulSoup解析XML，提取所需的CSV文件链接。
import requestsfrom bs4 import BeautifulSoup# 获取XML内容url = 'https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500'response = requests.get(url)response.raise_for_status() # 检查请求是否成功# 使用BeautifulSoup解析XMLsoup = BeautifulSoup(response.text, 'xml')# 提取CSV文件链接for content in soup.find_all('Contents'): key = content.find('Key').text if key.startswith('usage-stats') and key.endswith('.csv'): csv_url = 'https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d' + key print(csv_url)
代码解释：
requests.get(url)：向XML文件的URL发送GET请求，获取XML内容。response.raise_for_status()：检查HTTP响应状态码，如果请求失败（状态码不是200），则抛出异常。BeautifulSoup(response.text, ‘xml’)：使用BeautifulSoup解析XML内容。注意，需要指定解析器为xml。soup.find_all(‘Contents’)：查找所有名为Contents的XML标签。content.find(‘Key’).text：在每个Contents标签中，查找名为Key的标签，并获取其文本内容。Key标签包含了CSV文件的路径。if key.startswith(‘usage-stats’) and key.endswith(‘.csv’)：过滤出以usage-stats开头，以.csv结尾的路径，这些路径是所需的CSV文件。csv_url = ‘https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d’ + key：构建完整的CSV文件URL。print(csv_url)：打印CSV文件URL。
4. 扩展应用：处理大量数据
上面的代码可以提取所有CSV文件链接。如果只需要特定时间段的数据（例如，2021年到2023年），可以在代码中添加额外的过滤条件。
import requestsfrom bs4 import BeautifulSoup# 获取XML内容url = 'https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500'response = requests.get(url)response.raise_for_status() # 检查请求是否成功# 使用BeautifulSoup解析XMLsoup = BeautifulSoup(response.text, 'xml')# 提取CSV文件链接for content in soup.find_all('Contents'): key = content.find('Key').text if key.startswith('usage-stats') and key.endswith('.csv'): # 增加时间段过滤条件 if '2021' in key or '2022' in key or '2023' in key: csv_url = 'https://www.php.cn/link/64ad8f3af92ef8d9a1c7dfd7265e577d' + key print(csv_url)
注意：
时间段的判断可能需要根据实际的文件命名规则进行调整。可以根据需要将提取的URL保存到文件中，或者直接使用pandas等库读取CSV数据。
5. 总结与注意事项
本教程介绍了如何使用Python爬取动态加载的CSV数据。关键步骤包括：
使用浏览器开发者工具分析XHR/API请求。找到包含数据链接的API接口。使用requests获取API响应。使用BeautifulSoup或其他合适的库解析API响应，提取所需的数据。
注意事项：
在进行网络爬虫时，请务必遵守网站的robots.txt协议，并尊重网站的服务条款。频繁的请求可能会给服务器带来负担，请合理设置请求频率，避免对网站造成不必要的影响。不同的网站可能使用不同的动态加载技术，需要根据实际情况进行分析和调整。
通过本教程的学习，读者应该能够掌握爬取动态加载数据的基本方法，并能够应用于其他类似场景。
以上就是使用Python爬取动态加载的CSV数据：TfL自行车数据案例的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1367157.html
微信扫一扫 
支付宝扫一扫 
