本文介绍如何使用Python抓取TfL（伦敦交通局）自行车共享计划的CSV数据文件，这些数据通过JavaScript动态加载。我们将展示如何通过分析浏览器的开发者工具来定位API请求，并使用BeautifulSoup解析XML响应，最终提取所需的CSV文件链接。本文提供详细的代码示例，帮助读者理解和实践动态网页数据的抓取方法。
理解动态加载与传统抓取的局限性
传统的网页抓取方法，如使用requests和BeautifulSoup直接请求网页HTML内容，并解析其中的链接，在面对动态加载数据时会失效。这是因为网页的初始HTML可能不包含所有的数据，数据通常通过JavaScript在浏览器中动态加载。
例如，在TfL自行车数据网站（https://www.php.cn/link/2dd413603aecf86981529a0cb6e4f35e and Conditions链接，无法获取实际的CSV文件链接。
定位API请求：使用开发者工具
要解决这个问题，我们需要找到加载数据的API请求。现代浏览器都提供了强大的开发者工具，可以用来分析网络请求。
打开浏览器的开发者工具（通常按F12键）。切换到“Network”标签页。刷新网页。在“Network”标签页中，筛选“XHR”或“Fetch/XHR”类型的请求，寻找包含CSV文件列表的请求。
在这个例子中，通过分析可以发现，数据是通过请求https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500这个URL获取的，返回的是一个XML文件，包含了所有CSV文件的信息。
使用BeautifulSoup解析XML响应
找到API请求后，我们可以使用requests库获取XML响应，并使用BeautifulSoup解析它，提取CSV文件的URL。
以下是示例代码：
import requestsfrom bs4 import BeautifulSoupurl = 'https://s3-eu-west-1.amazonaws.com/cycling.data.tfl.gov.uk/?list-type=2&max-keys=1500'response = requests.get(url)response.raise_for_status() # 检查请求是否成功soup = BeautifulSoup(response.text, 'xml') # 指定解析器为xmlfor c in soup.find_all('Key'): # 使用find_all方法 if c.text.startswith('usage-stats') and c.text.endswith('.csv'): print('https://cycling.data.tfl.gov.uk/'+c.text)
代码解释：
导入库： 导入requests用于发送HTTP请求，BeautifulSoup用于解析XML。发送请求： 使用requests.get()方法获取XML数据。检查状态码： 使用response.raise_for_status()确保请求成功，如果状态码不是200，会抛出异常。创建BeautifulSoup对象： 使用BeautifulSoup(response.text, ‘xml’)创建一个BeautifulSoup对象，并指定解析器为xml。查找所有标签： 使用soup.find_all(‘Key’)查找所有包含文件名的标签。注意这里需要使用find_all而不是select。过滤和打印URL： 遍历所有标签，检查文件名是否以usage-stats开头，以.csv结尾，如果是，则拼接完整的URL并打印。
注意事项与总结
状态码检查： 在发送请求后，务必检查response.status_code是否为200，以确保请求成功。如果状态码不是200，可能需要处理错误情况。反爬虫机制： 网站可能会采取反爬虫措施，如限制请求频率、使用验证码等。需要根据具体情况采取相应的应对策略，例如设置请求头、使用代理IP等。XML解析器： BeautifulSoup 可以使用不同的解析器。 在解析XML时，明确指定解析器为 xml 可以提高解析的准确性。动态加载数据： 对于动态加载数据的网页，需要通过分析API请求来获取数据，而不是直接抓取HTML。
通过以上步骤，我们可以成功抓取TfL自行车数据网站上的CSV文件链接，为后续的数据分析工作打下基础。掌握这种动态网页数据的抓取方法，可以帮助我们从更多复杂的网站获取所需的数据。
以上就是Web Scraping 动态加载数据：从TfL自行车数据抓取CSV文件的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1367160.html
微信扫一扫 
支付宝扫一扫 
