花瓣网图片爬取及分页策略详解
本文介绍如何高效爬取花瓣网图片，并重点讲解如何获取后续页面数据，实现完整图片下载。
高效爬取的关键：获取最大值 (max)
花瓣网的API分页机制依赖于max参数，它代表了当前页面最后一个pin的ID。 要实现完整爬取，我们需要在每次爬取页面后，提取该页面的最后一个pin ID，并将其作为下一个页面的max参数，以此循环获取所有数据。
代码改进与详解
以下代码实现了这一策略：
import reimport timeimport jsonimport requestsimport osheaders = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}directory = input('请输入要创建的文件夹名称：n')fileName = 'huabanimg/' + directory + '/'if not os.path.exists(fileName): os.makedirs(fileName)board_id = int(input('请输入需要抓取的花瓣board ID：n'))url = f'https://api.huaban.com/boards/{board_id}/pins?limit=20'max_id = Nonewhile True: response = requests.get(url, headers=headers) text = response.text # 使用正则表达式提取pin key，更稳健 pin_keys = re.findall(r'"key":"([^"]+)"', text) if not pin_keys: # 检查是否获取到数据 print("未获取到图片数据，可能已到达最后一页或出现错误。") break last_pin_id = pin_keys[-1] for i, key in enumerate(pin_keys): img_url = f'https://hbimg.huabanimg.com/{key}_fw658' img_name = key[:10] print(f'正在下载第 {i+1} 张图片...') try: img_data = requests.get(img_url, headers=headers, stream=True) img_data.raise_for_status() # 检查HTTP状态码，抛出异常处理错误 with open(fileName + img_name + '.jpeg', 'wb') as f: for chunk in img_data.iter_content(chunk_size=8192): f.write(chunk) except requests.exceptions.RequestException as e: print(f"下载图片 {img_url} 失败: {e}") continue # 跳过失败的图片 time.sleep(2) # 添加延时，避免请求过快 max_id = last_pin_id url = f'https://api.huaban.com/boards/{board_id}/pins?max={max_id}&limit=20' if max_id == '0' or len(pin_keys) < 20: # 更可靠的结束条件 breakprint("图片下载完成！")
代码改进说明:
更健壮的正则表达式: 使用更精确的正则表达式 r'"key":"([^"]+)"' 提取 key 值，避免因HTML结构变化导致的错误。错误处理: 添加 try...except 块处理 requests 异常，防止因网络问题或其他原因导致程序崩溃。流式下载: 使用 img_data.iter_content() 进行流式下载，减少内存占用，尤其在下载大图片时非常有效。更可靠的结束条件: 判断 len(pin_keys) 确保当页面图片数量少于 清晰的提示信息: 添加更清晰的提示信息，方便用户理解程序运行状态。变量命名: 使用更具描述性的变量名，例如 limit 值时也停止爬取，避免无限循环。board_id 代替 num。
此改进后的代码更加稳健、高效，并具有更好的错误处理能力，能够更可靠地完成花瓣网图片的爬取任务。 请记住遵守花瓣网的 robots.txt 规则，并避免过度频繁的请求。
以上就是如何高效爬取花瓣网并获取所有图片？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1356532.html
微信扫一扫 
支付宝扫一扫 
