使用requests配合urllib3的重试机制是提高爬虫稳定性的常见方法，通过配置HTTPAdapter实现自动重试。示例中定义create_session_with_retry函数，利用Retry类设置总重试次数、触发重试的状态码列表、允许重试的请求方法及退避因子。tenacity库提供更灵活的重试控制，支持任意函数的指数退避重试，适用于复杂场景。对于简单需求，可手动结合try-except与循环实现重试逻辑，便于调试。生产环境推荐使用requests+urllib3组合，合理设置重试参数以避免对服务器造成压力。
爬虫在请求网页时，常会遇到网络波动、目标服务器响应慢或临时封禁等问题。为提高稳定性，加入异常重试机制非常必要。Python中可通过多种方式实现请求失败后的自动重试。
使用requests配合urllib3的重试机制
requests库底层依赖urllib3，可以通过配置HTTPAdapter来启用连接重试功能。这是最常见且稳定的方法。
以下是一个设置请求重试的示例：
import requestsfrom requests.adapters import HTTPAdapterfrom urllib3.util.retry import Retrydef create_session_with_retry(retries=3, backoff_factor=0.5):session = requests.Session()retry_strategy = Retry(total=retries, # 总重试次数（包含首次请求）status_forcelist=[429, 500, 502, 503, 504], # 遇到这些状态码时重试method_whitelist=["GET", "POST"], # 允许重试的请求方法backoff_factor=backoff_factor # 重试间隔时间增量)adapter = HTTPAdapter(max_retries=retry_strategy)session.mount("http://", adapter)session.mount("https://", adapter)return session
使用示例
session = create_session_with_retry(retries=3)try:response = session.get("https://www.php.cn/link/874b2add857bd9bcc60635a51eb2b697")print(response.status_code)except requests.exceptions.RequestException as e:print(f"请求失败: {e}")
说明：
立即学习“Python免费学习笔记（深入）”；
total：控制最大尝试次数，包括第一次请求。status_forcelist：指定哪些HTTP状态码触发重试。backoff_factor：用于计算重试延迟，公式为：{backoff factor} * (2 ** (retry count – 1))。
使用tenacity库进行通用重试控制
tenacity是一个更灵活的Python重试库，支持任意函数的重试，不限于网络请求。
from tenacity import retry, stop_after_attempt, wait_exponentialimport requests@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, max=10))def fetch_url(url):print(f"正在请求: {url}")response = requests.get(url, timeout=5)response.raise_for_status()return response
调用
try:res = fetch_url("https://www.php.cn/link/874b2add857bd9bcc60635a51eb2b697")print(res.status_code)except requests.exceptions.RequestException as e:print(f"最终失败: {e}")
特点：
stop_after_attempt(n)：最多尝试n次。wait_exponential：指数退避策略，避免频繁请求。可结合多种条件，如异常类型过滤（retry_if_exception_type）。
手动捕获异常并循环重试
对于简单场景，可以直接使用try-except加循环实现重试逻辑。
import requestsimport timedef get_with_retry(url, max_retries=3, delay=1):for i in range(max_retries):try:response = requests.get(url, timeout=5)if response.status_code == 200:return responseelse:print(f"状态码异常: {response.status_code}，第{i+1}次尝试")except requests.exceptions.RequestException as e:print(f"请求出错: {e}，第{i+1}次尝试")
if i < max_retries - 1: time.sleep(delay * (2 ** i)) # 指数等待return None
使用
resp = get_with_retry("https://www.php.cn/link/b05edd78c294dcf6d960190bf5bde635")if resp:print("请求成功")else:print("最终失败")
这种方法便于调试和自定义逻辑，适合小型项目或学习用途。
基本上就这些。根据项目复杂度选择合适的重试方案，推荐生产环境使用requests+urllib3组合，兼顾性能与可控性。重试机制虽好，也要注意设置合理次数和间隔，避免对目标服务器造成压力。
以上就是Python爬虫怎样使用异常重试机制_Python爬虫请求失败自动重试的设置方法的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1379373.html
微信扫一扫 
支付宝扫一扫 
