在使用python的`requests`库进行http请求时，默认情况下它会自动跟随重定向，导致无法直接获取到3xx系列的状态码，而是返回最终页面的200状态码。本教程将详细解释这一机制，并提供通过设置`allow_redirects=false`参数来禁用自动重定向，从而准确捕获并处理http重定向响应的实用方法和代码示例。
理解requests库的默认重定向行为
requests库是Python中一个非常流行且功能强大的HTTP客户端库。它的设计理念是让HTTP请求变得简单直观。其中一个默认行为就是自动处理HTTP重定向（如301 Moved Permanently, 302 Found等）。当服务器返回一个3xx状态码时，requests库会自动解析响应头中的Location字段，并向新的URL发起另一个请求，直到遇到非重定向的状态码（通常是2xx成功响应）。
这种自动跟随重定向的机制在大多数情况下都非常方便，它允许开发者无需手动处理重定向链就能获取到最终的资源。然而，在某些特定场景下，例如需要分析重定向链、检测链接是否是重定向链接，或者统计不同类型的HTTP状态码时，这种默认行为就会导致问题——你无法直接获取到中间的3xx状态码，因为requests最终返回的是重定向链末端的响应状态。
为什么无法直接获取3xx状态码？
正如前文所述，当requests.get()方法发起请求并遇到服务器返回的301、302等重定向状态码时，它不会立即停止并返回这个3xx状态码。相反，它会像浏览器一样，根据响应头中的Location字段自动发起一个新的请求到目标URL。这个过程会持续进行，直到遇到一个非3xx的状态码（例如200 OK，404 Not Found，500 Internal Server Error等），然后requests库才会返回这个最终请求的响应对象。
因此，如果你期望通过response.status_code获取到302状态码，但实际上却得到了200，那么很可能就是requests库已经默默地完成了重定向，并返回了最终页面的状态。
立即学习“Python免费学习笔记（深入）”；
解决方案：禁用自动重定向
要解决这个问题，并能够捕获到原始的3xx重定向状态码，我们需要告诉requests库不要自动跟随重定向。这可以通过在requests.get()（或post()、head()等）方法中设置allow_redirects参数为False来实现。
Noiz Agent
AI声音创作Agent平台
323 查看详情
当allow_redirects=False时，requests库在接收到任何3xx重定向响应时，都会立即停止并返回该重定向响应本身，而不是继续请求重定向的目标URL。这样，你就可以直接通过response.status_code获取到301、302等重定向状态码。
示例代码：如何捕获重定向状态
以下是一个修改后的Python脚本，它读取CSV文件中的URL列表，并检查每个URL的状态，包括准确捕获重定向状态码。
import csvimport requestsfrom requests.exceptions import RequestException # 导入更具体的异常类型def check_url_status(url): """ 检查URL状态并返回描述性状态字符串，支持捕获重定向。 :param url: 待检查的URL字符串。 :return: 描述URL状态的字符串。 """ try: # 禁用自动重定向，以便捕获3xx状态码 # timeout参数用于设置请求超时时间，防止长时间等待 response = requests.get(url, timeout=5, allow_redirects=False) status_code = response.status_code if 200 <= status_code < 300: return f"活动 ({status_code})" elif 300 <= status_code < 400: # 捕获到重定向状态码，可以进一步细分 if status_code == 301: return f"永久重定向 ({status_code})" elif status_code == 302: return f"临时重定向 ({status_code})" elif status_code == 303: return f"查看其他 ({status_code})" elif status_code == 307: return f"临时重定向 (HTTP/1.1) ({status_code})" elif status_code == 308: return f"永久重定向 (HTTP/1.1) ({status_code})" else: return f"其他重定向 ({status_code})" elif 400 <= status_code < 500: return f"客户端错误 ({status_code})" elif 500 <= status_code 状态: {status}") results.append([url, status]) # 将结果写入新的CSV文件 print(f"\n正在将结果写入 {csv_filename_output}...") with open(csv_filename_output, "w", newline="", encoding="utf-8") as outfile: writer = csv.writer(outfile) writer.writerow(["URL", "状态"]) writer.writerows(results) print(f"\nURL状态已成功写入 {csv_filename_output}！")
在上述代码中，关键的改动在于requests.get(url, timeout=5, allow_redirects=False)这一行。通过设置allow_redirects=False，check_url_status函数现在能够准确捕获并报告重定向状态码（如301、302），而不是仅仅返回最终页面的200状态码。
注意事项与总结
手动处理重定向目标： 当allow_redirects=False时，如果响应是3xx状态码，你可以通过response.headers.get(‘Location’)来获取重定向的目标URL。如果你需要追踪完整的重定向链，就需要手动编写逻辑来递归地请求Location头指定的URL。错误处理： 在进行网络请求时，务必考虑各种异常情况，例如网络连接中断、DNS解析失败、请求超时等。使用try-except块捕获requests.exceptions.RequestException及其子类可以有效地处理这些问题。性能考量： 禁用自动重定向后，如果你的应用程序需要获取最终页面内容，并且重定向链很长，那么你需要进行多次请求，这可能会增加代码的复杂性和执行时间。在大多数情况下，如果只是获取最终内容，默认的allow_redirects=True是更高效的选择。适用场景： 禁用自动重定向主要适用于以下场景：需要精确记录或分析HTTP重定向过程。检测链接是否为重定向链接。测试服务器的重定向配置是否正确。防止无限重定向循环导致程序崩溃。
通过理解requests库的重定向机制并灵活运用allow_redirects参数，开发者可以更好地控制HTTP请求行为，满足更复杂的网络数据抓取和分析需求。
以上就是Python requests库获取HTTP重定向状态码的技巧与实践的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/915992.html
微信扫一扫 
支付宝扫一扫 
