要隐藏python爬虫中requests库的请求日志，核心是将urllib3日志器级别设为warning或更高；2. 通过logging.getlogger(‘urllib3’).setlevel(logging.warning)可屏蔽debug和info级别的冗余日志；3. 同时应配置根日志器如logging.basicconfig(level=logging.info)以确保自定义日志正常输出；4. 在生产环境中需构建分级分类的日志体系，包括业务、错误、调试和性能日志，并输出到文件或集中式日志系统；5. 推荐使用结构化日志格式并结合异常处理机制，提升爬虫的可观测性与可维护性。
在Python爬虫开发中，要隐藏请求日志，核心在于对标准库
logging
模块的精细配置。我们通常会针对
requests
库（及其底层依赖
urllib3
）所使用的日志器，将其日志级别调高，从而过滤掉那些默认输出到控制台的HTTP请求或连接信息。这能让你的终端输出变得清爽，只显示你真正关心的信息。
解决方案
要让
requests
库在执行HTTP请求时不再打印详细的请求日志，最直接且推荐的做法是调整其底层依赖
urllib3
的日志级别。
requests
库本身并不会直接打印请求细节，而是依赖
urllib3
来处理连接和重试等，这些过程可能会产生大量日志。
import loggingimport requests# 屏蔽 requests 库的详细日志# requests 内部使用了 urllib3，所以通常需要配置 urllib3 的日志logging.getLogger('urllib3').setLevel(logging.WARNING)# 如果还想更彻底，可以设置为 ERROR 或 CRITICAL# logging.getLogger('urllib3').setLevel(logging.ERROR)# 某些情况下，requests 自身也可能有一些日志，虽然不常见，也可以一并处理logging.getLogger('requests').setLevel(logging.WARNING)# 确保你的根日志器（或者你自己的日志器）设置得当，# 否则即使子日志器级别很高，如果父日志器级别过低，也可能导致日志输出# 这是一个常见的误区，新手容易忽略# 假设你想看到自己代码的 INFO 级别日志，但隐藏 urllib3 的logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')# 现在执行一个请求，你会发现请求相关的详细日志消失了try: response = requests.get('http://httpbin.org/get', timeout=5) response.raise_for_status() # 检查HTTP状态码 print(f"请求成功，状态码：{response.status_code}") # print(response.text) # 可以打印响应内容except requests.exceptions.RequestException as e: logging.error(f"请求失败: {e}")# 你自己的日志仍然可以正常工作logging.info("这是一个我们自己的信息日志，仍然会显示。")
为什么我们要费心去“隐藏”那些爬虫日志？
说实话，刚开始写爬虫的时候，我巴不得把所有请求细节都打印出来，那样感觉对程序运行了如指掌。但当爬虫规模稍微大一点，或者需要处理大量并发请求时，你会发现那些密密麻麻的HTTP请求日志简直是灾难。屏幕上滚动的信息量太大，根本无法有效捕捉到真正有用的信息，比如程序卡在哪了，哪个请求失败了，或者数据解析出了什么问题。
立即学习“Python免费学习笔记（深入）”；
想象一下，你调试一个几百个并发的爬虫，每个请求都打出“Starting new HTTPS connection…”或者“GET /some/path HTTP/1.1”这样的日志，那输出简直是“信息噪音”，瞬间就把你淹没了。在这种情况下，隐藏这些冗余的请求日志，就显得尤为重要。它能让你的控制台输出聚焦于业务逻辑、错误报告和关键状态更新，大幅提升调试效率和用户体验。在生产环境中，我们更是希望日志能被结构化地记录到文件或日志服务中，而不是随意地输出到标准输出，那样既不利于监控，也容易暴露不必要的细节。所以，这不仅仅是“隐藏”，更是“精简”和“聚焦”的过程。
具体操作：如何让Requests和Urllib3“安静”下来？
要让
requests
和它背后的
urllib3
安静下来，核心是利用Python标准库
logging
的层级结构和日志级别。
requests
库本身并没有一个独立的日志器来打印请求详情，它实际上是依赖于
urllib3
来处理底层的HTTP连接。因此，我们需要找到
urllib3
的日志器并调整其级别。
通常，
urllib3
的日志器名为
'urllib3'
。我们可以通过
logging.getLogger('urllib3')
来获取它。获取到日志器对象后，就可以使用
setLevel()
方法来设置其最低输出级别。常见的日志级别从低到高依次是：
DEBUG
,
INFO
,
WARNING
,
ERROR
,
CRITICAL
。
logging.WARNING
: 这是最常用的设置。它会屏蔽掉
DEBUG
和
INFO
级别的日志（包括请求开始、连接建立等），但仍然会显示
WARNING
、
ERROR
和
CRITICAL
级别的日志。这意味着如果
urllib3
在处理请求时遇到警告或错误（例如SSL证书问题、连接超时等），你仍然可以看到这些重要的提示。
logging.ERROR
: 如果你希望更彻底地屏蔽，只关心致命错误，可以将级别设置为
ERROR
。这会隐藏所有
WARNING
以下的日志。
以下是一个更具体的代码示例，展示了如何操作：
import loggingimport requests# 1. 获取 urllib3 的日志器urllib3_logger = logging.getLogger('urllib3')# 2. 将其日志级别设置为 WARNING，忽略 INFO 和 DEBUG 级别的请求详情urllib3_logger.setLevel(logging.WARNING)# 3. 如果你还使用了 requests 的适配器（比如 HTTPAdapter），# 它们也可能产生日志，虽然不常见，但可以一并设置requests_logger = logging.getLogger('requests')requests_logger.setLevel(logging.WARNING)# 4. 配置你自己的根日志器（或者你自己的特定日志器）# 这确保了你自己的 print 或 logging.info() 等操作仍然可以正常输出# 同时不会被 urllib3 的日志淹没# 这里设置 INFO 级别，意味着你代码中的 info、warning、error 都会显示logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')print("尝试发起一个HTTP请求...")try: # 尝试访问一个网站，这里以百度为例 response = requests.get('https://www.baidu.com', timeout=10) response.raise_for_status() # 如果状态码不是200，则抛出异常 logging.info(f"成功访问百度，状态码：{response.status_code}")except requests.exceptions.Timeout: logging.error("请求超时！")except requests.exceptions.RequestException as e: logging.error(f"请求发生错误: {e}")logging.info("爬虫任务的其他部分正在进行...")# 你会发现，在执行 requests.get() 时，控制台不会再出现 urllib3 的那些冗余日志了。
通过这种方式，我们不仅让
requests
和
urllib3
“安静”下来，还保留了在发生实际问题（如连接错误、超时）时，它们仍然能通过
WARNING
或
ERROR
级别输出关键信息的能力，这对于问题诊断至关重要。
不止是隐藏：构建一个更健壮的爬虫日志体系
仅仅“隐藏”日志，在我看来，只是日志管理的第一步。真正的挑战和价值在于，如何在隐藏了那些噪音之后，构建一个既能提供足够信息量，又不会过度干扰的日志体系。这不仅仅是技术问题，更是一种工程哲学。
当你的爬虫从本地调试走向生产环境，或者规模变得庞大时，你需要的是一个能够清晰反映程序运行状态、快速定位问题的日志系统，而不是简单的控制台输出。
分级与分类：
业务日志： 记录爬取了哪些URL、解析了多少数据、存储成功了多少条。这些是爬虫的核心产出，通常是
INFO
级别。错误日志： 任何请求失败、解析异常、存储失败等，都应该记录为
ERROR
或
CRITICAL
。这部分日志需要被重点关注，甚至触发告警。调试日志： 仅在开发或特定问题排查时开启，记录最详细的请求、响应头、甚至部分响应体。生产环境通常关闭。性能日志： 记录每个请求的耗时、处理速度等，用于性能分析和瓶颈定位。
日志输出目标：
文件日志： 将所有日志写入文件是基本要求。你可以按日期、按大小分割日志文件（日志轮转），防止单个文件过大。Python的
logging.handlers.RotatingFileHandler
和
TimedRotatingFileHandler
非常实用。控制台（仅限关键信息）： 在生产环境，控制台通常只输出
WARNING
及以上级别的日志，或者只输出一些核心的“心跳”信息，表明程序还在运行。远程日志服务： 对于大型爬虫集群，将日志发送到Elasticsearch、Splunk、Loki等集中式日志系统，配合Kibana、Grafana等工具进行可视化、搜索和分析，这是现代日志管理的标配。也可以考虑Sentry、Loguru等，它们提供了更便捷的错误追踪和日志收集功能。
结构化日志：
传统的日志格式（如
2023-10-27 10:30:00 - INFO - Message
）虽然可读，但机器解析起来比较困难。推荐使用JSON格式的结构化日志。每个日志条目都是一个JSON对象，包含时间戳、日志级别、消息、模块名，以及任何你希望添加的自定义字段（如
url
、
status_code
、
error_type
等）。这样，在日志系统中进行过滤、聚合和分析就变得异常高效。你可以使用
python-json-logger
或者直接在
logging.Formatter
中构建JSON。
异常处理与日志结合：
确保你的爬虫代码中，所有可能导致程序崩溃或数据丢失的异常都被捕获，并以适当的日志级别记录下来。使用
logging.exception()
或
logging.error(exc_info=True)
可以自动记录完整的堆栈信息，这对于问题排查至关重要。
构建一个健壮的日志体系，就像给你的爬虫装上了眼睛和耳朵。它不再是一个“黑箱”，而是一个能够清晰反馈自身状态、并在遇到问题时“大声呼救”的智能系统。这远比单纯地“隐藏”日志要有价值得多。
以上就是Python屏蔽输出信息怎样在使用爬虫时隐藏请求日志 Python屏蔽输出信息的爬虫日志管控教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1366913.html
微信扫一扫 
支付宝扫一扫 
