Python多线程日志记录方案 Python多线程安全输出日志方法

Python logging模块默认线程安全,多线程下使用标准Handler可避免日志混乱;应避免自定义非线程安全写入,推荐配置日志格式包含线程信息,并可通过QueueHandler+QueueListener实现高性能异步日志。

python多线程日志记录方案 python多线程安全输出日志方法

在Python多线程环境中,日志记录如果处理不当,容易出现输出混乱、内容错乱甚至文件损坏的问题。这是因为多个线程可能同时调用同一个日志处理器(Handler),导致写入操作冲突。要实现安全、清晰的多线程日志记录,关键在于使用线程安全的日志机制。

1. 使用logging模块自带的线程安全机制

Python的 logging 模块本身是线程安全的。这意味着多个线程可以同时调用 logging.getLogger().info() 等方法,而不会造成内部状态破坏。

其底层通过一个全局锁(_acquireLock)确保日志处理器的写入操作是串行化的。因此,只要使用标准配置,大多数情况下无需额外加锁。

示例代码:

立即学习“Python免费学习笔记(深入)”;

import loggingimport threadingimport time

配置日志格式和输出方式

logging.basicConfig(level=logging.INFO,format='%(asctime)s [%(threadName)s] %(levelname)s: %(message)s',handlers=[logging.FileHandler("app.log", encoding='utf-8'),logging.StreamHandler()])

def worker():for i in range(3):logging.info(f"正在处理任务 {i}")time.sleep(0.1)

创建多个线程

threads = []for i in range(3):t = threading.Thread(target=worker, name=f"线程-{i}")threads.append(t)t.start()

for t in threads:t.join()

该方案中,尽管多个线程并发写日志,但输出顺序完整、格式清晰,说明logging模块已自动处理了线程安全问题。

2. 避免自定义非线程安全Handler

虽然logging本身安全,但如果自行实现文件写入逻辑(如直接操作文件对象),就可能破坏安全性。

以下做法是错误的

# 错误示例:手动打开文件并写入log_file = open("bad.log", "w")def bad_log(msg):    log_file.write(msg + "n")  # 多线程同时写会冲突

正确做法是始终使用 logging.FileHandlerRotatingFileHandler,它们内部已加锁保护。

喵记多 喵记多

喵记多 – 自带助理的 AI 笔记

喵记多 27 查看详情 喵记多

3. 使用队列实现异步日志(高级方案)

若对性能要求较高,可结合 QueueHandlerQueueListener 将日志写入操作转移到单个后台线程,进一步降低主线程开销。

优势:

避免主线程因磁盘I/O阻塞集中管理日志写入,更高效天然线程安全

示例:

import loggingfrom logging.handlers import QueueHandler, QueueListenerimport queue

创建队列

log_queue = queue.Queue()

配置主日志器

logger = logging.getLogger()logger.setLevel(logging.INFO)

添加队列处理器

queue_handler = QueueHandler(log_queue)logger.addHandler(queue_handler)

配置实际写入的处理器

file_handler = logging.FileHandler("async.log", encoding='utf-8')stream_handler = logging.StreamHandler()

启动监听器(单独线程)

listener = QueueListener(log_queue, file_handler, stream_handler)listener.start()

使用日志

def task(name):for i in range(2):logging.info(f"{name} 执行任务 {i}")

import threadingt1 = threading.Thread(target=task, args=("任务A",))t2 = threading.Thread(target=task, args=("任务B",))t1.start(); t2.start()t1.join(); t2.join()

listener.stop() # 清理资源

4. 注意format中线程标识的使用

为方便排查问题,建议在日志格式中加入线程名或线程ID:

format='%(asctime)s [%(threadName)s/%(thread)d] %(levelname)s: %(message)s'

这样每条日志都能明确归属到具体线程,便于分析并发行为。

基本上就这些。Python logging模块默认支持多线程安全输出,合理配置即可。如需更高性能,推荐使用队列异步方案。不复杂但容易忽略的是避免绕过logging直接操作文件。

以上就是Python多线程日志记录方案 Python多线程安全输出日志方法的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/566520.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
烟雨江湖柳如意学什么武学-柳如意内功武学搭配介绍
上一篇 2025年11月10日 03:36:54
如何用iPhone 17快速充电 iPhone 17最佳充电方案讲解
下一篇 2025年11月10日 03:36:59

相关推荐

  • QQ音乐自动续费怎么停止_QQ音乐停止自动续费的详细步骤

    首先需手动取消自动续费,1.在QQ音乐App“我的”-“会员中心”-“个人中心”-“管理自动续费”中关闭;2.通过微信“服务”-“钱包”-“支付设置”-“自动续费”关闭QQ音乐会员;3.iOS用户需在“设置”-Apple ID-“订阅”中取消QQ音乐订阅,确认后当前周期结束即停止扣费。 如果您在使用…

    2026年9月22日
    200
  • MySQL字段映射表自动生成方案_Sublime一键导出JSON与结构化模板

    MySQL字段映射表自动生成方案_Sublime一键导出JSON与结构化模板MySQL字段映射表自动生成方案_Sublime一键导出JSON与结构化模板MySQL字段映射表自动生成方案_Sublime一键导出JSON与结构化模板MySQL字段映射表自动生成方案_Sublime一键导出JSON与结构化模板

    如何利用sublime text插件提升mysql字段映射表生成效率?1. 插件通过自动化提取sql语句中的表结构信息,减少手动操作;2. 支持一键导出为json或结构化模板(如markdown、html表格),提升开发效率;3. 利用sublime text的python插件机制,实现快速集成与执…

    2026年9月22日 用户投稿
    000
  • VSCode搭建Python开发环境(附详细截图,小白也能学会)

    答案:搭建VSCode Python环境需安装Python并添加至PATH,安装VSCode及Python扩展,创建项目文件并选择正确解释器,通过虚拟环境隔离依赖,利用Pylance、Black、Flake8等工具提升开发效率,常见问题多为路径或环境配置错误,可通过检查解释器选择和安装路径解决。 在…

    2026年9月22日
    100
  • PHP each() 函数的替代方案:自定义实现与常见错误修正

    本文探讨了PHP中已废弃的each()函数的替代方案。针对常见的自定义实现,如myEach(),文章详细指出了其在返回数组结构中常犯的错误,并提供了正确的代码示例,以确保替代函数能够模拟each()的预期行为,帮助开发者编写更健壮、兼容未来的PHP代码。 理解 each() 函数及其废弃背景 在PH…

    2026年9月22日
    000
  • 魅族首款潜望长焦旗舰!魅族22配置曝光:搭载骁龙8s Gen4

    9月3日,知名数码博主“数码闲聊站”透露了魅族22的多项关键配置信息。据悉,该机将配备一块lipo材质的四等边直屏,屏幕黑边窄至1.2mm,刷新了当前行业窄边框的新纪录。 核心性能方面,魅族22将搭载高通骁龙8s Gen4处理器,基于台积电4nm先进制程工艺打造,采用X4+A720全大核架构设计。 …

    2026年9月22日
    000
  • MAC怎么在登录界面显示自定义信息_macOS锁屏界面显示个性化文本

    1、通过系统设置可直接在登录界面显示自定义文本,进入“隐私与安全性”→“登录窗口”编辑消息;2、使用终端命令sudo defaults write写入LoginWindowText实现相同效果;3、企业可通过.mobileconfig描述文件集中部署登录信息。 如果您希望在Mac的登录界面显示个性化…

    2026年9月22日
    000
  • 那些为小米信仰充值的人 都怎么样了?

    那些为小米信仰充值的人 都怎么样了?那些为小米信仰充值的人 都怎么样了?那些为小米信仰充值的人 都怎么样了?那些为小米信仰充值的人 都怎么样了?

    2024年末,小米的股价一路上扬,逼近40港元。而在此前的很长一段时间,外界因对小米造车的不信任,唱空小米,股价一度跌至10港元以下。 为了庆祝小米重回股价峰值,在一个寒气逼人的冬日,一群小米股民相聚在北京小米互联网园区的门口。 他们像个孩子一样,打出一条“心里有火,眼里有光”的横幅。一位教授喝到尽…

    2026年9月22日 用户投稿
    100
  • 如何用Sublime导出MySQL数据表结构_生成Markdown或HTML格式文档

    要使用 sublime text 导出 mysql 数据表结构并生成 markdown 或 html 文档,需通过以下步骤操作:1. 使用 show create table 命令或 mysqldump 工具获取建表语句;2. 在 sublime 中整理字段信息,按字段名、类型、是否为空、键、默认值…

    2026年9月22日
    000
  • Java Stream API:从嵌套集合中提取唯一值的高效实践

    本文深入探讨如何利用Java Stream API,从包含嵌套集合的对象列表中高效地提取唯一的字符串值。我们将重点介绍flatMap()和mapMulti()这两种强大的流操作,演示它们如何替代传统的嵌套循环,从而实现代码的简洁性、可读性以及潜在的性能优化。 在java应用开发中,我们经常会遇到处理…

    2026年9月22日
    100
  • 苹果手机如何快速整理桌面图标

    掌握技巧可轻松整理苹果手机桌面:1. 用文件夹归类应用,长按图标拖动合并并自定义命名;2. 批量移动图标时,抖动模式下双指滑屏切换页面;3. 利用App资源库自动分类,隐藏不常用应用;4. 恢复默认布局可通过设置中的“还原主屏幕布局”操作,保持桌面整洁有序。 苹果手机整理桌面图标其实很简单,只要掌握…

    2026年9月22日
    000
  • 使用Java Selenium验证表格数据排序:金额列的升序与降序检查

    本教程详细介绍了如何利用Java Selenium WebDriver验证网页表格中金额列的排序功能。文章涵盖了从环境配置、登录应用到数据提取、清洗、数值转换,再到实现表格数据(特别是金额数据)的升序或降序验证的完整流程。通过示例代码,演示了如何获取页面元素、处理文本数据,并使用JUnit进行断言,…

    2026年9月22日
    100
  • Could NOT find Doxygen (missing: DOXYGEN_EXECUTABLE)

    could not find doxygen (missing: doxygen_executable)  使用cmake .. 有时候会遇到如下问题: 代码语言:javascript代码运行次数:0运行复制 $ cmake ..– The CXX compiler identification …

    2026年9月22日
    100
  • 解决Spring Boot Actuator升级后Tomcat指标缺失问题

    本文旨在解决Spring Boot Actuator升级至2.7.0及更高版本后,部分Tomcat指标(如tomcat.cache.access、tomcat.global.error)在MetricsEndpoint中缺失的问题。通过在application.properties中配置server…

    2026年9月22日
    600
  • MAC的Safari浏览器怎么安装插件_MAC Safari浏览器安装插件教程

    首先通过App Store安装Safari扩展,打开Safari浏览器选择“Safari 浏览器扩展”进入下载页面,找到所需插件点击“获取”安装;其次可手动安装.safariextz文件,双击下载文件按提示完成安装并配置权限;最后在Safari设置中启用插件,进入“扩展”标签页勾选对应插件,调整功能…

    2026年9月22日
    100
  • 苹果手机忘记密码

    确认你的Apple ID与密码情况 首先,确认你是否真的忘记了密码。有时候可能是输错了Apple ID或密码,建议仔细核对。回想一下是否曾修改过密码,并检查与该账户绑定的邮箱、安全提示问题或双重认证设备,这些都有助于找回账户访问权限。 如何重设密码 若确认密码遗失,最有效的解决方式是进行密码重置。请…

    2026年9月22日
    100
  • Laravel 8 登录后重定向到仪表盘:完整教程

    本教程详细阐述了在 Laravel 8 中实现用户登录后重定向到仪表盘的多种方法。我们将探讨 Laravel 默认的重定向机制、如何正确配置仪表盘路由及其中间件,并提供通过自定义 LoginController 实现精确重定向的示例代码。通过本文,您将全面掌握 Laravel 认证后的重定向流程,并…

    2026年9月22日
    500
  • 决战江城之巅 掠夺者PL Girls引爆打瓦热潮!

    决战江城之巅 掠夺者PL Girls引爆打瓦热潮!决战江城之巅 掠夺者PL Girls引爆打瓦热潮!决战江城之巅 掠夺者PL Girls引爆打瓦热潮!决战江城之巅 掠夺者PL Girls引爆打瓦热潮!

    10月12日,plgirls掠夺者校园电竞女神联赛【线下城市晋级赛-武汉站】在武汉世界城光谷学生街圆满落幕。经过紧张激烈的对抗,「dcg」与「jmm」两支战队从四强中脱颖而出,成功挺进10月26日的全国总决赛。与此同时,广州赛区的线上海选战果也正式揭晓:「海底大纵队」「fgs」「paperrex」「…

    2026年9月22日 用户投稿
    500
  • 为什么需要定期更新主板的BIOS,更新过程中断电会导致什么严重后果?

    定期更新BIOS可提升系统稳定性、硬件兼容性、安全性和性能。支持新CPU和内存需更新BIOS;修复启动异常、USB识别等问题;修补Spectre等安全漏洞;优化电源管理与超频能力。但更新中断可能导致BIOS损坏、主板无法开机,需专业修复,因此操作时须确保稳定供电并遵循厂商指引。 定期更新主板的BIO…

    2026年9月22日
    100
  • 淘宝签到红包如何兑换

    淘宝签到红包是平台为用户准备的一项实用福利,帮助你在日常购物中获得更多实惠。那么,如何顺利兑换这些签到红包呢?接下来为你一步步解析。 一、参与签到领取红包 打开淘宝App后,通常在首页就能看到醒目的“签到”入口,点击即可进入签到页面。每日坚持打卡,系统便会发放对应的签到红包。红包金额会根据连续签到的…

    2026年9月22日
    000
  • TensorFlow的AI混合工具怎么操作?构建机器学习模型的详细步骤

    TensorFlow的混合编程核心在于结合Keras的高级抽象与TensorFlow底层API的灵活性,实现高效模型开发。首先使用tf.data构建高性能数据管道,通过map、batch、shuffle和prefetch等操作优化数据预处理;接着利用Keras快速搭建模型结构,同时通过继承tf.ke…

    2026年9月21日
    400

发表回复

登录后才能评论
关注微信