python中如何实现多线程编程_Python threading模块多线程编程入门

Python多线程通过threading模块实现,适用于I/O密集型任务,因GIL限制无法在CPU密集型任务中并行执行;此时应使用多进程。

python中如何实现多线程编程_python threading模块多线程编程入门

Python中实现多线程编程,主要依赖于其标准库中的

threading

模块。这个模块提供了一种高级、面向对象的API来创建和管理线程,让你可以将程序中的某些任务并发执行,尤其在处理I/O密集型操作时,能够显著提高程序的响应速度和效率。然而,对于CPU密集型任务,由于Python全局解释器锁(GIL)的存在,多线程并不能带来真正的并行计算优势,此时通常会考虑使用多进程。

解决方案

Python的

threading

模块是实现多线程的核心。最直接的方式是定义一个函数作为线程的执行体,然后创建

threading.Thread

对象,将这个函数作为

target

参数传入,最后调用

start()

方法启动线程。

一个基本的例子是这样的:

立即学习“Python免费学习笔记(深入)”;

import threadingimport timedef task(name, duration):    """一个模拟耗时操作的函数"""    print(f"线程 {name}: 正在启动...")    time.sleep(duration) # 模拟I/O操作或计算    print(f"线程 {name}: 完成。")# 创建并启动线程thread1 = threading.Thread(target=task, args=("Worker 1", 3))thread2 = threading.Thread(target=task, args=("Worker 2", 2))thread1.start() # 启动线程1thread2.start() # 启动线程2# 等待所有线程完成thread1.join()thread2.join()print("所有线程都已执行完毕。")

在这个例子中,

task

函数是线程要执行的工作。我们创建了两个

Thread

实例,分别传入不同的参数。

start()

方法会启动线程,使其在后台运行。而

join()

方法则非常重要,它会阻塞主线程,直到对应的子线程执行完毕。如果没有

join()

,主线程可能在子线程完成前就退出了。

除了直接传入函数,更面向对象的方法是继承

threading.Thread

类,并重写其

run()

方法。这在需要线程维护自身状态或有更复杂生命周期管理时非常有用。

import threadingimport timeclass MyThread(threading.Thread):    def __init__(self, name, duration):        super().__init__()        self.name = name        self.duration = duration    def run(self):        print(f"线程 {self.name}: 正在启动...")        time.sleep(self.duration)        print(f"线程 {self.name}: 完成。")thread3 = MyThread("Custom Thread 1", 4)thread4 = MyThread("Custom Thread 2", 1)thread3.start()thread4.start()thread3.join()thread4.join()print("自定义线程也已执行完毕。")

这种方式提供了更好的封装性,让线程的逻辑和数据可以更紧密地结合在一起。

Python多线程真的能提高程序性能吗?它与多进程有何不同?

这是一个我经常被问到的问题,也是很多初学者容易混淆的地方。简而言之,Python多线程能否提高性能,取决于你的任务类型。

对于I/O密集型任务(比如网络请求、文件读写、数据库查询),Python多线程确实能有效提高程序的响应速度和效率。这是因为当一个线程在等待I/O操作完成时(比如等待网络响应),Python的全局解释器锁(GIL)会被释放,允许其他线程运行。这样,CPU就可以在等待I/O的同时,处理其他线程的任务,从而提高整体的并发性。你可以想象成:打电话时,你不需要一直拿着听筒等着对方说话,可以把电话放在一边,做点别的事情,听到响声再拿起。

然而,对于CPU密集型任务(比如大量的数值计算、图像处理),Python多线程在标准的CPython解释器下,并不能实现真正的并行计算,也因此无法提高性能。原因就是那个臭名昭著的全局解释器锁(GIL)。GIL确保了在任何给定时刻,只有一个线程能够执行Python字节码。这意味着即使你有多个线程,它们也只能轮流获得GIL并执行代码,无法同时利用多核CPU的优势。在这种情况下,多线程反而可能因为上下文切换的开销,导致性能略有下降。

与多进程(

multiprocessing

模块)的区别

GIL的影响:多线程受GIL限制,无法在CPU密集型任务中实现并行。多进程则不受GIL限制,因为每个进程都有自己独立的Python解释器和GIL,它们可以在不同的CPU核心上真正并行运行。内存共享:线程在同一个进程中,共享相同的内存空间。这使得线程间数据共享变得容易,但也带来了数据竞争和同步的复杂性。进程之间则拥有独立的内存空间,数据共享需要通过特定的IPC(Inter-Process Communication)机制(如队列、管道、共享内存)来完成,这通常更复杂一些,但也更安全,因为避免了直接的内存冲突。创建开销:创建线程的开销通常比创建进程小。进程的创建需要复制父进程的内存空间(或使用写时复制技术),这会消耗更多资源和时间。适用场景:多线程适用于I/O密集型任务;多进程适用于CPU密集型任务。

所以,在选择多线程还是多进程时,首先要分析你的程序瓶颈在哪里。如果瓶颈在等待外部资源(网络、磁盘),那么

threading

很可能是个好选择;如果瓶颈在CPU计算,那么

multiprocessing

会是更合适的方案。

如何避免多线程中的数据竞争问题?锁(Lock)的实际应用

在多线程编程中,当多个线程尝试同时访问和修改同一个共享资源(比如一个全局变量、一个列表或一个文件)时,就可能发生数据竞争(Race Condition)。这会导致数据不一致、结果错误,甚至程序崩溃。这就像多个人同时往一个银行账户里存钱取钱,如果没有排队或协调,账目就容易乱掉。

为了解决这个问题,我们需要引入线程同步机制。Python的

threading

模块提供了多种同步原语,其中最基础和常用的是锁(Lock)

Lock

对象就像一个门卫,它只有一个钥匙。当一个线程想要访问共享资源时,它必须先尝试“获取”这把钥匙(即调用

acquire()

方法)。如果钥匙已经被其他线程拿走了,当前线程就会被阻塞,直到钥匙被释放。当线程完成对共享资源的访问后,它必须“释放”这把钥匙(即调用

release()

方法),以便其他等待的线程可以获取它。

来看一个经典的例子:多个线程对同一个计数器进行递增操作。

import threadingimport timecounter = 0# 创建一个锁对象lock = threading.Lock()def increment_counter():    global counter    for _ in range(100000):        # 获取锁        lock.acquire()        try:            counter += 1        finally:            # 确保锁被释放,即使发生异常            lock.release()threads = []for i in range(5):    thread = threading.Thread(target=increment_counter)    threads.append(thread)    thread.start()for thread in threads:    thread.join()print(f"最终计数器值: {counter}")# 理论上应该是 5 * 100000 = 500000

如果没有锁的保护,

counter

的最终值几乎不可能是500000。因为

counter += 1

这个操作实际上包含了读取、递增、写入三个步骤,在这些步骤之间,线程可能会被切换,导致数据丢失

使用

lock.acquire()

lock.release()

是基础用法。更推荐的做法是使用

with

语句,因为它能确保锁在代码块执行完毕后(无论是否发生异常)自动释放,避免了忘记释放锁导致死锁的风险:

# ... (前面的导入和counter定义不变)def increment_counter_with_lock():    global counter    for _ in range(100000):        with lock: # 自动获取和释放锁            counter += 1# ... (创建和启动线程的代码不变)

这种

with lock:

的写法简洁又安全,是Python中处理锁的惯用模式。

除了

Lock

threading

模块还提供了其他更复杂的同步原语,比如:

RLock

(可重入锁):同一个线程可以多次获取同一个

RLock

,但必须释放相同次数。适用于递归调用或同一个线程需要多次加锁的场景。

Semaphore

(信号量):控制对共享资源的访问数量,而不是像

Lock

那样只允许一个。可以限制同时访问某个资源的线程数量。

Event

(事件):用于线程间的通信,一个线程发送事件,其他线程等待事件发生。

Condition

(条件变量):比

Event

更高级的通信机制,允许线程在特定条件满足时等待和被唤醒。

对于大多数数据竞争问题,

Lock

已经足够。选择合适的同步机制,是编写健壮多线程程序的关键。

守护线程(Daemon Thread)在Python多线程中扮演什么角色?

在Python的多线程世界里,线程可以分为两种:用户线程(或非守护线程)守护线程(Daemon Thread)。它们的区别在于,当主程序退出时,它们是否会阻止程序终止。

用户线程:默认情况下,你创建的所有线程都是用户线程。这意味着,即使主线程执行完毕,只要有任何一个用户线程还在运行,Python解释器就不会退出,它会等待所有用户线程完成。守护线程:守护线程则不同。它是一种“后台”线程,当主线程退出时,无论守护线程是否完成,Python解释器都会强制终止整个程序,不会等待守护线程。你可以把守护线程想象成主程序的服务员,主程序一打烊,服务员就得立刻走人,不管手头的工作有没有做完。

如何设置守护线程?

在创建

Thread

对象之后,但在调用

start()

方法之前,将

daemon

属性设置为

True

即可:

import threadingimport timedef daemon_task():    print("守护线程: 正在启动,将运行5秒...")    time.sleep(5)    print("守护线程: 理论上会完成,但可能被提前终止。")def normal_task():    print("普通线程: 正在启动,将运行2秒...")    time.sleep(2)    print("普通线程: 完成。")daemon_t = threading.Thread(target=daemon_task)daemon_t.daemon = True # 设置为守护线程normal_t = threading.Thread(target=normal_task)daemon_t.start()normal_t.start()print("主线程: 启动了子线程,现在等待普通线程完成。")normal_t.join() # 主线程等待普通线程完成print("主线程: 普通线程已完成,现在主线程将退出。")# 此时,如果daemon_t还没完成,它会被强制终止。

运行这段代码,你会发现

daemon_task

中的“理论上会完成”那句话可能不会被打印出来,因为它在主线程退出时被“斩断”了。

守护线程的适用场景:

守护线程通常用于那些不需要程序等待其完成的任务,例如:

后台日志记录:持续将程序运行信息写入日志文件,即使主程序突然崩溃,也不影响主程序的退出。心跳包发送:定期向服务器发送心跳包以维持连接,主程序退出时,连接自然断开即可。缓存清理:定期清理过期缓存。资源监控:在后台监控系统资源使用情况。

使用守护线程的注意事项:

由于守护线程在主程序退出时会被突然终止,它们可能没有机会进行清理工作,比如关闭文件句柄、释放网络连接等。这可能导致资源泄露或数据损坏。因此,在使用守护线程时,要特别注意其任务的性质,确保即使被突然终止也不会造成严重后果。如果需要确保清理工作完成,那么它就不适合作为守护线程,或者需要额外的机制来优雅地关闭它。

以上就是python中如何实现多线程编程_Python threading模块多线程编程入门的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1372142.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
python中如何对字典按值排序_Python字典按value排序技巧
上一篇 2025年12月14日 12:04:32
python中怎么判断一个字符串是否包含另一个字符串?
下一篇 2025年12月14日 12:04:45

相关推荐

  • composer require-dev和require有什么不同_Composer Require与Require-Dev区别解析

    require用于声明项目运行必需的依赖,如框架、数据库组件和第三方SDK,这些包会随项目部署到生产环境;2. require-dev用于声明仅在开发和测试阶段需要的工具,如PHPUnit、PHPStan、Faker等,不会默认部署到生产环境;3. 安装时composer install根据环境决定…

    2026年5月10日
    1000
  • Matplotlib 地图中多类型图例的创建与优化

    Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化

    本教程旨在解决matplotlib地图可视化中,如何在一个图例中同时展示颜色块(如区域分类)和自定义标记(如特定兴趣点)的问题。文章详细介绍了当传统`patch`对象无法正确显示标记时,如何利用`matplotlib.lines.line2d`创建标记图例句柄,并将其与颜色块图例句柄合并,从而生成一…

    2026年5月10日 用户投稿
    900
  • Golang JSON序列化:控制敏感字段暴露的最佳实践

    本教程探讨golang中如何高效控制结构体字段在json序列化时的可见性。当需要将包含敏感信息的结构体数组转换为json响应时,通过利用`encoding/json`包提供的结构体标签,特别是`json:”-“`,可以轻松实现对特定字段的忽略,从而避免敏感数据泄露,确保api…

    2026年5月10日
    300
  • 利用海象运算符简化条件赋值:Python教程与最佳实践

    本文旨在探讨Python中海象运算符(:=)在条件赋值场景下的应用。通过对比传统if/else语句与海象运算符,以及条件表达式,分析海象运算符在简化代码、提高可读性方面的优势与局限性。并通过具体示例,展示如何在列表推导式等场景下合理使用海象运算符,同时强调其潜在的复杂性及替代方案,帮助开发者更好地掌…

    2026年5月10日
    300
  • 比特币新手教程 比特币交易平台有哪些

    比特币是一种去中心化的数字货币,基于区块链技术实现点对点交易,具有匿名性、有限发行和不可篡改等特点;新手可通过交易所购买,P2P交易获得比特币,常用平台包括Binance、OKX和Huobi;交易流程包括注册账户、实名认证、绑定支付方式、充值法币并下单购买,可选择市价单或限价单;比特币存储方式有交易…

    2026年5月10日
    000
  • c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用

    SFINAE 是“替换失败不是错误”的原则,指模板实例化时若参数替换导致错误,只要存在其他合法候选,编译器不报错而是继续重载决议。它用于条件启用模板、类型检测等场景,如通过 decltype 或 enable_if 控制函数重载,实现类型特征判断。尽管 C++20 引入 Concepts 简化了部分…

    2026年5月10日
    000
  • RichHandler与Rich Progress集成:解决显示冲突的教程

    在使用rich库的`richhandler`进行日志输出并同时使用`progress`组件时,可能会遇到显示错乱或溢出问题。这通常是由于为`richhandler`和`progress`分别创建了独立的`console`实例导致的。解决方案是确保日志处理器和进度条组件共享同一个`console`实例…

    2026年5月10日
    300
  • Golang goroutine与channel调试技巧

    使用go run -race检测数据竞争,结合runtime.NumGoroutine监控协程数量,通过pprof分析阻塞调用栈,利用select超时避免永久阻塞,有效排查goroutine泄漏、死锁和数据竞争问题。 Go语言的goroutine和channel是并发编程的核心,但它们也带来了调试上…

    2026年5月10日
    000
  • 使用 Jupyter Notebook 进行探索性数据分析

    Jupyter Notebook通过单元格实现代码与Markdown结合,支持数据导入(pandas)、清洗(fillna)、探索(matplotlib/seaborn可视化)、统计分析(describe/corr)和特征工程,便于记录与分享分析过程。 Jupyter Notebook 是进行探索性…

    2026年5月10日
    000
  • php常量怎么用_PHP常量(define/const)定义与使用方法

    PHP中可通过define函数和const关键字定义常量,用于存储不可变值。define适用于全局作用域,支持动态名称和条件定义,如define(‘SITE_NAME’, ‘MyWebsite’);const在编译时生效,语法简洁但限制多,只能在类或全…

    2026年5月10日
    000
  • 深入理解 Express.js 中 next() 参数的作用与中间件机制

    本文深入探讨 express.js 中间件函数中的 `next()` 参数。它负责将控制权传递给请求-响应周期中的下一个中间件或路由处理程序。文章将详细解释 `next()` 的工作原理、中间件的注册与执行顺序,以及不正确使用 `next()` 可能导致请求挂起的风险,并通过代码示例和实际应用场景,…

    2026年5月10日
    000
  • Python命令怎样使用profile分析脚本性能 Python命令性能分析的基础教程

    使用Python的cProfile模块分析脚本性能最直接的方式是通过命令行执行python -m cProfile your_script.py,它会输出每个函数的调用次数、总耗时、累积耗时等关键指标,帮助定位性能瓶颈;为进一步分析,可将结果保存为文件python -m cProfile -o ou…

    2026年5月10日
    000
  • 如何插入查询结果数据_SQL插入Select查询结果方法

    如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法如何插入查询结果数据_SQL插入Select查询结果方法

    使用INSERT INTO…SELECT语句可高效插入数据,通过NOT EXISTS、LEFT JOIN、MERGE语句或唯一约束避免重复;表结构不一致时可通过别名、类型转换、默认值或计算字段处理;结合存储过程可提升可维护性,支持参数化与动态SQL。 将查询结果数据插入到另一个表中,可以…

    2026年5月10日 用户投稿
    400
  • Python递归函数追踪与性能考量:以序列打印为例

    本文深入探讨了Python中一种递归打印序列元素的方法,并着重演示了如何通过引入缩进参数来有效追踪递归函数的执行流程和参数变化。通过实际代码示例,文章揭示了递归调用可能带来的潜在性能开销,特别是对调用栈空间的需求,以及Python默认递归深度限制可能导致的错误,为读者提供了理解和优化递归算法的实用见…

    2026年5月10日
    000
  • python中zip函数详解 python多序列压缩zip函数应用场景

    zip函数的应用场景包括:1) 同时遍历多个序列,2) 合并多个列表的数据,3) 数据分析和科学计算中的元素运算,4) 处理csv文件,5) 性能优化。zip函数是一个强大的工具,能够简化代码并提高处理多个序列时的效率。 在Python中,zip函数是一个非常有用的工具,它能够将多个可迭代对象打包成…

    2026年5月10日
    300
  • Python中怎样使用pymongo?

    在python中使用pymongo可以轻松地与mongodb数据库进行交互。1)安装pymongo:pip install pymongo。2)连接到mongodb:from pymongo import mongoclient; client = mongoclient(‘mongod…

    2026年5月10日
    000
  • Golang空接口如何应用在项目中

    空接口可用于接收任意类型值,常见于日志函数、通用数据结构、JSON动态解析及配置驱动逻辑,提升代码灵活性,但需配合类型断言确保安全,避免滥用以降低维护成本。 空接口 interface{} 在 Go 语言中是一个非常灵活的类型,它可以存储任何类型的值。虽然它牺牲了一部分类型安全,但在实际项目中合理使…

    2026年5月10日
    300
  • Go语言网络编程入门:构建TCP客户端/服务器

    本文旨在为Go语言初学者提供一份简洁明了的网络编程入门指南,重点介绍如何使用TCP套接字构建简单的客户端/服务器应用。通过示例代码和注意事项,帮助读者快速上手Go语言的网络编程,并了解一些最佳实践。 Go语言对网络编程提供了强大的支持,通过标准库net包,可以轻松实现各种网络应用。本文将重点介绍如何…

    2026年5月10日
    000
  • Go语言接口与切片:如何识别和操作[]interface{}

    本文将深入探讨Go语言中如何识别和操作`[]interface{}`类型的切片。我们将介绍类型断言(Type Assertion)的关键作用,并通过`switch`语句演示如何安全地检测`[]interface{}`类型,并进而遍历其内部元素。文章旨在提供清晰的示例代码和专业指导,帮助开发者有效地处…

    2026年5月10日
    300
  • JavaScript计算器开发:解决数值显示与初始化问题

    本教程深入探讨了使用JavaScript构建计算器时常见的数值显示异常问题,特别是由于类属性未初始化导致的`Cannot read properties of undefined`错误。我们将详细分析问题根源,并通过在构造函数中调用初始化方法来解决该问题,同时优化显示逻辑,确保计算器功能稳定且界面显…

    2026年5月10日
    000

发表回复

登录后才能评论
关注微信