python多进程通过独立进程绕过gil实现真正并行，适用于cpu密集型任务。1. multiprocessing模块提供process类管理独立任务；2. pool类用于批量任务并行处理；3. 多进程避免gil限制，每个进程有独立解释器和内存空间；4. i/o密集型任务更适合用异步或多线程；5. 进程间通信可用queue、pipe、共享内存配合锁机制实现同步；6. manager用于共享复杂数据结构但性能略低；7. 多进程启动开销大，不适合轻量或频繁创建的任务。合理选择并发模型并注意数据同步可提升程序效率。
Python多进程的核心在于利用多核CPU的优势，让程序的不同部分真正地并行运行，从而显著提升计算密集型任务的执行效率。它通过创建独立的进程来规避Python全局解释器锁（GIL）的限制，让每个进程拥有自己的解释器和内存空间，实现真正的并行计算。
解决方案
在Python中，实现多进程主要依赖于内置的multiprocessing模块。这个模块提供了多种创建和管理进程的方式，最常用的是Process类和Pool类。
使用Process类管理独立任务：当你需要并行执行几个独立的、不共享太多状态的任务时，Process类是一个直接的选择。
import multiprocessingimport timeimport osdef task_worker(name, delay): """一个模拟耗时任务的函数""" pid = os.getpid() print(f"进程 {pid} ({name}) 开始执行...") time.sleep(delay) print(f"进程 {pid} ({name}) 执行完毕。")if __name__ == "__main__": print("主进程开始。") # 创建并启动两个独立的进程 p1 = multiprocessing.Process(target=task_worker, args=("任务A", 3)) p2 = multiprocessing.Process(target=task_worker, args=("任务B", 2)) p1.start() # 启动进程A p2.start() # 启动进程B # 等待所有子进程完成 p1.join() p2.join() print("所有子进程均已完成，主进程退出。")
这段代码展示了如何创建两个独立的进程，它们并行执行各自的任务。start()方法启动进程，join()方法则阻塞主进程，直到对应的子进程执行完毕。
立即学习“Python免费学习笔记（深入）”；
使用Pool类处理并行化任务集合：当你有大量相似的任务需要并行处理，并且这些任务可以分解成独立的子任务时，Pool类会更方便。它会创建一个工作进程池，自动管理任务的分配和结果的收集。这对于数据并行处理非常有用。
import multiprocessingimport timeimport osdef heavy_computation(number): """一个模拟CPU密集型计算的函数""" pid = os.getpid() # print(f"进程 {pid} 正在计算 {number} 的平方...") time.sleep(0.1) # 模拟计算耗时 return number * numberif __name__ == "__main__": print("主进程开始，使用进程池。") # 创建一个进程池，通常设置为CPU核心数 # 如果不指定processes参数，默认是os.cpu_count() with multiprocessing.Pool(processes=4) as pool: # 使用map方法将任务分配给进程池中的工人进程 # map会阻塞直到所有结果都返回，并保持输入顺序 numbers = range(10) results = pool.map(heavy_computation, numbers) print(f"计算结果: {results}") print("进程池任务完成，主进程退出。")
Pool.map()方法非常适合将一个函数应用到一系列输入上。除了map，Pool还提供了apply、apply_async、starmap等方法，以满足不同场景的需求，比如异步执行或处理多个参数。
为什么Python多进程能提升性能，而多线程不行？
我记得刚开始学习Python时，总觉得多线程就是解决并发问题的“银弹”，但很快就碰到了一个拦路虎——全局解释器锁（Global Interpreter Lock，简称GIL）。简单来说，GIL是Python解释器的一个机制，它确保在任何给定时刻，只有一个线程在执行Python字节码。这意味着，即使你的机器有多个CPU核心，Python的多线程在执行CPU密集型任务时，也无法真正地并行利用这些核心，因为GIL会强制它们轮流执行。它更像是“并发”而非“并行”，在CPU密集型场景下，性能提升微乎其微，甚至可能因为线程切换的开销而变慢。
多进程则完全不同。每个进程都有自己独立的Python解释器实例和内存空间。这意味着它们各自拥有一个GIL，互不干扰。当一个进程被阻塞在I/O操作上时，另一个进程可以继续在不同的CPU核心上执行计算，而不会受到前一个进程的GIL限制。这使得多进程成为处理CPU密集型任务的理想选择，因为它能够真正地并行利用机器的多个CPU核心，从而带来显著的性能提升。
当然，多线程在I/O密集型任务（比如网络请求、文件读写）中依然有其价值。因为当一个线程等待I/O完成时，它会释放GIL，允许其他线程运行。但在纯粹的计算场景下，多进程才是实现并行计算的关键。
什么时候应该用多进程？多进程的适用场景与常见误区
选择多进程还是其他并发模型，关键在于你的任务类型。多进程最闪耀的舞台，无疑是那些CPU密集型的任务。想想看，如果你正在处理大量数据分析、进行复杂的科学计算、图像处理或者训练机器学习模型，这些任务往往需要大量的CPU时间。在这种情况下，将任务分解成多个独立的子任务，并让它们在不同的CPU核心上并行运行，就能极大地缩短总的执行时间。比如，我曾经处理过一个需要对数百万张图片进行特征提取的项目，如果单进程串行，那简直是灾难，但用了多进程池并行处理，效率提升了好几倍。
然而，多进程并非万能药，它也有自己的局限性和不适用的场景。一个常见的误区是，不管什么任务都一股脑地上多进程。如果你面对的是I/O密集型任务，比如频繁的网络请求、数据库查询或文件读写，那么多进程可能就不是最佳选择。在这种情况下，进程间的通信和创建销毁的开销，反而可能抵消并行带来的好处。对于I/O密集型任务，异步编程（如asyncio）或多线程（虽然有GIL，但在I/O阻塞时能切换）往往更合适。
另外，多进程的启动开销相对较大。创建新进程需要复制父进程的内存空间（至少是写时复制），这比创建线程要重得多。所以，如果你的任务非常轻量，执行时间极短，或者你需要频繁地创建和销毁进程，那么这种开销可能会让你得不偿失。我见过一些项目，为了处理一些微不足道的计算，结果创建了成百上千个进程，最终性能反而下降了，这就是没搞清楚适用场景。
Python多进程编程中的数据共享与同步挑战
多进程最让人头疼的，可能就是数据怎么安全、高效地在它们之间流动了。因为每个进程都有自己独立的内存空间，默认情况下它们是无法直接访问彼此的数据的。如果处理不好，就可能出现各种奇怪的bug，调试起来还特别麻烦。
Python的multiprocessing模块提供了一些机制来处理进程间通信（IPC）和数据同步：
队列（Queue）：这是最常用也是最推荐的进程间通信方式。multiprocessing.Queue是线程和进程安全的，它允许你将数据放入队列，然后由另一个进程从队列中取出。这非常适合生产者-消费者模型。
from multiprocessing import Process, Queuedef producer(q): for i in range(5): q.put(f"数据 {i}") print(f"生产者放入: 数据 {i}")def consumer(q): while True: data = q.get() if data == "STOP": break print(f"消费者取出: {data}")if __name__ == "__main__": q = Queue() p1 = Process(target=producer, args=(q,)) p2 = Process(target=consumer, args=(q,)) p1.start() p2.start() p1.join() q.put("STOP") # 发送停止信号 p2.join() print("所有进程完成。")
管道（Pipe）：multiprocessing.Pipe()返回一对连接对象，分别代表管道的两端。它们可以用于在两个进程之间进行双向通信。
共享内存（Shared Memory）：对于需要直接共享大量数据的情况，可以使用multiprocessing.Value或multiprocessing.Array。它们在进程间创建可共享的C类型数组或值。但使用共享内存需要非常小心，因为它没有内置的同步机制，容易出现竞态条件。
锁（Lock）和信号量（Semaphore）：当多个进程需要访问或修改同一个共享资源（比如共享内存中的数据）时，必须使用同步原语来防止数据损坏。multiprocessing.Lock可以确保在任何给定时刻只有一个进程能够访问临界区。
from multiprocessing import Process, Value, Lockimport timedef increment(val, lock): for _ in range(100000): with lock: # 使用with语句自动获取和释放锁 val.value += 1if __name__ == "__main__": num = Value('i', 0) # 'i' 表示整数 lock = Lock() p1 = Process(target=increment, args=(num, lock)) p2 = Process(target=increment, args=(num, lock)) p1.start() p2.start() p1.join() p2.join() print(f"最终结果: {num.value}") # 期望是200000
管理器（Manager）：multiprocessing.Manager可以创建一个服务器进程，其他进程可以通过它来访问共享的Python对象（如列表、字典、队列等）。这些对象会自动处理同步，使得数据共享变得更简单，但性能上可能会比直接使用队列或共享内存略有损耗，因为它涉及到网络通信。
在实际项目中，数据共享和同步是多进程编程中最容易出错的地方。不恰当的同步可能导致死锁（deadlock），即两个或多个进程无限期地等待彼此释放资源；或者出现竞态条件（race condition），即多个进程试图同时修改共享数据，导致结果不确定。所以在设计多进程方案时，务必仔细考虑数据的流向和访问模式，选择最合适的IPC机制，并确保正确的同步。
以上就是Python多进程怎么用？提升计算性能的方法的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1365193.html
微信扫一扫 
支付宝扫一扫 
