Python中如何使用多进程?multiprocessing详解

python中使用multiprocessing模块可通过多进程提升性能,尤其适合计算密集型任务。1. 创建并启动进程使用process类,通过target指定函数,start()启动,join()确保主进程等待;2. 多个进程并发执行可循环创建多个process实例并启动,适用于任务相互独立的情况;3. 使用pool进程池管理大量进程,常见方法有map、apply_async和starmap,with pool(…)推荐写法自动管理资源;4. 进程间通信通过queue、pipe、value/array和manager实现,支持数据传递与共享。掌握这些内容即可灵活优化程序性能。

Python中如何使用多进程?multiprocessing详解

在Python中,使用多进程(multiprocessing)是提升程序性能、充分利用多核CPU的有效方式。尤其当你需要处理大量计算密集型任务时,多进程比多线程更合适,因为它是绕过GIL(全局解释器锁)限制的一种手段。

Python中如何使用多进程?multiprocessing详解

下面我们就来看看如何在Python中使用multiprocessing模块进行多进程编程。

1. 创建并启动一个进程

最基础的用法就是通过Process类来创建一个新的进程。和threading.Thread类似,但不同的是每个进程拥有独立的内存空间。

立即学习“Python免费学习笔记(深入)”;

Python中如何使用多进程?multiprocessing详解

from multiprocessing import Processimport osdef show_pid():    print(f"当前进程ID: {os.getpid()}")if __name__ == "__main__":    p = Process(target=show_pid)    p.start()    p.join()

target:指定要运行的函数;start():启动子进程;join():等待子进程执行完毕再继续主进程;

小提示:如果你不加join(),主进程可能在子进程还没执行完就结束了,导致输出不全或看不到结果。

2. 多个进程并发执行

实际应用中,我们往往需要同时运行多个进程来处理不同的任务。可以通过循环创建多个Process实例,并依次启动它们。

Python中如何使用多进程?multiprocessing详解

processes = []for i in range(4):    p = Process(target=show_pid)    processes.append(p)    p.start()for p in processes:    p.join()

启动多个进程后记得都调用join();如果不控制顺序,所有进程会“几乎”同时开始执行;这种方式适合任务之间相互独立的情况。

3. 使用进程池(Pool)管理大量进程

当你需要处理几十甚至上百个任务时,手动管理每个进程效率太低,这时候应该使用Pool进程池。

from multiprocessing import Pooldef square(x):    return x * xif __name__ == "__main__":    with Pool(4) as pool:  # 启动4个进程        results = pool.map(square, range(10))    print(results)

常见方法:

map(func, iterable):将可迭代对象分发给多个进程;apply_async(func[, args]):异步执行函数;starmap():支持传入多个参数的map版本;

注意:with Pool(...)是推荐写法,它能自动关闭资源,避免忘记调用pool.close()pool.join()

4. 进程间通信与数据共享

由于每个进程都有自己独立的内存空间,所以不能像多线程那样直接共享变量。但multiprocessing提供了一些机制来实现进程间通信(IPC):

Queue:安全的队列,用于传递数据;Pipe:点对点通信,适用于两个进程;Value / Array:共享内存,适用于少量数据;Manager:更高级的共享方式,支持列表、字典等复杂结构。

例如使用Queue

from multiprocessing import Process, Queuedef put_data(q):    q.put("Hello from child")def get_data(q):    print(q.get())if __name__ == "__main__":    q = Queue()    p1 = Process(target=put_data, args=(q,))    p2 = Process(target=get_data, args=(q,))    p1.start()    p2.start()    p1.join()    p2.join()

基本上就这些。掌握好这些内容,你就可以在Python中灵活地使用多进程来优化你的程序了。虽然看起来有点复杂,但只要理解了基本逻辑和适用场景,用起来其实并不难。

以上就是Python中如何使用多进程?multiprocessing详解的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1363858.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月14日 03:40:24
下一篇 2025年12月14日 03:40:37

相关推荐

  • 如何高效地在Redis向量数据库中存储和加载自定义嵌入

    本文详细介绍了如何利用Langchain库在Redis向量数据库中存储和检索自定义文本嵌入。我们将从加载本地文本文件、进行文档切分,到生成嵌入并将其持久化到Redis,最终执行相似性搜索,提供一个完整的操作指南。内容涵盖关键代码示例、不同嵌入模型的选择,以及关于Redis中嵌入数据生命周期(TTL)…

    好文分享 2025年12月14日
    000
  • 如何用Python实现数据预测?statsmodels建模

    在python中追求统计严谨性和模型可解释性时,首选statsmodels库实现数据预测。1. 该库提供线性回归、广义线性模型和时间序列分析等完整统计模型,帮助理解数据机制;2. 使用arima模型进行时间序列预测的流程包括数据准备、划分训练测试集、模型选择与拟合、结果预测;3. statsmode…

    2025年12月14日 好文分享
    000
  • Python怎样实现文本摘要?NLP提取关键信息

    使用预训练模型快速实现摘要,如 hugging face transformers 中的 t5 模型可直接用于生成简洁摘要;2. 基于关键词提取的方法如 yake 可提取重点词汇,适合标签生成和分类场景;3. 自定义规则结合 spacy 或 nltk 工具可灵活处理特定领域文本,通过抽取首句、高频词…

    2025年12月14日 好文分享
    000
  • Python 垂直打印字符串列表:无需 itertools 的实现方案

    本文介绍了如何使用 Python 将字符串列表垂直打印输出,且不依赖于 itertools 库。通过循环遍历字符串列表,并逐个字符地打印,可以实现垂直排列的效果。文章提供了一种简洁明了的实现方式,并附带代码示例,方便读者理解和应用。 在某些情况下,我们可能需要将一个字符串列表以垂直的方式打印出来,例…

    2025年12月14日
    000
  • Python 垂直打印字符串列表:无需额外库的实现方案

    本文介绍了一种无需 itertools 库即可实现垂直打印字符串列表的方法。通过循环遍历字符串列表,并逐个字符地打印,可以实现将字符串垂直排列的效果。本文提供详细的代码示例,并解释了实现原理,帮助读者理解和应用该方法。 在 Python 中,有时我们需要将字符串列表垂直打印出来,即将每个字符串的相同…

    2025年12月14日
    000
  • Python:无需itertools实现字符串列表垂直打印

    本文介绍了一种在Python中将字符串列表垂直打印的方法,且无需导入itertools库。通过循环遍历字符串列表,并逐个字符打印,可以实现将多个字符串并排垂直显示的效果。文章提供了详细的代码示例,并解释了实现原理,帮助读者理解和掌握该方法。 在某些情况下,我们可能需要将一组字符串以垂直方式并排打印,…

    2025年12月14日
    000
  • QuantLib-Python中基于零息曲线的债券定价与收益率计算详解

    本文深入探讨了在QuantLib-Python中利用已引导零息曲线对债券进行定价和收益率计算时常遇到的TypeError问题及其解决方案。核心在于理解QuantLib中Handle对象的重要性,尤其是在将收益率曲线传递给定价引擎时。文章提供了详细的代码示例,展示了如何正确使用ql.YieldTerm…

    2025年12月14日
    000
  • QuantLib-Python债券回溯定价:收益率曲线构建与应用

    本文详细阐述了在QuantLib-Python中,如何利用已构建的零息收益率曲线对债券进行回溯定价。文章首先分析了在使用DiscountingBondEngine时常见的TypeError,并提供了解决方案:即需将收益率曲线封装为ql.YieldTermStructureHandle对象。此外,还强…

    2025年12月14日
    000
  • Pandas MultiIndex DataFrame 高效批量添加多行数据

    本文旨在探讨如何在Pandas MultiIndex DataFrame中高效地批量添加多行数据,尤其是在涉及新增索引层级时。传统的循环迭代添加方法会导致性能瓶颈,因为它会频繁创建DataFrame副本。通过构建一个带有正确MultiIndex的新DataFrame,并利用pd.concat()进行…

    2025年12月14日
    000
  • Python中实现文本文件多列数据对齐写入:解决可变长度列的对齐挑战

    本文旨在解决Python将列表数据写入文本文件时,因第一列文本长度不一导致后续列无法对齐的问题。核心解决方案是动态计算第一列的最大宽度,并利用Python的f-string或str.format()方法进行字符串格式化,确保所有列都能在固定位置开始,从而实现整齐的列式输出。教程将详细讲解实现步骤、提…

    2025年12月14日
    000
  • Python文本文件规整输出:变长字符串的列对齐技巧

    本文介绍Python中如何解决文本文件输出时,因第一列字符串长度不一导致后续列无法对齐的问题。通过计算首列最大宽度并利用Python的f-string格式化功能,可以实现精确的列对齐,确保输出内容整洁有序。本教程将详细演示如何应用此方法,提升文本报告的可读性。 在python中,当我们需要将结构化数…

    2025年12月14日
    000
  • Python文件写入:实现变长文本列的对齐输出

    本教程详细介绍了如何在Python中将列表数据写入文本文件,并确保即使第一列文本长度不一,也能实现整齐的列对齐。通过动态计算第一列的最大宽度,并结合Python的f-string格式化能力,可以精确控制输出格式,使数据以专业的表格形式呈现,避免传统制表符带来的错位问题。 在处理结构化数据时,我们经常…

    2025年12月14日
    000
  • Python中实现文本文件多列数据对齐:解决变长字符串导致的排版问题

    当需要将多列数据写入文本文件,特别是当第一列包含变长文本时,简单的制表符(t)往往会导致后续列的错位。本教程将深入探讨如何利用Python强大的字符串格式化能力,特别是f-string,动态计算第一列的最大宽度,并以此为基准精确对齐所有列。通过这种方法,无论文本长度如何变化,都能确保输出的表格数据整…

    2025年12月14日
    000
  • Python文本文件列对齐:解决变长字符串导致的排版问题

    本文详细介绍了如何在Python中向文本文件写入多列数据时,解决因第一列字符串长度不一导致的其他列无法对齐的问题。核心方法是利用Python的字符串格式化能力,特别是f-string和str.format()方法,通过动态计算第一列的最大宽度,实现精确的列对齐,确保输出内容的整洁和可读性,尤其适用于…

    2025年12月14日
    000
  • 使用Python xlwings在Excel中实现逐行数据追加而非覆盖

    本教程详细介绍了如何使用Python的xlwings库向Excel文件中逐行追加数据,而非反复覆盖同一单元格。核心方法是引入一个递增的行号变量,结合f-string动态构建单元格引用,从而确保每次循环都将数据写入新的行。文章还强调了优化代码结构和保存工作簿的重要性,以提高效率和数据完整性。 引言:理…

    2025年12月14日
    000
  • Python xlwings:实现数据逐行插入而非覆盖

    本文详细介绍了如何使用Python的xlwings库向Excel文件逐行插入数据,而非重复覆盖同一单元格。通过引入一个递增的行号变量,并结合f-string动态构建单元格引用,确保每次循环都能将数据写入新的行。教程还强调了优化代码结构,如将Sheet对象定义移至循环外部,并提醒保存工作簿,从而提高代…

    2025年12月14日
    000
  • 使用Python xlwings在Excel文件中按行循环插入数据

    本教程详细介绍了如何使用Python的xlwings库,在循环过程中将数据逐行插入到Excel工作表中,而非重复覆盖同一单元格。通过引入行号变量并合理管理工作表对象,您可以实现高效、准确的数据追加操作,避免常见的数据覆盖问题,并确保最终数据完整保存。 1. 问题背景:数据覆盖而非追加 在使用xlwi…

    2025年12月14日
    000
  • PostgreSQL 实现模糊地址匹配:提升数据匹配准确率的实用指南

    本文旨在提供一套基于 PostgreSQL 的模糊地址匹配解决方案,通过结合 pg_trgm 扩展的相似度比较和噪声词过滤等技术,有效解决传统字符串匹配算法在处理地址数据时遇到的问题。我们将详细介绍如何利用这些工具,构建一个能够返回匹配概率的地址匹配系统,从而提升数据匹配的准确性和效率。 在处理地址…

    2025年12月14日
    000
  • 基于 PostgreSQL 的模糊地址匹配教程

    本文旨在提供一个基于 PostgreSQL 的模糊地址匹配方案。我们将探讨如何利用 pg_trgm 扩展提供的相似度函数,结合噪声词移除等预处理技术,来实现高效且准确的地址模糊匹配。本教程将提供具体的 SQL 示例,并讨论在 PostgreSQL 中直接实现和使用 Python 辅助处理的优劣。 引…

    2025年12月14日
    000
  • 如何使用 MagicMock 对象模拟方法返回值

    本文旨在帮助开发者理解如何在使用 unittest.mock.MagicMock 对象时,正确地设置其方法的返回值。通过模拟数据库连接和游标对象,并设置 getbatcherrors 方法的返回值,我们可以方便地测试代码中的错误处理逻辑,而无需实际连接数据库。 在使用 unittest.mock 模…

    2025年12月14日
    000

发表回复

登录后才能评论
关注微信