Python多线程性能测试对比 Python多线程与多进程效率分析

多进程在CPU密集型任务中性能优于多线程,因GIL限制多线程并行;而多线程在IO密集型任务中表现良好,适合高并发等待场景。

python多线程性能测试对比 python多线程与多进程效率分析

在Python中,多线程和多进程是实现并发编程的两种常见方式。但由于GIL(全局解释器锁)的存在,多线程在CPU密集型任务中表现不佳,而多进程则能真正利用多核优势。下面通过实际测试对比两者的性能差异。

测试场景设计

为了公平比较,我们设定两个典型任务:

CPU密集型任务:计算大量数字的平方和IO密集型任务:模拟网络请求延迟(使用time.sleep)

分别用单线程、多线程、多进程执行,记录耗时。

CPU密集型任务性能对比

代码示例:

立即学习“Python免费学习笔记(深入)”;

import threadingimport multiprocessingimport time

def cpu_task(n):return sum(i * i for i in range(n))

def single_threadcpu(n, loops):for in range(loops):cpu_task(n)

def multi_threadcpu(n, loops, threads=4):def worker():for in range(loops // threads):cpu_task(n)threadslist = [threading.Thread(target=worker) for in range(threads)]for t in threads_list:t.start()for t in threads_list:t.join()

def multi_process_cpu(n, loops, processes=4):with multiprocessing.Pool(processes) as pool:pool.map(cpu_task, [n] * loops)

测试参数

n = 10000loops = 20

单线程

start = time.time()single_thread_cpu(n, loops)print(f"单线程耗时: {time.time() - start:.2f}s")

多线程

start = time.time()multi_thread_cpu(n, loops)print(f"多线程耗时: {time.time() - start:.2f}s")

多进程

start = time.time()multi_process_cpu(n, loops)print(f"多进程耗时: {time.time() - start:.2f}s")

结果分析

多线程耗时接近甚至超过单线程,因为GIL限制了并行执行多进程显著快于前两者,充分利用多核CPU

IO密集型任务性能对比

模拟IO操作(如网络请求):

import timeimport threadingimport multiprocessing

def io_task(seconds):time.sleep(seconds)

def single_threadio(loops, sec=0.1):for in range(loops):io_task(sec)

def multi_threadio(loops, sec=0.1, threads=4):def worker():for in range(loops // threads):io_task(sec)threadslist = [threading.Thread(target=worker) for in range(threads)]for t in threads_list:t.start()for t in threads_list:t.join()

def multi_process_io(loops, sec=0.1, processes=4):with multiprocessing.Pool(processes) as pool:pool.map(io_task, [sec] * loops)

测试参数

loops = 40sec = 0.1

单线程

start = time.time()single_thread_io(loops, sec)print(f"IO-单线程耗时: {time.time() - start:.2f}s")

多线程

start = time.time()multi_thread_io(loops, sec)print(f"IO-多线程耗时: {time.time() - start:.2f}s")

多进程

start = time.time()multi_process_io(loops, sec)print(f"IO-多进程耗时: {time.time() - start:.2f}s")

结果分析

多线程在IO密集型任务中表现优秀,线程休眠时不占用GIL,可切换执行其他任务多进程也能提升效率,但创建开销大,优势不如多线程明显通常IO场景推荐使用多线程或异步(asyncio)

总结与建议

根据测试结果得出以下结论:

涉及大量计算的任务优先选择多进程频繁等待外部资源(如网络、文件读写)的任务适合使用多线程多进程间通信成本高,需考虑数据共享复杂度对于高并发IO场景,可进一步尝试asyncio提升效率

基本上就这些。选择哪种方式,关键看任务类型。理解GIL的影响,才能写出高效的Python并发程序。

以上就是Python多线程性能测试对比 Python多线程与多进程效率分析的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1379402.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
Python连接被拒绝错误ConnectionRefusedError解决方法
上一篇 2025年12月14日 20:37:48
SKlearn如何在python安装?
下一篇 2025年12月14日 20:38:01

相关推荐

  • 访问DeepSeek官方网站 deepseek在线版免费登录

    答案:DeepSeek在线版免费登录入口位于官网https://chat.deepseek.com/sign_in,用户可通过手机号验证码或微信授权登录,新用户免注册,登录后自动创建账户并同步多端数据,支持网页和APP使用。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 De…

    2026年9月21日
    000
  • MySQL如何高效存储时间日期数据_时区和格式问题处理?

    MySQL如何高效存储时间日期数据_时区和格式问题处理?MySQL如何高效存储时间日期数据_时区和格式问题处理?MySQL如何高效存储时间日期数据_时区和格式问题处理?MySQL如何高效存储时间日期数据_时区和格式问题处理?

    核心策略是统一存储utc时间并由应用层处理时区转换与格式化。1.timestamp适合跨时区场景,自动转换utc且节省空间;2.datetime适合固定日期事件,不随时区变化;3.写入前应用层转utc,读取后转用户本地时间;4.格式化应在应用层完成以提升性能与灵活性;5.避免字符串存储时间,优先使用…

    2026年9月21日 用户投稿
    100
  • VSCode有哪些必备的插件?

    EditorConfig for VS Code统一代码风格,2. Prettier自动格式化多语言代码,3. ESLint检查JS/TS错误并集成Prettier,4. GitLens增强Git可视化,5. Path Intellisense补全文件路径,6. 括号高亮提升嵌套识别,7. Auto…

    2026年9月20日
    1000
  • ChatGPT代码会出错吗_AI编程中5个常见错误及解决方法

    AI编程中常见错误包括语法不匹配、逻辑遗漏、API误用、安全漏洞和集成困难,需通过版本明确、测试验证、文档核对、安全扫描和上下文补充等方式解决,结合人工审查与测试才能确保代码质量。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ ChatGP…

    2026年9月20日
    100
  • RBAC(基于角色的权限控制)实现方案

    rbac重要,因为它通过角色管理权限,简化了权限管理,提高了系统安全和管理效率。实现rbac时:1.设计数据库结构,定义用户、角色、权限表及中间表;2.在代码中实现权限检查和角色、权限的动态管理;3.优化性能,防止权限泄露,管理角色膨胀。 在探讨RBAC(基于角色的权限控制)实现方案之前,让我们先来…

    2026年9月20日
    000
  • VSCode的扩展推荐是怎么工作的?

    VSCode的扩展推荐基于用户行为和项目环境智能生成,当你打开.py文件时会推荐Python相关工具,打开.ts、.vue等文件则触发对应语言插件;系统通过分析package.json、requirements.txt等依赖文件识别技术栈,推荐Docker、ESLint等匹配扩展;同时记录常用操作如…

    2026年9月20日
    000
  • 当VSCode启动或运行变慢时,有哪些系统性的排查和优化步骤?

    答案:VSCode变慢主要由扩展、文件监控和设置引起。先以安全模式启动排查扩展影响,使用内置性能工具分析启动耗时,优化工作区的文件监听与搜索范围,调整渲染设置并清理缓存,可显著提升运行效率。 VSCode 启动或运行变慢通常涉及扩展、设置、系统资源或文件索引等问题。以下是系统性的排查与优化步骤,帮助…

    2026年9月20日
    000
  • 如何在Linux中自动重启 Linux systemd自动恢复

    答案:通过配置systemd服务文件中的Restart、RestartSec、WatchdogSec及StartLimitInterval等参数,可实现Linux服务的自动重启与看门狗监控,并避免无限重启循环,提升系统稳定性。 在Linux中,可以通过systemd来实现服务的自动重启,确保服务在崩…

    2026年9月20日
    000
  • 网络存储系统中SMB与NFS协议在传输效率上的差异对比

    SMB与NFS性能差异主要取决于应用场景:SMB适用于Windows环境和权限精细管理,NFS更适合Linux集群和高性能计算;在小文件操作中NFS快10%-30%,大文件传输两者吞吐接近,NFS在虚拟化场景IOPS高15%-20%,SMB在混合读写与AD集成下更优;建议使用SMB 3+/NFSv4…

    2026年9月20日
    000
  • VSCode的侧边栏图标代表什么?

    资源管理器(文件夹图标)用于管理项目文件结构,支持新建、重命名、删除和拖拽操作;2. 搜索(放大镜图标)实现全局文本查找与替换,支持正则表达式及范围筛选;3. 源代码管理(分支图标)集成Git功能,可查看变更、提交代码并同步远程仓库;4. 运行和调试(虫子图标)支持断点调试、变量监控及多语言启动配置…

    2026年9月20日
    000
  • 漏洞复现 | DirtyPipe CVE-2022-0847 Linux 内核提权漏洞复现

    漏洞复现 | DirtyPipe CVE-2022-0847 Linux 内核提权漏洞复现漏洞复现 | DirtyPipe CVE-2022-0847 Linux 内核提权漏洞复现漏洞复现 | DirtyPipe CVE-2022-0847 Linux 内核提权漏洞复现漏洞复现 | DirtyPipe CVE-2022-0847 Linux 内核提权漏洞复现

    0x00 前言 CVSS 评分:7.8 影响范围:5.8 通过 CVE-2022-0847,RT 可以覆盖重写任意可读文件中的数据,从而将普通权限的用户提升到特权 root 级别。 这个漏洞被作者命名为 Dirty Pipe,之所以这样命名,是因为其原理与 Dirty Cow 相似,但 Dirty …

    2026年9月20日 用户投稿
    000
  • Linux如何将进程放入后台运行

    将Linux进程放入后台运行主要有四种方法:使用&符号在启动时放入后台;通过Ctrl+Z暂停后用bg继续运行;结合nohup与&防止会话关闭导致终止;使用screen或tm…

    2026年9月20日
    000
  • 日志审计与异常行为监控

    有效进行日志审计与异常行为监控需从多个角度结合技术和策略:1.确保日志的完整性和不可篡改性;2.收集和集中管理日志;3.分析和可视化日志;4.建立正常行为基线;5.使用异常检测算法识别偏离行为。通过这些步骤,可以提升系统安全性并提供诊断信息。 在现代的网络安全和系统管理领域中,日志审计与异常行为监控…

    2026年9月20日
    000
  • 模型(Model)的定义与数据库操作基础

    模型是软件架构中的一个概念,代表数据及其相关的业务逻辑。1) 模型通过继承类定义,如django中的book模型。2) 模型提供crud操作,如创建、读取、更新和删除book对象。3) 模型封装业务逻辑和数据验证,需考虑性能和迁移管理。4) 测试模型行为和数据库操作是关键,设计模型时需平衡当前需求和…

    2026年9月20日
    000
  • VSCode的终端集成有哪些技巧?

    掌握VSCode终端技巧可提升开发效率。1. 用Ctrl+`快速打开终端,支持多实例创建与重命名;2. 在设置中自定义默认shell如zsh或Git Bash;3. 优化字体、启用自动换行与智能复制;4. 终端联动编辑器实现一键运行、路径拖拽补全与点击跳转。 VSCode的终端集成非常实用,合理使用…

    2026年9月20日
    000
  • Python中print函数使用详解

    Python中print函数使用详解Python中print函数使用详解Python中print函数使用详解Python中print函数使用详解

    1、 输出常见数据类型如字符串与整数 2、 对输出结果进行格式化处理 立即学习“Python免费学习笔记(深入)”; 3、 实现浮点数的格式化输出 4、 关闭自动换行功能 以上就是Python中print函数使用详解的详细内容,更多请关注创想鸟其它相关文章!

    2026年9月20日 用户投稿
    200
  • 如何为VSCode配置远程开发环境?

    使用Remote-SSH插件可在VSCode实现远程开发,首先安装插件并配置SSH主机信息,确保本地与远程连接通畅;随后通过远程资源管理器连接目标服务器,VSCode将自动部署服务端组件;连接成功后即可在本地编辑远程代码,需保证远程环境有基础开发工具及足够权限;若遇问题,检查SSH服务、配置准确性、…

    2026年9月20日
    100
  • 怎样在VSCode中为不同文件类型设置不同的缩进?

    在VSCode中可为不同文件类型设置缩进,通过settings.json按语言ID配置,如Python用4空格、HTML用2空格,保存后自动生效并覆盖全局设置。 在 VSCode 中为不同文件类型设置不同的缩进,可以通过配置语言特定的设置来实现。VSCode 支持按语言 ID 覆盖编辑器的缩进行为,…

    2026年9月20日
    100
  • VSCode的悬浮提示信息如何自定义?

    通过JSDoc或docstring添加注释可直接影响VSCode悬浮提示内容,如JavaScript/TypeScript中使用/* /格式、Python中使用三引号文档字符串,配合Pylance等扩展增强显示;安装语言支持扩展可提升提示丰富度;高级场景可通过开发自定义语言服务器,在textDocu…

    2026年9月20日
    500
  • 怎样在VSCode中重命名变量或文件?

    使用F2键可快速重命名变量或文件,VSCode会自动更新符号引用,支持多语言,重命名文件时需注意导入路径可能需手动调整。 在 VSCode 中重命名变量或文件非常方便,可以通过内置的重构功能快速完成,同时保持代码的一致性。 重命名变量(符号重命名) 当你想重命名代码中的变量、函数或类时,VSCode…

    2026年9月20日
    100

发表回复

登录后才能评论
关注微信