Ollama 团队最近推出了 0.11.9-rc0 版本的测试更新，重点优化了 CPU 与 GPU 的并行处理能力。本次升级引入了一种全新的任务调度机制，允许 GPU 在执行当前计算批次的同时，CPU 提前准备下一个批次的数据，从而显著降低 GPU 等待时间，提升多平台下大语言模型运行的整体效率。
实际测试数据显示，在 macOS 的 Metal 架构环境下，token 生成速度提升了约 2–3%；而在搭载 GeForce RTX 4090 的设备上，性能提升幅度达到约 7%。
此次更新还解决了 AMD 显卡无法被正确识别的问题，并修复了在 macOS 与 Linux 系统中因异常未捕获而导致的程序崩溃问题，进一步增强了跨平台的稳定性和硬件兼容性。这意味着 ollama 在本地运行大模型时将更加高效且可靠。
核心性能改进
实现了新的执行流程：通过后台并发构建下一轮计算图，使 CPU 与 GPU 的工作重叠进行，有效减少 GPU 处于空闲等待的状态，提高整体吞吐量。
此项优化由 VMware 工程师 Daniel Hiltgen 主导，他在 Pull Request 中提到：
“这次重构了 ollama 的主运行循环，将主要的 GPU 密集型操作（如 Compute+Floats）移至 Go 协程中执行，从而实现与下一批任务准备工作的并行化，减少 GPU 停顿。”“在 macOS 的 metal 后端测试中，token 输出速度提升了 2–3%；单块 GeForce RTX 4090 上则实现了约 7% 的性能增长。”
其他更新内容
修复了部分 AMD GPU 无法识别所引发的错误，改善了对 AMD 显卡的支持。修复了若干导致 macOS 和 Linux 平台出现崩溃的未处理异常，增强了系统稳定性。
下载地址：https://www.php.cn/link/11b53f23ad385f735495083c7327faf9
源码地址：点击下载
以上就是开源跨平台大模型工具 Ollama 发布 0.11.9-rc0 测试版的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/125631.html
微信扫一扫 
支付宝扫一扫 
