Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $YECBGYFECGEAFWHA as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2

Deprecated: imwpcache\f884414bce24ee67f\f73723ec7b1919fa5::__construct(): Implicitly marking parameter $BBWFDDBHHYHDXXAB as nullable is deprecated, the explicit nullable type must be used instead in /www/wwwroot/www.chuangxiangniao.com/wp-content/plugins/imwpcache-dist/build/f884414bce24ee67ff73723ec7b1919fa5.php on line 2
上交大发布推理引擎PowerInfer，其token生成速率仅比A100低18%，或将取代4090成为A100的替代品_创想鸟
原创投稿
  1. 创想鸟首页
  2. 用户投稿

上交大发布推理引擎PowerInfer，其token生成速率仅比A100低18%，或将取代4090成为A100的替代品

程序猿 • • 用户投稿

为了不改变原意而重写内容，需要将语言重写为中文，不需要出现原句

本网站的编辑部

PowerInfer 的出现使得在消费级硬件上运行 AI 变得更加高效

上海交大团队，刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

项目地址：https://github.com/SJTU-IPADS/PowerInfer

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

论文地址：https://ipads.se.sjtu.edu.cn/_media/publications/powerinfer-20231219.pdf
速度有多快？
在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上，PowerInfer 对比 llama.cpp 实现了 11 倍加速！

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

PowerInfer 和 llama.cpp 都在相同的硬件上运行，并充分利用了 RTX 4090 上的 VRAM。
在单个 NVIDIA RTX 4090 GPU 上的各种 LLM 中，PowerInfer 的平均 token 生成率为 13.20 个 token / 秒，峰值为 29.08 个 token / 秒，仅比顶级服务器级 A100 GPU 低 18%。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

代悟 代悟

开发者专属的AI搜索引擎

代悟 68 查看详情 代悟

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

具体来说，PowerInfer 是一个用于本地部署 LLM 的高速推理引擎。它利用 LLM 推理中的高局部性来设计 GPU-CPU 混合推理引擎。其中热激活（hot-activated）神经元被预加载到 GPU 上以便快速访问，而冷激活（cold-activated）神经元（大部分）则在 CPU 上计算。这种方法显著减少了 GPU 内存需求和 CPU-GPU 数据传输。
PowerInfer 可以在配备单个消费级 GPU 的个人计算机 (PC) 上高速运行大型语言模型 (LLM) 。现在用户可以将 PowerInfer 与 Llama 2 和 Faclon 40B 结合使用，即将支持 Mistral-7B。
PowerInfer 设计的关键是利用 LLM 推理中固有的高度局部性，其特征是神经元激活中的幂律分布。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

下图 7 展示了 PowerInfer 的架构概述，包括离线和在线组件。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

这种分布表明，一小部分神经元（称为热神经元）跨输入一致激活，而大多数冷神经元则根据特定输入而变化。PowerInfer 利用这种机制设计了 GPU-CPU 混合推理引擎。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

PowerInfer 进一步集成了自适应预测器和神经元感知稀疏算子，优化了神经元激活和计算稀疏性的效率。
看到这项研究后，网友激动的表示：单卡 4090 跑 175B 大模型不再是梦。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

了解更多内容，请查看原论文。

以上就是上交大发布推理引擎PowerInfer，其token生成速率仅比A100低18%，或将取代4090成为A100的替代品的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/439027.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
如何通过快捷键快速触发终端？
上一篇 2025年11月7日 17:48:09
java数组变量怎么输出数据
下一篇 2025年11月7日 17:48:22

相关推荐

发表回复

登录后才能评论
关注微信