投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 科技

上交大发布推理引擎PowerInfer，其token生成速率仅比A100低18%，或将取代4090成为A100的替代品

程序猿 • • 科技 • 阅读 1

为了不改变原意而重写内容，需要将语言重写为中文，不需要出现原句

本网站的编辑部

PowerInfer 的出现使得在消费级硬件上运行 AI 变得更加高效

上海交大团队，刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

项目地址：https://github.com/SJTU-IPADS/PowerInfer

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

论文地址：https://ipads.se.sjtu.edu.cn/_media/publications/powerinfer-20231219.pdf
速度有多快？
在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上，PowerInfer 对比 llama.cpp 实现了 11 倍加速！

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

PowerInfer 和 llama.cpp 都在相同的硬件上运行，并充分利用了 RTX 4090 上的 VRAM。
在单个 NVIDIA RTX 4090 GPU 上的各种 LLM 中，PowerInfer 的平均 token 生成率为 13.20 个 token / 秒，峰值为 29.08 个 token / 秒，仅比顶级服务器级 A100 GPU 低 18%。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

代悟 代悟

开发者专属的AI搜索引擎

代悟 68 查看详情 代悟

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

具体来说，PowerInfer 是一个用于本地部署 LLM 的高速推理引擎。它利用 LLM 推理中的高局部性来设计 GPU-CPU 混合推理引擎。其中热激活（hot-activated）神经元被预加载到 GPU 上以便快速访问，而冷激活（cold-activated）神经元（大部分）则在 CPU 上计算。这种方法显著减少了 GPU 内存需求和 CPU-GPU 数据传输。
PowerInfer 可以在配备单个消费级 GPU 的个人计算机 (PC) 上高速运行大型语言模型 (LLM) 。现在用户可以将 PowerInfer 与 Llama 2 和 Faclon 40B 结合使用，即将支持 Mistral-7B。
PowerInfer 设计的关键是利用 LLM 推理中固有的高度局部性，其特征是神经元激活中的幂律分布。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

下图 7 展示了 PowerInfer 的架构概述，包括离线和在线组件。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

这种分布表明，一小部分神经元（称为热神经元）跨输入一致激活，而大多数冷神经元则根据特定输入而变化。PowerInfer 利用这种机制设计了 GPU-CPU 混合推理引擎。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

PowerInfer 进一步集成了自适应预测器和神经元感知稀疏算子，优化了神经元激活和计算稀疏性的效率。
看到这项研究后，网友激动的表示：单卡 4090 跑 175B 大模型不再是梦。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

了解更多内容，请查看原论文。

以上就是上交大发布推理引擎PowerInfer，其token生成速率仅比A100低18%，或将取代4090成为A100的替代品的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/439027.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

334.4K 文章
0 评论
1 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年11月7日 17:48:01
下一篇 2025年11月7日 17:48:50

相关推荐

  • Python的type()函数：获取对象的类型 好文分享

    Python的type()函数：获取对象的类型

    Python的type()函数：获取对象的类型，需要具体代码示例 在Python中，我们经常需要知道一个对象的类型，以便在程序中进行相应的处理。Python提供了type()函数来获取对象的类型。本文将介绍type()函数的使用方法，并给出具体的代码示例。 首先，我们来看一下type()函数的基本用…

    程序猿的头像 程序猿
    2025年12月13日
    000
  • HiDream-I1— 智象未来开源的文生图模型 科技

    HiDream-I1— 智象未来开源的文生图模型

    hidream-i1：一款强大的开源图像生成模型 HiDream-I1是由HiDream.ai团队开发的17亿参数开源图像生成模型，采用MIT许可证，在图像质量和对提示词的理解方面表现卓越。它支持多种风格，包括写实、卡通和艺术风格，广泛应用于艺术创作、商业设计、科研教育以及娱乐媒体等领域。 HiDr…

    程序猿的头像 程序猿
    2025年12月5日
    000

  • AI动画制作工具排行榜 能免费使用的10款AI动画制作工具推荐

    以下是10款免费的AI动画制作工具：1.智影：腾讯推出的在线视频制作平台，提供日漫风格，限时免费。2.Artflow：AI动画创建工具，Story Studio具有视频漫画生成功能，支持12种画面视觉风格。3.Flow Studio：通过文字生成视频片段，支持多种画面风格，新用户有200积分免费生成…

    程序猿的头像 程序猿
    2025年12月4日 • 科技
    000
  • Linux实现自动挂载autofs的方法详解 科技

    Linux实现自动挂载autofs的方法详解

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 目录 实现自动挂载-autofs autofs工具简单使用 autofs配置详细说明 自动挂载资源有两种格式 优化Linux系统性能 安装Tuned 选择调整配置文件 检查系统推荐的调整配置文件…

    程序猿的头像 程序猿
    2025年12月4日
    000

  • BlenderMCP— 基于 MCP 集成的 3D 建模工具

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ MCP Market MCP Servers集合平台，帮你找到最好的MCP服务器 67 查看详情 BlenderMCP是什么 blendermcp是一种将blender与claude ai通过模…

    程序猿的头像 程序猿
    2025年12月4日 • 科技
    000
  • VSCode怎么出现波浪线_VSCode错误提示和语法检查功能说明教程 开发工具

    VSCode怎么出现波浪线_VSCode错误提示和语法检查功能说明教程

    VSCode中的波浪线是语言服务、Linter和编译器协同提供的实时反馈，红色表示错误（如语法错误），黄色表示警告（如未使用变量），绿色或下划线表示建议（如代码优化），通过悬停查看提示、检查配置文件（如tsconfig.json、.eslintrc）、使用“问题”面板（Ctrl+Shift+M）定位…

    程序猿的头像 程序猿
    2025年12月4日
    100

  • RL 是推理神器？清华上交大最新研究指出：RL 让大模型更会“套公式”、却不会真推理

    清华和上交的最新论文中，上演了一场“学术打假”的戏码。文中研究者们对当前“纯 rl 有利于提升模型推理能力”的主流观点提出了相反的意见。 通过一系列实验，他们证明引入强化学习的模型在某些任务中的表现，竟然不如未使用强化学习的模型。 论文批判性地探讨了 RLVR 在提升 LLM 推理能力方面的作用，尤…

    程序猿的头像 程序猿
    2025年12月3日 • 科技
    100
  • 豆包 AI 官网入口 豆包 AI 使用在线入口 科技

    豆包 AI 官网入口 豆包 AI 使用在线入口

    豆包 AI 的官网入口是 https://www.doubao.com/，使用攻略包括：1. 注册与登录：通过官网注册或第三方账号登录；2. 选择使用方式：网页版、PC 客户端、手机 APP、浏览器插件；3. 基础操作：直接对话、上传图片、使用智能体、保存对话；4. 提问技巧：问题具体化、提供背景信…

    程序猿的头像 程序猿
    2025年12月2日
    200
  • 豆包 AI 网页端入口 豆包 AI 网页端在线网址 科技

    豆包 AI 网页端入口 豆包 AI 网页端在线网址

    豆包 AI 网页端入口是 https://www.doubao.com/chat/。其特色功能包括：1. 智能问答，提供各领域的准确答案；2. 内容生成与辅助创作，支持写作和图像生成；3. 搜索与浏览辅助，优化搜索结果并提供网页摘要；4. 对话管理与分享，支持对话分组和分享；5. 本地图片编辑，提供…

    程序猿的头像 程序猿
    2025年12月2日
    000
  • 豆包 AI 手机客户端入口 豆包 AI 客户端在线入口 科技

    豆包 AI 手机客户端入口 豆包 AI 客户端在线入口

    安卓用户可通过应用商店下载或官网下载获取豆包AI客户端，iOS用户通过App Store获取。安装后，打开应用并注册登录即可使用。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 入口地址： 1、豆包ai手机客户端入口☜☜☜☜☜点击保存 2、…

    程序猿的头像 程序猿
    2025年12月2日
    000

  • DeepSeek如何用函数调用自动化任务_DeepSeek用函数调用自动化任务【任务自动化】

    答案：通过配置API环境、定义函数描述、处理调用请求、回传执行结果及支持多轮协作，可利用DeepSeek函数调用实现任务自动化。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 如果您希望利用DeepSeek的函数调用能力实现任务自动化，可以…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • GitHubCopilot怎样用函数目标提示加速_GitHubCopilot用函数目标提示加速【目标提示】

    使用注释和类型标注可精准引导代码生成：先通过详细注释说明函数目标，再结合类型声明提升补全准确性，最后利用JSDoc等结构化注释触发包含参数校验与异常处理的完整逻辑建议。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 如果您在编写代码时希望利…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • DeepSeek如何用代码解释器调试脚本_DeepSeek用代码解释器调试脚本【调试辅助】

    首先启用调试模式并设置断点，逐步执行代码以观察变量状态；通过变量面板和打印日志检查数据传递是否正确；利用分段执行与注释隔离法缩小错误范围；最后结合try-except捕获异常，定位具体错误类型与位置。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000
  • 亚马逊发布 Bedrock，推出多项新功能，助力企业利用生成式AI技术 科技

    亚马逊发布 Bedrock，推出多项新功能，助力企业利用生成式AI技术

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 亚马逊网络服务公司近日在生态系统中推出了五款全新的生成式人工智能产品，这些产品将帮助企业客户利用自己的数据建立人工智能应用程序，并提供更好的安全性和模型的可及性。 这些新服务的包括全面推出的Am…

    程序猿的头像 程序猿
    2025年12月2日
    000

  • 语言模型有重大缺陷，知识推演竟然是老大难

    惊人发现：大模型在知识推演上存在严重缺陷。 灵活运用知识是智慧的关键。人脑可以快速处理知识，如快速回答 “《静夜思》中有几个月字”。那么，大模型是否能进行类似操作？已知大模型可以通过思维链（Chain of Thought / CoT），先默写《静夜思》，再根据默写内容回答问题，但这会使生成的文字冗…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • ICCV 2023揭晓：ControlNet、SAM等热门论文斩获奖项

    在法国巴黎举行了国际计算机视觉大会ICCV（International Conference on Computer Vision）本周开幕 作为全球计算机视觉领域顶级的学术会议，ICCV 每两年召开一次。 ICCV的热度一直以来都与CVPR不相上下，屡创新高 在今天的开幕式上，ICCV官方公布了今…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • 深度学习巨头DeepMind在ImageNet数据集上取得突破性进展，为机器人研究带来新的里程碑

    机器人技术为什么远远落后于自然语言处理（nlp）、视觉和其他人工智能领域？除了其他困难外，数据短缺是主要原因。为了解决这个问题，谷歌 deepmind 联合其他机构推出了开放式 x-embodiment 数据集，并成功训练出了更强大的 rt-x 模型 在大模型不断取得突破的 2023，把大模型当做大…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • 最多400万token上下文、推理提速22倍，StreamingLLM火了，已获GitHub 2.5K星

    如果你曾经与任何一款对话式 AI 机器人交流过，你一定会记得一些令人感到非常沮丧的时刻。比如，你在前一天的对话中提到的重要事项，被 AI 完全忘记了…… 这是因为当前的多数 LLM 只能记住有限的上下文，就像为考试而临时抱佛脚的学生，稍加盘问就会「露出马脚」。 如果AI助手能够在聊天中根据上下文参考…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • 实战部署：动态时序网络用于端到端检测和跟踪

    本文经自动驾驶之心公众号授权转载，转载请联系出处。 相信除了少数自研芯片的大厂,绝大多数自动驾驶公司都会使用英伟达NVIDIA芯片,那就离不开TensorRT. TensorRT是在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型，可以首…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

  • PyTorch+昇腾 共促AI生态创新发展

    2023年10月5日（北京时间），pyt%ignore_a_1%rch社区正式发布了2.1版本。经过pytorch社区与昇腾的持续合作和共同努力，pytorch 2.1版本已经同步支持昇腾npu。这意味着开发者可以直接在pytorch 2.1上进行基于昇腾的模型开发。未来，通过持续的社区技术贡献，昇…

    程序猿的头像 程序猿
    2025年12月2日 • 科技
    000

发表回复

登录后才能评论
关注微信