本站 12 月 19 日消息，苹果公司昨日（12 月 18 日）发布博文，宣布和英伟达（nvidia）合作，通过开源 recurrent drafter（redrafter）推测解码方法，显著提升了 ai 大语言模型（llm）的推理速度。
苹果公司表示 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加速框架中，在 NVIDIA GPU 上，每秒生成 tokens 速度最高提升 2.7 倍，有效降低了用户延迟和计算成本。
苹果的机器学习研究人员指出，LLM 越来越多地用于驱动生产应用程序，提高推理效率对降低计算成本和用户延迟至关重要。
本站援引苹果官方博文，ReDrafter 使用 RNN 草稿模型，结合波束搜索（beam search）与动态树注意力（dynamic tree attention），可以让开源模型每步生成最多 3.5 个 tokens，超越了先前推测性解码技术的性能。
为将 ReDrafter 应用于生产环境，苹果与 NVIDIA 展开合作，将其集成到 NVIDIA TensorRT-LLM 框架中。
英伟达为此添加了新的运算符并公开了现有运算符，增强了 TensorRT-LLM 对复杂模型和解码方法的适应性。
基准测试结果显示，在 NVIDIA GPU 上使用集成了 ReDrafter 的 TensorRT-LLM 框架，数百亿参数规模的生产模型的解码速度提升了 2.7 倍。这不仅降低了用户体验延迟，还减少了 GPU 使用数量和功耗。
SCNet智能助手
SCNet超算互联网平台AI智能助手
41 查看详情
本站附上参考地址
Apple collaborates with NVIDIA to research faster LLM performance
NVIDIA TensorRT-LLM Now Supports Recurrent Drafting for Optimizing LLM Inference
ml-recurrent-drafter
Accelerating LLM Inference on NVIDIA GPUs with ReDrafter
以上就是苹果、英伟达强强联手：LLM 推理加速利器 ReDrafter 开源，AI 性能提升 2.7 倍的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/588326.html
微信扫一扫 
支付宝扫一扫 
