3月4日消息显示，intel最近在github上发布了其npu加速库，这一举措使得搭载酷睿ultra处理器的ai pc能够更加顺畅地运行诸如tinyllama、gemma-2b等轻量级大型语言模型。
酷睿Ultra系列首次整合了NPU AI引擎，此引擎可处理一些轻量级的AI推理任务，并与CPU、GPU协同工作，以满足各种AI应用的要求。
据了解，虽然这次发布的NPU加速库主要是为开发人员准备的，但那些有一定编程经验的用户同样可以尝试使用。Intel的软件架构师Tony Mongkolsmai演示了如何在微星尊爵14 AI Evo笔记本电脑上运行一个基于11亿参数的TinyLlama大模型的AI聊天机器人，这个机器人可以进行简单的对话。同时，Windows任务管理器也显示了NPU的有效调用。
Magic Write
Canva旗下AI文案生成器
75 查看详情
然而，当前的开源NPU加速库在功能上还存在一些不足，它支持8比特量化和FP16精度，但尚不支持4比特量化、BF16精度以及NPU/GPU的混合计算等高级功能，且相关技术文档也尚未提供。不过，Intel已承诺将在后续逐步扩展其功能，预期将比现有功能增加一倍，这无疑将为AI开发者们带来更多的便利和可能性。
以上就是Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/930021.html
微信扫一扫 
支付宝扫一扫 
