京东宣布开源其基于国产芯片自主研发的大模型推理引擎 xllm，旨在帮助企业更高效、低成本地部署ai应用。
本次开源的核心特性涵盖：
支持请求优先级的动态调度机制；具备动态自适应能力的 PD 分离架构，可依据实时负载灵活调整 PD 实例配比；面向多模态场景设计的 EPD 混合分离调度方案；结合硬件特性的多级流水线执行引擎；集成图融合、投机推理与动态负载均衡的完整计算优化工具集；基于 Mooncake 技术实现的多层级 KV 缓存全局管理机制；
官方表示，xLLM 推理引擎源于京东零售核心业务的实际需求。目前，该引擎已广泛应用于京言AI助手、智能客服、风险控制、供应链辅助决策、广告推荐等多个关键场景，实现整体效率提升超5倍，服务器成本下降达90%。
“我们始终相信，AI基础设施生态的发展离不开广大开发者的共同参与。此次开源只是一个起点。未来，京东零售AI Infra团队将根据社区反馈持续释放更多高级功能，并携手清华大学、北京大学、中国科学技术大学、北京航空航天大学等高校及产业伙伴，深化产学研合作，共同推进国产AI基础软件技术生态的创新与发展，助力行业智能化转型。”
源码地址：点击下载
以上就是京东开源基于国产芯片自研的 xLLM 大模型推理引擎的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/69236.html
微信扫一扫 
支付宝扫一扫 
