在人工智能领域，大语言模型的训练与推理开销长期制约着技术的广泛应用。近期，北京大学人工智能研究院助理教授张牧涵领衔的团队，在鲲鹏昇腾科教创新卓越中心（简称“卓越中心”）提供的强大算力支持下，成功构建了一套高效的大模型训练与推理架构，实现百万tokens输入成本低至1元，为行业提供了高性能、低成本的新范式。
该研究取得了三项核心技术突破。其一，当前主流的相对位置编码机制存在显著稀疏问题。团队创新性地将注意力头中的位置信息与非位置信息进行分离处理，对位置编码实施低秩压缩，在仅保留3%位置信息的情况下仍能保持原有的表达能力。该方案结合昇腾硬件优化的flash-attention算子，大幅提升了注意力头参数的利用效率。
其二，传统模型中非位置编码部分往往处于被压制状态。通过分离位置与非位置成分，非位置编码获得了更大的压缩潜力。研究团队采用联合KV的低秩压缩策略，仅需保留12.5%的KVCache即可维持模型性能。这一方法有效释放了昇腾芯片强大的计算潜能，缓解内存访问瓶颈，显著增强了推理吞吐能力。
其三，依托昇腾平台卓越的并行计算能力，团队研发出RecurrentDecoding（RD）技术，替代传统LM-head结构，从而提升训练数据利用率并加速推理过程。在训练阶段，RD通过对比解码生成的多个tokens与目标tokens，实现更高效的训练数据利用；在推理阶段，结合投机采样机制，显著提高token生成的命中率，进一步加快输出速度。
文心大模型
百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作
56 查看详情 
此项成果已引发学术界高度关注，不仅为后续研究提供了可复现的高效架构模板，也极大降低了大模型在企业场景中的部署门槛。自2023年6月成立以来，北京大学与华为持续深化在前沿技术领域的协同攻关，此次突破充分验证了昇腾算力平台支撑高水平科研的能力。未来，卓越中心将持续推进大模型关键技术的创新探索，助力构建自主可控的技术生态体系。
以上就是北大张牧涵团队依托昇腾突破推理效率瓶颈大模型推理百万tokens成本仅1 元的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/394427.html
微信扫一扫 
支付宝扫一扫 
