高效moe架构重塑边缘计算边界——liquid ai推出全新lfm2-8b-a1b模型，作为lfm2系列首款混合专家（mixture-of-experts, moe）架构模型，其总参数量达8.3b，但每token仅激活约1.5b参数。得益于稀疏激活机制，该模型在维持强大表达能力的同时显著降低计算开销，特别适用于手机、平板等资源受限的终端设备。与传统依赖云端部署的moe模型不同，lfm2-8b-a1b专为实时交互场景优化，突破了“小规模moe效率低下”的行业固有认知。
该模型基于LFM2混合骨干结构构建，包含18个门控短卷积块和6个分组查询注意力（GQA）模块。除前两层保持稠密以保障训练稳定性外，其余各层均集成稀疏MoE前馈网络。每一层配置32个专家，实际运行时仅激活top-4专家，并通过归一化sigmoid路由器结合自适应偏置策略，实现更均衡的专家负载分配。支持长达32K token的上下文输入，具备英文、阿拉伯文、中文、法文、德文、日文、韩文及西班牙文等多语言处理能力。
训练与性能：12T token训练铸就媲美3-4B模型的能力
LFM2-8B-A1B历经约12万亿token的预训练过程，数据分布涵盖55%英文、25%多语言文本以及20%代码内容。后续采用Liquid Preference Alignment技术（融合长度归一化的DPO与APO-Zero方法）进行对齐训练，借助混合BF16/FP8精度方案，使整体训练效率提升超3倍。
在多项基准测试中表现亮眼：
知识理解与指令遵循：MMLU-Pro得分37.4（相较LFM2-2.6B提升11.5），IFEval达77.6，Multi-IF为58.2。数学推理能力：GSM8K成绩84.4，GSMPlus为64.8，MATH500高达74.2。多语言任务表现：MGSM达到72.4，MMMLU得分为55.3。编程与写作生成：HumanEval+得分69.5，LiveCodeBench v6为21.0，EQ-Bench为44.2。
综合来看，其输出质量可对标3-4B级别的稠密模型，在多轮对话连贯性、创意文本生成、RAG检索增强回答以及工具调用等复杂任务中展现出卓越能力。
AI Word
一款强大的 AI 智能内容创作平台，致力于帮助用户高效生成高质量、原创且符合 SEO 规范的各类文章。
165 查看详情
部署与集成：最高5倍加速，全面兼容主流框架
LFM2-8B-A1B在CPU与GPU上的推理速度表现突出。在搭载AMD Ryzen AI 9 HX 370和三星Galaxy S24 Ultra等设备上，采用int4量化配合int8动态激活，并运行定制化XNNPACK MoE内核时，解码吞吐量相较Qwen3-1.7B、IBM Granite 4.0等同类模型最高提升达5倍。
GPU端已集成vLLM推理引擎，支持FlashInfer与CUDA graph编译优化，兼顾单请求低延迟与高并发在线批处理需求。
针对移动端与轻量级设备，模型提供多种量化版本：Q4_0格式仅需约4.7GB存储空间，F16版本约为16.7GB。目前支持llama.cpp（需b6709及以上版本并启用lfm2moe支持）、ExecuTorch（适用于移动及嵌入式CPU）和vLLM（GPU平台）三大主流框架。此外，Hugging Face已开放GGUF量化文件下载，并配套提供Colab微调笔记本，助力开发者快速部署与二次开发。该模型现已上线Liquid Playground平台，供用户在线体验与测试。
以上就是Liquid AI 发布 LFM2-8B-A1B：8B 参数仅激活 1.5B的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/730445.html
微信扫一扫 
支付宝扫一扫 
