拉脱维亚的语言技术企业 Tilde 正式推出了 TildeOpen LLM，一款面向欧洲语言的开源大语言模型（LLM），特别关注那些在主流人工智能系统中代表性不足的区域性语言。此举被视为欧盟推动语言平等与强化数字自主权的重要里程碑。
该模型具备300亿参数，采用密集解码器架构，并以 CC-BY-4.0 许可协议发布，允许广泛使用与再分发。TildeOpen LLM 支持包括拉脱维亚语、立陶宛语、乌克兰语和土耳其语在内的多种欧洲语言，旨在提升小语种在AI时代的技术可见性与实用性。
训练工作依托欧洲超级计算机 LUMI（位于芬兰）和 JUPITER 完成，依托欧盟委员会“大型人工智能大奖”项目提供的高达200万 GPU 小时的计算资源支持。模型基于受 EleutherAI 启发的 GPT-NeoX 框架进行训练，历经约45万次训练步数，处理了接近2万亿个文本标记。
其训练策略采用三阶段采样机制：初始阶段对所有语言进行均衡采样；第二阶段增强高资源语言的数据输入以提升整体性能；最后阶段再次回归均匀采样，确保模型对低资源语言的覆盖与公平性。技术配置方面，模型包含60层网络结构，嵌入维度为6144，配备48个注意力头，上下文长度达8192个 token，同时集成了 SwiGLU 激活函数、RoPE 位置编码以及 RMSNorm 层归一化技术。
Stable Video
Stability AI 发布的开源AI视频大模型，用文字或图像创建视频，把你的概念变成迷人的电影
75 查看详情 
在语言公平性方面，TildeOpen 引入了“公平标记器”（fair tokenizer），使不同语言在标记化过程中获得更一致的表示方式，有效降低标记膨胀问题，尤其改善了低资源语言的生成效率与语法准确性。相较之下，许多主流模型过度依赖英语语料，在处理波罗的海语族或斯拉夫语系语言时常出现语义偏差或结构错误。
此外，TildeOpen 还强调数据主权与合规性。用户可在本地基础设施或符合欧盟标准的安全云环境中部署该模型，完全遵循 GDPR 等隐私法规，避免使用境外托管AI服务所带来的法律与安全风险。
作为一款基础模型，TildeOpen LLM 将作为后续专业化版本的基石，未来计划推出经过指令微调的翻译专用版本，进一步拓展其应用场景。通过这一项目，拉脱维亚正努力在全球AI格局中建立自身影响力，同时坚定致力于维护欧洲丰富的语言多样性。
以上就是Tilde AI 发布开源 TildeOpen LLM的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/854626.html
微信扫一扫 
支付宝扫一扫 
