Gemma 3n是什么
gemma 3n 是谷歌 i/o 开发者大会推出的端侧多模态 ai 模型。基于 gemini nano 架构，采用逐层嵌入技术，将内存占用压缩至 2-4b 参数模型水平。模型参数量分别为 5b 和 8b，内存占用仅相当于 2b 和 4b 模型。gemma 3n 支持文本、图像、短视频和音频输入，可生成结构化文本输出。新增的音频处理能力，能实时转录语音、识别背景音或分析音频情感。可通过 google ai studio 直接在浏览器中使用。
百灵大模型
蚂蚁集团自研的多模态AI大模型系列
177 查看详情 
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
Gemma 3n的主要功能
多模态输入：支持文本、图像、短视频和音频输入，可生成结构化文本输出。例如，用户可上传照片并询问“图中的植物是什么？”，或通过语音指令分析短视频内容。音频理解：新增音频处理能力，能实时转录语音、识别背景音或分析音频情感，适用于语音助手和无障碍应用。设备端运行：无需云端连接，所有推理在本地完成，响应时间低至 50 毫秒，确保低延迟和隐私保护。高效微调：支持在 Google Colab 上进行快速微调，开发者可通过几小时的训练定制模型，适配特定任务。长上下文支持：Gemma 3n 支持最长 128K tokens 的上下文长度。
Gemma 3n的技术原理
基于 Gemini Nano 架构：Gemma 3n 继承了 Gemini Nano 的轻量化架构，专为移动设备优化。通过知识蒸馏和量化感知训练（QAT），在保持高性能的同时大幅降低资源需求。逐层嵌入技术：采用逐层嵌入（Per-Layer Embeddings，PLE）技术，显著降低了模型的内存需求。模型的原始参数量分别为 5B 和 8B，内存占用仅相当于 2B 和 4B 模型，只需 2GB 或 3GB 的动态内存即可运行。多模态融合：结合了 Gemini 2.0 的分词器和增强的数据混合，支持 140 多种语言的文本和视觉处理，覆盖全球用户需求。局部/全局层交错设计：采用 5:1 的局部/全局层交错机制，每 5 层局部层后接 1 层全局层，以局部层作为模型的第一层开始计算。有助于减少长上下文时 KV 缓存爆炸问题。
Gemma 3n的项目地址
项目官网：http://deepmind.google/models/gemma/gemma-3n/
Gemma 3n的应用场景
语音转录与情感分析：能实时转录语音、识别背景音或分析音频情感，适用于语音助手和无障碍应用。内容生成：支持在手机上生成图像描述、视频摘要或语音转录，适合内容创作者快速编辑短视频或社交媒体素材。学术任务定制：开发者可用 Gemma 3n 的微调功能，在 Colab 上为学术任务定制模型，如分析实验图像或转录讲座音频。低资源设备：专为低资源设备设计，仅需 2GB RAM 即可在手机、平板和笔记本电脑上流畅运行。
以上就是Gemma 3n— 谷歌推出的端侧多模态AI模型的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/247477.html
微信扫一扫 
支付宝扫一扫 
