字节跳动携手香港中文大学、香港科技大学及香港大学共同研发的 dreamomni2 系统现已正式对外开源。
DreamOmni2 专注于增强人工智能在图像生成与编辑中的指令遵循能力，实现了真正的多模态理解突破。该系统能够同时解析文本指令和参考图像内容，有效克服了传统模型在处理抽象概念（如艺术风格、材质质感、光影效果）时的不足，使用户与 AI 的交互更加直观自然。
为提升 AI 对复杂图文指令的理解能力，研究团队设计了一套创新的三阶段训练流程。第一阶段，通过构建提取模型，使 AI 能够精确捕捉图像中的特定元素或抽象特征；第二阶段，利用该模型生成高质量的多模态指令编辑数据，形成包含源图像、编辑指令、参考图以及目标结果的完整样本；第三阶段，则进一步扩展提取与组合策略，生成多样化的参考图像，从而构建出规模庞大且丰富的多模态指令驱动数据集。
立即进入“豆包AI人工智官网入口”；
立即学习“豆包AI人工智能在线问答入口”；
在架构设计上，DreamOmni2 引入了索引编码与位置编码偏移机制，确保模型能准确识别并区分多张输入图像的来源与顺序。同时，系统融合了先进的视觉语言模型（VLM），显著缩小了用户意图与模型理解之间的语义差距。这一系列技术创新大幅提升了模型对复杂指令的响应精度，使其更能精准捕捉用户的实际需求。
实测结果显示，DreamOmni2 在多模态图像编辑任务中表现优异，性能超越所有主流开源模型，并已逼近当前顶级商业模型水平。相较于传统商业方案，DreamOmni2 在应对高难度指令时展现出更强的一致性与准确性，有效减少了非预期修改和图像失真问题。
以上就是字节跳动与港中大等联合开源 DreamOmni2的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/5198.html
微信扫一扫 
支付宝扫一扫 
