腾讯混元最新发布并开源原生多模态生图模型——混元图像 3.0（hunyuanimage 3.0）！
模型参数规模高达 80B，是目前参数量最大的开源生图模型。
同时，HunyuanImage 3.0 将理解与生成一体化融合，也是首个开源工业级原生多模态生图模型，效果对标业界头部闭源模型，堪称目前开源领域最强图像生成模型。
效果上，HunyuanImage 3.0 支持多分辨率图像生成，具有强大的指令遵从、世界知识推理、文字渲染能力，出图具有极致的美学与艺术感。
话不多说，具体来体验一下 HunyuanImage 3.0 的生成效果。
得益于原生多模态架构的架构优势，HunyuanImage 3.0 继承了 Hunyuan-A13B 的世界知识，具有原生世界知识推理能力。
因此，让它生成一张解方程的步骤图，prompt” 解方程组 5x+2y=26，2x-y=5，给出详细过程 “，它也能把题目解出来并完成生成：
” 用一幅图介绍堆排序算法流程，用小黄脸的表情包，来可视化，表情越开心，代表数值越大，并提供伪代码，手帐风格，小红书图片样式 “，就连这种特别复杂的 prompt 它都能驾驭：
它还具有强大的文字渲染能力，通过对文字渲染数据的定向补充和借助 HunyuanOCR 进行文字识别的能力提升，3.0 版本实现了接近头部模型的文字渲染能力，让海报、表情包制作、更多创意玩法变得更加简单。
同时，HunyuanImage 3.0 进行了充分的后训练打磨，在和设计师的配合下逐渐形成 HunyuanImage 自己的美学风格，打造极致的美学和艺术风格。
四宫格图生成也可以，创作漫画，设计不同材质的兔子模型，亦或是制作素描画漩涡鸣人的教程，通通不在话下。
技术方面，腾讯混元也公开了。
新一代模型基于 Hunyuan-A13B（总参数量 80B，激活参数量 13B），原生多模态、统一自回归框架，将文本理解、视觉理解与高保真图像生成深度融合于同一大脑，带来前所未有的端到端图像生成一致性、可控性与推理能力。
不同于将 LLM 仅作编码器的传统 DiT 路线，混元 3.0 的原生多模态设计以 LLM 为核心底座，天然继承强大的语言与推理能力，并在预训练阶段即深度混合 LLM 数据、多模态理解与多模态生成数据，形成 ” 理解反哺生成、语言驱动视觉 ” 的正反馈闭环，显著提升语义对齐、细节控制与复杂场景的创作稳定性。
HunyuanImage 3.0 面向社区完全开源，代码与权重同步释出。
双编码器结构
混元 3.0 采用 VAE+ViT 的联合特征作为图像理解输入，模型在统一序列中对图像内容进行精准解析与应答；在图像生成侧，沿袭 Transfusion 思路将 Diffusion 建模无缝嵌入 LLM 架构，实现文本和图像的灵活交互，覆盖从创作到编辑的完整链路。
广义因果注意力
广义因果注意力，让 ” 一体化理解与生成 ” 真正落地：
为适配原生多模态的多任务需求，HunyuanImage 3.0 引入 Generalized Causal Attention（广义因果注意力）。其核心思路是在保持文本 token 依旧遵循 LLM 的因果型（下三角）注意力的同时，对图像 token 赋予全局注意力能力，形成兼顾 ” 语言因果推理 ” 与 ” 图像全局建模 ” 的注意力矩阵。
由此，文生图场景对应绿色框（图 a）关注形式，图文理解场景对应蓝色框（图 a）关注形式，统一于同一架构内，既不削弱语言链式推理，又充分释放扩散生成对全局依赖的需求。
图文交织训练，长上下文对齐训练—推理闭环：
为提升长上下文理解与生成能力，模型采用 ” 图文交织 ” 的训练范式。训练序列中可包含多个用于扩散建模的加噪图像；而在推理阶段，一旦某张图像完成去噪即转化为 ” 干净的条件图 “，因此推理过程中最多仅存在一个加噪图。
为保证训练与推理的一致性，模型在交织数据上使用图 b 所示的专用 attention mask：它禁止序列中部的加噪图被其后的 token 访问，同时为每个加噪图紧随配置一个干净条件图。该机制确保了多图训练的有效性与单图推理的稳定性，显著增强了跨段落、跨回合的上下文保持与生成连贯性。
二维位置编码
HunyuanImage 3.0 是基于一个 Hunyuan-A13B 的 LLM 引入图像模态训练而来；因此 LLM 中的一维位置编码（1D RoPE）扩展为二维位置编码（2D RoPE）。
同时，为了保证扩展时完全兼容原来文本 token 的一维编码，文本的位置坐标从 1,2,3, …扩展为 ( 1,1 ) , ( 2,2 ) , ( 3,3 ) , … , 记不同维度上的频率为 θ 0, θ 1, θ 2, … , 那么位置 n 的文本 token 的位置编码可以表示为 [ cos ( n θ 0 ) ,cos ( n θ 1 ) ,cos ( n θ 2 ) , … , [ sin ( n θ 0 ) ,sin ( n θ 1 ) ,sin ( n θ 2 ) , … ] 。
在此基础上，二维坐标（x,y）的位置编码为 [ cos ( x θ 0 ) ,cos ( y θ 1 ) , … ,sin ( x θ 0 ) ,sin ( y θ 1 ) , … ] ，注意这样的位置编码对于坐标的 x 维度和 y 维度是不对称的，不过由于图片数据本身在两个维度上也是不对称的，因此这不会带来负面影响；而这样的不对称性允许二维位置编码可以完全兼容一维位置编码，这可以最大程度地保持原始 LLM 的语言能力。
数据处理流程
数据处理方面，采用了一个全面的三阶段过滤流程，从超过 100 亿张原始图像中筛选出近 50 亿张高质量、多样化的图像，移除了包括低分辨率、水印、AI 生成内容在内的低质量数据，并补充了知识增强、文本相关等专业数据集。
在图像描述上，构建了一套新颖的中英双语、分层级的描述体系，将图像内容分解为从简到详的描述、风格属性和事实实体等多个维度，并利用组合式合成策略来动态生成长度和模式各异的标题，以增强数据多样性。
为保证描述的真实性，该系统集成了专门的 OCR（文字识别）和命名实体识别代理来提供事实依据，并通过双向验证循环进行核对，此外还针对成对的图像数据开发了差异描述功能，用以生成描述变化的文本。
推理数据构建方面，为了激活模型的 ” 思维链 “（Chain-of-Thought）能力，团队还专门构建了推理数据集，包括用于增强逻辑推理的 ” 文本到文本 “（T2T）数据，以及将图像与推理过程和详细描述配对的 ” 文本到文本到图像 “（T2TI）数据，旨在训练模型自主地完成从理解用户意图、进行概念优化到最终生成图像的全过程。
多阶段训练策略
训练始于一个渐进式的四阶段预训练，该过程从较低的 256 像素图像分辨率和基础的图文对与纯文本数据开始，逐步将 VAE 处理的分辨率提升至 512 像素乃至 1024 像素，并在高分辨率阶段引入了如图像编辑、多图融合等更复杂的交错图文数据（INTL）以及用于激发推理能力的思维链数据（CoT）。
预训练之后，模型进入指令微调阶段，此时训练数据的类型从海量的多任务数据转变为使用特定模板格式化的、更聚焦于文本到图像生成任务的指令数据，旨在专门强化模型遵循用户具体创作意图的能力。
最后，在多阶段的后训练中，数据类型进一步演变为人类偏好数据，包括用于监督微调（SFT）的精选高质量样本、用于直接偏好优化（DPO）的优劣图像对，以及为多种强化学习算法（MixGRPO,SRPO,ReDA）提供指导的奖励模型信号，从而实现对生成结果的精细打磨。
模型测评效果
HunyuanImage 3.0 采用了机器指标（SSAE）和人工评测（GSB）两种方式评估模型效果。
SSAE（Structured Semantic Alignment Evaluation）是一项基于多模态大语言模型（MLLM）的自动化评测指标，用于评估文生图模型的语义一致性。该指标精心构建了 500 道评测题目，并将每道题目按 12 个细分要点进行拆解，最后借助 MLLM 自动比对生成的图像内容与是否与拆解的要点匹配。
最终输出两个结果：平均图像准确率（图像层级的平均分数 MeanAcc）和全局准确率（所有要点的平均得分 GlobalAcc）。可以看到，HunyuanImage 3.0 在最终结果和各细分要点上都媲美甚至超越业界领先的模型。
在人工评测 GSB（Good/Same/Bad）中，HunyuanImag 3.0 相较于 Seedream 4.0 胜率为 1.17%，相较于 Nano Banana 胜率为 2.64%，相较于 GPT-Image 胜率为 5.00%，相较于目前最好的上一版本模型 HunyuanImage 2.1 胜率为 14.10%，这表明 HunyuanImage 3.0 是足以媲美业界领先闭源模型的开源模型。
开源仓库：https://github.com/Tencent-Hunyuan/HunyuanImage-3.0
HF：https://huggingface.co/tencent/HunyuanImage-3.0
提示词手册：https://docs.qq.com/doc/DUVVadmhCdG9qRXBU
技术报告：https://github.com/Tencent-Hunyuan/HunyuanImage-3.0/blob/main/assets/HunyuanImage_3_0.pdf
官网：https://hunyuan.tencent.com/image/zh?tabIndex=0
* 本文系量子位获授权刊载，观点仅为原作者所有。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
点亮星标
科技前沿进展每日见
以上就是可能是目前效果最好的开源生图模型，混元生图 3.0 来了的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/29764.html
微信扫一扫 
支付宝扫一扫 
