新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染

在过去几年中,Text-to-Image 领域取得了巨大的进展,特别是在人工智能生成内容(AIGC)的时代。随着DALL-E模型的兴起,学术界涌现出越来越多的Text-to-Image模型,比如Imagen、Stable Diffusion、ControlNet等模型。然而,尽管Text-to-Image领域发展迅速,现有模型在稳定地生成包含文本的图像方面仍然面临一些挑战

尝试过现有 sota 文生图模型可以发现,模型生成的文字部分基本上是不可读的,类似于乱码,这非常影响图像的整体美观度。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染

现有的sota文本生成模型生成的文本信息可读性较差

经过调研,学术界在这方面的研究较少。事实上,包含文本的图像在日常生活中十分常见,例如海报、书籍封面和路牌等。如果 AI 能够有效地生成这类图像,将有助于辅助设计师的工作,激发设计灵感,减轻设计负担。除此之外,用户可能只希望修改文生图模型结果的文字部分,保留其他非文本区域的结果。

为了不改变原始意思,需要将内容改写成中文。不需要出现原句

新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染

论文地址:https://arxiv.org/abs/2305.10855项目地址:https://jingyechen.github.io/textdiffuser/代码地址:https://github.com/microsoft/unilm/tree/master/textdiffuserDemo地址:https://huggingface.co/spaces/microsoft/TextDiffuser

新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染

TextDiffuser 的三个功能

本文提出了 TextDiffuser 模型,该模型包含两个阶段,第一阶段生成 Layout,第二阶段生成图像。

新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染

需要重新编写的是:TextDiffuser框架图

模型接受一段文本 Prompt,然后根据 Prompt 中的关键词确定每个关键词的 Layout(也就是坐标框)。研究者采用了 Layout Transformer,使用编码器-解码器的形式自回归地输出关键词的坐标框,并用 Python 的 PILLOW 库渲染出文本。在这个过程中,还可以利用 Pillow 现成的 API 得到每个字符的坐标框,相当于得到了字符级别的 Box-level segmentation mask。基于此信息,研究者尝试微调 Stable Diffusion。

他们考虑了两种情况,一种是用户想直接生成整张图片(称为 Whole-Image Generation)。另一种情况是 Part-Image Generation,在论文中也称之为 Text-inpainting,指的是用户给定一张图像,需要修改图里的某些文本区域。

为了实现上述两个目标,研究人员重新设计了输入特征,将维度从原来的4维增加到了17维。其中包括4维加噪图像特征、8维字符信息、1维图像掩码以及4维未被掩码的图像特征。如果是整体图像生成,研究人员将掩码区域设为整个图像;反之,如果是部分图像生成,只需对图像的一部分进行掩码。扩散模型的训练过程类似于LDM,对此感兴趣的同伴可以参考原文中的方法部分描述

在推理阶段,TextDiffuser具有非常灵活的使用方式,可以分为三种:

根据用户给定的指令生成图像。并且,如果用户不大满意第一步 Layout Generation 生成的布局,用户可以更改坐标也可以更改文本的内容,这增加了模型的可控性。直接从第二个阶段开始。根据模板图像生成最终结果,其中模板图像可以是印刷文本图像,手写文本图像,场景文本图像。研究者专门训练了一个字符集分割网络用于从模板图像中提取 Layout。同样也是从第二个阶段开始,用户给定图像并指定需要修改的区域与文本内容。并且,这个操作可以多次进行,直到用户对生成的结果感到满意为止。

新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染

构造的 MARIO 数据

为了训练TextDiffuser,研究人员收集了一千万张文本图像,如上图所示,包括三个子集:MARIO-LAION,MARIO-TMDB和MARIO-OpenLibrary

研究者在筛选数据时考虑了若干方面:例如在图像经过 OCR 后,只保留文本数量为 [1,8] 的图像。他们筛掉了文本数量超过 8 的文本,因为这些文本往往包含大量密集文本,OCR 的结果一般不太准确,例如报纸或者复杂的设计图纸。除此之外,他们设置文本的区域大于 10%,设置这个规则是为了让文本区域在图像的比重不要太小。

在对 MARIO-10M 数据集进行训练后,研究人员对 TextDiffuser 进行了定量和定性的比较,与现有方法进行了对比。例如,在整体图像生成任务中,本文方法生成的图像具有更清晰可读的文本,并且文本区域与背景区域的融合更好,如下图所示

新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染

与现有工作比较文本渲染性能

研究人员还进行了一系列定性实验,结果如表1所示。评估指标包括FID、CLIPScore和OCR。特别是OCR指标,本研究方法相对于对比方法有显著的提升

新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染

重写后的内容:实验结果见表1:定性实验

对于 Part-Image Generation 任务,研究者尝试着在给定的图像上增加或修改字符,实验结果表明 TextDiffuser 生成的结果很自然。

新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染

文本修复功能可视化

总的来说,本文提出的 TextDiffuser 模型在文本渲染领域取得了显著的进展,能够生成包含易读文本的高质量图像。未来,研究者将进一步提升 TextDiffuser 的效果。

以上就是新标题:TextDiffuser:无惧图像中的文字,提供更高质量的文本渲染的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/815512.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
使用 try-catch 块处理异常的最佳实践
上一篇 2025年11月27日 00:50:34
荣耀90GT怎么关闭摇一摇广告?
下一篇 2025年11月27日 00:50:34

相关推荐

  • DeepSeek R1T2— TNG推出的改进型AI语言模型,基于DeepSeek

    DeepSeek R1T2— TNG推出的改进型AI语言模型,基于DeepSeekDeepSeek R1T2— TNG推出的改进型AI语言模型,基于DeepSeekDeepSeek R1T2— TNG推出的改进型AI语言模型,基于DeepSeekDeepSeek R1T2— TNG推出的改进型AI语言模型,基于DeepSeek

    deepseek r1t2 是 tng 在 deepseek 原始模型基础上开发的增强型语言模型。该模型采用 tri-mind 架构,融合了 deepseek r1-0528、r1 和 v3-0324 三个基础模型的优势,通过 assembly of experts(aoe)技术整合推理能力、结构化…

    2026年9月24日 • 用户投稿
    900
  • 微软终止Cortana支持:Windows 10迎来重大调整

    微软终止Cortana支持:Windows 10迎来重大调整微软终止Cortana支持:Windows 10迎来重大调整微软终止Cortana支持:Windows 10迎来重大调整微软终止Cortana支持:Windows 10迎来重大调整

    N软网消息,微软近日宣布,将在Windows 10系统中停止对Cortana的支持。这是继Windows 11中取消Cortana支持之后的进一步动作,微软正将重心转移到Windows Copilot、Microsoft 365 Copilot以及Bing Chat等新技术上。 曾有人预计,微软会在…

    2026年9月24日 • 用户投稿
    100
  • 2025年比较好用的生成图片AI工具前十推荐

    2025年比较好用的生成图片AI工具前十推荐2025年比较好用的生成图片AI工具前十推荐2025年比较好用的生成图片AI工具前十推荐2025年比较好用的生成图片AI工具前十推荐

    2025年AI图片生成工具将更加智能、精准且深度融入创作流程,具备超写实生成、多模态输入、实时交互和3D建模能力,代表工具包括Midjourney、Stable Diffusion、DALL-E 4、Adobe Firefly Max等,未来将朝个性化、多模态融合与实时协作发展,同时面临版权、伦理、…

    2026年9月24日 • 用户投稿
    100
  • 如何通过BIOS设置优化游戏性能与系统稳定性?

    如何通过BIOS设置优化游戏性能与系统稳定性?如何通过BIOS设置优化游戏性能与系统稳定性?如何通过BIOS设置优化游戏性能与系统稳定性?如何通过BIOS设置优化游戏性能与系统稳定性?

    启用XMP/DOCP可显著提升游戏帧数与系统响应,通过让内存运行于标称高频低时序,改善最低帧稳定性;正确设置需在BIOS中开启对应配置文件,并进行稳定性测试以确保兼容性。 BIOS设置是优化游戏性能和系统稳定性的一个关键但常被忽视的环节。通过细致调整内存频率、CPU电源管理模式,甚至是集成显卡分配,…

    2026年9月24日 • 用户投稿
    200
  • AI模型评测有哪些_好用的AI模型评测大全

    AI模型评测有哪些_好用的AI模型评测大全AI模型评测有哪些_好用的AI模型评测大全AI模型评测有哪些_好用的AI模型评测大全AI模型评测有哪些_好用的AI模型评测大全

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ MMLU:大规模多任务语言理解基准 Open LLM Leaderboard:Hugging Face推出的开源大模型排行榜单 C-Eval:一个全面的中文基础模型评估套件 FlagEval:智…

    2026年9月24日 • 用户投稿
    100
  • Debian环境下MongoDB如何进行性能调优

    在debian环境下进行mongodb性能调优,可以参考以下步骤和建议: 硬件和配置优化 选择合适的硬件:根据应用需求选择合适的CPU、内存和存储设备。配置内存:确保MongoDB有足够的内存来缓存数据和索引,减少磁盘I/O。使用SSD:SSD硬盘比传统硬盘提供更快的读写速度,显著提升数据库性能。 …

    2026年9月24日
    000
  • safari浏览器标签页图标(favicon)不显示怎么办_safari浏览器标签页图标不显示解决方法

    首先清除Safari缓存和网站数据,检查图像加载设置是否开启,刷新页面或重访网站,必要时重置浏览器设置,并确认系统显示设置未禁用相关视觉效果。 如果您在使用 Safari 浏览器时发现网页标签页的图标(favicon)未能正常显示,可能是由于缓存异常、网站资源加载问题或浏览器设置限制所致。以下是解决…

    2026年9月24日
    000
  • 安装系统时,如何手动加载第三方 SATA 或 NVMe 硬盘驱动?

    安装系统时,如何手动加载第三方 SATA 或 NVMe 硬盘驱动?安装系统时,如何手动加载第三方 SATA 或 NVMe 硬盘驱动?安装系统时,如何手动加载第三方 SATA 或 NVMe 硬盘驱动?安装系统时,如何手动加载第三方 SATA 或 NVMe 硬盘驱动?

    安装系统时若第三方SATA或NVMe硬盘不被识别,需在安装界面通过“加载驱动程序”选项手动导入厂商提供的.inf等驱动文件,确保USB驱动器格式为FAT32并存放解压后的正确版本驱动,进入BIOS确认SATA模式(如RAID/AHCI)与驱动匹配,且硬件连接正常。 安装系统时,如果遇到第三方 SAT…

    2026年9月24日 • 用户投稿
    100
  • Java双向链表:实现高效的按索引删除节点操作

    Java双向链表:实现高效的按索引删除节点操作Java双向链表:实现高效的按索引删除节点操作Java双向链表:实现高效的按索引删除节点操作Java双向链表:实现高效的按索引删除节点操作

    本文详细讲解了如何在Java中为双向链表实现按索引删除节点的操作。教程涵盖了泛型设计、节点结构、参数校验、以及针对头节点、尾节点和中间节点的删除逻辑,并强调了维护链表head、tail和size等状态的准确性,确保了删除操作的健壮性和正确性。 1. 双向链表节点与泛型设计 在实现双向链表时,为了提高…

    2026年9月24日 • 用户投稿
    200
  • CPU的制程工艺从5nm迈向3nm,实际性能提升与价格涨幅是否成正比?

    CPU的制程工艺从5nm迈向3nm,实际性能提升与价格涨幅是否成正比?CPU的制程工艺从5nm迈向3nm,实际性能提升与价格涨幅是否成正比?CPU的制程工艺从5nm迈向3nm,实际性能提升与价格涨幅是否成正比?CPU的制程工艺从5nm迈向3nm,实际性能提升与价格涨幅是否成正比?

    3nm相比5nm性能提升有限但成本激增,晶体管密度增70%、CPU性能提15%-25%、能效与AI算力改善明显,而台积电3nm代工涨价20%、设备研发成本飙升,高通获16%优惠涨幅、联发科承24%溢价,AI芯片商支撑高价,手机厂难转嫁成本,摩尔定律性价比红利消失。 芯片制程从5nm到3nm,性能提升…

    2026年9月24日 • 用户投稿
    000
  • Java中实现跨类和函数共享变量的策略

    Java中实现跨类和函数共享变量的策略Java中实现跨类和函数共享变量的策略Java中实现跨类和函数共享变量的策略Java中实现跨类和函数共享变量的策略

    本文深入探讨了在Java中实现跨类和函数共享变量的有效策略。通过利用public static关键字,可以在不创建对象实例的情况下,使变量在整个应用程序中具备全局可访问性。文章将通过示例代码演示其使用方法,并提供关于此模式的注意事项与最佳实践,以帮助开发者理解其优势和潜在风险。 核心概念:publi…

    2026年9月24日 • 用户投稿
    100
  • windows磁盘占用100%怎么解决_磁盘占用率过高问题优化方案

    windows磁盘占用100%怎么解决_磁盘占用率过高问题优化方案windows磁盘占用100%怎么解决_磁盘占用率过高问题优化方案windows磁盘占用100%怎么解决_磁盘占用率过高问题优化方案windows磁盘占用100%怎么解决_磁盘占用率过高问题优化方案

    首先检查高占用进程并结束非关键任务,再禁用Superfetch和Windows Search等系统服务以降低磁盘负载,接着调整电源计划为高性能模式并启用硬盘写入缓存,随后运行sfc /scannow和chkdsk修复系统文件与磁盘错误,清理磁盘空间并针对HDD进行碎片整理或确保SSD的TRIM功能开…

    2026年9月24日 • 用户投稿
    100
  • Kimi Chat讲睡前故事:如何定制宝宝最喜欢的童话?

    Kimi Chat讲睡前故事:如何定制宝宝最喜欢的童话?Kimi Chat讲睡前故事:如何定制宝宝最喜欢的童话?Kimi Chat讲睡前故事:如何定制宝宝最喜欢的童话?Kimi Chat讲睡前故事:如何定制宝宝最喜欢的童话?

    kimi chat 可以通过定制化成为宝宝专属的睡前故事讲述者。首先,提供详细信息,包括喜欢的角色、场景和情节,使用直接描述、示例和互动提问帮助 kimi chat 理解宝宝喜好;其次,通过加入声音效果、比喻拟人、创造悬念和互动式讲述让故事更生动有趣;同时,明确限制内容、过滤关键词并人工审核避免不合…

    2026年9月24日 • 用户投稿
    000
  • Java 双向链表指定索引节点删除深度解析

    Java 双向链表指定索引节点删除深度解析Java 双向链表指定索引节点删除深度解析Java 双向链表指定索引节点删除深度解析Java 双向链表指定索引节点删除深度解析

    本文深入探讨了在 Java 中实现双向链表指定索引节点删除的完整过程。我们将详细讲解如何处理泛型化、头尾指针维护、链表大小更新以及各种边界条件(如删除头节点、尾节点、中间节点或唯一节点)的逻辑,并提供一个健壮的实现示例。 1. 双向链表基础与泛型化 双向链表是一种数据结构,其中每个节点不仅包含数据,…

    2026年9月24日 • 用户投稿
    100
  • Ubuntu挂载时遇到文件系统不支持怎么办

    当在ubuntu中挂载硬盘时遇到文件系统不支持的问题,通常是由于以下几个原因造成的: 分区方案不正确:例如,使用MBR分区方案时,最大支持2TB的硬盘,超过这个大小的硬盘需要使用GPT分区方案。文件系统格式不支持:Ubuntu可能不支持某些特殊的文件系统格式。内核模块缺失:某些文件系统可能需要特定的…

    2026年9月24日
    100
  • Chrome浏览器怎么卸载不需要的扩展_Chrome浏览器扩展程序卸载与管理方法

    Chrome浏览器怎么卸载不需要的扩展_Chrome浏览器扩展程序卸载与管理方法Chrome浏览器怎么卸载不需要的扩展_Chrome浏览器扩展程序卸载与管理方法Chrome浏览器怎么卸载不需要的扩展_Chrome浏览器扩展程序卸载与管理方法Chrome浏览器怎么卸载不需要的扩展_Chrome浏览器扩展程序卸载与管理方法

    首先打开Chrome浏览器,通过点击右上角三点图标进入“更多工具-扩展程序”页面,或直接在地址栏输入chrome://extensions快速访问;找到目标扩展后点击“移除”按钮即可卸载;若仅需临时停用,可点击扩展右侧开关将其关闭,灰色状态表示已禁用;对于多个扩展,建议定期进入管理页面批量清理不常用…

    2026年9月24日 • 用户投稿
    000
  • AI工具如何整合Notion/ChatGPT打造智能工作流

    AI工具如何整合Notion/ChatGPT打造智能工作流AI工具如何整合Notion/ChatGPT打造智能工作流AI工具如何整合Notion/ChatGPT打造智能工作流AI工具如何整合Notion/ChatGPT打造智能工作流

    notion与chatgpt结合能解决信息过载、内容创作效率低和重复任务自动化三大核心痛点。1)chatgpt可快速摘要冗长文本,将提炼后的精华导入notion形成结构化知识条目;2)chatgpt生成初稿作为内容起点,提升写作效率,再通过notion组织成流程化内容日历;3)ai动态填充模板,实现…

    2026年9月24日 • 用户投稿
    300
  • 苹果Mac Studio是创意工作者的最佳选择?

    苹果Mac Studio是创意工作者的最佳选择?苹果Mac Studio是创意工作者的最佳选择?苹果Mac Studio是创意工作者的最佳选择?苹果Mac Studio是创意工作者的最佳选择?

    Mac Studio凭借M1 Max或M1 Ultra芯片的强劲性能、丰富的接口配置、静音设计及苹果生态无缝协作,成为专业创作者高效处理高负载任务的理想选择。 苹果Mac Studio凭借其强大的性能和专业级配置,确实成为许多创意工作者关注的焦点。它是否真的是最佳选择,取决于具体的工作需求和个人预算…

    2026年9月24日 • 用户投稿
    000
  • AI开发平台有哪些_好用的AI开发平台大全

    AI开发平台有哪些_好用的AI开发平台大全AI开发平台有哪些_好用的AI开发平台大全AI开发平台有哪些_好用的AI开发平台大全AI开发平台有哪些_好用的AI开发平台大全

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ Coze:提供大量AI智能体免费使用,已集成DeepSeek满血版 SiliconFlow:专注于生成式AI计算的基础设施平台 码上飞:支持免费生成小程序/APP/网页,通过一句话快速生成应用 …

    2026年9月24日 • 用户投稿
    200
  • Java Optional与可空集合排序:深度解析与高效实践

    Java Optional与可空集合排序:深度解析与高效实践Java Optional与可空集合排序:深度解析与高效实践Java Optional与可空集合排序:深度解析与高效实践Java Optional与可空集合排序:深度解析与高效实践

    本文探讨了在Java中处理嵌套可空对象及列表排序的常见问题,特别是Optional的错误用法。强调了通过良好设计避免可空集合的重要性,并提供了在无法修改现有结构时,利用Stream.ofNullable()和Stream.mapMulti()进行安全高效排序的解决方案。旨在提升代码健壮性和可读性。 …

    2026年9月24日 • 用户投稿
    100

发表回复

登录后才能评论
关注微信