新智元报道
编辑：LRST
Recraft 团队通过结合 TextDiffuser-2 技术和自训练的大型语言模型，提升了文本到图像渲染的质量和准确性，不过现有模型在处理复杂语言如中文和未明确指定的文本时，仍存在渲染不准确的问题。
在当前的图像生成技术中，文本渲染的能力已逐渐成为衡量其先进性的重要标准。不论是学术界的最新研究还是市场上的先进产品，都在竞相展示其处理复杂文本的能力，这不仅标志着技术的进步，更是成为一种创新的分水岭。
实际上，字图生成技术在多个领域内显示出显著的实用性，例如在设计海报、书籍封面、广告和 LOGO 等方面，已成为不可或缺的工具。
此外，随着社交媒体和数字营销的兴起，能够快速生成视觉吸引力强的图像变得尤为重要。这些图像往往需要结合富有创意的文本，以更好地与目标观众沟通，从而在短时间内吸引用户注意力，提高品牌识别度。
图 1 现有文生图方法的生成结果。Prompt: a cat holds a paper saying text rendering is important
在图 1 中，我们可以直观地看到文生图模型技术的飞速进步。然而，尽管技术日益成熟，部分方法在处理复杂文本时仍显示出一些局限性。
例如，生成的图像有时会遗漏 prompt 中的关键词，这可能会影响最终图像的可用性。而像 Ideogram 和 Recraft V3 这样的产品在文本渲染方面表现出色。
它们能够更精确地捕捉和呈现文本中的细节和语境，从而生成与输入文本高度匹配的图像。
值得一提的是，Recraft V3 作为文生图领域的黑马，已经在 Artificial Analysis Text to Image Model Leaderboard 上以 1172 的 ELO 评分获得了第一名（图2）。Recraft 的新模型展示出的质量超过了 Midjourney、OpenAI 以及其他所有主要图像生成公司的模型。
图 2 在文生图排行榜上，Recraft V3 排名第一
最近，Recraft 团队在其官方网站上分享了其在文本渲染技术方面的一些实现细节。接下来的部分，我将详细分析这些技术细节，探讨 Recraft 如何实现其出色的文本到图像渲染效果。
图 3 早期 Recraft 20B 模型的文本渲染能力不佳。Prompt:a cat with a sign 'Recraft generates text amazingly good!' in its paws
Recraft 团队首先尝试使用早期模型模型 Recraft 20B 基于 prompt “a cat with a sign 'Recraft generates text amazingly good!' in its paws”生成图像，结果发现文本渲染效果不佳（图3）。基于此 Recraft 团队总结分析了几个关键点：
1. 训练数据的限制：文本到图像的生成模型主要是在包含图像及其对应简要描述的数据集上进行优化的。这些描述通常只涵盖图像的大致内容，而不提供具体细节，尤其是图像中的文字内容。因此，当需要生成包含具体文字的图像时，模型因为缺乏详细的条件或例子而表现不佳。
2. 文本错误的易识别性：人类的大脑对于处理和识别文本非常擅长，因此在图像生成中的任何文本错误都很容易被我们发现。
为了解决图像生成模型在处理图像中的文本问题，Recraft 团队采用了一种方法，使用文本布局图作为更详细的输入条件。此策略的灵感来源于 TextDiffuser-2 论文（图4），该论文提供了有效处理文本表征技术。
图 4 Recraft 团队采用 TextDiffuser-2 技术构造两阶段文本渲染框架
论文链接：https://arxiv.org/pdf/2311.16465
在搜集数据的过程中，Recraft 团队借鉴了 TextDiffuser-2 的方法，采用了两阶段生成框架：首先生成文本布局，然后基于这些布局生成图像。
尽管文本布局可以通过使用 OCR 技术从现有的字图图像中检测获得，Recraft 团队发现现有的开源 OCR 工具难以生成完美的 OCR 结果，这主要是由于数据分布的差异。
因此，Recraft 团队参考了《Bridging the Gap Between End-to-End and Two-Step Text Spotting》论文（图5），开发了一种新的文本检测和识别方法。
图 5 Recraft 团队采用此论文提取文本 layout
论文链接：https://arxiv.org/abs/2404.04624
最终，Recraft 团队基于大语言模型训练了两个「双向」的模型：一个模型基于 OCR 结果生成 caption，另一个模型则可以根据用户的 prompt 生成模型想象的 OCR caption，从而完成文本布局的生成。这样的方法有效地提升了生成图像的质量和文本的准确性。
图 6 Recraft 团队使用 OCR 模型提取图像的文本 layout，采用大语言模型得到 caption，并训练另外一个大语言模型由 prompt 得到 layout 用于图像生成
在构建文本信息的过程中，Recraft 团队采用了 TextDiffuser-2 的表征方式，每一行文本首先记录了文本的内容，随后通过坐标来指明文本的具体区域。
与 TextDiffuser-2 不同，Recraft 团队使用了三个坐标点来表示文本（图7），使得模型能够支持渲染倾斜的文本。
此外，Recraft 团队最终选择了类似 ControlNet 的架构来渲染白底黑字的图像，用作模型生成的辅助条件。这种方法增加了文本渲染的可控性，允许用户自定义想要渲染的文本区域。这与仅使用 prompt 作为条件的 flux 和 ideogram 方法形成了对比，提供了更高的灵活性和控制度。
图 7 Recraft 团队采用 TextDiffuser-2 的表征方式得到文本 layout，并将其渲染为图片作为 condition 进行图像生成
由于 Recraft 团队开放了测试接口，我对模型进行了一些测试，效果十分惊艳
图 8 prompt: a cat holds a paper saying abcdefghijklmnopqrstuvwxyz
图 9 prompt: a graphic design with monkey music festival poster
图 10 prompt: a girl in the left holds the paper saying hello and a boy in the right holds the paper saying world
图 11 prompt: On a rainy night, the lightning in the sky formed the shape of "hello."
然而 Recraft 依然存在一些问题，例如模型尽管能支持中文 prompt，但对于中文渲染不是特别好：
图 12 prompt: 下雨的夜晚，天空中的闪电构成了“天空”两个字
另外 Recraft 也很难渲染未明确指定的文本：
图 13 prompt: a man stands in front of a huge newspaper。可以发现小字部分的笔画是扭曲的。
图 14 prompt: keyboard。键盘上的文本是错乱的。
图 15 prompt: ruler。刻度是错乱的。
总之，文本渲染在文本生成图像领域扮演了至关重要的角色，它不仅关系到图像的视觉呈现，还影响到文本信息的准确传达和语义理解。尽管近年来技术有了显著的进步，但文本渲染依然面临诸多挑战，需要进一步的研究和改进。
参考资料：
https://www.recraft.ai/blog/how-to-create-sota-image-generation-with-text-recrafts-ml-team-insights
Chen J, Huang Y, Lv T, et al. Textdiffuser: Diffusion models as text painters. NeurIPS 2023.
Chen J, Huang Y, Lv T, et al. Textdiffuser-2: Unleashing the power of language models for text rendering. ECCV 2024. Huang M, Li H, Liu Y, et al.
Bridging the Gap Between End-to-End and Two-Step Text Spotting. CVPR 2024.
