全新「多模态」生图AI文字渲染暴打Midjourney+DALL·E 3!5亿融资Karpathy都投了

  新智元报道

  编辑:润好困

  Ideogram 凭借不输 Midjourney 的生图能力和遥遥领先的图片中文字渲染能力,获得了包括 Jeff Dean 和 Karpathy 在内一众大佬的 8000 万美元融资,文生图这条离钱最近的 AI 赛道又加入了一名重量级选手。

  文生图领域作为一个跑出「10 人团队年收入过亿美金初创公司」的赛道,已经成了 AI 创业公司掘第一桶金的最佳起点。

  但是在谷歌,微软等大厂都已经花了大量资源去布局的领域,留给初创公司的机会到底在哪里?

  最近一家名为 Ideogram 的文生图工具,凭借优秀的文字渲染能力,成功融资 8000 万美元!

  包括 Jeff Dean 和 Andrej Karpathy 在内的一众硅谷大佬和知名机构都是它的投资人。

  只要在 prompt 里将文字打上去,就能非常自然可控地出现在生成的图片中。

  而且生成的图片不仅能简单的以平面文字的形式出现在图片之中,还能根据用户的要求,生成自然的悬浮文字,或者是立体的文字。

  甚至用一句提示词,它能直接给你画出图文高度配合的梗图!

  文生图也能做出「多模态」

  而图片中的文字生成,一直以来是各大生图 AI 做不好的痛点。

  如果要求图片中有某些确定的文字,需要在生成图片之后还要花费很多后期的加工。

  而 Ideogram 对于生图文字的控制能力,不仅在对比数据上比 DALL·E 3 要好出不少。

  实际生成的带有文字图片也是非常自然。

  文字可以像很多商业广告一样自然的悬浮在图片上,也可以和图片中的物体自然地融为一体。

  像这种配文字的电影海报级的图片都可以直接一步生成。

  而漫画形式的配图文字也同样不在话下。

  用户可以非常精准地将自己想要表达的文字内容和各种风格的图片组合在一起。

  除了能严格按照作者的要求生成精准的文字,甚至像开头的梗图一样,它能按照图片的设定无中生有的配上契合图片的文字。

  简直成了另一种形式的多模态模型。

  普通的生图能力也是行业顶尖

  而除了最优秀的文字渲染能力之外,作为生图工具,它在其他方面的表现也毫不逊色于行业顶尖水准。

  Ideogram 1.0 可在理解冗长、复杂提示词的同时生成清晰、细致的图像。

  宛如相片一样的海报

  对于各种动物以及奇怪组合的完美呈现能力。

  逼真的照片级图片生成能力,足以以假乱真。

  也能准确地生成复杂的手部动作。

  人物表情,光影都非常和谐。

  而且它还能通过工具,配合提示词,控制主要内容在图片中生成的形状和范围。

  Ideogram 1.0 除了能够生成照片级逼真的图像,对于超自然的风格的图片也有很强的表现能力。

  Ideogram 1.0 还提供了一个名为「Magic Prompt」的功能,可以自动增强、扩展和翻译用户的提示,大大降低用户生成精美的创意图片的门槛。

原提示:创建一个关于猫的有趣的表情包增强提示: 以一只表情惊讶的波斯猫为主题的备忘录。猫的眼睛睁得大大的,让人觉得它很震惊或很有趣。背景是其他猫咪摆出的各种姿势的彩色拼贴画,主题为 「当你意识到猫咪已经占领互联网时」。整个画面轻松幽默,展现了网上对猫的持久热爱。

  有了这个功能,表情包可以直接出图片了:

提示: 。 增强提示: 一个幽灵、万圣节灯笼和骷髅的恐怖万圣节场景。鬼魂穿着破旧的长袍,漂浮在南瓜之间,而南瓜灯则露出顽皮的笑容。背景中,一个戴着高帽的骷髅站在鬼屋附近。月亮在画面上洒下银色的光辉,气氛既阴森恐怖又充满童趣。

  Ideogram 1.0 本身也很擅长解释复杂的提示。每个对应的图像准确地反映了其提示的每个细节:

这是一幅迷人的全家福,一个纯色哑光红色球体圣诞礼物栖息在一个蓝色立方体包装的圣诞礼物上,一棵鲜艳的绿色圣诞树矗立在它们身后,树底缠着一块绿布。右边是一只好奇的小狗,左边是一只可爱的猫咪。

一只完全由香脆炸鸡制作而成的公鸡,如电影般逼真。它的身体覆盖着一层金黄色的外壳,淋上番茄酱,羽毛上还点缀着完美烹制的热气腾腾的炸薯条。公鸡的眼睛是由两个又小又圆的番茄酱斑点组成的,它的喙是由一块香脆的鸡皮制作而成的。场景的背景是一家灯光昏暗的复古餐厅,霓虹灯和格子桌布为餐厅增添了怀旧和奇特的氛围。

书房里的两个男人。左边的男子站着,身穿长外套和花纹衬衫,手持拐杖。他面容邋遢,留着胡子。右边的男人坐在椅子上,身着正装,手持拐杖。他们身后的墙上挂着一幅装裱好的男子肖像。房间里有华丽的窗帘和铺着地毯的地板,给人一种复古的感觉。

  而根据 DALL·E 3 这样的评估标准,人类评估者在提示对齐、图像连贯性、整体偏好和文本渲染质量方面 Ideogram 1.0,比 DALL·E 3 和 Midjourney V6 还更收到欢迎。

  免费额度大,订阅价格也不贵

  有如此强大的能力,但是他的收费却非常亲民。

  免费用户每天能使用 25 个提示词,生成 100 张图。

  8 刀一个月的用户每天可以生成 100 个提示词,400 张图。

  20 刀一个月就可以无限使用,确实是价格不贵量又足。

  最新实测:Ideogram VS Midjourney

  显然,想要在文生图这个领域与现有的竞争者抗衡,挑战堪称天花板的 Midjourney V6 是避无可避的。

  根据大佬 Sorin Ciornei 的最新测试,Ideogram 1.0 和 Midjourney 相比,也不落下风。

  Test 1:奥黛丽-赫本饰演的小丑

  用一个简单的提示生成一个包含赫本和小丑的人物图片。

  提示非常含糊,因为没有特别需要的图片细节。可以说双方生成的效果不相上下。

  Test 2:真实摄影

  在作者看来,Ideogram 生成的第一张图碾压了所有其他图片。

  Test 3 :想象力

  这个测试考验的是 AI 的想象力,因为在没有任何细节的情况下,图片 AI 要决定加入什么元素以及如何让图片看起来超现实。

  Midjourney 确实更胜一筹。

  Test 4:风格碰撞

  现实和复古主题的碰撞似乎 Midjourney 做得更好。

  必须将黑白摄影与彩色鸭子混合在一起,让 Ideogram 有点不知所措。

  Test 5:全息投影

  Midjourney 的全息效果不太清晰,但是画面风格比较一致协调。Ideogram 全息效果比较正常,但是整体画面割裂感比较强。

  双方算是各有所长的但是整体上表现都不太好。

  Test 6:官方案例实测

  在官方放出的例子中,Midjourney 似乎表现要更好一些,图中有更多的细节,风格也更真实一些。但是双方的差异似乎不大。

  Test 7:Logo

  作者又测了测需要带有文字的 logo 生成,虽然 Ideogram 的 logo 似乎也不能拿来就用,但是它至少符合要求,有明显的文字效果,而 Midjourney 似乎就完全没有体现出文字内容。

  Test 8:用魔法提示完成 Logo

  作者还测试了官方提供的「魔法提示功能」,它把用户输入的提示变得更加详细。

  他用这个 Logo 的提示再次对比了两个工具的生成效果,从创意的角度,似乎 Ideogram 更好。

  Test 9 :梗图&表情包

  而 Ideogram 强大的文字能力简直是生成梗图的利器,而它强大的文字功能在这里体现得淋漓尽致。

  Midjourney 完败。

  某种程度上来说,他的能力似乎都接近一个多模态「图+文」的模型了

  参考资料:

  https://about.ideogram.ai/1.0

  https://medium.com/thereach-ai/ideogram-1-0-9-tests-to-see-how-it-matches-midjourney-7dfd17ff3f57