▲头图由 AI 创作
芯东西(公众号:aichip001)
作者 云鹏
编辑 漠影
AI 正以前所未有的速度和深度改变着我们的生活。
从前,AI 只是在棋牌桌上战胜了人类,今天,我们所读到的文章、看到的绘画,甚至是听到的音乐,都可能是 AI 创作的。
▲图片由 Midjourney 生成
ChatGPT 的火爆甚至一度引发了海外科技公司的新一轮裁员潮,而在文本聊天之外,AI 在图像生成领域更是“野蛮生长”,它们一张张令人惊艳的作品,一度让各路设计师都产生了丢掉饭碗的担忧。
▲用 Stable Diffusion 和 ControlNet 生成的图像,作者:Sudharshan
从 DALL·E 2、Midjourney 到 Stable Diffusion 这些火爆全网的 AI 作画工具,从“线上排队作画”到如今我们利用家中搭载消费级显卡的 PC 就能进行 AI 作画,AI 与普通消费者的距离越来越近,几乎每个人都有机会感受 AI 创作带来的巨大想象力。
游戏、创作、绘画、视频……在英伟达“专业对口”的“图像生成”领域,RTX 40 系显卡或许会成为这场生成式 AI 消费场景喷薄涌现大潮中的核心驱动力。
一、想畅玩 AI 作画?大显存、稳定性缺一不可
可能在很多人看来,我明明在线上就可以进行 AI 作画,为什么要用到性能如此强大的 GPU 呢?
实际上,线上 AI 作画的背后,也是庞大的云端算力在做支持,是一个个规模庞大的数据中心中的千万张 GPU 在夜以继日地运算着。而这些 GPU 中绝大部分都是英伟达的产品。
英伟达的 GeForce RTX 显卡,则可以让我们在自己家中或公司拥有“本地化”的 AI 作画体验。你不需要在线上排队等候,而且创作的即时性反馈更好,对于作品的调整空间也更大,从节约时间成本和提高内容质量的角度来说是一举两得。
以火爆全网的 Stable Diffusion 为例,它是目前最流行的从文本到图像生成式 AI 模型之一,它最主要的用途常常是让用户化身“艺术家”,进行图像艺术创作。
▲Stable Diffusion Playground 线上创作界面
从原理上来看,Stable Diffusion 是一个基于潜在扩散模型(Latent Diffusion Models)的文本到图片生成模型。相比传统的扩散模型(Diffusion Models),其主要增加了“在一个潜在表示空间中迭代去噪的过程”,从而让整个过程可以运行在消费级显卡上,这也极大推动了 AI 作画的普及。
▲由 Stable Diffusion 生成,作者:Tazi
不过,使用 Stable Diffusion 这类 AI 作画工具所要运行的模型,对于硬件算力是有一定的要求的,并不是所有 GPU 都可以轻松胜任,即使能够通过特定优化算法缓解资源限制,其性能也会大打折扣。
首先,显存的大小,是 AI 作画的第一影响因素。Stable Diffusion 发布之初,就对硬件提出了明确要求,比如 Stable Diffusion v1 的发布者 CompVis 就明确要求 GPU 的显存容量不能低于 10GB。
虽然后续为了降低用户使用门槛,Stable Diffusion 推出了一些硬件需求更低的版本,但这些版本在功能上和生成图片的质量上都受到了限制。
比如 4GB 显存的显卡在特定的模型分离方法下也可以运行,但生成的图像分辨率可能仅有 512*512,清晰度大打折扣。因此,为保证 AI 绘图的流畅度和稳定性,用户最好选择一块 8GB 及以上显存的N卡。
借助英伟达拥有 10GB 或 12GB 显存的 RTX 3080,或者更新一代配备了 16GB 和 24GB 显存的 RTX 4080 和 RTX 4090,我们可以更快地生成拥有更好的特效、更高分辨率的图像,体验明显更上一个台阶。
▲RTX 4080
如今英伟达已经将 16GB 这样的超大显存容量规格带到了 RTX 4080 这种次旗舰级别显卡中,普通消费者花费数千元就可以用上过去几万元的专业显卡才配备的显存容量并享受 GeForce RTX 不断更新的多项 AI 附加功能。
果真应了英伟达 CEO 黄仁勋说的那句,“买的越多,省的越多。”
那么 Stable Diffusion 能否在其他品牌 GPU 中稳定高效运行呢?目前看来,Stable Diffusion 的官方版本都没有支持 AMD 或者英特尔的显卡,只有一些“民间”的特殊版本对这些 GPU 做了针对性调整支持。
不过就实际使用过程来看,安装的流程往往十分复杂,并且支持的 GPU 型号极少,比如 Stable Diffusion 只能在最新一代 AMD GPU 中才可以运行,更早版本 GPU 都无法支持,适用范围比较受限。
另外,Stable Diffusion 在N卡平台上的运行效率和稳定性更高,这也是目前 AI 内容创作者们在业内普遍达成的共识,其他品牌 GPU 在运行中出现“BUG”的概率会明显更高。
根据开发者们实际运行 Stable Diffusion 的反馈来看,RTX GPU 的生态完成度更高,能够获得更完整、更稳定的体验,RTX GPU 用户利用公开操作流程,基本都可以顺利在本地运行 Stable Diffusion,出错概率较低。
即便遇到问题,基于 CUDA 庞大的开发者生态,用户也能大概率在相关开发者社区得到答案或支持。
当然,正如上文所说,出色的稳定性表现离不开英伟达 CUDA 拥有的规模庞大且富有高度粘性的开发者生态,目前大部分 AI 内容生成所用到的大型模型,都能在 CUDA 环境中获得更好的训练效果。
可以说,CUDA 在开发者圈子中的“不可替代性”是十分凸显的,这也是英伟达 RTX 40 系显卡能够成为 AI 作画关键硬件支撑的根本原因之一。
在可以预见的未来,在 Stable Diffusion、Lora 等 AI 作画工具持续快速迭代发展的大背景下,不管是普通消费者、专业创作者还是企业用户,无疑都会更多选择 RTX GPU 作为 AI 内容创作的底层硬件支持。
二、RTX AI 新功能,看视频“Buff 叠满”
正如英伟达 CEO 黄仁勋所说,英伟达是一家“全栈的计算加速公司”。从 GPU 硬件到系统软件和各类 AI 算法,英伟达均有布局,并已经将这些技术“武器”整合了起来,对外进行开放赋能,构建属于自己的 AI 生态系统。
在以 AI 作画为代表的生成式 AI 大潮之外,如果我们将目光放到整个 AI 产业的发展,英伟达在其中不仅起到了核心芯片硬件供应商的作用,同时英伟达发布的一系列 AI 算法以及集成了这些算法的软件生态,也将深刻影响 AI 产业的发展。
比如借助 AI 驱动的 DLSS 3 技术,英伟达几乎颠覆了游戏产业的传统玩法,借助 RTX 40 系显卡,普通玩家可以在几乎不牺牲图像质量和响应延迟的情况下,获得最高2-3 倍的游戏帧率提升,而游戏开发者们则可以在 DLSS 技术的帮助下,更多将精力放在游戏内容的打磨上,而非硬件性能的优化。
▲DLSS 3 技术
从 2018 年英伟达首次发布 DLSS 技术至今天的 DLSS 3,AMD、英特尔等厂商都已经推出了与 DLSS 类似的技术,如 AMD 的 FSR 技术、英特尔的 XeSS 技术,这也证明了英伟达方向的正确性和前瞻性。
刚刚,英伟达又在视频领域带来了一项颇具颠覆性的技术–RTX VSR,这项技术的全称为“RTX 视频超分辨率技术(RTX Video Super Resolution)”。正如它的名字一样,这项技术能够借助 RTX 显卡来实时提升视频的分辨率。
▲RTX VSR 技术视频超分辨率效果对比,左:处理前,右:处理后
值得一提的是,DLSS 技术重在提升图像呈现时的流畅度,而这项 RTX VSR 技术则重在提升图像的清晰度,可以说从流畅度和清晰度入手,英伟达算是把“图像处理”这件事给全方位地“玩明白了”。
此前英伟达已经通过 NVIDIA Broadcast 在直播领域推出的语音增强、噪声消除、虚拟背景、人像跟踪、视频降噪、目光接触等一系列 AI 技术加持的功能,显著提升了直播的体验,解决了视频“制作端”的问题。
而借助 RTX VSR 技术,英伟达要解决的就是“接收端”的问题。
在今天这个“视频当道”的时代,各大流媒体视频几乎霸占了所有人的手机屏幕、电脑屏幕,而我们在显示器上观看视频的体验实际上是有很大提升空间的。
比如现在主流视频平台的视频分辨率通常是 1080P,当我们使用 2K 或者 4K 显示器观看这些视频时,大多数浏览器都会采用传统的视频分辨率提升技术(Upscaling),而这种技术会导致图像清晰度下降以及一系列衍生问题。
借助 RTX VSR 技术,使用 RTX 40 系和 RTX 30 系显卡的用户就可以将低分辨率视频通过 AI 技术实时提升到更高分辨率,从而与显示器分辨率相匹配,获得更好的画质体验。
同时,AI 技术可以在这个转换过程中自动消除一些块状压缩伪影(blocky compression artifacts),并且对图像细节也会有更好的还原,减少丢失的纹理效果,此外 AI 会通过锐化进一步使图像边缘更加清晰。
▲RTX VSR 技术图像处理流程示意图
用体验者的话来说,RTX VSR 技术就像给你戴上了一副眼镜,“世界瞬间变得清晰了”。
▲RTX VSR 技术视频超分辨率效果对比,左:处理前,右:处理后,来源:Wccftech
目前新版的谷歌 Chrome 浏览器、微软 Edge 浏览器都可以支持 RTX VSR 技术,我们可以在使用这些浏览器观看B站、虎牙、斗鱼等主流视频平台内容时享受到这种便捷地“高清”体验。另外,使用这些浏览器观看本地视频也同样有效。
值得一提的是,英伟达这项 RTX VSR 技术的适用性非常强,因为它可以默认集成于最新版的 GeForce 驱动中,直接通过 Windows 系统中的 NVIDIA 控制面板来开启,GPU 驱动层对于这项技术的支持,可以显著降低其普及的门槛。
▲NVIDIA 控制面板中的 RTX 视频增强功能
“能够让一项新功能、新技术快速落地,应用在全球数以亿计的用户的 PC 上”,或许这才是英伟达最不可替代的竞争力所在。
结语:AI 内容创作时代,RTX GPU 挑大梁
正如前文所说,英伟达在 AI 技术领域,已经实现了从底层芯片硬件到上层软件、算法的全链条布局。这种优势可以让他们为整个市场的各端用户都提供针对性的 AI 技术赋能,来提升他们的使用体验。
比如面向内容创作者,NVIDIA Studio 生态系统中的技术可以显著提升工作效率,提升创作者们的硬件运行性能。而 NVIDIA Omniverse 的各类 AI 技术创新,则颠覆了传统游戏行业的协作模式,打破了游戏开发软件之间的生态壁垒,大幅提升了游戏开发效率。
面向消费者们,DLSS 3 的出现,给 PC、笔记本电脑游戏体验带来了“质变”式的升级,此次 RTX VSR 的出现,则让消费者们在观看视频内容时获得更好清晰体验。
从内容创作到内容消费,英伟达正用 AI 技术改变整个内容生产领域的玩法,带来新的动能。
可以看到,从 ChatGPT 到 Stable Diffusion,从聊天对话到绘画作图,AI 内容生成时代已经到来,而出色的 GPU 性能无疑是拥有良好 AI 内容创作体验的基础。
不论是 AI 参与内容生产,还是 AI 改善内容生产,我们都能看到英伟达 RTX GPU 在其中扮演着关键角色。未来 GeForce 用户还会享受到来自英伟达的 RTX GPU 还会有越来越多的“功能喜 +1”,而这些新功能的出现,也将成为更多行业中的关键变量。
一块 GPU 或许只能改变一个人的使用体验,而千万块 GPU 则有着改变产业的潜力。