阿里大文娱CTO郑勇:影视行业诞生应用级新技术,需技术艺术深度融合

  来源:环球网

  “技术人与内容人的双向奔赴,让 AI 在影视级内容创作各个环节的渗透率持续提升。”9 月 3 日,在“第二届北京网络视听艺术大会”技术赋能内容主题研讨上,阿里大文娱首席技术官郑勇介绍,AI 与影视行业细分领域知识的深度结合,正加速打通影视工业化的“最后一公里”。

  9 月 3 日,第二届北京网络视听艺术大会技术赋能内容主题研讨上,阿里大文娱 CTO 郑勇做主题分享

  AIGC 时代下,影视行业应用级新技术的诞生,需要技术与艺术的深度融合,只有经历过片场无数次的沟通磨合,才能让技术真正完美地服务于艺术创作。今年 6 月,阿里大文娱发布首个针对影视剧服饰造型设计而打造的 AI 垂类大模型——神力霓裳,主题研讨上,郑勇首次透露“神力霓裳”诞生的过程。

  一部 30 集以上的古装剧,通常要 200 套以上的妆造图,算上中间设计版本,总量接近 1000 套,如果由画师手绘,每套妆造图要耗费数小时。此前,业内已经尝试用 AI 辅助设计,但目前市面上的文生图 AI 模型生成效果还不够精准,“比如角色的妆发、铠甲、服饰中的腰带和裙摆,和角色所处年代的服制都有偏差。”

  郑勇介绍,为了打造一个能为造型师精准生成素材的 AI 大模型,阿里大文娱技术团队深入剧组,在片场广泛调研了造型师们的需求,打磨出了大模型第一版生成结果,并让造型师们反馈试用的感受,数月内收到了众多造型师的反馈,“有的说整体形制还可以,但材质简单缺少层次;也有的说希望增加些现代审美和创新。”

  郑勇说,造型师们的反馈为大模型提供了宝贵的学习方向,从文化概念和美学角度加深训练,最终打磨出了这款 AI 妆造大模型。目前,“神力霓裳”包含造型设计、妆发设计和纹样设计三大功能,造型师在设定朝代、性别、身份等条件后,输入相关提示词,2 分钟就能获得造型图片。“目前大模型可以生成唐、宋多个朝代和民国时期的角色妆造,涵盖了官服、仕女服、舞女服、异族服等多种造型款式。”

  不只前期筹备,在虚拟拍摄环节,阿里大文娱也在努力打通技术应用的“最后一公里”。以往剧组虚拟拍摄不仅前期资产制作周期长,现场调试也需要很长时间,且只能单机位使用,甚至经常出现屏幕不符合摄影机要求的情况。

  2019 年,阿里大文娱开始布局虚拟拍摄,如今通过自研 AI 算法并持续优化,可以让虚拟拍摄的现场调试时间从 2 小时缩短至 20 分钟。多场景的快速搭建、切换,也让虚拍场次的拍摄效率提升 35% 以上,更多创作者愿意主动尝试虚拟拍摄。

  AI 妆造大模型“神力霓裳”生成的唐仕女妆造图

  此前杀青的《清明上河图密码》中,就有树下雪景、日落湖边等八大场景应用到阿里大文娱的虚拟拍摄方案,这些场景如果实地取景将是一个耗时耗力的大工程。对此,该剧总监制陶昆曾表示,借助虚拍技术,相关场次的拍摄效率不仅显著提升,真实的现场感也让演员入戏更快、体感更好。

  应用好这项新技术的关键,在于新技术团队与传统拍摄团队之间的衔接配合,行之有效的技术解决方案和团队之间的高效协作,是提升拍摄效率的重要因素。陶昆说,“在这一点上,我们和优酷的技术团队已经磨合得很好了。”