商汤发布首个 “可控” 人物视频生成大模型 Vimi,该模型主要面向 C 端用户,支持聊天、唱歌、舞动等多种娱乐互动场景。
商汤方面称,Vimi 可生成长达 1 分钟的单镜头人物类视频,画面效果不会随着时间的变化而劣化或失真,Vimi 基于商汤日日新大模型,通过一张任意风格的照片就能生成和目标动作一致的人物类视频,并支持多种驱动方式,可通过已有人物视频、动画、声音、文字等多种元素进行驱动。
与图片表情控制类技术只能控制头部表情动作不同,商汤介绍,Vimi 能够实现精准的人物表情控制,还可实现在半身区域内控制照片中人物的自然肢体变化,并自动生成与人物相符的头发、服饰及背景变化。
同时光影变化也能做到合理生成,让人物动作和视觉效果流畅自然,画面和谐唯美。更重要的是,Vimi 具备极强的稳定性,可稳定生成长达 1 分钟的单镜头人物类视频,画面效果不会随着时间的变化而劣化或失真,真正满足娱乐互动等需要长时间稳定视频生成需求。
据悉 Vimi 将完全面向 C 端用户开放使用。用户只需上传不同角度的高清人物图片,即可自动生成数字分身和不同风格的写真视频。目前,Vimi 已在商汤科技官网开放预约。
Vimi 也入选了 2024 世界人工智能大会的 “镇馆之宝” 名单。其他入选的还包括阿里云 AI 编程助手通义灵码、支付宝智能助理、智谱 AI 基座大模型、特斯拉赛博越野旅行车等。