
新Gen-3 Alpha
Gen-3 Alpha是Runway公司开发的一款先进的AI视频生成模型。它能够根据用户的输入(如文本描述、图像或视频片段)创建具有复杂场景变化、多种电影风格和详细艺术指导的高精细视频。
MusePose是一个由腾讯Lyra Lab开发的姿态驱动的图像到视频生成框架,专注于虚拟人类的生成。它能够在给定的姿态序列下,生成参考图像中的人类角色的舞蹈视频。这个框架使用了先进的扩散模型和姿态对齐算法,以生成与输入姿态高度匹配的平滑、逼真的动画。
MusePose是一个由腾讯Lyra Lab开发的姿态驱动的图像到视频生成框架,专注于虚拟人类的生成。它能够在给定的姿态序列下,生成参考图像中的人类角色的舞蹈视频。这个框架使用了先进的扩散模型和姿态对齐算法,以生成与输入姿态高度匹配的平滑、逼真的动画。
腾讯在此之前有两个Muse项目MuseV和MuseTalk。
MuseV:是一个基于扩散的数字人视频生成框架,进一步扩展了虚拟内容的创作边界。它能够根据文本描述生成视频,或者将静态图像和姿势转换成动态视频。
MuseTalk:是一个在潜在空间中训练的实时高质量音频驱动的口型同步模型,它能够在潜在空间中对面部区域进行修改,以匹配输入的音频,支持多种语言,并实现每秒30帧以上的实时处理速度。
MusePose是Muse开源系列的最后一个组件。与MuseV和MuseTalk结合,它可以实现端到端的虚拟人类生成,包括全身运动和互动能力。这个项目的目标是推动社区一起朝着虚拟人类能够被端到端生成并具有全身运动和交互能力的愿景前进。
MusePose、MuseV和MuseTalk三个项目的设计初衷是为了协同工作,共同构建一个完整的虚拟人类生成解决方案。从动态捕捉到视觉内容的生成,再到声音与形象的完美融合,Muse系列项目为虚拟人物的创建提供了全方位的技术支持。