
新阿里云百炼
阿里云百炼是基于通义大模型、行业大模型以及三方大模型的一站式大模型开发平台。面向企业客户和个人开发者,提供完整的模型服务工具和全链路应用开发套件,预置丰富的能力插件,提供API及SDK等便捷的集成方式,高效完成大模型应用构建。
JoyGen是一个音频驱动的3D深度感知说话人脸视频生成框架。它通过音频驱动生成嘴唇运动和视觉外观合成,旨在实现精确的嘴唇-音频同步和高视觉质量。
JoyGen是由京东科技与香港大学合作开发的音频驱动 3D 说话人脸视频生成框架,采用一种新颖的两阶段框架。该技术通过音频输入驱动 3D 深度感知模型,实现精确的唇部与音频同步,以逼真模拟说话者的唇部动作和面部表情,生成高度真实的视频内容。JoyGen 主要应用于视频编辑和虚拟交互领域。
技术特点:
如何使用JoyGen:
应用场景:
通过这些功能,JoyGen 在说话人脸视频生成和编辑方面展现了强大的能力。
GitHub:https://github.com/JOY-MM/JoyGen
JoyGen – 音频驱动的3D深度感知说话人脸视频生成框架