
新Loopy AI
Loopy是一个端到端音频驱动的视频生成模型,专注于生成逼真的头像动画。利用先进的 AI 技术和时间模块设计,Loopy 能够从音频中提取自然的运动模式,并生成高质量的动画效果。支持多种视觉和音频风格,适用于虚拟主播、动画制作等应用场景。
Unique3D是一种开源的2D图像转3D生成框架,它能够从单张图片中生成高质量和高效率的3D网格模型。这项技术由清华大学团队开发,它结合了多视图扩散模型和法线扩散模型,以及一种高效的多级上采样策略,可以快速从单张图片中生成具有高保真度和丰富纹理的3D网格。
我们的 Unique3D 的管道。给定单个野生图像作为输入,我们首先从多视图扩散模型生成四个正交多视图图像。然后,我们通过多级升级过程逐步提高生成的多视图的分辨率。给定生成的彩色图像,我们训练一个法向扩散模型来生成与多视图图像相对应的法线贴图,并利用类似的策略将其提升到高分辨率空间。最后,我们利用即时一致的网格重建算法ISOMER从高分辨率彩色图像和法线贴图中重建高质量的三维网格,这是一种直接变形网格的鲁棒多视图重建方法,可以高效重建具有数百万面的网格模型。