FaceChain

FaceChain-FACT架构

对于以人为中心的个性化图像生成，基于适配器的方法通过在面部数据上进行文本到图像的训练来学习编码和对齐输入面部，实现了在推理过程中无需额外微调的身份保持个性化。尽管在效率和与输入面部的相似性方面有所提高，但与没有适配器的基础模型相比，生成面部的文本后续能力以及可控性和多样性通常会显著下降。

在FaceChain-FACT中：

• 研发团队采用执行基于身份引导的面部去噪，而不是面向面部的图像去噪，以进行解耦训练。
• 同时在自注意力块和交叉注意力块之间插入顺序面部适配器，在文本引导之前对潜在面部进行适应，通过面部适应增量正则化（FAIR）对潜在变量进行约束，从而避免面部条件与文本信息的干扰。
• 对于要进行去噪的图像，身份条件来自于通过面部洗牌得到的相同身份的面部图像，并通过基于Transformer的特征提取器提取。

FaceChain的适用场景

• 虚拟现实和游戏设计：FaceChain 可以生成高度真实的个人数字形象，适用于虚拟现实和游戏中的角色创建。
• 数字营销：通过生成独特的个人写真，FaceChain 可以帮助品牌在社交媒体和广告中创建个性化内容。
• 影视和动画：FaceChain 能够生成多种风格的角色形象，适用于影视和动画角色设计。
• 身份验证：在金融和政务领域，FaceChain 可以用于提高远程开户、交易授权等场景的安全性。
• 社交媒体：用户可以通过 FaceChain 创建独特的头像和表情包，增强社交媒体互动。

这些应用场景展示了 FaceChain 在不同领域的多样化潜力。

FaceChain-FACT生成效果体验

ModelScope在魔搭平台提供了在线体验Demo：

https://modelscope.cn/studios/CVstudio/FaceChain-FACT/summary/?st=1kaJXs79ZoaTprotmvuK8lQ

同时也开源了代码可以自由部署体验：https://github.com/modelscope/facechain/tree/main/facechain_adapter

体验输入图像

01. 旗袍风

输入模板

输出效果

02. 藏族服饰风格

输入模板

输出效果

03.婚纱风格

输入模板

输出效果

04. T恤风格

输入模板

输出效果