DreamTuner

DreamTuner的功能特点

1. 文本控制的主题驱动图像生成：DreamTuner能够根据文本输入生成与特定主题（如动漫角色）相关的图像。它支持局部编辑（如表情变化）和全局编辑（如场景和动作的变化），即使在复杂的文本输入下也能生成高度详细的图像。
2. 风格主题一致：通过主题编码器和自主题注意力，DreamTuner能够成功生成与文本输入一致且保留关键主题细节的高保真图像。
3. 单图主题生成：DreamTuner具有从单张参考图片生成与之主题和风格一致的新图像的能力。这大大降低了数据量的需求，使得DreamTuner能够在更广泛的场景中使用。
4. 保留重要细节：通过自主题注意力层，DreamTuner可以有效地保留参考图片中的重要细节，如人物表情、场景背景等。
5. 灵活通用：除了文本描述，DreamTuner还可以根据姿势等其他条件控制生成，适用范围更加广泛。
6. 解决角色一致性：DreamTuner的出现有效解决了角色一致性问题，能够在生成新图时完美保留输入图片的角色，并且实现了极高的融合度。

DreamTuner的技术原理

1. 提出主题编码器作为一种图像编码器，为主题驱动的生成提供了一个粗略的参考。采用冷冻CLIP图像编码器提取参考图像的压缩特征。采用显著目标检测(SOD)模型或分割模型去除输入图像的背景，突出主题。
2. 引入一些残差块(ResBlock)进行域移位。CLIP提取的多层特征在通道维度上进行拼接，然后通过残差块调整到与生成的特征相同的维度。使用额外的主题编码器-注意(S-E-A)层将主题编码器的编码参考特征注入到文本-图像模型中。主题-编码器-注意层在视觉-文本交叉注意层之前添加，因为交叉注意层是控制生成图像的一般外观的模块。
3. 根据与交叉注意相同的设置和输出层的初始值为零来构建主题编码器注意。引入一个附加系数β来调节主体编码器的影响。此外，主题编码器将为文本到图像的生成提供参考图像的内容和布局。然而，在大多数情况下，主题驱动生成不需要布局。
4. 进一步引入ControlNet来帮助解耦内容和布局。具体来说，我们训练主题编码器连同冻结深度控制网。由于ControlNet提供了参考图像的布局，因此主题编码器可以更加专注于主题内容。