本文介绍: 利用DDIM Inversion图像重建或图像编辑任务时,直接做有条件的DDIM重建会导致误差累积,从而导致重建结果逐渐偏离原图像现有图像编辑方法大多需要模型进行微调,或对模型权重内部结构等进行优化操作起来比较复杂本文方法nulltext inversion首先对输入图像提取caption然后每个采样时间t,都利用以下损失函数nulltext embedding进行优化,最终得到每个采样时间节点t对应的优化后nulltext embedding,并实现对图像的重建和编辑

一、论文信息

作者团队

论文链接https://arxiv.org/pdf/2211.09794.pdf

代码链接https://github.com/google/prompttoprompt

二、Conditional Diffusionclassifierfree guidance)

Classifierfree guidance方法训练

对于有条件训练集(如图文对数据集),以某个概率p将其中的某些条件为空然后进行训练

实际生成

三、DDIM Inversion

随机噪声系数=0,此时变为确定性采样过程,一旦初始噪声XT确定了,样本的生成也就变为确定过程

DDIM的逆过程,即对于原图像进行加噪,最终得到一张噪声图。

将该噪声图作为采样起点进行去噪,最终又会生成原图像(即实现原图像的重建过程)。这一整个过程常被用于图像编辑等任务

四、Nulltext Inversion

  • 动机

利用DDIM Inversion做图像重建或图像编辑任务时,直接做有条件的DDIM重建会导致误差累积,从而导致重建结果逐渐偏离原图像;

现有的图像编辑方法大多需要模型进行微调,或对模型权重内部结构等进行优化,操作起来比较复杂

首先对输入图像提取caption然后在每个采样时间步t,都利用以下损失函数nulltext embedding进行优化

约束损失

最终得到每个采样时间节点t所对应的优化后nulltext embedding,并实现对图像的重建。

利用DDIM Inversion得到的ZT和优化后null-text embedding序列可以实现条件的图像编辑。

原文地址:https://blog.csdn.net/qq_43687860/article/details/134805164

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_49236.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注