Image Super-Resolution with Text Prompt Diffusion (Paper reading)
Zheng Chen, Shanghai Jiao Tong University, arXiv23, Code, Paper
1. 前言
受多模态方法和文本提示图像处理进步的启发，我们将文本提示引入图像SR，以提供退化先验。具体来说，我们首先设计了一个文本图像生成管道，通过文本退化表示和退化模型将文本集成到SR数据集中。文本表示采用基于装箱方法的离散化方式来抽象描述退化。这种表示方法还可以保持语言的灵活性。同时，我们提出了PromptSR来实现文本提示SR。PromptSR采用了扩散模型和预先训练的语言模型（例如T5和CLIP）。我们在生成的文本图像数据集上训练模型。
2. 整体思想
快速水一篇文章！没什么insight。如上图，这篇文章就是SR3+prompt或者说完全等于Stable Diffuison。数据集就是下面这么构建的：
好像没有别的要说的了。。。。不如看看这两篇文章1）AutoDIR: Automatic All-in-One Image Restoration with Latent Diffusion；2）CONTROLLING VISION-LANGUAGE MODELS FOR MULTI-TASK IMAGE RESTORATION
3. 实验
·消融实验，图4在给出[轻微噪声]这个prompt时，不能有效去除噪声，给出错误的[unchange]这个prompt时，会引入伪影。还做了不同文本编码器的影响，我觉得没必要吧。因为你这个text prompt换成1，2，3，4没准也work？
原文地址:https://blog.csdn.net/qq_43800752/article/details/134697257
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_33528.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
