本文介绍: 把相同label样本拼接就是文中的 packing 技术接收拼接 packing 样本判别器就叫 packed 判别器。左侧是默认的判别器,右侧packed 2 个样本的判别器,输入节点翻倍。将判别器的输入改成多个样本,这样判别器可以同时基于看到多个样本进行决策,可以从一定程度上缓解 mode collapse。:修改调整判别器,使其决策是基于同类的多个样本(不用管样本是真实样本还是生成样本)。常规GAN的做法:使用单一判别器,将单一样本映射为单一的soft标签。取决与使用的GANs架构

论文https://arxiv.org/pdf/1712.04086.pdf

代码GitHub – fjxmlzn/PacGAN: [NeurIPS 2018] [JSAIT] PacGAN: The power of two samples in generative adversarial networks

发表:2016

一、摘要

1:GAN最重大的缺陷是:mode collapse。即无论是否基于多样性数据进行训练,GAN总倾向于产生相似的样本。

2:文中提出一种 packing方法处理 mode collapse问题。具体做法修改调整判别器,使其决策是基于同类的多个样本(不用管样本是真实样本还是生成样本)。通俗一点就是:将判别器的输入改成多个样本,这样判别器可以同时基于看到多个样本进行决策,可以从一定程度上缓解  mode collapse。

二、架构创新

常规GAN的做法:使用单一判别器,将单一样本映射为单一的soft标签

本文GAN的做法:使用增广判别器,将多个样本映射为单一的soft标签

相同label的样本拼接就是文中的 packing 技术接收拼接 packing 样本的判别器就叫 packed 判别器。ImprovedGAN 中也提出了minibatch技巧,来处理 mode collapse 问题

三、如何修改常规判别器使其成为 packed 判别器呢? 

保持判别器中 hidden layers 不变,只增加 input layernodes数目。可以参考一下下图中的Fig 1。左侧是默认的判别器,右侧packed 2 个样本的判别器,输入节点翻倍。 

 文中还对 DCGAN 如何 pack 进行了举例:

minist 手写数据是 28x28x1, PacDCGAN5就是把 label 相同的5张图(可以是real也可以是fake)拼接成 28x28x5的数据,送入判别器。   

四、如何训练 packed 判别器呢? 

 保持和正常 GANs 同样的训练过程区别就是有 packed sample。直觉上来说:packing 有助于判别器缓解 mode collapse 问题,因为packing 样本的丰富性远高于single 样本。

 五计算复杂度呢?

取决与使用的GANs架构毕竟input layernode 节点增多了嘛。不过也是可控的:作者建议是packing 2个或者3 个样本就可以取得不错的效果

六、实验结果

左侧是real样本,中间是DCGAN生成样本,右侧是PacGAN2生成样本,确实生成质量改善了。

原文地址:https://blog.csdn.net/lilai619/article/details/134682212

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_32320.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注