【科普时间到】—私人订制你的专属 “美图秀秀”

发布时间:  |  来源:OSA西光所分会  |  【      】  |  【打印】 【关闭

  自2014年生成对抗网络(Generative Adversarial Network)诞生以来,GAN已经迅速成为深度学习主流分支。GAN由生成器G(generator)和判别器D(discriminator)两个网络结构组成,核心机制为两个模块的对抗博弈过程。打个比方,生成器是一名画家,司职仿制名画作,而判别器就是鉴画师,负责鉴定画作是真是假,两者在训练中相互提升,相互博弈,以至最终鉴画师无法判断画作的真假而训练结束,达到以假乱真的效果。

  机器学习大佬Yann LeCun曾评价GAN是“20年来机器学习领域最酷的想法”,可见其魅力之大,自己简单整理如下图:

  概率论知识自然少不了,下图中,黑色曲线是真实样本的概率分布函数,绿色曲线是虚假样本的概率分布函数,而蓝色曲线是判别器D的输出,它的值越大表示这个样本越有可能是真实样本。通过对抗训练我们可以看到, 黑线和绿线最后几乎重合,模型达到最优状态,这时D的输出对于任意样本都是0.5,意味着判别器以及无法对生成器的样本进行判别,详细公式推导欢迎阅读原论文。

  GAN衍变过程中,CycleGAN绝对是浓墨淡彩的一笔。CycleGAN看做是两个镜像对称的GAN构成了一个环形网络,里面共享两个生成器G、F,而且有两个判别器,损失函数同样进行了改进,除了原有的GAN损失,还引入了新的循环一致损失,两个损失结合在一起就是我们目标的损失函数。

  历史中许多名画造假者费尽毕生的心血,试图模仿出艺术名家的风格。如今,凭借CycleGAN风格迁移就可以实现这个神奇的功能,利用这个功能同样可以定制专属自己风格的“美图秀秀”。

  下面是自己训练的测试图片,上面是夏天-冬天的风格迁移,意味着我们只需要拍摄一张夏天景色的照片,依靠生成对抗网络GAN提前学习好冬天的风格特征,就可以自动生成该景色冬天的雪景照片,更关键的是独一无二,因为训练集可以自行筛选,专属你自己。

  下图中展示了实现猫-狗风格迁移,通过GAN提前学习好狗的风格特征,我们只需要传入猫的照片,就可以进行风格迁移,在保留猫的姿态五官的情况下生成对应的狗图片。除此之外,CycleGAN同样可以实现梵高-莫奈,或是真人-卡通的风格迁移,经过轻量化网络后很方便的应用在修图软件之中,我们熟知的腾讯,美图,抖音等公司都有落地应用。与其使用广为流传的app,为何不定制一个属于自己的“美图秀秀”呢?

  

 

  参考文献

  [1] Zhu J Y, Park T, Isola P,et al. Unpaired Image-to-Image Translation using Cycle - Consistent Adversarial Networks[J].2017.

  [2] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio. Generative adversarial nets. In NIPS, 2014. 2, 3, 4, 7