英伟达年底放大招!发布超强图像生成器StyleGAN2

英伟达年底放大招!发布超强图像生成器StyleGAN2

今年年初,英伟达(NVIDIA)的研究工程师们公开了StyleGAN的源代码,并将其作为生成对抗网络的基于Style的生成器架构。 比如可以生成无数逼真的人脸: 还能让你看到从萝莉到御姐的变换过程是怎样的: 虽说功能强大,但毕竟是初代版本,难免有些瑕疵,现如今,升级版StyleGAN2

AI换脸黑产:100元打包200部换脸情色片
人工智能会抢走我们的工作吗?两位北大教授这样解读
AI如何改变人类社会的各种业务模式?

今年年初,英伟达(NVIDIA)的研究工程师们公开了StyleGAN的源代码,并将其作为生成对抗网络的基于Style的生成器架构。

比如可以生成无数逼真的人脸:

英伟达年底放大招!发布超强图像生成器StyleGAN2插图

还能让你看到从萝莉到御姐的变换过程是怎样的:

英伟达年底放大招!发布超强图像生成器StyleGAN2插图(1)

虽说功能强大,但毕竟是初代版本,难免有些瑕疵,现如今,升级版StyleGAN2诞生了,英伟达近日公开最新论文《Analyzing and Improving the Image Quality of StyleGAN》,通过对 StyleGAN 的生成效果分析,对不完美的工作设计了改进和优化方法,下面一起来看看都有哪些升级:

1、消除特征伪影

英伟达年底放大招!发布超强图像生成器StyleGAN2插图(2)

就如上图所示,StyleGAN图像中会出现类似水滴的伪影,这些在生成的时候虽然说没有很明显,但是问题总归是存在的,而且从生成64×64的图像开始就有了,分辨率越高,水滴现象就越严重。在StyleGAN2里面这个问题已经不存在了。

英伟达的研究人员重新设计了StyleGAN架构,研究了常见的斑点状artifacts的起源,并发现生成器创建它们是为了规避其架构中的设计缺陷。英伟达重新设计了生成器中使用的normalization,从而删除了artifacts。

英伟达年底放大招!发布超强图像生成器StyleGAN2插图(3)

如上图所示,(a)是原始StyleGAN架构,(b)展示了原始StyleGAN架构的细节,(c)是在原始架构里做了些许改动,(d)是修改后的架构。

改进完之后的效果如下:

英伟达年底放大招!发布超强图像生成器StyleGAN2插图(4)

已经没有了前面所说的伪影,同时保留了完全的可控性。

读懂 2020,AI 安防「术」与「势」丨年终盘点

过去一年,AI安防市场有实体经济的挣扎、AI新秀的锐利、资产泡沫的疯狂、相互之间的利益重构。AI ,数据,人工智能

湾区盒子BAYBOX——关注全球科技创新,助力中国湾区发展

2、生成细节改进

再来看看StyleGAN中采用的是Progressive Growing的训练方法,细节对位置有强偏好,特征发生移动时,位置不能随之发生相应的变化移动。

英伟达年底放大招!发布超强图像生成器StyleGAN2插图(5)

StyleGAN 2研究人员对其进行了优化,如上图所示,up和down分别表示双线性上、下采样。当牙齿或者眼睛等特征在图像上平滑移动时,它们可能会停留在原位,然后跳到下一个首选位置,下图显示了相关的伪像,生成人脸的五官特征可以同时变化。

英伟达年底放大招!发布超强图像生成器StyleGAN2插图(6)

英伟达年底放大招!发布超强图像生成器StyleGAN2插图(7)

总的来说,StyleGAN 2的改进如下:

生成的图像质量明显更好(FID分数更高、artifacts减少)

提出替代progressive growing的新方法,牙齿、眼睛等细节更完美

改善了Style-mixing

更平滑的插值(额外的正则化)

训练速度更快

是不是觉得很强大呢?想不想自己体验一番,最后附上相关地址:

论文地址:https://arxiv.org/pdf/1912.04958.pdf

Github地址:https://github.com/NVlabs/stylegan2

【编辑推荐】

  1. 英伟达开源自动驾驶AI算法,升级芯片性能7倍于Xavier
  2. Reddit最热:一个专门给不可描述照片加水印的APP被AI破解了!
  3. AI攻破高数核心,1秒内求解微分方程、不定积分,性能远超Matlab
  4. 一个老程序员的30年生涯回顾
  5. 爬了7W条视频评论,李子柒凭什么火遍全球?

【责任编辑:张燕妮 -】


0本文为转载,版权属各作者 并已注明作者。【湾区盒子BAYBOX】

2020 年聊天机器人将走向何方?

聊天机器人,会是未来商业新形态吗?最早的聊天机器人可以追溯到 1966 年的麻省理工学院开发的 ELIZA,聊天机器人已经问世 53 年了。但几经沉浮,聊天机器人并没有像开发者们最初的设想那样:取代人类,赋予人格。人工智能,机器人,数据

0