NIPS selected paper :繼有名的CycleGAN之後又出現的BicycleGAN

Topic: Toward Multimodal Image-to-Image Translation

Editor: ChunHan Lu

Resources:   paper   中文post   video

Label: GAN

 

大意

CycleGAN 是2017年初出現最矚目的GANs 相關的研究 (在李宏毅老師的專訪中有解釋CycleGAN, 可以參考錄像的1hr 開始左右),  這次NIPS出現這篇BicycleGAN 處理的是多對多, 可以看成是兩種VAE GAN及conditional GAN的合併. 

TripleGAN – 包含判別器、生成器和分類器的三方生成對抗網路

Topic:  Triple Generative Adversarial Nets

Dosudo deep learning newsletter #4

Editor:  George Wu

Resources:  原始post   中文post   Github

Label:  GAN

生成對抗網路(GANs, Generative Adversarial Nets) 在很多應用上都展現了強大的能力譬如圖像生成以及半監督學習(SSL, semi-supervised learning). 但有些情況可能會造成GANs的效果不好譬如生成器Generator以及分類器Discriminator之間的競爭會造成學習過程不穩定, 以及在SSL問題中Generator無法生成特定類別的圖像或資料. 為了解決這些問題作者提出了一種新型態的生成對抗網路TripleGAN. 除了原有的Generator(G) 以及Discriminator(D)之外, 增加了一個Classifier(C). 讓原本GAN的兩方競爭轉變成判別器、生成器和分類器的三方博弈.

打破GAN神話, 基於端對端網路的高質量圖像生成

Topic: Photographic Image Synthesis with Cascaded Refinement Networks

Dosudo deep learning newsletter #4

Editor:  George Wu

Resources:    原始post   中文post    Paper    Github    video

Label: Image synthesis, GAN, End-to-end, Semantic segmentation

近年來在圖像或影片生成上大部分都是利用生成對抗網路GANs, 譬如有圖像生成圖像的 iGAN [1], pix2pix[2] , 或語意生成圖像的StackGAN [3][4]等等. 但在今年的ICCV 2017 出現一篇備受矚目的直接用端對端的方式生成高質量圖像的方法. 它的原理等於是圖像的語意分割(Semantic image segmentation)的逆向操作, 從圖像的語意分割直接生成照片級圖像.

通過對抗訓練從模擬與無監督圖像中學習

Topic: Learning from simulated and unsupervised images through adversarial training

Dosudo deep learning newsletter #4

Editor:  George.Wu

Resources:    Paper link     Github1      Github2

label:    Weak supervision,   Adversarial learning

2017  CVPR best paper

作為頻果AI team 的第一篇公開發佈的paper, Learning from Simulated and Unsupervised Images through Adversarial Training (通過對抗訓練從模擬與無監督圖像中學習) 拿到了2017 CVPR的最佳paper. 深度學習圖像處理領域通常需要大量標示過的圖像進行訓練, 而過去這工作需要耗費大量的人力進行標注. 而另外一種替代方式就是用模式生成圖片(合成圖片synthetic images)當作訓練資料. 但傳統的合成圖片和真實圖片還是有差異, 這樣會造成用合成圖片訓練的模型效果降低很難應用到真實場景.