通過對抗訓練從模擬與無監督圖像中學習

Topic: Learning from simulated and unsupervised images through adversarial training

Dosudo deep learning newsletter #4

Editor:  George.Wu

Resources:    Paper link     Github1      Github2

label:    Weak supervision,   Adversarial learning

2017  CVPR best paper

作為頻果AI team 的第一篇公開發佈的paper, Learning from Simulated and Unsupervised Images through Adversarial Training (通過對抗訓練從模擬與無監督圖像中學習) 拿到了2017 CVPR的最佳paper. 深度學習圖像處理領域通常需要大量標示過的圖像進行訓練, 而過去這工作需要耗費大量的人力進行標注. 而另外一種替代方式就是用模式生成圖片(合成圖片synthetic images)當作訓練資料. 但傳統的合成圖片和真實圖片還是有差異, 這樣會造成用合成圖片訓練的模型效果降低很難應用到真實場景.

這篇paper提出一種模擬+無監督學習的方法（Simulated+Unsupervised learning，S+U）提升合成圖片的真實程度稱為SimGAN. 簡單而言之, 就是利用改良式的生成對抗網路GANs 將合成圖片提升至真實圖片的品質.  基本的GAN的Generator(G) 輸入值是隨機向量, 而在這裡將Generator(G)改成Refiner(R), 而輸入則變成是合成圖片. Discriminator (D)則是訓練來分辨真實圖片(Unlabeled real images)及經過Refiner(R)提升過的合成圖片(Refined synthetic images). 透過共訓練的方式讓合成圖變越來越接近真實圖片的品質. 除了這之外也對一些部分做了改進, 譬如將GANs 原本的目標函數adversarial loss 改成結合adversarial loss 及self-regularization loss.  另外為了改善原本GANs 訓練過程的不穩定, 將Discriminator 的接收域從整張圖片變成數個局部區域. 以及利用不只單張refined image 而是包含過往的refined images去訓練Discriminator.

這方法被證實在視線估計(Gaze estimation), 以及手勢估計(hand pose estimation)的案例中, 合成圖片方面都展現了顯著的提升. 而且在沒有任何以標註的真實圖片情況下, 在MPIIGaze dataset 資料及展現很好的效果.