Optimizing the Latent Space of Generative Networks (GLO)

Dosudo deep learning newsletter #3

a5

Editor:   Hubert Lin

Resources:     Paper   Yann LeCun post

GAN 是近年最受關注的架構之一,同時也以極難訓練、調整而聞名,訓練困難的肇因是生成器 G (generator) 與分辨器 D (discriminator) 的訓練目標相違背,形成特殊的 saddle point optimization 問題,在訓練過程中要不斷在 generator 的「 minimize 生成結果與真實 data 的差異」與 discriminator 的「maximize 分辨是生成結果還是真實 data 的分辨能力」之間切換,因 saddle point 的不穩定性而造成訓練困難。

Continue reading “Optimizing the Latent Space of Generative Networks (GLO)”

Advertisements

Reading Wikipedia to Answer Open-Domain Question

Dosudo deep learning newsletter #3

a3

Editor:     Howard Lo

Resources:     FB post   Paper    Github

在 Natural Language Processing (NLP) 的研究領域中,其中一項相當熱門的研究就是 Question Answering (QA),而在今年的 NLP 頂尖國際會議 ACL 2017,Facebook AI Research 公佈了他們目前 QA 最新的研究 “Reading Wikipedia to Answer Open-Domain Question”,除此之外還開源了程式碼 DrQA 供大家使用,從結果中看起來還滿不錯的,讓我們就來看看他們是怎麼做的吧!

Continue reading “Reading Wikipedia to Answer Open-Domain Question”