Optimizing the Latent Space of Generative Networks (GLO)

Dosudo deep learning newsletter #3

Editor:   Hubert Lin

Resources:     Paper   Yann LeCun post

GAN 是近年最受關注的架構之一，同時也以極難訓練、調整而聞名，訓練困難的肇因是生成器 G (generator) 與分辨器 D (discriminator) 的訓練目標相違背，形成特殊的 saddle point optimization 問題，在訓練過程中要不斷在 generator 的「 minimize 生成結果與真實 data 的差異」與 discriminator 的「maximize 分辨是生成結果還是真實 data 的分辨能力」之間切換，因 saddle point 的不穩定性而造成訓練困難。

Reading Wikipedia to Answer Open-Domain Question

Dosudo deep learning newsletter #3

Editor:     Howard Lo

Resources:     FB post   Paper    Github

在 Natural Language Processing (NLP) 的研究領域中，其中一項相當熱門的研究就是 Question Answering (QA)，而在今年的 NLP 頂尖國際會議 ACL 2017，Facebook AI Research 公佈了他們目前 QA 最新的研究 “Reading Wikipedia to Answer Open-Domain Question”，除此之外還開源了程式碼 DrQA 供大家使用，從結果中看起來還滿不錯的，讓我們就來看看他們是怎麼做的吧！