Optimizing the Latent Space of Generative Networks (GLO)

Dosudo deep learning newsletter #3

Editor:   Hubert Lin

Resources:     Paper   Yann LeCun post

GAN 是近年最受關注的架構之一，同時也以極難訓練、調整而聞名，訓練困難的肇因是生成器 G (generator) 與分辨器 D (discriminator) 的訓練目標相違背，形成特殊的 saddle point optimization 問題，在訓練過程中要不斷在 generator 的「 minimize 生成結果與真實 data 的差異」與 discriminator 的「maximize 分辨是生成結果還是真實 data 的分辨能力」之間切換，因 saddle point 的不穩定性而造成訓練困難。

Learned in Translation: Contextualized Word Vectors

Dosudo deep learning newsletter #3

Editor:     Howard Lo

Resources:     原始post   MIT Tech review   Blog   paper    Github

在目前 Computer Vision 的領域中，尤其是 Deep Learning，我們很常會使用 pretrain 在 ImageNet 上的 CNN (e.g. VGGNet) 中的 weights 來初始化我們自己 model 中的 layers，再針對我們的 task 做 fine tune，這也就是所謂的 “Transfer Learning” 的一種，好處是避免機器從頭開始學習，讓學習速度能夠更快，而且常常也有效能上的提升。再來，對應到 Natual Language Processing 的領域中，我們也會拿 Word2Vec 或是 GloVe 等等 pretrain 好的 word vectors 來初始化我們 neural network 的第一層 layer (embedding matrix)。這次，來自 Salesforce Research 團隊發現可以預先使用 pretrain 在 Machine Translation 的 model，再拿它的 context vectors 給其他 NLP 相關的 tasks 會比單純只用 pretrained word vector 有明顯的效能提升，得益於現有的 Machine Translation 豐富的語料庫，得以讓 word vector 更進一步的融合 context 的訊息，大家不妨可以試試看喔！

 

回到  Dosudo newsletter #3

Reading Wikipedia to Answer Open-Domain Question

Dosudo deep learning newsletter #3

Editor:     Howard Lo

Resources:     FB post   Paper    Github

在 Natural Language Processing (NLP) 的研究領域中，其中一項相當熱門的研究就是 Question Answering (QA)，而在今年的 NLP 頂尖國際會議 ACL 2017，Facebook AI Research 公佈了他們目前 QA 最新的研究 “Reading Wikipedia to Answer Open-Domain Question”，除此之外還開源了程式碼 DrQA 供大家使用，從結果中看起來還滿不錯的，讓我們就來看看他們是怎麼做的吧！

Review: Neuroscience-Inspired Artificial Intelligence

Dosudo deep learning newsletter #3

Editor:     George.Wu

Resources:    Paper    Deepmind blog

AI及Deep learning很多的概念都來自於神經科學的研究, DeepMind的Hassabis甚至直言AI的未來就是神經科學. 這是DeepMind 發表在Neuron journal的review文章整理的很好值得一看, 詳述人工智慧與神經科學之間在過去現在與未來的關係. Neuroscience-Inspired Artificial IntelligenceNeuroscience-Inspired Artificial Intelligence. 文中整理了過往AI是如何從神經科學中擷取靈感而被發明, 到現今他認為未來AI 發展的關鍵, 尤其是將來的human-level 通用性AI, 就是在於對神經科學的更深層認識.