Optimizing the Latent Space of Generative Networks (GLO)

Dosudo deep learning newsletter #3

a5

Editor:   Hubert Lin

Resources:     Paper   Yann LeCun post

GAN 是近年最受關注的架構之一,同時也以極難訓練、調整而聞名,訓練困難的肇因是生成器 G (generator) 與分辨器 D (discriminator) 的訓練目標相違背,形成特殊的 saddle point optimization 問題,在訓練過程中要不斷在 generator 的「 minimize 生成結果與真實 data 的差異」與 discriminator 的「maximize 分辨是生成結果還是真實 data 的分辨能力」之間切換,因 saddle point 的不穩定性而造成訓練困難。

Continue reading “Optimizing the Latent Space of Generative Networks (GLO)”

Learned in Translation: Contextualized Word Vectors

Dosudo deep learning newsletter #3

a4Editor:     Howard Lo

Resources:     原始post   MIT Tech review   Blog   paper    Github

在目前 Computer Vision 的領域中,尤其是 Deep Learning,我們很常會使用 pretrain 在 ImageNet 上的 CNN (e.g. VGGNet) 中的 weights 來初始化我們自己 model 中的 layers,再針對我們的 task 做 fine tune,這也就是所謂的 “Transfer Learning” 的一種,好處是避免機器從頭開始學習,讓學習速度能夠更快,而且常常也有效能上的提升。再來,對應到 Natual Language Processing 的領域中,我們也會拿 Word2Vec 或是 GloVe 等等 pretrain 好的 word vectors 來初始化我們 neural network 的第一層 layer (embedding matrix)。這次,來自 Salesforce Research 團隊發現可以預先使用 pretrain 在 Machine Translation 的 model,再拿它的 context vectors 給其他 NLP 相關的 tasks 會比單純只用 pretrained word vector 有明顯的效能提升,得益於現有的 Machine Translation 豐富的語料庫,得以讓 word vector 更進一步的融合 context 的訊息,大家不妨可以試試看喔!

 

回到  Dosudo newsletter #3

Reading Wikipedia to Answer Open-Domain Question

Dosudo deep learning newsletter #3

a3

Editor:     Howard Lo

Resources:     FB post   Paper    Github

在 Natural Language Processing (NLP) 的研究領域中,其中一項相當熱門的研究就是 Question Answering (QA),而在今年的 NLP 頂尖國際會議 ACL 2017,Facebook AI Research 公佈了他們目前 QA 最新的研究 “Reading Wikipedia to Answer Open-Domain Question”,除此之外還開源了程式碼 DrQA 供大家使用,從結果中看起來還滿不錯的,讓我們就來看看他們是怎麼做的吧!

Continue reading “Reading Wikipedia to Answer Open-Domain Question”

Review: Neuroscience-Inspired Artificial Intelligence

Dosudo deep learning newsletter #3

a2

Editor:     George.Wu

Resources:    Paper    Deepmind blog

AI及Deep learning很多的概念都來自於神經科學的研究, DeepMind的Hassabis甚至直言AI的未來就是神經科學. 這是DeepMind 發表在Neuron journal的review文章整理的很好值得一看, 詳述人工智慧與神經科學之間在過去現在與未來的關係. Neuroscience-Inspired Artificial IntelligenceNeuroscience-Inspired Artificial Intelligence. 文中整理了過往AI是如何從神經科學中擷取靈感而被發明, 到現今他認為未來AI 發展的關鍵, 尤其是將來的human-level 通用性AI, 就是在於對神經科學的更深層認識.

Continue reading “Review: Neuroscience-Inspired Artificial Intelligence”

最後一屆ImageNet大規模視覺識別大賽(ILSVRC2017) 順利落幕, 而WebVision圖像大賽會是下一個ImageNet大賽嗎?

Dosudo deep learning newsletter #3

a1

Editor:  林之昫(Chih-Hsu Jack Lin)HubertLin

Resources:  原始post   中文post    ImageNet    Webvision challenge

ImageNet Large Scale Visual Recognition Challenge 簡稱 ILSVRC,大規模視覺辨識競賽,是全世界電腦視覺領域高手一爭高下的比賽。從2010年開始每年舉辦一次,今年是最後一屆。2017年比賽分三個項目:(1) object detection:辨識圖片中的物體名稱;(2) object localization:辨認物體並框出圖片中的物體位置; (3) object detection from video:辨認影片中的物體名稱。各項冠軍分別是(1)南京信息工程大學和倫敦帝國學院(Imperial College London)的 BDAT 團隊,(2)依物體分辨率:Momenta 與牛津大學的 WMW 團隊;依定位正確度:新加坡國立大學(National University of Singapore)與奇虎360的 NUS-Qihoo_DPNs 團隊;(3)倫敦帝國學院(Imperial College London)與 雪梨大學(University of Sydney)的 IC&USYD 團隊。

Continue reading “最後一屆ImageNet大規模視覺識別大賽(ILSVRC2017) 順利落幕, 而WebVision圖像大賽會是下一個ImageNet大賽嗎?”