NIPS selected paper :用於序列生成的推敲網路

Topic: Deliberation Networks: Sequence Generation Beyond One-Pass Decoding 

螢幕快照 2018-02-08 上午5.40.16

Figure 1. 推敲網路(Delibration network)的架構圖. 如圖藍色部分是編碼器(encoder), 右邊黃色部份是第一層解碼器(First-pass decoder).  綠色部分是第二層解碼器. 推敲網路主要是架在第二層解碼器(Second-pass decoder)上.

Editor:  Youngmi Huang

Resources:   paper    中文post    video

Label: NLP, RNN,NMT, Deliberation network

大意

這是微軟亞洲研究院這次在NIPS投稿的paper, 有作者video解釋. 就是將傳統用於自然語言序列生成的encoder decoder, 加入了推敲網路(Delibration network)增強了解碼器的部分. 讓序列的輸出經過潤色.

Continue reading “NIPS selected paper :用於序列生成的推敲網路”

Advertisements

Learned in Translation: Contextualized Word Vectors

Dosudo deep learning newsletter #3

a4Editor:     Howard Lo

Resources:     原始post   MIT Tech review   Blog   paper    Github

在目前 Computer Vision 的領域中,尤其是 Deep Learning,我們很常會使用 pretrain 在 ImageNet 上的 CNN (e.g. VGGNet) 中的 weights 來初始化我們自己 model 中的 layers,再針對我們的 task 做 fine tune,這也就是所謂的 “Transfer Learning” 的一種,好處是避免機器從頭開始學習,讓學習速度能夠更快,而且常常也有效能上的提升。再來,對應到 Natual Language Processing 的領域中,我們也會拿 Word2Vec 或是 GloVe 等等 pretrain 好的 word vectors 來初始化我們 neural network 的第一層 layer (embedding matrix)。這次,來自 Salesforce Research 團隊發現可以預先使用 pretrain 在 Machine Translation 的 model,再拿它的 context vectors 給其他 NLP 相關的 tasks 會比單純只用 pretrained word vector 有明顯的效能提升,得益於現有的 Machine Translation 豐富的語料庫,得以讓 word vector 更進一步的融合 context 的訊息,大家不妨可以試試看喔!

 

回到  Dosudo newsletter #3

Reading Wikipedia to Answer Open-Domain Question

Dosudo deep learning newsletter #3

a3

Editor:     Howard Lo

Resources:     FB post   Paper    Github

在 Natural Language Processing (NLP) 的研究領域中,其中一項相當熱門的研究就是 Question Answering (QA),而在今年的 NLP 頂尖國際會議 ACL 2017,Facebook AI Research 公佈了他們目前 QA 最新的研究 “Reading Wikipedia to Answer Open-Domain Question”,除此之外還開源了程式碼 DrQA 供大家使用,從結果中看起來還滿不錯的,讓我們就來看看他們是怎麼做的吧!

Continue reading “Reading Wikipedia to Answer Open-Domain Question”