Tag: Transfer Learning

Learned in Translation: Contextualized Word Vectors

Dosudo deep learning newsletter #3

a4Editor:     Howard Lo

Resources:     原始post   MIT Tech review   Blog   paper    Github

在目前 Computer Vision 的領域中，尤其是 Deep Learning，我們很常會使用 pretrain 在 ImageNet 上的 CNN (e.g. VGGNet) 中的 weights 來初始化我們自己 model 中的 layers，再針對我們的 task 做 fine tune，這也就是所謂的 “Transfer Learning” 的一種，好處是避免機器從頭開始學習，讓學習速度能夠更快，而且常常也有效能上的提升。再來，對應到 Natual Language Processing 的領域中，我們也會拿 Word2Vec 或是 GloVe 等等 pretrain 好的 word vectors 來初始化我們 neural network 的第一層 layer (embedding matrix)。這次，來自 Salesforce Research 團隊發現可以預先使用 pretrain 在 Machine Translation 的 model，再拿它的 context vectors 給其他 NLP 相關的 tasks 會比單純只用 pretrained word vector 有明顯的效能提升，得益於現有的 Machine Translation 豐富的語料庫，得以讓 word vector 更進一步的融合 context 的訊息，大家不妨可以試試看喔！

 

回到  Dosudo newsletter #3