NIPS selected paper :用於序列生成的推敲網路

Topic: Deliberation Networks: Sequence Generation Beyond One-Pass Decoding 

螢幕快照 2018-02-08 上午5.40.16

Figure 1. 推敲網路(Delibration network)的架構圖. 如圖藍色部分是編碼器(encoder), 右邊黃色部份是第一層解碼器(First-pass decoder).  綠色部分是第二層解碼器. 推敲網路主要是架在第二層解碼器(Second-pass decoder)上.

Editor:  Youngmi Huang

Resources:   paper    中文post    video

Label: NLP, RNN,NMT, Deliberation network

大意

這是微軟亞洲研究院這次在NIPS投稿的paper, 有作者video解釋. 就是將傳統用於自然語言序列生成的encoder decoder, 加入了推敲網路(Delibration network)增強了解碼器的部分. 讓序列的輸出經過潤色.

  • 解決的問題:主要分為兩個部分:機器翻譯、文本摘要
  • 怎麼解?在解碼器(decoder的部分)加入推敲網絡
  • 衡量指標:機器翻譯(BLEU值)、文本摘要(ROUGE值)
以下針對機器學習(Neural Machine Translation)及文本摘要(Text summarization)部分做介紹:

機器翻譯

基於Encoder-Decoder的框架在包含機器翻譯的序列生成模型上有很好的表現並很廣泛被運用。此論文參考人類思考文章潤飾的過程,就是會先寫一篇草稿之後再經過修改潤飾等過程讓文章能更通順流暢. 所以在這裡新加入的推敲網路(deliberation)就等於是做潤飾的工作, 讓機械翻譯的結果能更流暢更接近人類的語法.  在解碼器的地方加入了推敲網路(相當於在解碼器的地方建構兩層),其中會使用第一階段的解碼器生成一個原始序列,同時加入了attention機制(encoder→decoder1),也就是decoder端在每一個動態都會關注encode, 產生一個比較原始的序列;然後再使用一個第二階段解碼器來潤色這個原始序列(decoder1 →decoder2)。在推敲過程當中的產出是使用 Beam search 的方法,不僅看當前概率最大的詞語,而是看整個 topic K的聯合概率,有別於 Greedy search(只看當前機率最大的詞語)。 在這裡也使用兩種不同的網絡結構評估推敲網絡:(1) 淺模型,基於名為 RNN 的單層GRU 模型(2)深度模型,基於類似於 GNMT 的深度LSTM 模型

這篇文章用了兩個資料集, 第一個是英文翻譯成法文的資料集(英文→法文) , 另一個是中文翻譯成英文(中→英)來評量推敲網路的表現。這兩類模型都是在 Theano 中實現的。成果:在中→英有BLEU值的提升;並在 WMT’14 (英文→法文) 的文本當中取得了目前最好的BLEU值(41.5),超越了google的 GNMT (BLEU值=39.92)。

文本摘要 

文本摘要就是將長文章歸納為短摘要的任務。文本摘要使用一般方法處理通常文章越長效果會越不好, 原因在於只會使用到過去生成的輸入序列, 而無法使用未來尚未生成的詞. 但推敲網路的加入讓我們在序列解碼過程中能使用到全局信息. 直觀解釋就是當我們閱讀一篇文章時如果有個詞或句子不懂, 我們不但會利用前文的內容幫助瞭解同時也會參考後文. 這裡就是推敲網路全局信息的概念. 因為文本摘要可以使用編碼器-解碼器框架,因此也可以使用推敲網絡來精細處理。在Gigaword 數據集(英文文本摘要當中很常使用的)上的實驗結果表明推敲網絡可以將ROUGE-1、ROUGE-2 和ROUGE-L 分別提升3.45、1.70 和3.02。

未來研究方向

(1) 推敲網絡應用在 image領域
(2) 將推敲網絡架設於不同類型的神經網絡 (此次為RNN encoder-decoder 應用於 seq2seq模型)
(3) 加多層、細化的推敲網絡

Editor:  Youngmi Huang
清大畢業生,目前在金融業從事數據科學領域,包含了分析、研究應用、實作開發等面向,自學 Python 以及機器學習,主要沈浸在 NLP 領域。

Review: George

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s