Reading Wikipedia to Answer Open-Domain Question

Dosudo deep learning newsletter #3

a3

Editor:     Howard Lo

Resources:     FB post   Paper    Github

在 Natural Language Processing (NLP) 的研究領域中,其中一項相當熱門的研究就是 Question Answering (QA),而在今年的 NLP 頂尖國際會議 ACL 2017,Facebook AI Research 公佈了他們目前 QA 最新的研究 “Reading Wikipedia to Answer Open-Domain Question”,除此之外還開源了程式碼 DrQA 供大家使用,從結果中看起來還滿不錯的,讓我們就來看看他們是怎麼做的吧!

如論文標題,給定一個由自然語言描述的 open-domain 的問題,機器要能夠在大量 documents 中找出對應 question 的 answer,作者將這種任務描述為 “Machine Reading at Scale”。系統架構如上圖,DrQA 主要有兩個 components,一個是 “Document Retriever”,用來找出與問題相關的 documents;另一個是 “Document Reader”,從 retriver 給的 documents 中找出問題的答案。

首先,Document Retriever 會將 question 以及 document 都使用 hashed bigram counts 來表示成 feature vector, 並且基於這個 feature vector 從大量 documents 中把 5 個跟 question 相近的 documents 給挑出來,之後再交給 Document Reader 從中找出問題的答案,此部分主要是希望能夠減少處理大量 text 的時間。再來是 Document Reader 的部分,作者使用 multi-layer bidirectional LSTM 將 document 中每一個 paragraph 中的每個字 encode 成一個 vector (在每個字輸入給 LSTM 之前,會先轉換成 feature vector,在下面會詳述),而 question 也會被另一個 LSTM 給 encode 成一個 vector。最後分別訓練兩個 classifers,input 為 paragraph vector 以及 question vector,兩個 classifers 的 outputs 分別為答案出現在 text 中的起始位置以及結束位置的機率,並且在訓練時去 maximize 兩個機率的 product。

這邊我們稍微解釋一下 paragraph encodingquestion encoding 怎麼做,作者使用 pretrained word embedding 將每個字轉成 300 維的 vector (他們是使用 GloVe),並且還特別 fine-tuned 前1000 個出現次數最多的字。這個技巧在許多 NLP + Machine Learning 相關的 tasks 中都會常常見到,大部分也都能有效能上的提升,依照作者的解釋,他們認為許多關鍵字如 “what”, “how”, “which” 這些常見字等基於 QA corpus 再去做 fine-tuned 會有更好的 representation,再來還有許多至為關鍵的 hand-craft features,像是 paragraph 中的字有沒有出現在 question 中、每個字的 POS (Part-Of-Speech)、NER (Name Entity Recognition)、 normalized TF weight 以及 aligned question embedding 等等,最後將每個字轉成上述所談到的 feature vector 後再當作 LSTM 的 input 做對每個 word feature vector 再做一次 encoding。

由於有些 datasets 只是 question-answer pair,而沒有伴隨著 document,因此作者也使用 distant supervision 的方式來產生對應 question-answer pair 的 documents 作為訓練資料,更多詳細的部分就請有興趣的讀者去看他們的 paper 囉!

 

回到  Dosudo newsletter #3

 

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s