NIPS selected paper :用於序列生成的推敲網路

Topic: Deliberation Networks: Sequence Generation Beyond One-Pass Decoding 

螢幕快照 2018-02-08 上午5.40.16

Figure 1. 推敲網路(Delibration network)的架構圖. 如圖藍色部分是編碼器(encoder), 右邊黃色部份是第一層解碼器(First-pass decoder).  綠色部分是第二層解碼器. 推敲網路主要是架在第二層解碼器(Second-pass decoder)上.

Editor:  Youngmi Huang

Resources:   paper    中文post    video

Label: NLP, RNN,NMT, Deliberation network

大意

這是微軟亞洲研究院這次在NIPS投稿的paper, 有作者video解釋. 就是將傳統用於自然語言序列生成的encoder decoder, 加入了推敲網路(Delibration network)增強了解碼器的部分. 讓序列的輸出經過潤色.

Continue reading “NIPS selected paper :用於序列生成的推敲網路”

在不完全信息博弈的德州撲克擊敗人類對手的AI

Topic:  Safe and Nested Subgame Solving for Imperfect-Information Games

5TvZJU2b7a0w0

Editor: George Wu

Resources:   NIPS paper   Science paper   video   中文post

Label:  game theory, Imperfect-Information, Nash equilibrium

簡介

這篇論文是之前卡內基團隊推出的著名的德州撲克 AI (Libratus)大勝四位頂級玩家的不完全信息博弈的paper. 由於是不完全信息所以無法用精確的博弈理論求解, 近似方法就是把遊戲分成很多小局分別求解, 這手段稱為子博弈求解(subgame solving). 這篇論文提出在理論及實際上都比之前更好的子博弈求解方法.

Continue reading “在不完全信息博弈的德州撲克擊敗人類對手的AI”

Capsule Networks(CapsNets)帶給了我們什麼? 從Geoffrey Hinton談起 (1/2)

Topic:  Dynamic Routing Between Capsules

螢幕快照 2017-12-01 上午11.45.47

Editor: George Wu

Resources: paper 中文post

Label: Geoffrey Hinton

大意:

已經有不少介紹Capsule Networks的文章, 也有很多關於 Capsule Networks性能和CNN, Back propagation等的各種討論與比較. 但真的了解Capsule Networks 其實我們應該從Geoffrey Hinton的背景去了解. 直接講結論, 目前主流的CNN, RNN等網路架構搭配上back propagation已經可以不錯的處理目前處理的影像, 語音, 自然語言等領域的問題, 也有很多方案解決參數不穩定, 梯度消失等各式問題. 但Capsule Networks在未來Unsupervised learning, Predictive learning, 以及朝向Strong AI的路上必然是更有利的架構. 在這裡我將Capsule Networks分成兩篇來介紹, 第一篇著重在介紹Geoffrey Hinton以及CapsNets概念的緣起背景, 以及CapsNets能帶給了我們什麼, 並結合認知科學及神經科學去解釋CapsNets, 而第二篇才介紹細部的計算以及Capsule Networks程式碼的解說. 在這裡也特別致謝專訪時李宏毅老師的詳盡解說. 

Continue reading “Capsule Networks(CapsNets)帶給了我們什麼? 從Geoffrey Hinton談起 (1/2)”

CheXNet : 超越專業放射科醫生的肺部Xray醫學影像判讀技術

Topic:  CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning

螢幕快照 2017-11-17 下午4.55.38

Editor:  George Wu

Resources:    原始post    中文post    Paper    ChestX-ray14 dataset

Label:  Medical imaging, CNN

大意:

在這篇吳恩達及Stanford 團隊新的paper, 他們將深度學習技術應用在胸部正面X光片的肺炎判讀上, 結果顯判讀肺炎的準確率超越了人類專業放射科醫師. 他們使用了121層的CNN 深度捲積網路,並將之稱為CheXNet, 並用ChestX-ray14 dataset進行訓練. 而在test資料的比較上, CheXNet的判讀結果無論在sensitivity 以及specificity上都超過四位專業放射科醫師的平均判讀結果.

Continue reading “CheXNet : 超越專業放射科醫生的肺部Xray醫學影像判讀技術”

DeepMind的新predictive map論文系列(1/3) – 空間神經科學

Topic: The hippocampus as a predictive map

Neurological-Sense-of-Place

Editor:  George.Wu

Resources:    中文post    Paper

Label:   reinforcement learning, predictive learning, long-term reward

導言:

目前深度學習模型幾乎都需要龐大的數據耗費很長的時間進行訓練來學習, 但相比之下人類能從一兩件事物就能進行有效學習. 由此可知在學習的機制及演算法上深度學習還有很大的進步空間. 日前 Geoff Hinton提到對BP演算法的不滿, 及Yann Lecun在演講多次提倡的Predictive learning都是為了改進這方面的不足. 這週DeepMind團隊在Nature Neuroscience發表的最新論文[1]就提出了基於強化學習(reinforcement learning)並結合大腦海馬體的認知地圖理論發展出來的predictive map(預測地圖), 能在學習機制上提供有效的長期反饋(long-term reward)而進行對未來的評估及決策. 

因為這篇論文牽涉到比較多的神經科學背景, 也主要承襲DeepMind的前一篇強化學習論文(The successor representation in human reinforcement learning)[2], 在這裡我將分成三部分介紹這篇predictive map論文. 在第一篇我將以生物學角度介紹相關的空間神經科學理論, 第二篇則是講強化學習中的successor representation, 而在最後一篇則仔細解釋predictive map(預測地圖)是什麼.

Continue reading “DeepMind的新predictive map論文系列(1/3) – 空間神經科學”

Yann LeCun提出新的分類層級損失函數

Topic: Hierarchical loss for classification

螢幕快照 2017-09-22 下午10.43.49

Editor:  George.Wu

Resources:    中文post    Paper  

Label:   Lose function

在Yann LeCun的這篇新論文中, 摘要中的例子就很貼切的描述了這篇論文的主旨. 在分類問題中, 牧羊犬和獅子狗的關係應該比牧羊犬和摩天大樓要更接近, 而不是單純的屬於三種不同類別. 牧羊犬和摩天大樓的分類錯誤應該逞罰得更嚴重. 所以在這裡引入一種全新的指標 – 層級損失函數(hierarchical loss or win). 這指標的計算是基於一表達相似關係的樹狀結構 (ultrametric tree). Ultrametric tree 的定義是指具有ultrametric distance metric性質的樹狀結構, 也就是從樹中的所有葉子到根的距離都一樣.

Continue reading “Yann LeCun提出新的分類層級損失函數”

DeepMind 推出可關係推理的新型神經神經網路

Topic: A simple neural network module for relational reasoning

Dosudo deep learning newsletter #4

螢幕快照 2017-09-20 下午3.32.10

Editor:  Hubert

Resources:    Paper   Chinese post   Github

Label:   relational reasoning

在這篇 Deepmind 的論文中,目標是解決關係推理 (Relational reasoning) 的問題,如何根據輸入的非結構化數據 (例如:文字、圖像) 推理出數據內的關聯性。論文中描述了如何使用關係網絡 (RN) (Relation Networds) 進行 End-to-end training 、解決關係推理問題。

Continue reading “DeepMind 推出可關係推理的新型神經神經網路”