DeepMind的新predictive map論文系列(1/3) – 空間神經科學

Topic: The hippocampus as a predictive map

Editor:  George.Wu

Resources:    中文post    Paper

Label:   reinforcement learning, predictive learning, long-term reward

導言:

目前深度學習模型幾乎都需要龐大的數據耗費很長的時間進行訓練來學習, 但相比之下人類能從一兩件事物就能進行有效學習. 由此可知在學習的機制及演算法上深度學習還有很大的進步空間. 日前 Geoff Hinton提到對BP演算法的不滿, 及Yann Lecun在演講多次提倡的Predictive learning都是為了改進這方面的不足. 這週DeepMind團隊在Nature Neuroscience發表的最新論文[1]就提出了基於強化學習(reinforcement learning)並結合大腦海馬體的認知地圖理論發展出來的predictive map(預測地圖), 能在學習機制上提供有效的長期反饋(long-term reward)而進行對未來的評估及決策. 

因為這篇論文牽涉到比較多的神經科學背景, 也主要承襲DeepMind的前一篇強化學習論文(The successor representation in human reinforcement learning)[2], 在這裡我將分成三部分介紹這篇predictive map論文. 在第一篇我將以生物學角度介紹相關的空間神經科學理論, 第二篇則是講強化學習中的successor representation, 而在最後一篇則仔細解釋predictive map(預測地圖)是什麼.

Review: Neuroscience-Inspired Artificial Intelligence

Dosudo deep learning newsletter #3

Editor:     George.Wu

Resources:    Paper    Deepmind blog

AI及Deep learning很多的概念都來自於神經科學的研究, DeepMind的Hassabis甚至直言AI的未來就是神經科學. 這是DeepMind 發表在Neuron journal的review文章整理的很好值得一看, 詳述人工智慧與神經科學之間在過去現在與未來的關係. Neuroscience-Inspired Artificial IntelligenceNeuroscience-Inspired Artificial Intelligence. 文中整理了過往AI是如何從神經科學中擷取靈感而被發明, 到現今他認為未來AI 發展的關鍵, 尤其是將來的human-level 通用性AI, 就是在於對神經科學的更深層認識.