DeepMind的新predictive map論文系列(1/3) – 空間神經科學

Topic: The hippocampus as a predictive map

Neurological-Sense-of-Place

Editor:  George.Wu

Resources:    中文post    Paper

Label:   reinforcement learning, predictive learning, long-term reward

導言:

目前深度學習模型幾乎都需要龐大的數據耗費很長的時間進行訓練來學習, 但相比之下人類能從一兩件事物就能進行有效學習. 由此可知在學習的機制及演算法上深度學習還有很大的進步空間. 日前 Geoff Hinton提到對BP演算法的不滿, 及Yann Lecun在演講多次提倡的Predictive learning都是為了改進這方面的不足. 這週DeepMind團隊在Nature Neuroscience發表的最新論文[1]就提出了基於強化學習(reinforcement learning)並結合大腦海馬體的認知地圖理論發展出來的predictive map(預測地圖), 能在學習機制上提供有效的長期反饋(long-term reward)而進行對未來的評估及決策. 

因為這篇論文牽涉到比較多的神經科學背景, 也主要承襲DeepMind的前一篇強化學習論文(The successor representation in human reinforcement learning)[2], 在這裡我將分成三部分介紹這篇predictive map論文. 在第一篇我將以生物學角度介紹相關的空間神經科學理論, 第二篇則是講強化學習中的successor representation, 而在最後一篇則仔細解釋predictive map(預測地圖)是什麼.

空間神經科學:

近年來的研究顯示動物尤其是哺乳動物的大腦內其實有精密的GPS系統, 從原始的線蟲感受氣味的gradient而進行導航, 某些動物透過神經系統根據相對於出發點的行進方向及速度計算當前的位置(這種在環境中自體定位的機制被稱為 Path integration)[3], 到哺乳動物更複雜的導航機制 – Mental map. 類似這樣的定位機制主要的研究對象是大鼠研究, 透過紀錄個體行進的路徑, 以及大腦特定細胞對環境的刺激反饋, 逐漸了解可能參與定位機制的部位及細胞, 以及可能的機制.

螢幕快照 2017-10-05 下午3.06.47.png

位置細胞(space cell) – 海馬體內負責建構空間地圖的細胞群

在過去的理論認為動物會透過反覆的記憶走過的路徑, 譬如迷宮內嘗試過的行走路徑, 而可視化迷宮的地圖而達成定位機制. 但1918-1954年間Berkeley心理系的教授Edward C. Tolman針對這方面做了很多實驗. 他觀察到有些個體即使只走過幾次也學習到在迷宮內走捷徑, 這就代表即使沒有反覆的嘗試不同路徑也能進行定位. 而他提出的新假說就是動物其實有能力在大腦內透過想像形成內部認知地圖(Mental map)[4]. 這假說在1970年代因能監控單個神經元的微電極而得到證實. 倫敦大學的John O’Keefe教授用微型電極監測了大鼠海馬體(hippocampus)中的電位變化, 在實驗中證實了當在房間中的大鼠待在某些位置時, 海馬體內的某些神經元會放電. 這些神經元被稱為位置細胞(space cell)[5]. 實驗也證實了這些放電的pattern 及順序能共同反應出走過的路徑以及環境地圖, 這些神經元網路形成了對應外界環境的空間地圖, 並能由這空間地圖進一步規劃未來的行程.

 

螢幕快照 2017-10-05 下午3.10.29.png

網格細胞 (Grid cell) – 內嗅皮層內負責標定出個體位置及空間標尺的細胞群

生物體內的GPS定位機制除了需要位在海馬體的位置細胞之外, 也需要內嗅皮層(entorhinal cortex) 中的網格細胞. 簡單來說, 網格細胞負責定位與導航, 標定出個體在空間座標軸中的位置, 而位置細胞則負責建構空間地圖. 在2002年Moser夫婦的團隊將微型電極放置在與位置細胞連接的內嗅皮層中, 發現置於房間中某些特定地點的大鼠在內嗅皮層中的某些細胞群也同樣有放電現象, 而且驚人的是這些細胞群呈現規則的六邊形幾何形狀. 這些細胞群被稱為網格細胞(Grid cell)[6], 而且內嗅皮層從頂端到底層的網格細胞有規則的尺寸變化. 六邊形內的細胞間距往下移一層就會乘以1.4的距離, 而且放電現象也是有同樣的空間規律性. 這樣有規律可預測的網格細胞組織及特性提供了生物體在房間中能擁有空間尺度並可標定出空間座標軸的能力.

 

螢幕快照 2017-10-05 下午3.19.00.png

2014年諾貝爾醫學獎

John O’Keefe教授發現的位置細胞及Moser夫婦發現的網格細胞共同構成了大腦中的定位系統, 三人也因為這結果共同獲得 2014年諾貝爾醫學獎. 感知位置和導航能力是最基本的大腦功能,對位置的感知能夠令人知道自己所處的環境以及自己與周圍物體的關係。他們的研究促使更多的科學家在包括人類在內的很多哺乳動物身上發現位置細胞和網格細胞組成的定位系統,而對定位過程的研究,也為揭示大腦在認知過程中如何計算開啟了新的途徑。

 

螢幕快照 2017-10-05 下午3.09.10

內嗅皮層內部的頭部方向細胞 (head direction cell), 邊界細胞 (border cell), 速度細胞(velocity cell), 以及向量細胞(vector cell)

內嗅皮層中除了網格細胞之外還有一群細胞被稱為頭部方向細胞(head direction cell). 在房間中的大鼠在頭部轉向不同方向時, 不同的頭部方向細胞會被激發. 舉例來說, 當大鼠面朝前方時, 頭朝前方的那群頭部方向細胞就會被激發. 這些在內嗅皮層中的細胞提供了生物自帶指南針的效果. 邊界細胞(border cell)則是在內嗅皮層中另一群細胞群,當大鼠放置在房間中當接近房間的邊界時則會被激發. 而速度細胞(velocity cell)則能提供大鼠運動時的速度標尺, 而向量細胞(vector cell)則是在埃及果蝠的腦部導航系統實驗中被發現的. 向量細胞能標示出相對於地標的特定距離特定方向.

 

螢幕快照 2017-10-05 下午3.09.22

位置細胞與網格細胞如何組成生物體的定位系統

結合前面幾段的討論, 內嗅皮層內有數種細胞群包括網格細胞, 頭部方向細胞, 邊界細胞, 速度細胞, 以及向量細胞能提供生物體關於個體在房間內的一些空間資訊如空間標尺, 方向, 邊界, 速度等資訊, 而一開始提到的海馬體內的位置細胞則有形成空間地圖的能力, 那他們之間是如何互動的? 目前這複雜的交互作用仍然有很多不同的理論及假說需要進一步的實驗做驗證. 不過最簡單的講法就是透過內嗅皮層內的網格細胞及其他細胞提供的空間資訊, 讓位置細胞能產生空間地圖. 還有一些有趣的性質也值得提一下,  假如實驗中的大鼠進入了許多不同的房間, 在每個房間位置細胞都會重新產生空間地圖, 所以即使是類似的房間只是顏色不一樣也會有差異很大的空間地圖. 但在內嗅皮層內的網格細胞及其他(頭部方向細胞, 邊界細胞…) 差異倒不大. 譬如這個房間的東邊跟另外一個房間的東邊是幾乎相同的細胞群被激發. 那如果是在開放空間或更大的房間呢? 有研究顯示位置細胞會自行將這大空間分割成很多獨立的空間地圖, 之後再組合成一個更大的空間地圖. 至於詳細如何組合就需要更多的實驗及理論去進行研究了.

 

生物體的定位系統與記憶力

前面提到了生物體有位置細胞與網格細胞共同合作組成定位系統. 研究還進一步發現海馬體還能將記憶的事物與定位系統關聯起來. 譬如你要下班前往學校接小孩, 這事件就會與空間地圖連結起來. 這就類似於一開始Edward C. Tolman提到的內部認知地圖(Mental map). 這方面的機制目前也在研究中. 在今年的三月, Nature一篇Mapping of a non-spatial dimension by the hippocampal–entorhinal circuit[7]的文章指出這由位置細胞與網格細胞共同合作組成定位系統還參與更多的認知與學習的功能. 而在DeepMind這篇最新的論文中, 也指出這系統不只有定位功能還兼具預測未來決策的預知地圖(predictive map)的功能. 

Reference:

[1] Stachenfeld, Kimberly Lauren, Matthew M. Botvinick, and Samuel J. Gershman. “The hippocampus as a predictive map.” bioRxiv (2017): 097170.

[2] Momennejad, Ida, et al. “The successor representation in human reinforcement learning.” bioRxiv (2017): 083824.

[3] Kimchi, Tali, Ariane S. Etienne, and Joseph Terkel. “A subterranean mammal uses the magnetic compass for path integration.” Proceedings of the National Academy of Sciences of the United States of America 101.4 (2004): 1105-1109.

[4] Tolman, Edward C. “Cognitive maps in rats and men.” Psychological review 55.4 (1948): 189.

[5] O’keefe, John, and Lynn Nadel. The hippocampus as a cognitive map. Oxford: Clarendon Press, 1978.

[6] Hafting, Torkel, et al. “Microstructure of a spatial map in the entorhinal cortex.” Nature 436.7052 (2005): 801.

[7] Aronov, Dmitriy, Rhino Nevers, and David W. Tank. “Mapping of a non-spatial dimension by the hippocampal–entorhinal circuit.” Nature543.7647 (2017): 719-722.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s