NIPS Test of time award : 深度學習是煉金術?

Topic: Deliberation Networks:Random Features for Large-Scale Kernel Machine

EditorChris Chien

Resources:   paper   video   中文post

Label: Kernel, Random features

螢幕快照 2018-02-13 下午1.03.46

 

大意:  

這篇經典論文獎的作者Ali Rahimi 在這次2017 NIPS大會引起的風波比論文本身更被人關注. 請參考深度學習才不是鍊金術事件. (另外一件大風波就是DeepMind的AlphaGo Zero受質疑事件). 這其實是三篇paper(2007, 2008, 2008)的彙總, 得獎主要是因為在深度學習剛起步時, 他證明了從數據中以一組函數代表, 然後調整這些函數的權重就可以有效降低loss function, 達成有效的映射.  

以下羅列本篇研究的核心架構:
  • 動機(WHY): 提升kernel machines(如SVM)的訓練效能
  • 方法(HOW): 分兩步驟,將input值降維後,傳遞給可快速求解的線性函數。其中,降維方法又分兩種(Random Fourier Features, Random Binning Features)。
  • 實作(WHAT): 針對大規模的分類與回歸(數值)求解問題,將應用在線性回歸的最小平方回歸法搭配經由Random Features和Random Binning Features所產生的特徵值,在求解時間與精準度上,可在不同情境下(資料量與維度多寡,詳見Figure 4.1),相近或優於當前領頭的kernel machines(kernel-based algorithms, CVM, SVM)。
本篇研究重點在於Random Fourier Features 及 Random Binning Features如何處理input值後,提供線性ML演算法合宜且有效率的求解程序
  • Random Fourier Features: 運用傅立葉轉換將input投射至一隨機的線條,並經由sinusoidal function傳送產製的純量。線條方向的組成是否遵從合宜的分配,將攸關轉換數值乘積的準確度。
  • Random Binning Features:  在隨機產製解析度的網格平面上,每一個input各自對應至一個網格,並以二進位元字串標示之(binary bit string)。
這種基於特徵轉換搭配線性求解方法的模式,未來可延伸至半監督式與監督式的案例分析。
螢幕快照 2018-02-13 下午1.05.27

 

Editor:  Chris Chien

“Hola, I am Chris Chien from Taiwan. As a lover of data science in the transportation field and with passion in exploring the beauty of big data, I would like to share and learn with people around the world.”

Review: George

 

 

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s