Yann LeCun提出新的分類層級損失函數

Topic: Hierarchical loss for classification

螢幕快照 2017-09-22 下午10.43.49

Editor:  George.Wu

Resources:    中文post    Paper  

Label:   Lose function

在Yann LeCun的這篇新論文中, 摘要中的例子就很貼切的描述了這篇論文的主旨. 在分類問題中, 牧羊犬和獅子狗的關係應該比牧羊犬和摩天大樓要更接近, 而不是單純的屬於三種不同類別. 牧羊犬和摩天大樓的分類錯誤應該逞罰得更嚴重. 所以在這裡引入一種全新的指標 – 層級損失函數(hierarchical loss or win). 這指標的計算是基於一表達相似關係的樹狀結構 (ultrametric tree). Ultrametric tree 的定義是指具有ultrametric distance metric性質的樹狀結構, 也就是從樹中的所有葉子到根的距離都一樣.

在這裡用個具體的例子解釋如何計算層級損失函數. 如上圖所示每個節點包括根部及葉都有一個概率P, 例如A類的概率為P1, 而根部的概率為P = P1+P2+P3+P4+P5+P6+P7=1. 然後每個節點也有個權重(列在每個節點的下方). 從根部開始是½, 每經過一個節點就乘上½. 然後在最後的葉再額外乘上2.  而最後層級損失函數的計算方式就是從根部的概率乘上權重, 然後一路累加到葉部. W(P1) = ½*(P1+P2+…P7) + ¼*(P1+P2+P3+P4) + ⅛*(P1+P2) + ⅛*P1.

透過層級損失函數, 以上圖為例本來是A類別的物品被誤分到G類所受到的懲罰就大於A類別的物品被誤分到F類. 透過此樹狀結構的設計在訓練時就能給予不同類別一個親疏關係的分類關係. 雖然在這篇研究中的實驗效果並不如想像中的好. 但重要的是提供了一個想法可以設計樹狀結構的損失函數在進階的分類問題上.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s