Yann LeCun提出新的分類層級損失函數

Topic: Hierarchical loss for classification

Editor:  George.Wu

Resources:    中文post    Paper  

Label:   Lose function

在Yann LeCun的這篇新論文中, 摘要中的例子就很貼切的描述了這篇論文的主旨. 在分類問題中, 牧羊犬和獅子狗的關係應該比牧羊犬和摩天大樓要更接近, 而不是單純的屬於三種不同類別. 牧羊犬和摩天大樓的分類錯誤應該逞罰得更嚴重. 所以在這裡引入一種全新的指標 – 層級損失函數(hierarchical loss or win). 這指標的計算是基於一表達相似關係的樹狀結構 (ultrametric tree). Ultrametric tree 的定義是指具有ultrametric distance metric性質的樹狀結構, 也就是從樹中的所有葉子到根的距離都一樣.

DeepMind 推出可關係推理的新型神經神經網路

Topic: A simple neural network module for relational reasoning

Dosudo deep learning newsletter #4

Editor:  Hubert

Resources:    Paper   Chinese post   Github

Label:   relational reasoning

在這篇 Deepmind 的論文中，目標是解決關係推理 (Relational reasoning) 的問題，如何根據輸入的非結構化數據 (例如：文字、圖像) 推理出數據內的關聯性。論文中描述了如何使用關係網絡 (RN) (Relation Networds) 進行 End-to-end training 、解決關係推理問題。

Review of Andrew Ng’s deep learning course

Topic: Review of Andrew Ng’s deep learning course

Dosudo deep learning newsletter #4

Editor:  Ian Ching

Resources:  course link    original post     Andrew Ng’s webite

Label:  Online course

深度學習 (Deep Learning) 已成為2017科技業最頻繁出現的討論關鍵詞之一, 網路上有很多的線上課程介紹這個熱門議題, 每個課程介紹深度學習的方式不盡相同, 如何選擇適當自己的課程切入, 成了忙碌現代科技人的時間規劃課題. 如果讀者看過其中幾堂, 希望能把推導的數學用python實現, 或想了解 Keras 背後的運作模式, 或是動手嘗試大學線上課程作業後希望飛奔到辦公室跟助教請教梯度下降法(gradient decent)的實作細節或如何加速演算法執行效率, Coursera 上 Andrew.Ng 的 Deep Learning Specialization課程是你可以考慮投資時間學習的課程.

TripleGAN – 包含判別器、生成器和分類器的三方生成對抗網路

Topic:  Triple Generative Adversarial Nets

Dosudo deep learning newsletter #4

Editor:  George Wu

Resources:  原始post   中文post   Github

Label:  GAN

生成對抗網路(GANs, Generative Adversarial Nets) 在很多應用上都展現了強大的能力譬如圖像生成以及半監督學習(SSL, semi-supervised learning). 但有些情況可能會造成GANs的效果不好譬如生成器Generator以及分類器Discriminator之間的競爭會造成學習過程不穩定, 以及在SSL問題中Generator無法生成特定類別的圖像或資料. 為了解決這些問題作者提出了一種新型態的生成對抗網路TripleGAN. 除了原有的Generator(G) 以及Discriminator(D)之外, 增加了一個Classifier(C). 讓原本GAN的兩方競爭轉變成判別器、生成器和分類器的三方博弈.