Yann LeCun提出新的分類層級損失函數

Topic: Hierarchical loss for classification

螢幕快照 2017-09-22 下午10.43.49

Editor:  George.Wu

Resources:    中文post    Paper  

Label:   Lose function

在Yann LeCun的這篇新論文中, 摘要中的例子就很貼切的描述了這篇論文的主旨. 在分類問題中, 牧羊犬和獅子狗的關係應該比牧羊犬和摩天大樓要更接近, 而不是單純的屬於三種不同類別. 牧羊犬和摩天大樓的分類錯誤應該逞罰得更嚴重. 所以在這裡引入一種全新的指標 – 層級損失函數(hierarchical loss or win). 這指標的計算是基於一表達相似關係的樹狀結構 (ultrametric tree). Ultrametric tree 的定義是指具有ultrametric distance metric性質的樹狀結構, 也就是從樹中的所有葉子到根的距離都一樣.

Continue reading “Yann LeCun提出新的分類層級損失函數”

Advertisements

DeepMind 推出可關係推理的新型神經神經網路

Topic: A simple neural network module for relational reasoning

Dosudo deep learning newsletter #4

螢幕快照 2017-09-20 下午3.32.10

Editor:  Hubert

Resources:    Paper   Chinese post   Github

Label:   relational reasoning

在這篇 Deepmind 的論文中,目標是解決關係推理 (Relational reasoning) 的問題,如何根據輸入的非結構化數據 (例如:文字、圖像) 推理出數據內的關聯性。論文中描述了如何使用關係網絡 (RN) (Relation Networds) 進行 End-to-end training 、解決關係推理問題。

Continue reading “DeepMind 推出可關係推理的新型神經神經網路”

Review of Andrew Ng’s deep learning course

Topic: Review of Andrew Ng’s deep learning course

Dosudo deep learning newsletter #4

螢幕快照 2017-09-19 下午4.10.51.png

Editor:  Ian Ching

Resources:  course link    original post     Andrew Ng’s webite

Label:  Online course

深度學習 (Deep Learning) 已成為2017科技業最頻繁出現的討論關鍵詞之一, 網路上有很多的線上課程介紹這個熱門議題, 每個課程介紹深度學習的方式不盡相同, 如何選擇適當自己的課程切入, 成了忙碌現代科技人的時間規劃課題. 如果讀者看過其中幾堂, 希望能把推導的數學用python實現, 或想了解 Keras 背後的運作模式, 或是動手嘗試大學線上課程作業後希望飛奔到辦公室跟助教請教梯度下降法(gradient decent)的實作細節或如何加速演算法執行效率, Coursera 上 Andrew.Ng 的 Deep Learning Specialization課程是你可以考慮投資時間學習的課程.

Continue reading “Review of Andrew Ng’s deep learning course”

TripleGAN – 包含判別器、生成器和分類器的三方生成對抗網路

Topic:  Triple Generative Adversarial Nets

Dosudo deep learning newsletter #4

螢幕快照 2017-09-19 下午4.00.28

Editor:  George Wu

Resources:  原始post   中文post   Github

Label:  GAN

生成對抗網路(GANs, Generative Adversarial Nets) 在很多應用上都展現了強大的能力譬如圖像生成以及半監督學習(SSL, semi-supervised learning). 但有些情況可能會造成GANs的效果不好譬如生成器Generator以及分類器Discriminator之間的競爭會造成學習過程不穩定, 以及在SSL問題中Generator無法生成特定類別的圖像或資料. 為了解決這些問題作者提出了一種新型態的生成對抗網路TripleGAN. 除了原有的Generator(G) 以及Discriminator(D)之外, 增加了一個Classifier(C). 讓原本GAN的兩方競爭轉變成判別器、生成器和分類器的三方博弈.

Continue reading “TripleGAN – 包含判別器、生成器和分類器的三方生成對抗網路”

打破GAN神話, 基於端對端網路的高質量圖像生成

Topic: Photographic Image Synthesis with Cascaded Refinement Networks

Dosudo deep learning newsletter #4

figure2.png

Editor:  George Wu

Resources:    原始post   中文post    Paper    Github    video

Label: Image synthesis, GAN, End-to-end, Semantic segmentation

近年來在圖像或影片生成上大部分都是利用生成對抗網路GANs, 譬如有圖像生成圖像的 iGAN [1], pix2pix[2] , 或語意生成圖像的StackGAN [3][4]等等. 但在今年的ICCV 2017 出現一篇備受矚目的直接用端對端的方式生成高質量圖像的方法. 它的原理等於是圖像的語意分割(Semantic image segmentation)的逆向操作, 從圖像的語意分割直接生成照片級圖像.

Continue reading “打破GAN神話, 基於端對端網路的高質量圖像生成”

DeepMind及Blizzard 共同推出了星海爭霸2人工智慧研發環境SC2LE

Topic:  DeepMind and Blizzard open StarCraft II as an AI research environment

Dosudo deep learning newsletter #4

starcraft_deepmind.gif

Editor:  George Wu

Resources:    原始post    原始post2   中文post    Paper    Install 

Label:  Reinforcement learning

 

在去年AlphaGo Master 橫掃了人類棋壇之後, DeepMind曾經談到下一個攻克的目標就是StartCraft II. 如今DeepMind及Blizzard 共同推出了星海爭霸2 人工智慧研發環境(SC2LE, StarCraft II learning environment). SC2LE包含了

(1) Blizzard開發的Machine learning API,

(2) 供training用的遊戲紀錄replays,

(3) Deepmind開發了python 工具集PySC2, 提供了API讓使用者設計的強化學習agent能夠運行在SC2遊戲裡.

(4) 一連串的迷你遊戲環境讓使用者方便地測試.

以及一篇paper講述了在SC2LE中測試強化學習的一些成果.

Continue reading “DeepMind及Blizzard 共同推出了星海爭霸2人工智慧研發環境SC2LE”