Capsule Networks(CapsNets)帶給了我們什麼? 從Geoffrey Hinton談起 (1/2)

Topic:  Dynamic Routing Between Capsules

螢幕快照 2017-12-01 上午11.45.47

Editor: George Wu

Resources: paper 中文post

Label: Geoffrey Hinton

大意:

已經有不少介紹Capsule Networks的文章, 也有很多關於 Capsule Networks性能和CNN, Back propagation等的各種討論與比較. 但真的了解Capsule Networks 其實我們應該從Geoffrey Hinton的背景去了解. 直接講結論, 目前主流的CNN, RNN等網路架構搭配上back propagation已經可以不錯的處理目前處理的影像, 語音, 自然語言等領域的問題, 也有很多方案解決參數不穩定, 梯度消失等各式問題. 但Capsule Networks在未來Unsupervised learning, Predictive learning, 以及朝向Strong AI的路上必然是更有利的架構. 在這裡我將Capsule Networks分成兩篇來介紹, 第一篇著重在介紹Geoffrey Hinton以及CapsNets概念的緣起背景, 以及CapsNets能帶給了我們什麼, 並結合認知科學及神經科學去解釋CapsNets, 而第二篇才介紹細部的計算以及Capsule Networks程式碼的解說. 在這裡也特別致謝專訪時李宏毅老師的詳盡解說. 

Continue reading “Capsule Networks(CapsNets)帶給了我們什麼? 從Geoffrey Hinton談起 (1/2)”

Advertisements

CheXNet : 超越專業放射科醫生的肺部Xray醫學影像判讀技術

Topic:  CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning

螢幕快照 2017-11-17 下午4.55.38

Editor:  George Wu

Resources:    原始post    中文post    Paper    ChestX-ray14 dataset

Label:  Medical imaging, CNN

大意:

在這篇吳恩達及Stanford 團隊新的paper, 他們將深度學習技術應用在胸部正面X光片的肺炎判讀上, 結果顯判讀肺炎的準確率超越了人類專業放射科醫師. 他們使用了121層的CNN 深度捲積網路,並將之稱為CheXNet, 並用ChestX-ray14 dataset進行訓練. 而在test資料的比較上, CheXNet的判讀結果無論在sensitivity 以及specificity上都超過四位專業放射科醫師的平均判讀結果.

Continue reading “CheXNet : 超越專業放射科醫生的肺部Xray醫學影像判讀技術”

Yann LeCun提出新的分類層級損失函數

Topic: Hierarchical loss for classification

螢幕快照 2017-09-22 下午10.43.49

Editor:  George.Wu

Resources:    中文post    Paper  

Label:   Lose function

在Yann LeCun的這篇新論文中, 摘要中的例子就很貼切的描述了這篇論文的主旨. 在分類問題中, 牧羊犬和獅子狗的關係應該比牧羊犬和摩天大樓要更接近, 而不是單純的屬於三種不同類別. 牧羊犬和摩天大樓的分類錯誤應該逞罰得更嚴重. 所以在這裡引入一種全新的指標 – 層級損失函數(hierarchical loss or win). 這指標的計算是基於一表達相似關係的樹狀結構 (ultrametric tree). Ultrametric tree 的定義是指具有ultrametric distance metric性質的樹狀結構, 也就是從樹中的所有葉子到根的距離都一樣.

Continue reading “Yann LeCun提出新的分類層級損失函數”

Review of Andrew Ng’s deep learning course

Topic: Review of Andrew Ng’s deep learning course

Dosudo deep learning newsletter #4

螢幕快照 2017-09-19 下午4.10.51.png

Editor:  Ian Ching

Resources:  course link    original post     Andrew Ng’s webite

Label:  Online course

深度學習 (Deep Learning) 已成為2017科技業最頻繁出現的討論關鍵詞之一, 網路上有很多的線上課程介紹這個熱門議題, 每個課程介紹深度學習的方式不盡相同, 如何選擇適當自己的課程切入, 成了忙碌現代科技人的時間規劃課題. 如果讀者看過其中幾堂, 希望能把推導的數學用python實現, 或想了解 Keras 背後的運作模式, 或是動手嘗試大學線上課程作業後希望飛奔到辦公室跟助教請教梯度下降法(gradient decent)的實作細節或如何加速演算法執行效率, Coursera 上 Andrew.Ng 的 Deep Learning Specialization課程是你可以考慮投資時間學習的課程.

Continue reading “Review of Andrew Ng’s deep learning course”

TripleGAN – 包含判別器、生成器和分類器的三方生成對抗網路

Topic:  Triple Generative Adversarial Nets

Dosudo deep learning newsletter #4

螢幕快照 2017-09-19 下午4.00.28

Editor:  George Wu

Resources:  原始post   中文post   Github

Label:  GAN

生成對抗網路(GANs, Generative Adversarial Nets) 在很多應用上都展現了強大的能力譬如圖像生成以及半監督學習(SSL, semi-supervised learning). 但有些情況可能會造成GANs的效果不好譬如生成器Generator以及分類器Discriminator之間的競爭會造成學習過程不穩定, 以及在SSL問題中Generator無法生成特定類別的圖像或資料. 為了解決這些問題作者提出了一種新型態的生成對抗網路TripleGAN. 除了原有的Generator(G) 以及Discriminator(D)之外, 增加了一個Classifier(C). 讓原本GAN的兩方競爭轉變成判別器、生成器和分類器的三方博弈.

Continue reading “TripleGAN – 包含判別器、生成器和分類器的三方生成對抗網路”

Learned in Translation: Contextualized Word Vectors

Dosudo deep learning newsletter #3

a4Editor:     Howard Lo

Resources:     原始post   MIT Tech review   Blog   paper    Github

在目前 Computer Vision 的領域中,尤其是 Deep Learning,我們很常會使用 pretrain 在 ImageNet 上的 CNN (e.g. VGGNet) 中的 weights 來初始化我們自己 model 中的 layers,再針對我們的 task 做 fine tune,這也就是所謂的 “Transfer Learning” 的一種,好處是避免機器從頭開始學習,讓學習速度能夠更快,而且常常也有效能上的提升。再來,對應到 Natual Language Processing 的領域中,我們也會拿 Word2Vec 或是 GloVe 等等 pretrain 好的 word vectors 來初始化我們 neural network 的第一層 layer (embedding matrix)。這次,來自 Salesforce Research 團隊發現可以預先使用 pretrain 在 Machine Translation 的 model,再拿它的 context vectors 給其他 NLP 相關的 tasks 會比單純只用 pretrained word vector 有明顯的效能提升,得益於現有的 Machine Translation 豐富的語料庫,得以讓 word vector 更進一步的融合 context 的訊息,大家不妨可以試試看喔!

 

回到  Dosudo newsletter #3

Review: Neuroscience-Inspired Artificial Intelligence

Dosudo deep learning newsletter #3

a2

Editor:     George.Wu

Resources:    Paper    Deepmind blog

AI及Deep learning很多的概念都來自於神經科學的研究, DeepMind的Hassabis甚至直言AI的未來就是神經科學. 這是DeepMind 發表在Neuron journal的review文章整理的很好值得一看, 詳述人工智慧與神經科學之間在過去現在與未來的關係. Neuroscience-Inspired Artificial IntelligenceNeuroscience-Inspired Artificial Intelligence. 文中整理了過往AI是如何從神經科學中擷取靈感而被發明, 到現今他認為未來AI 發展的關鍵, 尤其是將來的human-level 通用性AI, 就是在於對神經科學的更深層認識.

Continue reading “Review: Neuroscience-Inspired Artificial Intelligence”