Facebook AI Research 推出支持全景分割的全新目標檢測平台 Detectron2

Topic: Detectron2: A PyTorch-based modular object detection library

Editor:  George Wu

Resources:  FAIR post    Github    colab notebook   document    中文post   video

Label:  object detection, detectron, Pytorch, Panoptic Segmentation 

1

大意

在今年十月FAIR 推出了新一代的基於最新版本PyTorch 1.3的目標檢測及圖像分割平台 Detectron2. Detectron2是第一個正式支援全景分割(Panoptic Segmentation)的目標檢測平台. 在模式方面除了Detectron支援的模式之外也加入了Cascade R-CNN, Panoptic FPN, TensorMask等目標檢測模型. 除此之外也整合了關鍵點檢測(Keypoint detection)及姿態估計(Densepose detecion)等. 比之前速度更快功能也更全面!

Continue reading “Facebook AI Research 推出支持全景分割的全新目標檢測平台 Detectron2”

Google Brain釋出不需訓練權重的神經網路?

Topic:  Exploring Weight Agnostic Neural Networks

13.png

EditorGeorge Wu

Resources:   paper   Google AI blog   Github   post   中文post

Label:  Architecture Search(NAS),   Google Brain,  multi-objective optimization

Date:  August, 2019

 

大意:

Google Brain小組日前開發出Weight Agnostic Neural Networks (權重無關神經網路), 強調並不做權重數值的訓練, 而單以網路架構的優化來達成學習的目標. 為此他們使用Topology search algorithm (NEAT)網路架構搜尋演算法, 並在不經訓練的隨機權重值下成功讓強化學習的agent能成功達成任務, 並可以找到最簡化的網路架構.

 

Continue reading “Google Brain釋出不需訓練權重的神經網路?”

Capsule Networks(CapsNets)帶給了我們什麼? 從Geoffrey Hinton談起 (1/2)

Topic:  Dynamic Routing Between Capsules

螢幕快照 2017-12-01 上午11.45.47

Editor: George Wu

Resources: paper 中文post

Label: Geoffrey Hinton

大意:

已經有不少介紹Capsule Networks的文章, 也有很多關於 Capsule Networks性能和CNN, Back propagation等的各種討論與比較. 但真的了解Capsule Networks 其實我們應該從Geoffrey Hinton的背景去了解. 直接講結論, 目前主流的CNN, RNN等網路架構搭配上back propagation已經可以不錯的處理目前處理的影像, 語音, 自然語言等領域的問題, 也有很多方案解決參數不穩定, 梯度消失等各式問題. 但Capsule Networks在未來Unsupervised learning, Predictive learning, 以及朝向Strong AI的路上必然是更有利的架構. 在這裡我將Capsule Networks分成兩篇來介紹, 第一篇著重在介紹Geoffrey Hinton以及CapsNets概念的緣起背景, 以及CapsNets能帶給了我們什麼, 並結合認知科學及神經科學去解釋CapsNets, 而第二篇才介紹細部的計算以及Capsule Networks程式碼的解說. 在這裡也特別致謝專訪時李宏毅老師的詳盡解說. 

Continue reading “Capsule Networks(CapsNets)帶給了我們什麼? 從Geoffrey Hinton談起 (1/2)”

CheXNet : 超越專業放射科醫生的肺部Xray醫學影像判讀技術

Topic:  CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning

螢幕快照 2017-11-17 下午4.55.38

Editor:  George Wu

Resources:    原始post    中文post    Paper    ChestX-ray14 dataset

Label:  Medical imaging, CNN

大意:

在這篇吳恩達及Stanford 團隊新的paper, 他們將深度學習技術應用在胸部正面X光片的肺炎判讀上, 結果顯判讀肺炎的準確率超越了人類專業放射科醫師. 他們使用了121層的CNN 深度捲積網路,並將之稱為CheXNet, 並用ChestX-ray14 dataset進行訓練. 而在test資料的比較上, CheXNet的判讀結果無論在sensitivity 以及specificity上都超過四位專業放射科醫師的平均判讀結果.

Continue reading “CheXNet : 超越專業放射科醫生的肺部Xray醫學影像判讀技術”

Yann LeCun提出新的分類層級損失函數

Topic: Hierarchical loss for classification

螢幕快照 2017-09-22 下午10.43.49

Editor:  George.Wu

Resources:    中文post    Paper  

Label:   Lose function

在Yann LeCun的這篇新論文中, 摘要中的例子就很貼切的描述了這篇論文的主旨. 在分類問題中, 牧羊犬和獅子狗的關係應該比牧羊犬和摩天大樓要更接近, 而不是單純的屬於三種不同類別. 牧羊犬和摩天大樓的分類錯誤應該逞罰得更嚴重. 所以在這裡引入一種全新的指標 – 層級損失函數(hierarchical loss or win). 這指標的計算是基於一表達相似關係的樹狀結構 (ultrametric tree). Ultrametric tree 的定義是指具有ultrametric distance metric性質的樹狀結構, 也就是從樹中的所有葉子到根的距離都一樣.

Continue reading “Yann LeCun提出新的分類層級損失函數”

Review of Andrew Ng’s deep learning course

Topic: Review of Andrew Ng’s deep learning course

Dosudo deep learning newsletter #4

螢幕快照 2017-09-19 下午4.10.51.png

Editor:  Ian Ching

Resources:  course link    original post     Andrew Ng’s webite

Label:  Online course

深度學習 (Deep Learning) 已成為2017科技業最頻繁出現的討論關鍵詞之一, 網路上有很多的線上課程介紹這個熱門議題, 每個課程介紹深度學習的方式不盡相同, 如何選擇適當自己的課程切入, 成了忙碌現代科技人的時間規劃課題. 如果讀者看過其中幾堂, 希望能把推導的數學用python實現, 或想了解 Keras 背後的運作模式, 或是動手嘗試大學線上課程作業後希望飛奔到辦公室跟助教請教梯度下降法(gradient decent)的實作細節或如何加速演算法執行效率, Coursera 上 Andrew.Ng 的 Deep Learning Specialization課程是你可以考慮投資時間學習的課程.

Continue reading “Review of Andrew Ng’s deep learning course”

TripleGAN – 包含判別器、生成器和分類器的三方生成對抗網路

Topic:  Triple Generative Adversarial Nets

Dosudo deep learning newsletter #4

螢幕快照 2017-09-19 下午4.00.28

Editor:  George Wu

Resources:  原始post   中文post   Github

Label:  GAN

生成對抗網路(GANs, Generative Adversarial Nets) 在很多應用上都展現了強大的能力譬如圖像生成以及半監督學習(SSL, semi-supervised learning). 但有些情況可能會造成GANs的效果不好譬如生成器Generator以及分類器Discriminator之間的競爭會造成學習過程不穩定, 以及在SSL問題中Generator無法生成特定類別的圖像或資料. 為了解決這些問題作者提出了一種新型態的生成對抗網路TripleGAN. 除了原有的Generator(G) 以及Discriminator(D)之外, 增加了一個Classifier(C). 讓原本GAN的兩方競爭轉變成判別器、生成器和分類器的三方博弈.

Continue reading “TripleGAN – 包含判別器、生成器和分類器的三方生成對抗網路”