如何在視頻會議中及時視頻人物消失及修補

Topic: Real-Time Person removal

Editor:  George Wu

Resources:  Disappearing People post    Disappearing people github   

DFC-Net post   DFC-Net github    DFC-Net paper

Label:  person removal, TensorFlow.js, Optical Flow

640

大意

最近大家都在Work at home, 想像如果同事突然消失在鏡頭前面會有甚麼感覺? 這就是在Google任職的Jason Mayes做的side project ”Disappearing People Project” 可以將人從視頻中消除掉, 原理主要是基於TensorFlow.js現成的模型加上一些巧妙設計. 不過其實在之前就有一些相關研究可以更精確的將視頻人物消除或修復. 在這裡介紹商湯在CVPR 2019的 Deep Flow-guided video inpainting. 原理上就是利用光流法(Optical Flow)識別物體, 並創建一個DFC-Net根據optical flow進行遮擋及修復視頻, 將人物或物體消除並很自然的’腦補’. 這些Projects 目前也都開源了.

Continue reading “如何在視頻會議中及時視頻人物消失及修補”

Facebook AI Research 推出支持全景分割的全新目標檢測平台 Detectron2

Topic: Detectron2: A PyTorch-based modular object detection library

Editor:  George Wu

Resources:  FAIR post    Github    colab notebook   document    中文post   video

Label:  object detection, detectron, Pytorch, Panoptic Segmentation 

1

大意

在今年十月FAIR 推出了新一代的基於最新版本PyTorch 1.3的目標檢測及圖像分割平台 Detectron2. Detectron2是第一個正式支援全景分割(Panoptic Segmentation)的目標檢測平台. 在模式方面除了Detectron支援的模式之外也加入了Cascade R-CNN, Panoptic FPN, TensorMask等目標檢測模型. 除此之外也整合了關鍵點檢測(Keypoint detection)及姿態估計(Densepose detecion)等. 比之前速度更快功能也更全面!

Continue reading “Facebook AI Research 推出支持全景分割的全新目標檢測平台 Detectron2”

Google Brain釋出不需訓練權重的神經網路?

Topic:  Exploring Weight Agnostic Neural Networks

13.png

EditorGeorge Wu

Resources:   paper   Google AI blog   Github   post   中文post

Label:  Architecture Search(NAS),   Google Brain,  multi-objective optimization

Date:  August, 2019

 

大意:

Google Brain小組日前開發出Weight Agnostic Neural Networks (權重無關神經網路), 強調並不做權重數值的訓練, 而單以網路架構的優化來達成學習的目標. 為此他們使用Topology search algorithm (NEAT)網路架構搜尋演算法, 並在不經訓練的隨機權重值下成功讓強化學習的agent能成功達成任務, 並可以找到最簡化的網路架構.

 

Continue reading “Google Brain釋出不需訓練權重的神經網路?”

2017 Top10 CV: 目前最好的object detection模型 Mask R-CNN

Topic: Mask R-CNN

1

Editor: George Wu

Resources:  paper   中文post    Github   video

Label:   Object detection, RCNN, 

大意:

在目標檢測方面, RCNN (2014), Fast R-CNN (2015), Faster R-CNN(2016)系列是效果非常好也廣被使用的方法. 這篇論文的Mask R-CNN是這一系列的新方法, 簡單的說就是在Faster-RCNN的架構上加上Mask回歸以輸出語意分割的結果(segmentation mask). 這篇論文不但在ICCV 2017拿到最佳論文, Mask R-CNN 也在COCO 挑戰賽的三個項目都取得最佳成績包括目標檢測(object-detection), 目標分割(instance segmentation)以及人體關鍵點檢測(key point detection). 另外一點值得提的是ResNet, Faster-RCNN也都是作者Kaiming He 開發的.

Continue reading “2017 Top10 CV: 目前最好的object detection模型 Mask R-CNN”

NIPS Keynote speaker: AI重新編寫人類基因組以改善疾病 by Brendan Frey

Topic: Deliberation Networks: Reprogramming the Human Genome With Artificial Intelligence

1

Editor林之昫 (Chih-Hsu Jack Lin)

Resources:   video,   English post

Label:   Deep Genomics; Digital Medicine;

大意:  

Brendan Frey是多倫多大學教授也是Deep Genomics公司CEO與創辦人.  Deep Genomics利用深度學習研究人類的基因組資料試圖找到遺傳疾病及癌症相關的突變基因片段。 在這場演講,他提到之前的研究,以及如何將機器學習與深度學習應用在遺傳疾病,及加速藥物開發。
 
演講以遺傳疾病的重要性開頭。65%人類會得遺傳疾病,每年八百萬嬰兒出生有遺傳缺陷,而每個這樣的嬰兒一生要花五百萬美金。接著強調生醫藥廠的内部收益率(Internal Rate of Return)於2012年低於銀行利息,2020年將會降到零。問題是自從定序技術逐漸成熟成本降低之後,產生了大量的資料但卻無法瞭解其中意義(Figure 1)。

Continue reading “NIPS Keynote speaker: AI重新編寫人類基因組以改善疾病 by Brendan Frey”

NIPS Test of time award : 深度學習是煉金術?

Topic: Deliberation Networks:Random Features for Large-Scale Kernel Machine

EditorChris Chien

Resources:   paper   video   中文post

Label: Kernel, Random features

螢幕快照 2018-02-13 下午1.03.46

 

大意:  

這篇經典論文獎的作者Ali Rahimi 在這次2017 NIPS大會引起的風波比論文本身更被人關注. 請參考深度學習才不是鍊金術事件. (另外一件大風波就是DeepMind的AlphaGo Zero受質疑事件). 這其實是三篇paper(2007, 2008, 2008)的彙總, 得獎主要是因為在深度學習剛起步時, 他證明了從數據中以一組函數代表, 然後調整這些函數的權重就可以有效降低loss function, 達成有效的映射.  

Continue reading “NIPS Test of time award : 深度學習是煉金術?”

NIPS selected paper :繼有名的CycleGAN之後又出現的BicycleGAN

Topic: Toward Multimodal Image-to-Image Translation

螢幕快照 2018-02-08 上午9.24.53.png

EditorChunHan Lu

Resources:   paper   中文post   video

Label: GAN

 

大意

CycleGAN 是2017年初出現最矚目的GANs 相關的研究 (在李宏毅老師的專訪中有解釋CycleGAN, 可以參考錄像的1hr 開始左右),  這次NIPS出現這篇BicycleGAN 處理的是多對多, 可以看成是兩種VAE GAN及conditional GAN的合併

Continue reading “NIPS selected paper :繼有名的CycleGAN之後又出現的BicycleGAN”