如何在視頻會議中及時視頻人物消失及修補

Topic: Real-Time Person removal

Editor:  George Wu

Resources:  Disappearing People post    Disappearing people github   

DFC-Net post   DFC-Net github    DFC-Net paper

Label:  person removal, TensorFlow.js, Optical Flow

640

大意

最近大家都在Work at home, 想像如果同事突然消失在鏡頭前面會有甚麼感覺? 這就是在Google任職的Jason Mayes做的side project ”Disappearing People Project” 可以將人從視頻中消除掉, 原理主要是基於TensorFlow.js現成的模型加上一些巧妙設計. 不過其實在之前就有一些相關研究可以更精確的將視頻人物消除或修復. 在這裡介紹商湯在CVPR 2019的 Deep Flow-guided video inpainting. 原理上就是利用光流法(Optical Flow)識別物體, 並創建一個DFC-Net根據optical flow進行遮擋及修復視頻, 將人物或物體消除並很自然的’腦補’. 這些Projects 目前也都開源了.

Continue reading “如何在視頻會議中及時視頻人物消失及修補”