2021 CVPR best paper – GIRAFFE 結合GAN及NeRF實現可控多物體合成3D場景的集大成者

Topic: GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields

Editor:  George Wu

Resources:  GIRAFFE paper   GIRAFFE github   GRAF paper    GRAF github NeRF paper NeRF github

Label: Deep generative models, 3D reconstruction, NeRF, GAN, GRAF

大意

generative adversarial network (GAN)自2014年發表以來已經是眾多研究領域如影像生成或轉換, 場景合成或圖像super resolution等的根基. GAN雖然強大但大多數網路對於生成出來的圖像可控性還是太少, 也無法真正將生成圖像視為3D物品與3D場景間的合成. 譬如無法單獨去平移圖像中的汽車, 或直接改變他的外貌顏色, 也無法旋轉場景用不同的視角去觀察. 在今年的CVPR大會上Niemeyer及Geiger的論文GIRAFFE就跨出了這一大步, 也因此獲得了2021 CVPR best paper! 可以簡單理解成將三維重建中的NeRF(Neural Radiance Fields, 神經輻射場)與GAN中的Generator結合而做到可控的圖像合成. 按照作者的說法就是將3D場景視為compositional generative neural feature fields(GIRAFFE), 讓我們能從圖像的背景中分離出多個物體, 並允許在場景中平移旋轉他們或用不同視角觀察3D物體. 以下將簡單介紹一下GIRAFFE以及一些相關研究.