2024-05-22
弋力团队与香港科技大学谭平教授团队合作研究的关于通用NeRF编辑的成果也发表于CVPR 2024。团队提出了GenN2N，用生成模型建模底层的3D NeRF编辑分布，使其覆盖所有符合2D编辑图的可能的NeRF编辑。GenN2N是一个统一的NeRF到NeRF转换框架，可以处理各种NeRF编辑任务，其具体贡献有：
1）引入了3D VAE-GAN的生成式框架，使用VAE来表征整个编辑空间，并用GAN为编辑NeRF的不同视图提供合理的监督，确保编辑结果的真实性。
2）使用对比学习解耦编辑内容和视角，确保不同视角间的编辑内容一致性。
3）在推理时，用户简单地从条件生成模型中随机地采样出多个编辑码，就可以生成与编辑目标对应的各种3D编辑结果。
图. GenN2N框架
GenN2N在编辑质量、多样性、效率等方面均优于已有NeRF编辑任务的SOTA方法。其生成式编辑的思路为解决NeRF编辑及其他相关问题提供了全新的范式。通过生成的方式刻画编辑过程的多解性，可以轻松产生大量符合要求的编辑结果供用户挑选。
图. GenN2N实现一系列 3D NeRF 编辑任务
