EMLight: Lighting Estimation via Spherical Distribution Approximation AAAI 2021 光场估计论文详解

梦里梦外; 2022-09-02 07:59 137阅读 0赞

领域：Light Estimation

论文地址：

[\[2012.11116\] EMLight: Lighting Estimation via Spherical Distribution Approximation (arxiv.org)][2012.11116_ EMLight_ Lighting Estimation via Spherical Distribution Approximation _arxiv.org]

代码地址

[GitHub - fnzhan/Illumination-Estimation: EMLight: Lighting Estimation via Spherical Distribution Approximation (AAAI 2021)][GitHub - fnzhan_Illumination-Estimation_ EMLight_ Lighting Estimation via Spherical Distribution Approximation _AAAI 2021]

南洋理工和北邮电共同发表的

代码开源，数据集依然是Laval Indoor HDR数据集。所以数据集不开源，预训练模型因为数据集不开源，所以作者也未提供。相当于是对Deep Parametric Indoor Light Estimation的一个改进。

**目录**

摘要

EMlight框架

光被分解为

SML：spherical mover’s loss,即球体表面的Loss

贡献点

基于GAN的生成

方法

regression network

Neural Projector

最终效果

评价

--------------------

## 摘要 ##

从单一图像中估算光照度在三维渲染中至关重要，它在计算机视觉和计算机图形研究界已经得到了广泛的研究。另一方面，现有的工作是通过回归光线参数或生成照度图来估计照度，而这些照度图往往难以优化或容易产生不准确的预测。我们提出了Earth Mover Light（EMLight），一个利用回归网络和神经投影仪进行精确光照估计的光照估计框架。我们将照度图分解为球形光分布、光强度和环境项，并将照度估计定义为三个照度组成部分的参数回归任务。在地球移动距离的启发下，我们设计了一种新型的球形移动损耗，通过利用球形分布的微妙之处，指导人们准确地回归光分布参数。在预测的球面分布、光强和环境项的指导下，神经投影仪合成了具有真实光频的全景照度图。广泛的实验表明，EMLight实现了精确的照度估计，与最先进的方法相比，在三维物体嵌入中生成的重新照明表现出卓越的可信度和保真度。

## EMlight框架 ##

两个重要结构

*  Regression Network，预测光照参数
 *  Neural Projector，根据光照参数预测光照，并合成具有真实信息的照度图。

## 光被分解为 ##

*  球形光分布
 *  光强
 *  环境项、

## SML：spherical mover’s loss,即球体表面的Loss ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70][]

即球面上两个最大的光源的弧度loss作为loss。

此篇文章与Deep Parametric Indoor Lighting Estimation非常接近。动机也一致，即HDR的全景光场需要360度的采样，麻烦且不易得，如何通过更简单的方式模拟光场。

## 贡献点 ##

基于球形来估计物体表面的光照。

提出SML，即球形表面loss，针对性的用于网络收敛

通过对抗训练，生成全景照度图。（这里提到了adversarial training）这里还没仔细看，貌似是用GAN的方法，把估算出的光场参数，生成全景光场。

## 基于GAN的生成 ##

本文的related work之中提到了一些生成环境光场的方法。

有一种基于GAN的方法，可以不需要显式的表达估计出光场，而是直接用对抗的方法生成阴影

两篇基于GAN的：

Liu, D.; Long, C.; Zhang, H.; Yu, H.; Dong, X.; and Xiao, C. 2020. ARShadowGAN: Shadow Generative Adversarial Network for Augmented Reality in Single Light Scenes. In CVPR 2020.

Zhan, F.; Lu, S.; Zhang, C.; Ma, F.; and Xie, X. 2020a. Adversarial Image Composition with Auxiliary Illumination. In Proceedings of the Asian Conference on Computer Vision.

## 方法 ##

### regression network ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1][]

根据输入图片，预测输出三个，光照分布，光强，环境项。

光强和环境项可以直接用L2 loss来获得。分布需要通过球面进行拟合。

关于球面loss，这里不做详述，有两个优势，

多个点之间可以避免L2 loss的单点对单点的loss

更加拟合球面

### Neural Projector ###

这个Neural Projector没看到太仔细，大概是通过对抗生成网络，生成全景光照。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2][]

其实未必需要全景的光照，如果光照到上一步，估算出球面的光场，已经足够了，没必要进一步用GAN生成全景HDR光场，相当于把问题复杂化。

## 最终效果 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3][]

## 评价 ##

本文依然用了参数化的光场，模拟实际的光场。但是这里作者的参数化，是将光场映射到球面上。已经估算出实际的球面光场了，其实可以直接渲染。

[2012.11116_ EMLight_ Lighting Estimation via Spherical Distribution Approximation _arxiv.org]: https://arxiv.org/abs/2012.11116
[GitHub - fnzhan_Illumination-Estimation_ EMLight_ Lighting Estimation via Spherical Distribution Approximation _AAAI 2021]: https://github.com/fnzhan/Illumination-Estimation
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70]: /images/20220829/69600747627a480297d75f0ba654795c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 1]: /images/20220829/aa820c120f554d61882f479b69bccac9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 2]: /images/20220829/087a983bcd8448bf8cceedb159e4457c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjQ3NDgwOQ_size_16_color_FFFFFF_t_70 3]: /images/20220829/ecfe4caf188845bfad122ddf902617a4.png