混合现实 | 浏览量 : 0 下载量: 15 CSCD: 0

  • 导出

  • 分享

  • 收藏

  • 专辑

    • 混合现实飞行模拟器的神经重光照方法

    • Neural relighting methods for mixed reality flight simulators

    • 祁佳晨

      ，

      解利军

      ，

      阮文凯

      ，

      王孝强

    • 2024年29卷第10期 页码：3008-3021   

      纸质出版日期： 2024-10-16 ，

    • DOI： 10.11834/jig.230817     

    移动端阅览

  • 引用

    阅读全文PDF

  • 祁佳晨， 解利军， 阮文凯， 王孝强. 2024. 混合现实飞行模拟器的神经重光照方法. 中国图象图形学报， 29(10):3008-3021 DOI： 10.11834/jig.230817.
    Qi Jiachen， Xie Lijun， Ruan Wenkai， Wang Xiaoqiang. 2024. Neural relighting methods for mixed reality flight simulators. Journal of Image and Graphics， 29(10):3008-3021 DOI： 10.11834/jig.230817.
  •  
  •  
    论文导航

    摘要

    目的

    混合现实技术通过混合现实场景和虚拟场景，为飞行模拟器提供了沉浸式体验。由于现实场景和虚拟场景的光照条件不一致，混合结果往往使用户产生较强的不协调感，从而降低体验沉浸感。本文使用虚拟场景的光照条件对机舱现实图像场景进行重光照，解决光照不一致问题。

    译

    方法

    受计算机图形学重要的渲染方法——预计算辐射传输法的启发，首次提出一种基于辐射传输函数估计的神经重光照方法。首先使用卷积神经网络估计输入图像中每个渲染点的辐射传输函数在球谐函数上的系数形式表达，同时将虚拟环境中提供光照信息的环境光贴图投影到球谐函数上，最后将对应球谐系数向量进行点乘，获得重光照渲染结果。

    译

    结果

    目视评测，生成的重光照图像与目标光照条件匹配程度良好，同时保留原图中细节，未出现伪影等异常渲染结果。以本文生成的重光照数据集为基准进行测试，本文方法生成结果峰值信噪比达到28.48 dB，比相似方法高出7.5%。

    译

    结论

    成功在多款战斗机模型中应用了上述方法，可以根据给定虚拟飞行场景中的光照条件，对现实机舱内部图像进行重光照，实现机舱内外图像光照条件一致，提升了应用混合现实的飞行模拟器的用户沉浸感。

    译

    Abstract

    Objective

    The application of mixed reality （MR） in training environments， particularly in the field of aviation， marks a remarkable leap from traditional simulation models. This innovative technology overlays virtual elements onto the real world， creating a seamless interactive experience that is critical in simulating high-risk scenarios for pilots. Despite its advances， the integration of real and virtual elements often suffers from inconsistencies in lighting， which can disrupt the user’s sense of presence and diminish the effectiveness of training sessions. Prior attempts to reconcile these differences have involved static solutions that lack adaptability to the dynamic range of real-world lighting conditions encountered during flight. This study is informed by a comprehensive review of current methodologies， including photometric alignment techniques and the adaptation of CGI （computer-generated imagery） elements using standard graphics pipelines. Our analysis identified a gap in real-time dynamic relighting capabilities， which we address through a novel neural network-based approach.

    译

    Method

    The methodological core of this research is the development of an advanced neural network architecture designed for the sophisticated task of image relighting. The neural network architecture proposed in this research is a convolutional neural network variant， specifically tailored to process high-fidelity images in a manner that retains critical details while adjusting to new lighting conditions. Meanwhile， an integral component of our methodology was the generation of a comprehensive dataset specifically tailored for the relighting of fighter jet cockpit environments. To ensure a high degree of realism， we synthesized photorealistic renderings of the cockpit interior under a wide array of atmospheric conditions， times of day， and geolocations across different latitudes and longitudes. This synthetic dataset was achieved by integrating our image capture process with an advanced weather simulation system， which allowed us to replicate the intricate effects of natural and artificial lighting as experienced within the cockpit. The resultant dataset presents a rich variety of lighting scenarios， ranging from the low-angle illumination of a sunrise to the diffused lighting of an overcast sky， providing our neural network with the nuanced training required to emulate real-world lighting dynamics accurately. The neural network is trained with this dataset to understand and dissect the complex interplay of lighting and material properties within a scene. The first step of the network involves a detailed decomposition of input images to separate and analyze the components affected by lighting， such as shadows， highlights， and color temperature. The geometry of the scene， the textures， and how objects occlude or reflect light must be deduced， extracting these elements into a format that can be manipulated independently of the original lighting conditions. To actualize the target lighting effect， the study leverages a concept adapted from the domain of precomputed radiance transfer——a technique traditionally used for rendering scenes with complex light interactions. By estimating radiance transfer functions at each pixel and representing these as coefficients over a series of spherical harmonic basis functions， the method facilitates a rapid and accurate recalculation of lighting across the scene. The environmental lighting conditions， captured through high dynamic range imaging techniques， are also projected onto these spherical harmonic functions. This approach allows for the real-time adjustment of lighting by simply recalculating the dot product of these coefficients， corresponding to the new lighting environment. This step is a computational breakthrough because it circumvents the need for extensive ray tracing or radiosity calculations， which are computationally expensive and often impractical for real-time applications. This method stands out for its low computational overhead， enabling near real-time relighting that can adjust dynamically as the simulated conditions change.

    译

    Result

    The empirical results achieved through this method are substantiated through a series of rigorous tests and comparative analyses. The neural network’s performance was benchmarked against traditional and contemporary relighting methods across several scenarios reflecting diverse lighting conditions and complexities. The model consistently demonstrated superior performance， not only in the accuracy of light replication but also in maintaining the fidelity of the original textures and material properties. The visual quality of the relighting was assessed through objective performance metrics， including comparison of luminance distribution， color fidelity， and texture preservation against ground truth datasets. These metrics consistently indicated a remarkable improvement in visual coherence and a reduction in artifacts， ensuring a more immersive experience without the reliance on subjective user studies.

    译

    Conclusion

    The implemented method effectively resolves the challenge of inconsistent lighting conditions in MR flight simulators. It contributes to the field by enabling dynamic adaptation of real-world images to the lighting conditions of virtual environments. This research not only provides a valuable tool for enhancing the realism and immersion of flight simulators but also offers insights that could benefit future theoretical and practical advancements in MR technology. The study utilized spherical harmonic coefficients of environmental light maps to convey lighting condition information and pioneered the extraction of scene radiance lighting functions’ spherical harmonic coefficients from real image data. This validated the feasibility of predicting scene radiance transfer functions from real images using neural networks. The limitations and potential improvements of the current method are discussed， outlining directions for future research. For example， considering the temporal continuity present in the relighted images， future efforts could exploit this characteristic to optimize the neural network architecture， integrating modules that enhance the stability of the prediction results.

    译

    关键词

    重光照; 神经渲染方法; 辐射传输函数; 混合现实（MR）; 飞行模拟器

    译

    Keywords

    relighting; neural rendering methods; radiance transfer functions; mixed reality（MR）; flight simulator

    译

    论文引用格式：Qi J C， Xie L J， Ruan W K and Wang X Q. 2024. Neural relighting methods for mixed reality flight simulators. Journal of Image and Graphics， 29（10）：3008-3021（引用格式:祁佳晨， 解利军， 阮文凯， 王孝强. 2024. 混合现实飞行模拟器的神经重光照方法. 中国图象图形学报， 29（10）：3008-3021）［

    译

    0　引言

    混合现实（mixed reality，MR）为

    Milgram和Kishino（1994）最初提出的概念，定义为“现实—虚拟连续体”中的中间状态，相关技术通过混合虚拟场景和现实场景，为用户提供高沉浸感环境体验。利用混合现实技术，飞行模拟器内部环境通过摄像机捕捉，与计算机渲染的机舱外部视景结合。这些信息根据空间位置同步显示在头戴式显示器上。相比于直接应用虚拟现实技术，利用混合现实技术可以使飞行模拟器的显示系统呈现高沉浸感虚拟环境，同时避免在戴上头戴式显示器后无法看见模拟器机舱内实体操纵杆和仪表的问题。
    译

    混合现实的应用也会带来新的问题。由于飞行仿真中的虚拟场景和摄像机拍摄的现实场景的光照条件不一致，渲染图像和拍摄图像混合显示在头戴式显示器上会导致很强的不协调感。如图1所示，将混合现实应用于飞行模拟器中，同时显示虚拟舱外视景与舱内场景。在飞行模拟器中改变训练场景会改变舱外视景的环境光照，而机舱内的光照并没有发生改变。

    Zhan等人（2020）和Nicolet等人（2020）在他们的工作中强调了混合现实场景中的光照一致性问题，在这种情况下，往往需要从虚拟场景（现实场景）中获取光照信息，并以此光照信息为参考对现实场景（虚拟场景）的图像进行重光照，使得表示不同场景的两幅图像光照一致。本文从飞行外部环境获取光照信息，对机舱内图像进行重光照，实现光照一致性。
    译

    fig

    图1  混合现实生成的机舱图像在发生光照变化时的显示

    Fig 1  Display of a mixed reality cockpit image during changes in lighting （（a） before the change in lighting；

    （b） after the change in lighting）

    icon 下载:  原图 | 高精图 | 低精图

    传统的图像重光照工作通常采用逆向渲染方法分解场景中与光照相关的信息（光照传输函数等），再通过图形学中的光照模型渲染获得重光照结果。然而，这个问题公认是不适定的，从一个场景中准确地求解相关属性十分具有挑战（

    Sengupta等，2019）。随着深度神经网络展现出强大的预测和回归能力，融合计算机图形学和深度学习的神经渲染概念相继提出（Eslami等，2018），基于深度神经网络的重光照方法也相继提出（Einabadi等， 2021）。其中，基于图像的重光照是一项允许仅从图像出发，无需额外场景信息，即可模拟并输出场景在新的、可控光照条件下所呈现的效果的技术。Xu等人（2018）在提前定义的5个方向光源下生成场景图像，以此为输入，利用卷积神经网络预测方向光源在其余方向时场景的光照结果。Philip等人（2019）通过对场景的多视角图像，提前构建出场景的几何粗模，用于生成场景在室外光照条件下的重光照结果。上述工作虽然能根据给定的光照条件，生成逼真的场景重光照结果，却也存在着种种限制。在上述工作中，目标光照条件往往以球坐标上的一个方向的形式给出，即默认光照为相对易于描述的方向光源。Philip等人（2021）随后挑战了相对复杂的室内场景的重光照，不再将光源类型局限为方向光源，但同时也提升了工作流的复杂程度，用于渲染图像的神经网络需要场景法线图、视差图、原场景光照强度图、目标场景光照强度图、目标场景镜面反射图像等大量的特征图作为输入来生成高质量的重光照结果。
    译

    基于贴图的光照可以描述更加真实且复杂的场景光照条件。

    Sun等人（2019）将用于描述光照的贴图缩小至16 × 32像素的尺寸插入到编码器—解码器的瓶颈部分，预测人像的重光照结果。Pandey等人（2021）则根据Phong光照模型，将环境光贴图进行预卷积，分离出环境光贴图中提供漫反射和高光的信息，保留更多对重光照有用的信息。为了在神经网络中插入环境光照信息，环境光贴图往往需要预先下采样到较小的尺寸，因而丢失大量信息。传统图形学的预计算辐射传输渲染方法（Sloan等，2002）利用球谐函数相关性质，可将球函数投影到球谐基函数上，取适量对应系数即可较准确地还原出原球函数信息。Yu等人（2020）在室外图像的逆向渲染工作，将提供光照条件的环境光贴图进行预处理，提取二阶球谐系数作为光照信息，即可较好地表达场景的光照条件。
    译

    为实现飞行模拟器机舱内重光照工作，在应用投影于球谐基函数的环境光贴图作为光照条件信息的同时，利用深度神经网络预测图像中每个像素点在场景空间中的辐射传输函数的球谐系数表达。本文主要贡献如下：1）提出利用卷积神经网络，预测图像中各像素对应空间点辐射传输函数的球谐系数表达，利用球谐系数的相关性质，在重光照工作中实现了类似预计算辐射传输渲染方法的快速渲染。2）创建了一个专门针对战斗机机舱环境的重光照工作的数据集。该数据集结合现有的天气系统，生成了不同天气状况、时间和地球各经纬度位置下的机舱真实感渲染图像，为相关研究提供了丰富的数据资源。

    译

    1　相关工作

    1.1　神经重光照

    随着混合现实和增强现实应用的激增，不同场景的重光照问题逐渐引起人们的重视。传统方法利用人工进行光照的编辑、调整，往往费时费力。近年来，深度神经网络相关工作飞速发展，也为解决这个问题带来了新的方法。

    译

    Murmann等人（2019）提供了一个多种光照条件下的图像数据集，并利用编码器—解码器结构的深度神经网络，在不提供图形学相关知识的情况下，预测室内场景在目标光照条件下的图像。
    译

    在不同的神经重光照工作中，神经网络在渲染过程中充当不同功能的模块。

    Sengupta等人（2019）提出的神经逆向渲染方法，通过神经网络从一幅图像中获得对应环境漫反射系数、法线特征图，并通过神经渲染器渲染出高质量的目标光照重光照结果。Ren等人（2015）利用神经网络估计场景每个像素点的光照传输矩阵，并以求得的光照传输矩阵与光照向量的乘积作为场景重光照的结果。Philip等人（2019）则提出一种端对端的模式，通过神经网络直接输出场景重光照后的结果。在神经网络的输入部分，Philip团队预先估计出场景的粗模，得到场景在原光照和目标光照下的高质量阴影图像，输入神经网络中。以上工作可以得到高质量的重光照结果，但都需要较复杂的额外计算结果作支持，这类方法一般用于对重建场景的光照编辑，不适用于实时性要求更高的混合现实应用环境。
    译

    在表达光照信息的选择上，不同工作也选取了不同的方式。在室外场景的重光照工作中，光照主要为太阳光，

    Philip等人（2019）将太阳光作为理想方向光源，计算场景模型在该光源下的阴影图像作为光照信息输入神经网络。Yu和Smith（2019）采用二阶球谐函数对应系数表达光照信息，可以较准确地还原出环境光贴图的低频部分。Zhou等人（2019）将表示目标环境光照的球谐函数系数传入编码器—解码器结构神经网络的瓶颈处，用于预测人像图像在目标光照下的重光照结果。Pandey等人（2021）将HDR（high dynamic range）环境光贴图进行预卷积，分解提供漫反射和高光的信息不同部分分别输入神经网络。
    译

    利用神经网络方法与传统计算机图形学方法相结合，也可实现高效的重光照。

    Rainer等人（2022）提出利用神经网络从场景图像以及特征图中获取辐射传输函数的隐式表达，进一步利用学习获得的算子将目标环境光信息与场景的辐射传输函数信息结合，获得重光照结果。Zhu等人（2022）提出了一个照明感知网络，并设计了一个照明感知残差块来近似物理渲染过程，整体工作遵循层次采样的指导，以高效率逐步从单一图像中重照明场景。Zeng等人（2023）基于神经辐射场（neural radiance field，NeRF）提出一种创新的神经隐式辐射表示方法，能够从少量无结构的照片中实现自由视点下物体的重新照明。这些照片捕捉了物体在不同观察位置的移动点光源下的照明效果。该工作利用多层感知器（multilayer perceptron，MLP）建模形状，并通过另一个MLP同时处理局部和全局光传输效果。此外，引入了阴影和高光提示以增强高频光传输效果的建模。
    译

    1.2　球面基函数

    在渲染工作中存在大量球函数表达（入射光照函数、双向反射分布函数等），定义在球面坐标上的基函数可以帮助分解相关球函数，提供紧凑的表达形式。常见的球面基函数有球谐函数、球面高斯函数以及小波函数，它们广泛运用于图形渲染工作中（

    Ritschel等，2012）。球谐函数擅长近似低频球函数，因此常用于表达环境光贴图和材质的低频部分（Ramamoorthi和Hanrahan，2001）。小波变换则可以更好地表示环境光贴图中的高频信息，常用于需要表示高光的全频率渲染场景中（Ng等，2004）。球面高斯函数在渲染中主要用于描述光照的衰减效果，以用于模拟软阴影和环境光遮蔽等效果。许多工作也利用球面高斯函数来近似粗糙表面的正态分布函数（Han等，2007）。
    译

    Xu等人（2022）综合分析了上述基函数的优势和局限，提出基于神经网络的基函数，同时满足上述基函数旋转不变性、正交性以及全频率表达等特性，有效消除传统基函数在具体应用时常出现的种种限制。
    译

    2　本文方法

    2.1　预计算辐射传输

    计算机图形学中，三维空间中一点x发射出的辐射值通过以下渲染公式描述（

    Kajiya，1986），具体为
    译

    Lo(x, ωo)=Le(x, ωo)+∫Ωfr(x, ωi, ωo)Li(x, ωi)(ωi⋅n)dωi （1）

    式中，ωi和ωo分别为光线入射方向和光线出射方向，n为表面法线方向， fr为反射函数，Le为光源发射辐射量，Li为各方向入射辐射量，Lo为出射辐射量。

    译

    本文工作假设，场景内不含光源，场景的光照由外部各个方向向场景中心辐射的光线提供。渲染公式积分中的反射函数项fr和余弦函数项ωi⋅n可以合并为辐射传输项T，则化简后的计算为

    译

    Lo(x, ωo)=∫ΩT(x, ωi, ωo)Li(ωi)dωi （2）

    预计算辐射传输函数的核心思想为，将球面上光照函数和光线传输函数映射在基函数上，以有限的基函数系数作为对球函数的估计，具体为

    译

    f(ω)≈∑iaiBi(ω) （3）

    式中，ω为定义在球面上的方向， f为任一球函数，Bi为第i个球面基函数，ai则表示函数在对应基函数上的系数。将式（2）中的T和Li用式（3）形式进行估计，可得

    译

    Lo(x, ωo)=∫Ω∑jajT(x, ωo)Bjωi∑kakLiBk(ωi)dωi （4）

    式中，ajT为辐射传输函数在第j项基函数下的对应系数。akLi为入射光照函数在第k项基函数下的对应系数。利用基函数的正交归一性可以对式（4）进一步化简，具体为

    译

    Lo(x, ωo)=∫Ω∑jajT(x, ωo)Bj(ωi)⋅ajLiBj(ωi)dωi=                      ∑jajT(x, ωo)ajLi∫ΩBj2(ωi)dωi=                      ∑jajT(x, ωo)ajLi （5）

    由式（5）可以看出，输出结果为对应空间点x辐射传输函数和入射光照函数在基函数上的系数构成的向量的点积。在飞行模拟器的具体应用场景下，本文利用卷积神经网络估计机舱内的辐射传输函数的基函数系数表达，同时将环境光贴图分解为基函数系数形式，并利用式（5）计算出机舱重光照结果。

    译

    本文选择采用3阶球谐函数作为基函数。首先，在之前的推导过程中，基函数需要具有正交性和归一性。同时，在本文的重光照具体工作中，即时的光照变化主要来自于飞行器姿态改变导致的旋转变换。球谐函数具有旋转不变性，即旋转一个特定阶数的球谐函数，得到的新函数仍然是同阶球谐函数的线性组合，可以用于高效计算入射光照函数进行旋转后对应的基函数系数，降低实际应用中对光照情况的采样频率，减少由环境光贴图计算对应基函数系数产生的时间开销。从图2的重建结果可以看出，选用的基函数系数表达可以提供场景光照颜色、太阳方向等重要的光照信息。

    译

    fig

    图2  HDR环境贴图原图以及其球谐系数表达的重建结果

    Fig.2  HDR environment map and the reconstruct result of spherical harmonics coefficients representation

    （（a） HDR environment map； （b） reconstruct result）

    icon 下载:  原图 | 高精图 | 低精图

    2.2　光照解耦的重光照算法

    为了实现出色的图像重光照效果，本文提出一种全新的重光照算法，如图3所示，它先将图像中的光照信息与场景信息进行解耦处理，替换目标光照信息后，迅速将两部分重新结合起来。

    译

    fig

    图3  重光照算法流程图

    Fig.3  Relighting workflow diagram

    icon 下载:  原图 | 高精图 | 低精图

    本文采用辐射传输函数表示场景光照解耦后的信息，首次提出利用卷积神经网络估计辐射传输函数，可以较准确地估计出逐像素对应空间点的辐射传输函数的球谐系数表达。

    译

    目标光照条件为从虚拟环境中获取的环境光贴图。将环境光贴图投影在三阶球谐函数上，得到其球谐系数表达。得到球谐系数后，结合飞行模拟器中飞机的姿态参数，可以对环境光进行旋转变换，以模拟机体坐标系下的光照条件。旋转不变性为球谐函数的关键特性，该性质使得球谐函数在处理旋转时非常高效，当飞机在模拟器中改变姿态时，可以快速准确地计算出新的光照条件，保持光照效果的连贯性和真实感。

    译

    由式（5）得知，每个像素点的重光照结果为环境光系数与该像素点对应空间点辐射传输函数球谐系数的点积。

    译

    2.2.1　辐射传输函数估计网络

    本文利用卷积神经网络U-net（

    Ronneberger等，2015）预测辐射传输函数。Isola等人（2017）提出的Pix2Pix方法中利用U-net神经网络进行图像特征图估计的工作，表现出极强的准确性与稳定性。
    译

    本文提出在网络中同时计算左右眼视图的辐射传输函数，而非将左右眼的预测分别作为独立的预测工作。

    LeCun等人（2004）在相关工作中，将左右眼视图叠加传入神经网络进行模式识别相关工作，研究证明网络可以利用双目视觉提供的额外信息，提升相关工作的表现。本文将左右眼视图以及相关特征图沿通道方向叠加，形成H×W×C大小的向量，输入神经网络中。式中，H,W为图像的分辨率，C为通道数量，在本文提出工作中，一个输入包括左右眼RGB图像、左右眼法向特征图、左右眼掩膜以及视差特征图，因此C = 2 × 3 + 2 × 3 + 2 × 1 + 1 = 15。
    译

    本文采用的U-net结构由编码器和解码器两个主要部分组成。编码器通过重叠的卷积层（具备3 × 3卷积和ReLU（rectified linear unit）激活函数）和最大池化层（2 × 2的池化窗口）逐步对输入图像进行下采样，同时提取和深化图像特征。随着网络向深层推进，特征通道的数量增加，从64个通道逐渐增加至512个通道。与之相对应，解码器部分通过反卷积层（2 × 2上采样）和交替卷积层逐步恢复图像尺寸和特征细节，特征通道数从最高点逐步减半回到64个。在编码器和解码器之间，跳跃连接将编码器中的特征图复制并裁剪后直接传递到解码器的相应层。最终，通过1 × 1的卷积操作将特征通道数减少至所需的输出通道数，生成最终结果图像。

    译

    网络的输出图像中每个像素包含一个96维的向量，表示左右双眼在R、G、B 3个颜色通道下的辐射传输函数在3阶球谐函数下的系数表达形式。将网络的输出结果分别与目标光照的球谐系数表达进行逐像素计算点乘，即可得到重光照工作的结果。

    译

    2.2.2　训练方法

    为了获得辐射传输函数的稳定估计，模型首先在“自我预测”时进行训练，其中目标光照条件与原始光照条件保持一致。这样可以使模型学习到在特定光照条件下，物体的辐射传输特性。在验证结果收敛后，本文进一步在改变光照条件的数据上进行训练。

    译

    本文生成的数据集包含2 520幅同一场景同一摄像机视角条件下不同光照条件的图像，因而可两两配对生成上千万不同的重光照数据。一方面直接采用如此大的数据集会使得模型训练时间非常漫长；另一方面，相似（相近的时间，相似的天气）图像的光照条件的变化很小，在训练时也很难为模型提供较多可用的信息。

    译

    本文提出了一种“同批次数据匹配”的采样方式，以保证采样出的数据子集具有较好的随机性。这在能够高效还原全部数据集信息的同时，充分节约训练时间。采样的具体步骤为：将数据集以图像（特征图）和光照条件一一对应的形式进行组织，在训练时一批次随机取出多个数据（在本文中，同批次数据采样数量为16），对同批次的数据进行两两匹配，形成一组重光照数据。该数据子集采用随机取出的方式，可以一定程度保证数据的随机性和对全体数据的还原能力，同时也将训练数据规模由Ndataset2缩减为Nbatch×Ndataset。其中Ndataset表示在同一场景下可选光照条件的数量，Nbatch表示同批次数据数量。此外，同批次两两匹配的数据对中，也包含“自我预测”。这使得模型在训练时，不易受到随机产生的极端场景影响，训练结果更具稳定性。

    译

    2.2.3　损失函数

    原图I通过神经网络预测出对应的辐射传输函数T^与目标光照条件Ltar依照式（5）计算，得到预测重光照结果I^tar。在本文工作中，用于比较目标真值图Itar和I^tar间差距的损失函数由平均绝对误差（mean absolute error，MAE）函数和均方误差（mean squared error，MSE）函数构成。为避免图像中非机舱区域造成的误差影响预测工作，计算损失函数时只累计计算掩膜图中标识为机舱的像素。损失函数各部分计算为

    译

    LMAE=1sum(M)M⊙I^tar-M⊙Itar （6）
    LMSE=1sum(M)M⊙I^tar-M⊙Itar2 （7）
    ℒ=λ1×LMAE+λ2×LMSE （8）

    式中，M为对应掩膜，sum(⋅)用于计算矩阵中所有元素的总和，⊙表示矩阵对应元素相乘结果，λ1和λ2为可调节的正则化系数。

    译

    由于机舱外场景昼夜变化时亮度变化大，摄像机采用自动曝光，机舱内场景会由于局部区域光照过强而导致整体偏暗，曝光相关的非线性变换会导致信息的丢失，因此相关工作常采用对图像做伽马变换或色调映射后的MSE函数作为整体工作的损失函数（

    Raghavan等，2023）。
    译

    2.3　数据集生成

    本文采用虚幻引擎（unreal engine）来构建高度真实的飞行模拟器环境数据集。通过该引擎，本文不仅生成了细致精准的机舱内部场景，还模拟了多变的外部环境光照条件。我们在场景中部署了多个建模精细的战斗机模型，并从多个飞行员常用的视角渲染出机舱内的各个细节，丰富训练集图像内容。

    译

    本文为模拟不同天气状况下的光照变化，通过整合真实世界的天气数据和虚幻引擎的强大渲染能力，再现了从晴朗到多云再到暴雨等多种天气条件，并且模拟了从夜晚到日出再到日落的全天候光照变化，如图4所示。

    译

    fig

    图4  不同天气和时间下的机舱内视图

    Fig.4  Cockpit view under various weather conditions and different times of the day

    icon 下载:  原图 | 高精图 | 低精图

    对于机舱内场景，本文渲染了符合混合现实头显视角需求的左右眼视图。为支持神经网络对辐射传输函数的估计，本文在利用虚幻引擎生成图像的同时，生成图像的法线及视差特征图用于辅助计算，如图5所示。图像的法线计算（

    Feng等，2023）和基于双目视觉的视差图计算（晏敏 等，2022）均存在实时性好且准确率较高的算法，可以高效地集成进本文的重光照工作中。
    译

    fig

    图5  机舱内左右眼视图及特征图

    Fig.5  Cockpit interior views and feature maps for left and right eyes （（a） left images； （b） right images； （c） left masks；

    （d） right masks； （e） left normal images； （f） right normal images； （g） disparity images）

    icon 下载:  原图 | 高精图 | 低精图

    3　实验与结果

    Rainer等人（2022）的工作中利用多层感知机从图像中推导场景的辐射传输函数的神经表征，并通过结合预处理得到的环境光向量利用神经算子生成光照效果。Rainer方法利用辐射传输向量可生成静态场景的高质量光照结果，该方法与本文提出方法具有诸多相似点。Zhou等人（2019）将二阶光照的球谐系数传入网络的瓶颈部分，实现重光照效果。Zhu等人（2022）提出了一个照明感知网络，其中的照明感知残差块可近似物理渲染过程，从而实现高效图像重照明。已提出的重光照算法中，部分方法将光照条件视为平行光或点光源，如Philip等人（2019）将户外光照建模为单个方向光源，不适用于本文应用场景，不具有可比性。另一部分重光照方法主要基于NeRF方法，在对网络进行训练时需要对场景的各个角度进行拍摄，与本文方法所对应的工程应用场景不相符。因此，实验将重点比较本文提出方法与Rainer等人（2022）、Zhou等人（2019）和Zhu等人（2022）提出方法（下文简称Rainer方法、Zhou方法和Zhu方法）的重光照效果表现。
    译

    3.1　定性评估

    现有用于评价重光照工作的数据集较少。最常用于评估场景重光照工作的VIDIT（virtual image dataset for illumination transfer）数据集（

    El Helou等，2020），包含300个场景在8个不同摄像机角度，5个不同光照条件下的图像。然而，该数据集采用另一幅场景图像描述目标环境光照，本文采用球谐系数描述环境光照，因此本文方法并不能使用该数据集进行评估。本文通过自建数据集中的测试集进行算法评测。
    译

    网络训练时采用飞行训练中常见的5个视角的图像数据，在评估过程中将摄像机设置于3个与之前不同的视角，生成评估数据集。

    译

    在全新光照条件和全新视角下的重光照效果如图6所示。其中，图6上下两部分分别展示由光照条件A（B）到光照条件B（A）的重光照工作，第1行为左眼预测结果，第2行为右眼预测结果。

    译

    fig

    图6  本文方法重光照效果

    Fig.6  Relighting effects achieved by the proposed method （（a） provides the environmental light maps containing information for lighting conditions A and B； （b） original images； （c） ground truth； （d） predicted relighting results from our method； （e） actual relighting difference images； （f） relighting difference images from our relighting method）

    icon 下载:  原图 | 高精图 | 低精图

    本文提出的重光照方法很大程度上预测了目标光照条件下，机舱内部视图的亮度、色彩、区域间的明暗关系等，同时极大地保留机舱内部视图中的细节。预测重光照结果与目标真值图的区别有时难以感知，本文分别计算真实图与预测图的重光照差异图。重光照差异图的相似程度即可直接反映重光照结果的真实程度。

    译

    ΔI=Itar-I2+0.5 （9）
    ΔI^=I^tar-I2+0.5 （10）

    从视觉感知对重光照效果进行评估，本文工作可以达到混合现实飞行模拟器所需要的内外部分光照在用户感知上一致的要求。网络在预测新场景的辐射传输函数时也显示出了较强的准确性，表明网络具有很好的泛化能力，预测重光照结果在保留原图细节的同时，也精确地反映出光照变化。

    译

    本文在视觉效果上对所提出的方法与Rainer方法进行了对比分析。Rainer方法依赖于多种特征图，包括场景的漫反射反照率、镜面反照率和粗糙度。在本研究的对比实验中，这些特征图使用渲染引擎直接生成的真实数据。然而，在实际场景应用中，这些特征图往往难以被准确地预测和获取。

    译

    本文方法与Rainer方法均展现出对图像进行重光照的能力，比较生成重光照细节可以发现具体差异（如图7）。图7中选取了同一机模不同条件下的5个重光照任务进行对比，图7第1行中，Rainer方法的差异图中出现类似重影的异常色块；第2行中，Rainer方法预测图出现场景亮度过高的情况；第3行中Rainer方法的预测结果在机舱右侧处与真实值有明显的差异，这种程度的差异足以影响用户对于该场景下光照条件的判断。通过对比，本文提出方法不仅生成具有更佳重光照效果的的图像，同时机舱内部细节的精准还原保证了对机舱内细节的还原，使得生成图像更自然，且无伪影等图像失真。

    译

    fig

    图7  本文方法与

    Rainer等人（2022）方法对比图

    Fig.7  Comparison of our method with the approach by

    Rainer et al. （2022） （（a） original images； （b） ground truth；

    （c） relighting images （our work）； （d） relighting images （Rainer’s work）； （e） ground truth difference images；

    （f） relighting difference images （our work）； （g） relighting difference images （Rainer’s work））

    icon 下载:  原图 | 高精图 | 低精图

    3.2　定量评估

    本文选取应用相似的Zhou方法、Zhu方法和Rainer方法进行定量评估对比。本文在生成数据集中均匀采样并随机匹配初始与目标光照条件，生成足够多的“初始—目标”光照点对，组成评估数据集。数值评估计算重光照预测图像与重光照真值图间的多个误差度量。

    译

    具体评估分为两个部分，第1部分随机验证数据集中“初始—目标”光照点对，计算完整数据集的平均度量；第2部分选取多个固定初始光照条件，计算初始图像的重光照结果的误差度量。评估结果如表1和表2所示。

    译

    表1  不同方法在评估数据集上的性能指标
    Table 1  Performance metrics of different methods on the evaluation dataset
    方法SSIM(↑)

    PSNR

    /dB(↑)

    		LPIPS(↓)NIQE(↓)
    Rainer 等人（2022 ） 0.951 8 26.502 3 0.045 5 27.555 3
    Zhou等人（2019） 0.835 8 23.090 4 0.377 4 20.450 3
    Zhu等人（2022） 0.861 4 19.784 8 0.103 4 5.182 2
    本文 0.879 1 28.484 1 0.101 4 20.341 0

    注：  加粗字体表示各列最优结果，“↑”表示值越大越好，“↓”表示值越小越好。

    icon 下载:  CSV icon 下载:  表格图片
    表2  不同方法在评估数据集上的性能指标（固定初始光照）
    Table 2  Performance metrics of different methods on the evaluation dataset （fixed original illumination）
    方法SSIM(↑)PSNR/dB(↑)
    Zhou等人（2019） 0.796 0/0.600 7/0.556 3 19.17/14.96/13.75
    Zhu等人（2022） 0.862 8/0.843 0/0.763 4 19.98/18.75/18.27
    本文 0.924 0/0.882 4/0.795 3 30.19/27.86/24.51

    注：  加粗字体表示各列最优结果，“↑”表示值越大越好，“↓”表示值越小越好。

    icon 下载:  CSV icon 下载:  表格图片

    从表1可以看出，本文方法在峰值信噪比（peak signal-to-noise ratio，PSNR）指标上优于对比方法，在结构相似性（structural similarity index，SSIM）指标与学习感知图像块相似度（learned perceptual image patch similarity，LPIPS）指标虽劣于Rainer方法，表明本文方法预测图像与真实图像相似度高。值得强调的是，本文在进行Rainer方法复现时，向网络输入的特征图均为由渲染引擎直接生成的真值图。如果从摄像机拍摄图像准确估计这类特征图，涉及逆向渲染方法，过程复杂且具有挑战，这限制了Rainer方法在混合现实重光照中的实际应用。无参考图像指标（natural image quality evaluator，NIQE）用于评价图像是否接近于自然图像，本文工作该指标劣于Zhu方法，对比Rainer方法和Zhou方法稍优。本文工作NIQE评分位于中上水平，生成图像呈现不自然可能与本文采用自行生成的虚拟数据集进行训练有关。

    译

    表2展示了不同重光照方法在固定初始图像光照条件下，对所有光照条件的重光照表现。表中多个数字对应选用的多个光照条件。在所有目标光照条件下是否均能有效进行重光照，可以体现网络是否完整提取初始图像中辐射传输相关信息。由于Rainer方法将场景的特征图直接作为输入，网络表现与初始图像光照条件无关，因此不进行比较。在与Zhou方法和Zhu方法的比较中，本文方法的SSIM和PSNR指标均更高，说明本文方法稳定性更高。

    译

    3.3　运行环境和时间性能

    算法神经网络部分使用PyTorch实现，模型训练的优化器选取AdamW优化器（

    Loshchilov和Hutter，2019），优化器相关参数均采用默认推荐值。同批次采样数量Nbatch取16，损失函数取λ1 = 0.1，λ2 = 0.1。
    译

    训练与运行环境使用的GPU为单块NVIDIA GTX 3090，CPU为Intel（R） Xeon（R） Silver 4210 CPU @ 2.20 GHz。

    译

    为评估本文提出算法的时间效率，进行大量图像重光照操作，计算其平均时间开销，结果如表3所示。算法在512 × 512像素分辨率下，可以实现实时重光照，满足混合现实一般需求。

    译

    表3  算法单次重光照平均时间
    Table 3  Average time of the algorithm for single relighting execution
    图像尺寸/像素平均时间/s帧速率/（帧/s）
    256 × 256 0.117 85.19
    512 × 512 0.029 34.21
    1 024 × 1 024 0.089 11.23

    注：  单次重光照计算同时生成左右眼重光照结果。

    icon 下载:  CSV icon 下载:  表格图片

    3.4　消融实验

    在神经网络训练中，同批次数据数量（batch size）作为一个关键的超参数，对训练过程产生深远影响。较大的同批次数据数量能更高效地利用计算硬件并加快每次迭代的处理速度，但同时增加了内存需求，并可能需要更多迭代次数以达到收敛。另一方面，较小的“同批次数据数量”虽然可能引入更多的噪音，却也有助于避免网络落入局部最优解空间，但又有可能导致训练过程不太稳定。因此，选择合适的“同批次数据数量”需要在多个因素间进行权衡，包括硬件资源、模型性能和泛化能力。没有通用的最佳选择，应根据特定应用和硬件环境的需求进行调整。

    译

    在本文提出的训练方法中，同批次数据数量相互组合构成重光照数据。较大的同批次数据数量意味着在同批次数据相互匹配时会生成更多的重光照训练样例，这在一定程度上有利于网络在学习过程中接触更多不同情况的重光照结果，增强网络的泛化能力。

    译

    综上，较大的同批次数据数量会产生更多的网络学习样例，但同时

    Keskar等人（2017）提出大批量训练方法倾向于收敛到训练函数和测试函数的最低限度的极小值点，而最低限度的极小值点会导致泛化能力变差。相反，小批量方法始终收敛于平缓的极小值点。因此，本文增设一个消融实验，以探究在本文提出的神经重光照工作中，最为合适的同批次数据数量。
    译

    实验在保持网络其他参数不变的同时，设置不同的同批次数据数量，分别取同批次数据数量为4，8，16的情况，由于训练使用机器的硬件性能限制，实验时能取得的最大的同批次数据数量为16。实验得到的不同情况的验证集损失函数随训练变化情况如图8所示。图中同批次数据数量取值为4， 8， 16的情况分别对应蓝色、红色与绿色曲线，横坐标表示训练轮数，纵坐标表示每轮训练的损失函数值，图中曲线在可视化前经过光滑化处理。

    译

    fig

    图8  不同同批次数据数量方法验证集损失函数对比图

    Fig.8  Comparison of validation set loss functions for different batch sizes

    icon 下载:  原图 | 高精图 | 低精图

    图像显示，在较小的批次数据量下，模型训练中的损失函数收敛更快。当批次数据量增至16，损失函数的收敛速度明显降低。而在较大批次数据量下，模型训练稳定后，验证集损失函数值更小。在取同批次数据数量为16时，训练得到的验证集损失函数值为0.012 35，与其他同批次数据数量情况比较，分别下降10.9%（同批次数据数量取4）和5.1%。

    译

    实验表明，在一定范围内（最大批次数据量为16），增大批次数据量可以降低验证集的损失函数，从而获得更接近真实图像的重构光照效果。

    译

    4　局限性

    本文工作的局限性主要分为方法局限性和数据集局限性两部分。

    译

    本文采用三阶球谐函数作为环境光函数和辐射传输函数的基函数。由于球谐函数对高频信息的还原能力较差，本文提出的方法对于金属高光等高频信息的表现不尽人意。其他常见用于球函数的基函数如球面高斯函数和小波函数虽然具有表示高频信息的能力，但球面高斯函数不具有正交性、小波函数不具有旋转不变性。这些性质有助于本文方法高效地进行像素值的计算，并处理环境光贴图旋转的情况。同时，本文认为缺失图像高频信息，虽然降低了重光照图像的真实性，却不会明显影响使用者对于环境光照条件的感受。本文在利弊权衡下选取了球谐函数作为基函数。

    Xu等人（2022）提出利用神经网络构造兼具以上性质的可表征全频率信息的球函数基函数，为解决本文局限性提出了一条新的可行路径。
    译

    预计算辐射传输函数方法中渲染公式的形式为

    译

    Lo(x, ωo)=∫ΩT(x, ωi, ωo)Li(ωi)V(x, ωi)dωi （11）

    式中，V(x,ωi)表示空间点x对ωi方向上的环境光的可见性。本文简化式（11）的形式，将V项与T项合并，并利用神经网络进行预测。这样的简化导致可见性函数V中大量描述几何边缘的高频信息丢失，影响阴影边缘的还原。

    译

    数据集中，本文采用了多架高品质建模的战斗机模型，但并未完全覆盖当今服役的战斗机机型，对于战斗机机舱内的常见结构，本文方法可以高效预测传输函数；然而对于各型号战斗机的特殊设计（特殊的几何形状、特殊的材质、特殊的喷漆等），本文工作无法确保高准确率的估计。

    译

    在生成数据集的过程中，本文仅改变了外部光照条件以及摄像机视角，未考虑机舱中的可动部件。在实际过程中，操纵杆、按钮、节油阀等部件的变化会影响场景的辐射传输函数。

    译

    5　结 论

    本文从混合现实在飞行模拟器中的实际工程应用出发，提出混合现实中虚拟与现实部分光照不一致的问题，并完成以下工作。1）提出一种基于神经网络的图像重光照方法，首次提出利用卷积神经网络从图像中提取辐射传输函数作为场景特征，与目标光照条件作用，生成重光照结果。定性与定量评估证明，在对具体的机舱重光照的工作中，本文相较于其他主流神经重光照方法更优。2）利用环境光贴图的球谐系数表达方式传递光照条件信息，并首次提出从单幅真实图像数据获取场景辐射光照函数的球谐系数表达，验证了利用神经网络从真实图像中预测场景辐射传输函数的可行性。本文采用神经网络方法与传统图形学算法相结合的方式，提升图像重光照效果。3）本文生成适用于战斗机机舱环境重光照工作的数据集。其中光源描述均以高分辨率环境光贴图的形式给出，在之前关于重光照工作的数据集，光照条件多以点光源或方向光源形式给出，不符合现实环境中的光照条件。本文生成数据集为机舱重光照这一具体任务建立了一定的研究基础。

    译

    针对研究过程中遇到的限制，本文思考并总结了以下几个方向，有助于对飞行模拟器机舱重光照这一问题进行优化。1）在前文局限性部分提及本文在研究过程中简化了渲染公式，一是因为计算空间点对于各方向可见性的过程十分耗时；二是将空间上所有点的可见性进行预计算后存储会耗费大量内存空间。为准确计算场景可见性函数V，未来工作可利用新兴的神经表达场相关技术（

    Eslami等，2018），实现高效且轻量级的可见性函数计算和存储。2）重光照工作中图像具有时序连续性，未来工作中可以充分利用特性，优化神经网络结构，加入对应模块，提升预测结果的稳定性。3）在数据集生成过程中，利用更多机模，引入更多变化，有助于提升机舱重光照算法的泛用性和稳定性。4）本文方法目前阶段仅通过重光照图像与重光照真值的相似度这一角度对重光照工作进行评估。在后续完成算法在飞行模拟器实际的部署工作中可补充用户研究，有助于评估本文方法在改善混合现实视觉体验中存在的不协调方面的有效性。
    译

    参考文献（References）

    Einabadi F， Guillemaut J Y and Hilton A. 2021. Deep neural models for illumination estimation and relighting： a survey. Computer Graphics Forum， 40（6）： 315-331 ［DOI： 10.1111/cgf.14283］ [百度学术] 

    El Helou M， Zhou R F， Barthas J and Süsstrunk S. 2020. VIDIT： virtual image dataset for illumination transfer. ［EB/OL］. ［2023-7-12］. https://doi.org/10.48550/arXiv.2307.06335 [百度学术] 

    Eslami S M A， Rezende D J， Besse F， Viola F， Morcos A S， Garnelo M， Ruderman A， Rusu A A， Danihelka I， Gregor K， Reichert D P， Buesing L， Weber T， Vinyals O， Rosenbaum D， Rabinowitz N， King H， Hillier C， Botvinick M， Wierstra D， Kavukcuoglu K and Hassabis D. 2018. Neural scene representation and rendering. Science， 360（6394）： 1204-1210 ［DOI： 10.1126/science.aar6170］ [百度学术] 

    Feng Y， Xue B H， Liu M， Chen Q J and Fan R. 2023. D2NT： a high-performing depth-to-normal translator//Proceedings of 2023 IEEE International Conference on Robotics and Automation. London， UK： IEEE ［DOI： 10.1109/ICRA48891.2023.10161000］ [百度学术] 

    Han C， Sun B， Ramamoorthi R and Grinspun E. 2007. Frequency domain normal map filtering//Proceedings of the ACM SIGGRAPH 2007. San Diego， USA： ACM， 2007： #28 ［DOI： 10.1145/1275808.1276412］ [百度学术] 

    Isola P， Zhu J Y， Zhou T H and Efros A A. 2017. Image-to-image translation with conditional adversarial networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， USA： IEEE： 5967-5976 ［DOI： 10.1109/CVPR.2017.632］ [百度学术] 

    Kajiya J T. 1986. The rendering equation//Proceedings of the 13th Annual Conference on Computer Graphics and Interactive Techniques. Dallas， USA： ACM： 143-150 ［DOI： 10.1145/15922.15902］ [百度学术] 

    Keskar N S， Mudigere D， Nocedal J， Smelyanskiy M and Tang P T P. 2017. On large-batch training for deep learning： generalization gap and sharp minima//Proceedings of the 5th International Conference on Learning Representations. Toulon， France： OpenReview.net [百度学术] 

    LeCun Y， Huang F J and Bottou L. 2004. Learning methods for generic object recognition with invariance to pose and lighting//Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， USA： IEEE： II-104 ［DOI： 10.1109/CVPR.2004.1315150］ [百度学术] 

    Loshchilov I and Hutter F. 2019. Decoupled weight decay regularization//Proceedings of the 7th International Conference on Learning Representations. New Orleans， USA： OpenReview.net [百度学术] 

    Milgram P and Kishino F. 1994. A taxonomy of mixed reality visual displays. IEICE Transactions on Information and Systems， E77-D（12）： 1321-1329 [百度学术] 

    Murmann L， Gharbi M， Aittala M and Durand F. 2019. A dataset of multi-illumination images in the wild//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul， Korea （South）： IEEE： 4080-4089 ［DOI： 10.1109/ICCV.2019.00418］ [百度学术] 

    Ng R， Ramamoorthi R and Hanrahan P. 2004. Triple product wavelet integrals for all-frequency relighting. ACM Transactions on Graphics， 23（3）： 477-487 ［DOI： 10.1145/1015706.1015749］ [百度学术] 

    Nicolet B， Philip J and Drettakis G. 2020. Repurposing a relighting network for realistic compositions of captured scenes//Proceedings of the Symposium on Interactive 3D Graphics and Games. San Francisco， USA： ACM： #4 ［DOI： 10.1145/3384382.3384523］ [百度学术] 

    Pandey R， Escolano S O， Legendre C， Häne C， Bouaziz S， Rhemann C， Debevec P and Fanello S. 2021. Total relighting： learning to relight portraits for background replacement. ACM Transactions on Graphics， 40（4）： #43 ［DOI： 10.1145/3450626.3459872］ [百度学术] 

    Philip J， Gharbi M， Zhou T H， Efros A A and Drettakis G. 2019. Multi-view relighting using a geometry-aware network. ACM Transactions on Graphics， 38（4）： #78 ［DOI： 10.1145/3306346.3323013］ [百度学术] 

    Philip J， Morgenthaler S， Gharbi M and Drettakis G. 2021. Free-viewpoint indoor neural relighting from multi-view stereo. ACM Transactions on Graphics， 40（5）： #194 ［DOI： 10.1145/3469842］ [百度学术] 

    Raghavan N， Xiao Y， Lin K E， Sun T， Bi S， Xu Z， Li T M and Ramamoorthi R. 2023. Neural free‐viewpoint relighting for glossy indirect illumination. Computer Graphics Forum， 42（4）： #e14885 ［DOI： https://doi.org/10.1111/cgf.14885］ [百度学术] 

    Rainer G， Bousseau A， Ritschel T and Drettakis G. 2022. Neural precomputed radiance transfer. Computer Graphics Forum， 41（2）： 365-378 ［DOI： 10.1111/cgf.14480］ [百度学术] 

    Ramamoorthi R and Hanrahan P. 2001. An efficient representation for irradiance environment maps//Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. Los Angeles， USA： ACM： 497-500 ［DOI： 10.1145/383259.383317］ [百度学术] 

    Ren P R， Dong Y， Lin S， Tong X and Guo B N. 2015. Image based relighting using neural networks. ACM Transactions on Graphics， 34（4）： #111 ［DOI： 10.1145/2766899］ [百度学术] 

    Ritschel T， Dachsbacher C， Grosch T and Kautz J. 2012. The state of the art in interactive global illumination. Computer Graphics Forum， 31（1）： 160-188 ［DOI： 10.1111/j.1467-8659.2012.02093.x］ [百度学术] 

    Ronneberger O， Fischer P and Brox T. 2015. U-net： convolutional networks for biomedical image segmentation//Proceedings of the 18th Medical Image Computing and Computer-Assisted Intervention. Munich， Germany： Springer： 234-241 ［DOI： 10.1007/978-3-319-24574-4_28］ [百度学术] 

    Sengupta S， Gu J W， Kim K， Liu G L， Jacobs D and Kautz J. 2019. Neural inverse rendering of an indoor scene from a single image//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul， Korea （South）： IEEE： 8597-8606 ［DOI： 10.1109/ICCV.2019.00869］ [百度学术] 

    Sloan P P， Kautz J and Snyder J. 2002. Precomputed radiance transfer for real-time rendering in dynamic， low-frequency lighting environments. ACM Transactions on Graphics， 21（3）： 527-536 ［DOI： 10.1145/566654.566612］ [百度学术] 

    Sun T C， Barron J T， Tsai Y T， Xu Z X， Yu X M， Fyffe G， Rhemann C， Busch J， Debevec P and Ramamoorthi R. 2019. Single image portrait relighting. ACM Transactions on Graphics， 38（4）： #79 ［DOI： 10.1145/3306346.3323008］ [百度学术] 

    Tewari A， Fried O， Thies J， Sitzmann V， Lombardi S， Sunkavalli K， Martin-Brualla R， Simon T， Saragih J， Nießner M， Pandey R， Fanello S， Wetzstein G， Zhu J Y， Theobalt C， Agrawala M， Shechtman E， Goldman D B and Zollhöfer M. 2020. State of the art on neural rendering. Computer Graphics Forum， 39（2）： 701-727 ［DOI： 10.1111/cgf.14022］ [百度学术] 

    Xu Z L， Zeng Z， Wu L F， Wang L and Yan L Q. 2022. Lightweight neural basis functions for all-frequency shading//Proceedings of 2022 SIGGRAPH Asia Conference. Daegu， Korea（South）： ACM： #14 ［DOI： 10.1145/3550469.3555386］ [百度学术] 

    Xu Z X， Sunkavalli K， Hadap S and Ramamoorthi R. 2018. Deep image-based relighting from optimal sparse samples. ACM Transactions on Graphics， 37（4）： #126 ［DOI： 10.1145/3197517.3201313］ [百度学术] 

    Yan M， Wang J Z and Li J. 2022. Reliable binocular disparity estimation based on multi-scale similarity recursive search. Journal of Image and Graphics， 27（2）： 447-460 [百度学术] 

    晏敏， 王军政， 李静. 2022. 多尺度相似性迭代查找的可靠双目视差估计. 中国图象图形学报， 27（2）： 447-460 ［DOI： 10.11834/jig.210551］ [百度学术] 

    Yu Y， Meka A， Elgharib M， Seidel H P， Theobalt C and Smith W A P. 2020. Self-supervised outdoor scene relighting//Proceedings of the 16th European Conference on Computer Vision. Glasgow， UK： Springer： 84-101 ［DOI： 10.1007/978-3-030-58542-6_6］ [百度学术] 

    Yu Y and Smith W A P. 2019. InverseRenderNet： learning single image inverse rendering//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach， USA： IEEE： 3155-3164 ［DOI： 10.1109/CVPR.2019.00327］ [百度学术] 

    Zeng C， Chen G J， Dong Y， Peers P， Wu H Z and Tong X. 2023. Relighting neural radiance fields with shadow and highlight hints//Proceedings of 2023 ACM SIGGRAPH Conference. Los Angeles， USA： ACM： #73 ［DOI： 10.1145/3588432.3591482］ [百度学术] 

    Zhan F N， Lu S J， Zhang C G， Ma F Y and Xie X S. 2020. Adversarial image composition with auxiliary illumination//Proceedings of the 15th Asian Conference on Computer Vision. Kyoto， Japan： Springer： 234-250 ［DOI： 10.1007/978-3-030-69532-3_15］ [百度学术] 

    Zhou H， Hadap S， Sunkavalli K and Jacobs D. 2019. Deep single-image portrait relighting//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul， Korea （South）： IEEE： 7193-7201 ［DOI： 10.1109/ICCV.2019.00729］ [百度学术] 

    Zhu Z L， Li Z， Zhang R X， Guo C L and Cheng M M. 2022. Designing an illumination-aware network for deep image relighting. IEEE Transactions on Image Processing， 31： 5396-5411 ［DOI： 10.1109/TIP.2022.3195366］ [百度学术] 

    文章被引用时，请邮件提醒。
    提交

    相关文章

    暂无数据

    相关作者

    暂无数据

    相关机构

    暂无数据
    0