CN113920036A - 一种基于rgb-d图像的交互式重光照编辑方法 - Google Patents
一种基于rgb-d图像的交互式重光照编辑方法 Download PDFInfo
- Publication number
- CN113920036A CN113920036A CN202111520120.0A CN202111520120A CN113920036A CN 113920036 A CN113920036 A CN 113920036A CN 202111520120 A CN202111520120 A CN 202111520120A CN 113920036 A CN113920036 A CN 113920036A
- Authority
- CN
- China
- Prior art keywords
- map
- spherical harmonic
- image
- shadowless
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 22
- 238000002310 reflectometry Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 238000005286 illumination Methods 0.000 claims description 56
- 239000013598 vector Substances 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种基于RGB‑D图像的交互式重光照编辑方法。首先对输入的图像进行预处理，获取无阴影的反射率图、明暗图以及阴影图；利用MaskRCNN算法对原始RGB图像进行分割，获取场景中物体的分割掩模，然后获取相应的局部深度图、无阴影的反射率图、无阴影的明暗图；将无阴影的明暗图分解为全局和局部的光照细节图和球谐光照图；分别对全局和局部的球谐光照图进行采样、可视化并通过交互式编辑，获取调节后的全局和局部的球谐光照图；根据全局和局部的无阴影的反射率图、调节后的球谐光照图、阴影图合成得到环境光编辑后的全局和局部的RGB重光照图像并输出。能够有效、便捷和直观地实现低光条件下室内复杂场景图像增强。
Description
技术领域
本发明涉及图像处理技术和计算机图形学技术领域，尤其涉及一种基于RGB-D图像的交互式重光照编辑方法。
背景技术
光照信息是构成照片质量的一个重要因素，一张照片的光照，尤其是环境光分布直接影响照片的视觉质量。特别在室内低光场景下，拍摄的照片具有复杂的环境光，拍摄效果往往很难较好的直接呈现在人们的面前，即使在专业的摄影师的拍摄下，他们也往往需要通过外加的人工光源来改善环境的光照分布。但是由于现实场景较为复杂，即使专业摄影师通过后期编辑也难以达到较好的光照效果，此外，他们也无法实现自然、真实的局部光照编辑来实现场景的局部细节增强。因此，为用户提供一种简单、有效、便捷的交互式光照编辑方法意义重大。
目前尚存的一些重加光照的方法，如利用直线光源、点光源或者聚光灯等简单的光照模型，虽然能够实现对图像中光照的调节，但不适用于现实光照条件下的复杂场景。同时也很难对光源的数量、位置和光照强度进行准确的估计。虽然一些交互式的重加光照的方法虽然能够克服这些缺点，但是由于没有用到三维信息作为输入，需要大量的交互式操作来确定场景的空间结构以及光源的位置、方向和强度等信息，且无法同时实现场景的整体及局部光照的增强。
发明内容
本申请实施例通过提供一种基于RGB-D图像的交互式重光照编辑方法，有效地解决了现有技术中难以便捷、高效的对室内低光条件下复杂场景图像的光照进行全局和局部有效增强的问题。
本申请实施例提供一种基于RGBD图像的交互式光照编辑方法，包括，
步骤1、首先对输入的 RGBD 图像进行预处理，获取无阴影的反射率图、明暗图以及阴影图；
步骤2、将步骤1中所述无阴影的明暗图分解为光照细节图和球谐光照图；
步骤3、对步骤2中所述的球谐光照图进行采样、可视化并通过交互式编辑，最终获得调节后的球谐光照图。
步骤4、根据所述无阴影的反射率图、所述调节后的球谐光照图、所述的阴影图合成得到环境光编辑后的 RGB 图像并输出。
优选的，所述步骤1包括以下子步骤：
步骤 1.1、将原始 RGB 图像灰度化，同时利用相对全变分模型对灰度化的图像进行滤波，最终获取纹理去除后的图像；
步骤 1.2、联合 RGBD-Fusion 方法和步骤1.1所述的纹理去除后的图像对原始粗糙的深度图进行优化，获取精细深度图；
步骤 1.3、通过结合单张 RGBD 图像的阴影移除方法与步骤1.2所述的精细深度图，对原始RGB 图像进行图像的阴影移除，最终获取阴影图和无阴影图像；
步骤 1.4、利用本征图像分解方法对步骤1.3所述的无阴影图像进行本征图像分解，最终获得无阴影的反射率图和无阴影的明暗图。
优选的，所述步骤2包括以下子步骤：
步骤2.1、利用MaskRCNN算法对步骤1所述的原始RGB图像进行分割，获取场景中物体的分割掩模；
步骤2.2、利用所述物体的掩模与上述所述的精细的深度图、无阴影的反射率图和无阴影的明暗图进行逐像素相乘操作，获取相应物体的精细深度图、无阴影的反射率图、无阴影的明暗图；
步骤2.3、利用所述全局场景的精细深度图和相应的局部场景的精细深度图，分别计算出相应的法线图，并且将其归一化；
步骤2.4、将步骤2.3所述的归一化的法线图转换成大小为N×3法向量矩阵；
步骤2.5、将所述全局场景的无阴影的明暗图和相应局部场景的无阴影明暗图分别按照行主序的顺序构造成长度为N的列向量；
步骤 2.6、利用最小二乘法获得全局场景和局部场景的球谐系数向量：
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为无阴影的明暗图的列向量；
步骤 2.7、利用所述球谐系数向量分别获得全局场景的球谐光照图、光照细节图和局部场景的球谐光照图、光照细节图，相应的计算方法为：
其中，L、D分别为所述的球谐光照图、所述光照细节图，
。
优选的， 所述步骤 3 包括以下子步骤： 步骤 3.1、将所述球谐光照图对应的球谐系数向量在立方体上渲染并展开，最终分别获取全局场景和局部场景的环境光分布图；
步骤 3.2、 分别在所述环境光分布图上人工使用笔刷等工具进行绘制交互，来调整光照的强度和分布，最终获取编辑后的全局和局部环境光分布图；
步骤 3.3、通过获得编辑后的环境光分布图的球谐系数向量， 同时根据球谐系数向量进行重新渲染，得到调节后的全局和局部球谐光照图。
优选的，所述步骤3.3中
步骤3.3.1、利用所述的全局精细深度图和相应的局部场景的精细深度图，分别计算出相应的法线图，并且将其归一化；
步骤3.3.2、将步骤3.3.1所述的归一化的法线图转换成大小为N×3的法向量矩阵；
步骤3.3.3、利用2阶球谐基函数计算出所述法向量矩阵对应的球谐基矩阵，所述球谐基矩阵大小为N×9；
步骤3.3.4、将所述整个场景的无阴影的明暗图和相应局部场景的无阴影明暗图分别按照行主序的顺序构造成长度为N的列向量；
步骤 3.3.5、利用最小二乘法获得整体场景和局部场景的球谐系数向量：
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为编辑后的环境光分布图向量。
优选的，所述步骤4中合成得到的环境光编辑后的RGB图像的计算方法为：
其中，I为所述的环境光编辑后的输出的RGB图像，
为所述阴影图，
为所述调节
后的球谐光照图，R为所述无阴影的反射率图。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在本申请实施例中，首先对输入的RGB图像及相应的深度图像进行预处理，得到无阴影的反射率图、 无阴影的明暗图以及阴影图，然后将无阴影的明暗图分解成光照细节图和球谐光照图，并通过交互编辑方法最终得到调节后的球谐光照图，最后根据无阴影的反射率图、调节后的球谐光照图、阴影图合成得到环境光编辑后的RGB图像并输出。即本发明对输入的图像进行预处理，并将明暗图分解成光照细节图和球谐光照图，再以用户交互的方式调整球谐光照图，并相应地调整阴影，最后进行重新合成，得到环境光编辑后的图像。本发明结合深度图优化算法对图像中的环境光进行估计，并通过用户交互的方式编辑环境光并重新合成，从而使得图像的环境光照情况达到预期效果。本发明的重光照编辑方法主要针对各种低光条件下的室内复杂场景，能够通过用户交互进行直观有效的光照编辑，从而实现图像的全局和局部场景的重光照，同时对于用户输入具有较好的鲁棒性。
附图说明
为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于RGB-D图像的交互式重光照编辑方法的总体设计流程图。
图2为本实施例提供的一种基于RGB-D图像的交互式重光照编辑方法的图像全局重光照实验结果图。
图3为本实施例提供的一种基于RGB-D图像的交互式重光照编辑方法的图像局部重光照实验结果图。
具体实施方式
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明提供一种基于RGB-D图像的交互式重光照编辑方法，主要包括以下步骤：
步骤1、首先对输入的 RGBD 图像进行预处理，获取无阴影的反射率图、明暗图以及阴影图；
步骤2、将步骤1中所述无阴影的明暗图分解为光照细节图和球谐光照图；
步骤3、对步骤2中所述的球谐光照图进行采样、可视化并通过交互式编辑，最终获得调节后的球谐光照图。
步骤4、根据所述无阴影的反射率图、所述调节后的球谐光照图、所述的阴影图合成得到环境光编辑后的 RGB 图像并输出。
下面结合附图，对本发明作进一步的说明。
参考图1-图3，本实施例提供的一种基于RGB-D图像的交互式重光照编辑方法，主要包括如下步骤：
首先对一张输入分辨率大小为
的RGB图像及其相应的深度图进行预
处理，将其灰度化，通过使用相对全变分模型对灰度图进行滤波，最终获取纹理去除后的图
像即结构图。
通过将RGBD聚合方法与纹理去除后的图像相结合，对原始输入的粗糙深度图像进行深度图优化，获取精细深度图。
通过将单张RGBD图像的阴影移除方法结合精细深度图对原始RGB图像的阴影进行移除，得到阴影图、无阴影图像。
通过使用本征图像分解算法对无阴影图像进行分解，获取无阴影的反射率图和无阴影的明暗图。
基于球谐光照将明暗图分别分解成相应的全局光照细节图、全局球谐光照图、局部光照细节图和局部球谐光照图。具体过程如下:
利用MaskRCNN算法对步骤1所述的原始RGB图像进行分割，获取场景中物体的分割掩模；
利用所述物体的掩模与上述所述的精细的深度图、无阴影的反射率图和无阴影的明暗图进行逐像素相乘操作，获取相应物体的精细深度图、无阴影的反射率图、无阴影的明暗图；
利用所述全局场景的精细深度图和相应的局部场景的精细深度图，分别计算出相应的法线图，并且将其归一化；全局场景就是对整个输入的图像进行整体操作，而局部场景就是通过Mask-RCNN对场景中的物体进行分割，并对分割后的单个场景中的物体进行操作。
将上述归一化的法线图转换成大小为N×3的法向量矩阵；
将所述全局场景的无阴影的明暗图和相应局部场景的无阴影明暗图分别按照行主序的顺序构造成长度为N的列向量；
利用最小二乘法获得全局场景和局部场景的球谐系数向量：
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为编辑后的环境光分布图向量；
利用所述球谐系数向量分别获得全局场景的球谐光照图、光照细节图和局部场景的球谐光照图、光照细节图，相应的计算方法为：
其中，L、D分别为所述的球谐光照图、所述光照细节图，
。
通过使用用户交互的方式分别对全局球谐光照图和局部球谐光照图进行编辑，获取环境光调整后的全局和局部球谐光照图。具体过程如下:
分别将所述球谐光照图对应的球谐系数向量在立方体上渲染并展开，最终分别获取全局场景和局部场景的环境光分布图；
分别在所述环境光分布图上人工使用笔刷等工具进行绘制交互，来调整光照的强度和分布，最终获取编辑后的全局和局部环境光分布图；所要编辑的图像，它是一个展开的六面体盒，在不同的面上通过图画上白点或线条，实现不同方向上的光照，相当于添加光源，白线的多少、粗细代表着光照强度的强弱，例如在展开的立方体盒下面画上白线，表示在场景的前方添加一个光源，该交互方式简单有效。
步骤 6.3、通过获得编辑后的环境光分布图的球谐系数向量， 同时根据球谐系数向量进行重新渲染，得到调节后的全局和局部球谐光照图。
步骤7、将相应的全局和局部的无阴影的反射率图、调整后的球谐光照图、阴影图进行合成，最终得到环境光编辑后的RGB图像，全局与局部的合成的通用计算方法为：
其中，I为所述的环境光编辑后的输出的RGB图像，
为所述阴影图，即原图，
为
所述调节后的球谐光照图，R为所述无阴影的反射率图。
本发明提供的一种基于RGB-D图像的交互式重光照编辑方法，能够有效地将阴影图与球谐光照图分离，有助于后续的重光照过程高效展开。
图2为本发明对图像全局进行重光照的两组实验结果，（a）为输入的原始图像，（b）、（c）、（d）和（e）分别表示在场景上方、左方、前方和整体上进行重新打光，从而实现场景重光照的结果。从图中可以看出，本发明方法能够有效地实现在某一个方向上的全局重光照。
图3为本发明对在复杂的室内场景中进行全局重新照明和局部重新照明的两组结果，（a）为输入的原始图像，（b）、（d）和（c）、（e）分别表示对场景进行全局和局部进行重光照，从图中可以看出，（b）和（d）实现了较为可观的全局重光照效果，（c）和（e）不仅实现了较好的场景局部重光照而且增强了场景的局部细节。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1.一种基于RGB-D图像的交互式重光照编辑方法，其特征在于，包括：
步骤1、首先对输入的 RGBD 图像进行预处理，获取无阴影的反射率图、明暗图以及阴影图；
步骤2、将步骤1中所述无阴影的明暗图分解为光照细节图和球谐光照图；
步骤3、对步骤2中所述的球谐光照图进行采样、可视化并通过交互式编辑，最终获得调节后的球谐光照图；
步骤4、根据所述无阴影的反射率图、所述调节后的球谐光照图、所述的阴影图合成得到环境光编辑后的 RGB 图像并输出。
2.根据权利要求1所述的基于RGB-D图像的交互式重光照编辑方法，其特征在于，所述步骤1包括以下子步骤：
步骤 1.1、将原始 RGB 图像灰度化，同时利用相对全变分模型对灰度化的图像进行滤波，最终获取纹理去除后的图像；
步骤 1.2、联合 RGBD-Fusion 方法和步骤1.1所述的纹理去除后的图像对原始粗糙的深度图进行优化，获取精细深度图；
步骤 1.3、通过结合单张 RGBD 图像的阴影移除方法与步骤1.2所述的精细深度图，对原始RGB 图像进行图像的阴影移除，最终获取阴影图和无阴影图像；步骤 1.4、利用本征图像分解方法对步骤1.3所述的无阴影图像进行本征图像分解，最终获得无阴影的反射率图和无阴影的明暗图。
3.根据权利要求2所述的基于RGB-D图像的交互式重光照编辑方法，其特征在于，所述步骤2包括以下子步骤：
步骤2.1、利用MaskRCNN算法对步骤1所述的原始RGB图像进行分割，获取场景中物体的分割掩模；
步骤2.2、利用所述物体的掩模与上述所述的精细的深度图、无阴影的反射率图和无阴影的明暗图进行逐像素相乘操作，获取相应物体的精细深度图、无阴影的反射率图、无阴影的明暗图；
步骤2.3、利用所述全局场景的精细深度图和相应的局部场景的精细深度图，分别计算出相应的法线图，并且将其归一化；
步骤2.4、将步骤2.3所述的归一化的法线图转换成大小为N×3的法向量矩阵；
步骤2.5、将所述全局场景的无阴影的明暗图和相应局部场景的无阴影明暗图分别按照行主序的顺序构造成长度为N的列向量；
步骤 2.6、利用最小二乘法获得全局场景和局部场景的球谐系数向量：
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为编辑后的环境光分布图向量；
步骤 2.7、利用所述球谐系数向量分别获得全局场景的球谐光照图、光照细节图和局部场景的球谐光照图、光照细节图，相应的计算方法为：
其中，L、D分别为所述的球谐光照图、所述光照细节图，
。
4.根据权利要求3所述的基于RGB-D图像的交互式重光照编辑方法，其特征在于，所述步骤3包括以下步骤：
步骤 3.1、将所述球谐光照图对应的球谐系数向量在立方体上渲染并展开，最终分别获取全局场景和局部场景的环境光分布图；
步骤 3.2、 分别在所述环境光分布图上人工使用笔刷等工具进行绘制交互，来调整光照的强度和分布，最终获取编辑后的全局和局部环境光分布图；
步骤 3.3、通过获得编辑后的环境光分布图的球谐系数向量， 同时根据球谐系数向量进行重新渲染，得到调节后的全局和局部球谐光照图。
5.根据权利要求4所述的基于RGB-D图像的交互式重光照编辑方法，其特征在于，所述步骤3.3包括以下子步骤：
步骤3.3.1、利用所述的全局精细深度图和相应的局部场景的精细深度图，分别计算出相应的法线图，并且将其归一化；
步骤3.3.2、将步骤3.3.1所述的归一化的法线图转换成大小为N×3的法向量矩阵；
步骤3.3.3、利用2阶球谐基函数计算出所述法向量矩阵对应的球谐基矩阵，所述球谐基矩阵大小为N×9；
步骤3.3.4、将所述整个场景的无阴影的明暗图和相应局部场景的无阴影明暗图分别按照行主序的顺序构造成长度为的N列向量；
步骤 3.3.5、利用最小二乘法获得整体场景和局部场景的球谐系数向量：
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为编辑后的环境光分布图向量。
6.根据权利要求5所述的基于RGB-D图像的交互式重光照编辑方法，其特征在于，所述步骤4中合成得到环境光编辑后的 RGB 图像的计算方法为：
其中，I为所述的环境光编辑后的输出的RGB图像，
为所述阴影图，
为所述调节后的
球谐光照图，R为所述无阴影的反射率图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111520120.0A CN113920036A (zh) | 2021-12-14 | 2021-12-14 | 一种基于rgb-d图像的交互式重光照编辑方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111520120.0A CN113920036A (zh) | 2021-12-14 | 2021-12-14 | 一种基于rgb-d图像的交互式重光照编辑方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113920036A true CN113920036A (zh) | 2022-01-11 |
Family
ID=79249137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111520120.0A Pending CN113920036A (zh) | 2021-12-14 | 2021-12-14 | 一种基于rgb-d图像的交互式重光照编辑方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920036A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581611A (zh) * | 2022-04-28 | 2022-06-03 | 阿里巴巴（中国）有限公司 | 虚拟场景构建方法以及装置 |
| CN115375827A (zh) * | 2022-07-21 | 2022-11-22 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
| CN115546010A (zh) * | 2022-09-21 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447906A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 基于图像和模型计算光照参数进行重光照渲染的方法 |
| CN106127818A (zh) * | 2016-06-30 | 2016-11-16 | 珠海金山网络游戏科技有限公司 | 一种基于单幅图像的材质外观获取系统及方法 |
| CN109886906A (zh) * | 2019-01-25 | 2019-06-14 | 武汉大学 | 一种细节敏感的实时弱光视频增强方法和系统 |
| CN110033055A (zh) * | 2019-04-19 | 2019-07-19 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种基于语义和材质解析与合成的复杂物体图像重光照方法 |
| CN110570496A (zh) * | 2019-08-26 | 2019-12-13 | 武汉大学 | 一种基于球谐光照的rgbd图像环境光编辑方法和系统 |
| CN111127377A (zh) * | 2019-12-20 | 2020-05-08 | 湖北工业大学 | 一种基于多图像融合Retinex的弱光增强方法 |
| US10665011B1 (en) * | 2019-05-31 | 2020-05-26 | Adobe Inc. | Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features |
| CN113240622A (zh) * | 2021-03-12 | 2021-08-10 | 清华大学 | 人体场景图像本征分解与重光照方法和装置 |
-
2021
- 2021-12-14 CN CN202111520120.0A patent/CN113920036A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447906A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 基于图像和模型计算光照参数进行重光照渲染的方法 |
| CN106127818A (zh) * | 2016-06-30 | 2016-11-16 | 珠海金山网络游戏科技有限公司 | 一种基于单幅图像的材质外观获取系统及方法 |
| CN109886906A (zh) * | 2019-01-25 | 2019-06-14 | 武汉大学 | 一种细节敏感的实时弱光视频增强方法和系统 |
| CN110033055A (zh) * | 2019-04-19 | 2019-07-19 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种基于语义和材质解析与合成的复杂物体图像重光照方法 |
| US10665011B1 (en) * | 2019-05-31 | 2020-05-26 | Adobe Inc. | Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features |
| CN110570496A (zh) * | 2019-08-26 | 2019-12-13 | 武汉大学 | 一种基于球谐光照的rgbd图像环境光编辑方法和系统 |
| CN111127377A (zh) * | 2019-12-20 | 2020-05-08 | 湖北工业大学 | 一种基于多图像融合Retinex的弱光增强方法 |
| CN113240622A (zh) * | 2021-03-12 | 2021-08-10 | 清华大学 | 人体场景图像本征分解与重光照方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| ADITYA ARORA 等: "Low Light Image Enhancement via Global and Local Context Modeling", 《ARXIV：2101.00850V1》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581611A (zh) * | 2022-04-28 | 2022-06-03 | 阿里巴巴（中国）有限公司 | 虚拟场景构建方法以及装置 |
| CN114581611B (zh) * | 2022-04-28 | 2022-09-20 | 阿里巴巴（中国）有限公司 | 虚拟场景构建方法以及装置 |
| CN115375827A (zh) * | 2022-07-21 | 2022-11-22 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
| CN115375827B (zh) * | 2022-07-21 | 2023-09-15 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
| CN115546010A (zh) * | 2022-09-21 | 2022-12-30 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
| CN115546010B (zh) * | 2022-09-21 | 2023-09-12 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12051160B2 (en) | Tagging virtualized content | |
| CN113920036A (zh) | 一种基于rgb-d图像的交互式重光照编辑方法 | |
| Nguyen-Phuoc et al. | Rendernet: A deep convolutional network for differentiable rendering from 3d shapes | |
| US11055916B2 (en) | Virtualizing content | |
| CN110570496B (zh) | 一种基于球谐光照的rgbd图像环境光编辑方法和系统 | |
| Oh et al. | Image-based modeling and photo editing | |
| Seitz et al. | Plenoptic image editing | |
| JP2005038426A (ja) | 映像基盤レンダリングおよび編集の方法ならびにその装置 | |
| US20070126864A1 (en) | Synthesizing three-dimensional surround visual field | |
| Rematas et al. | Neural voxel renderer: Learning an accurate and controllable rendering tool | |
| CN111652963A (zh) | 一种基于神经网络的增强现实绘制方法 | |
| Zhang et al. | The discussion on interior design mode based on 3D virtual vision technology | |
| Liu et al. | Static scene illumination estimation from videos with applications | |
| Demir et al. | Proceduralization of buildings at city scale | |
| Chen et al. | Time-of-day neural style transfer for architectural photographs | |
| Bartesaghi et al. | Three-dimensional shape rendering from multiple images | |
| Stojanov et al. | Application of 3ds Max for 3D Modelling and Rendering | |
| CN112907720B (zh) | 一种面向真实感绘制的海冰数据可视化方法及装置 | |
| Dai | Stylized rendering for virtual furniture layout | |
| CN110136239B (zh) | 一种增强虚拟现实场景光照与反射真实度的方法 | |
| CN113160358A (zh) | 一种无绿幕抠图渲染方法 | |
| Tian et al. | Research on Visual Design of Computer 3D Simulation Special Effects Technology in the Shaping of Sci-Fi Animation Characters | |
| Eisert et al. | Hybrid human modeling: making volumetric video animatable | |
| Bonneel et al. | Proxy-guided texture synthesis for rendering natural scenes | |
| US11380048B2 (en) | Method and system for determining a spectral representation of a color |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220111 |
|
| RJ01 | Rejection of invention patent application after publication |