[go: up one dir, main page]

CN106570928B - 一种基于图像的重光照方法 - Google Patents

一种基于图像的重光照方法 Download PDF

Info

Publication number
CN106570928B
CN106570928B CN201610998904.7A CN201610998904A CN106570928B CN 106570928 B CN106570928 B CN 106570928B CN 201610998904 A CN201610998904 A CN 201610998904A CN 106570928 B CN106570928 B CN 106570928B
Authority
CN
China
Prior art keywords
image
neural network
artificial neural
training
imgavg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610998904.7A
Other languages
English (en)
Other versions
CN106570928A (zh
Inventor
韦伟
刘惠义
钱苏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201610998904.7A priority Critical patent/CN106570928B/zh
Publication of CN106570928A publication Critical patent/CN106570928A/zh
Application granted granted Critical
Publication of CN106570928B publication Critical patent/CN106570928B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像的重光照方法，属于计算机图形学领域。为了实现用尽可能少的样本尽可能准确地重光照，在图像样本和图像像素两个空间反复进行定量地随机采样，并用人工神经网络进行训练，直到所有像素点训练精度到设定阈值。考虑到人工神经网络在训练时有最小样本要求，因此在像素点训练样本不足时，利用集成学习的Bagging算法思想对其进行平均化处理。本发明在模拟的三维场景中进行测试，结果表明，与现有的技术相比，不仅训练时间少，健壮性强；在相同的相对误差精度下，重光照所需的图像样本更小，速度快实时性好，重构场景图像的PSNR值更高。

Description

一种基于图像的重光照方法
技术领域
本发明涉及一种基于图像的重光照方法，属于机器学习与图形学领域。
背景技术
基于图像的重光照(Image-based Relighting，IBR)，也称基于图像的绘制(Image-based Rendering)，其目的是从捕获的图像出发，计算获得光传输矩阵并绘制出新的光源条件下的场景图像。它的最大优势是无需场景的几何信息，渲染不受场景复杂度影响，并且也能表现反射、折射、散射等各种光照效果。因此，IBR自提出以来，立刻成为图形学领域关注的焦点。
IBR往往需要通过密集采样获取图像样本，大大增加了工作强度和存储空间。能否利用机器学习方法，通过小样本的采样，尽可能准确的实现基于图像的重光照，是亟需解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于图像的重光照方法。通过图像样本逐渐增加、像素空间随机采样、三层神经网络进行训练以及Bagging集成学习思想的综合运用，从而实现了小样本、高精度的重光照效果。
本发明为解决上述技术问题采用以下技术方案：
本发明提供一种基于图像的重光照方法，其特征在于，包括以下具体步骤：
步骤1：采集一组三维场景数据，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet，计算得到图像集ImageSet在R、G、B三个通道的平均值ImgAvg_R、ImgAvg_G、ImgAvg_B；
步骤2：在图像集ImageSet中随机采样，构成图像样本数为ImageNum的图像子集ImageSubset；
步骤3：在图像子集ImageSubset的像素空间中随机采样，获取人工神经网络的训练样本集，具体为：
(1)在图像子集ImageSubset的像素空间中随机采样，构成像素点集，其中，采样数为PixNum，像素点的坐标为[Px，Py]；
(2)训练样本集包括分别对应人工神经网络的输入和输出的两个部分，其中，输入部分包括Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出部分为[LigX，LigY]与[Px，Py]相应处的图像RGB值；
步骤4：利用步骤3的训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差小于等于预设第一阈值δ1的像素点标记为该训练完成的人工神经网络；
步骤5，在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点由所有神经网络共同决定其输出；
步骤6：用训练好的人工神经网络测试图像集ImageSet，若相对平方误差达到预设第二阈值δ2，则保存训练好的人工神经网络，执行步骤7；否则，增加图像样本数ImageNum，返回2；
步骤7：用训练好的神经网络重构光源在任意位置下的场景。
作为本发明的进一步优化方案，所述步骤3中采样数PixNum≥Pixmin，其中，Tmin是人工神经网络训练需要的最小样本数，a是系数且a≥1)。
作为本发明的进一步优化方案，所述步骤4中利用训练样本集对人工神经网络进行训练前，对训练样本集进行归一化处理。
作为本发明的进一步优化方案，所述步骤4中的人工神经网络结构是7个输入节点、2个隐层、3个输出节点，其中，两个隐层的节点数相同，输入节点分别为Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B；输出节点分别为[LigX，LigY]与[Px，Py]相应处图像的RGB值；隐层的节点数Nhide由实验确定。
作为本发明的进一步优化方案，人工神经网络训练需要的最小样本数Tmin＝b[(7+1)×Nhide+(Nhide+1)×Nhide+(Nhide+1)×3]，其中，b是系数且b≥10。
作为本发明的进一步优化方案，步骤4中像素点的相对平方误差其中，表示第j张图像的第i个像素点的实际RGB值，Ij(Pixi)表示人工神经网络预测输出的第j张图像的第i个像素点的RGB值。
作为本发明的进一步优化方案，步骤5中当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点的输出由训练好的所有人工神经网络的输出简单平均得出。
作为本发明的进一步优化方案，所述步骤6中相对均方误差
作为本发明的进一步优化方案，步骤6中根据实际需要增加图像样本数ImageNum。
作为本发明的进一步优化方案，图像样本数ImageNum增加20。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明在模拟的两个三维场景中进行测试，结果表明，与现有的技术相比，不仅训练时间少，健壮性强；在相同的相对误差精度下，重光照所需的图像样本更少，重构场景图像的PSNR值更高。
附图说明
图1是本发明的方法流程图。
图2是分别采用本发明与现有技术的Dragon和Mitsuba场景的训练误差和训练时间的比较图，其中，(a)是Dragon场景的训练误差，(b)是Mitsuba场景的训练误差，(c)Dragon场景的训练时间，(d)是Mitsuba场景的训练时间。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明一种基于图像的重光照方法，如图1所示，包括：
步骤1：采集一组三维场景数据(Dagon，Mitsuba)，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet；计算图像集在R、G、B三个通道的平均值，得到ImgAvg_R、ImgAvg_G、ImgAvg_B；场景数据具体如表1所示。
表1场景数据
场景 光源分布 图像尺寸
Dragon 31×31 64×48
Mitsuba 21×21 64×48
步骤2：在图像集ImageSet中随机采样，构成图像子集ImageSubset，图像样本数为ImageNum。
步骤3：在图像子集像ImageSubset的像素点中随机采样，获取人工神经网络需要的训练样本集；
(1)在图像子集像ImageSubset的像素空间随机采样，构成像素点集，采样数为PixNum，像素点的坐标为[Px，Py]；
(2)训练样本集由输入、输出两个部分组成，其中输入属性包括LigX、LigY、Px、Py、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出属性为[LigX，LigY]与[Px，Py]相应处的图像RGB值。
步骤4：利用训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差RSE≤预设阈值δ1的像素点标记为该训练完成的人工神经网络。
步骤5：在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记像素点不满足人工神经网络训练的最小样本要求，利用Bagging集成学习的思想，由所有神经网络共同决定其输出。
步骤6：用训练好的人工神经网络测试图像集ImageSet，如果相对平方误差达到预设阈值δ2，则保存训练好的人工神经网络；否则，增加图像样本数ImageNum，从步骤2重新开始。
步骤7：用训练好的人工神经网络重构任意光源位置下的场景。随机采样与训练Imageset同等数量的图像集ImagesetTest，用训练好的神经网络重构场景。
如图2所示，与Ren等人在“Image Based Relighting Using NeuralNetworks.ACM Transactions on Graphics,2015.34(4)”文中的技术相比。其中，图2中的(a)和(b)分别是Dragon和Mitsuba场景的训练误差图，(c)和(d)分别是Dragon和Mitsuba场景的训练时间示意图。由图2明显可知，随着图像样本数的增加，采用本发明的方法(图中虚线所示)，RMSE明显比Ren方法下降的快，也就意味需要更少的样本达到相同的精度；同样的本发明的方法所需要的训练时间也低于Ren方法。
表2是对Dragon和Mitsuba两个场景的测试数据进行场景重构结果，表明采用较少的图像可以获得比Ren方法更低RMSE值。
表3场景重构结果
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于图像的重光照方法，其特征在于，包括以下具体步骤：
步骤1：采集一组三维场景数据，包括点光源的LigX、LigY坐标及其对应的在固定视点输出的图像集ImageSet，计算得到图像集ImageSet在R、G、B三个通道的平均值ImgAvg_R、ImgAvg_G、ImgAvg_B；
步骤2：在图像集ImageSet中随机采样，构成图像样本数为ImageNum的图像子集ImageSubset；
步骤3：在图像子集ImageSubset的像素空间中随机采样，获取人工神经网络的训练样本集，具体为：
(1)在图像子集ImageSubset的像素空间中随机采样，构成像素点集，其中，采样数为PixNum，像素点的坐标为[Px，Py]；
(2)训练样本集包括分别对应人工神经网络的输入和输出的两个部分，其中，输入部分包括Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B，输出部分为[LigX，LigY]与[Px，Py]相应处的图像RGB值；
步骤4：利用步骤3的训练样本集对人工神经网络进行训练，训练完成后，将相对平方误差小于等于预设第一阈值δ1的像素点标记为该训练完成的人工神经网络；
步骤5，在步骤4中未标记的像素点中重新随机采样，再次训练人工神经网络，直至训练样本集中的像素点全部被标记或未标记的像素点不满足人工神经网络训练的最小样本要求；当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点由所有神经网络共同决定其输出；
步骤6：用训练好的人工神经网络测试图像集ImageSet，若相对均方误差达到预设第二阈值δ2，则保存训练好的人工神经网络，执行步骤7；否则，增加图像样本数ImageNum，返回2；
步骤7：用训练好的神经网络重构光源在任意位置下的场景。
2.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，所述步骤3中采样数PixNum≥Pixmin，其中，Tmin是人工神经网络训练需要的最小样本数，a是系数且a≥1。
3.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，所述步骤4中利用训练样本集对人工神经网络进行训练前，对训练样本集进行归一化处理。
4.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，所述步骤4中的人工神经网络结构是7个输入节点、2个隐层、3个输出节点，其中，两个隐层的节点数相同，输入节点分别为Px、Py、LigX、LigY、ImgAvg_R、ImgAvg_G、ImgAvg_B；输出节点为[LigX，LigY]与[Px，Py]相应处的图像RGB值；隐层的节点数Nhide由实验确定。
5.根据权利要求1或2或4所述的一种基于图像的重光照方法，其特征在于，人工神经网络训练需要的最小样本数Tmin＝b[(7+1)×Nhide+(Nhide+1)×Nhide+(Nhide+1)×3]，其中，b是系数且b≥10，Nhide是隐层的节点数。
6.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，步骤4中像素点的相对平方误差其中，表示第j张图像的第i个像素点的实际RGB值，Ij(Pixi)表示人工神经网络预测输出的第j张图像的第i个像素点的RGB值。
7.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，步骤5中当未标记的像素点不满足人工神经网络训练的最小样本要求时，利用Bagging集成学习的思想，未标记的像素点的输出由训练好的所有人工神经网络的输出简单平均得出。
8.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，所述步骤6中的相对均方误差其中，表示第j张图像的第i个像素点的实际RGB值，Ij(Pixi)表示人工神经网络预测输出的第j张图像的第i个像素点的RGB值。
9.根据权利要求1所述的一种基于图像的重光照方法，其特征在于，步骤6中根据实际需要增加图像样本数ImageNum。
10.根据权利要求9所述的一种基于图像的重光照方法，其特征在于，图像样本数ImageNum增加20。
CN201610998904.7A 2016-11-14 2016-11-14 一种基于图像的重光照方法 Expired - Fee Related CN106570928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610998904.7A CN106570928B (zh) 2016-11-14 2016-11-14 一种基于图像的重光照方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610998904.7A CN106570928B (zh) 2016-11-14 2016-11-14 一种基于图像的重光照方法

Publications (2)

Publication Number Publication Date
CN106570928A CN106570928A (zh) 2017-04-19
CN106570928B true CN106570928B (zh) 2019-06-21

Family

ID=58541876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610998904.7A Expired - Fee Related CN106570928B (zh) 2016-11-14 2016-11-14 一种基于图像的重光照方法

Country Status (1)

Country Link
CN (1) CN106570928B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909640B (zh) * 2017-11-06 2020-07-28 清华大学 基于深度学习的人脸重光照方法及装置
CN108765540B (zh) * 2018-04-26 2022-04-12 河海大学 一种基于图像与集成学习的重光照方法
WO2020068158A1 (en) * 2018-09-24 2020-04-02 Google Llc Photo relighting using deep neural networks and confidence learning
CN110033055A (zh) * 2019-04-19 2019-07-19 中共中央办公厅电子科技学院(北京电子科技学院) 一种基于语义和材质解析与合成的复杂物体图像重光照方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700109A (zh) * 2015-03-24 2015-06-10 清华大学 高光谱本征图像的分解方法及装置
CN105447906A (zh) * 2015-11-12 2016-03-30 浙江大学 基于图像和模型计算光照参数进行重光照渲染的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700109A (zh) * 2015-03-24 2015-06-10 清华大学 高光谱本征图像的分解方法及装置
CN105447906A (zh) * 2015-11-12 2016-03-30 浙江大学 基于图像和模型计算光照参数进行重光照渲染的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Image Based Relighting Using Neural Networks;Peiran REN等;《ACM Transactions on Graphics》;20150831;第34卷(第4期);第111:1-12页

Also Published As

Publication number Publication date
CN106570928A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
Cao et al. Ancient mural restoration based on a modified generative adversarial network
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN110706152B (zh) 基于生成对抗网络的人脸光照迁移方法
CN110689599B (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN111047541B (zh) 一种基于小波变换注意力模型的图像修复方法
CN110443173B (zh) 一种基于帧间关系的视频实例分割方法及系统
CN106570928B (zh) 一种基于图像的重光照方法
CN110223370B (zh) 一种从单视点图片生成完整人体纹理贴图的方法
CN109447976B (zh) 一种基于人工智能的医学图像分割方法及系统
CN110047139B (zh) 一种指定目标三维重建方法及系统
CN110633628B (zh) 基于人工神经网络的rgb图像场景三维模型重建方法
CN106779054B (zh) 一种基于雾天图像的pm2.5估计方法
CN108765540A (zh) 一种基于图像与集成学习的重光照方法
CN111161278A (zh) 一种基于深层网络聚合的眼底图像病灶分割方法
CN116311083B (zh) 一种人群计数模型训练方法及系统
CN113593007B (zh) 一种基于变分自编码的单视图三维点云重建方法及系统
CN108876908A (zh) 一种基于重建模型完整度的空间目标三维重建评估方法及应用
CN116523985B (zh) 一种结构和纹理特征引导的双编码器图像修复方法
Chen et al. Road crack image segmentation using global context U-net
CN111639672B (zh) 一种基于多数投票的深度学习城市功能区分类方法
CN116109826A (zh) 一种道路裂缝检测方法
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN103037168A (zh) 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法
CN111127587B (zh) 一种基于对抗生成网络的无参考图像质量地图生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190621

Termination date: 20211114