[go: up one dir, main page]

CN116721142B - 基于区域匹配正则化的由光场数据估计视差的方法及应用 - Google Patents

基于区域匹配正则化的由光场数据估计视差的方法及应用 Download PDF

Info

Publication number
CN116721142B
CN116721142B CN202311000568.9A CN202311000568A CN116721142B CN 116721142 B CN116721142 B CN 116721142B CN 202311000568 A CN202311000568 A CN 202311000568A CN 116721142 B CN116721142 B CN 116721142B
Authority
CN
China
Prior art keywords
window
regularization
pixel
region matching
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311000568.9A
Other languages
English (en)
Other versions
CN116721142A (zh
Inventor
王安东
岳修鹏
路峰
吴立新
刘畅
邱钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yellow River Delta National Nature Reserve Management Committee
Beijing Information Science and Technology University
Original Assignee
Shandong Yellow River Delta National Nature Reserve Management Committee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yellow River Delta National Nature Reserve Management Committee, Beijing Information Science and Technology University filed Critical Shandong Yellow River Delta National Nature Reserve Management Committee
Priority to CN202311000568.9A priority Critical patent/CN116721142B/zh
Publication of CN116721142A publication Critical patent/CN116721142A/zh
Application granted granted Critical
Publication of CN116721142B publication Critical patent/CN116721142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于区域匹配正则化的由光场数据估计视差的方法及应用。基于区域匹配正则化的由光场数据估计视差的方法包括：步骤1，建立用于衡量区域匹配窗口区域匹配窗口准确性和稳定性的窗口适应性度量函数；步骤2，建立场景视差估计优化模型；步骤3，利用搜索法实现区域匹配正则化，得到最优区域匹配窗口；步骤4，利用最优区域匹配窗口，求解最优视差函数。本发明用于对四维光场数据进行高精度和高鲁棒性的视差估计，以及用于场景三维重建、虚拟现实和三维显示等。本发明属于计算成像和计算机视觉技术领域。

Description

基于区域匹配正则化的由光场数据估计视差的方法及应用
技术领域
本发明涉及计算成像和计算机视觉技术领域，特别是关于一种基于区域匹配正则化的由光场数据估计视差的方法及应用。
背景技术
光场包含光线的空间和角度信息，广泛应用于场景渲染、视差估计与三维重构。由光场数据估计场景视差以光场双平面参数化模型为基础，主要有如下四类方法。
第一类方法是根据亚光圈图像进行匹配，再通过逐像素匹配获取场景视差信息。该类方法是多目视觉匹配方法的扩展，可以降低光场频谱混叠和视角串扰的影响，但在弱纹理区域、平滑区域和遮挡区域难以匹配。
第二类方法是根据EPI（Epipolar Plane Images）的几何结构，通过求得EPI中物点的斜率来获取出场景的视差。该类方法在遮挡区域能得到较好的结果，但计算量大、对噪声敏感。
第三类方法是基于数字重聚焦，利用聚焦堆栈中像素点的聚焦测度来得到相应物点的视差信息。该类方法的估计精度取决于场景中纹理结构的精细程度。
第四类方法是基于视差学习，通过构建神经网络取代复杂的视差估计模型。该类方法依赖于大量的数据样本，且泛化能力不足。
发明内容
本发明的目的在于提供一种基于区域匹配正则化的由光场数据估计视差的方法及应用来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种基于区域匹配正则化的由光场数据估计视差的方法，其包括：
步骤1，建立下式（1）所描述的用于衡量区域匹配窗口区域匹配窗口准确性和稳定性的窗口适应性度量函数；
（1）
式中，为中心视图中像素/>的区域匹配窗口，/>为区域匹配窗口内像素值LBP编码的均值，/>为区域匹配窗口/>内视差值LBP编码的均值；
步骤2，建立下式（2）所描述的场景视差估计优化模型;
（2）
式中，和/>分别表示场景视差估计优化模型的匹配数据保真项、区域匹配窗口正则项，/>为正则化参数，/>表示光场数据相邻视点间的视差，表示中心视图的像素坐标；
步骤3，利用搜索法实现区域匹配正则化，得到最优区域匹配窗口；
步骤4，利用最优区域匹配窗口，求解下式（5）的最优视差函数/>：
（5）
式中，表示最优视差函数。
进一步地，根据区域匹配窗口/>的像素值LBP编码集合/>计算获得，而/>的获取方法具体包括：
步骤11，获取像素点的预设方向和个数邻域像素点的灰度/>，将像素点的灰度值/>与邻域像素点的灰度值进行比较，如果邻域像素点的灰度值大于等于/>，则对应二进制位为1；如果邻域像素点的灰度值小于/>，则对应二进制位为0，由此获得一个二进制编码；
步骤12，将步骤11得到的二进制编码转换为十进制数，由此得到像素点的像素值LBP编码/>，从而得到区域匹配窗口/>的像素值LBP编码集合，记为/>，。
进一步地，匹配数据保真项描述为下式（3）：
（3）
式中，表示区域匹配窗口/>的视点/>的集合，/>表示中心视点，/>表示中心视点/>对应的视图，/>表示视点/>对应的视图，/>表示/>是区域匹配窗口/>内的像素。
进一步地，步骤3具体包括：
根据窗口适应性度量的变化情况，动态搜索不同窗口的大小和形状的区域匹配窗口，极大化窗口适应性度量，得到最优区域匹配窗口/>，同时采用下式（4）描述的高斯分布函数，作为区域匹配窗口/>的对应的权重系数：（4）
式中，为像素/>的区域匹配加权系数，/>表示标准差。
本发明还提供一种如上所述的基于区域匹配正则化的由光场数据估计视差的方法的应用，其包括：
采用下式表示的模型对平滑区域/>进行修正：
式中，为利用/>模型计算出的视差图，/>为修正后的/>，/>为计算视差图，/>为视差图/>的梯度，/>为正则化参数。
本发明由于采取以上技术方案，其具有以下优点：
由于本发明能够通过区域匹配正则化减少统一窗口区域匹配的误匹配和冗余计算，有效提升遮挡区域、平滑区域估计结果的精度，能够对四维光场数据进行高精度和高鲁棒性的视差估计，还能够实现由光场相机采集到的光场数据重建场景深度，从而用于场景三维重建、虚拟现实和三维显示等。
附图说明
图1为本发明实施例提供的基于区域匹配正则化的由光场数据估计视差的方法和装置的流程示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本实施例提供的基于区域匹配正则化的由光场数据估计视差的方法包括：
步骤1，建立下式（1）所描述的用于衡量区域匹配窗口区域匹配窗口准确性和稳定性的窗口适应性度量函数；
（1）
式中，为中心视图中像素/>的区域匹配窗口，/>为区域匹配窗口内像素值LBP（英文全称为Local Binary Pattern，中文全称为局部二值模式）编码的均值，/>为区域匹配窗口/>内视差值LBP编码的均值。LBP是一种用来描述图像局部特征的算子，具有灰度不变性和旋转不变性等显著优点。
其中，计算区域匹配窗口内每个像素点/>的LBP编码/>，具体包括：步骤11，获取像素点/>的预设方向和个数的邻域像素点的灰度值/>，将像素点/>的灰度值与每一个邻域像素点的灰度值分别进行比较，如果邻域像素点的灰度值大于等于/>，则对应二进制位为1；如果邻域像素点的灰度值小于/>，则对应二进制位为0，由此获得一个二进制编码。其中，预设方向可以理解为选择但不限于像素点/>的上、下、左、右、左上、左下、右上、右下这8个方向，预设个数可以但不限于预设方向一个。
步骤12，将步骤11得到的二进制编码转换为十进制数，由此得到像素点的像素值LBP编码/>，从而得到区域匹配窗口/>的像素值LBP编码集合，记为/>，。
可以根据区域匹配窗口/>的像素值LBP编码集合/>计算获得。也可以根据区域匹配窗口/>的视差值LBP编码集合/>计算获得，而/>的获取方法可以采用与步骤11和步骤12类似的方法实现。除了采用上述实施例提供的获取和/>，本领域技术人员还可以采用本领域公知的其他现有方法实现，在此不一一列举。
对于区域匹配窗口来说，窗口适应性度量函数的值越大，窗口对待匹配区域的特征值变化更加敏感，匹配过程具有更好的准确性和稳定性。
步骤2，建立下式（2）所描述的场景视差估计优化模型；
（2）
式中，和/>分别表示场景视差估计优化模型的匹配数据保真项、区域匹配窗口正则项（为窗口适应性度量函数），/>为正则化参数，/>表示光场数据相邻视点间的视差，/>表示中心视图的像素坐标。
在一个实施例中，匹配数据保真项可以描述为下式（3）：
（3）
式中，表示区域匹配窗口/>的视点/>的集合，/>表示中心视点，/>表示中心视点/>对应的视图，/>表示视点/>对应的视图，/>表示/>是区域匹配窗口/>内的像素。
上述实施例中，本领域技术人员还可以在式（3）的基础上进行改进，从而获得匹配数据保真项。
步骤3，利用搜索法实现区域匹配正则化，即搜索窗口适应性度量的最大值，得到最优区域匹配窗口。
根据窗口适应性度量的变化情况，动态调搜索不同窗口的大小和形状的区域匹配窗口，极大化窗口适应性度量，得到最优区域匹配窗口/>。同时采用下式（4）描述的高斯分布函数，作为区域匹配窗口/>的对应的权重系数：
（4）
式中，为像素/>的区域匹配加权系数，/>表示标准差（方差的算数平方根）。
步骤4，利用最优区域匹配窗口，求解下式（5）的最优视差函数/>：
（5）
式中，表示最优视差函数。
本发明实施例还提供一种如上实施例所述的基于区域匹配正则化的由光场数据估计视差的方法的应用，包括：
采用下式表示的（英文全称为total variation）模型对平滑区域/>进行修正：
式中，为利用/>模型计算出的视差图，/>为修正后的/>，/>为计算视差图，/>为视差图/>的梯度，/>为正则化参数，通常取0.001到0.1之间。
本发明使用的区域匹配正则化方法能够用于提高由光场数据估计视差中区域匹配过程正确匹配的信息量，保证区域匹配的准确性和稳定性，同样在光场数据估计视差方法中，能够实现高精度和高鲁棒性的视差重建。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于区域匹配正则化的由光场数据估计视差的方法，其特征在于，包括：
步骤1，建立下式(1)所描述的用于衡量区域匹配窗口区域匹配窗口准确性和稳定性的窗口适应性度量函数m[w(x，y)]；
m[w(x，y)]＝μpix(Sw(x，y))+μdisp(Sw(x，y)) (1)
式中，w(x，y)为中心视图中像素(x，y)的区域匹配窗口，μpix(Sw(x，y))为区域匹配窗口w(x，y)内像素值LBP编码的均值，μdisp(Sw(x，y))为区域匹配窗口w(x，y)内视差值LBP编码的均值；
步骤2，建立下式(2)所描述的场景视差估计优化模型E[disp(x，y)，w(x，y)]；
E[disp(x，y)，w(x，y)]＝EAE[disp(x，y)，w(x，y)]+λm[w(x，y)] (2)
式中，EAE[disp(x，y)，w(x，y)]和m[w(x，y)]分别表示场景视差估计优化模型的匹配数据保真项、区域匹配窗口正则项，λ为正则化参数，disp(x，y)表示光场数据相邻视点间的视差，(x，y)表示中心视图的像素坐标；
步骤3，利用搜索法实现区域匹配正则化，得到最优区域匹配窗口w*(x，y)；
步骤4，利用最优区域匹配窗口w*(x，y)，求解下式(5)的最优视差函数s*(x，y)：
式中，s*(x，y)表示最优视差函数；
其中，步骤3具体包括：
根据窗口适应性度量的变化情况，动态搜索不同窗口的大小和形状的区域匹配窗口，极大化窗口适应性度量m[w(x，y)]，得到最优区域匹配窗口w*(x，y)，同时采用下式(4)描述的高斯分布函数，作为区域匹配窗口w*(x，y)的对应的权重系数：
式中，α(m，n)为像素(m，n)的区域匹配加权系数，σ表示标准差。
2.如权利要求1所述的基于区域匹配正则化的由光场数据估计视差的方法，其特征在于，μpix(Sw(x，y))根据区域匹配窗口w(x，y)的像素值LBP编码集合计算获得，而/>的获取方法具体包括：
步骤11，获取像素点i的预设方向和个数邻域像素点的灰度值将像素点i的灰度值gi与邻域像素点的灰度值进行比较，如果邻域像素点的灰度值大于等于gi，则对应二进制位为1；如果邻域像素点的灰度值小于gi，则对应二进制位为0，由此获得一个二进制编码；
步骤12，将步骤11得到的二进制编码转换为十进制数，由此得到像素点i的像素值LBP编码LBPi，从而得到区域匹配窗口w(x，y)的像素值LBP编码集合，记为i∈w(x，y)。
3.如权利要求1所述的基于区域匹配正则化的由光场数据估计视差的方法，其特征在于，匹配数据保真项EAE[disp(x，y)，w(x，y)]描述为下式(3)：
式中，Φ表示区域匹配窗口w(x，y)的视点(u，v)的集合，(u0，v0)表示中心视点，表示中心视点(u0，v0)对应的视图，Lu，v表示视点(u，v)对应的视图，(m，n)∈w(x，y)表示(m，n)是区域匹配窗口w(x，y)内的像素。
4.一种如权利要求1-3中任一项所述的基于区域匹配正则化的由光场数据估计视差的方法的应用，其特征在于，包括：
采用下式表示的TV模型对平滑区域Ωsmooth进行修正：
式中，μ(x，y)为利用TV模型计算出的视差图，μ*(x，y)为修正后的μ(x，y)，s*(x，y)为计算视差图，为视差图μ(x，y)的梯度，γ为正则化参数。
CN202311000568.9A 2023-08-10 2023-08-10 基于区域匹配正则化的由光场数据估计视差的方法及应用 Active CN116721142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311000568.9A CN116721142B (zh) 2023-08-10 2023-08-10 基于区域匹配正则化的由光场数据估计视差的方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311000568.9A CN116721142B (zh) 2023-08-10 2023-08-10 基于区域匹配正则化的由光场数据估计视差的方法及应用

Publications (2)

Publication Number Publication Date
CN116721142A CN116721142A (zh) 2023-09-08
CN116721142B true CN116721142B (zh) 2023-10-20

Family

ID=87873847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311000568.9A Active CN116721142B (zh) 2023-08-10 2023-08-10 基于区域匹配正则化的由光场数据估计视差的方法及应用

Country Status (1)

Country Link
CN (1) CN116721142B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596965A (zh) * 2018-03-16 2018-09-28 天津大学 一种光场图像深度估计方法
CN110827338A (zh) * 2019-10-31 2020-02-21 北京信息科技大学 一种分区域自适应匹配的光场数据深度重建方法
CN111932601A (zh) * 2019-09-27 2020-11-13 北京信息科技大学 一种基于YCbCr颜色空间光场数据的稠密深度重建方法
CN115375745A (zh) * 2022-06-02 2022-11-22 桂林航天工业学院 基于偏振微透镜光场影像视差角的绝对深度测量方法
CN115830406A (zh) * 2021-09-15 2023-03-21 南京大学 一种基于多视差尺度的快速光场深度估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019096310A1 (en) * 2017-11-20 2019-05-23 Shanghaitech University Light field image rendering method and system for creating see-through effects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596965A (zh) * 2018-03-16 2018-09-28 天津大学 一种光场图像深度估计方法
CN111932601A (zh) * 2019-09-27 2020-11-13 北京信息科技大学 一种基于YCbCr颜色空间光场数据的稠密深度重建方法
CN110827338A (zh) * 2019-10-31 2020-02-21 北京信息科技大学 一种分区域自适应匹配的光场数据深度重建方法
CN115830406A (zh) * 2021-09-15 2023-03-21 南京大学 一种基于多视差尺度的快速光场深度估计方法
CN115375745A (zh) * 2022-06-02 2022-11-22 桂林航天工业学院 基于偏振微透镜光场影像视差角的绝对深度测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Adaptive support-weight approach for correspondence search;Yoon K-J et al.;IEEE Transactions on Pattern Analysis and Machine Intelligence;第28卷(第4期);全文 *
Matching entropy based disparity estimation from light field data;Shi, L et al.;OPTICS EXPRESS;第31卷(第4期);全文 *
一种聚焦式光场成像去混叠方法;刘润兴;任明俊;肖高博;;光学学报(第06期);全文 *
基于YCbCr光场数据的视差重建算法;史立根等;激光与光电子学进展;全文 *

Also Published As

Publication number Publication date
CN116721142A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN109377530B (zh) 一种基于深度神经网络的双目深度估计方法
CN113763269B (zh) 一种用于双目图像的立体匹配方法
WO2021174939A1 (zh) 人脸图像的获取方法与系统
CN110148181A (zh) 一种通用双目立体匹配方法
US9736455B2 (en) Method and apparatus for downscaling depth data for view plus depth data compression
CN111028281B (zh) 基于光场双目系统的深度信息计算方法及装置
CN106340036A (zh) 一种基于双目立体视觉的立体匹配方法
CN108364272A (zh) 一种高性能红外-可见光融合探测方法
CN106780590A (zh) 一种深度图的获取方法及系统
CN103456038A (zh) 一种井下环境三维场景重建方法
CN101866497A (zh) 基于双目立体视觉的智能三维人脸重建方法及系统
CN105574905B (zh) 一种三维激光点云数据的二维图像化表述方法
CN108596975A (zh) 一种针对弱纹理区域的立体匹配算法
CN111369435B (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN114549669B (zh) 一种基于图像融合技术的彩色三维点云获取方法
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN112927348B (zh) 一种基于多视点rgbd相机高分辨率人体三维重建方法
CN116129037A (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN111275764B (zh) 基于线段阴影的深度相机视觉里程测量方法
CN112637582A (zh) 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法
CN116721142B (zh) 基于区域匹配正则化的由光场数据估计视差的方法及应用
CN117634556A (zh) 一种基于水面数据的语义分割神经网络的训练方法及装置
CN116958092A (zh) 一种基于改进立体匹配算法的输电线路弧垂快速测量方法
He et al. A novel way to organize 3D LiDAR point cloud as 2D depth map height map and surface normal map
CN115661382A (zh) 一种三维地貌重建中基于形态学模板保角的滤波方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant