CN112991517B - 一种纹理影像编解码自动匹配的三维重建方法 - Google Patents

Abstract

本发明公开了一种基于纹理编码影像的三维重建方法，包括：步骤1，将利用M阵列编码生成的彩色编码影像投影到待测物体上，使用相机拍摄待测区域，得到左右影像。步骤2，基于霍夫圆形检测方法和透视变换原理提取目标区域，以避免环境杂物对投影区域的影响。步骤3，基于色彩迁移技术的图像增强以及颜色识别预处理，将图像的颜色信息转换成码值。步骤4，针对M阵列编码的方法直接解码得到匹配点对。步骤5，利用得到的同名点对，基于立体视觉的原理进行三维重建，得到二维点所对应空间点的三维坐标。本发明结合空间编解码和双目视觉结构光三维重建技术，提高三维重建的速度和精度，为在保持高仿真度前提下高效率的三维重建提供新的思路。

Description

一种纹理影像编解码自动匹配的三维重建方法

技术领域

本发明属于影像编解码和结构光三维重建领域，通过拍摄经过投影编码图案的待测物得到纹理增强的左右影像，并通过解码算法直接定位得到左右影像同名点，实现快速高精度的三维重建。

背景技术

随着科技水平的逐渐发展，计算机视觉技术也随之不断进步，其中的三维重建技术更是得到了高速发展，逐渐趋于完善，在各领域都得到了广泛而有效的应用。但传统三维重建的方法在生产实践中应用时受到的限制较多，如何保证三维重建过程中匹配的稳健性从而使重建可信度高以及提高重建过程的效率，是目前相关领域学者们研究的重点。基于编码结构光的三维重建技术利用投影仪把经过编码之后的纹理图案映射到待测物体的表面，然后使用摄像机作为传感器捕获待测物体的影像，得到的影像上物体表面的编码图案会由于物体的三维深度信息而发生几何形变，利用数字图像处理技术对影像进行解码处理可直接定位点从而得到匹配点对，此方法中编解码的过程代替了易出错、计算复杂、耗时长的特征提取和特征匹配的过程，三维重建过程的速度快，得到的三维重建结果精度高。显然，编解码的算法是此方法的关键所在，决定了三维重建的效率，并且，近年来各领域对于三维重建技术都有了更高的要求，希望在保持高精度的同时实现运动物体的三维重构，这就只能使用单幅影像进行投影增强，因此针对单幅影像的编解码算法已成为研究的必然趋势，也是研究应用的重点和难点。

发明内容

本发明针对利用单幅M阵列编码影像用于结构光三维重建，提出了一种基于透视变换提取目标区域、基于色彩迁移的图像预处理、基于M阵列编码的解码算法、基于立体视觉的三维重建方法，实现将空间编解码技术和立体视觉三维重建技术相结合，规避了传统三维重建方法中特征点匹配这一难点和易出错点，提高三维重建过程的速度和三维重建结果的精度，为在保持高仿真度前提下高效率的三维重建提供新的思路。

为实现上述目的，本发明所设计的一种基于纹理影像编码的三维重建方法，它包括如下步骤：

步骤1)，将利用M阵列编码矩阵生成的彩色编码图像投影到待测物体上，使用相机拍摄待测区域，得到左影像和右影像。

步骤2)，基于霍夫圆形检测方法和透视变换原理提取影像和右影像投影的目标区域，以避免环境杂物对投影区域的影响；

步骤3)，基于色彩迁移技术对提取目标区域后的左影像和右影像分别进行增强并进行颜色识别，将图像的颜色信息转换成码值，得到左影像颜色识别图和右影像颜色识别图；

步骤4)，针对M阵列编码的方法直接对步骤3)中得到的颜色识别图进行解码，得到匹配点对；

步骤5)，利用得到的匹配点对，基于立体视觉的原理进行三维重建，得到二维点所对应空间点的三维坐标。

进一步的，步骤1)的具体实现方式如下；

首先将所设计的单幅彩色编码图像经投影仪投影到待测体的表面，然后采用相机从不同角度拍摄待测物影像，得到左影像与右影像，所述彩色编码图像是利用M阵列编码矩阵生成。

进一步的，步骤2)的具体实现方式如下；

首先对影像进行梯度边缘检测，得到边缘检测的二值图；其次，使用霍夫变换检测圆形的函数，选择合适的最小距离、最大半径、最小半径这三个输入参数，检测得到相机拍摄影像中四个圆的圆心坐标，也即投影区域四个角点的坐标；最后将检测得到的四个角点坐标作为原坐标，将设计的彩色编码图像的四个角点坐标作为透视变换之后的坐标，将这四组二维映射点的坐标代入透视变换方程组，计算八个未知数的值，得到左右影像提取目标区域的透视变换矩阵。

进一步的，步骤3)的具体实现方式如下；

首先，将彩色编码图像作为色彩迁移的目标图像，将提取目标区域后的影像作为色彩迁移的原图像，将目标图像和原图像由RGB颜色空间转换到lαβ颜色空间，近似正交的亮度分量l和两个色度分量α、β；

其次，分别计算lαβ空间中两幅图的均值和标准差，先将目标图像lαβ通道的数据减掉目标图像lαβ通道的均值，再将得到的新数据按比例放缩，其放缩系数是原图像的标准方差和目标图像的标准方差的比值，最后将得到的结果分别加上原图像lαβ通道的均值，即得到和目标图像有着同样均值和方差的色彩迁移处理后的原图像；

最后，对色彩迁移处理后的影像进行颜色识别；将色彩迁移处理后的影像由lαβ颜色空间转换回RGB颜色空间，提取每一个像素的RGB值，通过判别语句对像素进行分类，若三通道的灰度值均大于阈值t1，则识别为白色，若红色通道的灰度值最大且与另两个通道的灰度差值均大于t2，则识别为红色，绿色和蓝色的识别与红色的识别原理相同；对于识别到的三种颜色的像素，分别用设计编码图案时相对应的“0”，“1”，“2”表示，白色用“3”表示，得到的一个图像大小的矩阵，即得到颜色识别图。

进一步的，步骤4)的具体实现方式如下；

根据左影像颜色识别图，分别构造一幅右邻域图和下邻域图；构造右邻域图的过程是在颜色识别图中对于每个像素点向右检索，直到检索到白色边框后的第一个基元像素，在右邻域图中记录下该点的码值和坐标，构造下邻域图的过程是在颜色识别图中对于每个像素点向下检索，直到检索到白色边框后的第一个基元像素，在下邻域图中记录下该点的码值和坐标；上述所说的方法是基于像素点位于单一色块内部的情况，若像素点位于白色边框上，则沿该点向右或向下检索，直到检索得到第一个码值“0”或“1”或“2”的像素点，将此点作为起始点；

其次，对于左影像中的待定点，利用颜色识别图、右邻域图和下邻域图，通过在右邻域图中寻找与当前基元最相邻右方基元，在下邻域图中寻找与当前基元最相邻下方基元，构造当前基元所在的3×3窗口，并将此窗口放到与彩色编码图像对应的M阵列编码矩阵中进行模板匹配即实现窗口定位和基元定位，所述基元是指彩色编码图像中一个单一的颜色块，所述编码矩阵的值与彩色编码图像各基元一一对应，“0”、“1”、“2”分别与设计编码图像时的红、绿、蓝三种颜色的基元相对应；

再次，通过待定点像素坐标与基元外围白色边框的位置关系进行基元内部进一步精确定位，若待定点位于基元内部，由待定位像素向上下左右四个方向分别进行检索，直到碰到白色边框停止，即检索到第一个码值为“3”的点则停止，计算四个方向检索时分别经过的像素个数，经过简单的计算实现定位；若待定点不在基元内部，则向右或向下检索，直到阈值范围内检索到第一个位于基元内部的点，以此点作为起始点，再进行精确定位；

最后，在右影像中搜寻待定点的匹配点，与基元定位和基元内精确定位的步骤相似，首先根据左影像中待定位点的位置定位基元，再进行进一步基元内精确定位；其中基元定位时先利用透视变换的几何约束确定搜索的起始位置，并只在这一定范围内进行搜索，若在范围内搜索不到匹配基元，则放弃对该待定位点的匹配。

进一步的，步骤5)的具体实现方式如下；

首先，利用MATLAB相机标定工具箱标定摄像机内参矩阵，制作一幅棋盘格标定图片作为标定板，用摄像机从不同的角度拍摄标定板，得到尽量多的像片，用尺量取标定板上棋盘格小方块的实际边长，单位为毫米，将得到的数据都输入标定工具箱中即可得到摄像机内参的标定结果；

其次，采用RANSAC的八点算法计算基本矩阵的值，在同名点对中随机选取八个点对，通过求解线性方程组的方法计算得到基本矩阵的结果，然后在所有的原始点对中寻找支持计算所得的基本矩阵的点对，如果支持的点对数量足够多，则认为计算得到的基本矩阵的结果是可信的，并用所有的支持点通过最小二乘的方法夹断得到最终的基本矩阵结果，反之，如果只有少量的匹配点对满足初始计算得到的基本矩阵结果，则重复上述步骤，直到找到最优解；得到基本矩阵的最优解之后，将基本矩阵和摄像机内参矩阵进行运算得到本质矩阵的结果；

最后，本质矩阵只和拍摄两张像片时摄像机的相对位置和姿态关系有关，将本质矩阵进行SVD分解，得到代表右影像相对左影像的变换矩阵[R|t]，计算得到四个结果，这四个结果只有一个使得通过三角化原理计算得到的点都落在两个摄像机前方，通过取点计算验证，即得到唯一结果。

本发明具有如下积极效果：

1)本发明提出了基于单幅M阵列编码方案的解码方法，通过分别求出左右影像中的点在编码图案中的坐标，坐标相同，即为匹配点对，以此过程代替传统的三维重建过程中复杂度高、耗时长且易产生误匹配的特征点匹配的算法，提升重建的精度和效率，且只需要一幅编码影像就能实现定位，运动的场景也适用。

2)本发明在对编码图像进行解码处理之前，首先利用透视变换进行目标提取，避免了环境杂物对投影区域的影响，也方便了后续解码后左右影像同名点的匹配。

3)本发明提出利用色彩迁移技术进行预处理的方法，解决了物体受到自身的表面纹理和环境光照影响导致解码精度不高的问题，经色彩迁移处理之后的影像颜色信息丰富，只需要进行简单的判断即可实现颜色识别。

采用本发明可更加准确、稳健地实现待测物体的三维重建，结合了空间编解码技术和双目视觉结构光三维重建技术，融合两者优势，提高了三维重建过程的速度和三维重建结果的精度。

附图说明

图1为本发明中用于投影的彩色编码影像。

图2为本发明的流程图。

图3为本发明中制作邻域图的流程图。

图4为本发明中进行窗口模板匹配以实现基元定位的流程图。

图5为本发明中基元内精确定位的示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图对本发明进一步详细说明。

实施例1，一种基于纹理影像编码的三维重建方法，包括以下步骤：

步骤1)、该步骤拍摄得到待测物经投影增强后的纹理编码影像，以供后续处理。首先将所设计的单幅彩色编码图像经投影仪投影到待测体的表面，然后采用相机从不同角度拍摄待测物影像，得到左影像与右影像，所述彩色编码图像是利用M阵列编码矩阵生成。

步骤2)、利用透视变换原理提取左影像和右影像投影的目标区域，以避免环境杂物对投影区域的影响。

首先，对影像进行梯度边缘检测，得到边缘检测的二值图。

其次，使用OpenCV中封装好的霍夫变换检测圆形的函数，选择合适的最小距离、最大半径、最小半径这三个输入参数，检测得到相机拍摄影像中四个圆的圆心坐标，也即投影区域四个角点的坐标。

最后，将检测得到的四个角点坐标作为原坐标，将设计的彩色编码图像的四个角点坐标作为透视变换之后的坐标，将这四组二维映射点的坐标代入透视变换方程组，计算得到八个未知数，得到左右影像提取目标区域的透视变换矩阵。

步骤3)、利用色彩迁移技术对提取目标区域后的左影像和右影像进行增强并进行颜色识别，将图像的颜色信息转换成码值，得到颜色识别图。

首先，将彩色编码图像作为色彩迁移的目标图像，将提取目标区域后的影像作为色彩迁移的原图像，将目标图像和原图像这两幅图由RGB颜色空间转换到lαβ颜色空间(近似正交的亮度分量l和两个色度分量α、β)。

其次，分别计算lαβ空间中两幅图的均值和标准差，先将目标图像lαβ通道的数据减掉目标图像lαβ通道的均值，再将得到的新数据按比例放缩，其放缩系数是原图像的标准方差和目标图像的标准方差的比值，最后将得到的结果分别加上原图像lαβ通道的均值，即得到和目标图像有着同样均值和方差的色彩迁移处理后的原图像。

最后，对色彩迁移处理后的影像进行颜色识别。将色彩迁移处理后的影像由lαβ颜色空间转换回RGB颜色空间，提取每一个像素的RGB值，通过简单的判别语句对像素进行分类，本例中，若三通道的灰度值均大于50，则识别为白色，若红色通道的灰度值最大且与另两个通道的灰度差值均大于60，则识别为红色，绿色和蓝色的识别与红色同理。对于识别到的三种颜色的像素，分别用设计编码图案时相对应的“0”，“1”，“2”表示，白色用“3”表示，得到的一个图像大小的矩阵，即得到颜色识别图。

步骤4)、针对M阵列编码的方法直接对步骤3)中得到的颜色识别图进行解码，得到匹配点对。

首先，如图3，根据左影像颜色识别图，分别构造一幅右邻域图和下邻域图。构造右邻域图的过程是在颜色识别图中对于每个像素点向右检索，直到检索到白色边框(码值为“3”)后的第一个基元像素，在右邻域图中记录下该点的码值和坐标，构造下邻域图的过程是在颜色识别图中对于每个像素点向下检索，直到检索到白色边框(码值为“3”)后的第一个基元像素，在下邻域图中记录下该点的码值和坐标。上述所说的方法是基于像素点位于单一色块内部的情况，若像素点位于白色边框上，则沿该点向右或向下检索，直到检索得到第一个码值“0”或“1”或“2”的像素点，将此点作为起始点。

其次，如图4，对于左影像中的待定点，利用颜色识别图、右邻域图和下邻域图，通过在右邻域图中寻找与当前基元最相邻右方基元，在下邻域图中寻找与当前基元最相邻下方基元，构造当前基元所在的3×3窗口，并将此窗口放到与彩色编码图像对应的M阵列编码矩阵中进行模板匹配即实现窗口定位和基元定位，所述基元是指彩色编码图像中一个单一的颜色块，所述编码矩阵的值与彩色编码图像各基元一一对应，“0”、“1”、“2”分别与设计编码图像时的红、绿、蓝三种颜色的基元相对应。

再次，如图5，通过待定点像素坐标与基元外围白色边框的位置关系进行基元内部进一步精确定位。若待定点位于基元内部，由待定位像素向上下左右四个方向分别进行检索，直到碰到白色边框停止，即检索到第一个码值为“3”的点则停止，计算四个方向检索时分别经过的像素个数，经过简单的计算实现定位。若待定点不在基元内部，则向右或向下检索，直到阈值范围内检索到第一个位于基元内部的点，以此点作为起始点，再进行精确定位。

最后，在右影像中搜寻待定点的匹配点，与基元定位和基元内精确定位的步骤相似，首先根据左影像中待定位点的位置定位基元，再进行进一步基元内精确定位。其中基元定位时先利用透视变换的几何约束确定搜索的起始位置，并只在这一定范围内进行搜索，若在范围内搜索不到匹配基元，则放弃对该待定位点的匹配。

步骤5)、利用得到的匹配点对，基于立体视觉的原理进行三维重建，得到二维点所对应空间点的三维坐标。

首先，利用MATLAB相机标定工具箱标定摄像机内参矩阵，制作一幅棋盘格标定图片作为标定板，用摄像机从不同的角度拍摄标定板，得到尽量多的像片，用尺量取标定板上棋盘格小方块的实际边长，单位为毫米，将得到的数据都输入标定工具箱中即可得到摄像机内参的标定结果。

其次，采用RANSAC的八点算法计算基本矩阵的值，在同名点对中随机选取八个点对，通过求解线性方程组的方法计算得到基本矩阵的结果，然后在所有的原始点对中寻找支持计算所得的基本矩阵的点对，如果支持的点对数量足够多，则认为计算得到的基本矩阵的结果是可信的，并用所有的支持点通过最小二乘的方法计算得到最终的基本矩阵结果，反之，如果只有少量的匹配点对满足初始计算得到的基本矩阵结果，则重复上述步骤，直到找到最优解。得到基本矩阵的最优解之后，将基本矩阵和摄像机内参矩阵进行运算得到本质矩阵的结果。

再次，本质矩阵只和拍摄两张像片时摄像机的相对位置和姿态关系有关，将本质矩阵进行SVD分解，得到代表右影像相对左影像的变换矩阵[R|t]，计算得到四个结果，这四个结果只有一个使得通过三角化原理计算得到的点都落在两个摄像机前方，通过取点计算验证，即可得到唯一结果。

最后，采用三角测量的方法，利用得到的[R|t]矩阵对同名点对进行三角交汇，计算得到二维点对应的空间点的三维坐标。

以上所述仅为本发明的优选实施例而已，并不用以限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于纹理影像编码的三维重建方法，其特征在于，它包括如下步骤：

步骤1)，将利用M阵列编码矩阵生成的彩色编码图像投影到待测物体上，使用相机拍摄待测区域，得到左影像和右影像；

步骤2)，基于霍夫圆形检测方法和透视变换原理提取影像和右影像投影的目标区域，以避免环境杂物对投影区域的影响；

步骤3)，基于色彩迁移技术对提取目标区域后的左影像和右影像分别进行增强并进行颜色识别，将图像的颜色信息转换成码值，得到左影像颜色识别图和右影像颜色识别图；

步骤4)，针对M阵列编码的方法直接对步骤3)中得到的颜色识别图进行解码，得到匹配点对；

步骤4)的具体实现方式如下；

根据左影像颜色识别图，分别构造一幅右邻域图和下邻域图；构造右邻域图的过程是在颜色识别图中对于每个像素点向右检索，直到检索到白色边框后的第一个基元像素，在右邻域图中记录下该点的码值和坐标，构造下邻域图的过程是在颜色识别图中对于每个像素点向下检索，直到检索到白色边框后的第一个基元像素，在下邻域图中记录下该点的码值和坐标；构造右邻域图和下邻域图的方法是基于像素点位于单一色块内部的情况，若像素点位于白色边框上，则沿该点向右或向下检索，直到检索得到第一个码值“0”或“1”或“2”的像素点，将此点作为起始点；

其次，对于左影像中的待定点，利用颜色识别图、右邻域图和下邻域图，通过在右邻域图中寻找与当前基元最相邻右方基元，在下邻域图中寻找与当前基元最相邻下方基元，构造当前基元所在的3×3窗口，并将此窗口放到与彩色编码图像对应的M阵列编码矩阵中进行模板匹配即实现窗口定位和基元定位，所述基元是指彩色编码图像中一个单一的颜色块，所述编码矩阵的值与彩色编码图像各基元一一对应，“0”、“1”、“2”分别与设计编码图像时的红、绿、蓝三种颜色的基元相对应；

再次，通过待定点像素坐标与基元外围白色边框的位置关系进行基元内部进一步精确定位，若待定点位于基元内部，由待定位像素向上下左右四个方向分别进行检索，直到碰到白色边框停止，即检索到第一个码值为“3”的点则停止，计算四个方向检索时分别经过的像素个数，经过简单的计算实现定位；若待定点不在基元内部，则向右或向下检索，直到阈值范围内检索到第一个位于基元内部的点，以此点作为起始点，再进行精确定位；

最后，在右影像中搜寻待定点的匹配点，与基元定位和基元内精确定位的步骤相似，首先根据左影像中待定位点的位置定位基元，再进行进一步基元内精确定位；其中基元定位时先利用透视变换的几何约束确定搜索的起始位置，并只在这一定范围内进行搜索，若在范围内搜索不到匹配基元，则放弃对该待定位点的匹配；

步骤5)，利用得到的匹配点对，基于立体视觉的原理进行三维重建，得到二维点所对应空间点的三维坐标。

2.根据权利要求1所述的一种基于纹理影像编码的三维重建方法，其特征在于：步骤1)的具体实现方式如下；

首先将所设计的单幅彩色编码图像经投影仪投影到待测体的表面，然后采用相机从不同角度拍摄待测物影像，得到左影像与右影像，所述彩色编码图像是利用M阵列编码矩阵生成。

3.根据权利要求1所述的一种基于纹理影像编码的三维重建方法，其特征在于：步骤2)的具体实现方式如下；

首先对影像进行梯度边缘检测，得到边缘检测的二值图；其次，使用霍夫变换检测圆形的函数，选择合适的最小距离、最大半径、最小半径这三个输入参数，检测得到相机拍摄影像中四个圆的圆心坐标，也即投影区域四个角点的坐标；最后将检测得到的四个角点坐标作为原坐标，将设计的彩色编码图像的四个角点坐标作为透视变换之后的坐标，将这四组二维映射点的坐标代入透视变换方程组，计算八个未知数的值，得到左右影像提取目标区域的透视变换矩阵。

4.根据权利要求1所述的一种基于纹理影像编码的三维重建方法，其特征在于：步骤3)的具体实现方式如下；

首先，将彩色编码图像作为色彩迁移的目标图像，将提取目标区域后的影像作为色彩迁移的原图像，将目标图像和原图像由RGB颜色空间转换到lαβ颜色空间，近似正交的亮度分量l和两个色度分量α、β；

其次，分别计算lαβ空间中两幅图的均值和标准差，先将目标图像lαβ通道的数据减掉目标图像lαβ通道的均值，再将得到的新数据按比例放缩，其放缩系数是原图像的标准方差和目标图像的标准方差的比值，最后将得到的结果分别加上原图像lαβ通道的均值，即得到和目标图像有着同样均值和方差的色彩迁移处理后的原图像；

最后，对色彩迁移处理后的影像进行颜色识别；将色彩迁移处理后的影像由lαβ颜色空间转换回RGB颜色空间，提取每一个像素的RGB值，通过判别语句对像素进行分类，若三通道的灰度值均大于阈值t1，则识别为白色，若红色通道的灰度值最大且与另两个通道的灰度差值均大于t2，则识别为红色，绿色和蓝色的识别与红色的识别原理相同；对于识别到的三种颜色的像素，分别用设计编码图案时相对应的“0”，“1”，“2”表示，白色用“3”表示，得到的一个图像大小的矩阵，即得到颜色识别图。

5.根据权利要求1所述的一种基于纹理影像编码的三维重建方法，其特征在于：步骤5)的具体实现方式如下；

首先，利用MATLAB相机标定工具箱标定摄像机内参矩阵，制作一幅棋盘格标定图片作为标定板，用摄像机从不同的角度拍摄标定板，得到尽量多的像片，用尺量取标定板上棋盘格小方块的实际边长，单位为毫米，将得到的数据都输入标定工具箱中即可得到摄像机内参的标定结果；

其次，采用RANSAC的八点算法计算基本矩阵的值，在同名点对中随机选取八个点对，通过求解线性方程组的方法计算得到基本矩阵的结果，然后在所有的原始点对中寻找支持计算所得的基本矩阵的点对，如果支持的点对数量足够多，则认为计算得到的基本矩阵的结果是可信的，并用所有的支持点通过最小二乘的方法夹断得到最终的基本矩阵结果，反之，如果只有少量的匹配点对满足初始计算得到的基本矩阵结果，则重复上述步骤，直到找到最优解；得到基本矩阵的最优解之后，将基本矩阵和摄像机内参矩阵进行运算得到本质矩阵的结果；

最后，本质矩阵只和拍摄两张像片时摄像机的相对位置和姿态关系有关，将本质矩阵进行SVD分解，得到代表右影像相对左影像的变换矩阵[R|t]，计算得到四个结果，这四个结果只有一个使得通过三角化原理计算得到的点都落在两个摄像机前方，通过取点计算验证，即得到唯一结果。

Images