CN110766767B

CN110766767B - 获取格雷码结构光图像的方法、系统、装置

Info

Publication number: CN110766767B
Application number: CN201910988331.3A
Authority: CN
Inventors: 谭杰; 吴科; 夏海伦
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2021-05-04
Anticipated expiration: 2039-10-17
Also published as: CN110766767A

Abstract

本发明属于计算机图像处理领域，具体涉及一种获取格雷码结构光图像的方法、系统、装置，旨在解决三维重建时采集格雷码结构光图像耗时长，所需存储空间大的问题。本系统方法包括获取待重建物体的正相光栅图像、反相光栅图像；将正相光栅图像、反相光栅图像转化为灰度图，并对比两灰度图的灰度值，通过预设规则构建二值化图像矩阵；基于图像矩阵的值获取全亮图像、全暗图像，并构建编码图谱；获取当前光栅模板对应光栅图像划分的子区域，选取全亮图像、全暗图像对应区域的图像填充子区域，得到当前光栅模板对应的正相光栅图像、反相光栅图像。本发明提高了格雷码结构光图像的采集速率，压缩了所需的存储空间。

Description

获取格雷码结构光图像的方法、系统、装置

技术领域

本发明属于计算机图像处理领域，具体涉及一种获取格雷码结构光图像的方法、系统、装置。

背景技术

表面重建因在智能制造、虚拟现实、文化遗产保护、医学整形外科、制造检验等领域应用广泛，成为计算机视觉中重要的研究主题之一。在表面重建的测距技术中，立体视觉是基于两个或者更多个视角观察场景，然后找到不同图像之间的对应点，以便对3D位置进行三角测量。尽管预先校准相机可以使用极线约束条件辅助对应点匹配，但仍然存在一定困难，例如无纹理或弱纹理目标的难以寻找特征匹配点等。编码结构光方法通过将光学图案投射到测量表面上，以“光学”信息编码匹配点，能够很好地为特征点匹配提供特征点。

因为格雷码的简单性和鲁棒性使得它成为结构光领域中基本且使用最广泛的编码方案。根据结构光编码规则，结构光的模式可以是单一的一张图片或者一系列图片，格雷码采用是一系列图片的模式。如果要使用具有码字长度为n的二进制格雷码模式，则图像序列由n+1个二进制条码图案组成，需要顺序投影以对场景进行编码。通过解码过程，场景图像可以被划分为2n个子区域，每个子区域具有唯一的码字，其范围从1到2n。通过引入极线约束，可以获得相机和投影仪传感器平面之间的一对一对应关系。而传统的格雷码三维重建方法存在的缺点在于使用的模式过多，导致采集格雷码结构光图像耗时长，所需存储空间大。

发明内容

为了解决现有技术中的上述问题，即为了解决三维重建时采集格雷码结构光图像耗时长，所需存储空间大的问题，本发明第一方面，提出了一种获取格雷码结构光图像的方法，该方法包括：

步骤S100，获取待重建物体的正相光栅图像V、反相光栅图像

V、

分别为待重建物体在正相模板、反相模板投影下的光栅图像；所述正相模板为基于预设的最大光栅条纹数，通过格雷码生成算法获取的光栅模板；所述反相模版为与所述正相模板灰度值相反的光栅模板；

步骤S200，分别将V、

转化为灰度图，得到正相光栅灰度图像M、反相光栅灰度图像

并基于M、

相同位置像素的灰度值构建与V大小相等的二值化图像矩阵；

步骤S300，基于所述图像矩阵的值，依次选取V和

相对应位置像素的RGB值，构建与V大小相等的全亮图像I、全暗图像

根据编码值及所述编码值对应的区域，构建与V大小相等的编码图谱；所述编码值为所述图像矩阵中相邻元素的值变化的次数和；

步骤S400，基于所述最大光栅条纹数，获取光栅模板的最大级数；遍历光栅模板的级数，分别根据当前光栅模板的级数、所述光栅模板的最大级数、所述编码图谱的编码值，获取所述当前光栅模板对应光栅图像的子区域；并根据所述编码图谱的编码值，选取I、

相对应区域的图像填充所述子区域，获取当前光栅模板对应的正相光栅图像、反相光栅图像。

在一些优选的实施方式中，步骤S200中“基于M、

相同位置像素的灰度值构建与V大小相等的二值化图像矩阵”，其方法为：定义与V大小相等的图像矩阵，对比M、

相同位置像素的灰度值，若M大于

所述图像矩阵相对应的位置记为1，否则记为0。

在一些优选的实施方式中，步骤S300中“依次选取V和

”

，其方法为：

定义与V大小相等的全亮图像I、全暗图像

遍历所述图像矩阵，若所述图像矩阵在当前位置取值为1，则I选取V相对应位置像素的RGB值进行填充，

选取

相对应位置像素的RGB值进行填充；否则

选取V相对应位置像素的RGB值进行填充，I选取

相对应位置像素的RGB值进行填充。

在一些优选的实施方式中，步骤S300中“根据编码值及所述编码值对应的区域，构建与V大小相等的编码图谱”，其方法为：遍历所述图像矩阵，若所述图像矩阵中的值从0变为1或从1变为0，则所述编码值加1，并获取所述编码值对应的区域；所述编码值对应的区域为与M中对应位置像素灰度值相差不超过10且相互联通的像素区域；

根据编码值及所述编码值对应的区域，构建与V大小相等的编码图谱。

在一些优选的实施方式中，在步骤S300之后还包括检测编码值大小的步骤：

基于所述最大光栅条纹数，获取光栅模板的最大级数n

若所述编码图谱中最大编码值大于n-1，对编码值对应的区域从小到大进行排序，依次去除小的区域，并重新获取各个区域的编码值，直至所述最大编码值为n-1。

在一些优选的实施方式中，步骤S400中“根据当前光栅模板的级数、所述光栅模板的最大级数、所述编码图谱的编码值，获取所述当前光栅模板对应光栅图像的子区域”，其方法为：

其中，R为当前光栅模板对应光栅图像的子区域，k为当前光栅模板的级数，n为光栅模板的最大级数，s为编码图谱的编码值。

在一些优选的实施方式中，步骤S400中“根据所述编码图谱的编码值，选取I、

相对应区域的图像填充所述子区域，获取当前光栅模板对应的正相光栅图像、反相光栅图像”，其方法为：

定义与V大小相等的当前光栅模板对应的正相光栅图像、反相光栅图像；

若所述编码图谱的编码值为偶数时，选取I相对应区域的图像填充所述正相光栅图像对应的子区域，选取

相对应区域的图像填充所述反相光栅图像对应的子区域；

若所述编码图谱的编码值为奇数时，选取

相对应区域的图像填充所述正相光栅图像对应的子区域，选取I相对应区域的图像填充所述反相光栅图像对应的子区域。

本发明的第二方面，提出了一种获取格雷码结构光图像的系统，该系统包括获取模块、构建图像矩阵模块、构建编码图谱模块、获取子图像模块；

所述获取模块，配置为获取待重建物体的正相光栅图像V、反相光栅图像

V、

所述构建图像矩阵模块，配置为分别将V、

转化为灰度图，得到正相光栅灰度图像M、反相光栅灰度图像

并基于M、

相同位置像素的灰度值构建与V大小相等的二值化图像矩阵；

所述构建编码图谱模块，配置为基于所述图像矩阵的值，依次选取V和

所述获取子图像模块，配置为基于所述最大光栅条纹数，获取光栅模板的最大级数；遍历光栅模板的级数，分别根据当前光栅模板的级数、所述光栅模板的最大级数、所述编码图谱的编码值，获取所述当前光栅模板对应光栅图像的子区域；并根据所述编码图谱的编码值，选取I、

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的获取格雷码结构光图像的方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的获取格雷码结构光图像的方法。

本发明的有益效果：

本发明大大地提高了格雷码结构光图像的采集速率，压缩了所需的存储空间。在本发明中，通过提取正反两张光栅灰度图像，通过编码的方式将图像中每一个条纹划分为不同区域，并由这两张光栅灰度图像生成所需要的剩余格雷码结构光图像。生成方法为根据所需要生成图像的模板级数，通过格雷码生成算法，选择相应的图像区域进行组合，由原始的正反两张光栅灰度图像，生成多张子图像。本方法只需采集两张光栅图像，相比于现有方法，获取快速且占据内存空间小。

附图说明

通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。

图1是本发明一种实施例的获取格雷码结构光图像的方法的流程示意图；

图2是本发明一种实施例的获取格雷码结构光图像的系统的框架示意图；

图3是本发明一种实施例的获取格雷码结构光图像的硬件系统示例图；

图4是本发明一种实施例的格雷码结构光图像采集设备调整测试的详细过程的示例图；

图5是本发明一种实施例的根据正相光栅灰度图像、反相光栅灰度图像生成的子图像的示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的获取格雷码结构光图像的方法，如图1所示，包括以下步骤：

步骤S100，获取待重建物体的正相光栅图像V、反相光栅图像

V、

步骤S200，分别将V、

转化为灰度图，得到正相光栅灰度图像M、反相光栅灰度图像

并基于M、

相同位置像素的灰度值构建与V大小相等的二值化图像矩阵；

步骤S300，基于所述图像矩阵的值，依次选取V和

为了更清晰地对本发明获取格雷码结构光图像的方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。

步骤S100，获取待重建物体的正相光栅图像V、反相光栅图像

V、

分别为待重建物体在正相模板、反相模板投影下的光栅图像；所述正相模板为基于预设的最大光栅条纹数，通过格雷码生成算法获取的光栅模板；所述反相模版为与所述正相模板灰度值相反的光栅模板。

在本实施例中，获取待重建物体的格雷码结构光图像之前先对图像采集设备进行调整。采集待重建物体的格雷码结构光图像的系统，如图3所示，一般包括以下设备，投影仪101、相机102、支架103、待重建物体表面104、光栅图像105、显示屏106、计算机107。相机102可以为单目相机或者双目相机，在本实施例中优选为双目相机。图像采集设备调整拍摄过程，如图4所示，详细步骤如下：

步骤S101，固定安装投影仪101、相机102，并调整为初始状态；

步骤S102：根据投影仪101的分辨率和重建精度要求，确定最多光栅条纹数。定义投影仪101分辨率为height*width，height为高，width为宽，所投影光栅图像105为竖向光栅，且重建精度要求最高，记当前最大光栅条纹数为2ⁿ，其中n＝ceil(log(width)/log2)，ceil(*)代表向下取整函数，(若投影光栅为横向光栅，则n＝ceil(log(height)/log2))。根据重建精度要求的情况，可以减小n的取值，根据对应的条纹数，通过格雷码生成算法，生成光栅模板。定义k为模板级数，级数的初始值取为0，依照光栅条纹数目的多少从小到大，逐次加1，直至k＝n，n为光栅模板的最大级数。选择级数最大的光栅模板(即最大光栅条纹数对应的光栅模板)记为正相模板，并生成灰度值与其相反的反相模板；

步骤S103，开启投影仪101并调整焦距，向待重建物体表面104投影任意光栅模板，并用相机102获取光栅图像105，服务器107将光栅图像显示在显示屏106上，在显示屏106处观察所拍摄的图像，测试系统能否获取到清晰的图像。若无法获取或图像不稳定，重复步骤S101、S102，直至系统能获取稳定投影图像；

步骤S104，获取待重建物体在正相模板、反相模板(正相、反相光栅模板)投影下的光栅图像，记为正相光栅图像V、反相光栅图像

步骤S200，分别将V、

转化为灰度图，得到正相光栅灰度图像M、反相光栅灰度图像

并基于M、

相同位置像素的灰度值构建与V大小相等的二值化图像矩阵。

在本实施例中，采用局部阈值的方法选取阈值将正相光栅图像V、反相光栅图像

换为8位灰度图像，记为正相光栅灰度图像M、反相光栅灰度图像

定义大小与V相等的图像矩阵，记为图像蒙版，采用计算机107处理灰度图像，遍历正相光栅灰度图像M、反相光栅灰度图像

各像素，并对比两图像相同位置的灰度值，通过公式(1)给图像蒙版赋值：

其中，Mesh为图像蒙版，为一个二维数组，M(i,j)、

为正相光栅灰度图像M、反相光栅灰度图像

各像素，i,j为自然数，表示下标。

步骤S300，基于所述图像矩阵的值，依次选取V和

根据编码值及所述编码值对应的区域，构建与V大小相等的编码图谱；所述编码值为所述图像矩阵中相邻元素的值变化的次数和。

在本实施例中，基于所述图像矩阵的值，获取全亮图像I、全暗图像

并构建编码图谱。具体步骤如下：

步骤S301，定义与V大小相等的全亮图像I和全暗图像

依据图像蒙版的取值为两图像的RGB三通道赋值。

赋值方法为：当某像素处Mesh＝1时，I取V相应位置的RGB值，

取

相应位置的RGB值，同理当某像素处Mesh＝0时，I取

相应位置的RGB值，

取V相应位置的RGB值，由此得到全亮图像I和全暗图像

步骤S302，定义编码图谱Map，大小与V相同，记初始编码值记为0，从左往右(横向光栅模板则为从上往下)逐行像素扫描图像蒙版，根据取值的变化，即从0变为1或者从1变为0，令编码值加1。并计算该像素对应区域的大小，将像素所对应的编码值和区域大小记录在Map中。像素对应的区域为与M中对应位置像素灰度值相差不超过10且相互联通的像素区域。

步骤S303，记录最终编码值大小，即最大编码值，其编码值大于n-1，则将区域大小按照从小到大的顺序排列，依次去除较小的区域并重新为各区域编码，直至最大编码值为n-1。排序的作用是为生成后面的模板提供标准编码图谱Map，因为标准编码图谱不允许出现超过n个编码区域的，为了避免这种情况的出现，选取(依据面积排序)前n个编码区域作为编码区域。

采用格雷码方法重建三维目标物体，需要连续的不同的级数光栅图像，所生成的级数图像即为所需要的图像，要求所待重建目标表面连续且表面反射率均匀。

在本实施例中，遍历模板级数k，

根据当前光栅模板的级数、光栅模板的最大级数n、编码图谱的编码值s＝{0,1,…,n-1}，获取当前光栅模板对应的光栅图像被划分的子区域，其划分方法如式(2)所示：

其中，R为当前光栅模板对应光栅图像的子区域。

相对应区域的图像填充所述反相光栅图像对应的子区域；若所述编码图谱的编码值为奇数时，选取

相对应区域的图像填充所述正相光栅图像对应的子区域，选取I相对应区域的图像填充所述反相光栅图像对应的子区域，当

时，结束当前模板级数子区域的选取，得到当前光栅模板对应的正相光栅图像M_k、反相光栅图像

如图5所示，分别给出了k＝1、k＝2、k＝3情况下对应的正相光栅图像M_k、反相光栅图像

当k＞n-1时，结束所有的遍历循环，得到所需要的所有的正相光栅图像M_k、反相光栅图像

本发明第二实施例的一种获取格雷码结构光图像的系统，如图2所示，包括：获取模块100、构建图像矩阵模块200、构建编码图谱模块300、获取子图像模块400；

所述获取模块100，配置为获取待重建物体的正相光栅图像V、反相光栅图像

V、

所述构建图像矩阵模块200，配置为分别将V、

转化为灰度图，得到正相光栅灰度图像M、反相光栅灰度图像

并基于M、

相同位置像素的灰度值构建与V大小相等的二值化图像矩阵；

所述构建编码图谱模块300，配置为基于所述图像矩阵的值，依次选取V和

所述获取子图像模块400，配置为基于所述最大光栅条纹数，获取光栅模板的最大级数；遍历光栅模板的级数，分别根据当前光栅模板的级数、所述光栅模板的最大级数、所述编码图谱的编码值，获取所述当前光栅模板对应光栅图像的子区域；并根据所述编码图谱的编码值，选取I、

所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的获取格雷码结构光图像的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的获取格雷码结构光图像的方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的获取格雷码结构光图像的方法。

所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。