CN105120257B - 一种基于结构光编码的垂直深度感知装置 - Google Patents

Abstract

本发明公开了一种基于结构光编码的垂直深度感知装置，所述装置包括激光图形投射器、红外接收摄像头、RGB接收摄像头和深度感知模块；所述激光图形投射器、红外接收摄像头、RGB接收摄像头沿一直线垂直于水平面放置，所述激光图形投射器用于投射编码图像；所述红外接收摄像头用于连续采集所述编码图像并生成输入编码图像序列，RGB接收摄像头采集RGB视频流；深度感知模块用于生成深度图序列。本发明所述的装置不仅可以实时生成高分辨率、高精度的深度信息，而且解决了水平深度感知设备在深度测量过程中被测物体水平方向边缘存在的空洞问题，并有助于完成深度图序列与RGB视频流中的被测目标的一致提取。

Description

一种基于结构光编码的垂直深度感知装置

技术领域

本发明属于图像处理、自然交互和集成电路技术领域，具体涉及一种基于结构光编码的垂直深度感知装置。

背景技术

自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令，其中，深度感知技术是人机自然交互的核心技术，在机器视觉、智能监控、三维重建、体感交互、3D打印、无人机等领域有着广泛的应用前景。基于结构光编码的主动视觉模式可以较为准确地获取图像的深度信息，比如通过红外激光投射固定模式的图像到物体表面进行编码，由图像传感器采集获得红外编码图像，再通过深度感知计算获得物体的深度信息；所生成的深度信息可用于三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。相比ToF(Time ofFlight)，基于结构光编码的三维深度感知技术在成本、性能方面具备一定的优势。

现有的三维深度感知设备，无论是基于结构光编码、还是ToF，都是设计成水平装置，即激光投射器与接收摄像头之间的基线是水平的、两者的中心光轴是平行的，比如微软Kinect一代(基于PrimeSense结构光模组)和Kinect二代(基于ToF模组)、华硕Xtion、英特尔RealSense 3D深度摄像头(ToF模组)、专利“一种图像深度感知装置(专利号：ZL201210490225.0)”提出的基于结构光三维深度信息实时获取装置。激光投射器与接收摄像头的水平放置，无论接收摄像头是位于激光投射器的左侧或右侧，在深度感知计算生成深度图过程中，由于遮挡的缘故，总会在被测物体左右方向的一侧边缘带来空洞现象，即该侧的边缘周围存在一定宽度的无法识别区域；而且距离深度感知设备越近，空洞现象越明显。应用现有的三维深度感知设备进行人机交互过程中，由于被测物体或人一般都是水平方向运动，其边缘处存在的空洞问题将对被测目标的识别、分割或抠图处理带来严重的影响，难以实现将深度图与RGB视频图中的被测目标进行一致提取。

发明内容

鉴于此，本发明提供了一种基于结构光编码的垂直深度感知装置；

所述装置包括：激光图形投射器、红外接收摄像头、RGB接收摄像头和深度感知模块；

所述激光图形投射器、RGB接收摄像头、红外接收摄像头依次沿一条直线垂直于水平面放置；所述深度感知模块与红外接收摄像头相连接；

所述激光图形投射器是一种激光编码图形Pattern发射装置，用于投射激光编码图形；

所述红外接收摄像头用于连续采集激光图形投射器所投射的激光编码图形并生成输入编码图像序列；

所述深度感知模块用于对红外接收摄像头生成的输入编码图像序列进行图像预处理，结合预先固化的、已知距离的参考编码图像进行块匹配视差计算和深度计算，生成深度图序列；

所述RGB接收摄像头用于结合深度感知模块对深度图序列进行后续的图像处理。

附图说明

图1是本发明一个实施例中的基于结构光编码的垂直深度感知装置结构示意图；

图2是本发明一个实施例中的深度感知模块结构示意图；

图3是本发明一个实施例中的水平深度感知设备存在的空洞问题示意图；

图4是本发明一个实施例中的水平深度感知设备存在的深度图空洞示意图。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步的详细说明。

在一个实施例中，本发明提供了一种基于结构光编码的垂直深度感知装置；

所述装置包括：激光图形投射器、红外接收摄像头、RGB接收摄像头和深度感知模块；

所述激光图形投射器、RGB接收摄像头、红外接收摄像头依次沿一条直线垂直于水平面放置；所述深度感知模块与红外接收摄像头相连接；

所述激光图形投射器是一种激光编码图形Pattern发射装置，用于投射激光编码图形；

所述红外接收摄像头用于连续采集激光图形投射器所投射的激光编码图形并生成输入编码图像序列；

所述深度感知模块用于对红外接收摄像头生成的输入编码图像序列进行图像预处理，结合预先固化的、已知距离的参考编码图像进行块匹配视差计算和深度计算，生成深度图序列。

所述RGB接收摄像头用于结合深度感知模块对深度图序列进行后续的图像处理。

本实施例所述的装置中的激光图形投射器、红外接收摄像头和RGB接收摄像头垂直放置，解决了由于水平深度感知设备会引起被测物体水平方向的一侧边缘产生空洞问题。所述激光图形投射器与红外接收摄像头、RGB接收摄像头三者沿垂直与地面的直线排列方式，至上而下的排列顺序在此不做限制，以红外接收摄像头能够采集到激光图像投射器投射的激光编码图形为限。

本实施例中，红外接收摄像头连续采集激光图形投射器所投射的激光编码图形采用一定的帧频，包括30HZ、45HZ、60HZ、100Hz、120Hz。

更优选的，所述红外接收摄像头连续采集激光图形投射器所投射的激光编码图形的连续采集时间间隔包括33ms、22ms、17ms、10ms、8ms，在一个实施例中，采用10ms。

更优选的，所述RGB接收摄像头用于结合深度感知模块对深度图序列进行后续的处理包括抠图、3D扫描、人脸识别等其它功能。

在一个实施例中，所述装置对激光图形投射器的投射与红外接收摄像头的采集进行同步控制；

所述激光图形投射器投射的激光编码图形能够更改，并且所述激光图形投射器投射激光编码图形的水平和垂直视角FOV范围包括0～180度；

所述激光图形投射器的激光光源包括可见光、红外、紫外线、X射线。

本实施例所述的所述激光图形投射器是一种激光编码图形(Pattern)发射装置，所投射的图形可以是固定的，也可以通过编程更改。

优选的，激光图形投射器的投射与接收摄像头的编码图像采集可进行同步控制，进一步的，可以采用计算机控制。

在本实施例中，激光图形投射器所投射的图形具有一定的水平垂直视角 FoV，优选的，水平/垂直视角范围0～180度；所述激光图形投射器的激光光源可以是可见光、红外、紫外线、X射线；更优的，采用近红外光源。

在一个实施例中，所述红外接收摄像头的光轴与激光图形投射器的光轴平行，两者垂直方向的基线距离为S，基线距离可根据深度感知装置的工作范围、深度精度要求进行调节。

所述红外接收摄像头是一种图像传感器，包含光学聚焦成像透镜和滤波装置，用于接收激光图形投射器所投射的、特定波长范围的编码图案。图像传感器的光学焦距f一般是固定的，其光轴与激光图形投射器的光轴平行，两者垂直方向的基线距离为S。其可以位于激光图形投射器的垂直上方或下方。

在一个实施例中，所述深度感知模块包括图像预处理子模块、块匹配视差计算子模块、深度计算子模块、存储控制器子模块以及存储器；

所述图像预处理子模块的一端与红外接收摄像头相连接，另一端与块匹配视差计算子模块、深度计算子模块依次连接；所述存储控制器子模块与图像预处理子模块和块匹配视差计算子模块相连接；所述存储器与存储控制器子模块相连接。

本实施例所述的深度感知模块可以采取硬件实现，也可以基于微处理器进行软件编程实现，其物理载体可以是集成电路块、也可以是微处理器。

在一个实施例中，所述图像预处理子模块用于对输入编码图像序列或参考编码图像进行格式转换、图像自适应去噪、图像增强和图像二值化处理。

本实施例所述的图像预处理子模块通过输入编码图像序列或参考编码图像进行预处理，使所述图像更清晰、减少噪声干扰，并有利于本发明内容的块匹配视差计算。

在一个实施例中，所述块匹配视差计算子模块用于对输入编码图像序列与参考编码图像进行块匹配视差计算；

所述块匹配视差计算包括以下步骤：

S1、在输入编码图像中提取固定大小的输入图像块；

S2、在参考编码图像的匹配搜索窗中按相似度准则搜寻最优匹配块，所述输入图像块与最优匹配块中心点之间的偏移量即为该输入图像块中心点像素所对 应的视差；

S3、重复步骤S2，直到计算了输入编码图像中所有像素点的偏移量，由所有像素点的偏移量生成视差图。

本实施例所述的步骤S2中计算输入图像块中心点像素所对应的视差为输入图像块与最优匹配块中心点之间的偏移量，此处的偏移量包括水平或垂直，具体采用水平偏移量还是垂直偏移量要根据计算结果来确定，单次计算结果只会出现水平偏移量和垂直偏移量其中的一种，不会同时出现。

本实施例中所述的相似度判别准则是按一定大小的图像块进行判别，具体相似度准则包括SAD、MAD、MSE等块匹配准则。

本实施例所述参考编码图像是由激光图形投射器投射固定图形的激光束(红外、可见光、紫外线、不可见光)与激光图形投射器的中心轴(Z轴)相垂直或与激光图形投射器的中心轴成固定的夹角、且已知垂直距离为d_i的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的激光图像，该平面可称之为参考基准平面)上，再由接收摄像头根据温度、湿度等不同采集得到的一组编码图像。一般情况下激光图形投射器与接收摄像头的光轴平行、基线距离为S。参考编码图像经与输入编码图像序列相同的图像预处理后，作为输入编码图像序列进行视差计算的匹配基准图形，可由一幅或多幅相同距离的激光编码图像构成。

在一个实施例中，所述深度计算子模块根据下式计算输入编码图像序列中输入图像块的深度值：

其中：f代表红外接收摄像头焦距、μ代表红外接收摄像头图像传感器点距、S代表激光图形投射器与红外接收摄像头的基线距离、Δm代表视差图的偏移量，d代表参考编码图像的已知距离参数。

本实施例通过逐行逐点方式计算每个输入图像块中心点的深度值来得到整个输入编码图像序列的深度值。

在一个实施例中，所述存储控制器子模块对存储器进行固化、读写参考编码图像；所述存储器用于固化已知距离的参考编码图像，并将所述参考编码图像通 过存储控制器子模块读出后提供给块匹配视差计算子模块。

本实施例中所述存储控制器子模块对存储器进行固化、读写参考编码图像，可以是Flash控制器、SDRAM/DDR控制器。

本实施例所述参考编码图像是由激光图形投射器投射固定图形的激光束(红外、可见光、紫外线、不可见光)与激光图形投射器的中心轴(Z轴)相垂直或与激光图形投射器的中心轴成固定的夹角、且已知垂直距离为d_i的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的激光图像，该平面可称之为参考基准平面)上，再由接收摄像头根据温度、湿度等不同采集得到的一组编码图像。一般情况下激光图形投射器与接收摄像头的光轴平行、基线距离为S。参考编码图像经与输入编码图像序列相同的图像预处理后，作为输入编码图像序列进行视差计算的匹配基准图形，可由一幅或多幅相同距离的激光编码图像构成。

在一个实施例中，所述红外接收摄像头和RGB接收摄像头的水平和垂直视角FoV范围相一致，且小于或等于激光图形投射器投射激光编码图形的水平和垂直FoV范围。这样是为了确保红外接收摄像头所采集的编码图形在激光图形投射器的所投射范围内，使深度感知模块能计算出输入编码图像对应深度图的全部内容。

在本实施例中，所述红外接收摄像头和RGB接收摄像头的水平和垂直视角FoV范围相一致且都为0～180度。

在一个实施例中，所述RGB接收摄像头结合深度感知模块对深度图序列进行后续的图像处理包括抠图、3D扫描、人脸识别。

本实施例中所述的抠图、3D扫描、人脸识别技术已经是成熟的图像处理技术，本实施例着重在强调RGB接收摄像头的具体作用，所以对抠图、3D扫描、人脸识别技术不在作解释，只要是适合本发明的现有技术都能使用。

作为示例对抠图处理进行说明，本实施例中的抠图具体过程为：基于深度图像识别出目标物体(拟抠图对象)；按本装置设计所采集的RGB图像内容与深度图像内容有一定的线性映射关系，因此可根据深度图中的目标物体内容抠出对应的目标物体RGB图像内容。图像抠图处理广泛应用于背景去除、提取图像中感兴趣内容等图像操作。在复杂背景或光照较弱的场合，单独依靠RGB摄像头进行抠图操作难以依托软件自动实现。本发明中借助深度图，将有助于RGB图像 的抠图操作。

在一个实施例中，本发明公开了一种基于结构光编码的垂直深度感知装置，所述装置包括激光图形投射器、红外接收摄像头、RGB接收摄像头和深度感知模块。

图1是本发明实施例基于结构光编码的垂直深度感知装置结构的一个示意图。该装置将激光图形投射器与红外接收摄像头、RGB接收摄像头沿着垂直方向进行垂直放置，由激光图形投射器投射出固定图形的编码图像，对投射空间和目标物体进行空间编码；红外接收摄像头连续采集生成输入编码图像序列，RGB接收摄像头采集RGB视频流；深度感知模块对输入编码图像序列结合预先固化的、已知距离的参考编码图像进行块匹配视差计算和深度计算，生成高分辨率、高精度的深度图序列。

激光图形投射器①与红外接收摄像头②、RGB接收摄像头③三者沿垂直直线排列方式，至上而下排列包括①③②、①②③、②①③、②③①、③①②、③②①。

所述激光图形投射器是一种激光编码图形(Pattern)发射装置，所投射的图形可以是固定的，也可以通过编程更改；其发射可与接收摄像头的编码图像采集可进行同步控制；所投射的图形具有一定的水平垂直视角FoV；激光光源可以是可见光、红外、紫外线、X射线，一般采用近红外光源。

所述红外接收摄像头是一种图像传感器，包含光学聚焦成像透镜和滤波装置，用于接收激光图形投射器所投射的、特定波长范围的编码图案。图像传感器的光学焦距f一般是固定的，其光轴与激光图形投射器的光轴平行，两者垂直方向的基线距离为S。其可以位于激光图形投射器的垂直上方或下方。

所述RGB接收摄像头也是一种图像传感器，包含光学聚焦成像透镜，其光学焦距和水平垂直视角一般同红外接收摄像头，其光轴与激光图形投射器、红外接收摄像头的光轴平行，以便于后续的深度图与RGB图之间的图像处理，如抠图操作。其可以位于激光图形投射器和红外接收摄像头之间，或红外接收摄像头的垂直上方、下方。

所述深度感知模块包括图像预处理子模块、块匹配视差计算子模块、深度计算子模块、存储控制器子模块以及存储器，如图2所示，深度感知模块可以采取 硬件实现，也可以基于微处理器进行软件编程实现，其物理载体可以是集成电路块、也可以是微处理器。

其中：所述参考编码图像是由激光图形投射器投射固定图形的激光束(红外、可见光、紫外线、不可见光)与激光图形投射器的中心轴(Z轴)相垂直或与激光图形投射器的中心轴成固定的夹角、且已知垂直距离为d_i的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的激光图像，该平面可称之为参考基准平面)上，再由接收摄像头根据温度、湿度等不同采集得到的一组编码图像。一般情况下激光图形投射器与接收摄像头的光轴平行、基线距离为S。参考编码图像经与输入编码图像序列相同的图像预处理后，作为输入编码图像序列进行视差计算的匹配基准图形，可由一幅或多幅相同距离的激光编码图像构成。

所述图像预处理子模块：对输入编码图像序列或参考编码图像进行输入视频格式转换(如Bayer、ITU601、ITU656、MIPI接口格式转换)、色度空间转换(如RGB转YUV)、灰度图像自适应去噪和增强、灰度图像二值化(0、1表示，1对应散斑点)等。其目的是通过编码图像的预处理，使散斑图形更清晰、减少噪声干扰，并有利于本发明内容的块匹配视差计算。

所述块匹配视差计算子模块：输入编码图像序列与参考编码图像进行块匹配视差计算，即输入编码图像中提取一定大小的输入图像块，在参考编码图像一定大小的匹配搜索窗中搜索按一定的相似度准则搜寻最优匹配块，两者中心点之间的水平或垂直偏移量即为该输入图像块中心点对应的视差，按图像块计算所有像素点的偏移量，最终生成偏移量表示的视差图，用于深度感知计算。

所述深度计算子模块为结合红外接收摄像头焦距f、红外接收摄像头图像传感器点距μ、激光图形投射器与红外接收摄像头的基线距离S、视差图的偏移量参数Δm(Δx或Δy)和参考编码图像的已知距离参数d，根据深度计算公式得到对应的深度值d′：

所述存储子模块用于固化已知距离的参考编码图像，一般为非易失性存储器，如Flash。

由于水平深度感知设备会引起被测物体水平方向的一侧边缘产生空洞问题，如图2所示的空洞问题示意图，激光图形投射器和红外接收摄像头水平放置，红外接收摄像头在投射器的左侧；激光图形投射器在投射过程中，由于被测物体的边缘遮挡，在被测物体的左右边缘处没有所投射的编码图形；在其左侧的红外接收摄像头却可以采集被测物体的左侧边缘区域，如图3中所示的投射阴影区域A，然由于该区域内没有所投射的编码图形存在，导致被红外接收摄像头采集的输入编码图像中该区域是黑色的，最终导致深度感知计算模块无法实现对该区域的深度计算，从而区域A成为深度图中的空洞。如图4所示的深度图中黑色区域即为空洞。

而本发明实现的垂直深度感知装置则解决了以上问题，如图1所示，由于激光图形投射器和红外接收摄像头垂直排列，红外接收摄像头与投射器的视角在水平方向上基本一致，对于被测物体的左右边缘也存在遮挡问题，但该遮挡区域不会被红外接收摄像头所采集，因此在水平方向上不会产生类似图3的投射阴影区域，从而在深度图中被测物体的水平方向不会产生空洞。

本发明实现的垂直深度感知装置，其红外接收摄像头的图像传感器可采取上下逐点垂直扫描方式、也可以采取水平逐点扫描方式：1)采取上下逐点垂直扫描方式，则深度感知模块的块匹配视差计算子模块，可采取水平方向一定大小的参考编码图像搜索窗中搜索最优匹配块，最终生成的深度图需按顺时针或逆时针方向旋转90度进行正确显示；2)采取水平逐点扫描方式，则深度感知模块的块匹配视差计算子模块，可采取垂直方向一定大小的参考编码图像搜索窗中搜索最优匹配块，最终生成的深度图无需旋转。

虽然上述的实施例在特定的图像中完成，然其并非限定本发明，本发明可类似的应用到相似的结构光编码图像或其它图像中；用于固化的参考编码图像可以是1帧或多帧，读取图像时也可以同时读出多帧；用于存储参考编码图像的存储器可以是flash，也可以是其它存储器。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于结构光编码的垂直深度感知装置，其特征在于，所述装置包括：激光图形投射器、红外接收摄像头、RGB接收摄像头和深度感知模块；

所述激光图形投射器、RGB接收摄像头、红外接收摄像头的光轴沿一条直线垂直于水平面放置；所述深度感知模块与红外接收摄像头相连接；

所述激光图形投射器是一种激光编码图形Pattern发射装置，用于投射激光编码图形；

所述红外接收摄像头用于连续采集激光图形投射器所投射的激光编码图形并生成输入编码图像序列；

所述深度感知模块用于对红外接收摄像头生成的输入编码图像序列进行图像预处理，结合预先固化的、已知距离的参考编码图像进行块匹配视差计算和深度计算，生成深度图序列；

所述RGB接收摄像头用于结合深度感知模块对深度图序列进行后续的图像处理；

所述红外接收摄像头的光轴与激光图形投射器的光轴平行，两者沿垂直于水平面方向的基线距离为S，所述基线距离S根据所述深度感知装置的工作范围、深度精度及其他要求进行调节；

所述装置对激光图形投射器的投射与红外接收摄像头的采集进行同步控制；

所述激光图形投射器投射的激光编码图形能够更改，并且所述激光图形投射器投射激光编码图形的水平和垂直视角FOV范围包括0～180度；

所述激光图形投射器的激光光源包括可见光、红外、紫外线、X射线；

所述深度感知模块包括图像预处理子模块、块匹配视差计算子模块、深度计算子模块、存储控制器子模块以及存储器；

所述图像预处理子模块的一端与红外接收摄像头相连接，另一端与块匹配视差计算子模块、深度计算子模块依次连接；所述存储控制器子模块与图像预处理子模块和块匹配视差计算子模块相连接；所述存储器与存储控制器子模块相连接；

所述图像预处理子模块用于对所述输入编码图像序列或参考编码图像进行格式转换、图像自适应去噪、图像增强和图像二值化处理；

所述块匹配视差计算子模块用于对输入编码图像序列与参考编码图像进行块匹配视差计算；

所述块匹配视差计算包括以下步骤：

S1、在输入编码图像序列中选取固定大小的输入图像块；

S2、在参考编码图像的匹配搜索窗中按相似度准则搜寻最优匹配块，所述输入图像块中心点与最优匹配块中心点之间的偏移量即为该输入图像块中心点像素所对应的视差；

S3、重复步骤S2，直到计算了输入编码图像中所有像素点的偏移量，由所有像素点的偏移量生成视差图；

所述深度计算子模块根据下式计算输入编码图像序列中输入图像块的对应深度值：

<mrow> <msup> <mi>d</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>d</mi> <mo>-</mo> <mfrac> <mrow> <msup> <mi>&amp;Delta;m&amp;mu;d</mi> <mn>2</mn> </msup> </mrow> <mrow> <mi>f</mi> <mi>S</mi> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>m</mi> <mi>&amp;mu;</mi> <mi>d</mi> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <mi>f</mi> <mi>S</mi> <mi>d</mi> </mrow> <mrow> <mi>f</mi> <mi>S</mi> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>m</mi> <mi>&amp;mu;</mi> <mi>d</mi> </mrow> </mfrac> </mrow>

其中：f代表红外接收摄像头焦距、μ代表红外接收摄像头图像传感器点距、S代表激光图形投射器与红外接收摄像头的基线距离、△m代表视差图的偏移量，d代表参考编码图像的已知距离参数。

2.根据权利要求1所述的装置，其特征在于：所述存储控制器子模块对存储器进行固化、读写参考编码图像；所述存储器用于固化已知距离的参考编码图像，并将所述参考编码图像通过存储控制器子模块读出后提供给块匹配视差计算子模块。

3.根据权利要求1所述的装置，其特征在于：所述红外接收摄像头和RGB接收摄像头的水平和垂直视角FoV相一致，且小于或等于激光图形投射器投射激光编码图形的水平和垂直视角FoV。

4.根据权利要求1所述的装置，其特征在于：所述RGB接收摄像头结合深度感知模块对深度图序列进行后续的图像处理包括抠图、3D扫描、人脸识别。