CN104813141A

CN104813141A - 图像生成装置

Info

Publication number: CN104813141A
Application number: CN201380060555.9A
Authority: CN
Inventors: 藤田伟雄; 山下孝一; 的场成浩
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-11-21
Filing date: 2013-11-20
Publication date: 2015-07-29
Anticipated expiration: 2033-11-20
Also published as: US9709387B2; DE112013005574T5; DE112013005574B4; JPWO2014080937A1; CN104813141B; JP5808502B2; US20150204657A1; WO2014080937A1

Abstract

从摄像信号(D15)中分离在投射图案光时得到的摄像信号和在不投射图案光时得到的摄像信号(16)，根据投射像成分内的光斑的排列确定各个光斑的投射角度。所投射的图案光包含附带于各个光斑并构成识别码(DC)的多个单元，根据该识别码确定附带有该识别码的光斑在投射图案内的位置。能够以较少的运算量取得到被摄体的距离信息。

Description

图像生成装置

技术领域

本发明涉及图像生成装置，能够与摄像图像对应地取得到位于摄像空间的物体的距离信息。

背景技术

作为以往的车辆周边监视装置公知有如下装置：在照度检测单元检测出规定值以上的照度时，将由摄像单元拍摄到的监视区域的状态显示于显示装置，在照度为规定值以下时，将照射图案光并拍摄反射光再进行数据处理而得到的障碍物信息显示于显示装置(例如，参照专利文献1)。

另外，公知有使用斑点图案进行光学测距的系统。在该系统中，将来自照明组件的一次斑点图案投射在目标区域内，在目标区域内距照明组件的各个不同的距离处抓拍一次斑点图案的多个基准图像，在目标区域内抓拍被投射于物体表面上的一次斑点图案的试验图像，将试验图像与基准图像进行比较，以便识别一次斑点图案与试验图像内的一次斑点图案最紧密匹配的基准图像，根据识别出的基准图像距照明组件的距离估计物体的位置(例如，专利文献2)。

现有技术文献

专利文献

专利文献1：日本特开平6-87377号公报(第2页，权利要求1)

专利文献2：日本特表2009-528514号公报(第0001、0006、0007段)

专利文献3：日本特开2007-17643号公报(第0003、0004段)

发明内容

发明要解决的问题

在上述以往的车辆周边监视装置中，需要根据照度切换动作，存在只能得到摄影图像和距离信息中的任意一个信息的问题。

另外，在上述以往的光学测距系统中，需要在拍摄到的图案与多个基准图案之间基于图案匹配计算相关值，存在运算量大的问题。

本发明正是为了解决上述问题而完成的，其目的在于，即使在明亮的照度环境下也能够取得摄影图像和距离信息双方，以及能够用较少的运算量确定摄像图像中的各个光斑在投射图案内的位置并生成带距离信息的图像。

用于解决问题的手段

本发明的第一方式的图像生成装置具有：

投射部，其将规定波长的图案光投射到摄像空间；

摄像部，其拍摄所述摄像空间；

分离部，其求出通过所述摄像部进行的摄像而得到的摄像信号中的、在投射图案光时得到的摄像信号与在不投射图案光时得到的摄像信号的差分，由此分离图案投射像成分；以及

距离信息生成部，其根据由所述分离部分离出的所述投射像成分生成距离信息，

所述距离信息生成部根据用所述投射像成分表示的投射像内的光斑的排列、以及预先存储的投射图案内的各个光斑的位置与投射角之间的关系，确定所拍摄到的投射图案内的各个光斑的投射角，根据所确定的投射角求出到被投射光斑的被摄体表面的距离，

从所述投射部投射的图案光包含附带于各个光斑并构成识别码的分别为开状态或者关状态的多个单元，

所述距离信息生成部根据所述识别码确定附带有该识别码的光斑在投射图案内的位置，

各个光斑附带的识别码具有：第1部分，其由投射图案内的在第1方向排列的多个单元构成，相对于该光斑配置在投射图案内的第2方向的一侧；第2部分，其由在所述第2方向排列的多个单元构成，相对于该光斑配置在所述第1方向的一侧，

关于所述识别码，在所述第1方向相邻的光斑之间，构成所述识别码的所述第2部分的单元从开状态向关状态转变或者从关状态向开状态转变的变更部位在一处以下，在所述第2方向相邻的光斑之间，所述识别码的所述第1部分彼此相同。

本发明的第二方式的图像生成装置具有：

投射部，其将规定波长的图案光投射到摄像空间；

摄像部，其拍摄所述摄像空间；

所述识别码被设定成在投射图案内的在第1方向相邻的光斑之间，构成该识别码的单元从开状态向关状态转变或者从关状态向开状态转变的变更部位只有一处。

发明效果

根据本发明，即使在明亮的照度环境下也能够取得摄影图像和距离信息双方，能够得到与图像相关联的距离信息。

并且，能够确定摄像图像中的各个光斑在投射图案内的位置，能够用较少的运算量取得到被摄体的距离信息。

附图说明

图1是表示本发明的实施方式1的图像生成装置的框结构图。

图2是立体地示出图1的摄像部11和投射部22的配置的图。

图3是本发明的实施方式1的摄像部和投射部的配置图。

图4是表示图1的投射部22的结构的概略图。

图5是表示图1的分离部16的结构例的框图。

图6的(a)～(d)是表示图5的分离部16的动作的图。

图7是表示图1的图像生成部的结构例的框图。

图8是放大示出投射图案的一部分的图。

图9是表示在投射图案中使用的识别码的示例的表。

图10是表示投射图案中的识别码的配置的示例的图。

图11是表示图1的距离信息生成部的结构例的框图。

图12是表示位于斑区域的上下左右的识别码的图。

图13是表示图1的距离信息生成部进行的处理的步骤的图。

图14的(a)和(b)表示图1的显示处理部的输出图像的示例。

图15是表示相邻的斑区域内附带的识别码的图。

图16是表示在本发明的实施方式2中使用的距离信息生成部的结构例的框图。

图17的(a)和(b)是表示位于不同距离处的被摄体上的光斑和斑区域的尺寸的比率的图。

图18是表示图16的距离信息生成部进行的处理的步骤的图。

图19是表示本发明的实施方式3的图像生成装置的框结构图。

图20是表示图19的光学滤波器13的分光透射特性的一例的图。

图21是表示在本发明的实施方式4中使用的图像生成部的结构例的框图。

图22的(a)～(c)是表示由图21的像素相加部74进行相加的像素的配置的图。

具体实施方式

实施方式1

图1是表示本发明的实施方式1的图像生成装置的结构的框图。图示的图像生成装置具有图像取得部10、图案光生成部20、控制部30。

图像取得部10具有摄像部11，图案光生成部20具有投射部22。

图2与投射部22和摄像部11一起立体地示出摄像空间(摄像对象空间)JS。在图2中，假设在摄像空间JS具有长方体的被摄体OJ1和球体的被摄体OJ2。

如图2所示，摄像部11接受来自摄像空间JS内的被摄体OJ1、OJ2的光进行拍摄。

本发明的图像生成装置根据通过拍摄而得到的信息，求出到拍摄到的被摄体OJ1、OJ2的各部分的距离，得到图像信息和与图像的各部分有关的距离信息。

投射部22朝向图2所示的摄像空间JS投射使其产生投射图案的图案光。在图2所示的例子中，投射图案形成呈矩阵状即沿横向(行方向)和纵向(列方向)整齐排列的光斑。在本申请中，只要没有与此不同的特殊说明，与投射图案有关的“方向”就是指在图案光被投射于与光轴垂直的假想平面时形成的投射图案的方向。这对于以下说明中的投射图案内的“排列”、“位置”也是同样的。

图3是从上方观察摄像部11和投射部22、以及在摄像空间内的被摄体OJ1、OJ2上的任意点形成的一个光斑SP的图。摄像部11和投射部22在图示的例子中沿水平方向离开距离Lpc而配置。即，摄像部11和投射部22被配置在水平方向的不同位置，在垂直方向(上下方向)被配置在相同位置。将连接摄像部11和投射部22的直线称作基线BL，将距离Lpc称作基线长度。

上述投射图案中的横向对应于基线BL的方向即水平方向，纵向对应于与水平方向垂直的方向。

假设利用从投射部22投射的光，在摄像空间JS中的被摄体OJ1、OJ2之一形成光斑SP，由摄像部11接受来自该光斑SP的光。在这种情况下，如果知道从投射部22向光斑SP的投射角φ、从光斑SP向摄像部11的入射角θ以及基线长度Lpc，则根据三角测量的原理，能够通过计算求出从基线BL到被摄体OJ1、OJ2上的光斑SP的距离Z。

在此，如图3所示，投射角φ是在包含基线BL和光斑SP的平面内，垂直于基线BL的线与连接投射部22和光斑SP的线形成的夹角。

另一方面，如图3所示，入射角θ是在包含基线BL和光斑SP的平面内，垂直于基线BL的线与连接摄像部11和光斑SP的线形成的夹角。

能够根据光斑SP的像形成于摄像部11的摄像面的哪个位置以及摄像元件的轴线的方向和视场角求出摄像部11的入射角θ。

从投射部22起的投射角φ是根据投射部22的结构而预先设定的，因此是已知的。

从投射部22分别以不同的投射角投射多个光斑，在用摄像部11拍摄这些光斑的情况下，如果各个投射角是已知的，则根据摄像面上的光斑在图像上的位置的相互关系，估计各个光斑的投射角。

在这种情况下，

在满足“投射部22上的各个光斑的投射角的大小关系(例如从小到大排列时的顺序)和摄像部11上的各个光斑的入射角的大小关系(从小到大排列时的顺序)相同”这样的条件(a)，且知道满足条件(a)的情况下，根据该情况可知由摄像部11拍摄到的光斑各自的投射角。

在不满足上述条件(a)的情况下、或者是否满足条件(a)不明确的情况下，需要根据与预先对位于规定距离处的被摄体求出的投射图案的摄像图像(基准图案)之间的图案匹配，通过估计等求出摄像图像中的光斑各自的投射角。但是，这种处理的运算量极大。

本发明即使在不满足上述条件(a)的情况下、或者是否满足条件(a)不明确的情况下，也能够以较少的运算量准确估计由摄像部11拍摄到的光斑各自的投射角。

另外，在垂直于基线BL的面内以不同的角度投射的光斑在垂直方向的角度的大小关系，一定满足上述条件(a)，因而不需要考虑顺序的“转变”。

下面，进一步说明如上所述基线BL沿水平方向延伸，图案光的光斑沿水平方向和垂直方向排列的情况。

如图1所示，图案光生成部20除投射部22外还具有驱动部21，投射部22如图1、图3和图4所示，具有激光光源23、准直透镜24、孔径25和衍射光栅26。

驱动部21由控制部30控制，使激光光源23发光，从激光光源23射出的激光被准直透镜24变成平行光，通过孔径25成为规定的光束直径。

衍射光栅26将用于生成规定的投射图案的图案光投射于摄像空间JS。

摄像部11如图1所示具有镜头12和摄像元件14，图像取得部10除摄像部11外，还具有A/D转换部15、分离部16、图像生成部17、距离信息生成部18、显示处理部19。

镜头12使被摄体像在摄像元件14的摄像面上聚焦。

摄像元件14输出对入射像进行光电转换后的摄像信号。摄像元件14例如是将R、G、B的像素拜耳排列而成的，输出R、G、B的信号作为摄像信号。

由镜头12和摄像元件14构成的摄像部11拍摄摄像空间JS的被摄体OJ1、OJ2。该拍摄是以规定的帧频进行的，通过拍摄能够得到多个连续帧的图像。

在图案光被投射于被摄体OJ1、OJ2时，从摄像部11输出在来自被摄体OJ1、OJ2的本来的光(背景成分)中叠加有基于所投射的图案光的光斑的图像(投射像成分)的图像(表示该图像的信号)。

A/D转换部15将摄像部11的输出转换成例如8比特(256灰度)的数字信号D15。

分离部16接受A/D转换部15的输出即被A/D转换后的摄像信号D15，将投射像成分和背景成分分离。图像生成部17根据从分离部16输出的背景成分生成背景图像。距离信息生成部18根据从分离部16输出的投射像成分生成距离信息。

显示处理部19将距离信息生成部18生成的距离信息与图像生成部17生成的背景图像关联起来进行显示。将从显示处理部19输出的与距离信息相关联的图像(表示该图像的信号)输出到显示装置(未图示)等。

控制部30控制图案光生成部20和图像取得部10。

控制部30例如对摄像部11的摄像元件14控制摄像模式和帧速、曝光时间等，对显示处理部19进行显示模式、距离信息的显示模式等的设定。控制部30还向A/D转换部15供给用于控制动作定时的信号。控制部30还对图案光生成部20和图像取得部10进行动作模式的设定。

控制部30还保持从投射部22投射的投射图案中包含的光斑各自附带的识别码(后述)、附带该识别码的光斑的信息Sdp和信息Spa、表示摄像部11的轴线方向及视场角的信息Szv以及表示基线长度Lpc的信息，并提供给距离信息生成部18，信息Sdp表示光斑在投射图案内的位置的关系，信息Spa表示光斑在投射图案上的位置与投射角的对应关系。

控制部30还进行用于使图案光生成部20的动作和图像取得部10的动作同步的控制。

更具体地讲，控制部30对摄像部11进行控制使得以预先设定的帧频反复拍摄，并且，控制驱动部21使得激光光源23间隔一帧地处于发光状态、不发光状态，还向分离部16提供表示激光光源23处于发光状态还是不发光状态的信号Snf。

摄像部11的帧频例如是30fps，按照帧周期从摄像部11输出1帧图像(表示1帧图像的信号)D11。

各帧的拍摄定时由控制部30控制。

投射部22的激光光源23间隔一帧交替地处于发光状态、不发光状态，因而投射部22间隔一帧交替地转变向摄像空间JS投射图案光的状态和不投射图案光的状态，摄像部11能够间隔一帧交替地得到投射图案光时的图像和不投射图案光时的图像。

分离部16根据投射图案光时的图像和不投射图案光时的图像，生成基于图案光的图像(投射像成分)和除图案光成分外的图像(背景成分)。即，将在不投射图案光的帧期间得到的图像作为背景成分进行输出，将从在前后2个帧期间中的投射图案光的帧期间得到的图像减去在不投射图案光的帧期间得到的图像而得到的图像，作为投射像成分进行输出。

图5是表示分离部16的结构例的框图。

在图5中，将A/D转换部15的输出(数字摄像信号)D15提供给输入端子60。

帧延迟部61使提供给输入端子60的数字摄像信号D15延迟1帧期间而输出帧延迟摄像信号D61。

差分运算部62求出摄像信号D15与帧延迟摄像信号D61的差分(从投射图案光的帧的摄像信号减去不投射图案光的帧的摄像而得到的差分)并输出差分信号D62。

开关63在将与投射部22不投射图案光的帧有关的摄像信号D15提供给输入端子60的定时闭合，将该信号作为背景成分D63通过输出端子65提供给图像生成部17。

图6的(a)～(d)表示分离部16的动作的一例。在图示的例子中，如图6的(a)所示，假设在第1帧PS1和第3帧PS3不投射图案光，在第2帧PS2和第4帧PS4投射图案光。其结果是，在各帧期间能够得到图6的(b)所示的摄像图像。

在第1帧PS1，开关63闭合，将此时的摄像信号D15(第1帧的摄像信号D15，即通过对不投射图案光的状态下的摄像部输出D11进行数字转换而得到的信号D15)作为背景成分D63，从输出端子65提供给图像生成部17(图6的(d))。与此同时，将摄像信号D15输入到帧延迟部61。

在第2帧PS2，差分运算部62从此时的摄像信号D15(第2帧的摄像信号D15，即通过对投射图案光的状态下的摄像部输出D11进行数字转换而得到的信号D15)减去延迟部61的输出D61(第1帧PS1的摄像信号)，并输出相减结果(差分)D62(图6的(c)。

在第3帧PS3，与第1帧PS1相同，开关63闭合，将此时的摄像信号D15作为背景成分D63，从输出端子65提供给图像生成部17。与此同时，将摄像信号D15输入到帧延迟部61。

在第4帧PS4，与第2帧PS2相同，差分运算部62从此时的摄像信号D15减去帧延迟部61的输出D61，并输出相减结果(差分)D62。

以后反复同样的处理，间隔一帧期间输出仅有背景成分的图像和仅有投射像成分的图像。

另外，摄像元件14的输出例如是将R像素值、G像素值、B像素值拜耳排列而成的摄像信号，A/D转换部15的输出也是与其对应的数字信号，在图6的(a)～(d)中，为了便于说明而示出通过插值得到全部像素的像素值的图像。

另外，上述分离部16的帧延迟部61、差分运算部62以及开关64进行的分离处理是对各个R、G、B单独进行的，对分离后得到的投射像的R、G、B成分进行插值(对于各像素因拜耳排列而缺失的颜色成分的插值)，生成全部像素的全部颜色成分(R、G、B成分)，将各个像素的R、G、B成分合成，由此生成该像素的亮度成分，将该亮度成分作为投射像成分进行输出。

图像生成部17例如如图7所示包含视频信号处理部72，对由从分离部16输出的背景成分构成的图像进行颜色插值处理(在各像素位置因拜耳排列而缺失的颜色成分的插值)、灰度校正处理、降噪处理、轮廓校正处理、白平衡调整处理、信号振幅调整处理、颜色校正处理等，将这些处理后得到的图像作为背景图像进行输出。

距离信息生成部18根据从分离部16输出的投射像成分和从控制部13另外供给的与投射图案有关的信息，生成表示从摄像部11到投射像的各部分之间的距离的信息。为了由距离信息生成部18生成距离信息，使用除光斑外还包含识别码的投射图案。因此，在说明距离信息生成部18的动作之前，说明在本实施方式中使用的投射图案。

如上所述，由投射部22投射的投射像(投射图案)包含如图2所示排列成矩阵状的光斑，附带于光斑而在各个光斑的附近具有作为识别码发挥作用的点组。

图8是放大示出投射图案的一部分的图。下面，为了简化说明，假定投射图案被投射于与投射部22的光轴垂直的平面上的情况进行说明。

最小的网格被称作点位置或者单元，是在投射图案中能够控制开(ON：被照射光的状态)或者关(OFF：未被照射光的状态)的最小单位。例如，在投射范围内形成纵向480行、横向650列的单元。由被照射光的状态的单元构成点。

各个光斑MK形成为占据由纵向2行、横向2列的开状态的单元构成的区域。将光斑也称作位置确认用标记或者简称作标记。有时也将光斑和点统称作投射点。

2行2列的区域的周围的上下各1行、左右各1列是由关状态的单元(未被照射光的单元)构成的区域，将包含该区域和2行2列的区域在内的4行4列的区域称作斑区域MA。

与4行4列的斑区域MA的下侧相邻的1行单元(在下侧与斑区域MA相邻的相互整齐排列的4个点位置的组)是构成识别码的第1部分DCa的区域，与斑区域MA的右侧相邻的1列单元(在右侧与斑区域MA相邻的相互整齐排列的4个点位置的组)是构成识别码的第2部分DCb的区域。第1部分DCa的4个单元分别用符号c1～c4表示，第2部分DCb的4个单元分别用符号c5～c8表示。

第1部分DCa和第2部分DCb的各个单元能够取开状态(被照射的状态)和关状态(未被照射的状态)中的任意一种状态，通过该开、关的组合构成8比特的识别码DC。附带于各个光斑MK的识别码DC用于识别该光斑MK。

与第1部分DCa的右侧相邻的单元即与第2部分DCb的下侧相邻的单元cbr是关状态的单元。

投射图案整体是反复出现由在上述4行4列的斑区域MA中追加有识别码DC和单元cbr的5行5列的单元构成的区域MB而构成的。

光斑MK用于确定投射图案的各部分的位置，由2行2列的点构成，因而在摄像部11中面积较大，因此，看起来是亮度较高的部分。

附带于各个光斑MK的识别码DC用于判定该光斑MK是投射图案中包含的多个光斑中的哪个光斑。

图9示出在投射图案中使用的识别码的示例。在图示的例子中，采用从No.0到No.55的56个彼此不同的“值”即不同的开、关的组合的识别码。各个编号(No.)的识别码的c1～c8的单元的值(开或者关)用“1”、“0”表示。

图10表示投射图案中的识别码的配置的示例(由包含各个识别码的5行5列的单元构成的区域的配置的示例)。图10中的各个网格与由5行5列的单元构成的区域MB相当。各个网格内的数字表示图9的识别码的编号(No.)。

在图10所示的例子中，在垂直方向上排列相同的识别码，在水平方向上从左向右按照No.0～No.55的顺序排列识别码，在No.55之后(右侧)再次配置No.0，以后反复同样的配置(周期性的配置)。

另外，以使No.28位于投射图案的中心的方式进行配置。

在如图10所示排列图8和图9的识别码时，开状态和关状态的单元的排列(开状态的单元的排列和关状态的单元的排列)以投射图案的中心(位于投射图案的垂直方向的中点且包含No.28的识别码的区域MB内的光斑MK的中心)为中心而点对称。

另外，在水平方向相邻的光斑附带的识别码之间，开状态/关状态的变更部位(从开状态向关状态转变的部位或者从关状态向开状态转变的部位)一定只有一处。

在使用衍射光栅生成投射图案的情况下，与投射不对称的图案时相比，投射关于投射图案的中心呈点对称的图案(相对于中心旋转180度后的图案与原来的图案一致的图案)能够简化衍射光栅的形状，能够降低衍射光栅的设计及制造时的成本。

考虑到这一点，在本实施方式中，以使投射图案成为关于中心呈点对称的形状的图案的方式决定识别码的排列。

另外，在各识别码中，使成为开的单元的数量在4个以下。这是为了防止识别码看起来是与光斑相同的明亮度，容易进行光斑的判别，并且减少成为开的单元的数量，提高成为开的单元的亮度，容易进行摄影时的图案检测。

在使用衍射光栅生成投射图案的情况下，如果光源的投射光强度相同，则投射点数量越少，每一点的亮度越高，因而即使在环境光的强度较强的情况下，也容易在摄影图像上识别投射图案位置。基于这种观点，期望构成各识别码的单元中成为开的单元的数量更少。另一方面，需要将4个单元为开的组合用作识别码，以便使投射图案具有点对称性，而且实现图案之间的判别所需要的56个识别码数量。

将图案光投射到不与投射部22的光轴垂直的平面时形成的投射图案呈矩形以外的四边形，光斑的行、列也相互不平行，光斑之间的距离也不一样。在将图案光投射到曲面上时形成的投射图案中，光斑的行、列也不是直线状的。在被投射图案光的面具有凹凸、阶梯等时，各个光斑的投射角的大小关系(例如从小到大排列时的顺序)与各个光斑的入射角的大小关系(例如从小到大排列时的顺序)不一致，有时产生“转变”。

为了得知从投射部22投射各个光斑时的投射角，需要识别是矩阵的第几列的光斑。8比特的识别码不包含用其自身即可确定第几列的信息量，例如即使是光斑之间存在转变时，只要各个光斑相对于本来位置(顺序)的偏移在识别码的“值”的变化周期(在图10所示的例子中，是指由5行5列的单元构成的56个区域MB)的范围内，就能够确定没有偏移时的位置(本来位置)，通过确定本来位置，能够识别附加有该识别码的光斑是第几列。

另外，上述“转变”是由于摄像部11和投射部22被配置在水平方向的不同位置而产生的，摄像部11和投射部22在上下方向上被配置于相同位置，因而在上下方向上不会产生如上所述的转变，因此，通过检测摄像图像中的顺序，能够判断投射图案中的上下方向的位置(顺序)。因此，不需要用于识别上下方向的顺序的代码。

图11表示距离信息生成部18的结构例。

图11所示的距离信息生成部18具有二值化部81、斑区域提取部82、识别码读取部83、存储部84、有效性确认部85、投射角估计部86、入射角计算部87、距离计算部88。

二值化部81将从分离部16输出的投射像成分二值化，输出二值化的投射像图像。

斑区域提取部82从投射像中提取以各个光斑为中心的斑区域MA(图8的4行4列的区域)。

为了提取斑区域MA，以固定的间隔搜索中心部为2行2列的4个点(由开状态的单元构成)和由其周围(上下各1行、左右各1列)的关状态的单元构成的4行4列的单元的组。另外，中心部的2行2列的4个点的组在投射图案中有规律地以相等间隔配置，因而在通过拍摄而得到的图像中具有相同特性成为条件。但是，由于被摄体的表面的弯曲、凹凸、阶梯等，在摄像图像中不一定完全成为相等间隔，因而进行基于相似度的图案匹配等来进行斑区域MA的提取。

识别码读取部83从与提取出的斑区域MA相邻的识别码区域读取识别码DC。

此时，对于各个斑区域MA，不仅读取与下侧相邻的第1部分DCa、与右侧相邻的第2部分DCb，而且读取与上侧相邻的部分(与上侧相邻的斑区域内的光斑用的识别码的第1部分(用符号DCa’表示))、和与左侧相邻的部分(与左侧相邻的斑区域内的光斑用的识别码的第2部分(用符号DCb’表示))。将读取到的识别码的值存储到存储部84。

在识别码读取部83读取与各个斑区域MA相邻的识别码时，在与上侧相邻的识别码部分(DCa’)、与左侧相邻的识别码部分(DCb’)在此之前已被读取且已存储在存储部84的情况下，也可以从存储部84读出这些识别码部分的值。在从左上开始依次对拍摄到的投射像进行处理的情况下，在对各个斑区域进行处理的时刻，对与上侧、左侧相邻的斑区域的处理已结束，因而能够利用如上所述存储于存储部84的识别码。

有效性确认部85检查由识别码读取部83读取到的识别码的有效性。在检查的结果是有效性存在疑问的情况下(没有可靠性的情况下)，在以后的处理中不使用读取到的识别码。

在判定有效性时，如图12所示，对于各个斑区域MA，使用与下侧相邻的第1识别码部分DCa、与右侧相邻的第2识别码部分DCb、与上侧相邻的识别码部分DCa’、与左侧相邻的识别码部分DCb’。

在图12中，与图8相同，用c1～c4表示构成识别码部分DCa的4个单元的状态(4比特)，用符号c5～c8表示构成识别码部分DCb的4比特。

另外，用c1’～c4’表示构成识别码部分DCa’的4个单元的状态(4比特)，用符号c5’～c8’表示构成识别码部分DCb’的4比特。

c1’～c4’是排列在上方的光斑MK附带的，因而应该是与c1～c4相同的值。

另一方面，c5’～c8’是排列在左方的光斑MK附带的，因而根据上述的条件“在相邻的识别码之间开状态/关状态的变更部位一定只有一处”，c5’～c8’应该与c5～c8相同，或者相差1比特。

因此，如果满足条件(b)“c1～c4与c1’～c4’相同且c5～c8与c5’～c8’相同或者相差1比特”，则判断为得到的识别码c1～c8有效，如果不满足上述条件(b)，则判断为得到的识别码c1～c8无效(可靠性较低)。

上述条件(b)也能够改写成(b1)“在左右方向相邻的光斑之间，识别码的第2部分c5～c8、c5’～c8’之间不同的部位(变更部位)为一处以下，在上下方向相邻的光斑之间，识别码的第1部分c1～c4、c1’～c4’彼此相同”，还能够改写成(b2)“在对于各个光斑与其右侧相邻的识别码部分c5～c8和与左侧相邻的识别码部分c5’～c8’之间不同的部位(变更部位)为一处以下，与下侧相邻的识别码部分c1～c4和与上侧相邻的识别码部分c1’～c4’相同”。

以上是以事前判断为比特c1’～c8’有效为前提的。

也可以是，在没有判断为比特c1’～c8’有效的状态下，保留c1～c8和c1’～c8’中的任意一个无效的判断，还利用与其它识别码的比较结果进行综合判定。

投射角估计部86从识别码读取部83接收识别码的读取结果，从有效性确认部85接收有效性的判定结果D85，还从控制部30得到表示图9的表的内容的数据(表示各个识别码与投射图案内的位置的关系的信息)Sdp、以及表示投射图案上的位置与投射角的对应关系的信息Spa，根据它们估计各个光斑的投射角φ。另外，如果从控制部30提供上述的信息，即表示图9的表的内容的数据Sdp和表示投射图案上的位置与投射角的对应关系的信息Spa，则也可以保持在投射角估计部86内的存储器(未图示)中。

对于识别码读取部83的读取结果，在有效性确认部85判断为无效的情况下，投射角估计部86不根据该读取结果估计投射角。

对于识别码读取部83的读取结果，在有效性确认部85判断为有效的情况下，投射角估计部86根据该读取结果估计投射角。

在估计投射角时，判定读取到的识别码DC的值是否与图9的表中的识别码No.0～No.55中的哪个一致(即，判定是图案内的哪个位置的光斑附带的识别码)，根据判定结果确定该光斑是投射图案的哪个位置的光斑。

如果识别码不存在于图9的表中(与图案内的光斑附带的识别码均不一致时)，则设为读取错误，不用于进行光斑的位置判定。

在确定光斑在投射图案上的位置后，根据表示所确定的位置与投射角的关系的信息Spa(由控制部30提供)求出投射角φ。

入射角计算部87基于斑区域提取部82的输出，根据光斑被拍摄在摄像面内的哪个位置以及摄像部的轴线方向和视场角，计算与该光斑有关的入射角θ。表示轴线方向和视场角的信息Szv是由控制部30提供的。

距离计算部88根据由投射角估计部86估计出的投射角φ、由入射角计算部87计算出的入射角θ和由控制部30提供的基线长度Lpc，计算到被投射光斑的被摄体表面的距离。

首先，能够根据式(1)的关系求出从图3的轴线BL到被投射光斑的被摄体表面(形成有光斑SP的点)即图3中光斑SP的位置的距离Z。

Z＝Lpc/(tanφ-tanθ) (1)

在图3中存在式(2)的关系，因而能够得到式(1)。

Z·tanφ-Z·tanθ＝Lpc (2)

然后，能够根据由式(2)得到的到基线BL的距离Z和入射角θ，通过式(3)求出从摄像部到形成有光斑的被摄体表面(光斑SP)的距离R。

R＝Z/cosθ (3)

图13表示上述的距离信息生成部18的处理步骤。

首先，将二值化的投射像图案二值化(ST101)，

然后，从二值化的投射像图案中提取斑区域MA(ST102)。

然后，从与各个斑区域MA相邻的识别码区域中读取识别码DC、DCa’、DCb’(ST103)。

然后，判定识别码的有效性(ST104)。

如果识别码有效，则进行投射角φ的估计(ST105)。

然后，进行入射角θ的计算(ST106)。

然后，使用投射角φ和入射角θ进行距离的计算(ST107)。

判定是否对拍摄到的投射像中的全部斑区域MA进行了步骤ST103～ST107(ST108)，在对全部斑区域进行了处理时结束。

另外，如果在步骤ST104中是无效的(否)，则进入步骤ST108。

通过以上的处理，能够求出到被投射各个光斑的被摄体表面(光斑SP)的距离。

在这种情况下，即使入射到摄像部的入射角的顺序变成投射部的投射角的顺序(即使产生转变)，也能够利用识别码求出摄像图像中的光斑在投射图案内的位置，因此能够准确且以较少的运算量进行投射图案内的位置的确定、投射角的估计、距离的计算。

显示处理部19将距离信息与所述背景图像关联起来进行显示。

图14的(a)和(b)表示显示处理部19的输出图像的示例。

图14的(a)表示背景图像，图14的(b)表示带距离信息的图像。

作为带距离信息的图像，示出对距离分配亮度或者颜色而成的图像。例如，显示用亮度表现背景图像、用颜色表现距离的图像。或者，识别位于摄像空间内的物体，输出将表示该物体的距离的文字信息叠加显示于背景图像的图像。

另外，例如也可以使用2个显示画面，在一个画面显示图14的(a)的背景图像，在另一个画面显示图14的(b)所示的带距离信息的图像，也可以在一个显示画面交替地显示图14的(a)所示的背景图像和图14的(b)所示的带距离信息的图像，还可以显示根据用户的操作而选择出的图像。在这种情况下，期望以与背景图像相同的视场角、像素数同步地显示带距离信息的图像。

如上所述，根据本实施方式，能够以较少的运算量求出距离。

另外，在使用衍射光栅投射图案时，通过设为点对称的图案，能够容易进行衍射光栅的设计，实现成本降低。

另外，通过将在各个识别码DC内成为开的单元的数量限定为最大4个，能够容易识别光斑，并且减少点(由开状态的单元构成)的数量，提高点的亮度，容易进行摄像机摄影时的图案检测。

在上述实施方式中，如果满足上述条件(b)，则判断为得到的识别码c1～c8有效，如果不满足上述条件(b)，则判断为得到的识别码c1～c8无效(可靠性较低)。也能够使用条件(c)“在水平方向相邻的光斑的识别码之间的变更部位(从开状态转变到关状态或者从关状态转变到开状态的部位)一定只有一处”来取代，在相邻的光斑之间比较识别码，判定识别码的读取结果的有效性。

例如，如图15所示，也可以是，将由各个光斑MK的下侧和右侧的单元c1～c8构成的识别码、与由其左邻的光斑MK’的下侧和右侧的单元c1～c8构成的识别码进行比较，如果满足条件(c1)“由各个光斑的下侧和右侧的单元c1～c8构成的识别码，与由其左邻的光斑的下侧和右侧的单元c1～c8构成的识别码相差1比特”，则判断为得到的识别码c1～c8有效，如果不满足上述条件(c1)，则判断为得到的识别码c1～c8无效(可靠性较低)。

在上述的例子中，采用了包含由在下侧与斑区域相邻且沿水平方向排列的单元构成的第1部分DCa、和由在右侧与斑区域相邻且沿垂直方向排列的单元构成的第2部分DCb的识别码DC，但是，也可以仅是第1部分和第2部分中的一方。第1部分也可以在上侧与斑区域相邻，第2部分也可以在左侧与斑区域相邻。另外，也可以仅包含如第1部分那样由沿水平方向排列的单元构成的部分、和如第2部分那样由沿垂直方向排列的单元构成的部分中的一方。

在上述的实施方式1中，沿水平方向排列配置摄像部11和投射部22，采用了能够与位于水平方向的不同位置的其它光斑区别的识别码，但是，也可以是，沿垂直方向排列配置摄像部11和投射部22，采用能够与位于垂直方向的不同位置的其它光斑区别的识别码。

总之，只要采用能够在排列摄像部11和投射部22的方向(设置有摄像部11和投射部22的空间内的第1方向)上与位于不同位置的其它光斑区别的识别码即可。

这样，在将与排列摄像部11和投射部22的方向对应的投射图案内的方向称作第1方向，将与该第1方向垂直的方向称作第2方向的情况下，如果参照上述图12将上述条件(b1)、(b2)一般化而言，则分别是

(d1)“在第1方向相邻的光斑之间，识别码的第2部分(c5～c8、c5’～c8’)之间的不同部位(变更部位)为一处以下，在第2方向相邻的光斑之间，识别码的第1部分(c1～c4、c1’～c4’)彼此相同”，

(d2)“对于各个光斑，在其第1方向的一侧相邻的识别码部分(c5～c8)与在所述第1方向的另一侧相邻的识别码部分(c5’～c8’)之间不同的部位(变更部位)为一处以下，在第2方向的一侧相邻的识别码部分(c1～c4)和在所述第2方向的另一侧相邻的识别码部分(c1’～c4’)相同”，

在参照上述图15将上述条件(c)一般化而言，则是(e)“在第1方向彼此相邻的光斑之间，它们的识别码的变更部位只有一处”，

无论任何情况下，都根据是否满足这些条件来判断识别码的读取结果是否有效。

另外，也可以根据是否同时满足上述条件(d)和条件(e)，判断识别码的读取结果是否有效。

实施方式2

本发明的实施方式2的结构与实施方式1相同，如图1所示。但是，采用图16所示的距离信息生成部18。

图16的距离信息生成部18大致与图11所示的相同，不同之处在于附加有距离范围计算部89。

距离范围计算部89根据摄像图像中的斑区域MA的尺寸、与斑区域内形成光斑的点的尺寸(通过拍摄而得到的图像中各单元内的亮度较高的部分的尺寸)的比率，估计到被投射光斑的被摄体表面的距离的范围。

在根据投射角计算出的距离不在由距离范围计算部89计算出的距离范围内时，距离计算部88将基于投射角的距离计算结果判断为可靠性较低。

下面，参照图17的(a)和(b)说明距离范围计算部89对距离范围的计算方法。

图17的(a)和(b)示出基于被摄体距离的斑区域MA与构成光斑MK的点DT的尺寸比率。

在使用激光光源与衍射光栅的组合来投射投射图案的情况下，构成图案的点形成通过准直透镜平行化后的一个激光斑，因而点自身的尺寸不会因被摄体的距离而变化。另一方面，图案整体的尺寸是根据衍射后的点之间的相互距离确定的。形成不同点的衍射光彼此不平行地从投射部22被投射成放射状，因而随着到被摄体的距离变远，点之间的距离扩大。因此，投射图案的尺寸按照被摄体的距离而变化，因此，斑区域MA的尺寸与点DT的尺寸的比率变化，通过计测比率来求出被摄体可取的距离范围。

为了检测各个点的尺寸与斑区域MA的尺寸的比率的变化，需要充分增大摄像元件的分辨率(像素的数量)。具体而言，需要使摄像元件的水平方向和垂直方向的像素的水平方向的数量和垂直方向的数量相对于投射图案内的点位置(单元)的水平方向的数量和垂直方向的数量都足够多，例如期望约10倍以上。

实施方式2的距离信息生成部18的处理步骤如图18所示。

图18的处理与图13的处理相同，但是，附加有步骤ST111～ST114。

在步骤ST111中，根据点的尺寸与斑区域MA的尺寸之比，估计到形成有点的被摄体表面的距离范围。

在步骤ST112中，判定在步骤ST107中求出的距离是否在步骤ST111求出的距离范围内。如果在距离范围内(是)，则判定为在步骤ST107中求出的距离有效(ST113)，进行基于判定结果的处理，然后进入步骤ST108，如果不在距离范围内(否)，则判定为在步骤ST107中求出的距离无效(ST114)，进行基于判定结果的处理，然后进入步骤ST107。

上述以外的方面，实施方式2与实施方式1相同。

如上所述，通过根据斑区域MA的尺寸与构成光斑的点DT的尺寸的比率圈定被摄体可取的距离范围，能够减少光斑的误检测，提高被摄体距离的检测精度。

另外，实施方式1中记载的变形例也能够适用于实施方式2。

实施方式3

图19是表示本发明的实施方式3的图像生成装置的结构的框图。

图示的图像生成装置大致与图1所示的相同，不同之处在于，摄像部11具有光学滤波器13。

光学滤波器13是分光透射滤波器，按照规定的波长特性使入射光透射。具体而言，具有可见光波段的透射率比所投射的图案光的波长的透射率低的特性。

下面，说明使用光学滤波器13的意义。

光学滤波器13的分光透射特性的一例如图20所示。在图20所示的特性的情况下，在以所投射的图案光的波长即激光光源23的发光波长830nm为中心的波段中100％透射，在可见光波段中仅以规定的透射率透射，在除此以外的波段中不透射。

可见光波段的规定的透射率是根据摄像空间JS的环境光的分光分布和明亮度、由投射部22投射的投射图案尤其是各点的光的强度设定的。

在不设置光学滤波器13的情况下，在从摄像元件14输出的摄像信号D11中，以可见光波段为中心并以较大的功率分布的环境光成分占主流，仅为以830nm为中心的波段的图案光成分的比率微小，因而难以提取图案光成分。

因此，在本实施方式中设置光学滤波器13，使图案光成分100％透射进行摄像，使环境光成分衰减进行摄像，由此，容易从摄像信号中分离或者提取投射像成分。

如果从摄像元件14输出的摄像信号D11中的、投射像成分与背景成分例如是1：64的比率，则通过对摄像信号D11进行A/D转换而得到的8bit的摄像信号D15的256灰度中的约4灰度表示投射像成分。

如果投射像成分和背景成分的合计与背景成分之差在1灰度以上，则能够从原理上进行分离，但是考虑到噪声的影响，具备余量地设定成使上述之差具有规定的灰度数以上的值。即，上述的灰度数是对没有噪声时所需要的最低限度的1灰度加上预想到的噪声成分的灰度数而得到的灰度数。

光学滤波器13的可见光波段的透射率，例如被设定成使投射像成分与背景成分达到例如1：64的比率。

投射图案的各点的光的强度是根据激光光源23的发光功率和所形成的点的数量决定的。另一方面，环境光能够根据环境光的光源的分光放射特性来决定每种波长的照度，根据该分光放射特性计算光量。

在实施方式3中，以激光光源23的发光波长为830nm的情况为例进行了说明，根据环境光的光源的分光放射特性，也可以采用将放射亮度较弱的波长作为发光波长的激光光源。

在本实施方式3中，摄像元件具有分光透射特性的光学滤波器，因而能够将占主导的环境光成分的影响抑制到最小限度来提取图案光成分，即使在高照度环境下也能够测距，能够得到与图像相关联的距离信息。并且，由于用一个摄像元件取得背景图像和距离信息，因而基于环境光的背景图像和具有距离信息的图像的视场角完全一致，能够准确掌握作为图像而摄入的被摄体的距离。

另外，采用了在可见光波段和投射图案光的波长具有透射特性，将可见光波段的透射率设定得比投射图案光的波长的透射率低的光学滤波器13，因而能够减少摄像元件14的输出中妨碍图案光成分的提取的可见光波段的环境光成分，能够高精度地提取图案光成分，在明亮的环境下也能够测距，能够得到与图像相关联的距离信息。

在上述实施方式1、2、3中，作为摄像元件14采用了将RGB像素拜耳排列而成的摄像元件，但是，单色的摄像元件也能够与上述同样地进行动作而得到相同的效果。

实施方式4

本发明的实施方式4的结构与实施方式3同样如图19所示。但是，图像生成部17采用图21所示的结构。

图21所示的图像生成部17除与图7所示相同的视频信号处理部72外，还具有像素相加部74。

在图21中，对输入端子71施加不包含从分离部16输出的投射像成分的摄像信号(表示背景成分的信号)。

像素相加部74对将从分离部16的输出端子65输出的R像素、G像素、B像素拜耳排列的R、G、B像素各自(关注像素)的像素值，加上位于该像素周边的相同颜色的像素的像素值，由此输出具有增倍后的像素值的信号。

图22的(a)～(c)表示与关注像素相加的像素。在图22的(a)～(c)中，最小的网格分别表示像素。

在关注像素如图22的(a)所示是R像素RR34的情况下，将作为周边像素的如下8个像素相加：2行上2列左的像素RR12、2行上同列的像素RR32、2行上2列右的像素RR52、同行2列左的像素RR14、同行2列右的像素RR54、2行下2列左的像素RR16、2行下同列的像素RR36、2行下2列右的像素RR56。

因此，相加结果NRR34用下式表示。

NRR34＝RR12+RR32+RR52

+RR14+RR34+RR54

+RR16+RR36+RR56

以上说明了关注像素是RR34的情况，对于其它位置的R像素，将同样配置的周边像素相加。

在关注像素如图22的(b)所示是G像素GB33的情况下，将作为周边像素的如下8个像素相加：2行上同列的像素GB31、1行上1列左的像素GR22、1行上1列右的像素GR42、同行2列左的像素GB13、同行2列右的像素GB53、1行下1列左的像素GR24、1行下1列右的像素GR44、2行下同列的像素GB35。

因此，相加结果NGB33用下式表示。

NGB33＝GB31+GR22+GR42

+GB13+GB33+GB53

+GR24+GR44+GB35

以上说明了关注像素是GB33的情况，对于其它位置的G像素，将同样配置的周边像素相加。

在关注像素如图22的(c)所示是B像素BB43的情况下，将作为周边像素的如下8个像素相加：2行上2列左的像素BB21、2行上同列的像素BB41、2行上2列右的像素BB61、同行2列左的像素BB23、同行2列右的像素BB63、2行下2列左的像素BB25、2行下同列的像素BB45、2行下2列右的像素BB65。

因此，相加结果NBB43用下式表示。

NBB43＝BB21+BB41+BB61

+BB23+BB43+BB63

+BB25+BB45+BB65

以上说明了关注像素是BB43的情况，对于其它位置的R像素，将同样配置的周边像素相加。

如上所述的相加处理是将同一帧内的周边像素与关注像素混合的处理，周边像素通常具有与关注像素大致相同的像素值，因而具有将信号成分增倍的效果。

例如，在如上所述将周边的8个像素的像素值与各个关注像素相加的情况下(假设周围像素具有与关注像素相同的像素值)，相加结果是关注像素的像素值的9倍。

但是，将周边像素相加(混合)的结果是分辨率(静止分辨率)下降。

另外，也可以将不同帧即包含关注像素的帧的前后帧内与关注像素相同位置的像素与关注像素相加，以取代将同一帧内的周边像素与关注像素相加。

在此，前后帧不限于紧前面的1帧和紧后面的1帧，也可以是紧前面的规定数量的帧和紧后面的规定数量的帧。

如果将不同帧的同一位置的像素相加，则能够在避免静止分辨率下降的同时增强信号成分，对图像运动较少的情况特别有效。

但是，在运动剧烈的视频的情况下，运动模糊增多。

另外，也可以将同一帧内的周边像素和不同帧的同一位置的像素双方与关注像素相加，还可以将不同帧的同一位置的像素的周边像素与关注像素相加。

这样，能够进一步增大信号成分的增倍率。

视频信号处理部72将对像素相加部74的输出信号进行灰度校正处理、降噪处理、轮廓校正处理、白平衡调整处理、信号振幅调整处理、颜色校正处理等而得到的视频信号，作为背景图像从输出端子73进行输出。

采用与实施方式3相同的图20所示的分光透射特性的光学滤波器13，但是，在本实施方式中，可见光波段的透射率是根据像素相加部74的相加像素数设定的。例如，设定成像素相加部74的相加像素数越多则透射率越小的值。更具体地讲，将光学滤波器13的透射率设定成像素相加部74的相加像素数的倒数。例如，在像素相加部74进行9像素相加的情况下，将透射率设定成1/9(11.1％)。

像素相加部74只要能够将分辨率的下降抑制到最小限度，对光学滤波器13造成的可见光波段的衰减进行补偿来复原图像的明亮度即可，也能够适用与上述周边像素的相加不同的信号处理。

例如，通过检测像素值的相关性，选择相关较强的像素进行相加，由此，作为背景图像能够进一步减小分辨率的下降。

在图22的(a)～(c)所示的例子中，像素相加部74将周边的8个像素与关注像素相加，但是，也可以构成为根据环境光成分与图案光成分的比率，设定光学滤波器13的可见光波段的透射率，并增减相加的周边像素的数量，通过这样构成，不仅能够进行图案光成分的提取，而且能够得到明亮的背景图像。

在上述的实施方式4中，与实施方式1、2、3同样，也可以使用单色的摄像元件以取代将R、G、B像素拜耳排列而成的摄像元件14，在这种情况下，能够同样地进行动作而得到相同的效果。另外，如果在实施方式4中使用单色的摄像元件，则能够将位置更近的像素相加，作为背景图像，能够生成进一步减小分辨率的下降的图像。

根据本实施方式4，图像生成部17具有混合周边像素使信号成分增倍的像素相加部74，因而通过将光学滤波器13的可见光波段的透射率设定成比图案光的波长的透射率低，即使入射到摄像元件14的背景图像成分的入射光量减少，也能够通过周边的像素混合来复原明亮的背景图像。因此，即使在明亮的照度环境下也能够测距，能够得到与图像相关联的距离信息，并且能够得到明亮的背景图像。

在这种情况下，如果在与关注像素相同的帧内混合位于关注像素周边的像素使信号成分增倍，即使是运动剧烈的被摄体，也能够复原不存在运动模糊的明亮的背景图像。

另一方面，如果混合包含关注像素的帧的前后帧中与关注像素相同位置的像素使信号成分增倍，则能够抑制静止分辨率的下降，因而即使是具有细微的纹样和复杂轮廓的被摄体，也能够将分辨率的下降抑制到最小限度而复原明亮且清晰的背景图像。

如果使用将可见光波段的透射率设定成像素相加部74的相加像素数(增倍率)的倒数的光学滤波器13，则能够复原与光学滤波器13造成的衰减之前大致相同明亮度的背景图像。与此同时，能够得到成为图案光成分提取障碍的可见光波段的环境光成分减小的摄像信号，能够高精度地提取图案光成分，即使在明亮的照度环境下，也能够得到与图像相关联的距离信息。

将实施方式4记载成针对实施方式3的变形例，但是，对于实施方式1、2均能够追加在实施方式4说明的特征。

在上述实施方式1、2、3、4中，投射部22的光源采用了激光器，但是，也可以取而代之地使用LED等其它光源，只要满足衍射光栅的入射光特性，就能够同样地进行动作而得到相同的效果。

在上述实施方式1、2、3、4中，关于投射部22说明了投射由激光光源23形成于衍射光栅26的图案的结构，但是，对于高速地二维扫描激光(在1帧期间内扫描视野整体)进行图案投射的结构，也能够同样地进行动作而得到相同的效果。

另外，在上述实施方式1、2、3、4中，使用衍射光栅作为形成图案光的元件，但是，使用例如在专利文献3的第0003、0004段等记载的透射型的计算机全息(Computer Generated Hologram)等投射图案的分光设备，也能够同样地进行动作而得到相同的效果。

如上所述，根据本发明，可得到能够与摄像图像对应地取得到位于摄像空间的物体的距离信息的图像生成装置。而且，使用的摄像元件可以是一个。本发明的图像生成装置例如能够同时取得入侵者的图像和距离，因而能够适用于监视用途的入侵监视。本发明的图像生成装置例如还能够适用于基于车辆的前方和后方的障碍物检测的驾驶支持例如停车支持。

标号说明

10图像取得部；11摄像部；12镜头；13光学滤波器；14摄像元件；15A/D转换部；16分离部；17图像生成部；18距离信息生成部；19显示处理部；20图案光生成部；21驱动部；22投射部；23激光光源；24准直透镜；25孔径；26衍射光栅；30控制部；61帧延迟部；62差分运算部；63开关；72视频信号处理部；74像素相加部；81二值化部；82斑区域提取部；83识别码读取部；84存储部；85有效性确认部；86投射角估计部；87入射角计算部；88距离计算部；89距离范围计算部。

Claims

1.一种图像生成装置，该图像生成装置具有：

投射部，其将规定波长的图案光投射到摄像空间；

摄像部，其拍摄所述摄像空间；

分离部，其求出通过所述摄像部进行的摄像而得到的摄像信号中的、在投射图案光时得到的摄像信号与在不投射图案光时得到的摄像信号之间的差分，由此分离图案投射像成分；以及

附带于各个光斑的识别码具有：第1部分，其由投射图案内的在第1方向排列的多个单元构成，相对于该光斑配置在投射图案内的第2方向的一侧；以及第2部分，其由在所述第2方向排列的多个单元构成，相对于该光斑配置在所述第1方向的一侧，

2.根据权利要求1所述的图像生成装置，其中，

所述距离信息生成部具有：

识别码读取部，其读取由所述分离部得到的所述投射像成分中包含的附带于各个光斑的识别码；

有效性确认部，其判定是否满足如下条件，并据此判定读取到的识别码是否有效，所述条件是由所述识别码读取部读取到的附带于各个光斑的识别码的所述第2部分，相对于与该光斑在所述第1方向相邻的光斑附带的识别码的所述第2部分，所述变更部位在一处以下，而且由所述识别码读取部读取到的附带于各个光斑的识别码的所述第1部分，和与该光斑在所述第2方向相邻的光斑附带的识别码的所述第1部分相同；以及

投射角估计部，其根据由所述有效性确认部判定为有效的识别码，进行各个光斑的投射角的估计。

3.一种图像生成装置，该图像生成装置具有：

投射部，其将规定波长的图案光投射到摄像空间；

摄像部，其拍摄所述摄像空间；

4.根据权利要求3所述的图像生成装置，其中，

附带于各个光斑的识别码具有：第1部分，其由投射图案内的在第1方向排列的多个单元构成，相对于该光斑配置在投射图案内的第2方向的一侧；以及第2部分，其由在所述第2方向排列的多个单元构成，相对于该光斑配置在所述第1方向的一侧。

5.根据权利要求3或4所述的图像生成装置，其中，

所述距离信息生成部具有：

有效性确认部，其判定是否满足如下条件，并据此判定读取到的识别码是否有效，所述条件是由所述识别码读取部读取到的附带于各个光斑的识别码，相对于在所述第1方向相邻的光斑附带的识别码，所述变更部位只有一处；以及

6.根据权利要求1～5中的任意一项所述的图像生成装置，其中，

在附带于各个光斑的各个所述识别码中成为开状态的单元的数量为4个以下。

7.根据权利要求1～6中的任意一项所述的图像生成装置，其中，

所述识别码被设定成使构成所述投射图案中包含的全部光斑附带的识别码的、开状态和关状态的单元的排列关于所述投射图案的中心呈点对称。

8.根据权利要求1～7中的任意一项所述的图像生成装置，其中，

所述光斑由2行2列的开状态的单元构成，由各个光斑及其周围的单元形成斑区域。

9.根据权利要求8所述的图像生成装置，其中，

所述距离信息生成部根据所拍摄到的投射像内的所述斑区域的尺寸与位于所述斑区域内的各个单元中的点的尺寸之比，计算到被投射该光斑的被摄体的距离范围，

在根据所述投射角计算出的到所述被摄体的距离不在根据所述斑区域的尺寸与所述点的尺寸之比而确定的距离范围内时，所述距离信息生成部将基于所述投射角的所述距离的计算结果设为无效结果而对根据所述投射角计算出的所述距离进行处理。

10.根据权利要求1～9中的任意一项所述的图像生成装置，其中，

所述摄像部和所述投射部在空间内的第1方向排列配置，

所述投射图案内的所述第1方向是与所述空间内的第1方向对应的方向。

11.根据权利要求1～10中的任意一项所述的图像生成装置，其中，

所述摄像部具有光学滤波器，该光学滤波器在可见光波段和图案光的波长具有透射特性，可见光波段的透射率比所述图案光的波长的透射率低。

12.根据权利要求11所述的图像生成装置，其中，

所述分离部求出通过所述摄像部进行的拍摄而得到的摄像信号中的、在投射图案光时得到的摄像信号与在不投射图案光时得到的摄像信号的差分，由此分离所述投射像成分。

13.根据权利要求12述的图像生成装置，其中，

将所述光学滤波器的透射特性被设定成所述差分具有所述摄像信号的规定灰度数以上的值。

14.根据权利要求11所述的图像生成装置，其中，

所述图像生成装置还具有背景图像生成部，该背景图像生成部根据由所述分离部分离出的所述背景成分生成背景图像。

15.根据权利要求14所述的图像生成装置，其中，

所述图像生成装置还具有像素相加部，该像素相加部将周边像素的像素值相加而使信号成分增倍。

16.根据权利要求15所述的图像生成装置，其中，

所述像素相加部将相对于各像素位于相同帧内的周边的像素的像素值相加。

17.根据权利要求15所述的图像生成装置，其中，

所述像素相加部将相对于各像素位于包含该像素的帧的前后的帧内的、处于与该像素相同位置的像素的像素值相加。

18.根据权利要求15～17中任意一项所述的图像生成装置，其中，

将所述光学滤波器的可见光波段的透射率设定成所述像素相加部的相加像素数越多则越小的值。

19.根据权利要求18所述的图像生成装置，其中，

所述光学滤波器的可见光波段的透射率与所述像素相加部的相加像素数的倒数相等。