[go: up one dir, main page]

CN108271407A - 图像生成装置、图像生成方法以及图案光生成装置 - Google Patents

图像生成装置、图像生成方法以及图案光生成装置 Download PDF

Info

Publication number
CN108271407A
CN108271407A CN201580080494.1A CN201580080494A CN108271407A CN 108271407 A CN108271407 A CN 108271407A CN 201580080494 A CN201580080494 A CN 201580080494A CN 108271407 A CN108271407 A CN 108271407A
Authority
CN
China
Prior art keywords
pattern
unit cell
point
projection
cell pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580080494.1A
Other languages
English (en)
Other versions
CN108271407B (zh
Inventor
藤田伟雄
山下孝
山下孝一
的场成浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN108271407A publication Critical patent/CN108271407A/zh
Application granted granted Critical
Publication of CN108271407B publication Critical patent/CN108271407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

图像生成装置具有摄像部(11)、投影部(22)以及距离信息生成部(18)，投影图案包含在第1方向排列有多行并且在第2方向排列有多列的单位图案。多个光点是由作为状态彼此不同的光点的第1点和第2点构成的，排列在第1方向的单位图案具有彼此相同的光点排列，排列在第2方向的单位图案具有彼此不同的光点排列，在各个单位图案中，排列在第1方向的多个光点中的第1点的个数在第2方向的各行中是相同的固定数，在单位图案以外的部位，第2方向的与单位图案相同长度的行中包含的第1点的个数在第2方向的任意行中都与所述固定数不同。

Description

图像生成装置、图像生成方法以及图案光生成装置
技术领域
本发明涉及与由摄像部生成的摄像图像(摄像信号)对应地取得表示到存在于由摄像部拍摄的空间(摄像空间)内的物体(被摄体)的距离的距离信息的图像生成装置、图像生成方法以及图案光生成装置。
背景技术
以往，作为车辆周边监控装置，公知的是具有：摄像机，其对监控区域进行拍摄；投光器，其向监控区域照射图案光(亮点图案)；数据处理部，其通过对由摄像机生成的图案光的反射光的图像数据进行处理，由此检测障碍物等的存在；以及切换单元，其当车辆周边的照度在预先设定的值以下时，使显示器装置显示由数据处理部检测到的障碍物等以替代监控区域的状态(例如参考专利文献1)。
另外，提出了一种能够实现光学测距的方法。该方法例如具有以下步骤：从照明组件将一维斑点图案投射到目标区域内；捕捉一维斑点图案的多个基准图像；在目标区域内捕捉被投摄到物体表面上的一维斑点图案的试验图像；为了识别具有与试验图像内的一维斑点图案最紧密匹配的一维斑点图案的基准图像，对试验图像和基准图像进行比较；以及根据从照明组件到识别出的基准图像的距离，估计物体的位置(例如参照专利文献2)。
然而，在上述以往的装置和方法中，需要在摄像图像与多个基准图像之间进行用于计算基于图案匹配的相关值的运算，因此存在该运算的运算量较大这样的问题。
为此，提出了如下方法：在投射的图案光中使连接4个光点而成的四边形状图案即光斑周期性地出现，根据光斑周围的光点的点亮和非点亮的组合，将光斑识别成其他光斑(例如参照专利文献3)。
现有技术文献
专利文献
专利文献1：日本特开平6-87377号公报(例如，权利要求1、2)
专利文献2：日本特表2009-528514号公报(例如，权利要求1、第0001、0006、0007段)
专利文献3：国际公开第2014/080937号
专利文献4：日本特开2007-17643号公报(第0003、0004段)
发明内容
发明要解决的课题
然而，在根据衍射光栅与激光的组合投射图案光的投光器中，被投射的光点的大小不根据被摄体距离而发生变化，但是光点之间的距离与被摄体距离成比例地增大。因此，在到被摄体的距离较远的情况下，摄像图像上的光点变小，光点的像形成在图像传感器的像素与像素之间，从而有可能从摄像图像中消失。
另外，由于图像传感器产生的噪声，有时会在实际上没有投射光点的位置误检测为投射了光点。
在发生上述的光点消失或者误检测的情况下，连接4个光点而成的四边形状图案即光斑有可能无法被识别为光斑，或者被错误地识别成其他光斑。
本发明正是为了解决上述现有技术的课题而完成的，其目的在于，提供一种图像生成装置、图像生成方法以及图案光生成装置，即使发生光点消失或误检测也能够根据周围的光点进行还原，能够与由摄像部生成的摄像信号对应地取得到被摄体的距离信息。
用于解决课题的手段
本发明的图像生成装置的特征在于，具有：摄像部，其通过拍摄摄像空间来生成摄像信号；投影部，其通过向所述摄像空间投射图案光，在存在于所述摄像空间内的被摄体上形成作为投影像的投影图案；分离部，其根据在没有投射所述图案光时生成的所述摄像信号和在投射了所述图案光时生成的所述摄像信号，生成投影像成分的图像信号和不包含所述投影图案的成分的背景成分的图像信号；以及距离信息生成部，其预先存储有所述投影图案内的各光点的位置与投影角之间的关系，根据所述投影图案内的各光点的位置与投影角之间的关系以及所述投影像成分的所述图像信号，确定由所述摄像部拍摄到的所述投影图案内的各光点的投影角，根据所确定的所述投影角求出到被投射所述各光点的所述被摄体的距离，生成表示所述距离的距离信息，所述投影图案包含在第1方向排列有多行并且在与所述第1方向正交的第2方向排列有多列的多个单位图案，多个所述光点是由作为状态彼此不同的光点的第1点和第2点构成的，排列在所述第1方向的多个单位图案具有彼此相同的光点排列，排列在所述第2方向的多个单位图案具有彼此不同的光点排列，在所述多个单位图案的各个单位图案中，排列在所述第1方向的多个光点中的所述第1点的个数在所述第2方向的各行中是相同的固定数，在所述单位图案以外的部位，所述第2方向的与单位图案相同长度的行中包含的所述第1点的个数在所述第2方向的任意行中都与所述固定数不同。
发明效果
根据本发明，由于第1方向(垂直方向)的单位图案宽度内包含的第1点(例如点亮点)的个数被设定成固定数(第1固定数)，因此，即使在点亮点消失的情况下或者将噪声误检测为点亮点的情况下，也能够根据垂直方向的光点排列判断图案信息的妥当性，从而进行光点的错误修正。因此，即使在被摄体位于远处的情况下，也能够取得到被摄体的准确的距离信息。
另外，根据本发明，由于第2方向(水平方向)的单位图案宽度内包含的第1点(例如点亮点)的个数仅当在单位图案的边界之间进行计数的情况下，计数值在全部线(行)中才是固定数(第2固定数)，因此，即使不设置明确的图案边界识别用的码，也能够根据光点排列估计单位图案的水平方向的边界，从而进行单位图案的识别。因此，能够准确地进行单位图案的识别，能够取得到被摄体的准确的距离信息。
附图说明
图1是概略地示出本发明的第1实施方式的图像生成装置的结构的框图。
图2是概略地示出第1实施方式的图像生成装置的投影部、摄像部以及由摄像部拍摄的摄像空间的图。
图3是示出第1实施方式的图像生成装置的投影部、摄像部与构成由于投射图案光而产生的投影图案的光点之间的位置关系的图。
图4是概略地示出图1的投影部的结构例的图。
图5是概略地示出图1的分离部的结构例的框图。
图6的(a)～(d)是示出图5的分离部的动作的图。
图7是示出第1实施方式的图案光的投影像即投影图案的一例的图。
图8是用“1”(点亮点)和“0”(非点亮点)示出第1实施方式的投影图案的一例的图。
图9是按照每行(水平线)和每列(垂直线)示出第1实施方式的投影图案内的1个单位图案中包含的点亮点的个数的图。
图10是示出将第1实施方式的投影图案内的多个单位图案排列在水平方向时应该满足的条件的图。
图11是概略地示出图1的距离信息生成部的结构的框图。
图12的(a)～(d)是示出光点的图案的妥当性判断方法和修正方法的图。
图13的(a)～(b)是示出进行单位图案的边界位置的判定的方法的图。
图14是对应地示出图11的识别码读取部或存储部中预先存储的多个基准单位图案和作为确定该多个基准单位图案的信息的图案编号的图。
图15是示出在第1实施方式中提取出的图案的匹配方法的说明图。
图16是示出第1实施方式的投影图案内的多个单位图案的配置例的图。
图17是按照每行(水平线)和每列(垂直线)示出本发明的第2实施方式的投影图案内的1个单位图案中包含的点亮点的个数的图。
图18是示出将第2实施方式的投影图案内的多个单位图案排列在水平方向时应该满足的条件的图。
图19是对应地示出第2实施方式的图像生成装置的识别码读取部或存储部中预先存储的多个基准单位图案和作为确定该多个基准单位图案的信息的图案编号的图。
图20是示出第2实施方式的投影图案内的多个单位图案的配置例的图。
图21是示出本发明的第3实施方式的图像生成装置的硬件结构图。
具体实施方式
第1实施方式
图1是概略地示出本发明的第1实施方式的图像生成装置的结构的框图。图1的图像生成装置是能够实施第1实施方式的图像生成方法的装置。如图1所示，第1实施方式的图像生成装置具有图像取得部10、图案光生成部(图案光生成装置)20以及控制部30。图像取得部10具有摄像部11、A/D(模拟数字)转换部15、分离部16、图像生成部17、距离信息生成部18以及显示处理部19。摄像部11具有镜头12和撮像元件14。另外，图案光生成部20具有投影部22和驱动部21。投影部22具有激光光源23、准直透镜24、光圈25以及衍射光栅26。另外，控制部30具有存储部30a。存储部30a也可以设置在控制部30的外部。另外，应用本发明的图像生成装置的结构并不限于图1所示。
图2是概略地示出第1实施方式的图像生成装置的投影部22、摄像部11以及由摄像部11拍摄的摄像空间(撮像对象空间)JS的图。图2示出在摄像空间JS内作为撮像对象物存在长方体的被摄体OJ1和球体的被摄体OJ2的情况。如图2所示，摄像部11通过接收由存在于摄像空间JS内的被摄体OJ1、OJ2反射的光L11来进行被摄体OJ1、OJ2的拍摄。图像生成装置不仅通过摄像部11的拍摄来生成作为图像信息的摄像信号(图像信号)D17，而且根据该摄像信号生成表示从摄像部11到被摄体OJ1、OJ2的各部的距离的距离信息D18，输出将摄像信号D17和距离信息D18彼此关联起来的信号。另外，被摄体的个数和形状并不限于图2的例子。另外，摄像空间JS的形状不限于图2的例子。
如图2所示，投影部22向摄像空间JS投射生成作为投影像的投影图案的图案光L22。在图2所示的例子中，投影图案具有呈矩阵状即在水平方向(横向)和垂直方向(纵向)上排列的多个光栅点(多个光点，即多行且多列的光点)。投影图案包含在第1方向排列有多行并且在与第1方向正交的第2方向排列有多列的多个单位图案(如后述的图14所示)。多个光点是由作为状态彼此不同的光点的第1点和第2点构成的。例如，第1点是亮度较高的光点，第2点是亮度比第1点低的光点。一般来讲，第1点是作为通过被照射从投影部22射出的光线而形成的位置的光点的点亮点，第2点是作为没有被照射光线的位置的光点的非点亮点。这样，投影图案是由呈矩阵状排列的多个光点构成的，多个光点一般来讲是由点亮点和非点亮点构成的。排列在第1方向的多个单位图案具有彼此相同的光点排列。排列在第2方向的多个单位图案具有彼此不同的光点排列。在多个单位图案的各个单位图案中，排列在第1方向的多个光点中的第1点的个数在第2方向的各行中是相同的固定数。在除了单位图案以外的部位，第2方向的与单位图案相同长度的行中包含的第1点的个数在第2方向的任意行中都与固定数不同。
图3是示出从上方观察第1实施方式的图像生成装置的摄像部11、投影部22与在摄像空间JS内的被摄体OJ1或OJ2上的任意点形成的1个光点(作为矩阵状的光点位置的光栅点)SP的状态的图。在图3的例子中，摄像部11和投影部22被配置成在水平方向(图3中的横向)分离距离Lpc。将通过摄像部11和投影部22的直线称作基线BL，将距离Lpc称作基线长。
对通过从投影部22投射的光线(图案光L22的一部分)，在摄像空间JS中的被摄体OJ1或OJ2上形成光点SP，摄像部11接收由该光点SP反射的光线的情况进行说明。在这种情况下，只要知道从投影部22向光点SP行进的光线的投影角从光点SP向摄像部11行进的光线的入射角θ以及基线长Lpc，则通过基于三角测量原理的计算，就能够求出从基线BL到被摄体OJ1或OJ2上的光点SP的距离Z。如图3所示，投影角是在包含基线BL和光点SP的平面(虚拟平面)内，与基线BL正交的直线101和连接投影部22、光点SP的直线102所成的角度。另外，如图3所示，入射角θ是在包含基线BL和光点SP的平面内，与基线BL正交的直线103和连接摄像部11、光点SP的直线104所成的角度。
从光点SP向摄像部11行进的光线(直线104)的入射角θ能够根据光点SP的像形成在摄像部11的撮像元件14的摄像面的哪个部位，以及撮像元件14的轴线的方向(撮像元件14的摄像面朝向的方向)和撮像元件的视场角求出。从投影部22向光点SP行进的光线(直线线102)的投影角是根据投影部22的结构而预先设定的，因此是已知的。
在从投影部22射出投影角彼此不同的多条光线，投射多个光点作为投影图案，由摄像部11拍摄这些多个光点的情况下，如果各个投影角是已知的，则根据撮像元件14的摄像面上的多个光点在图像上的位置的相互关系，估计多个光点各自的投影角。此时，只要满足以下的投影入射条件(A1)，就能够知道由摄像部11拍摄到的多个光点各自的投影角。
投影入射条件(A1)是指“从投影部22投射出的多个光点的投影角的大小关系(例如，按照投影角由小到大的顺序排列多个光点时的多个光点的顺序)，与由摄像部11拍摄到的多个光点的入射角的大小关系(例如，在按照入射角由小到大的顺序排列多个光点时的多个光点的顺序)相同”。
在不满足投影入射条件(A1)的情况下，或者不明确是否满足投影入射条件(A1)的情况下，对于处于预先设定的距离的被摄体，需要通过与预先测定出的投影图案的摄像图像(基准单位图案)进行图案匹配，估计摄像图像中的光点各自的投影角。然而，图案匹配处理所需的运算量极大。
第1实施方式的图像生成装置即使在不满足投影入射条件(A1)的情况下，或者不明确是否满足投影入射条件(A1)的情况下，也能够以较小的运算量准确地估计由摄像部11拍摄到的多个光点各自的投影角。
另外，在与基线BL正交的平面(虚拟平面)内，以彼此不同的角度(投影角)投射出的多个光点与垂直方向的角度(投影角)的大小关系一定满足投影入射条件(A1)。因此，在这种情况下，不需要考虑顺序的“调换”。
以下，对基线BL是在水平方向(图3中的横向)延伸的直线，并且由图案光L22生成的多个光点在水平方向和垂直方向(与描绘有图3的纸面正交的方向)呈矩阵状排列的情况进行说明。
图4是概略地示出图1的投影部22的结构例的图。图案光生成部20的驱动部21在控制部30的控制下使激光光源23发光。如图1和图4所示，从激光光源23射出的激光通过准直透镜24变成平行光，通过光圈25变成预先设定的射束直径。衍射光栅26向摄像空间JS投射用于生成预先设定的投影图案的图案光L22。
另外，如图1所示，摄像部11的镜头12使被摄体像对焦于撮像元件14的摄像面上。撮像元件14通过对入射像进行光电转换而生成摄像信号D11并输出该摄像信号D11。摄像部11进行存在于摄像空间JS内的被摄体OJ1、OJ2的拍摄。该拍摄是按照预先设定的帧频率进行的，通过该拍摄，能够得到连续的多个帧图像(按照帧周期间隔生成的帧图像)。
在向被摄体OJ1、OJ2投射图案光L22时，从摄像部11输出摄像信号D11，该摄像信号D11表示在从被摄体OJ1、OJ2朝向摄像部11的本来光(没有投射图案光L22时的成分即背景成分)中，重叠有通过图案光L22的投射而产生于被摄体OJ1、OJ2上的投影图案的像(投影像成分)的图像。
A/D转换部15将从撮像元件14输出的摄像信号D11例如转换成8比特(256灰度)的数字摄像信号D15。分离部16接收A/D转换部15的输出即数字摄像信号D15，将数字摄像信号D15分离成投影像成分和背景成分。图像生成部17根据从分离部16输出的背景成分的图像信号D63生成背景成分的图像信号D17。距离信息生成部18根据从分离部16输出的投影像成分的图像信号D62生成表示距离信息的信号D18。
显示处理部19输出能够将由距离信息生成部18生成的距离信息与由图像生成部17生成的背景成分的图像相关联地显示的显示信号D19。从显示处理部19输出的、表示与距离信息相关联的图像的信号D19被输出给其他装置(例如显示器装置等)。
控制部30控制图案光生成部20和图像取得部10。控制部30例如控制摄像部11的撮像元件14的摄像模式、帧率以及曝光时间等，对显示处理部19进行图像的显示模式和距离信息的显示模式等的设定。另外，控制部30向A/D转换部15提供用于控制动作时刻的信号。并且，控制部30进行图案光生成部20和图像取得部10的动作模式的设定。
并且，控制部30在存储部30a中保存有如下信息：由从投影部22投射的投影图案中包含的光点构成的单位图案(如后述的图14所示)的表示投影图案内的位置关系的信息Sdp、表示投影图案上的位置与投影角之间的对应关系的信息Spa、表示摄像部11的轴线方向和视场角的信息Szv以及表示基线长Lpc的信息，将这些信息提供给距离信息生成部18。
另外，控制部30进行用于使图案光生成部20的动作和图像取得部10的动作同步的控制。具体地，控制部30对摄像部11进行控制，以按照预先设定的帧频率反复进行拍摄，并且对驱动部21进行控制，使得激光光源23按照每1帧交替重复发光状态和非发光状态。并且，控制部30将表示激光光源23是处于发光状态还是处于非发光状态的信号Snf提供给分离部16。
摄像部11的帧频率例如是30fps，按照每个帧周期(每当经过预先确定的时间)从摄像部11输出表示1帧图像的摄像信号D11。各帧的拍摄时刻由控制部30进行控制。
投影部22的激光光源23是按照每1帧交替切换成发光状态和非发光状态的，因此，投影部22按照每1帧交替切换对摄像空间JS投射图案光L22的状态和不投射图案光L22的状态，在摄像部11中，能够按照每1帧交替得到投射图案光L22时的图像和没有投射图案光L22时的图像。
分离部16根据投射了图案光L22时的图像和没有投射图案光L22时的图像，生成基于图案光L22的图像信号(投影像成分)和去除图案光L22成分后的图像信号(背景成分)。即，输出在没有投射图案光L22的帧期间内得到的图像，作为背景成分，输出通过在时间上相邻排列的2个帧期间内在投射图案光L22的帧期间内得到的图像减去在没有投射图案光L22的帧期间内得到的图像而取得的图像，作为投影像成分。
图5是概略地示出图1的分离部16的结构例的框图。如图5所示，A/D转换部15的输出(数字摄像信号)D15被提供给输入端子60。帧延迟部61使被提供给输入端子60的数字摄像信号D15延迟1个帧期间，输出延迟1帧后的摄像信号D61。
差分运算部62求出摄像信号D15与延迟1帧后的摄像信号D61之间的差分。该差分是通过从通过投射图案光L22时的拍摄而生成的帧的摄像信号中减去通过没有投射图案光L22时的拍摄而生成的帧的摄像而取得的。表示该差分的差分信号D62作为投影像成分经由输出端子64被提供给距离信息生成部18。
开关63在通过投影部22没有被投射图案光L22时的拍摄而生成的帧的摄像信号D15被提供给输入端子60的时刻闭合，将此时的摄像信号D15作为背景成分D63经由输出端子65提供给图像生成部17。
图6的(a)～(d)示出分离部16的动作的一例。在该例中，如图6的(a)所示，在第1帧PS1和第3帧PS3处没有投射图案光L22，在第2帧PS2和第4帧PS4处投射图案光L22。其结果是，在各帧期间内，能够得到图6的(b)所示的摄像图像。
在第1帧PS1处开关63闭合，此时的摄像信号D15(第1帧PS1处的摄像信号D15，即通过对没有投射图案光L22的状态下的摄像部11的输出D11进行数字转换而得到的信号D15)作为背景成分D63从输出端子65被提供给图像生成部17(图6的(d))，并且被提供给帧延迟部61。
在第2帧PS2处，差分运算部62从此时的摄像信号D15(第2帧PS2处的摄像信号D15，即通过对投射图案光L22的状态下的摄像部11的输出D11进行数字转换而得到的信号D15)中减去帧延迟部61的输出D61(第1帧PS1处的摄像信号)，将减法结果即差分D62作为投影像成分从输出端子64提供给距离信息生成部18(图6的(c))。
与第1帧PS1相同地，在第3帧PS3处开关63闭合，此时的摄像信号D15作为背景成分D63从输出端子65被提供给图像生成部105，并且被输入到帧延迟部61。
与第2帧PS2相同地，在第4帧PS4处，差分运算部62从此时的摄像信号D15中减去帧延迟部61的输出D61，将减法结果即差分D62作为投影像成分从输出端子64提供给距离信息生成部18。以下，反复进行相同的处理，按照每1个帧期间，交替输出只是背景成分的图像和只是投影像成分的图像。
图像生成部17针对由从分离部16输出的背景成分构成的图像信号D63(图6的(d))实施灰度校正处理、降噪处理、轮廓校正处理、白平衡调整处理、信号振幅调整处理以及颜色校正处理等，将通过这些处理而得到的图像信号作为背景图像的图像信号D17进行输出。
距离信息生成部18根据从分离部16输出的投影像成分的图像信号D62(图6的(c))和从控制部30提供的关于投影图案的信息，生成表示从摄像部11到投影像的各部的距离的信息。为了距离信息生成部18生成距离信息，作为投影图案，使用包含用于使单位图案的位置能够识别的码的投影图案。这里，在说明距离信息生成部18的动作之前，对在第1实施方式中使用的投影图案进行说明。
由投影部22投射的投影像(投影图案)是如图2和图6的(a)所示呈矩阵状投射的，即将在横向(行方向)和纵向(列方向)上对齐的光栅点中的一部分作为点亮点进行投射，将剩余的光栅点作为非点亮点进行投射。由投影部22投射的投影像(投影图案)优选满足以下的投影图案条件(B1)～(B5)。
投影图案条件(B1)：投影图案包含多个单位图案，这些多个单位图案分别是由在纵向包含一定数的光点并且在横向包含一定数的光点(矩阵状的光栅点)的矩形区域构成的。
投影图案条件(B2)：在投影图案包含的多个单位图案的各个单位图案中，纵向的线(列)中包含的点亮点的个数是预先确定的第1固定数(在第1实施方式中是2个)，横向的线(行)中包含的点亮点的个数是预先确定的第2固定数(在第1实施方式中是2个)。
投影图案条件(B3)：在投影图案中，当按照与单位图案的周期(排列周期)不同的相位(与单位图案的边界不同的边界位置)切割出与单位图案相同点数(在第1实施方式中是4点)的区域时，该切割出的区域中包含的水平方向(横向)的点亮点的个数在任意线(行)中均与单位图案中包含的点亮点的个数即第2固定数不同。
投影图案条件(B4)：在投影图案中，排列在垂直方向(纵向)的多个单位图案是彼此相同的单位图案。
投影图案条件(B5)：在投影图案中，排列在水平方向(横向)的多个单位图案是彼此不同的单位图案。在各个图案中，按照即使垂直方向的读出位置不同也与其他图案不一致的方式确定点排列。
为了使用摄像图像计测被摄体的距离，需要确定在摄像图像上拍摄到的投影图案是从投影部22以何种角度投射的部分。投影图案条件(B1)～(B5)是用于根据投影图案的一部分识别该一部分相当于投影图案整体中的哪个部分的必要条件。以下，在示出投影图案的例子的同时示出具体的识别方法。
图7是示出第1实施方式的作为图案光L22的投影像的投影图案的一例的图。这里，对单位图案是由水平方向4点和垂直方向4点的光点构成的情况进行说明。在图7中，水平方向的虚线的直线和垂直方向的虚线的直线表示单位图案的划分(边界)。在1个单位图案中，存在16处光栅点(光点位置)。在第1实施方式中，点亮点是作为图案被投射到被摄体的光点，非点亮点是没有作为图案被投射到被摄体的光点(矩阵的光栅点位置)。
图8是用“1”(点亮点)和“0”(非点亮点)示出第1实施方式的投影图案的一例的图。图8中的单位图案是由水平方向4点和垂直方向4点的呈矩阵状排列的光点构成的。在图8中，水平方向的实线的直线和垂直方向的实线的直线表示单位图案的划分(边界)。如图8所示，排列在水平方向的多个单位图案(在图8中为4个单位图案)具有彼此不同的光点图案。另外，如图8所示，排列在垂直方向的多个单位图案(在图8中为3个单位图案)具有彼此相同的光点图案。排列在水平方向的单位图案是彼此不同的单位图案，这是为了识别彼此相邻的单位图案的边界，确定投影部22和单位图案所成的角度。另外，排列在垂直方向的多个单位图案是彼此相同的单位图案，这是为了使排列在垂直方向的光点图案具有周期性，从而在读取图案时，即使由于光点消失或噪声的影响而将实际上是非点亮点的光点误判定为点亮点，也能够对错误进行修正。
图9是按照每条水平线(行)和每条垂直线(列)示出单位图案中包含的点亮点的个数的图。如图9所示，在单位图案中，水平方向的1条线(行)中包含的点亮点的个数是固定的(第2固定数)，垂直方向的1条线(列)中包含的点亮点的个数是固定的(第1固定数)。在图9的例子中，单位图案被设定成，在水平方向4点和垂直方向4点的单位图案中，1条线(行)中包含的点亮点的个数是固定值“2”，1条线(列)中包含的点亮点的个数是固定值“2”。
另外，对于水平方向的单位图案的排列，当按照与单位图案的周期不同的相位切割出与单位图案相同点数(在第1实施方式中为4点)的区域时(即，在单位图案的边界以外的位置切割出与单位图案相同点数的区域时)，将单位图案设定成，切割出的区域中包含的水平方向的点亮点的个数在任意行(在第1实施方式中是4条线(行)中的任意线(行))都不是单位图案的第2固定数(在第1实施方式中是2个)。
图10是示出在将第1实施方式的投影图案内的多个单位图案排列在水平方向时应该满足的条件的图。图10示出在设单位图案的尺寸为水平方向4点和垂直方向4点的情况下，在水平方向排列有4个不同的单位图案的例子。在图10中，在排列在水平方向的4个单位图案的下侧示出水平方向的各位置处的水平方向4点中的点亮点的个数。按照单位图案的边界之间的点亮点的个数成为固定数(在图10的例子中是第2固定数即2个)的方式设定单位图案。另外，按照在单位图案的边界以外的部位对水平方向4点中的点亮点的个数进行计数时，在4条线的计数值中的至少1条线中，点亮点的个数与作为单位图案的边界之间的点亮点的个数的固定数(在图10的例子中是第2固定数即2个)不同的方式，确定排列在水平方向的单位图案之间的组合。此时，单位图案的边界以外的部位的水平方向4点中的点亮点的个数，优选在尽可能多的线中与单位图案的边界之间的点亮点的个数不同。这是因为在读取图案时，满足上述投影图案条件(B1)～(B5)，更加能够减少图案位置的识别错误。
图11是概略地示出图1的距离信息生成部18的结构的框图。参照图11对图案的识别方法进行说明。如图11所示，距离信息生成部18具有二值化部81、点图案读取部82、图案妥当性确认部83、单位图案提取部84、识别码读取部85、存储部86、有效性确认部87、投影角估计部88、入射角估计部89以及距离计算部90。
二值化部81对从分离部16输出的投影像成分的图像信号D62进行二值化，输出二值的投影像图像信号D81。
点图案读取部82根据投影像图像信号D81，估计配置有光点的横向和纵向上的光栅间隔，读取存在于光栅点上的光点是点亮点的情况下为“1”、存在于光栅点上的光点是非点亮点的情况下为“0”的沿着光栅点的光点图案排列，作为由二维排列的“1”和“0”构成的图案信息PT。
图案妥当性确认部83确认垂直方向的光点的图案，根据垂直方向的光点图案排列判断由点图案读取部82生成的图案信息PT是否妥当。例如，图案妥当性确认部83根据投影像成分的图像信号，对垂直方向(第1方向)和水平方向(第2方向)分别读取尺寸是单位图案的2个周期量以上的矩形区域内的光点，判定是否满足如下条件：在第1方向相距单位图案的长度量的距离的位置处的光点的状态一致，以及在垂直方向(第1方向)上长度与单位图案的长度相同的列中包含的点亮点的个数和单位图案的第1方向的列中包含的点亮点的个数相同。图案妥当性确认部83根据需要进行光点图案的修正。
图12的(a)～(d)是示出图案妥当性确认部83的妥当性确认方法和修正方法的图。图12的(a)示出由点图案读取部82生成的图案信息PT。这里，为了进行妥当性的判断和光点图案的修正，需要至少在垂直方向读取单位图案的2个周期量的区域。这里，示出设单位图案的垂直方向的点数为4点且读取到垂直方向8点的区域的情况。
图12的(b)用阴影示出对分离垂直方向的周期图案尺寸即4点后的位置的信息进行比较而信息不一致的部位的提取结果。另外，图12的(c)用阴影示出对包含在图12的(b)中用阴影示出的光点的垂直方向4点中的点亮点的个数进行计数，包含计数值不是2个的组合的点的提取结果。
图12的(b)和图12的(c)的提取结果表示根据各自的判定方法，包含读取错误的可能性的点。设图12的(b)和图12的(c)双方的提取结果中包含的点为读取错误的点，进行图案信息的修正。修正结果如图12的(d)所示。在图12的(d)中，修正的是被四角包围的阴影区域的点。
在图案妥当性确认部83中，对修正后的图案信息(例如图12的(d))再次确认是否满足以下示出的妥当性条件(C1)和(C2)。
(C1)垂直方向的单位图案的每个周期(在第1实施方式中是垂直方向每4点)的光点的状态(点亮点“1”或非点亮点“0”)一致。
(C2)对垂直方向的单位图案的1个周期量的点亮点的个数进行计数而得到的个数与预先设定的点亮点的个数即第1固定数(在第1实施方式为2个)一致。
在确认的结果是满足妥当性条件(C1)和(C2)双方的情况下，在后段的处理部(比单位图案提取部84靠后段的处理部)中，进行基于读取结果的投影角估计和距离计算。另外，在确认的结果是没有满足妥当性条件(C1)和(C2)中的至少一个的情况下，在后段的处理部中不进行基于读取结果的投影角估计和距离计算。
另外，这里记载了设进行垂直方向的光点图案排列的妥当性确认和修正时参考的点图案在垂直方向为单位图案的2个周期(8点)量的情况，但也可以设参考的光点图案的周期数为3个周期(12点)以上。通过增加参考的光点图案的周期数，能够根据更多的规则进行妥当性确认和修正，因此能够校正的点的比例增加。例如，在单位图案的2个周期的参考中，能够修正每8点有1点的错误，校正率是12.5％。与之相对，在单位图案的3个周期的参考中，能够修正每12点有2点的错误，校正率提高到16.7％。
图11所示的单位图案提取部84确认水平方向的光点图案，进行单位图案的边界位置判定。具体来讲，单位图案提取部84根据投影像成分的图像信号，对垂直方向(第1方向)读取单位图案的1个周期量以上的矩形区域内包含的光点的状态，对水平方向(第2方向)读取单位图案的2个周期量以上的矩形区域内包含的光点的状态。单位图案提取部84对在第2方向长度与单位图案的长度相同的行中包含的点亮点的个数进行计数，检索在任何行中点亮点的个数的计数值都与单位图案的所述第2方向的行中包含的点亮点的个数一致的部位，提取以该部位为边界的与单位图案相同尺寸的区域的光点。
图13的(a)和(b)是示出进行单位图案的边界位置判定的方法的图。图13的(a)示出由点图案读取部82生成且由图案妥当性确认部83进行了图案信息的妥当成果确认和修正后的图案信息。这里，为了进行单位图案的边界位置判定，至少需要在垂直方向读取单位图案的1个周期量的区域，在水平方向读取单位图案的2个周期量的区域。这里，示出单位图案的点数是垂直方向4点和水平方向4点，读取到垂直方向4点和水平方向8点的区域的情况。另外，在图13的(a)中，图案信息的下侧数字表示将参考位置在水平方向1点1点地错开来对水平方向4点中的点亮点的个数进行计数而得到的结果。
检测水平方向4点中的点亮点的个数在垂直方向的单位图案的1个周期内，全部与预先设定的单位图案的边界之间的点亮点的个数(在第1实施方式中为2个)一致的部位。在本例中，在设从图案信息的左侧起第2点的列为开始位置的情况下，水平方向4点中的点亮点全部是2点，如图13的(b)所示，判定为单位图案的边界位置是图案信息左端的点列与从左侧起第2个点列之间以及从左侧起第5个点列与第6个点列之间。
图14是对应地示出图11的识别码读取部85或存储部86中预先存储的多个基准单位图案和作为确定该多个基准单位图案的信息的图案编号的图。识别码读取部85将由单位图案提取部84提取出的单位图案的图案信息与预先准备的基准单位图案的排列信息进行匹配，求出作为与提取出的单位图案一致的基准单位图案的确定信息的图案编号。
换言之，识别码读取部85根据投影像成分的图像信号，提取与单位图案相同尺寸的区域的光点，根据提取出的光点的图案以及在垂直方向(第1方向)反复配置提取出的光点的图案而得到的图案，对在第1方向抽出与单位图案相同长度的区域而得到的图案和投影图案的整体中包含的单位图案进行匹配，求出一致的图案。例如，识别码读取部85对由单位图案提取部84提取出的单位图案和图14所示的基准单位图案进行匹配，输出与提取出的单位图案一致的基准单位图案的图案编号。此时，在由单位图案提取部84提取出的单位图案中，由于垂直方向的单位图案的边界没有确定，因此，如图15所示，需要对将提取出的图案排列在垂直方向错开而得到的4种图案(匹配图案A、B、C、D)进行匹配。
图14所示的图案被构成为即使在垂直方向错开也与其他图案以及将各图案在垂直方向错开而得到的图案不一致，因此，基于4种图案的匹配结果一定是只有4种图案中的任意一个图案与图14的图案中的任意图案一致。
由于在以后的处理中不需要4种图案中的任意图案是否与图14的图案一致这样的信息，因此，只求出一致的图14的图案编号作为识别码读取部85的处理结果。
通过将这样提取出的图案排列与在垂直方向错开而得到的4种图案(匹配图案A、B、C、D)进行匹配，不用确定垂直方向的单位图案的边界，就能够求出提取出的图案排列匹配的基准单位图案的图案编号。
图16是示出第1实施方式的图像生成装置的投影图案内的多个单位图案的配置例的图。如图16中作为水平方向区域P1示出的那样，图14所示的基准单位图案通过按照图案编号No.1～No.18、No.19、No.18r～No.1r的顺序在水平方向进行排列，满足上述的投影图案条件(B3)“在投影图案中，当按照与单位图案的周期(排列周期)不同的相位(与单位图案的边界不同的边界位置)切割出与单位图案相同点数(在第1实施方式中是4点)的区域时，该切割出的区域中包含的水平方向(横向)的点亮点的个数在任意线(行)中均与单位图案中包含的点亮点的个数即第2固定数不同”。
另外，如图14所示，基准单位图案No.1r～No.18r具有使基准单位图案No.1～No.18上下左右反转而得到的光点的图案。即，基准单位图案No.1～No.18与基准单位图案No.1r～No.18r以基准单位图案的中心为对称中心点对称。另外，基准单位图案No.19本身是即使旋转180度也不发生变化的点对称的图案。因此，如图16所示，通过将基准单位图案No.19配置在投影图案整体的中心，在其左侧配置单位图案No.1～No.18，在右侧配置No.18r～No.1r，能够将投影图案整体构成为即使相对于图案中心旋转180度图案也不发生变化的点对称图案。另外，如图16所示，也可以是，在水平方向区域P1的水平方向的左侧和右侧排列与水平方向区域P1相同的区域。
在本发明中，通过激光光源和衍射光栅的组合投射投影图案，但是，在想要通过衍射光栅投射非点对称的图案时，衍射光栅的结构变得复杂，设计成本增大。另外，由于衍射光栅的结构变得复杂，因此，没有进行衍射的0次光的比例增加，进行图案投射的光的强度下降。通过设投影图案为点对称，能够避免上述的2个缺点。
有效性确认部87检查由识别码读取部85读取到的识别码的有效性。在检查的结果是有效性存在疑问的情况下(没有可靠性的情况下)，在以后的处理中将不使用读取到的识别码。
投影角估计部88参考由识别码读取部85求出的图案编号，从控制部30得到表示单位图案的图案编号与投影图案内的位置之间的关系的信息、以及表示投影图案上的位置与投影角之间的对应关系的信息，根据这些信息估计各光点的投影角另外，也可以在从控制部30提供上述的信息即表示单位图案的图案编号与投影图案内的位置之间的关系的信息、以及表示投影图案上的位置与投影角之间的对应关系的信息后，将它们保存在投影角估计部88内的存储器中。
入射角估计部89根据单位图案提取部84的输出，计算单位图案中包含的光点被拍摄在摄像面内的哪个位置，并且根据摄像部11的轴线方向和视场角，计算该光点的入射角θ。表示轴线方向和视场角的信息Szv预先由控制部30保存，从控制部30进行提供。
距离计算部90根据由投影角估计部88估计出的投影角由入射角估计部89计算出的入射角θ以及从控制部30提供的基线长Lpc，计算到被投射光点的被摄体表面的距离。
在图3中，下式(1)成立。
根据式(1)，从图3的基线BL到被投射光点的被摄体表面(形成有光点SP的点)即在图3中光点SP的位置的距离Z用下式(2)表示。
接着，从摄像部11到形成有光点的被摄体表面(光点SP)的距离R可以根据由式(2)得到的到基线BL的距离Z和入射角θ，通过下式(3)进行计算。
R＝Z/cosθ 式(3)
如以上说明的那样，根据第1实施方式，垂直方向的单位图案宽度(在第1实施方式中为4点)内包含的点亮点的个数在任意位置都被设定成固定数，因此，即使发生点亮点消失的情况或者将噪声误检测为点亮点的情况，也能够根据垂直方向的光点图案的排列判断图案信息的妥当性，进行光点图案的修正。因此，能够取得到被摄体的准确的距离信息。
另外，由于水平方向的单位图案宽度(在第1实施方式中为4点)内包含的点亮点的个数只在单位图案的边界位置处在全部线中都是固定数(第2固定数)，因此，即使不设置明确的图案边界识别用的码，也能够根据图案排列估计单位图案的边界，进行单位图案的识别。因此，能够准确地进行单位图案的识别，能够取得到被摄体的准确的距离信息。
另外，通过设投影图案整体为即使相对于中心旋转180度也与原图案一致的点对称图案，能够防止用于图案投影的衍射光栅的结构复杂化，降低制造成本，并且由于0次光的减少而能够提高投影图案的光强度。
并且，根据第1实施方式的图像生成装置，由于在水平方向排列有能够彼此判别的多个单位图案，因此，能够根据单位图案内的点亮点的排列，判别形成单位图案的光线的投影角。因此，不需要通过图案匹配估计摄像图像中的光点各自的投影角，就能够大幅度地减小运算量。
另外，如图16所示，通过设投影图案整体为相对于中心(No.19)的点对称图案，能够防止用于图案投影的衍射光栅的结构复杂化，降低制造成本，并且由于不进行衍射而透射的0次光的减少，能够提高基于衍射光的投射图案光强度。
在上述说明中，例示出单位图案具有水平方向4点和垂直方向4点的尺寸的情况。然而，例示出的单位图案的尺寸只是一例，作为单位图案，能够设定任意的尺寸。但是，为了进行被摄体测距，在满足上述投影图案条件(B1)～(B5)的基础上，还需要至少生成10种左右的与其他单位图案彼此不会一致的独特的单位图案。因此，优选的单位图案的最小尺寸是水平方向4点和垂直方向4点。
另外，通过减小单位图案的尺寸，能够减少图案识别所需的点数，能够减小可测距的被摄体的尺寸的最小值。
再者，在上述说明中，作为形成图案光L22的元件例示出使用衍射光栅的结构，还能够使用透射型的计算机全息图(Computer Generated Hologram)等的投影图案的分光器件，以取代使用衍射光栅的结构。这样的计算机全息图例如在专利文献4(日本特开2007-17643号公报)等中有说明。
第2实施方式
第2实施方式的图像生成装置与第1实施方式的图像生成装置的不同点在于，构成通过从投影部22射出的图案光形成的投影图案的多个单位图案的各个单位图案被设定成水平方向(第2方向)6点并且垂直方向(第1方向)4点。第2实施方式的图像生成装置具有与图1和图11所示的结构相同的结构。因此，在说明第2实施方式时，也参考图1和图11。
图17是按照每行(水平线)和每列(垂直线)示出第2实施方式的图像生成装置的投影图案内的1个单位图案中包含的点亮点的个数的图。如图17所示，在第2实施方式中，单位图案被设定成，在水平方向6点并且垂直方向4点(即6点×4点)的单位图案内，水平方向的1条线(行)中包含的点亮点的个数是3个，垂直方向的1条线(列)中包含的点亮点的个数是2个。
图18是示出在将第2实施方式的图像生成装置的投影图案内的多个单位图案排列在水平方向时应该满足的条件的图。图18示出将3个单位图案排列在水平方向的情况。在图18中，在3个单位图案的下侧示出水平方向的各位置处的水平方向6点中的点亮点的个数。按照单位图案的边界之间的点亮点的个数成为固定数(在图18的例子中为3个)的方式设定单位图案。另外，设定单位图案之间的组合，使得在单位图案的边界以外的部位之间对水平方向6点中的点亮点的个数进行计数时，4条线(行)的计数值中的至少1条线(行)的计数值(点亮点的个数)与作为单位图案的边界之间的点亮点的个数的固定数(在图18的例子中为3个)不同。此时，单位图案的边界以外的部位之间的点亮点的个数优选在尽可能多的线(行)中与作为单位图案的边界之间的点亮点的个数的固定值(在图18的例子中为3个)不同。这是因为在读取光点的图案时，满足投影图案条件(B1)～(B5)，更加能够减少单位图案的位置识别错误。
图19是对应地示出第2实施方式的图像生成装置的识别码读取部(图11的85)或存储部(图11的86)中预先存储的多个基准单位图案和作为确定该多个基准单位图案的信息的图案编号的图。识别码读取部85将由单位图案提取部84提取出的单位图案的图案信息与预先准备的基准单位图案的排列信息进行匹配，求出与提取出的单位图案一致的基准单位图案的图案编号。
图20是示出第2实施方式的图像生成装置的投影图案内的多个单位图案的配置例的图。如图20中作为水平方向区域P2示出的那样，通过按照图案编号No.0、No.1～No.30、No.31、No.30r～No.1r、No.0的顺序在水平方向排列图19的基准单位图案，与“关于4条线(行)的点亮点的计数值中的至少1条线(行)的计数值，点亮点的个数与单位图案的边界之间的点亮点的个数不同”对应。换言之，与投影图案条件(B3)“在投影图案中，当按照与单位图案的周期(排列周期)不同的相位(与单位图案的边界不同的位置)切割出与单位图案相同点数的区域时，该切割出的区域中包含的水平方向(横向)的点亮点的个数在任意线(行)中均与单位图案中包含的点亮点的个数即第2固定数不同”对应。
另外，如图19所示，基准单位图案No.1r～No.30r具有使基准单位图案No.1～No.30上下左右反转而得到的光点的图案。即，基准单位图案No.1～No.30与基准单位图案No.1r～No.30r以基准单位图案的中心为对称中心点对称。另外，基准单位图案No.0和No.30分别具有即使旋转180度也不发生变化的光点的图案。因此，如图20所示，通过将单位图案No.31配置在投影图案整体的中心，在单位图案No.31的左侧配置单位图案No.0、No.1～No.30，在单位图案No.31的右侧配置单位图案No.30r～No.1r、No.0，能够将投影图案整体构成为即使以单位图案No.31为中心旋转180度图案也不发生变化的点对称图案。
在第1实施方式中，是设单位图案的尺寸为水平方向4点并且垂直方向4点，但是，通过如第2实施方式所示将单位图案的尺寸扩大成水平方向6点并且垂直方向4点，能够增加可以配置在水平方向的独特的单位图案的种类。通过扩大单位图案的尺寸，能够识别的单位图案的种类增加，因此，能够在更加广泛的角度范围内计算被摄体角度。另外，如图20所示，也可以在水平方向区域P2的水平方向的左侧和右侧排列与水平方向区域P2相同的区域。
另外，在增大单位图案的尺寸的情况下，图案识别所需要的被摄体的大小增大，无法计测较小的被摄体的位置。因此，单位图案的尺寸需要根据搭载本技术的系统中设想的被摄体的大小、计测距离的范围选择恰当的大小。
如以上说明的那样，根据第2实施方式的图像生成装置，由于垂直方向(第1方向)的单位图案的宽度(4点)中包含的点亮点的个数被设定成第1固定数(2个)，因此，即使在点亮点(第1点)消失的情况下或者在将噪声误检测为点亮点的情况下，也能够根据垂直方向的光点排列判断图案信息的妥当性，进行光点的错误修正。因此，即使在被摄体远离图像生成装置的情况下，也能够取得到被摄体的准确的距离信息。
另外，根据第2实施方式的图像生成装置，由于仅在单位图案的边界之间对水平方向(第2方向)的单位图案宽度(6点)内包含的点亮点的个数进行计数的情况下，全部线(行)的计数值才是第2固定数(3个)。因此，即使不设置明确的图案边界识别用的码，也能够根据光点排列估计单位图案的水平方向的边界，进行单位图案的识别。因此，能够准确地进行单位图案的识别，能够取得到被摄体的准确的距离信息。
并且，根据第2实施方式的图像生成装置，由于在水平方向排列有能够彼此判别的多个单位图案，因此，能够根据单位图案内的点亮点的排列判别形成单位图案的光线的投影角。因此，不需要通过图案匹配估计摄像图像中的光点各自的投影角，就能够大幅度地减小运算量。
另外，如图20所示，通过以中心(基准单位图案No.31)为对称中心设投影图案整体为点对称图案，能够防止用于投射图案光的衍射光栅的结构复杂化，能够降低制造成本。另外，由于不衍射而透射的0次光的减少，能够提高作为衍射光的投射图案光的强度。
第3实施方式
图21是示出本发明的第3实施方式的图像生成装置的硬件结构图。第1实施方式和第2实施方式的图像生成装置中的分离部16、图像生成部17、距离信息生成部18、显示处理部19以及控制部30可以由集成回路等的处理回路构成。另外，分离部16、图像生成部17、距离信息生成部18、显示处理部19以及控制部30能够通过处理装置40实现。处理装置40能够由存储器41和可以执行存储器41中存储的程序的CPU(Central Processing Unit：中央处理单元)42构成。CPU42也称作中央处理装置、运算装置、微处理器(microprocessor)、微计算机(microcomputer)、处理器(processor)或者DSP(Ddigital Signal Processor：数字信号处理器)。存储器41例如是RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory：可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-OnlyMemory：电可擦除可编程只读存储器)等的非易失性或易失性半导体存储器或者磁盘、软盘、光盘、致密盘、迷你盘、DVD(Digital Versatile Disc：数字多功能光盘)等。另外，处理装置40能够通过软件、固件或者软件和固件的组合实现。软件和固件能够记述成程序而存储到存储器41中。第3实施方式的图像生成装置与第1实施方式或第2实施方式的图像生成装置相同地进行动作，能够得到相同的效果。
变形例
第1实施方式～第3实施方式的图像生成装置能够应用于摄像机等的影像拍摄装置中。应用第1实施方式～第3实施方式的图像生成装置的影像拍摄装置能够输出影像信号和到与影像对应的各位置的距离信息。
另外，第1实施方式～第3实施方式的图像生成装置能够应用于电视等影像显示装置中。应用第1实施方式～第3实施方式的图像生成装置的影像显示装置能够在显示画面显示影像信号和到与影像对应的各位置的距离信息。
另外，第1实施方式～第3实施方式的图像生成装置能够应用于录像机这样的影像记录再现装置中。应用第1实施方式～第3实施方式的图像生成装置的影像记录再现装置能够将影像信号和到与影像对应的各位置的距离信息记录在记录介质中，并且能够从存储介质读出并再现影像信号和到与影像对应的各位置的距离信息。
另外，应用第1实施方式～第3实施方式的图像生成装置的影像拍摄装置、影像显示装置以及影像记录再现装置中的任意装置都能够应用于监控系统中。
并且，第1实施方式～第3实施方式的图像生成装置例如能够应用于基于汽车的前方和后方的障碍物检测的驾驶辅助例如汽车的停车辅助。
标号说明
10：图像取得部；11：摄像部；12：镜头；14：撮像元件；15：A/D转换部；16：分离部；17：图像生成部；18：距离信息生成部；19：显示处理部；20：图案光生成部；21：驱动部；22：投影部；23：激光光源；24：准直透镜；25：光圈；26：衍射光栅；30：控制部；30a：存储部；61：帧延迟部；62：差分运算部；63：开关；81：二值化部；82：点图案读取部；83：图案妥当性确认部；84：单位图案提取部；85：识别码读取部；86：存储部；87：有效性确认部；88：投影角估计部；89：入射角估计部；90：距离计算部。

Claims (10)

1.一种图像生成装置，其特征在于，该图像生成装置具有：
摄像部，其通过拍摄摄像空间来生成摄像信号；
投影部，其通过向所述摄像空间投射图案光，在存在于所述摄像空间内的被摄体上形成作为投影像的投影图案；
分离部，其根据在没有投射所述图案光时生成的所述摄像信号和在投射了所述图案光时生成的所述摄像信号，生成投影像成分的图像信号和不包含所述投影图案的成分的背景成分的图像信号；以及
距离信息生成部，其预先存储有所述投影图案内的各光点的位置与投影角之间的关系，根据所述投影图案内的各光点的位置与投影角之间的关系以及所述投影像成分的所述图像信号，确定由所述摄像部拍摄到的所述投影图案内的各光点的投影角，根据所确定的所述投影角求出到被投射所述各光点的所述被摄体的距离，生成表示所述距离的距离信息，
所述投影图案包含在第1方向排列有多行并且在与所述第1方向正交的第2方向排列有多列的多个单位图案，
多个所述光点是由作为状态彼此不同的光点的第1点和第2点构成的，
排列在所述第1方向的多个单位图案具有彼此相同的光点排列，
排列在所述第2方向的多个单位图案具有彼此不同的光点排列，
在所述多个单位图案的各个单位图案中，排列在所述第1方向的多个光点中的所述第1点的个数在所述第2方向的各行中是相同的固定数，
在所述单位图案以外的部位，所述第2方向的与单位图案相同长度的行中包含的所述第1点的个数在所述第2方向的任意行中都与所述固定数不同。
2.根据权利要求1所述的图像生成装置，其特征在于，
所述第1点是作为通过被照射从所述投影部射出的光线而形成的位置处的所述光点的点亮点，
所述第2点是作为没有被照射光线的位置处的所述光点的非点亮点。
3.根据权利要求1或2所述的图像生成装置，其特征在于，
所述距离信息生成部具有图案妥当性确认部，
所述图案妥当性确认部根据由所述分离部生成的所述投影像成分的图像信号，对所述第1方向和所述第2方向分别读取尺寸是所述单位图案的2个周期量以上的矩形区域内的光点，
所述图案妥当性确认部判定是否满足如下条件：在所述第1方向相距所述单位图案的长度量的距离的位置处的光点的状态一致，以及在所述第1方向长度与所述单位图案的长度相同的列中包含的所述第1点的个数，与所述单位图案的所述第1方向的列中包含的所述第1点的个数相同。
4.根据权利要求1～3中的任意一项所述的图像生成装置，其特征在于，
所述距离信息生成部具有单位图案提取部，
所述单位图案提取部根据由所述分离部生成的所述投影像成分的图像信号，对所述第1方向读取所述单位图案的1个周期量以上的矩形区域内包含的光点的状态，对所述第2方向读取所述单位图案的2个周期量以上的矩形区域内包含的光点的状态，
所述单位图案提取部对在所述第2方向长度与所述单位图案的长度相同的行中包含的所述第1点的个数进行计数，检索在任何行中所述第1点的个数的计数值都与所述单位图案的所述第2方向的行中包含的所述第1点的个数一致的部位，提取以所述部位为边界的与所述单位图案相同尺寸的区域的光点。
5.根据权利要求1～4中的任意一项所述的图像生成装置，其特征在于，
所述距离信息生成部具有识别码读取部，
所述识别码读取部根据由所述分离部生成的所述投影像成分的图像信号，提取与所述单位图案相同尺寸的区域的光点，
所述识别码读取部根据提取出的所述光点的图案以及在所述第1方向反复配置提取出的所述光点的图案而得到的图案，对在所述第1方向抽出与所述单位图案相同长度的区域而得到的图案和所述投影图案的整体中包含的单位图案进行匹配，求出一致的图案。
6.根据权利要求1～5中的任意一项所述的图像生成装置，其特征在于，
构成所述投影图案的整体的光点排列被设定成以所述投影图案的整体的中心位置为对称中心的点对称，
构成所述投影图案的所述多个单位图案包含第1单位图案和第2单位图案的组，所述第2单位图案是以所述第1单位图案的中心位置为中心使所述第1单位图案旋转180度而得到的。
7.根据权利要求1～6中的任意一项所述的图像生成装置，其特征在于，
所述单位图案是由在所述第1方向为4行且在所述第2方向为4列的光点构成的，
所述单位图案中包含的排列在所述第1方向的所述第1点的个数是2个，
所述单位图案中包含的排列在所述第2方向的所述第1点的个数是2个。
8.根据权利要求1～6中的任意一项所述的图像生成装置，其特征在于，
所述单位图案是由在所述第1方向为4行且在所述第2方向为6列的光点构成的，
所述单位图案中包含的排列在所述第1方向的所述第1点的个数是2个，
所述单位图案中包含的排列在所述第2方向的所述第1点的个数是3个。
9.一种图像生成方法，其特征在于，该图像生成方法具有如下步骤：
通过向摄像空间投射图案光，在存在于所述摄像空间内的被摄体上形成作为投影像的投影图案；
通过拍摄摄像空间来生成摄像信号；
根据在没有投射所述图案光时生成的所述摄像信号和在投射了所述图案光时生成的所述摄像信号，生成投影像成分的图像信号和不包含所述投影图案的成分的背景成分的图像信号；以及
根据预先存储的所述投影图案内的各光点的位置与投影角之间的关系以及所述投影像成分的所述图像信号，确定拍摄到的所述投影图案内的各光点的投影角，根据所确定的所述投影角求出到被投射所述各光点的所述被摄体的距离，生成表示所述距离的距离信息，
所述投影图案包含在第1方向排列有多行并且在与所述第1方向正交的第2方向排列有多列的多个单位图案，
多个所述光点是由作为状态彼此不同的光点的第1点和第2点构成的，
排列在所述第1方向的多个单位图案具有彼此相同的光点排列，
排列在所述第2方向的多个单位图案具有彼此不同的光点排列，
在所述多个单位图案的各个单位图案中，排列在所述第1方向的多个光点中的所述第1点的个数在所述第2方向的各行中是相同的固定数，
在所述单位图案以外的部位，所述第2方向的与单位图案相同长度的行中包含的所述第1点的个数在所述第2方向的任意行中都与所述固定数不同。
10.一种图案光生成装置，该图案光生成装置具有投影部和驱动部，所述投影部根据从光源射出的光，生成并投射由预先确定的光点的图案构成的图案光，在被摄体上形成作为投影像的投影图案，所述驱动部驱动所述光源，该图案光生成装置的特征在于，
所述投影图案包含在第1方向排列有多行并且在与所述第1方向正交的第2方向排列有多列的多个单位图案，
多个所述光点是由作为状态彼此不同的光点的第1点和第2点构成的，
排列在所述第1方向的多个单位图案具有彼此相同的光点排列，
排列在所述第2方向的多个单位图案具有彼此不同的光点排列，
在所述多个单位图案的各个单位图案中，排列在所述第1方向的多个光点中的所述第1点的个数在所述第2方向的各行中是相同的固定数，
在所述单位图案以外的部位，所述第2方向的与单位图案相同长度的行中包含的所述第1点的个数在所述第2方向的任意行中都与所述固定数不同。
CN201580080494.1A 2015-06-09 2015-11-16 图像生成装置、图像生成方法以及图案光生成装置 Active CN108271407B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-116631 2015-06-09
JP2015116631 2015-06-09
PCT/JP2015/082065 WO2016199323A1 (ja) 2015-06-09 2015-11-16 画像生成装置、画像生成方法、及びパターン光生成装置

Publications (2)

Publication Number Publication Date
CN108271407A true CN108271407A (zh) 2018-07-10
CN108271407B CN108271407B (zh) 2020-07-31

Family

ID=57503788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080494.1A Active CN108271407B (zh) 2015-06-09 2015-11-16 图像生成装置、图像生成方法以及图案光生成装置

Country Status (5)

Country Link
US (1) US10533846B2 (zh)
JP (1) JP6355844B2 (zh)
CN (1) CN108271407B (zh)
DE (1) DE112015006609B4 (zh)
WO (1) WO2016199323A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566440A (zh) * 2018-02-14 2020-08-21 欧姆龙株式会社 三维测定装置、三维测定方法以及程序
CN112739979A (zh) * 2018-08-29 2021-04-30 公立大学法人兵库县立大学 表面形状测量装置以及表面形状测量方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3343246A1 (en) * 2016-12-30 2018-07-04 Xenomatix NV System for characterizing surroundings of a vehicle
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10740913B2 (en) 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US11297300B2 (en) * 2018-01-29 2022-04-05 Samsung Electronics Co., Ltd. Robust structured-light patterns for 3D camera system
DE102018203620A1 (de) * 2018-03-09 2019-09-12 Robert Bosch Gmbh Entfernungsmesselement
JP7193304B2 (ja) * 2018-03-19 2022-12-20 ソニーセミコンダクタソリューションズ株式会社 光源システム、光学回折素子製造方法、および測距システム、ならびに光学回折素子
JP7292315B2 (ja) * 2018-06-06 2023-06-16 マジック アイ インコーポレイテッド 高密度投影パターンを使用した距離測定
US11067877B2 (en) 2018-11-09 2021-07-20 Samsung Electronics Co., Ltd. Structured light projector and electronic device including the same
CN113272624B (zh) 2019-01-20 2024-11-26 魔眼公司 包括具有多个通带的带通滤波器的三维传感器
DE102020214249A1 (de) 2020-11-12 2022-05-12 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bereitstellen von Navigationsdaten zum Steuern eines Roboters, Verfahren zum Steuern eines Roboters, Verfahren zum Herstellen zumindest eines vordefinierten punktsymmetrischen Bereichs und Vorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法
WO2014011179A1 (en) * 2012-07-12 2014-01-16 California Institute Of Technology Defocusing with projection grid including identification features
JP2014085282A (ja) * 2012-10-25 2014-05-12 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
WO2014080937A1 (ja) * 2012-11-21 2014-05-30 三菱電機株式会社 画像生成装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6046351B2 (ja) 1984-05-18 1985-10-15 松下冷機株式会社 断熱箱体
JPH0687377A (ja) 1992-09-04 1994-03-29 Yazaki Corp 車両周辺監視装置
JP4821192B2 (ja) 2005-07-06 2011-11-24 大日本印刷株式会社 計算機ホログラム光学素子
WO2007096893A2 (en) 2006-02-27 2007-08-30 Prime Sense Ltd. Range mapping using speckle decorrelation
JP6112769B2 (ja) 2012-03-05 2017-04-12 キヤノン株式会社 情報処理装置、情報処理方法
JP5966678B2 (ja) 2012-06-29 2016-08-10 富士通株式会社 データ送信方法、データ送信装置
US9562760B2 (en) 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法
WO2014011179A1 (en) * 2012-07-12 2014-01-16 California Institute Of Technology Defocusing with projection grid including identification features
JP2014085282A (ja) * 2012-10-25 2014-05-12 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
WO2014080937A1 (ja) * 2012-11-21 2014-05-30 三菱電機株式会社 画像生成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566440A (zh) * 2018-02-14 2020-08-21 欧姆龙株式会社 三维测定装置、三维测定方法以及程序
US11321860B2 (en) 2018-02-14 2022-05-03 Omron Corporation Three-dimensional measurement apparatus, three-dimensional measurement method and non-transitory computer readable medium
CN112739979A (zh) * 2018-08-29 2021-04-30 公立大学法人兵库县立大学 表面形状测量装置以及表面形状测量方法
CN112739979B (zh) * 2018-08-29 2022-09-09 公立大学法人兵库县立大学 表面形状测量装置以及表面形状测量方法

Also Published As

Publication number Publication date
CN108271407B (zh) 2020-07-31
US20180106606A1 (en) 2018-04-19
JP6355844B2 (ja) 2018-07-11
JPWO2016199323A1 (ja) 2017-11-02
WO2016199323A1 (ja) 2016-12-15
DE112015006609T5 (de) 2018-03-01
DE112015006609B4 (de) 2021-10-21
US10533846B2 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
CN108271407A (zh) 图像生成装置、图像生成方法以及图案光生成装置
CN103702608B (zh) 用于记录牙科对象的多个三维图像的方法
EP3268935B1 (en) Apparatus and method of texture mapping for dental 3d scanner
CN104185786B (zh) 缆绳检查装置
US10140753B2 (en) 3D geometric modeling and 3D video content creation
CN104813141A (zh) 图像生成装置
US9087258B2 (en) Method for counting objects and apparatus using a plurality of sensors
CN103827920B (zh) 根据图像的对象距离确定
JP2002191058A (ja) ３次元画像取得装置および３次元画像取得方法
CN107091617A (zh) 形状测定系统、形状测定装置以及形状测定方法
JP2016510108A5 (zh)
JP6385349B2 (ja) 歯科対象物の個別の三次元光学画像を記録する方法
CN107709977A (zh) 表面缺陷检测装置及表面缺陷检测方法
CN107529963A (zh) 图像处理装置、图像处理方法和图像处理程序
JP5170622B2 (ja) 形状測定方法、プログラム、および形状測定装置
JP6378793B2 (ja) 歯肉診断支援装置および歯肉診断支援システム
JP5995600B2 (ja) 遊戯盤の検査装置および検査方法
JP2012083965A (ja) 硬貨処理装置及び硬貨処理方法
KR101775110B1 (ko) 고품질 텍스처 획득 방법 및 이를 위한 장치
JP3932776B2 (ja) ３次元画像生成装置および３次元画像生成方法
JP2008164338A (ja) 位置検出装置
CN111489382B (zh) 编码条纹图的获取以及基于结构光的重构的方法和装置
JP2008097540A (ja) 硬貨真贋判定装置
TW202422049A (zh) 檢查系統
JPH0432702A (ja) 測距装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant