[go: up one dir, main page]

KR102029003B1 - 오브젝트 인식을 위한 센서 장치 - Google Patents

오브젝트 인식을 위한 센서 장치 Download PDF

Info

Publication number
KR102029003B1
KR102029003B1 KR1020180161553A KR20180161553A KR102029003B1 KR 102029003 B1 KR102029003 B1 KR 102029003B1 KR 1020180161553 A KR1020180161553 A KR 1020180161553A KR 20180161553 A KR20180161553 A KR 20180161553A KR 102029003 B1 KR102029003 B1 KR 102029003B1
Authority
KR
South Korea
Prior art keywords
light
line
pattern
dimensional
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180161553A
Other languages
English (en)
Inventor
이현민
Original Assignee
이현민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이현민 filed Critical 이현민
Priority to KR1020180161553A priority Critical patent/KR102029003B1/ko
Application granted granted Critical
Publication of KR102029003B1 publication Critical patent/KR102029003B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

다양한 실시예에 따른 오브젝트 인식을 위한 센서 장치는, 1차원 패턴이 형성된 라인 패턴 광을 오브젝트에 투사하기 위한 광 출력부; 2차원 픽셀 어레이를 포함하고, 상기 라인 패턴 광에 의해 상기 오브젝트 상에 형성된 광 패턴을 인식하기 위한 이미지 센서; 및 순차적으로 서로 다른 위치로 상기 라인 패턴 광을 투사하도록 상기 광 출력부를 제어하고, 상기 라인 패턴 광의 투사 위치에 맵핑되는 상기 2차원 픽셀 어레이의 픽셀 라인을 이용해 상기 오브젝트 상에 형성된 광 패턴을 인식하도록 상기 이미지 센서를 제어하는 프로세서를 포함할 수 있다.

Description

오브젝트 인식을 위한 센서 장치 {SENSOR DEVICE FOR DETECTING OBJECT}
본 명세서는 센서 장치에 관한 것이며, 보다 상세하게는 광의 출력과 이미지 인식을 통해 오브젝트의 입체적 형상을 인식할 수 있는 센서 장치 및 센서 장치의 오브젝트 인식 방법에 관한 것이다.
오브젝트(예: 사람, 사물 등)의 입체적 형상을 인식하기 위한 대표적인 방법은 카메라(또는 이미지 센서)를 이용하여 이미지 정보를 획득하고, 그로부터 영상 처리를 통해 오브젝트를 인식하는 것이다. 다만, 카메라는 2차원 이미지를 획득할 수 있기 때문에 3차원의 입체적 형상을 정확하게 인식하는 것은 쉽지 않았다. 이에, 3D depth 카메라가 개발되었고, 3D depth 카메라의 발달로 사람의 얼굴 인식, 사물에 대한 3D 맵의 생성 등 다양한 응용 분야가 생겨났다.
현존하는 3D depth의 인식 방법은 TOF(time of flight)를 이용하거나 구조광을 이용하는 방식이 있다. TOF 방식은 광속에 기반하여 광 신호가 카메라 및 오브젝트 사이를 왕복하는 시간을 측정함으로써 계산될 수 있다.
구조광 방식은 일정 패턴을 갖는 광을 오브젝트에 투사하고, 오브젝트 상에 형성된 광 패턴의 위치를 삼각측량을 이용해 그 거리를 구하는 방식이다. 오브젝트와 카메라의 거리 및/또는 오브젝트 상의 굴곡에 의해 오브젝트 상에 형성되는 광 패턴은 달라질 수 있으며, 카메라를 이용해 광 패턴을 인식하고 그로부터 오브젝트의 입체적 형상을 측정할 수 있다.
종래의 오브젝트 인식 방법의 경우, 투사된 패턴 광이 오브젝트 또는 주변 사물에 의해서 반사되기 때문에, 카메라에 의해 획득되는 이미지 정보는 오브젝트의 형상과 정확히 일치하지 않을 수 있다. 이에 따라 인식율이 떨어질 수 밖에 없다.
다양한 실시예들은, 광의 투사 패턴을 라인 단위로 순차적으로 투사하여, 보다 정확한 인식이 가능하도록 하는 센서 장치 및 센서 장치의 오브젝트 인식 방법을 제공함에 그 목적이 있다.
다양한 실시예에 따른 오브젝트 인식을 위한 센서 장치는, 1차원 패턴이 형성된 라인 패턴 광을 오브젝트에 투사하기 위한 광 출력부; 2차원 픽셀 어레이를 포함하고, 상기 라인 패턴 광에 의해 상기 오브젝트 상에 형성된 광 패턴을 인식하기 위한 이미지 센서; 및 순차적으로 서로 다른 위치로 상기 라인 패턴 광을 투사하도록 상기 광 출력부를 제어하고, 상기 라인 패턴 광의 투사 위치에 맵핑되는 상기 2차원 픽셀 어레이의 픽셀 라인을 이용해 상기 오브젝트 상에 형성된 광 패턴을 인식하도록 상기 이미지 센서를 제어하는 프로세서를 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 광 출력부가 제1시점에 상기 오브젝트의 제1위치로 상기 라인 패턴 광을 투사하고, 상기 이미지 센서가 상기 오브젝트의 제1위치에 대응하는 제1픽셀 라인을 이용해 상기 오브젝트의 제1위치 상에 형성되는 제1광 패턴을 인식하도록 제어하고, 상기 광 출력부가 제2시점에 상기 오브젝트의 제2위치로 상기 라인 패턴 광을 투사하고, 상기 이미지 센서가 상기 오브젝트의 제2위치에 대응하는 제2픽셀 라인을 이용해 상기 오브젝트의 제2위치 상에 형성되는 제2광 패턴을 인식하도록 제어하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 2차원 픽셀 어레이의 복수의 픽셀 라인에 의해 순차적으로 획득된 상기 제1광 패턴 및 상기 제2광 패턴을 포함하는 복수의 광 패턴들을 조합하여, 상기 오브젝트의 입체적 형태를 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 이미지 센서는 CMOS (complementary metal?oxide semiconductor) 센서를 포함하고, 상기 CMOS 센서의 롤링 셔터(rolling shutter) 기능을 이용해 상기 오브젝트의 입체적 형태를 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 광을 출력하기 위한 광원; 상기 출력된 광을 라인 광으로 출력하기 위한 적어도 하나의 렌즈; 입력되는 광을 패턴을 갖는 광으로 통과시키기 위한 2차원 패턴을 포함하는 회절 광학 소자; 및 상기 적어도 하나의 렌즈에서 출력되는 라인 광을 반사 시키고, 회전 가능한 MEMS(micro-electro mechanical systems) 미러를 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 라인 광이 상기 회절 광학 소자의 2차원 패턴의 각 라인에 순차적으로 투사되도록, 상기 MEMS 미러의 회전을 제어하도록 설정될 수 있다.
다양한 실시예에 따른 센서 장치의 오브젝트 인식 방법은, 오브젝트의 제1위치에 1차원 패턴이 형성된 제1라인 패턴 광을 투사하고, 이미지 센서의 2차원 픽셀 어레이의 제1픽셀 라인을 이용해 상기 오브젝트의 제1위치 상에 형성되는 제1광 패턴을 인식하는 동작; 상기 오브젝트의 제2위치에 1차원 패턴이 형성된 제2라인 패턴 광을 투사하고, 상기 이미지 센서의 2차원 픽셀 어레이의 제2픽셀 라인을 이용해 상기 오브젝트의 제2위치 상에 형성되는 제2광 패턴을 인식하는 동작; 및 상기 2차원 픽셀 어레이의 복수의 픽셀 라인에 의해 순차적으로 획득된 상기 제1광 패턴 및 상기 제2광 패턴을 포함하는 복수의 광 패턴들을 조합하여, 상기 오브젝트의 입체적 형태를 결정하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 광의 투사 패턴을 라인 단위로 순차적으로 투사하여, 보다 정확한 인식이 가능하도록 하는 센서 장치 및 센서 장치의 오브젝트 인식 방법을 제공할 수 있다.
도 1은 다양한 실시예에 따른 센서 장치의 블록도이다.
도 2는 다양한 실시예에 따른 광 출력부의 세부 구성을 도시한 것이다.
도 3은 다양한 실시예에 따른 이미지 센서의 픽셀 어레이를 도시한 것이다.
도 4는 다양한 실시예에 따른 센서 장치가 오브젝트를 인식하는 예를 도시한 것이다.
도 5는 다양한 실시예에 따른 센서 장치가 오브젝트를 인식하는 예를 도시한 것이다.
도 6은 다양한 실시예에 따른 센서 장치의 오브젝트 인식 방법의 흐름도이다.
이하, 본 명세서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 통상의 기술자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
도 1은 다양한 실시예에 따른 센서 장치의 블록도이다.
도 1을 참조 하면, 센서 장치(100)는 광 출력부(110), 이미지 센서(120) 및 프로세서(130)를 포함할 수 있고, 광 출력부(110)는 광원(112), 적어도 하나의 렌즈(114), 회절 광학 소자(116) 및 MEMS 미러(118)를 포함할 수 있다. 도 1에 도시된 구성 중 적어도 일부가 생략 또는 치환 되더라도 다양한 실시예에 따른 센서 장치(100)를 구현할 수 있다. 도시된 각 구성은 하우징(미도시) 내에 배치되어 센서 장치(100)는 하나의 이동(또는 휴대) 가능한 장치로 구현될 수 있다.
다양한 실시예에 따르면, 센서 장치(100)는 주변의 오브젝트(예: 사람, 사물 등)의 입체적 형상을 인식할 수 있다. 센서 장치(100)는 후술하는 바와 같이, 특정 패턴이 형성된 광을 오브젝트에 투사하고, 이미지 센서(120)를 이용해 이를 인식하는 구조광 방식으로 오브젝트의 입체적 형상을 인식할 수 있다.
다양한 실시예에 따르면, 프로세서(130)는 센서 장치(100)의 각 구성(예: 광 출력부(110), 이미지 센서(120) 등)를 제어하는 기능을 수행할 수 있다. 이를 위해, 프로세서(130)는 센서 장치(100)의 각 구성과 전기적 및/또는 기능적으로 연결될 수 있다.
다양한 실시예에 따르면, 광 출력부(110)는 1차원 패턴이 형성된 라인 패턴 광을 오브젝트에 투사할 수 있다. 라인 패턴 광은 라인 형태와 같이 넓이에 비해 높이가 상당히 낮고, 라인 내에 원, 타원 등 다양한 형태의 패턴이 형성된 것을 의미할 수 있다. 예를 들어, 라인 패턴 광은 라인 광의 일부 영역이 원, 타원 등의 패턴에 의해 차단된 형태이거나 회절 광학 소자에 의해 생성된 라인 패턴 광일 수 있다.
다양한 실시예에 따르면, 광 출력부(110)는 시점(time point)에 따라 오브젝트의 서로 다른 위치에 라인 패턴 광을 투사할 수 있다. 예를 들어, 광 출력부(110)는 제1시점에 오브젝트의 제1위치로 제1라인 패턴 광을 투사하고, 제2시점(예: 제1시점의 직후 시점)에 오브젝트의 제2위치(예: 제1위치의 수직 방향 바로 아래 라인)에 제1라인 패턴 광을 투사할 수 있다. 이와 같이, 광 출력부(110)는 특정 시점에는 오브젝트의 하나의 위치(또는 라인)에 라인 패턴 광을 투사하되, 센서 장치(110)는 MEMS 미러(118)의 반사 각도를 조절하여 라인 패턴 광이 투사되는 위치를 순차적으로 변경할 수 있다.
다양한 실시예에 따르면, 광 출력부(110)는 광원(112), 적어도 하나의 렌즈(114), 회절 광학 소자(116)(또는 마스크 패턴) 및 MEMS 미러(118)를 포함할 수 있다.
광원(112)은 가시광 또는 레이저 광을 출력할 수 있다. 광원(112)은 고정된 위치에서 정해진 방향으로 광을 출력할 수 있다. 광원(112)은 프로세서(130)의 제어 신호에 따라 광의 출력 시간 및/또는 주기를 결정할 수 있으며, 후술하는 바와 같이 광원(112)의 광 출력 시간 및/또는 주기는 MEMS 미러(118)의 회전 및 이미지 센서(120)에서 활성화 되는 픽셀 어레이의 픽셀 라인과 동기화 될 수 있다.
광원(112)과 MEMS 미러(118) 사이에는 적어도 하나의 렌즈(114)가 배치될 수 있다. 예를 들어, 제1렌즈는 콜리메이터 렌즈(collimator lens)로써 광원(112)과 MEMS 미러(118) 사이에 배치되어 광원(112)에서 출력되는 광을 점광으로 출력할 수 있다. 제2렌즈는 라인 렌즈(line lens)로써, 제1렌즈와 MEMS 미러(118) 사이에 배치되어 제1렌즈에서 출력되는 점광을 라인광으로 출력할 수 있다. 제1렌즈 및/또는 제2렌즈를 통해 출력되는 점광이나 라인광은 MEMS 미러(118)을 통해 반사되어 회절 광학 소자(116)(또는 마스크 패턴)의 방향으로 출력될 수 있다.
MEMS(micro-electro mechanical systems) 미러(118)는 제1렌즈 및/또는 제2렌즈를 통해 출력되는 점 광 또는 라인 광을 반사할 수 있다. MEMS 미러(118)는 프로세서(130)의 제어에 따라 회전될 수 있으며, 그에 따라 라인 광의 반사 각도가 변경될 수 있다. 이에 따라 특정 시점에 MEMS 미러(118)로부터 하나의 라인 광(또는 점 광)만 반사되게 되며, MEMS 미러(118)가 회전됨에 따라 각각의 시점에 서로 다른 위치(또는 방향)로 라인 광(또는 점광)이 출력될 수 있다. MEMS 미러(118)는 회전 가능한 평면 미러로 구성될 수 있으며, 다각형 형태의 폴리곤 미러로 구성될 수도 있다.
회절 광학 소자(116)(또는 마스크 패턴)는 입력되는 광을 패턴을 갖는 광으로 통과 시키기 위한 2차원 패턴을 포함할 수 있다. 회절 광학 소자(116)(diffractive optical elements(DOE))는 마스크 패턴일 수 있다. 여기서, 2차원 패턴은 2차원 평면에 원, 타원 등 다양한 형태의 패턴이 형성된 것을 의미할 수 있다. 평면 광이 회절 광학 소자(116)를 통과 하게 되면, 해당 패턴 부분이 필터링 된 평면 패턴 광이 통과될 수 있다. 또한, 라인 광(또는 점광)이 회절 광학 소자(116)의 일부를 통과하게 되면, 해당 영역에 형성된 패턴 부분이 필터링 된 라인 패턴 광이 통과될 수 있다. 다양한 실시예에 따르면, 회절 광학 소자(116)(또는 마스크 패턴)의 구성에 따라 입력되는 점광 또는 라인 광을 라인 패턴 광으로 출력할 수 있다. 다양한 실시예에 따르면, 센서 장치(100)는 점 광을 라인 광으로 출력하는 제2렌즈를 포함하지 않을 수도 있고, 이 경우 제1렌즈로부터 출력되어 MEMS 미러(118)에 의해 반사된 점광이 회절 광학 소자(116)를 통과하여 라인 패턴 광으로 출력될 수 있다.
회절 광학 소자(116)를 통과한 라인 패턴 광은 오브젝트 상에 투사될 수 있다.
광 출력부(110)의 상세한 구성에 대해서는 도 2를 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따르면, 프로세서(130)는 광원(112)에서 출력되어 제1렌즈 및 제2렌즈를 통과한 라인 광(또는 점광)이 회절 광학 소자(116)의 2차원 패턴의 각 라인에 순차적으로 투사되도록 MEMS 미러(118)의 회전을 제어할 수 있다. 예를 들어, 제1시점에는 라인 광(또는 점 광)이 반사되어 회절 광학 소자(116)의 제1라인으로 입사되도록 MEMS 미러(118)가 회전되고, 그에 따라 회절 광학 소자(116)의 제1라인을 통과한 제1라인 패턴 광이 오브젝트의 제1위치에 투사될 수 있다. 프로세서(130)는 순차적으로 MEMS 미러(118)가 회전되도록 MEMS 미러(118)의 회전을 제어할 수 있으며, 그에 따라 제2시점에는 라인 광(또는 점 광)이 반사되어 회절 광학 소자(116)의 제2라인으로 입사되도록 MEMS 미러(118)가 회전되고, 그에 따라 회절 광학 소자(116)의 제2라인을 통과한 제2라인 패턴 광이 오브젝트의 제2위치에 투사될 수 있다.
다양한 실시예에 따르면, 이미지 센서(120)는 오브젝트의 적어도 일 영역을 촬영하여 이미지 정보를 획득할 수 있다. 이미지 센서(120)는 CMOS (complementary metal-oxide semiconductor)센서로 구현될 수 있으나, 이에 한정되지 않고 CCD(charge coupled device) 센서 등 다른 종류의 이미지 센서(120)가 사용될 수 있다. 이미지 센서(120)는 2차원 픽셀 어레이(pixel array)를 포함하며, 2차원 픽셀 어레이의 각각의 행은 픽셀 라인으로 정의될 수도 있다. 이미지 센서(120)는 롤링 셔터(rolling shutter) 방식으로 순차적으로 각각의 픽셀 라인에서 이미지 신호를 획득할 수 있다.
다양한 실시예에 따르면, 프로세서(130)는 순차적으로 서로 다른 위치로 라인 패턴 광을 투사하도록 광 출력부(110)를 제어하고, 라인 패턴 광의 투사 위치에 맵핑되는 이미지 센서(120)의 2차원 픽셀 어레이의 픽셀 라인을 이용해 오브젝트 상에 형성된 광 패턴을 인식하도록 제어할 수 있다.
예를 들어, 제1시점에는 오브젝트의 제1위치에 제1광 패턴이 형성되고, 프로세서(130)는 이에 동기하여 2차원 픽셀 어레이에서 제1위치에 대응되는 제1픽셀 라인을 이용해 이미지를 획득할 수 있다. 즉, 제1시점에 이미지 센서(120)는 제1픽셀 라인만 활성화 되어 오브젝트의 제1위치에 형성된 제1광 패턴을 인식할 수 있다. 또한, 제2시점(예: 제1시점의 직후)에는 오브젝트의 제2위치에 제2광 패턴이 형성되고, 프로세서(130)는 이에 동기하여 2차원 픽셀 어레이에서 제2위치에 대응되는 제2픽셀 라인을 이용해 이미지를 획득할 수 있다. 즉, 제2시점에 이미지 센서(120)는 제2픽셀 라인만 활성화 되어 오브젝트의 제2위치에 형성된 제2광 패턴을 인식할 수 있다.
이와 같은 방식으로 2차원 픽셀 어레이의 모든 픽셀 라인이 각각의 라인의 광 패턴을 인식하면, 2차원의 이미지 정보가 획득되고, 프로세서(130)는 획득된 이미지 정보를 이용해 오브젝트의 입체적 형상을 인식할 수 있다. 즉, 각각의 픽셀 라인에서 획득된 이미지는 서로 다른 시점에 획득된 것이지만, 이미지 센서(120)의 롤링 셔터 기능 및 MEMS 미러(118)의 회전을 동기화 하여, 짧은 시간에 하나의 2차원 이미지 정보를 획득할 수 있다.
프로세서(130)는 2차원 이미지 정보에 포함된 패턴의 형태에 기초하여 오브젝트의 각 부분과 이미지 센서(120) 간의 거리를 획득할 수 있고, 그에 따라 오브젝트의 입체적 형상을 인식할 수 있다.
다양한 실시예에 따르면, 센서 장치(100)는 하나의 시점에 하나의 라인의 패턴만을 순차적으로 투사하므로, 주변 광에 의한 오인식을 줄일 수 있다.
도 2는 다양한 실시예에 따른 광 출력부의 세부 구성을 도시한 것이다.
도 2 및 4에서 도면 상 수평 방향을 x 축, 수직 방향을 y축, x축 및 y축과 수직인 방향을 z축으로 정의할 수도 있다.
다양한 실시예에 따르면, 광 출력부(예: 도 1의 광 출력부(110))는 광원(212), 적어도 하나의 렌즈, 회절 광학 소자(216) 및 MEMS 미러(218)를 포함할 수 있다.
광원(212)은 가시광 또는 레이저 광을 출력할 수 있다. 광원(212)은 고정된 위치에서 정해진 방향으로 광을 출력할 수 있다.
제1렌즈(214a)는 콜리메이터 렌즈(collimator lens)로써 광원(212)과 MEMS 미러(218) 사이에 배치되어 광원(212)에서 출력되는 광을 점광으로 출력할 수 있다. 제2렌즈(214b)는 라인 렌즈(line lens)로써, 제1렌즈(214a)와 MEMS 미러(218) 사이에 배치되어 제1렌즈(214a)에서 출력되는 점광을 라인광으로 출력할 수 있다. 제2렌즈(214b)를 통해 라인광이 출력되면 MEMS 미러(218)를 통해 반사되어 라인광이 회절 광학 소자(216)의 방향으로 출력될 수 있다.
다양한 실시예에 따르면, 회절 광학 소자(216)(또는 마스크 패턴)의 구성에 따라 입력되는 점광 또는 라인 광을 라인 패턴 광으로 출력할 수 있다. 다양한 실시예에 따르면, 센서 장치(200)는 점 광을 라인 광으로 출력하는 제2렌즈(214b)를 포함하지 않을 수도 있고, 이 경우 제1렌즈로(214a)부터 출력되어 MEMS 미러(218)에 의해 반사된 점광이 회절 광학 소자(216)를 통과하여 라인 패턴 광으로 출력될 수 있다.
MEMS(micro-electro mechanical systems) 미러(218)는 제2렌즈(214b)를 통해 출력되는 라인 광을 반사할 수 있다. MEMS 미러(218)는 프로세서의 제어에 따라 회전될 수 있으며, 그에 따라 라인 광의 반사 속도가 변경될 수 있다. 이에 따라 특정 시점에 MEMS 미러(218)로부터 하나의 라인 광만 반사되게 되며, MEMS 미러(218)가 회전됨에 따라 각각의 시점에 서로 다른 위치(또는 방향)로 라인 광이 출력될 수 있다. 도 2에서 라인 광은 z축 방향으로 소정의 길이를 갖는 라인 광일 수 있다. MEMS 미러(218)는 z축을 축으로 하여 회전될 수 있다.
회절 광학 소자(216)(또는 마스크 패턴)는 입력되는 광을 패턴을 갖는 광으로 통과 시키기 위한 2차원 패턴을 포함할 수 있다. 회절 광학 소자(216)를 라인 광의 광축의 수직 방향에서 바라보면, 도시된 바와 같이 2차원 평면에 원, 타원 등 다양한 형태의 패턴이 형성된 형태일 수 있다. 도 2에서는 2차원 패턴 상에서 원형 패턴이 규칙적으로 배열되어 있으나, 이에 한정되지 않고, 실제 2차원 패턴은 도시된 것보다 더 조밀하게 형성될 수 있다.
도 2에 도시된 바와 같이 회절 광학 소자(216)를 통과한 라인 패턴 광이 오브젝트 상에 투사되도록 센서 장치를 배치하여 오브젝트를 스캔 할 수 있다.
다양한 실시예에 따르면, 프로세서(예: 도 1의 프로세서(130))는 광원(212)에서 출력되어 제1렌즈(214a) 및 제2렌즈(214b)를 통과한 라인 광이 회절 광학 소자(216)의 2차원 패턴의 각 라인에 순차적으로 투사되도록 MEMS 미러(218)의 회전을 제어할 수 있다. 예를 들어, 제1시점에는 라인 광이 반사되어 회절 광학 소자(216)의 제1라인으로 입사되도록 MEMS 미러(218)가 회전되고, 그에 따라 회절 광학 소자(216)의 제1라인을 통과한 제1라인 패턴 광이 오브젝트의 제1위치에 투사될 수 있다. 프로세서는 순차적으로 MEMS 미러(218)가 회전되도록 MEMS 미러(218)의 회전을 제어할 수 있으며, 그에 따라 제2시점에는 라인 광이 반사되어 회절 광학 소자(216)의 제2라인으로 입사되도록 MEMS 미러(218)가 회전되고, 그에 따라 회절 광학 소자(216)의 제2라인을 통과한 제2라인 패턴 광이 오브젝트의 제2위치에 투사될 수 있다.
도 3은 다양한 실시예에 따른 이미지 센서의 2차원 픽셀 어레이를 도시한 것이다.
도시된 바와 같이, 이미지 센서(예: 도 1의 이미지 센서(120))는 2차원 픽셀 어레이(320)를 포함할 수 있다.
이미지 센서는 롤링 셔터 방식에 의해 순차적으로 각각의 픽셀 라인에서 이미지 신호를 획득하게 되고, 한 주기 동안 n개 행의 픽셀 라인이 모두 이미지 정보를 획득하는 경우 이를 조합하여 하나의 2차원 이미지 정보를 생성할 수 있다.
이미지 센서는 프로세서(예: 도 1의 프로세서(130))의 제어에 따라 제1시점에 제1픽셀 라인(321)을 이용하여 이미지 정보를 획득할 수 있다. 제1시점에는 오브젝트의 제1위치에 제1광 패턴이 형성되므로, 제1픽셀 라인(321)은 제1광 패턴에 대응되는 이미지 정보를 획득할 수 있다. 또한, 이미지 센서는 프로세서의 제어에 따라 제2시점에 제2픽셀 라인(322)을 이용하여 이미지 정보를 획득할 수 있다. 제2시점에는 오브젝트의 제1위치에 제1광 패턴이 형성되므로, 제2픽셀 라인(322)은 제2광 패턴에 대응되는 이미지 정보를 획득할 수 있다.
2차원 픽셀 어레이(320)의 모든 픽셀 라인이 각각의 라인의 광 패턴을 인식하면, 2차원의 이미지 정보가 획득되고, 프로세서는 획득된 이미지 정보를 이용해 오브젝트의 입체적 형상을 인식할 수 있다.
다양한 실시예에 따르면, 센서 장치는 하나의 시점에 하나의 라인의 패턴만을 순차적으로 투사하므로 주변 광에 의한 간섭이 최소화 될 수 있고, 이를 이미지 센서의 픽셀 라인과 동기화 하기 때문에, 전체적인 오브젝트의 형상을 보다 정확히 인식할 수 있다.
도 4는 다양한 실시예에 따른 센서 장치가 오브젝트를 인식하는 예를 도시한 것이다.
도 4를 참조 하면, 광원에서 출력된 광은 라인 광으로 MEMS 미러(418)에 의해 반사될 수 있다. 라인 광은 z축 방향으로 긴 형태의 라인 광일 수 있다. MEMS 미러(418)에 의해 반사된 라인 광은 회절 광학 소자(416)(또는 마스크 패턴)를 통과하여 소정의 패턴이 형성된 라인 패턴 광으로 오브젝트(490)에 투사될 수 있다. MEMS 미러(418)의 회전에 따라 순차적으로 오브젝트(490)의 다른 위치로 라인 패턴 광을 투사될 수 있다. MEMS 미러(418)는 연속적으로 회전 하거나, 회전 중 이미지 센서가 광 패턴을 인식하는 구간에 회전을 정지할 수도 있다.
이미지 센서(420)는 라인 패턴 광의 투사 위치에 맵핑되는 이미지 센서(420)의 2차원 픽셀 어레이의 픽셀 라인을 이용해 오브젝트(490) 상에 형성된 광 패턴을 인식할 수 있다. 프로세서는 MEMS 미러(418)의 회전 각도 및 이미지 센서에서 활성화 되는 픽셀 라인을 동기화 할 수 있다.
이미지 센서(420)의 2차원 픽셀 어레이의 모든 픽셀 라인이 각각의 라인의 광 패턴을 인식하면, 2차원의 이미지 정보가 획득되고, 프로세서는 획득된 이미지 정보를 이용해 오브젝트(490)의 입체적 형상을 인식할 수 있다.
도 5 다양한 실시예에 따른 센서 장치가 오브젝트를 인식하는 예를 도시한 것이다.
도 5에서는 센서 장치가 사람의 얼굴에 라인 패턴 광을 투사하여, 얼굴의 형상을 인식하는 실시예에 대해 도시하고 있다.
다양한 실시예에 따르면, 프로세서(예: 도 1의 프로세서(130))는 광원에서 출력되어 제1렌즈 및 제2렌즈를 통과한 라인 광이 회절 광학 소자(또는 마스크 패턴)의 2차원 패턴의 각 라인에 순차적으로 투사되도록 MEMS 미러의 회전을 제어할 수 있다.
예를 들어, 제1시점에는 라인 광이 반사되어 회절 광학 소자의 제1라인으로 입사되도록 MEMS 미러가 회전되고, 그에 따라 회절 광학 소자의 제1라인을 통과한 제1라인 패턴 광이 오브젝트의 제1위치에 투사될 수 있다. 프로세서는 이와 적어도 동시에 이미지 센서(예: 도 1의 이미지 센서(120))의 제1픽셀 라인(571)을 활성화 하여 오브젝트의 제1위치에 형성된 제1광 패턴(561)을 인식할 수 있다.
또한, 제2시점에는 MEMS 미러가 프로세서의 제어에 의해 회전되고, 그에 따라 회절 광학 소자의 제2라인을 통과한 제2라인 패턴 광이 오브젝트의 제2위치에 투사될 수 있다. 도 5에서는 설명을 위해 제2광 패턴(562)이 제1광 패턴(561)보다 낮은 위치에 형성된 것으로 도시하고 있는데, 그 간격은 도시된 것보다 더 짧을 수 있다. 프로세서는 이와 적어도 동시에 이미지 센서의 제2픽셀 라인(572)을 활성화 하여 오브젝트의 제2위치에 형성된 제2광 패턴(562)을 인식할 수 있다.
이와 같은 방식으로 2차원 픽셀 어레이의 모든 픽셀 라인이 각각의 라인의 광 패턴을 인식하면, 2차원의 이미지 정보가 획득되고, 프로세서는 획득된 이미지 정보를 이용해 오브젝트의 입체적 형상을 인식할 수 있다. 즉, 각각의 픽셀 라인에서 획득된 이미지는 서로 다른 시점에 획득된 것이지만, 이미지 센서의 롤링 셔터 기능 및 MEMS 미러의 회전을 동기화 하여, 짧은 시간에 하나의 2차원 이미지 정보를 획득할 수 있다.
도 6은 다양한 실시예에 따른 센서 장치의 오브젝트 인식 방법의 흐름도이다.
동작 610에서, 센서 장치는 광 출력부를 이용해 오브젝트의 제1위치에 1차원 패턴이 형성된 제1라인 패턴 광을 투사할 수 있다. 광 출력부는 광원, 적어도 하나의 렌즈(예: 제1렌즈, 제2렌즈), 회절 광학 소자(또는 마스크 패턴) 및 MEMS 미러를 포함하며, 광 출력부의 세부 구성에 대해서는 도 2를 통해 설명한 바 있다. 센서 장치는 이와 적어도 일부 동시에 이미지 센서의 2차원 픽셀 어레이의 제1픽셀 라인을 이용해 오브젝트의 제1위치 상에 형성되는 제1광 패턴을 인식할 수 있다.
동작 620에서, 센서 장치는 광 출력부의 MEMS 미러를 회전 시켜 오브젝트의 제2위치에 1차원 패턴이 형성된 제2라인 패턴 광을 투사할 수 있다. 센서 장치는 이와 적어도 일부 동시에 이미지 센서의 2차원 픽셀 어레이의 제2픽셀 라인을 이용해 오브젝트의 제2위치 상에 형성되는 제2광 패턴을 인식할 수 있다.
동작 610 및 620을 포함하여, 한 주기 동안 n개 행의 픽셀 라인이 모두 이미지 정보를 획득하는 경우 이를 조합하여 하나의 2차원 이미지 정보를 생성할 수 있다.
동작 630에서, 센서 장치는 2차원 픽셀 어레이의 복수의 픽셀 라인에 의해 순차적으로 획득된 제1광 패턴 및 제2광 패턴을 포함하는 복수의 광 패턴들을 조합하여, 오브젝트의 입체적 형태를 결정할 수 있다.

Claims (7)

  1. 오브젝트 인식을 위한 센서 장치에 있어서,
    1차원 패턴이 형성된 라인 패턴 광을 오브젝트에 투사하기 위한 광 출력부;
    2차원 픽셀 어레이를 포함하고, 상기 라인 패턴 광에 의해 상기 오브젝트 상에 형성된 광 패턴을 인식하기 위한 이미지 센서; 및
    순차적으로 서로 다른 위치로 상기 라인 패턴 광을 투사하도록 상기 광 출력부를 제어하고, 상기 라인 패턴 광의 투사 위치에 맵핑되는 상기 2차원 픽셀 어레이의 픽셀 라인을 이용해 상기 오브젝트 상에 형성된 광 패턴을 인식하도록 상기 이미지 센서를 제어하는 프로세서를 포함하며,
    상기 광 출력부는,
    광을 출력하기 위한 광원;
    상기 출력된 광을 라인 광으로 출력하기 위한 적어도 하나의 렌즈;
    입력되는 광을 패턴을 갖는 광으로 통과시키기 위한 2차원 패턴을 포함하는 회절 광학 소자; 및
    상기 적어도 하나의 렌즈에서 출력되는 라인 광을 반사 시켜 각각의 시점에 상기 회절 광학 소자의 각각의 라인으로 입사되도록 하는, 회전 가능한 MEMS(micro-electro mechanical systems) 미러를 포함하며,
    상기 프로세서는,
    제1시점에 상기 적어도 하나의 렌즈를 통해 반사된 라인 광이 상기 회절 광학 소자의 상기 2차원 패턴의 제1라인으로 입사되고 제2시점에 상기 라인 광이 상기 2차원 패턴의 제2라인으로 입사되도록 상기 MEMS 미러를 제어하는 센서 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 광 출력부가 상기 제1시점에 상기 오브젝트의 제1위치로 상기 라인 패턴 광을 투사하고, 상기 이미지 센서가 상기 오브젝트의 제1위치에 대응하는 제1픽셀 라인을 이용해 상기 오브젝트의 제1위치 상에 형성되는 제1광 패턴을 인식하도록 제어하고,
    상기 광 출력부가 상기 제2시점에 상기 오브젝트의 제2위치로 상기 라인 패턴 광을 투사하고, 상기 이미지 센서가 상기 오브젝트의 제2위치에 대응하는 제2픽셀 라인을 이용해 상기 오브젝트의 제2위치 상에 형성되는 제2광 패턴을 인식하도록 제어하도록 설정된 센서 장치.
  3. 제 2항에 있어서,
    상기 프로세서는,
    상기 2차원 픽셀 어레이의 복수의 픽셀 라인에 의해 순차적으로 획득된 상기 제1광 패턴 및 상기 제2광 패턴을 포함하는 복수의 광 패턴들을 조합하여, 상기 오브젝트의 입체적 형태를 결정하도록 설정된 센서 장치.
  4. 제 2항에 있어서,
    상기 이미지 센서는 CMOS (complementary metal?oxide semiconductor) 센서를 포함하고,
    상기 CMOS 센서의 롤링 셔터(rolling shutter) 기능을 이용해 상기 오브젝트의 입체적 형태를 결정하도록 설정된 센서 장치.
  5. 삭제
  6. 삭제
  7. 삭제
KR1020180161553A 2018-12-14 2018-12-14 오브젝트 인식을 위한 센서 장치 Active KR102029003B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180161553A KR102029003B1 (ko) 2018-12-14 2018-12-14 오브젝트 인식을 위한 센서 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180161553A KR102029003B1 (ko) 2018-12-14 2018-12-14 오브젝트 인식을 위한 센서 장치

Publications (1)

Publication Number Publication Date
KR102029003B1 true KR102029003B1 (ko) 2019-10-07

Family

ID=68422337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161553A Active KR102029003B1 (ko) 2018-12-14 2018-12-14 오브젝트 인식을 위한 센서 장치

Country Status (1)

Country Link
KR (1) KR102029003B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160124664A (ko) * 2015-04-20 2016-10-28 삼성전자주식회사 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서
WO2017073045A1 (ja) * 2015-10-28 2017-05-04 京セラ株式会社 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法
KR20170051663A (ko) * 2015-10-30 2017-05-12 한국생산기술연구원 3차원 스캐닝 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160124664A (ko) * 2015-04-20 2016-10-28 삼성전자주식회사 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서
WO2017073045A1 (ja) * 2015-10-28 2017-05-04 京セラ株式会社 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法
KR20170051663A (ko) * 2015-10-30 2017-05-12 한국생산기술연구원 3차원 스캐닝 시스템

Similar Documents

Publication Publication Date Title
EP3552180B1 (en) Distance sensor including adjustable focus imaging sensor
CN104634276B (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
JP4485365B2 (ja) 測距装置
CN201974159U (zh) 包括mems反射镜的轮廓传感器
US20180104788A1 (en) Laser projector with flash alignment
US9013711B2 (en) Contour sensor incorporating MEMS mirrors
CN110133853B (zh) 可调散斑图案的调节方法及其投射方法
EP3664447A1 (en) Structured light projector, three-dimensional camera module and terminal device
CN107783353B (zh) 用于捕捉立体影像的装置及系统
KR101562467B1 (ko) 스마트 폰을 이용한 3차원 형상 측정 장치
KR101341620B1 (ko) 3차원 형상 측정 시스템 및 방법
KR101824888B1 (ko) 3차원 형상 측정 장치 및 그의 측정 방법
KR101611415B1 (ko) 3차원 스캐너
EP3809095A1 (en) 3d information detection device
JP2017520755A (ja) ３ｄ粗レーザスキャナ
CN112602118A (zh) 图像处理装置和三维测量系统
US20230408253A1 (en) Three-dimensional scanner having sensors with overlapping fields of view
CN115390087A (zh) 一种激光线扫描三维成像系统及方法
KR102029003B1 (ko) 오브젝트 인식을 위한 센서 장치
WO2021032298A1 (en) High resolution optical depth scanner
CN112598719A (zh) 深度成像系统及其标定方法、深度成像方法、存储介质
TWI638136B (zh) 三維影像量測系統
CN110955056B (zh) 多影像投影机以及具有多影像投影机的电子装置
KR20210151000A (ko) 거리측정장치 및 거리측정장치의 화각 동기화 방법
JP7314659B2 (ja) 測距装置および撮影装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181214

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20181214

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190107

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190923

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190930

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191001

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220921

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230921

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20241023

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250703

Start annual number: 7

End annual number: 7