[go: up one dir, main page]

KR100820261B1 - 화상 처리 장치 - Google Patents

화상 처리 장치 Download PDF

Info

Publication number
KR100820261B1
KR100820261B1 KR1020067021058A KR20067021058A KR100820261B1 KR 100820261 B1 KR100820261 B1 KR 100820261B1 KR 1020067021058 A KR1020067021058 A KR 1020067021058A KR 20067021058 A KR20067021058 A KR 20067021058A KR 100820261 B1 KR100820261 B1 KR 100820261B1
Authority
KR
South Korea
Prior art keywords
image
distance
value
shaded
differential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020067021058A
Other languages
English (en)
Other versions
KR20070020005A (ko
Inventor
겐이치 하기오
모토 이카리
유지 다카다
유스케 하시모토
후미 쓰네사다
Original Assignee
마츠시다 덴코 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004224480A external-priority patent/JP4466260B2/ja
Priority claimed from JP2004250805A external-priority patent/JP4534670B2/ja
Priority claimed from JP2004347713A external-priority patent/JP4645177B2/ja
Application filed by 마츠시다 덴코 가부시키가이샤 filed Critical 마츠시다 덴코 가부시키가이샤
Publication of KR20070020005A publication Critical patent/KR20070020005A/ko
Application granted granted Critical
Publication of KR100820261B1 publication Critical patent/KR100820261B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

화상 처리 장치는 변조 주파수에서 강도가 변조되는 광이 대상 공간에 조사되는 상태에서 수광 소자의 전기적인 출력으로부터 거리 화상 및 농담 화상을 생성한다. 이 화상 처리 장치는, 조사된 광과 수신된 광 간의 위상차에 따라 대상 공간 내의 대상물과 화상 처리 장치 사이의 거리값을 각각 제공하는 화소값들을 갖는 거리 화상과, 수신된 광의 강도에 따라 대상물의 농담값을 각각 제공하는 화소값들을 갖는 농담 화상을 생성하는 화상 생성기를 포함한다. 화상 생성기의 출력을 이용하여 대상물의 윤곽을 추출할 수 있다.
Figure R1020067021058
거리 화상, 농담 화상, 차분 화상, 거리 미분 화상, 농담 미분 화상, 대상물 추출기, 미분기

Description

화상 처리 장치{IMAGE PROCESSING DEVICE}
본 발명은 강도 변조 광이 조사되는 대상 공간으로부터 공간 정보를 추출하는 화상 처리 장치에 관한 것이다.
종래부터, 촬상 수단의 출력으로부터 대상물의 거리 정보를 측정하거나 대상물의 윤곽을 추출하는 다양한 유형의 공간 정보 검출 장치가 제안되고 있다. 예컨대, 일본 공개특허 번호 11-284997호는 화상 센서의 사용에 의해 생성된 농담 화상(gray image)으로부터 대상물의 윤곽을 추출하는 기술을 개시하고 있으며, 일본 공개특허 번호 64-10108호는 스폿형(spot-like) 또는 선형의 광 패턴을 대상물에 조사하고, 이 대상물로부터 반사된 광을 위치 감지 검출기(PSD)에 의해 수신하며, 위치 감지 검출기의 출력을 삼각 측량법(triangle surveying method)에 따라 거리로 변환함으로써 대상물과의 거리를 결정하는 기술을 개시하고 있다. 또한 PCT 공개 번호 WO03/085413호는 방출 주파수로 강도가 변조되는 광을 대상 공간에 조사하고, 그 대상 공간 내의 대상물로부터 반사된 광을 수신함으로써 획득된 광의 강도에 대응하는 전기적인 출력으로부터 거리 등의 공간 정보를 검출하는 공간 정보 검출 장치를 개시하고 있다.
한편, 농담 화상과 거리 정보의 양자를 이용함으로써 더 많은 양의 공간 정 보가 획득될 수 있다. 그러나, 종래의 기술에 따르면, 농담 화상의 농담값(gray value) 및 대응하는 거리값의 각각이 동일한 화소로부터 획득되지 않기 때문에, 농담 화상의 각각의 위치와 그에 대응하는 거리값을 연관시키는 처리가 별도로 요구된다. 예컨대, 삼각 측량법을 이용하는 장치에서는 광이 대상 공간에 주사되기 때문에, 농담 화상의 생성과 거리 정보의 생성 간에 비교적 큰 시간차가 발생하며, 이로써 그들 간의 연관 처리가 복잡하게 된다. 또한, CCD 촬상 센서를 장착한 TV 카메라 등의 농담 화상을 생성하는 장치와, 위치 감지 검출기 등의 거리 정보를 검출하는 장치의 양자를 사용할 때, 그 전체 장치의 크기 및 비용이 증대되어 문제가 되고 있다.
따라서, 본 발명의 일차적인 관심사는 변조 주파수에서 강도가 변조되는 광을 대상 공간에 조사하고, 그 대상 공간 내의 대상물로부터 반사된 광을 수신함으로써, 거리 화상 및 농담 화상의 양자를 생성할 수 있는 화상 처리 장치를 제공하는 것이다.
즉, 본 발명의 화상 처리 장치는, 변조 주파수에서 강도가 변조되는 광을 대상 공간에 조사하도록 구성된 광원; 그 대상 공간 내의 대상물로부터 반사된 광을 수신하고 수신된 광의 강도에 대응하는 전기적인 출력을 생성하도록 구성된 광전 변환기 등의 수광 소자; 및 상기 광원에서 방출된 광과 상기 수광 소자에 의해 수신된 광 간의 위상차에 따라 대상물과 화상 처리 장치 사이의 거리값을 각각 제공하는 화소값들을 갖는 거리 화상과, 수신된 광의 강도에 따라 대상물의 농담값을 각각 제공하는 화소값들을 갖는 농담 화상을 생성하도록 구성된 화상 생성기를 포함한다.
본 발명에 따르면, 대상물의 농담 화상과 거리 화상은 상기 수광 소자에 의해 수신된 광의 강도에 대응하는 전기적인 출력으로부터 동시에 획득될 수 있다. 또한, 농담 화상의 농담값과 거리 화상의 대응하는 거리값의 각각이 동일한 화소로부터 획득되므로, 농담 화상에서의 각각의 위치와 그에 대응하는 거리값을 연관시키는 처리가 불필요하게 된다. 결과적으로, 이러한 복잡한 연관 처리없이도 농담 화상과 거리 화상의 양자를 이용함으로써 더 많은 양의 공간 정보를 획득할 수 있게 된다. 또한, 농담 화상만을 생성하는 종래의 촬상 장치와 거리 정보를 추출하는 종래의 거리 측정 장치를 조합하는 경우에 비하여, 대체적으로 장치의 소형화가 가능하고 비용이 감소된다는 또 다른 장점을 갖게 된다.
본 발명에서, 화상 처리 장치는, 상기 거리 화상으로부터, 거리 미분값을 각각 제공하는 화소값들을 갖는 거리 미분 화상을 생성하고, 농담 화상으로부터, 농담 미분값을 각각 제공하는 화소값들을 갖는 농담 미분 화상을 생성하도록 구성된 미분기와, 상기 거리 미분 화상과 상기 농담 미분 화상을 이용하여 대상물의 윤곽을 추출하도록 구성된 윤곽 추출기를 더 포함하는 것이 바람직하다. 이 경우, 농담 화상만을 이용하는 경우에 비하여, 노이즈의 양을 감소시킬 수 있는 동시에 대상물의 윤곽을 명확하게 추출할 수 있게 된다.
상기 화상 생성기는 농담 화상을 시계열적인 방식으로 생성하며, 상기 화상 처리 장치는, 농담 화상으로부터, 농담 미분값을 각각 제공하는 화소값을 갖는 농담 미분 화상을 생성하도록 구성된 미분기와, 상기 농담 미분값과 상기 거리값을 이용하여 대상물을 검출하도록 구성된 대상물 검출기를 더 포함하는 것이 바람직하다. 이 경우, 명암차가 큰 영역이 대상 공간에서 명암차가 상대적으로 작은 또 다른 영역으로부터 용이하게 분리된다. 따라서, 대상 공간 내의 대상물과 배경 간의 높은 명암 조건 하에 있는 대상물의 윤곽을 추출하는데 효과적이다. 또한, 요구된 거리 범위 내의 대상물의 윤곽이 농담 미분 화상을 이용하여 추출된 영역에 대응하는 거리 화상의 거리값으로부터 획득될 수 있다.
대상물 검출기는 상이한 시각에 획득된 2개의 농담 화상으로부터 생성되는 한 쌍의 농담 미분 화상 간의 차분 화상을 생성하고, 각각의 화소값이 그 차분 화상의 임계값 이상인 영역을 추출하며, 그 영역에 대응하는 거리 화상의 화소값의 대표값이 소정 범위 내에 있을 때 그 영역을 대상물로서 검출하는 것이 바람직하다. 이 경우, 대상 공간에서 밝기 변화가 발생하는 영역만이 추출될 수 있다. 또한, 각각의 화소값이 상기 임계값보다 더 적은 영역이 제거되므로, 2개의 농담 화상이 생성되는 상이한 시각 사이에서 대상물이 이동한 영역을 추출할 수 있다. 또한, 농담 화상과 거리 화상으로부터 구해진 차분 화상을 이용하여 대상물 영역을 거리에 따라 배경으로부터 정확하게 분리하는 것이 가능하게 된다.
또한, 대상물 검출기는, 상이한 시각에 획득된 적어도 3개의 농담 화상으로부터 생성된 적어도 3개의 농담 미분 화상 중의 각각 2개의 농담 미분 화상 간의 차분으로 이루어지는 복수의 차분 화상을 생성하고, 각각의 화소값이 상기 차분 화상의 각각에 대한 임계값 이상인 영역을 추출하여 이진 화상(binary image)을 획득하며, 이 이진 화상 중의 하나의 이진 화상의 화소값과 다른 하나의 이진 화상의 대응 화소값 간에 논리 연산을 수행하여 이들 사이의 공통 영역을 추출하고, 그 공통 영역에 대응하는 거리 화상의 화소값의 대표값이 소정 범위 내에 있을 때에 그 공통 영역을 대상물로서 검출하는 것이 바람직하다. 이 경우, 대상 공간을 이동하고 있는 대상물의 실루엣을 배경을 거의 제거하면서 추출할 수 있는 장점이 있다. 또한, 농담 화상과 거리 화상으로부터 얻어진 차분 화상을 이용하여 대상물 영역을 거리에 따라 배경으로부터 정확하게 분리하는 것도 가능하다.
본 발명의 바람직한 실시예에서, 화상 처리 장치는, 상기 화상 생성기에 의해 생성된 농담 화상 내의 대상물의 복수의 측정 지점을 결정하도록 구성된 측정 지점 결정 유닛과, 상기 화상 생성기에 의해 생성된 거리 화상에서의 상기 측정 지점의 각각에 대응하는 화소의 거리값을 이용하여 대상물 상의 상기 측정 지점 중의 2개의 측정 지점 사이의 실제 거리를 계산하도록 구성된 거리 계산기를 더 포함한다. 이 경우, 농담 화상만을 생성하는 종래의 촬상 장치와 거리 정보를 추출하는 종래의 거리 측정 장치를 조합하여, 농담 화상의 각각의 위치를 대응하는 거리값에 연련시키는 처리를 수행하는 경우에 비해, 대상물의 요구된 부분에 대한 실제 크기를 용이하게 결정할 수 있게 된다.
본 발명의 또 다른 바람직한 실시예에서, 화상 처리 장치는, 상기 화상 생성기에 의해 생성된 농담 화상과 거리 화상의 적어도 하나의 화상으로부터 대상물의 3D 모델을 개산(estimate)하도록 구성된 형상 개산 유닛(shape estimating unit)과, 형상 개산 유닛의 출력과 전술한 거리 계산기의 출력에 따라 대상물의 체적을 개산하도록 구성된 체적 개산 유닛(volume eatimating unit)을 더 포함한다. 특히, 상기 화상 생성기에 의해 생성된 농담 화상을 표시하기 위한 모니터가 설치되고, 상기 측정 지점 결정 유닛이 사용자로 하여금 상기 모니터의 화면을 터치함으로써 상기 모니터 상에 표시된 대상물 상의 요구된 측정 지점을 지정하도록 구성된 위치 지정기를 포함할 때, 상기 위치 지정기에 의해 정해진 요구된 측정 지점 중의 2개의 측정 지점 사이의 실제 거리가 거리 계산기에 의해 계산될 수 있다. 이 화상 처리 장치에서는, 상기 수광 소자가 오직 한 방향으로부터 3차원 대상물에 의해 반사된 광을 수광하더라도, 그 대상물의 형상 및 체적 등의 3D 정보가 거리 화상 및 농담 화상의 양자를 이용하여 정확하게 개산될 수 있다. 또한, 대상물의 요구된 부분의 실제 크기가 용이하게 계산될 수 있다.
본 발명의 또 다른 바람직한 실시예로서, 화상 처리 장치는, 상기 화상 생성기에 의해 생성된 농담 화상으로부터 소정의 형상을 갖는 대상물을 추출하도록 구성된 대상물 추출기를 더 포함하며, 상기 측정 지점 결정 유닛은 상기 대상물 추출기에 의해 추출된 대상물 상의 복수의 측정 지점을 결정하며, 상기 거리 계산기는 결정된 측정 지점 중의 2개의 측정 지점 간의 실제 거리를 계산한다. 이 경우, 사용자로 하여금 측정 지점을 지정할 있도록 할 필요가 없기 때문에, 대상물의 소정의 부분의 실제 크기가 자동으로 계산될 수 있다. 또한, 측정 지점이 매번 사용자에 의해 지정되는 경우에 비해, 실제 크기의 측정 결과의 변동을 감소시킬 수 있다.
본 발명의 또 다른 바람직한 실시예로서, 화상 처리 장치는, 거리 화상의 소정 영역에서 최대값을 갖는 화소를 기준 화소로서 검출하도록 구성된 기준 화소 검출기와, 거리 화상의 기준 화소를 포함하는 특정 영역을 설정하고, 그 특정 영역으로부터 각각 소정 범위 내의 거리를 갖는 화소군을 추출하도록 구성된 화소 추출기와, 상기 화소 추출기에 의해 추출된 화소 중의 하나에 대해 각각 일대일 대응 관계를 갖는 화소들을 갖는 농담 화상에 따라, 상기 수광 소자의 감도(sensitivity)를 제어하도록 구성된 노출 제어기를 더 포함한다. 이 경우, 상기 수광 소자는 대상 공간의 밝기 및 대상물의 배경에 관계없이 정확한 노출로 자동으로 제어될 수 있다. 따라서, 본 화상 처리 장치는 TV 인터폰용으로 사용되는 것이 바람직하다.
본 발명의 상기한 목적 및 장점과 추가의 목적 및 장점은 첨부 도면을 참조하여 이하에 설명되는 본 발명을 수행하기 위한 최상의 모드로부터 더욱 명백하게 될 것이다.
도 1은 본 발명의 제1 실시예에 따른 화상 처리 장치의 블록도이다.
도 2의 (a)는 유체 비행 시간 측정법(time-of-flight method)을 예시하는 도면이고, (b) 및 (c)는 수광 소자의 전극에 제어 전압을 인가하는 타이밍도이다.
도 3a 및 도 3b는 수광 소자의 감도 제어 방법을 예시하는 개략 단면도이다.
도 4는 수광 소자의 평면도이다.
도 5는 또 다른 수광 소자를 예시하는 블록도이다.
도 6a 및 도 6b는 화상 처리 장치의 전하 생성 및 보유 동작을 예시하는 개략도이다.
도 7a 및 도 7b는 화상 처리 장치의 또 다른 전하 생성 및 보유 동작을 예시하는 개략도이다.
도 8은 거리 미분값을 결정하기 위해 사용된 3×3 화소 배열을 도시하는 도면이다.
도 9는 본 발명의 제2 실시예에 따른 화상 처리 장치의 블록도이다.
도 10은 대상 공간에서 이동하고 있는 대상물의 윤곽을 추출하는 방법을 예시하는 도면이다.
도 11은 본 발명의 제3 실시예에 따른 화상 처리 장치의 블록도이다.
도 12는 본 발명의 제4 실시예에 따른 화상 처리 장치의 블록도이다.
도 13은 화상 처리 장치의 동작을 예시하는 개략도이다.
도 14a 및 도 14b는 화상 처리 장치에 의해 생성된 대상물의 거리 화상의 개략도이다.
도 15는 본 발명의 제5 실시예에 따른 화상 처리 장치의 블록도이다.
도 16은 화상 처리 장치의 동작을 예시하는 개략도이다.
(제1 실시예)
도 1에 도시된 바와 같이, 본 발명의 화상 처리 장치는 광을 대상 공간에 조사하기 위한 광원(1), 그 대상 공간 내의 사람 등의 대상물 M으로부터 반사된 광을 수신하는 수광 소자(2), 수광 소자에 대한 제어 유닛(3), 수광 소자(2)의 출력으로부터 거리 화상 및 농담 화상을 생성하는 화상 생성기(4), 거리 화상으로부터 거리 미분 화상을 생성하고 농담 화상으로부터 농담 미분 화상을 생성하는 미분기(50), 및 거리 미분 화상과 농담 미분 화상을 이용하여 대상물 M의 윤곽을 추출하는 윤곽 추출기(52)를 포함한다.
본 발명은, 광원으로부터 광이 조사되는 시각과 수광 소자(2)에 의해 대상물로부터 반사된 광이 수신되는 시각 사이의 경과 시간으로 정의되는 비행 시간 측정법으로 광원(1)과 대상물 M 사이의 거리가 결정된다는 전제를 기초로 한다. 그 비행 시간이 극히 짧기 때문에, 광원(1)으로부터는 요구된 변조 주파수에서 강도가 변조되는 광이 조사된다. 따라서, 광원(1)으로부터 방출된 강도-변조된 광과 수광 소자(2)에 의해 수신된 광 간의 위상차를 이용하여 거리를 결정할 수 있다.
"비행 시간 측정법"은 미국 특허 번호 5,656,667호 및 PCT 공개번호 WO 03/085413호에 개시되어 있다. 따라서, 도 2의 (a)에 도시된 바와 같이, 광원(1)으로부터 방출된 광의 강도가 곡선 "S1"으로 나타낸 바대로 변화하고, 수광 소자(2)에 의해 수시된 광의 강도가 곡선 "S2"로 나타낸 바대로 변화할 때, 4개의 상이한 위상(0°, 90°, 180°, 270°)의 각각에서 수신 광의 강도가 검출되어 4개의 강도(A0, A1, A2, A3)가 획득될 수 있다. 각각의 위상(0°, 90°, 180°, 270°)의 바로 그 순간에 수신된 광의 강도를 검출하는 것이 불가능하기 때문에, 각각의 강도(A0, A1, A2, A3)는 실질적으로 짧은 시간폭 "Tw" 내에 수신된 광의 강도에 대응한다. 위상차 "ψ"가 변조 기간 내에서 변화하지 않고, 광원(1)으로부터의 광의 조사와 대상물 M으로부터 반사된 광의 수신 사이의 시간 구간에서 소광비(light extinction ratio)도 변화하지 않는 것으로 가정하면, 위상차 "ψ"는 다음의 수학 식 1에 의해 표현될 수 있다"
Figure 112006073141118-pct00001
본 발명에서, 수신된 광의 강도는 서로 90도로 이격된 4개의 상이한 위상(0°, 90°, 180°, 270°) 이외의 다른 위상에서 검출될 수도 있다.
광원(1)으로서는, 예컨대 발광 다이오드(LED)의 어레이 또는 반도체 레이저와 발산 렌즈(divergent lens)의 조합이 사용될 수 있다. 광원(1)은 제어 유닛(3)으로부터 제공되는 요구된 변조 주파수를 갖는 변조 신호에 의해 구동되어, 변조 신호에 의해 강도가 변조된 광을 방출한다. 일례로서, 20㎒의 사인파에 의해 강도가 변조된 광이 대상 공간에 조사된다. 이와 달리, 강도 변조는 삼각파 또는 톱니파 등의 또 다른 파형을 이용하여 수행될 수도 있다.
수광 소자(2)는, 각각 대상 공간 내의 대상물로부터의 반사광을 수광 표면에서 수신하여 수신된 광의 강도에 대응하는 양의 전기 전하를 생성하는 복수의 광전 변환기(20), 각각의 광전 변환기의 감도를 제어하는 감도 제어기(22), 상기 광전 변환기에 의해 생성된 전기 전하의 적어도 일부를 집적하는 전하 집적부(charge collecting portion)(24), 및 상기 전하 집적부로부터의 전기 전하를 출력하는 전하 취출부(26)로 구성된다. 본 실시예에서, 수신된 광의 양(A0, A1, A2, A3)은 화상 처리 장치와 대상물 간의 거리를 획득하기 위해 광원(1)으로부터 방출된 광의 강도에 있어서의 변화에 동기된 4개의 타이밍에서 결정된다. 이들 타이밍은 후술 하는 바와 같이 제어 유닛(3)에 의해 제어된다. 광원으로부터 방출된 광의 강도 변화의 한 사이클에서 광전 변환기(20)의 각각에 의해 생성된 전기 전하의 양이 작기 때문에, 방출광의 강도 변화의 복수의 사이클에서 전기 전하가 집적되는 것이 바람직하다. 예컨대, 광전 변환기(20), 감도 제어기(22) 및 전하 집적부(24)는 단일의 반도체 소자로서 제공된다. 전하 취출부(26)는 종래의 CCD 화상 센서의 수직 전송부 또는 수평 전송부와 거의 동일한 구조를 가질 수도 있다.
강도 변조된 광은 대상물 M에 의해 반사되며, 그 후 반사광은 요구된 광학 시스템(5)을 통해 광전 변환기(22)에 입사된다. 도 3a 및 도 3b에 도시된 바와 같이, 광전 변환기(20)의 각각은 도핑된 반도체층(11)과, 도핑된 반도체층(11)의 표면 전반에 형성된 산화물막 등의 절연막(12)으로 구성된다. 도핑된 반도체층(11) 상에는 절연막(12)을 통해 복수의 전극(13)이 형성되어 있다. 예컨대, 화상 센서로서는 100×100 광전 변환기(22)의 행렬 배열이 이용될 수 있다.
이러한 유형의 수광 소자(2)는 단일 반도체 기판에 행렬 패턴의 광전 변환기(20)를 형성함으로써 획득될 수 있다. 광전 변환기(20)의 행렬 패턴의 각각의 열에서, 도핑된 반도체층(11)은 열 방향으로 전기 전하(전자 "e")를 전달하기 위한 수직 전달부로서 공통적으로 사용된다. 한편, 행렬 패턴의 각각의 열의 반도체층(11)의 일단으로부터 제공된 전기 전하는 수평 전달부를 통해 행 방향으로 전달된다. 예컨대, 도 4에 도시된 바와 같이, 수광 소자(2)는 광전 변환기(20)의 행렬 패턴에 의해 형성된 촬상부 Da와, 촬상부 Da에 인접하여 배치된 광차폐를 갖는 축적부 Db를 포함한다. 축적부 Db에서 집적된 전기 전하는 수평 전달부 Th에 전달된 다. 전하 취출부(26)는 수평 전달부 Th분만 아니라 수직 방향으로 전기 전하를 전달하는 기능을 포함한다. 전술한 전하 집적부(24)는 누적부 Db가 아닌 촬상부 Da에서의 전기 전하를 집적하는 기능을 의미한다. 즉, 누적부 Db는 전하 취출부(26)에 속한다. 이들 수직 및 수평 전달부는 종래의 프레임 전달(FT) CCD 화상 센서의 구성과 유사하다.
대상물 M으로부터 반사된 광이 수광 소자(2) 상에 입사하도록 통과시키는 광학 시스템(5)은 광전 변환기(20)의 각각과 대상물 상의 대응 지점 사이를 연결하는 가시적인 축을 결정한다. 일반적으로, 광학 시스템(5)은 광축이 광전 변환기(20)의 행렬 배열의 평면에 수직이 되도록 형성된다. 예컨대, 광학 시스템(5)의 중앙이 원지점(original point)으로 정의되고 직각 좌표계가 평면과 광축에서 수직 및 수평 방향으로 설정될 때, 광학 시스템은 대상 공간의 대상물 M에 관한 위치를 구면 좌표(spherical coordinate)로 나타냄으로써 획득된 각도(즉, 방위각 및 올려본 각도(elevation angle))가 각각의 광전 변환기(20)에 대응하도록 설계된다. 따라서, 대상물 M으로부터 반사된 광이 광학 시스템(5)을 통해 광전 변환기(20) 중의 하나에 입사될 때, 광전 변환기와 기준 방향으로서의 광축에 대한 대상물 상의 대응 위치 사이를 연결한 가시적인 축의 방향이 광전 변환기(20)의 위치를 이용하여 결정될 수 있다.
전술한 구조를 갖는 수광 소자(2)는 MIS(금속-절연체-반도체) 소자로서 알려져 있다. 그러나, 본 실시예의 수광 소자(2)는 복수의 제어 전극(예컨대, 도 3a에 도시된 5개의 제어 전극)이 각각의 광전 변환기(20) 상에 형성되어 있다는 점에서 종래의 MIS 소자와 상이하다. 절연막(12) 및 제어 전극(13)은 반투명 재료로 구성된다. 광이 절연막(12)을 통해 도핑된 반도체층(11) 상에 입사될 때, 도핑된 반도체층(11)에는 전기 전하가 생성된다. 도 3a에 도시된 도핑된 반도체층(11)은 n-형 반도체이다. 따라서, 생성된 전기 전하는 전자(e)이다.
본 실시예의 감도 제어기(22)에 의하면, 광전 변환기(20)에 의해 생성된 전기 전하의 양은 광전 변환기의 수광 영역의 면적(즉, 수광 면적)을 변경함으로써 제어될 수 있다. 예컨대, 제어 전압(+7V)이 도 3a에 도시된 바와 같이 5개의 제어 전극(13) 중의 3개에 인가될 때, 도 3a에 점선으로 나타낸 바와 같이 도핑된 반도체층(11)에서의 3개의 제어 전극에 대응하는 영역 위에는 전위 우물(공핍층)(14)이 형성된다. 전위 우물(14)이 형성된 광전 변환기(20)에 광이 입사할 때, 도핑된 반도체층(11)에서 생성된 전자의 일부는 도핑된 반도체층(11)의 저부(deep portion)에 있는 정공(hole)과의 직접 재결합에 의해 소멸된다.
한편, 5개의 제어 전극(13) 중의 중앙의 전극에 제어 전압(+V)이 인가될 때, 도 3b에 점선으로 도시된 바와 같이 도핑된 반도체층(11)에서의 한 전극에 대응하는 영역 위에 전위 우물(14)이 형성된다. 도 3a의 전위 우물(14)의 깊이가 도 3b의 전위 우물(14)의 전위 우물의 깊이와 동일하기 때문에, 도 3a의 전위 우물의 크기는 도 3b의 전위 우물의 크기 보다 더 크다. 따라서, 도 3a 및 도 3b의 각각의 수광 소자(2)에 동일한 양의 광이 제공될 때, 도 3a의 전위 우물은 더 많은 양의 전기 전하를 신호 전하로서 출력할 수 있다. 이것은 수광 소자(2)가 도 3b의 경우에 비해 도 3a의 상태 하에서 더 높은 감도를 갖는다는 것을 의미한다.
그러므로, 제어 전압이 인가되는 제어 전극(13)의 수를 변경함으로써, 도핑된 반도체층(11)의 표면 전반에 따른 방향에서의 전위 우물(14)의 크기(즉, 수광 표면에서의 전하 집적부(24)의 크기)는 수광 소자(2)의 요구된 감도를 달성하도록 제어될 수 있다.
이와 달리, 수광 소자(2)의 감도는 PCT 공개공보 WO03/085413에 개시된 바와 같이, 광전 변환기(20)에 의해 생성된 전기 전하의 양에 대하여 전하 집적부(24)에 제공된 전기 전하의 양의 비율을 변경함으로써 제어될 수 있다. 본 실시예를 이용하는 경우, 광전 변환기(20)에서 전하 집적부(24)로의 전기 전하의 흐름만을 제어하는 기술, 광전 변환기에서 전하 배출부로의 전기 전하의 흐름만을 제어하는 기술, 또는 전기 전하와 그 흐름 모두를 제어하는 기술 중의 하나를 수행하는 것이 바람직하다. 일례로서, 이하에서는 광전 변환기에서 전하 집적부 및 전하 배출부로의 전기 전하의 흐름을 제어하는 경우를 설명한다.
도 5에 도시된 바와 같이, 본 제어 방법에서 사용된 수광 소자(2)는 각각의 광전 변환기(20)와 대응 전하 집적부(24)의 사이에 형성된 게이트 전극(23), 및 광전 변환기(20)에 의해 공통적으로 사용되는 전하 배출부(27)를 포함한다. 게이트 전극(23)에 인가된 제1 제어 전압을 변경시킴으로써, 광전 변환기(20) 중의 하나에서 대응하는 전하 집적부(24)로 이동하는 전기 전하의 양이 제어될 수 있다. 또한, 광전 변환기(20) 중의 하나에서 전하 배출부(27)로 이동하는 전기 전하의 양은 전하 배출부(27)용 제어 전극(25)에 인가된 제2 제어 전압을 변경함으로써 제어될 수 있다. 이 경우, 예컨대, 오버플로우 드레인(overflow drain)을 갖는 인터라인 트랜스퍼(IT) 타입, 프레임 트랜스퍼(FT) 타입, 또는 프레임 인터라인 트랜스퍼(FIT) 타입 CCD 이미지 센서가 감도 제어기(22)를 갖는 수광 소자(2)로서 사용될 수 있다.
다음으로, 대상물 M과의 거리 정보를 획득하기 위해 광전 변환기(20)의 감도를 제어함으로써 수신 광의 4개의 강도(A0, A1, A2, A3)를 결정하는 방법을 설명한다. 전술한 바와 같이, 제어 유닛(3)은 제어 전극(13)에 인가된 제어 전압을 제어하여, 광전 변환기(20)에 형성된 전위 우물(14)의 면적, 즉 전하 집적부(24)의 크기를 변화시킨다. 이하의 설명에서는, 도 6a 및 도 6b에 도시된 바와 같이, 하나의 화소를 제공하는 한 쌍의 광전 변환기(20)를 위한 6개의 제어 전극(13)이 도면부호 "(1)" 내지 "(6)"으로 나타내어져 있다. 따라서, 한 쌍의 광전 변환기(20) 중의 하나는 제어 전극 "(1)" 내지 "(3)"을 갖고, 나머지 하나는 제어 전극 "(4)" 내지 "(6)"을 갖는다.
예컨대, 수신 광의 강도(A0, A1)의 각각에 대응하는 전기 전하는 하나의 화소를 제공하는 한 쌍의 광전 변환기(20)를 사용함으로써 교번적으로 생성될 수 있다. 강도(A0)에 대응하는 전기 전하를 생성하는 경우, 큰 면적을 갖는 전위 우물(14)은 도 6a에 도시된 바와 같이 각각의 광전 변환기(20)의 제어 전극 "(1)" 내지 "(3)"의 전부에 일정한 제어 전압을 인가함으로써 획득될 수 있다. 이 때, 광전 변환기(20)에 대하여, 제어 전압은 작은 면적을 갖는 전위 우물(14)을 획득하기 위해 제어 전극 "(4)" 내지 "(6)"의 중앙 전극 "(5)"에만 인가된다. 제어 전극 "(1)" 내지 "(3)"을 갖는 광전 변환기(20)에 형성된 대형의 전위 우물(14)은 높은 감도 상태의 전하 생성 기간에 있으며, 제어 전극 "(4)" 내지 "(6)"을 갖는 다른 광전 변환기(20)에 형성된 소형의 전위 우물(14)은 낮은 감도 상태의 전하 보유 기간에 있다. 이 상태 하에서, 강도(A0)에 대응하는 전기 전하는 제어 전극 "(1)" 내지 "(3)"을 갖는 광전 변환기의 대형의 전위 우물(14)에 집적될 수 있다.
한편, 강도(A2)에 대응하는 전기 전하를 생성할 때, 도 6b에 도시된 바와 같이 광전 변환기(20) 중의 하나의 광전 변환기의 전극 "(4)" 내지 "(6)"의 전부에 일정한 제어 전압을 인가함으로써 큰 면적을 갖는 전위 우물(14)이 획득될 수 있다. 이 때, 다른 광전 변환기(20)에 대하여서는 제어 전극 "(1)" 내지 "(3)" 중의 중앙 전극 "(2)"에만 제어 전압이 인가되어 작은 면적을 갖는 전위 우물(14)이 획득된다. 제어 전극 "(4)" 내지 "(6)"을 갖는 광전 변환기(20)에 형성된 대형 전위 우물(14)은 높은 감도 상태의 전하 생성 구간에 있고, 제어 전극 "(1)" 내지 "(3)"을 갖는 다른 광전 변환기(20)에 형성된 소형 전위 우물(14)은 낮은 감도 상태의 전하 유지 구간에 있다. 이 상태 하에서, 제어 전극 "(4)" 내지 "(6)"을 갖는 광전 변환기(20)의 대형 전위 우물(14)에는 강도 "(A2)"에 대응하는 전기 전하가 집적될 수 있다. 그러므로, 제어 전극 "(1)" 내지 "(3)"을 갖는 광전 변환기(20)에의 대형 전위 우물(14)의 형성과 제어 전극 "(4)" 내지 "(6)"을 갖는 광전 변환기(20)에의 대형 전위 우물(14)의 형성을 교번적으로 반복함으로써, 수신광의 강도(A0, A2)의 각각에 대응하는 전기 전하가 획득될 수 있다.
도 2의 (b) 및 (c)에는 각각의 강도(A0, A2)에 대응하는 전기 전하를 생성하기 위해 제어 전극에 제어 전압을 인가하는 타이밍이 도시되어 있으며, 이 도면에 서 사선 영역은 제어 전압이 제어 전극에 인가되었다는 것을 나타낸다. 수신광의 강도(A1, A3)의 각각에 대응하는 전기 전하는 제어 전극에 제어 전압을 인가하는 타이밍이 변조 신호의 위상에 대해 90도 시프트된다는 점을 제외하고는 전술한 것과 거의 유사한 방법에 따라 한 화소에 설치하는 한 쌍의 광전 변환기(20)를 사용함으로써 교번적으로 생성될 수 있다. 그러므로, 제어 유닛(3)은 제어 전압을 제어 전극에 인가하는 타이밍과, 제어 전압이 인가되는 제어 전극의 수를 제어한다. 즉, 광원(1)에서 대상 공간으로 조사되는 광과 수광 소자(2)에 의해 수신된 광 간의 위상차를 결정하기 위해서는, 제어 유닛(3)에 의해 광원(1)을 구동하기 위한 변조 신호의 구간에 동기된 타이밍에서 수광 소자의 감도가 제어된다. 즉, 제어 유닛(3)에 의해 변조 신호의 구간에 동기된 반복 사이클로 수광 소자(2)의 높은 감도 상태와 낮은 감도 상태가 교번적으로 반복된다.
강도(A0)에 대응하는 전기 전하가 도 6a에 도시된 대형 전위 우물(14)에 집적되고, 강도(A2)에 대응하는 전기 전하가 도 6b에 도시된 대형 전위 우물(14)에 집적된 후, 이들 전기 전하는 전하 취출부(26)로부터 출력된다. 유사하게, 강도(A1, A3)의 각각에 대응하는 전기 전하는 집적된 후에 전하 취출부(26)로부터 출력된다. 그러므로, 상기의 과정을 반복함으로써, 수신광의 4가지의 강도(A0, A1, A2, A3)의 각각에 대응하는 전기 전하를 획득하고, 상기의 수학식 1을 사용하여 위상차 "ψ"를 결정하는 것이 가능하게 된다.
전하 생성 구간에서 제어 전극에 인가된 제어 전압은 전하 유지 구간에서 제어 전극에 인가된 제어 전압보다 더 큰 것이 바람직하다. 이 경우, 도 7a 및 도 7b에 도시된 바와 같이, 전하 유지 구간에 형성된 전위 우물(14)의 깊이는 전하 생성 구간에 형성된 전위 우물의 깊이보다 더 작다. 예컨대, 깊이가 깊은 전위 우물(14)을 획득하기 위해 제어 전극 "(1)" 내지 "(3)" 또는 "(4)" 내지 "(6)"에 인가된 제어 전압은 7V이며, 깊이가 낮은 전위 우물(14)을 획득하기 위해 제어 전극 "(2)" 또는 "(5)"에만 인가된 제어 전압은 3V일 것이다. 전기 전하(전자 "e")를 주로 생성하기 위한 전위 우물(14)이 전기 전하를 유지하기 위한 전위 우물(14)보다 더 깊이가 깊을 때, 전기 전하는 깊이가 깊은 전위 우물에서 용이하게 흐를 수 있고, 이로써 노이즈의 양이 상대적으로 감소될 수 있다.
수광 소자(2)의 전하 취출부(26)로부터 제공된 전기 전하는 화상 생성기(4)에 보내진다. 화상 생성기(4)에서, 대상물 M의 지점과 화상 처리 장치 간의 거리는 광전 변환기(20)의 각각에 대하여 수신광의 강도(A0, A1, A2, A3)를 수학식1에 대임함으로써 결정된다. 그 결과, 대상물을 포함한 대상 공간에 대한 정보가 획득된다. 3D 정보를 이용함으로써, 각각이 대상물의 지점과 화상 처리 장치 간의 거리값을 제공하는 화소값들을 갖는 거리 화상이 생성될 수 있다.
한편, 수광 소자(2)의 전하 취출부(26)로부터 제공된 전기 전하의 양으로부터는 대상물 M의 밝기 정보를 획득할 수 있다. 즉, 광전 변환기(20)의 각각에서 수신된 광의 양의 합계 또는 그 양의 평균값은 대상물 상의 지점의 농담값에 대응한다. 그 결과, 각각이 대상물 상의 지점의 농담값을 제공하는 화소값들을 갖는 농담 화상이 획득된다. 본 실시예에서, 수광 소자(2)에의 외부 광의 입사를 최소화하기 위해, 광원(1)은 적외선을 대상 공간에 조사하며, 적외선-투과 필터(도시하 지 않음)가 수광 소자(2)의 전면에 배치된다. 따라서, 본 실시예의 화상 처리 장치에 의해 생성된 농담 화상은 적외선 농담 화상이 된다.
그러므로, 대상물의 지점과 화상 처리 장치 간의 거리값 및 대상물 상의 지점의 농담값의 양자를 동일한 화소로부터 획득할 수 있다. 따라서, 거의 동일한 시각에 거리 화상과 농담 화상을 획득하는 것이 가능하다. 또한, 거리 화상의 화소의 각각이 농담 화상의 화소의 각각과 일대일 대응관계를 갖기 때문에, 농담 화상에서의 각각의 위치를 대응하는 거리 정보와 연관시키는 처리가 요구되지 않는다. 더욱이, 농담 화상만을 이용하는 경우에 비해, 대상물 M에 대한 더 많은 공간적인 정보를 획득할 수 있다.
화상 생성기(4)에 의해 생성된 농담 화상과 거리 화상은 미분기(50)에 보내진다. 미분기(50)에서는, 각각이 거리 미분값을 제공하는 화소값들을 갖는 거리 미분 화상이 거리 화상으로부터 생성되며, 각각이 농담 미분값을 제공하는 화소값들을 갖는 농담 미분 화상이 농담 화상으로부터 생성된다. 거리 미분값과 농담 미분값의 각각은 소정의 화소 영역 내의 중앙 화소 및 그 중앙 화소 주변의 이웃 화소의 화소값들을 이용하여 결정될 수 있다.
예컨대, 도 8에 도시된 바와 같이, 거리 화상의 9개의 화소(p1∼p9)의 3×3 배열에서의 중앙 화소(p5)의 거리 미분값 "Dd"은 다음의 수학식2로 표현된다.
Dd = (△X2 + △Y2)1/2
"△X" 및 "△Y"는 다음의 계산을 수행함으로써 각각 획득된다:
△X = (B1 + B4 + B7) - (B3 + B6 + B9)
△Y = (B1 + B2 + B3) - (B7 + B8 + B9)
여기서, B1 내지 B9는 각각 화소 p1 내지 p9의 화소값이다. 유사하게, 농담 화상의 중앙 화소(p5)의 농담 미분값이 결정될 수 있다. 거리 미분 화상에 있어서는, 거리 화상에서의 거리차가 증가할 때, 거리 미분값이 더 커지게 된다. 유사하게, 농담 화상에서 밝기(명암)차가 증가할 때, 농담 미분값은 더 커지게 된다.
그리고나서, 거리 미분 화상과 농담 미분 화상은 대상물 M의 윤곽을 추출하기 위해 윤곽 추출기(52)에 보내진다. 본 발명에서는 다음의 방법 (1) 내지 (5) 중의 한 방법에 따라 대상물의 윤곽을 추출하는 것이 바람직하다.
(1) 거리 미분 화상에서 거리 미분값이 최대로 되는 영역과 농담 미분 화상에서 농담 미분값이 최대로 되는 영역을 결정하고, 이들 영역을 대상물의 윤곽으로서 추출한다.
(2) 거리 미분 화상에서 기리 미분값이 최대로 되는 제1 영역과 농담 미분 화상에서 농담 미분값이 최대로 되는 제2 영역을 결정하고, 이들 영역을 대상물의 윤곽으로서 추출한다.
(3) 거리 미분 화상에서 거리 미분값이 임계값 이상인 영역과 농담 미분 화상에서 농담 미분값이 임계값 이상인 영역 중의 적어도 한 영역을 결정하고, 그 영역을 대상물의 윤곽으로서 추출한다.
(4) 거리 미분 화상에서 거리 미분값이 임계값 이상인 제1 영역과 농담 미분 화상에서 농담 미분값이 임계값 이상인 제2 영역을 결정하고, 제1 영역과 제2 영역이 서로 일치하는 영역을 대상물의 윤곽으로서 추출한다.
(5) 거리 미분 화상의 각각의 화소의 거리 미분값과 농담 미분 화상의 대응하는 화소의 농담 미분값의 가중 합(weighted sum)을 결정하고, 그 가중합이 임계치 이상인 영역을 대상물의 윤곽으로서 추출한다.
상기한 방법에 따르면, 대상물의 윤곽을 포함하는 1-화소폭 영역이 추출될 수 있다. 또한, 상기 방법 (1) 또는 (3)에 따르면, 대상물의 윤곽을 더 높은 확률로 추출할 수 있다. 예컨대, 방법 (1) 또는 (3)은 대상물의 내부 실루엣 또는 에지를 추출하는데 효과적이다. 방법 (2) 또는 (4)에 따르면, 대상 공간에 밝기의 차와 거리의 변화가 큰 영역이 있을 때에도, 실수에 의해 노이즈가 대상물의 윤곽으로서 추출되는 것을 방지하면서, 대상물의 윤곽을 정확하게 추출하는 것이 가능하게 된다.
방법 (3)과 (4)에서, 농담 미분값에 대한 임계값은 거리 미분값에 대한 임계값과 상이하게 되도록 설정되는 것이 바람직하다. 또한, 대상물의 윤곽을 추출하는 감도가 임계값의 크기를 변화시킴으로써 제어될 수 있다는 또 다른 장점이 있다. 특히, 농담 미분값과 거리 미분값의 양자가 임계값 이상인 영역이 추출될 때, 노이즈 성분이 제거된다는 현저한 효과가 달성된다. 방법 (5)에서, 가중 합을 결정하기 위해 사용된 가중치를 적절하게 설정함으로써 거리 미분값과 농담 미분값 간의 우선순위를 제어할 수 있다. 예컨대, 거리 미분값에 대한 가중치가 농담 미분값에 대한 가중치보다 상대적으로 더 클 때, 거리 변화가 큰 영역은 밝기(농도) 변화가 큰 영역보다 대상물의 윤곽으로서 더 높은 우선순위를 갖는다. 이 경우, 예컨대 사람의 안면의 윤곽이 용이하게 추출될 수 있다. 화상 처리 장치는 상기의 방법 (1) 내지 (5)로부터 요구된 한 가지 방법을 수행하기 위한 선택부를 추가로 포함한다.
대상물과 배경 간의 밝기차(농담차)가 대상물의 반사율 및 외부 광의 영향으로 인해 작을 때, 농담 미분 화상만을 이용하여서는 대상물의 윤곽을 정확하게 추출할 수 없는 경우가 있다. 또한, 대상물과 배경 간의 거리차가 작을 때, 거리 미분 화상만으로부터 대상물의 윤곽을 추출하는 것이 용이하지 않게 된다. 그러나, 본 발명에 따르면, 거리 미분 화상과 농담 미분 화상의 단점이 서로 보완되므로, 대상물의 윤곽의 검출 정확도가 향상된 화상 처리 장치를 제공할 수 있다. 또한, 농담 미분값과 그에 대응하는 거리 미분값의 각각으로부터 획득된 정보가 동일한 화소로부터 대상물 상의 동일한 위치에서 획득된 정보이므로, 추출될 대상물이 누락되는 것을 방지할 수 있고, 더 높은 신뢰도로 노이즈 성분을 제거할 수 있다.
(제2 실시예)
제2 실시예의 화상 처리 장치는 도 9에 도시된 바와 같이 대상물 검출기(54)가 윤곽 추출기(52) 대신에 제공된다는 점을 제외하고는 실질적으로 제1 실시예와 동일하다. 따라서, 도 1의 구성요소와 동일한 구성요소에는 동일한 도면부호가 부여되어 있으며, 그 설명을 생략한다.
대상물 검출기(54)는 미분기(50)의 출력, 즉 농담 미분 화상을 이용함과 아울러 다음의 방법에 따라 대상물 M을 검출한다. 화상 생성기(4)는 시계열적인 방 식으로 농담 화상을 생성한다. 따라서, 복수의 농담 화상이 상이한 시각에 획득된다. 대상물 검출기(54)는 2개의 농담 화상으로부터 생성되는 한 쌍의 농담 미분 화상 간의 차분 화상을 생성하고, 그 후 이 차분 화상에서 각각의 화소값이 임계값 이상인 영역을 추출한다. 이와 같이 추출된 영역은 대상 공간에서 이동한 대상물의 영역에 대응한다. 차분 화상의 생성에 의해, 배경은 거의 제거된다.
한편, 대상물 M이 아닌 이동 물체가 대상 공간에 존재할 때, 이것은 차분 화상에 노이즈 성분이 있다는 것을 의미한다. 대상물 M이 존재하지 못하는 거리 범위 내에 노이즈 성분이 존재할 때, 이 노이즈 성분은 다음의 방법에 따라 분리될 수 있다. 즉, 연결 영역(coupling region)을 획득하기 위해 차분 화상으로부터 추출된 영역에 대해 라벨링 처리(labeling treatment)가 수행된다. 연결 영역의 각각에 대해서는, 거리 화상의 화소값의 평균치가 결정되며, 그 후 그 평균이 소정 범위 내에 있는 영역이 대상물로서 추출된다. 그러므로, 요구된 거리 범위에 대응하는 영역을 추출함으로써, 대상물로부터 노이즈 성분이 분리될 수 있다.
배경을 제거하기 위해, 미분기(50)는 대상 공간에 이동 물체가 존재하지 않는 상태 하에서 획득된 농담 화상으로부터 기준 농담 미분 화상을 미리 생성한다. 이 경우, 상이한 시각에 획득된 기준 농담 미분 화상과 농담 미분 화상 간의 차분 화상이 생성된다. 화소값이 차분 화상으로부터의 임계값 이상인 영역을 추출함으로써, 대상물 M의 영역은 배경으로부터 용이하게 분리될 수 있다.
또한, 대상 공간을 이동하고 있는 대상물 M 이외의 고정 배경은 다음의 방법에 의해 제거되는 것이 바람직하다. 예컨대, 대상 공간에서 이동하고 있는 대상물 M에 대응하는 영역을 추출하기 위해, 종래의 TV 카메라를 이용하는 경우에서와 같이 30 프레임/초의 속도로 농담 화상이 생성되도록 수광 소자(2)로부터 전기 전하가 제공된다. 농담 미분 화상은 생성된 농담 화상으로부터 미분기(50)에 의해 생성되며, 임의로 선택된 2개의 농담 미분 화상 간의 차분 화상이 대상물 검출기(54)에 의해 생성된다. 대상물 M이 대상 공간에서 비교적 높은 속도로 이동할 때, 인접한 2개의 프레임에 대응하는 농담 미분 화상을 이용하여 차분 화상을 생성하는 것이 바람직하다.
농담 미분 화상들 간의 농담 미분값의 변화가 발생하는 획득된 차분 화상의 각각의 화소에 대하여서는, 0 이외의 화소값이 획득된다. 따라서, 차분 화상을 소정의 임계값을 이용하여 이치화함으로써, 차분 화상을 생성하기 위해 사용된 프레임쌍 간의 농담 미분값에서의 차분이 임계값 이상인 영역을 추출하는 것이 가능하게 된다. 이러한 영역은 농담 화상이 생성되는 2개의 상이한 시각 사이에 이동한 대상물의 영역에 대응한다. 그러므로, 노이즈 성분을 제거함으로써, 대상 공간을 이동하고 있는 대상물만이 추출될 수 있다. 이 경우, 대상 공간에서 이동하고 있는 대상물이 2개의 프레임의 각각으로부터 추출되므로, 2개의 상이한 시각에서 대상물의 위치에 대응하는 2개의 영역은 이치화된 화상으로 나타나게 된다.
전술한 경우에서, 프레임 중의 한 프레임에서의 대상물의 영역은 다른 프레임에서의 대상물의 영역과 분리될 수 없다. 따라서, 특정 시각에서(즉, 특정 프레임에서) 대상 공간을 이동하고 있는 대상물의 영역만을 추출할 필요가 있을 때, 상이한 시각에 획득된 적어도 3개의 프레임을 이용하여 다음의 처리를 수행하는 것이 바람직하다.
예컨대, 3개의 상이한 시각[(T-△T), (T), (T+△T)]에서 획득된 농담 화상으로부터 3개의 농담 미분 화상이 생성된다. 농담 미분 화상의 각각은 소정의 임계값을 이용하여 이치화되며, 이로써 도 10에 도시된 바와 같이 3개의 이치화된 화상[E(T-△T), E(T), E(T+△T)]이 생성된다. 이치화된 화상의 각각에서, 대상물 M의 윤곽을 포함하는 영역은 배경과는 상이한 화소값을 갖는다. 이 경우, 대상물의 윤곽을 포함하는 영역의 화소값은 "1"이다.
대상물 검출기(54)에서는 시계열적인 방식으로 인접한 이치화된 화상 E(T-△T)와 E(T) 간의 차분이 결정된다. 유사하게, 시계열적인 방식으로 또 다른 인접한 이치화된 화상 E(T)와 E(T+△T) 간의 차분이 결정된다. 이들 차분을 결정하기 위해, 인접한 이치화된 화상 중의 한 화상의 각각의 화소와 나머지 화상의 대응 화소의 쌍에 대하여 EXCLUSIVE OR(XOR) 논리 연산이 수행된다. 그 결과, 각각의 차분으로부터 이치화 미분 화상이 획득된다. 도 10에 도시된 바와 같이, 2개의 상이한 시각에서 대상물의 위치에 대응하는 2개의 영역은 각각의 이치화 미분 화상으로 나타나게 된다.
다음으로, 이치화 미분 화상 중의 한 화상의 각각의 화소와 다른 이치화 미분 화상의 대응 화소의 쌍에 대하여 AND 논리 연산이 수행된다. 즉, 이들 이치화 미분 화상에서는 배경이 거의 삭제되므로, 특정 시각(T)에서 대상 공간 내의 대상물에 대응하는 영역이 AND 논리 연산에 의해 추출될 수 있다. 그러므로, AND 논리 연산의 결과에 의하여 대상 공간을 이동하고 있는 대상물의 특정 시각(T)에서의 실 루엣이 제공된다.
후속하여, 연결 영역을 획득하기 위해 AND 논리 연산에 의해 획득된 영역에 대하여 라벨링 처리가 수행된다. 각각의 연결 영역에 대하여서는, 거리 화상의 화소값(거리값)의 평균치가 결정되며, 그 평균치가 소정 범위 내에 있는 영역이 대상물로서 추출된다. 또한, 소정 범위에서 벗어나 존재하는 영역은 노이즈 성분으로서 제거될 수 있다.
3개 이상의 농담 미분 화상을 이용하는 경우, 상기의 처리는 이하에 설명되는 바와 같이 수행될 수도 있다. 예컨대, 5개의 상이한 시각에 획득된 농담 화상으로부터 생성된 5개의 농담 미분 화상(1∼5)을 이용할 때, 농담 미분 화상(1, 2) 간에 AND 논리 연산을 수행하여 그 결과의 농담 미분 화상을 획득하며, 그 후 그 결과의 농담 미분 화상과 농담 미분 화상(3) 간의 차분이 결정된다. 유사하게, 농담 미분 화상(4, 5) 간에 AND 논리 연산을 수행하여 그 결과의 농담 미분 화상을 획득하며, 그 후 그 결과의 농담 미분 화상과 농담 미분 화상(3) 간의 차분이 결정된다. 이들 차분 간에 AND 논리 연산을 수행함으로써, 대상 공간을 이동하고 있는 대상물의 특정 시각에서의 실루엣을 획득하는 것이 가능하게 된다.
(제3 실시예)
제3 실시예의 화상 처리 장치는 이하의 구성요소를 제외하고는 제1 실시예의 화상 처리 장치와 거의 동일하며, 도 1에 도시된 구성요소와 동일한 구성요소에는 동일한 도면부호가 부여되어 있고, 그 설명을 생략한다.
본 실시예의 화상 처리 장치는 화상 생성기(4)에 의해 생성된 농담 화상 및 거리 화상을 이용하여 대상물의 요구된 부분의 실제 크기를 결정하는 실제 크기 계산기(62)와, 대상물 M의 형상을 개산하는 형상 개산 유닛(shape estimating unit)(64)과, 대상물의 체적을 개산하는 체적 개산 유닛(66)을 포함한다.
도 11에 도시된 바와 같이, 화상 생성기(4)에 의해 생성된 거리 화상은 측정 지점 결정 유닛(60)에 보내진다. 측정 지점 결정 유닛(60)에서는, 농담 화상에서 복수의 측정 지점을 지정한다. 이 측정 지점은 사용자에 의해 농담 화상에서 지정될 수 있다. 예컨대, 화상 처리 장치는 농담 화상을 표시하는 모니터(61)와, 사용자로 하여금 모니터의 화면을 터치하거나 또는 마우스 혹은 키보드 등의 포인팅 기기(도시하지 않음)를 이용하여 모니터(61) 상에 표시된 농담 화상에서 요구된 측정 지점을 지정할 수 있도록 하는 위치 지정기(63)를 더 포함하는 것이 바람직하다. 본 실시예에서, 모니터(61) 상에 표시된 농담 화상은 적외선 농담 화상이다. 모니터(61) 상에 거리 화상을 표시하고 그 거리 화상에서 측정 지점을 지정하는 경우에 비해, 대상물과 측정 지점 간의 위치 관계가 사용자에 의해 용이하게 인지될 수 있다.
이 측정 지점은 농담 화상에서 자동적으로 지정될 수도 있다. 이 경우, 화상 처리 장치는 화상 생성기(4)에 의해 생성된 농담 화상으로부터 소정의 형상을 갖는 대상물을 추출하도록 구성된 대상물 추출기를 포함한다. 예컨대, 농담 화상에서의 대상물의 위치는 대상물의 전체적인 형상을 템플리트(template)와 비교함으로써 결정될 수 있다. 측정 지점 결정 유닛(60)은 대상물의 형상에 따라 농담 화상에서 복수의 소정 측정 지점을 자동적으로 지정한다.
모니터(61) 상에 지정된 측정 지점과 화상 생성기(4)에 의해 생성된 거리 화상이 실제 크기 계산기(62)에 보내진다. 실제 크기 계산기(62)에서는 지정된 측정 지점의 각각에 대응하는 화소의 거리값이 거리 화상으로부터 결정된다. 또한, 거리 화상에서의 측정 지점의 위치 역시 결정된다. 측정 지점의 거리값 및 위치를 이용함으로써, 대상물 상의 측정 지점에 대한 3D 정보가 획득될 수 있다. 실제 크기 계산기(62)는 획득된 3D 정보를 이용하여 요구된 측정 지점 중의 2개의 지점 사이의 실제 거리를 결정한다. 획득된 실제 크기는 모니터(61) 상에 표시된다. 또한, 획득된 실제 크기는 모니터 상에 직선으로 표시된다. 전술한 대상물 추출기를 이용하는 경우, 실제 크기 계산기(62)는 소정의 측정 지점 중의 2개의 지점 간의 실제 거리를 자동적으로 계산한다.
적어도 3개의 측정 지점이 지정될 때, 복수의 쌍의 인접한 측정 지점이 지정 순서로 자동으로 설정되고, 실제 크기 계산기(62)가 인접한 측정 지점의 상의 각각에 대하여 실제 크기를 연속적으로 계산한다. 예컨대, 3개의 측정 지점(m1, m2, m3)이 지정될 때, 실제 크기 계산기(62)는 측정 지점 m1와 m2 및 m2와 m3 사이의 실제 크기를 연속적으로 계산한다. 또한, 복수의 측정 지점이 대상물의 윤곽을 따라 지정될 때, 대상물의 최대폭 또는 최소폭에 대응하는 측정 지점이 선택되어, 실제 크기 계산기(62)가 선택된 측정 지점 사이의 실제 크기를 계산하는 것이 바람직하다. 또한, 대상물 M의 윤곽이 농담 화상과 거리 화상 중의 적어도 하나를 사용하여 추출되고, 대상물의 윤곽으로부터 소정의 거리 범위 내에서 측정 지점이 지정될 때, 대상물의 윤곽 상의 측정 지점을 대체하는 처리가 수행될 수도 있다. 예컨 대, 대상물의 윤곽은 제1 실시예에서 설명된 윤곽 추출기(52)를 이용하여 추출될 수 있다.
형상 개산 유닛(64)은 화상 생성기(4)에 의해 생성된 거리 화상과 농담 화상의 적어도 한 화상으로부터 대상물의 형상 또는 방향(orientation)에 대한 3D 정보를 근사하도록 구성된다. 즉, 거리 화상과 농담 화상 중의 적어도 하나가 형상 개산 유닛(64)에 입력되어, 대상물의 에지(윤곽)가 추출된다. 제1 실시예에서 설명한 바와 같이, 에지의 추출은 거리 화상 또는 농담 화상에 대해 미분 처리를 수행하고, 그 후 이치화함으로써 달성된다. 미분 처리로서는 예컨대 SOBEL 필터 등의 에지 필터가 사용될 수 있다. 추출된 에지는 이들 에지가 대상물을 구성하는 성분인지의 여부를 판정하기 위해 소정 대상물의 3D 정보를 저장하고 있는 데이터베이스와 비교된다.
또한, 대상물에 대한 복수의 후보가 소정의 거리 범위에 존재할 때, 대상물이 이들 후보에 의해 일체적으로 형성되는지의 여부를 판정하는 것이 바람직하다. 예컨대, 3차원 공간에서 인접한 2개의 후보 사이의 거리차가 임계값 이하일 때, 이들 후보는 단일 대상물을 구성하는 성분으로서 판정된다. 단일 대상물을 구성하는 후보에 의해 둘러싸인 영역 내의 화소의 수와 거리값을 이용함으로써, 대상물의 크기가 개산될 수 있다.
체적 개산 유닛(66)은 형상 개산 유닛(64) 및 실제 크기 계산기(62)의 출력에 따라 대상물 M의 체적을 개산하도록 구성된다. 실제로, 농담 화상에서 측정 지점이 지정되어, 지정된 측정 지점에 의해 정해진 대상물의 부분의 체적이 체적 개 산 유닛(66)에 의해 개산되는 것이 바람직하다.
(제4 실시예)
본 실시예에서는 본 발명의 화상 처리 장치를 촬상 카메라로서 이용하는 TV 인터폰이 설명된다. 화상 처리 장치는 다음의 구성요소를 제외하고는 제1 실시예의 화상 처리 장치와 거의 동일하며, 도 1에 도시된 구성요소와 동일한 구성요소에는 동일한 도면부호가 부여되어 있고, 그 설명을 생략한다.
즉, 도 12에 도시된 바와 같이, 본 실시예의 화상 처리 장치는 거리 화상의 소정 영역에서 최소 거리값을 갖는 화소를 기준 화소로서 검출하도록 구성된 기준 화소 검출기(70)와, 거리 화상에서 기준 화소를 포함하는 특정 영역을 설정하고, 특정 영역으로부터 소정 범위 내의 거리값을 각각 갖는 복수의 화소를 추출하는 화소 추출기(72)를 포함하는 것을 특징으로 한다.
예컨대, 도 13에서, "E"는 TV 인터폰(100)으로부터 연장하는 2개의 사선에 의해 형성된 영역을 나타낸다. 사람 등의 대상물 M을 포함하고 있는 영역 E의 거리 화상 G1은 도 14a에 도시된 바와 같이 화상 생성기(4)에 의해 생성될 수 있다. 또한, "Qm"은 TV 인터폰(100)과 대상물 M 사이의 최소 거리를 제공하는 지점을 나타낸다. 거리 화상 G1에서 지점 Qm에 대응하는 화소 Pm가 기준 화소로서 검출된다.
다음으로, 도 14b에 도시된 바와 같이, 기준 화소 Pm과 화소 추출기(72)에 의해 추출된 소정 거리 범위 내의 거리값을 각각 갖는 화소를 이용하여 거리 화상에서 특정 영역 F가 설정된다. 예컨대, 도 13의 점선으로 표시된 2개의 현(arcuate) L1 및 L2 사이에 형성된 거리 범위 내의 거리값을 각각 갖는 화소들이 화소 추출기(72)에 의해 추출된다. 도 14b에서, 화소 추출기(72)에 의해 추출된 화소는 해칭 영역으로 나타내어져 있다. 소정 거리 범위의 하한치가 기준 화소 Pm의 거리값이고, 기준 화소 Pm의 거리값에 필요한 값(예컨대, 10㎝)을 추가함으로써 획득된 값이 그 상한치로서 결정될 때, 기준 화소에 관계하는 대상물(즉, TV 인터폰과 최소 거리에 위치된 대상물)이 추출될 수 있다.
또한, 도 12에 도시된 바와 같이, 본 실시예의 화상 처리 장치는 화상 생성기(4)에 의해 생성된 농담 화상을 저장하는 농담 화상 메모리(74)와, 농담 화상 메모리(74)로부터 농담 화상을 독출하고, 화소 추출기(72)에 의해 추출된 화소들 중의 하나와 일대일 대응관계를 각각 갖는 농담 화상의 화소들의 평균 농담값을 계산하도록 구성된 평균 농담값 계산기(76)와, 획득된 평균 농담값에 따라 수광 소자(2)의 노출을 제어하도록 구성된 노출 제어기(78)를 더 포함한다.
노출 제어기(78)는 광원(1)의 출력 또는 수광 소자(2)의 감도 제어기(22)의 출력을 제어 유닛(3)을 통해 제어하여, 화상 처리 장치의 적합한 노출을 제공한다. 기준 화소 검출기(70), 화소 추출기(72), 평균 농담값 계산기(76) 및 노출 제어기(78)는 요구된 소프트웨어를 마이크로컴퓨터에 설치함으로써 구현될 수도 있다. 본 실시예의 화상 처리 장치에 따르면, 노출이 자동적으로 제어되어 대상 공간의 밝기 또는 배경의 상태에 무관하게 노출을 수정할 수 있으므로 대상물을 명확하게 식별할 수 있다. 따라서, TV 인터폰에 향상된 보안 성능을 제공하는 것이 가능하다.
상기 실시예의 수정예로서, 컬러 CCD 등의 컬러 촬상 장치가 촬상 카메라로서 사용될 수도 있다. 이 경우에, 인터폰의 TV 모니터 상에는 컬러 화상이 표시되며, 전술한 화상 처리 장치는 컬러 촬상 장치의 노출을 제어하기 위해 사용된다.
(제5 실시예)
본 실시예에서, 본 발명의 화상 처리 장치를 촬상 카메라로서 이용하는 TV 인터폰이 설명된다. 화상 처리 장치는 다음의 구성요소를 제외하고는 제1 실시예의 화상 처리 장치와 거의 동일하며, 도 1에 도시된 구성요소와 동일한 구성요소에 대하여서는 동일한 도면부호가 부여되어 있고, 그 설명을 생략한다.
도 15에 도시된 바와 같이, 화상 처리 장치는 원하지 않는 사람에 대해 경보 모드(alarm mode)를 설정하는 경보 모드 설정 유닛(80)과, 거리 화상에서 경보 영역을 설정하고, 각각 경보 영역으로부터 소정 범위 내의 거리값을 갖는 화소군을 추출하도록 구성된 대상물 추출 유닛(82)과, 대상물 추출 유닛(82)에 의해 추출된 대상물의 특징값을 추출하도록 구성된 특징값 추출기(84)와, 특징값 추출기(84)에 의해 추출된 특징값에 따라 그 대상물이 인체인지의 여부를 판정하는 인체 식별 유닛(86)과, 인체 식별 유닛(86)에 의해 그 대상물이 인체인 것으로 식별된 때에 TV 인터폰의 베이스부에 경보 신호를 보내는 경보 보고 유닛(88)을 포함한다. 대상물 추출 유닛(82), 특징값 추출기(84), 인체 식별 유닛(86) 및 경보 보고 유닛(88)은 요구된 소프트웨어를 마이크로컴퓨터에 설치함으로써 실현될 수도 있다. 경보 모드 설정 유닛(80)은 예컨대 스위치를 이용하여 구현된다.
도 16에서, "Ra"는 TV 인터폰(100)에서 연장하는 2개의 사선과, 점선으로 이 루어진 2개의 현(L3, L4)에 의해 둘러싸인 경보 영역을 나타낸다. 각각 경보 영역 Ra 이내의 거리값을 갖는 화소들이 대상물 추출 유닛(82)에 의해 대상물로서 추출된다. 특징값 추출기(84)에서는, 높은 유사도를 갖는 부분을 특징값으로서 추출하기 위해 적합한 템플리트를 이용하여 패턴 매칭 방법(pattern matching method)이 수행된다. 그 후, 인체 식별 유닛(86)에서는, 대상물이 인체인지의 여부를 판정하기 위해, 추출된 특징값의 면적이 소정의 임계값과 비교된다.
본 실시예의 TV 인터폰에 따르면, 외부인이 경보 범위 Ra 내에 진입할 때, 대상물 추출 유닛(82)에 의해 대상물 M이 추출되며, 그 대상물은 인체 식별 유닛(86)에 의해 인체로서 판정된다. 그 결과, 경보 신호가 TV 인터폰의 베이스부에 보내진다. 한편, 고양이 또는 개 등의 인체 이외의 대상물이 경보 영역 Ra에 진입할 때, 인체 식별 유닛(86)은 그 대상물이 인체가 아닌 것으로 판정한다. 따라서, TV 인터폰의 베이스부에는 경보 신호가 보내지지 않는다.
필요시, 전술한 TV 인터폰은 초전기 적외선 센서(pyroelectric infrared sensor) 등과 같이 인체로부터 방출된 열을 감지하기 위한 휴먼 센서를 포함할 수도 있다. 이 경우, 화상 처리 장치의 제어 유닛(3)이 먼저 휴먼 센서의 출력을 수신하고, 그 후 TV 인터폰이 작동을 개시하기 때문에, TV 인터폰의 전력 소모를 저감시킬 수 있다.
전술한 바와 같이, 본 발명에 따르면, 변조 주파수에서 강도가 변조되는 광이 대상 공간에 조사되고, 대상 공간 내의 대상물로부터 반사된 광이 수광 소자에 의해 수신되는 상태 하에서, 수신된 광의 강도에 대응하는 전기적인 출력으로부터 거리값과 농담값이 생성된다. 따라서, 거리 화상과 농담 화상을 실질적으로 동일한 시각에 획득하는 것이 가능하게 된다. 또한, 농담 화상의 농담값과 거리 화상의 대응 거리값의 각각이 동일한 화소로부터 획득되므로, 농담 화상에서의 각각의 위치와 대응 거리값을 연관시키는 복잡한 처리가 필요없게 된다는 장점이 있다. 상기한 장점들을 갖는 본 발명의 화상 처리 장치는 가정용 TV 인터폰뿐만 아니라 공장 자동화용 감시 카메라 또는 공항이나 기타 공장용 보안 카메라 등의 다양한 응용분야에서 사용될 수 있을 것이다.

Claims (15)

  1. 화상 처리 장치에 있어서,
    변조 주파수에서 강도가 변조되는 광을 대상 공간에 조사하도록 구성된 광원;
    상기 대상 공간 내의 대상물로부터 반사된 광을 수신하고, 수신된 광의 강도에 대응하는 전기적인 출력을 생성하도록 구성된 수광 소자; 및
    상기 광원에서 방출된 광과 상기 수광 소자에 의해 수신된 광 간의 위상차에 따라 대상물과 화상 처리 장치 사이의 거리값을 각각 제공하는 화소값들을 갖는 거리 화상과, 수신된 광의 강도에 따라 대상물의 농담값을 각각 제공하는 화소값들을 갖는 농담 화상을 생성하도록 구성된 화상 생성기
    를 포함하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 거리 화상으로부터, 거리 미분값을 각각 제공하는 화소값들을 갖는 거리 미분 화상을 생성하고, 농담 화상으로부터, 농담 미분값을 각각 제공하는 화소값들을 갖는 농담 미분 화상을 생성하도록 구성된 미분기; 및
    상기 거리 미분 화상과 상기 농담 미분 화상을 이용하여 대상물의 윤곽을 추출하도록 구성된 윤곽 추출기
    를 더 포함하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 윤곽 추출기는 상기 거리 미분 화상에서 상기 거리 미분값이 최대로 되는 영역과 상기 농담 미분 화상에서 상기 농담 미분값이 최대로 되는 영역을 상기 대상물의 윤곽으로서 추출하는, 화상 처리 장치.
  4. 제2항에 있어서,
    상기 윤곽 추출기는 상기 거리 미분 화상에서 상기 거리 미분값이 최대로 되는 제1 영역과 상기 농담 미분 화상에서 상기 농담 미분값이 최대로 되는 제2 영역을 결정하고, 상기 제1 영역과 상기 제2 영역 간에 일치하는 영역을 대상물의 윤곽으로서 추출하는, 화상 처리 장치.
  5. 제2항에 있어서,
    상기 윤곽 추출기는 상기 거리 미분 화상에서 상기 거리 미분값이 임계값 이상인 영역과 상기 농담 미분 화상에서 상기 농담 미분값이 임계값 이상인 영역 중의 적어도 하나의 영역을 대상물의 윤곽으로서 추출하는, 화상 처리 장치.
  6. 제2항에 있어서,
    상기 윤곽 추출기는 상기 거리 미분 화상의 각각의 화소의 거리 미분값과 상기 농담 미분 화상의 대응 화소의 농담 미분값의 가중 합(weighted sum)을 결정하 고, 그 가중 합이 임계값 이상인 영역을 대상물의 윤곽으로서 추출하는, 화상 처리 장치.
  7. 제1항에 있어서,
    상기 화상 생성기는 상기 농담 화상을 시계열적인 방식으로 생성하며,
    상기 화상 처리 장치는, 농담 미분값을 각각 제공하는 화소값들을 갖는 농담 미분 화상을 상기 농담 화상으로부터 생성하도록 구성된 미분기와, 상기 농담 미분값과 상기 거리값을 이용하여 대상물을 검출하도록 구성되는 대상물 검출기를 더 포함하는, 화상 처리 장치.
  8. 제7항에 있어서,
    상기 대상물 검출기는 상이한 시각에 획득된 2개의 농담 화상으로부터 생성되는 한 쌍의 농담 미분 화상 간의 차분 화상을 생성하고, 상기 차분 화상에서 각각의 화소값이 임계값 이상인 영역을 추출하며, 추출된 상기 영역에 대응하는 상기 거리 화상의 화소값의 대표값이 소정 범위 내에 있을 때에 상기 영역을 대상물로서 검출하는, 화상 처리 장치.
  9. 제7항에 있어서,
    상기 대상물 검출기는,
    상이한 시각에 획득된 적어도 3개의 농담 화상으로부터 생성된 적어도 3개의 농담 미분 화상 중의 2개의 농담 미분 화상 간의 차분으로 이루어지는 차분 화상을 복수개 생성하고,
    각각의 상기 차분 화상에 대하여 각각의 화소값이 임계값 이상인 영역을 추출하여 이진 화상을 획득하고, 상기 이진 화상들 중의 하나의 이진 화상의 각각의 화소값과 상기 이진 화상들 중의 다른 하나의 이진 화상의 대응 화소값 간에 논리 연산을 수행하여 이들 간의 공통 영역을 추출하며,
    상기 공통 영역에 대응하는 상기 거리 화상의 화소값의 대표값이 소정 범위 내에 있을 때에 상기 공통 영역을 대상물로서 검출하는,
    화상 처리 장치.
  10. 제1항에 있어서,
    상기 화상 생성기에 의해 생성된 상기 농담 화상에서 대상물 상에 복수의 측정 지점을 결정하도록 구성된 측정 지점 결정 유닛; 및
    상기 화상 생성기에 의해 생성된 상기 거리 화상에서 각각의 상기 측정 지점에 대응하는 화소의 거리값을 이용하여 대상물의 상기 측정 지점 중의 2개의 측정 지점 간의 실제 거리를 계산하도록 구성된 거리 계산기
    를 더 포함하는 화상 처리 장치.
  11. 제10항에 있어서,
    상기 화상 생성기에 의해 생성된 상기 거리 화상 및 상기 농담 화상 중의 적 어도 하나의 화상으로부터 대상물의 3D 형상을 개산(estimate: 槪算)하도록 구성된 형상 개산 유닛; 및
    상기 형상 개산 유닛 및 상기 거리 계산기의 출력에 따라 대상물의 체적을 개산하도록 구성된 체적 개산 유닛
    을 더 포함하는 화상 처리 장치.
  12. 제10항에 있어서,
    상기 화상 생성기에 의해 생성된 상기 농담 화상을 표시하도록 구성된 모니터를 더 포함하며,
    상기 측정 지점 결정 유닛은, 사용자로 하여금 상기 모니터의 화면을 터치함으로써 상기 모니터 상에 표시된 대상물 상의 원하는 측정 지점을 지정할 수 있도록 구성된 위치 지정기를 포함하며,
    상기 거리 계산기는 상기 위치 지정기에 의해 지정된 측정 지점 중의 2개의 측정 지점 사이의 실제 거리를 계산하는,
    화상 처리 장치.
  13. 제10항에 있어서,
    상기 화상 생성기에 의해 생성된 농담 화상으로부터 소정 형상을 갖는 대상물을 추출하도록 구성된 대상물 추출기를 더 포함하며,
    상기 측정 지점 결정 유닛은 상기 대상물 추출기에 의해 추출된 대상물 상의 복수의 측정 지점을 결정하며,
    상기 거리 계산기는 상기 복수의 측정 지점 중의 2개의 측정 지점 사이의 실제 거리를 계산하는,
    화상 처리 장치.
  14. 제1항에 있어서,
    상기 거리 화상의 소정 영역에서 최소 거리값을 갖는 화소를 기준 화소로서 검출하도록 구성된 기준 화소 검출기;
    상기 거리 화상에서 상기 기준 화소를 포함하는 특정 영역을 설정하고, 상기 특정 영역으로부터 각각 소정 범위 내의 거리값을 갖는 화소군을 추출하도록 구성된 화소 추출기; 및
    각각이 상기 화소 추출기에 의해 추출된 화소 중의 하나의 화소와 일대일 대응관계를 갖는 화소들을 갖는 농담 화상에 따라 상기 수광 소자의 감도를 제어하도록 구성된 노출 제어기
    를 더 포함하는 화상 처리 장치.
  15. 제14항에 있어서,
    상기 소정 범위의 하한치는 상기 기준 화소의 거리값이며, 상기 소정 범위의 상한치는 상기 기준 화소의 거리값에 필요한 값을 추가함으로써 결정되는, 화상 처리 장치.
KR1020067021058A 2004-07-30 2005-07-28 화상 처리 장치 Expired - Fee Related KR100820261B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2004224480A JP4466260B2 (ja) 2004-07-30 2004-07-30 画像処理装置
JPJP-P-2004-00224480 2004-07-30
JPJP-P-2004-00250805 2004-08-30
JP2004250805A JP4534670B2 (ja) 2004-08-30 2004-08-30 カメラ装置およびそれを用いたテレビインターホン用子機
JP2004347713A JP4645177B2 (ja) 2004-11-30 2004-11-30 計測装置
JPJP-P-2004-00347713 2004-11-30

Publications (2)

Publication Number Publication Date
KR20070020005A KR20070020005A (ko) 2007-02-16
KR100820261B1 true KR100820261B1 (ko) 2008-04-08

Family

ID=35044919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067021058A Expired - Fee Related KR100820261B1 (ko) 2004-07-30 2005-07-28 화상 처리 장치

Country Status (5)

Country Link
US (1) US7834305B2 (ko)
EP (2) EP2312336B1 (ko)
KR (1) KR100820261B1 (ko)
TW (1) TWI276351B (ko)
WO (1) WO2006011674A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004831B1 (ko) 2008-06-16 2010-12-31 삼성엘이디 주식회사 반도체 발광소자의 양자효율을 분석하는 방법 및 이를 이용한 분석 시스템

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953277B2 (en) 2006-09-05 2011-05-31 Williams Robert C Background separated images for print and on-line use
JP4937705B2 (ja) * 2006-11-14 2012-05-23 株式会社オーク製作所 多重露光装置
JP2008209298A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 測距装置及び測距方法
WO2009147862A1 (ja) * 2008-06-04 2009-12-10 本田技研工業株式会社 撮像装置
CN101610623B (zh) * 2008-06-20 2012-11-21 鸿富锦精密工业(深圳)有限公司 轮廓光调节方法及其计算机系统
TWI518084B (zh) 2009-03-26 2016-01-21 鹽野義製藥股份有限公司 哌喃酮與吡啶酮衍生物之製造方法
TWI412730B (zh) * 2009-06-08 2013-10-21 Wistron Corp 用於一智慧型手持裝置之測距方法及測距裝置、辨識標的物之位置的方法及電子裝置以及辨識當前位置的方法及電子裝置
CN101937563B (zh) * 2009-07-03 2012-05-30 深圳泰山在线科技有限公司 一种目标检测方法和设备及其使用的图像采集装置
JP2011133273A (ja) * 2009-12-22 2011-07-07 Canon Inc 推定装置及びその制御方法、プログラム
KR101666020B1 (ko) 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
US9151842B2 (en) * 2010-11-12 2015-10-06 Texas Instruments Incorporated Method and apparatus for time of flight sensor 2-dimensional and 3-dimensional map generation
KR101694797B1 (ko) * 2010-12-21 2017-01-11 삼성전자주식회사 3차원 이미지 센서의 구동 방법
KR20140031613A (ko) * 2012-09-05 2014-03-13 삼성전자주식회사 영상 처리 장치 및 방법
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
KR102007277B1 (ko) 2013-03-11 2019-08-05 삼성전자주식회사 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
JP5841093B2 (ja) * 2013-03-26 2016-01-13 Necパーソナルコンピュータ株式会社 情報処理装置
JP6777701B2 (ja) * 2018-09-19 2020-10-28 ファナック株式会社 測距装置を有する物体監視システム
CN111461136B (zh) * 2019-01-21 2023-12-08 京东科技信息技术有限公司 数据处理方法、装置、系统、计算机可读存储介质
TWI874430B (zh) * 2019-08-29 2025-03-01 日商索尼半導體解決方案公司 測距感測器及其驅動方法、與測距模組
TWI877189B (zh) 2019-09-27 2025-03-21 日商索尼半導體解決方案公司 資訊處理裝置、修正方法及程式
CN110781590B (zh) * 2019-10-18 2023-09-19 武汉数字化设计与制造创新中心有限公司 一种用于fibm加工三维微结构的灰度图生成方法及系统
JP7363382B2 (ja) * 2019-11-05 2023-10-18 富士通株式会社 解析装置、解析プログラム及び解析方法
CN113703881B (zh) * 2020-05-22 2024-10-15 北京小米移动软件有限公司 显示方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754280A (en) 1995-05-23 1998-05-19 Olympus Optical Co., Ltd. Two-dimensional rangefinding sensor
WO2003085413A2 (en) * 2002-04-08 2003-10-16 Matsushita Electric Works, Ltd. Three dimensional image sensing device using intensity modulated light

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6011105A (ja) 1983-07-01 1985-01-21 Hitachi Ltd 立体対象物認識装置
JPS6410108A (en) 1987-07-02 1989-01-13 Rikagaku Kenkyusho Constitution of semiconductor image position detecting element and image position detecting method
JPS6410108U (ko) 1987-07-07 1989-01-19
JPH01100492A (ja) 1987-10-14 1989-04-18 Matsushita Electric Ind Co Ltd レーザ視覚センサ
JPH04169805A (ja) 1990-11-01 1992-06-17 Matsushita Electric Ind Co Ltd 三次元画像測定装置
JPH0545124A (ja) 1991-08-09 1993-02-23 Kyocera Corp 寸法表示可能な電子スチルカメラシステム
JPH07110381A (ja) 1993-10-07 1995-04-25 Wacom Co Ltd 距離カメラ装置
JP4169805B2 (ja) 1994-07-20 2008-10-22 日本バイリーン株式会社 繊維強化プラスチック成形用表面材、及びこれを用いた繊維強化プラスチック成形体
DE4440613C1 (de) 1994-11-14 1996-07-25 Leica Ag Vorrichtung und Verfahren zur Detektion und Demodulation eines intensitätsmodulierten Strahlungsfeldes
DE69635891T2 (de) 1995-06-22 2006-12-14 3Dv Systems Ltd. Verbesserte optische kamera zur entfernungsmessung
US6445884B1 (en) 1995-06-22 2002-09-03 3Dv Systems, Ltd. Camera with through-the-lens lighting
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JPH0954158A (ja) 1995-08-16 1997-02-25 Mitsubishi Heavy Ind Ltd 広角光波距離測定装置
US6449004B1 (en) 1996-04-23 2002-09-10 Minolta Co., Ltd. Electronic camera with oblique view correction
JP3493886B2 (ja) 1996-04-23 2004-02-03 ミノルタ株式会社 デジタルカメラ
JP2921496B2 (ja) 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
MXPA99002142A (es) 1996-09-05 2004-08-27 Rudolf Schwarte Metodo y aparato para determinar la informacion defase y/o amplitud de una onda electromagnetica.
EP1040366B1 (de) * 1997-12-23 2003-10-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
JPH11284997A (ja) 1998-03-31 1999-10-15 Oki Electric Ind Co Ltd 移動体検知装置
JP2001103368A (ja) 1999-09-29 2001-04-13 Matsushita Electric Works Ltd 露出設定方式
JP2001124544A (ja) 1999-10-25 2001-05-11 Asahi Optical Co Ltd 測距装置
EP1102211A3 (en) 1999-11-19 2006-09-13 Matsushita Electric Industrial Co., Ltd. Image processor, method of providing image processing services and order processing method
JP2001209827A (ja) 1999-11-19 2001-08-03 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理サービス提供方法および受注処理方法
US6711352B2 (en) 2001-12-28 2004-03-23 Nidec Copal Corporation Range finder of light amount detection type with multi zone resolution
JP2003195155A (ja) 2001-12-28 2003-07-09 Nidec Copal Corp 光量式多段測距装置
JP2003240545A (ja) 2002-02-14 2003-08-27 Fuji Photo Film Co Ltd 測距装置,露出量決定装置および画像合成装置
JP3803750B2 (ja) 2002-02-22 2006-08-02 防衛庁技術研究本部長 体積計測方法及び体積計測プログラム
DE60319228T2 (de) 2002-07-15 2009-02-12 Matsushita Electric Works, Ltd., Kadoma Lichtempfangsvorrichtung mit regelbarer empfindlichkeit und gerät zur detektion der räumlichen information welche diese verwendet
JP3758618B2 (ja) 2002-07-15 2006-03-22 松下電工株式会社 撮像素子を用いた測距装置および測距方法
JP2004180165A (ja) 2002-11-28 2004-06-24 Matsushita Electric Works Ltd 露出制御方法及び露出制御装置
JP2004205222A (ja) 2002-12-20 2004-07-22 Matsushita Electric Works Ltd 測距装置
JP3906818B2 (ja) 2003-04-07 2007-04-18 松下電工株式会社 受光素子の感度制御方法、強度変調光を用いた空間情報の検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754280A (en) 1995-05-23 1998-05-19 Olympus Optical Co., Ltd. Two-dimensional rangefinding sensor
WO2003085413A2 (en) * 2002-04-08 2003-10-16 Matsushita Electric Works, Ltd. Three dimensional image sensing device using intensity modulated light

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004831B1 (ko) 2008-06-16 2010-12-31 삼성엘이디 주식회사 반도체 발광소자의 양자효율을 분석하는 방법 및 이를 이용한 분석 시스템

Also Published As

Publication number Publication date
US7834305B2 (en) 2010-11-16
TWI276351B (en) 2007-03-11
EP1771749A1 (en) 2007-04-11
EP2312336A1 (en) 2011-04-20
TW200605654A (en) 2006-02-01
US20070237363A1 (en) 2007-10-11
EP2312336B1 (en) 2012-03-14
KR20070020005A (ko) 2007-02-16
WO2006011674A1 (en) 2006-02-02
EP1771749B1 (en) 2011-08-24

Similar Documents

Publication Publication Date Title
KR100820261B1 (ko) 화상 처리 장치
CN1954236B (zh) 图像处理设备
EP2240798B1 (en) Adaptive neighborhood filtering (anf) system and method for 3d time of flight cameras
US10140753B2 (en) 3D geometric modeling and 3D video content creation
JP4692159B2 (ja) ジェスチャースイッチ
CN1844852B (zh) 生成景物的混合图象的方法
US7034274B2 (en) Light receiving device with controllable sensitivity and spatial information detecting apparatus using the same
JP4466366B2 (ja) 距離画像を用いた人体検知方法および人体検知装置
JP4543904B2 (ja) 距離画像センサ
JP4259418B2 (ja) 画像処理装置
JP4543903B2 (ja) 画像処理装置
JP4432744B2 (ja) 画像処理装置
JP4961035B2 (ja) ジェスチャースイッチ
JP4645177B2 (ja) 計測装置
JP4543830B2 (ja) 異常検知装置
JP2006048156A (ja) 画像処理装置
JP4353086B2 (ja) 安全確認装置
JP4270067B2 (ja) 画像処理装置
JP2006053791A (ja) 画像処理装置
WO2025073719A1 (en) Depth sensing system and method
Kim et al. Range image measurement system for a mobile robot navigation

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20061010

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20070830

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20080229

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080401

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080402

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20110318

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20120302

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20120302

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130318

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130318

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20150309