[go: up one dir, main page]

KR101929557B1 - 블러 처리 장치 및 방법 - Google Patents

블러 처리 장치 및 방법 Download PDF

Info

Publication number
KR101929557B1
KR101929557B1 KR1020120075386A KR20120075386A KR101929557B1 KR 101929557 B1 KR101929557 B1 KR 101929557B1 KR 1020120075386 A KR1020120075386 A KR 1020120075386A KR 20120075386 A KR20120075386 A KR 20120075386A KR 101929557 B1 KR101929557 B1 KR 101929557B1
Authority
KR
South Korea
Prior art keywords
blur
image
reflected light
light signal
occurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120075386A
Other languages
English (en)
Other versions
KR20130008469A (ko
Inventor
이승규
강병민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to JP2014520126A priority Critical patent/JP6193227B2/ja
Priority to PCT/KR2012/005512 priority patent/WO2013009099A2/ko
Priority to EP12811416.2A priority patent/EP2733928B1/en
Priority to US13/823,557 priority patent/US9456152B2/en
Priority to CN201280003376.7A priority patent/CN103181156B/zh
Publication of KR20130008469A publication Critical patent/KR20130008469A/ko
Application granted granted Critical
Publication of KR101929557B1 publication Critical patent/KR101929557B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

ToF 방식 카메라에서 생성된 영상에 블러가 발생하였는지 여부를 판단하고, 블러가 발생한 경우 블러가 발생하지 않은 주변의 정상 픽셀값을 이용하여 블러를 제거하는 블러 처리 방법 및 장치에 관한 것이다.

Description

블러 처리 장치 및 방법{METHOD AND APPARATUS FOR PROCESSING BLUR}
영상 내에서 발생된 블러를 제거하는 기술에 관한 것이다.
ToF(Time of Flight) 방식의 카메라를 이용하여 생성되는 영상은, 매 프레임마다 노출 시간(Integration Time) 동안, 조사광 신호(예를 들어 적외선 신호)와 피사체에 반사되어 돌아오는 반사광 신호의 위상차를 계산함으로써 얻어진다. 노출 시간 보다 짧은 시간 동안 카메라 또는 피사체에 움직임이 발생하는 경우에는, 반사광 신호의 위상에 변화가 발생할 수 있다.
이러한 경우, 해당 반사광 신호를 통해 얻은 깊이(depth) 정보는 부정확한 값을 가지게 되며, 이는 영상에서 블러(Blur)의 형태로 보여지게 된다. 이러한 현상은 컬러 카메라에서 발생하는 블러 현상과 비슷한 이유로 발생할 수 있다. 그러나, ToF 방식의 카메라와 컬러 카메라는 영상을 얻는 방식에서 차이가 있고, ToF 방식의 카메라에서 발생하는 블러 현상은 컬러 영상의 블러 현상과 다른 블러 형태를 보이게 된다.
블러 처리 장치는, 제어 신호를 생성하는 제어부와, 조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 센서부, 및 상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러 여부를 판단하는 블러 판단부를 포함할 수 있다.
블러 처리 장치의 블러 판단부는, 블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단할 수 있다.
상기 조사광 신호가, ToF(Time of Flight) 방식 카메라를 통해 방출되는 경우, 블러 처리 장치의 블러 판단부는, 상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
또한, 상기 블러 판단부는, 서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출할 수 있다.
또한, 상기 센서부는, 상기 반사광 신호와 서로 다른 위상차를 갖는 복수의 제어 신호 각각에 의해 수광된 전하량을 획득하고, 상기 블러 판단부는, 상기 획득된 전하량과 상기 제어 신호의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
상기 센서부는, n(n은 자연수)개의 반사광 신호를 획득하고, 상기 블러 판단부는, 서로 다른 위상차를 갖는 복수의 제어 신호와 상기 n개의 반사광 신호 간의 위상차를 계산하여 n개의 깊이 정보를 산출하고, 산출된 n개의 깊이 정보의 평균값을 산출할 수 있다.
상기 블러 판단부는, 상기 산출된 n개의 깊이 정보 중에서 적어도 하나가 플랏(flat)하지 않는 경우, 상기 영상에 블러가 발생한 것으로 판단할 수 있다.
상기 판단 결과 블러가 발생한 경우, 블러 처리 장치는, ToF 방식 카메라를 통해 획득된 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
상기 영상 처리부는, 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체할 수 있다.
다른 실시예로서, 블러 처리 장치는, ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 모델 식별부와, 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 검색부, 및 상기 검색된 패턴 내에 블러 영역을 필터링하여 상기 영상에서 블러를 제거하는 영상 처리부를 포함하여 구성할 수 있다.
블러 처리 장치의 영상 처리부는, r-세타(theta) 공간 상에서 상기 블러 영역을 필터링 할 수 있다.
블러 처리 방법은, 위상이 서로 다른 복수의 제어 신호를 생성하는 단계와, 조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 단계, 및 상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러 여부를 판단하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 블러 여부를 판단하는 단계는, 블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단하는 단계를 포함할 수 있다.
상기 조사광 신호가, ToF 방식 카메라를 통해 방출되는 경우, 상기 블러 처리 방법에서의 상기 블러 여부를 판단하는 단계는, 상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 블러가 발생하였는지 여부를 판단하는 단계는, 서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 블러가 발생하였는지 여부를 판단하는 단계는, 획득한 n(n은 자연수)개의 반사광 신호와, 서로 다른 위상차를 갖는 복수의 제어 신호 간의 위상차를 계산하는 단계와, 상기 계산된 결과를 이용하여 n개의 깊이 정보를 산출하는 단계 및 상기 산출된 n개의 깊이 정보의 평균값을 산출하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서는, 상기 판단 결과 블러가 발생한 경우, ToF 방식 카메라를 통해 획득한 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계를 더 포함할 수 있다.
상기 발생된 블러를 제거하는 단계는, 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계를 포함할 수 있다.
다른 실시예로서, 블러 처리 방법은, ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 단계와, 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 단계, 및 상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하여 상기 영상에서 상기 블러를 제거하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하는 단계는, r-세타(theta) 공간 상에서 상기 블러 영역을 필터링하는 단계를 포함할 수 있다.
객체로부터 반사된 복수 반사광 신호의 관계를 이용하여 ToF 방식 카메라를 통해 획득한 영상 내에서 블러가 발생하였는지 여부를 효율적으로 판단할 수 있다.
영상 내에서 발생된 블러를, 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체함으로써, 발생된 블러를 용이하게 제거할 수 있다.
도 1은 블러 처리 장치의 일 실시예를 도시한 블록도이다.
도 2는 센서부를 구성하는 픽셀의 일 실시예를 나타낸 도면이고, 도 3은 반사광 신호와 제어 신호 간 타이밍도의 일 실시예이다.
도 4 내지 도 6은 영상 내에서 블러 발생 여부를 판단하기 위한 반사광 신호를 획득하는 일례를 도시한 도면이다.
도 7과 도 8은 일실시예에 따른, 피사체의 이동이 없는 경우와, 피사체의 이동이 있는 경우 각각에 대해, 반사광 신호와 제어신호 간의 관계를 도시하는 도면이다.
도 9는 일실시예에 따른, 영상 내에서 블러가 발생된 블러 영역의 깊이 정보를 그래프로 도시한 도면이다.
도 10은 일실시예에 따른, 블러가 발생한 영상과 깊이 정보 간의 연관성을 도시한 도면이다.
도 11은 일실시예에 따른, 깊이 정보와 블러 모델 간의 연관성을 도시한 도면이다.
도 12은 일실시예에 따른, 영상 내에서 블러를 제거하는 일례를 도시한 도면이다.
도 13는 일실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다.
도 14은 다른 실시예에 따른 블러 처리 장치의 구성을 도시한 블록도이다.
도 15은 블러 모델을 이용하여 블러 영역을 필터링하는 일례를 도시한 도면이다.
도 16는 다른 실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여 다양한 실시예를 상세하게 설명한다.
도 1은 블러 처리 장치의 일 실시예를 도시한 블록도이다.
블러 처리 장치(100)는 제어부(110), 센서부(120), 블러 판단부(130), 및 영상 처리부(140)를 포함하여 구성할 수 있다.
도 1에 예시된 블러 처리 장치(100)는 ToF 방식 카메라로 구현될 수 있다. 일실시예에서는 광 조사부(102)가 ToF 방식 카메라에 포함되는 실시예도 가능할 수 있다. ToF 방식 카메라는 객체(104)로 조사하는 조사광 신호(예를 들어 적외선 신호)와 조사광 신호가 객체(104)에 의해 반사되어 되돌아오는 반사광 신호 간의 위상차를 이용하여 카메라로부터 객체까지의 거리를 나타내는 깊이 영상을 생성할 수 있다.
광 조사부(102)는 조사광 신호를 객체(104)로 조사할 수 있다. 센서부(120)는 광 조사부(102)로부터 조사된 조사광 신호가 상기 객체(104)에 의해 반사되어 돌아오는 반사광 신호를 센싱할 수 있다. 예를 들어, 센서부(110)는 PPD(Pinned Photo Diode), Photogate, CCD(Charge Coupled Device) 등과 같은 광 센싱 소자를 포함할 수 있다. 여기서, 객체(104)는 피사체(subject)를 의미하며, 사진을 찍는 대상이 되는 것이다.
제어부(110)는 위상이 서로 다른 복수의 제어 신호를 생성한다. 제어 신호는 센서부(120)가 반사광 신호를 센싱하여 생성되는 전자를 집적하는 타이밍을 제어할 수 있는 신호이다.
센서부(120)와 제어 신호 간의 관계에 대한 일례를, 도 2 및 도 3를 통해 설명하도록 한다.
도 2는 센서부를 구성하는 픽셀의 일 실시예를 나타낸 도면이다.
픽셀(200)은 검출부(210, photogate), 게이트(게이트-A(221), 게이트-B(222)), 및 집적부(231, 232)를 포함하여 구성될 수 있다. 검출부(210)는 반사광 신호를 수신하여 전자를 생성하는 역할을 한다. 게이트-A(221)와 게이트-B(222)는 검출부(210)에서 생성된 전자를 집적부(231, 232)로 각각 전달할 수 있다. 도 2에서는 복수의 게이트, 예컨대 게이트-A(221)와 게이트-B(222)가 구비되어, 제어 신호에 따라 선택적으로 전자를 복수 개의 상이한 집적부(231, 232)로 전달하는 것을 예시하고 있다.
집적부(231, 232)는 전달된 전자를 집적할 수 있다. 전자의 집적 시간이나 주기는 사전에 정의될 수 있다. 예를 들어, 집적부(231, 232)는 일정 시간 동안 전자를 집적하고, 집적된 전자의 양을 집계할 때 전자를 방출한 후, 다음 번 전자 집적 타이밍에 또 다시 전자를 집적하도록 정의될 수 있다.
게이트의 온(on)/오프(off)는 앞서 설명한 제어 신호에 의해 제어될 수 있다.
도 3는 반사광 신호와 제어 신호 간 타이밍도의 일 실시예이다.
본 실시예에서 제1 제어신호와 제2 제어신호는 각각 도 2의 게이트-A(221) 및 게이트-B(222)를 제어할 수 있으며, 서로 180도의 위상차를 나타내고 있다. 상기 제1, 2 제어신호의 1/2 주기는 예컨대, 25ns 일 수 있다.
도 3에 도시한 바와 같이, 반사광 신호가 하이(high) 값인 tON 동안 검출부(210)에서 전자가 발생할 수 있다.
이때, 발생된 전자의 일부는, 게이트-A(221)에 관련된 제1 제어신호가 하이 값인 tON-tΤ OF 동안, 게이트-A(221)를 경유하여 집적부(231)에 집적하게 된다.
반면, 발생된 전자의 나머지 일부는, 상기 제1 제어신호가 로우(low) 값으로 전환되고, 게이트-B(222)에 관련된 제2 제어신호가 하이 값인 tΤ OF 동안, 게이트-B(222)를 경유하여 집적부(232)에 집적하게 된다.
예컨대, 반사광 신호가 하이(high) 값인 tON 동안 발생된 전자는, tON-tΤ OF 동안에는 게이트-A(221)가 온(on) 상태가 되어 게이트-A(221)와 연관된 집적부(231)로 전달되고, tΤ OF 동안에는 게이트-B(222)가 온(on) 상태가 되어 게이트-B(222)와 연관된 집적부(232)로 전달될 수 있다.
도 2 및 도 3에서는 센서의 게이트와 집적부가 각각 2개인 경우를 설명하였으나, 게이트와 집적부의 개수는 실시예에 따라서 달라질 수 있다.
다시 도 1을 설명하면, 블러 판단부(130)는 상기 제어 신호 별로 집적된 전자의 양(이하, 전하량이라 한다) 간 관계를 이용하여 블러(Blur) 여부를 판단한다.
또한, 블러 판단부(130)는 서로 다른 위상을 가지는 제어 신호들을 이용하여 상기 반사광 신호와 상기 조사광 신호의 위상차를 얻을 수 있다. 예컨대, 센서부(120)가 ToF 방식 카메라의 노출 시간(Integration Time) 동안 반사되어 돌아오는 반사광 신호를 반복적으로 획득함으로써, 블러 판단부(130)는 반사광 신호에 기반한 깊이 정보를 얻을 수 있다.
도 4 내지 도 6는 영상 내에서 블러 발생 여부를 판단하기 위한 반사광 신호를 획득하는 일례를 도시한 도면이다. 도 4 내지 도 6에서, C1 내지 C4는 제어 신호를 지칭하고, Q1 내지 Q4는 전하량을 의미하며, td는 깊이 정보이다.
ToF 방식 카메라는 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 생성할 수 있다. ToF 방식 카메라는 M(M은 자연수)개의 전하량 저장 공간을 가지는 L-Phase/M-tap 방식으로 구성될 수 있다. 예를 들어, 도 4의 4-phase/1-tap의 예시에서, ToF 방식 카메라는 상호 90도의 위상차를 가지는 4개의 제어 신호 'C1','C2','C3','C4'를 생성할 수 있다.
센서부(120)는 상기 반사광 신호와 제어 신호 'C1'에 의해 전하량 'Q1'을 획득하고, 상기 반사광 신호와 제어 신호 'C2'에 의해 전하량 'Q2'를 획득하고, 상기 반사광 신호와 제어 신호 'C3'에 의해 전하량 'Q3'을 획득하며, 상기 반사광 신호와 제어 신호 'C4'에 의해 전하량 'Q4'를 순차적으로 획득할 수 있다.
도 4의 4-phase/1-tap 방식과, 도 5의 4-phase/2-tap 방식과, 도 6의 4-phase/4-tap 방식은 ToF 방식 카메라의 구조가 상이함을 나타낼 수 있다. 예컨대, 센서부(120)는 ToF 방식 카메라의 구조에 따라 노출 시간 동안 반사광 신호와 제어 신호들 간의 위상차를 획득하는 방법을 서로 달리할 수 있다.
도 4 내지 도 6에서는 4개의 제어 신호들을 생성하고, 4개의 전하량을 획득하는 일례를 도시하고 있지만, 실시예에 따라, 제어 신호의 개수가 4 보다 작거나 클 수도 있다.
블러 판단부(130)는 상기 획득한 전하량 'Q1', 'Q2', 'Q3', 'Q4' 간의 관계를 이용하여 ToF 방식 카메라를 통해 획득된 영상에 블러(Blur)가 발생하였는지 여부를 판단한다. 예컨대, 블러 판단부(130)는 제어 신호들 C1 과 C2가 하이(high) 값인 동안 얻어진 전하량 간의 차이인 제1 차이값(Q1 - Q2)을 계산할 수 있다. 또한, 블러 판단부(130)는 제어 신호들 C3 과 C4가 하이 값인 동안 얻어진 전하량 간의 차이인 제2 차이값(Q3 - Q4)을 계산할 수 있다. 이후, 블러 판단부(130)는 상기 제2 차이값(Q3 - Q4)을 상기 제1 차이값(Q1 - Q2)으로 나눈 나눗셈값(Q3 - Q4/Q1 - Q2)에 아크탄젠트(arctangent) 함수를 적용하여 상기 깊이 정보(td)를 산출할 수 있다.
일례로서, 도 5에 도시된 4-phase/2-tap 방식의 실시예에서 제어신호 C1 내지 C4의 타이밍도가 전하 Q1 내지 Q4를 획득하기 위한 주기 1회를 나타낸다고 할 때, 이러한 주기를 n(n은 자연수)회 반복할 경우, Q1 내지 Q4는, 각각 n번 얻어질 수 있다. n회의 주기 동안 얻어진 전하량을 이용하여 한 장의 깊이 영상을 생성한다면, 앞서 설명한 제1 차이값은 nQ1 - nQ2일 수 있고, 제2 차이값은 nQ3 - nQ4일 수 있다. 또한, 한 픽셀에서의 깊이 정보(td)는 아래와 같은 수학식 1로 나타낼 수 있다.
Figure 112012055312339-pat00001
만약, 카메라, 피사체 또는 배경에 움직임이 발생한다면, 센서부(120)에 포함된 픽셀 중 적어도 하나가 센싱하는 반사광 신호의 위상에는, 변화가 생길 수 있다.
도 7와 도 8는 일실시예에 따른, 피사체의 이동이 없는 경우와, 피사체의 이동이 있는 경우 각각에 대해, 반사광 신호와 제어신호 간의 관계를 도시하는 도면이다. 도 7 및 도 8는 이해를 돕기 위한 개념도일 뿐이므로, 도 7 및 도 8에 의해 다른 실시예가 한정적으로 해석되지는 않는다.
도 7 및 도 8에서 반사광 신호는 동그라미 지점(R)에서 반사된 것이며, 제어신호는 해당 지점의 반사광 신호를 센싱하는 센서부(120)의 픽셀을 제어한다.
도 7에서와 같이 피사체의 이동이 없는 경우, 제어신호의 첫 번째 하이값과 두 번째 하이값에서 생성되는 전하량은, 각각 Qa로 동일하다.
반면, 도 8에서와 같이 피사체의 이동으로 인하여, 조사광 신호가 반사되는 객체가 영상인 의자에서 배경으로 바뀔 경우(t0과 t1 시점의 동그라미 지점(R) 참조), 반사광 신호가 픽셀에 도달하는 시간은, t1에서 t1'으로 지연될 수 있다. 예컨대, 픽셀이 센싱하는 반사광 신호에는 위상 변화를 발생할 수 있다. 이 경우, 제어신호의 첫 번째 하이값 동안 생성되는 전하량과 두 번째 하이값 동안 생성되는 전하량은, 각각 Qa와 Qa'로 서로 다르다. 만약, 제어신호가 두 번의 하이값일 동안 생성된 전하를 이용하여 깊이값이 결정된다면, 도 8의 실시예에서는 Qa와 Qa'을 이용하여 깊이 영상 내의 한 픽셀값(동그라미 지점(R)에 대응)을 나타내게 될 것이므로, 해당 픽셀에 블러가 발생하게 된다.
이하에서는 앞서 설명한 도 5의 4-phase/2-tap의 실시예일 경우, 움직임이 발생한 지점에 대응되는 픽셀로부터 얻을 수 있는 깊이값에 대해 설명하도록 한다.
블러 판단부(130)는 n 주기의 제어 신호들(C1, C2) 중, 반사광 신호의 위상 변화가 발생하기 전, m 주기의 C1과 C2 간의 전하량 차이값인 제1 차이값(Q1 - Q2)를 계산하고, 위상차 변화가 발생하여 새로운 위상을 갖는 나머지 n-m 주기의 C1 과 C2 간의 전하량 차이값인 제1 차이값(
Figure 112012055312339-pat00002
-
Figure 112012055312339-pat00003
)를 계산하게 된다. 또한, 블러 판단부(130)는 n 주기의 제어 신호들(C3, C4) 중, 위상차 변화가 발생하기 전 m 주기의 C3 과 C4 간의 전하량 차이값인 제2 차이값(Q3 - Q4)를 계산하고, 위상차 변화가 발생하여 새로운 위상을 갖는 나머지 n-m 주기의 C3 과 C4 간의 전하량 차이값인 제2 차이값(
Figure 112012055312339-pat00004
-
Figure 112012055312339-pat00005
)를 계산할 수 있다.
이 경우, 상기 깊이 정보(td)는 아래와 같은 수학식 2으로 나타낼 수 있다.
Figure 112012055312339-pat00006
m을 변수로 하는 함수 td는 1차 미분되어, 아래와 같은 수학식 3의 td' 로 나타낼 수 있다.
Figure 112012055312339-pat00007
수학식 3을 풀면, 수학식 4와 같은 값을 얻을 수 있다.
Figure 112012055312339-pat00008
예컨대, 위상차 변화에 의해 발생하는 깊이 정보(td)의 변화는 얻어진 m에서 1개의 로컬 최대값 또는 로컬 최소값을 가질 수 있음을 알 수 있다. 이때, m 주기의 위치는 움직임 전후의 깊이 정보에 따라 변함을 알 수 있다.
이상의 내용에서 ToF 방식 카메라에서 생성된 영상 내의 블러 현상은 양단 값의 중간값을 취하거나, 단조 증가/감소하는 형태로 발생하는 것이 아님을 알 수 있다. ToF 방식 카메라의 특성상 컬러 카메라와 다른 방식으로 영상을 획득하기 때문에, ToF 방식 카메라에서 생성된 영상에서 블러를 제거하는 방식은 컬러 카메라의 블러를 제거하는 방식과는 전혀 상이할 수 있다.
일 실시예로, 블러 판단부(130)는 제어 신호 C1 과 C2를 통해 얻은 전하량 'Q1', 'Q2' 간의 제1 차이값과 제어 신호 C3 과 C4를 통해 얻은 전하량 'Q3', 'Q4' 간의 제2 차이값을 n번 계산하고, 상기 계산된 결과를 이용하여 깊이 정보를 n번 산출할 수 있다. 예컨대, 블러 판단부(130)는 제어신호의 1회 주기마다 얻어진 전하량을 이용하여 깊이 정보를 산출하고, 이런 식으로 산출된 n개의 깊이 정보의 평균값을 이용하여 깊이 영상 한 프레임(frame)이 생성될 수도 있다.
이 경우, 블러 판단부(130)는 상기 산출된 n개의 깊이 정보 중에서 적어도 하나가 플랏(flat)하지 않는 경우, 상기 깊이 영상에 블러가 발생한 것으로 판단할 수 있다. 예컨대, 반사광 신호의 위상이 일정한 값을 가지는 경우, 산출된 n개의 깊이 정보는 일정한 값을 가지게 된다. 반면, 반사광 신호의 위상이 일정한 값을 가지지 않는 경우, 산출된 n개의 깊이 정보도 일정한 값을 가지지 못하고 상기 일정하지 않는 값으로 산출됨으로써, 블러 판단부(130)는 영상 내에서 상기의 값을 가지는 영역에 블러가 발생한 것임을 판단할 수 있다.
도 9는 일실시예에 따른, 영상 내에서 블러가 발생된 블러 영역의 깊이 정보를 그래프로 도시한 도면이다.
블러 판단부(130)는 움직이는 객체에 대한 깊이 정보를 참조하여 블러의 발생 여부를 판단할 수 있다. 일례에 따르면, 블러 판단부(130)는 각 픽셀 좌표(픽셀값)와 연관된 깊이 정보가 균일한 값을 가지지 않는 영역에 블러가 발생한 것으로 판단할 수 있다.
도 9에서, 블러 판단부(130)는 깊이 정보가 어느 특정 영역에서 다른 깊이 정보와 다르게 큰 값을 갖는 경우, 다른 깊이 정보와 다른 값을 가지는 영역을 블러가 발생된 블러 영역(910)으로 판단할 수 있다. 예를 들어, 픽셀 좌표간 깊이 정보를 나열한 결과, 깊이 정보 그래프가 도 9와 같이 첨점 형태를 나타낼 경우, 블러 판단부(130)는 첨점을 이루는 픽셀 영역(910)에서 블러가 발생한 것으로 판단할 수 있다.
도 10는 일실시예에 따른, 블러가 발생한 영상과 깊이 정보 간의 연관성을 도시한 도면이다.
블러 판단부(130)는 영상들(도 10의 (a), (d), (g)) 내에서 일정 영역의 깊이 정보를 산출하고, 산출된 깊이 정보를 이용하여 영상들(도 10의 (a), (d), (g)) 내에서 블러가 발생하였는지 여부를 판단할 수 있다.
예를 들어, 도 10의 (b)와 (c)는 제1 영상(도 10의 (a))에서 i 영역과 ii 영역의 깊이 정보를 산출하여 표시하는 그래프이다. 제1 영상(도 10의 (a))의 i 영역과 ii 영역 모두에서 산출된 깊이 정보는 완벽하게 일정한 값을 가지지는 않지만, 전체 픽셀 좌표에서 고른 깊이 정보를 가진다. 이 경우, 블러 판단부(130)는 제1 영상(도 10의 (a)) 내에서 블러가 발생하지 않은 것으로 판단할 수 있다.
도 10의 (e)와 (f)는 움직임이 있는 제2 영상(도 10의 (d))에서 i 영역과 ii 영역의 깊이 정보를 산출하여 표시하는 그래프이다. 움직임이 있는 제2 영상(도 10의 (d))의 i 영역과 ii 영역 모두에서 산출된 깊이 정보는, 움직임이 없는 제1 영상(도 10의 (a))의 도 10의 (b)와 (c)에서 볼 수 없었던 특이한(첨점 형태나, 기울기의 급격한 변화 등) 깊이 정보 값을 가진다. 이 경우, 블러 판단부(130)는 제2 영상(도 10의 (d)) 내에서 블러가 발생한 것으로 판단할 수 있다.
도 10의 (h)와 (i)는 제3 영상(도 10의 (g))에서 i 영역과 ii 영역의 깊이 정보를 산출하여 표시하는 그래프이다. 제3 영상(도 10의 (g))의 i 영역과 ii 영역 모두에서 산출된 깊이 정보는 제1 영상(도 10의 (a))의 깊이 정보와 유사하게 완벽하게 일정한 값을 가지지는 않지만, 전체 픽셀 좌표에서 고른 깊이 정보를 가진다. 이 경우, 블러 판단부(130)는 제3 영상(도 10의 (g)) 내에서 블러가 발생하지 않은 것으로 판단할 수 있다.
도 11은 일실시예에 따른, 깊이 정보와 블러 모델 간의 연관성을 도시한 도면이다.
4-phase/2-tap의 구조를 가진 ToF 방식 카메라의 경우, 반사광 신호와 제어 신호들(C1 , C2, C3 , C4)을 통해 얻은 전하량(Q1 , Q2, Q3 , Q4) 중, Q1 - Q2와 Q3 - Q4의 관계는 도 11의 (b)와 같이 마름모 형태를 나타낼 수 있다. 예컨대, 피사체, 카메라, 배경 등에 움직임이 없는 경우, 전하량 Q1 - Q2와 Q3 - Q4의 관계는, 도 11의 (b)에 나타낸 바와 같은 마름모(710) 상에 존재할 수 있다. 물론, 각 제어 신호의 n 주기 동안 얻은 전하량의 차이인 n(Q1 - Q2)과 n(Q3 - Q4)간의 차이도 이와 유사한 형태를 나타낼 수 있다. 또한, 마름모의 크기나 형태는 실시예에 따라 달라질 수 있다. 도 11의 (a)에는 움직임에 의한 블러가 없는 상태를 나타내며, 각 픽셀별 깊이 정보를 산출하는데 사용된 전하량 간의 관계는 도 11의 (b)의 두 개 좌표(720, 730)에 대응될 수 있다.
반면, 도 11의 (c)는 블러로 인해 균일하지 않는 값(740)을 포함하고 있으며, 이 경우 Q1, Q2, Q3, Q4 간 관계는 도 11의 (d)에 나타난 바와 같이 마름모를 벗어난 영역(750)에 표시될 수 있다. 예컨대, 블러가 발생한 영상에서 얻어진 도 11의 (d)는 블러가 발생하지 않은 영상에서 얻어진 도 11의 (b)과 비교하여, 마름모의 위치 이외의 영역에 도식되는 값이 발생함을 알 수 있다.
블러 처리 장치(100)는 피사체, 카메라, 배경 등의 움직임이 없는 상황(예컨대, 움직임에 의한 블러가 발생하지 않는 상황)에서 반사광 신호와 제어신호에 의해 집적되는 전하량들 간의 관계를 나타내는 기준 전하량 관계 정보를 사전에 저장해 둘 수 있다.
기준 전하량 관계 정보의 일례는 도 11의 (b)에 도시된 마름모 그래프일 수 있으며, 실시예에 따라서 다른 모양의 그래프로 표현될 수 있다. 물론, 기준 전하량 관계 정보는 그래프 뿐만 아니라 테이블, 수식 등 다양한 형태로 표현될 수 있다. 블러 판단부(130)는 피사체 촬영 시 반사광 신호와 제어신호에 의해 집적되는 전하량들 간의 관계를 사전에 저장해 둔 기준 전하량 관계 정보와 비교할 수 있다. 이를 통해, 블러 판단부(130)는 블러가 발생 여부를 판단할 수 있다. 예를 들어, 만약, 촬영시 특정 픽셀에서 제어신호에 기반하여 얻어진 전하량 간의 관계가 기준 전하량 관계 정보를 벗어난다면, 블러 판단부(130)는 해당 픽셀에 블러가 발생한 것으로 판단할 수 있다.
예컨대, 블러 판단부(130)는 4-phase/2-tap의 구조를 가진 ToF 방식 카메라의 경우, 매 픽셀마다 위와 같이 제어 신호 전하량의 관계(Q1 - Q2, Q3 - Q4)가 정상 범위(마름모 모양 위의 점)를 벗어나는지의 여부를 판단함으로써, 블러 발생 여부를 판단할 수 있다.
L-phase/M-tap의 구조를 가진 ToF 방식 카메라의 각 경우에서도, 블러 판단부(130)는 각 제어 신호간 미리 정해진 위상차로 인하여 규정되는 각 전하량 Q1 ~ QN 간 정상 범위로부터 벗어나는지의 여부를 판단함으로써, ToF 방식 카메라의 각 픽셀의 깊이 정보를 계산하는 과정에서 바로 블러 발생 여부를 판단할 수 있다.
이렇게, 상기 판단 결과 블러가 발생한 경우, 영상 처리부(140)는 상기 영상 내에서 상기 블러가 발생된 블러 영역 주변의 정상 픽셀값을 참조하여 상기 발생된 블러를 제거할 수 있다.
예를 들어, 영상 처리부(140)는 상기 영상 내에서 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다. 실시예로, 영상 처리부(140)는 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 블러가 발생하지 않은 주변의 정상 픽셀 중 가장 근거리에 위치한 픽셀의 깊이 값으로 대체할 수 있다. 또는, 영상 처리부(140)는 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체할 수 있다. 예를 들어, 영상 처리부(140)는 특정 프레임에서 블러가 발생한 픽셀값을 이전 프레임 또는 이후 프레임에서 동일한 좌표의 픽셀값으로 대체할 수 있다.
블러 판단부(130)는 ToF 방식 카메라의 각 탭 구조별 블러 모델을 생성할 수 있다. 상기에서 설명한 바와 같이, ToF 방식 카메라는 4-phase/1-tap, 4-phase/2-tap, 4-phase/4-tap 등의 구조로 구성될 수 있다.
Figure 112012055312339-pat00009
수학식 5에서는, 4-phase/1-tap 구조로 구성된 ToF 방식 카메라의 블러 모델을 예시한다.
Figure 112012055312339-pat00010
수학식 6에서는, 4-phase/2-tap 구조로 구성된 ToF 방식 카메라의 블러 모델을 예시한다. 수학식 6에서, 블러 판단부(130)는 반사광 신호들의 관계가, m 주기의 C1과 C2 간의 전하량 합산값(Q1 + Q2)과, m 주기의 C3과 C4 간의 전하량 합산값(Q3 + Q4)이 동일한지, 예컨대 (Q1 + Q2 ) = (Q3 + Q4)를 만족하는지 여부를 판단함으로써, 영상 내에 블러가 발생하였는지 여부를 판단할 수 있다.
예컨대, 블러 판단부(130)는 획득된 반사광 신호들의 관계가 Q1 + Q2 = Q3 + Q4의 조건을 만족하는 경우, 영상 내에 블러가 발생하지 않은 것으로 판단하고, 획득된 반사광 신호들의 관계가 Q1 + Q2 = Q3 + Q4의 조건을 만족하지 않는 경우, 영상 내에 블러가 발생한 것으로 판단할 수 있다.
Figure 112012055312339-pat00011
수학식 7에서는, 4-phase/4-tap 구조로 구성된 ToF 방식 카메라의 블러 모델을 예시한다.
도 12은 일실시예에 따른, 영상 내에서 블러를 제거하는 일례를 도시한 도면이다.
영상에 블러가 발생한 경우, 영상 처리부(140)는 상기 영상 내에서 상기 블러가 발생한 픽셀값을, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
도 12에서, 블러가 발생한 픽셀값은 마름모 형태의 그래프 안쪽에 표시된 값이고, 주변의 정상 픽셀값은 마름모 형태의 그래프 상에 표시된 값이다. 예컨대, 영상 처리부(140)는 마름모 형태의 그래프 안쪽에 표시된 값을, 마름모 형태의 그래프 상에 표시된 값으로 대체함으로써, 발생된 블러를 제거할 수 있다.
실시예로, 영상 처리부(140)는 주변의 정상 픽셀 중 가장 근거리에 위치한 픽셀의 깊이 정보로 상기 블러가 발생한 픽셀값을 대체함으로써, 발생된 블러를 제거할 수 있다. 또는, 영상 처리부(140)는 블러가 발생한 픽셀의 깊이 정보를, 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 정상 픽셀값으로 대체할 수 있다.
도 13은 일실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다. 여기서, 블러 처리 방법은 도 1에 도시한 블러 처리 장치(100)에 의해 수행될 수 있다.
도 13을 참고하면, 단계(1310)에서, 블러 처리 장치(100)는 광조사부(102)를 통해 조사광 신호를 객체(104)로 방출하고, 상기 방출된 조사광 신호가 상기 객체(104)로부터 반사되는 반사광 신호를 획득한다.
단계(1320)에서, 상기 블러 처리 장치(100)는 상기 획득한 반사광 신호의 위상차를 이용하여 깊이 정보를 산출할 수 있다.
단계(1330)에서, 상기 블러 처리 장치(100)는 상기 깊이 정보를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
상기 블러 처리 장치(100)는 서로 다른 위상차를 갖는 제어 신호들과 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출할 수 있다. 예컨대, 상기 블러 처리 장치(100)는 상기 반사광 신호와 서로 다른 위상차를 갖는 제어 신호들 각각에 의해 수광된 전하량들을 획득할 수 있다. 상기 블러 처리 장치(100)는 상기 획득된 전하량들과 상기 제어 신호들의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
단계(1340)에서, 상기 블러 처리 장치(100)는 상기 판단 결과 블러가 발생한 경우, 상기 영상 내에서 상기 블러가 발생된 블러 영역 주변의 정상 픽셀값을 이용하여 상기 발생된 블러를 제거한다.
상기 블러 처리 장치(100)는 상기 영상 내에서 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
또는, 상기 블러 처리 장치(100)는 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
도 14는 다른 실시예에 따른 블러 처리 장치의 구성을 도시한 블록도이다.
도 14를 참고하면, 블러 처리 장치(1400)는 모델 식별부(1410), 검색부(1420), 및 영상 처리부(1430)를 포함할 수 있다. 예컨대, 블러 처리 장치(1400)는 반사광 신호와 제어 신호들의 전하량(Q1, Q2, Q3, Q4)이 제공되지 않는 경우에 영상 내에서 블러를 제거하는 방식으로 이용될 수 있다.
모델 식별부(1410)는 ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별할 수 있다. 상기 ToF 방식 카메라는 다양한 방식으로 생성한 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 가지고, M(M은 자연수)개의 전하량 저장 공간을 가지는 L-phase/M-tap 방식으로 구성될 수 있다. 따라서, 상기 블러 모델은 4-phase/1-tap, 4-phase/2-tap, 4-phase/4-tap 등, ToF 방식 카메라의 구조에 따라 서로 상이한 모델을 가질 수 있다.
검색부(1420)는 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색한다. 검색부(1420)는 다양한 패턴 검색 방식들을 이용하여 상기 블러 모델과 연관된 패턴을 검색할 수 있다. 검색부(1420)는 검색 속도를 향상시키기 위하여, 오리엔테이션(orientation) 및 공간에서 피라미드(pyramid) 형태의 단계적 검색 방식을 사용할 수 있다.
실시예로, 검색부(1420)는 허프 변환(hough transformation)을 이용하여 패턴 검색 및 r-세타(theta) 공간에서 상기 패턴을 검색할 수 있다.
영상 처리부(1430)는 상기 검색된 패턴 내에 블러 영역을 필터링하여 상기 영상에서 블러를 제거한다. 영상 처리부(1430)는 상기 블러 영역에 노이즈 제거를 위하여 r-세타(theta) 공간 상에서 필터링을 수행할 수 있다. 이때, r-세타(theta) 공간에서 유클리드 거리(Euclidean distance)를 유효하게 하기 위하여, r과 세타(theta)간 서로 다른 가중치 파라미터를 적용할 수 있다.
도 15은 블러 모델을 이용하여 블러 영역을 필터링하는 일례를 도시한 도면이다.
도 15을 참고하면, 영상 처리부(1430)는 블러가 발생된 블러 영역(도 15의 (a))을 블러 모델(도 15의 (b))로 필터링하여, 블러가 제거된 영상(도 15의 (c))을 얻을 수 있다.
도 16은 다른 실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다. 여기서, 블러 처리 방법은 도 14에 도시한 블러 처리 장치(1400)에 의해 수행될 수 있다.
도 16을 참고하면, 단계 1610에서, 블러 처리 장치(1400)는 ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별한다. 상기 ToF 방식 카메라는 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 가지고, M(M은 자연수)개의 전하량 저장 공간을 가지는 L-phase/M-tap 방식으로 구성될 수 있다. 상기 블러 모델은 4-phase/1-tap, 4-phase/2-tap, 4-phase/4-tap 등, ToF 방식 카메라의 구조에 따라 서로 상이한 모델을 가질 수 있다.
단계 1620에서, 상기 블러 처리 장치(1400)는 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색한다. 상기 블러 처리 장치(1400)는 다양한 패턴 검색 방식들을 이용하여 상기 블러 모델과 연관된 패턴을 검색할 수 있다. 상기 블러 처리 장치(1400)는 오리엔테이션 및 공간에서 피라미드 형태의 단계적 검색 방식을 사용함으로써, 검색 속도를 향상시킬 수 있다.
단계 1630에서, 상기 블러 처리 장치(1400)는 상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하여 상기 영상에서 상기 블러를 제거한다. 상기 블러 처리 장치(1400)는 상기 블러 영역에 노이즈 제거를 위하여 r-세타(theta) 공간 상에서 필터링을 수행할 수 있다.
실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 서술된 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 비록 한정된 실시예와 도면에 의해 설명되었으나, 실시예들은 상기의 실시예에 한정되는 것은 아니며, 당해 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 권리 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 블러 처리 장치
110: 제어부
120: 센서부
130: 블러 판단부
140: 영상 처리부

Claims (20)

  1. 제어 신호를 생성하는 제어부;
    조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하고, 상기 반사광 신호와 서로 다른 위상차를 갖는 복수의 제어 신호 각각에 의해 수광된 전하량을 획득하는 센서부; 및
    상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러(Blur) 여부를 판단하는 블러 판단부
    를 포함하고,
    상기 블러 판단부는,
    상기 획득된 전하량과 상기 제어 신호의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 블러가 발생하였는지 여부를 판단하는, 블러 처리 장치.
  2. 제1항에 있어서,
    상기 블러 판단부는,
    블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단하는, 블러 처리 장치.
  3. 제1항에 있어서,
    상기 조사광 신호가, ToF(Time of Flight) 방식 카메라를 통해 방출되는 경우,
    상기 블러 판단부는,
    상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단하는, 블러 처리 장치.
  4. 제3항에 있어서,
    상기 블러 판단부는,
    서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출하는, 블러 처리 장치.
  5. 삭제
  6. 제3항에 있어서,
    상기 센서부는,
    n(n은 자연수)개의 반사광 신호를 획득하고,
    상기 블러 판단부는,
    서로 다른 위상차를 갖는 복수의 제어 신호와 상기 n개의 반사광 신호 간의 위상차를 계산하여 n개의 깊이 정보를 산출하고, 산출된 n개의 깊이 정보의 평균값을 산출하는, 블러 처리 장치.
  7. 제6항에 있어서,
    상기 블러 판단부는,
    상기 산출된 n개의 깊이 정보 중에서 적어도 하나가 플랏(flat)하지 않는 경우, 상기 영상에 블러가 발생한 것으로 판단하는, 블러 처리 장치.
  8. 제1항에 있어서,
    상기 판단 결과 블러가 발생한 경우,
    ToF 방식 카메라를 통해 획득된 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 영상 처리부
    를 더 포함하는, 블러 처리 장치.
  9. 제8항에 있어서,
    상기 영상 처리부는,
    상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하는, 블러 처리 장치.
  10. ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 모델 식별부;
    상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 검색부; 및
    상기 검색된 패턴 내에 블러 영역을 필터링하여 상기 영상에서 블러를 제거하는 영상 처리부
    를 포함하는, 블러 처리 장치.
  11. 제10항에 있어서,
    상기 영상 처리부는,
    r-세타(theta) 공간 상에서 상기 블러 영역을 필터링하는, 블러 처리 장치.
  12. 위상이 서로 다른 복수의 제어 신호를 생성하는 단계;
    조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 단계;
    상기 반사광 신호와 서로 다른 위상차를 갖는 복수의 제어 신호 각각에 의해 수광된 전하량을 획득하는 단계; 및
    상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러 여부를 판단하는 단계
    를 포함하고,
    상기 블러 여부를 판단하는 단계는,
    상기 획득된 전하량과 상기 제어 신호의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 블러가 발생하였는지 여부를 판단하는 단계
    를 포함하는, 블러 처리 방법.
  13. 제12항에 있어서,
    상기 블러 여부를 판단하는 단계는,
    블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단하는 단계
    를 더 포함하는, 블러 처리 방법.
  14. 제12항에 있어서,
    상기 조사광 신호가, ToF 방식 카메라를 통해 방출되는 경우,
    상기 블러 여부를 판단하는 단계는,
    상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단하는 단계
    를 더 포함하는, 블러 처리 방법.
  15. 제14항에 있어서,
    상기 블러가 발생하였는지 여부를 판단하는 단계는,
    서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출하는 단계
    를 포함하는, 블러 처리 방법.
  16. 제14항에 있어서,
    상기 블러가 발생하였는지 여부를 판단하는 단계는,
    획득한 n(n은 자연수)개의 반사광 신호와, 서로 다른 위상차를 갖는 복수의 제어 신호 간의 위상차를 계산하는 단계;
    상기 계산된 결과를 이용하여 n개의 깊이 정보를 산출하는 단계; 및
    상기 산출된 n개의 깊이 정보의 평균값을 산출하는 단계
    를 포함하는, 블러 처리 방법.
  17. 제12항에 있어서,
    상기 판단 결과 블러가 발생한 경우,
    ToF 방식 카메라를 통해 획득한 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계
    를 더 포함하는, 블러 처리 방법.
  18. 제17항에 있어서,
    상기 발생된 블러를 제거하는 단계는,
    상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계
    를 포함하는, 블러 처리 방법.
  19. ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 단계;
    상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 단계;
    상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하는 단계; 및
    상기 블러 영역을 필터링한 영상에서 상기 블러를 제거하는 단계
    를 포함하는, 블러 처리 방법.
  20. 제19항에 있어서,
    상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하는 단계는,
    r-세타(theta) 공간 상에서 상기 블러 영역을 필터링하는 단계
    를 포함하는, 블러 처리 방법.
KR1020120075386A 2011-07-12 2012-07-11 블러 처리 장치 및 방법 Active KR101929557B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014520126A JP6193227B2 (ja) 2011-07-12 2012-07-11 ブラー処理装置及び方法
PCT/KR2012/005512 WO2013009099A2 (ko) 2011-07-12 2012-07-11 블러 처리 장치 및 방법
EP12811416.2A EP2733928B1 (en) 2011-07-12 2012-07-11 Device and method for blur processing
US13/823,557 US9456152B2 (en) 2011-07-12 2012-07-11 Device and method for blur processing
CN201280003376.7A CN103181156B (zh) 2011-07-12 2012-07-11 模糊处理装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161506758P 2011-07-12 2011-07-12
US61/506,758 2011-07-12

Publications (2)

Publication Number Publication Date
KR20130008469A KR20130008469A (ko) 2013-01-22
KR101929557B1 true KR101929557B1 (ko) 2018-12-17

Family

ID=47838552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120075386A Active KR101929557B1 (ko) 2011-07-12 2012-07-11 블러 처리 장치 및 방법

Country Status (2)

Country Link
EP (1) EP2733928B1 (ko)
KR (1) KR101929557B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9256944B2 (en) 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
KR102562360B1 (ko) 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
KR102274033B1 (ko) * 2020-03-04 2021-07-08 (주)미래컴퍼니 다중 주파수를 이용하여 모션 블러를 저감하는 깊이 영상 획득 장치
CN111445404B (zh) * 2020-03-23 2024-06-25 上海数迹智能科技有限公司 一种基于双频和概率模型的相位去模糊方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053216A (ja) * 2009-09-01 2011-03-17 Samsung Electronics Co Ltd 距離測定方法、距離測定システム及び距離センサー

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4895304B2 (ja) * 2007-09-26 2012-03-14 富士フイルム株式会社 測距方法および装置
JP5280030B2 (ja) * 2007-09-26 2013-09-04 富士フイルム株式会社 測距方法および装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053216A (ja) * 2009-09-01 2011-03-17 Samsung Electronics Co Ltd 距離測定方法、距離測定システム及び距離センサー

Also Published As

Publication number Publication date
KR20130008469A (ko) 2013-01-22
EP2733928A4 (en) 2015-04-22
EP2733928A2 (en) 2014-05-21
EP2733928B1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
KR101929557B1 (ko) 블러 처리 장치 및 방법
JP6193227B2 (ja) ブラー処理装置及び方法
US9846944B2 (en) Depth calculation device, imaging apparatus, and depth calculation method
JP5868183B2 (ja) 撮像装置及び撮像方法
JP7262021B2 (ja) 奥行取得装置、奥行取得方法およびプログラム
JP5762211B2 (ja) 画像処理装置および画像処理方法、プログラム
KR101389841B1 (ko) 파노라마 영상 데이터 제공 방법 및 장치
CN103516983B (zh) 图像处理装置、摄像装置以及图像处理方法
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
US9456152B2 (en) Device and method for blur processing
KR20150037366A (ko) 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
US9438887B2 (en) Depth measurement apparatus and controlling method thereof
KR20170035844A (ko) 타임 오브 플라이트 데이터를 비닝하는 방법
US9995905B2 (en) Method for creating a camera capture effect from user space in a camera capture system
JP6152772B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP6313617B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
CN105791666A (zh) 自动对焦装置
KR101599434B1 (ko) 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
JP6369897B2 (ja) 自己位置算出装置及び自己位置算出方法
JP7373297B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7346021B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
KR20240131600A (ko) 센서를 이용한 객체 크기 추정 시스템 및 방법
JP2023137196A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US20140192203A1 (en) System and method for focusing an electronic imaging system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120711

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170323

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120711

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180319

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180918

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181210

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181211

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211115

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20221114

Start annual number: 5

End annual number: 5