[go: up one dir, main page]

KR101420684B1 - 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치 - Google Patents

컬러 영상과 깊이 영상을 매칭하는 방법 및 장치 Download PDF

Info

Publication number
KR101420684B1
KR101420684B1 KR1020080013003A KR20080013003A KR101420684B1 KR 101420684 B1 KR101420684 B1 KR 101420684B1 KR 1020080013003 A KR1020080013003 A KR 1020080013003A KR 20080013003 A KR20080013003 A KR 20080013003A KR 101420684 B1 KR101420684 B1 KR 101420684B1
Authority
KR
South Korea
Prior art keywords
image
depth
coordinates
brightness
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020080013003A
Other languages
English (en)
Other versions
KR20090087638A (ko
Inventor
강병민
임화섭
심재영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080013003A priority Critical patent/KR101420684B1/ko
Priority to US12/285,246 priority patent/US8717414B2/en
Publication of KR20090087638A publication Critical patent/KR20090087638A/ko
Application granted granted Critical
Publication of KR101420684B1 publication Critical patent/KR101420684B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 매칭 방법 및 장치에 관한 것으로서, 그 방법은 제 1 위치에 설치된 깊이 카메라가 피사체를 나타내는 깊이 영상 및 광도 영상을 획득하고, 제 1 위치가 아닌 다른 위치인 제 2 위치에 설치된 컬러 카메라가 상기 피사체를 나타내는 컬러 영상을 획득하고, 획득된 깊이 영상 및 광도 영상을 상기 제 2 위치에서 촬영되었을 경우 획득될 수 있는 깊이 영상 및 광도 영상으로 변환하고, 변환된 깊이 영상, 광도 영상 및 획득된 컬러 영상을 매칭함으로써 2차원 컬러 영상과는 개별적으로 획득된 깊이 영상 및 광도 영상을 2차원 컬러 영상에 정확하게 매칭시켜 신뢰도 높은 3차원 영상을 획득하게 한다.

Description

컬러 영상과 깊이 영상을 매칭하는 방법 및 장치{Apparatus and method for matching color image and depth image}
본 발명은 영상 매칭 방법 및 장치에 관한 것으로, 특히 깊이 영상 및 2차원 컬러 영상을 매칭하는 방법 및 장치에 관한 것이다.
CCD(Charge Coupled Device)나CMOS(Complenentary Metal Oxide Semiconductor)를 채용한 일반 가정용 카메라(이하, CCD/CMOS 카메라)는 그 CCD/CMOS 카메라에 구비된 촬영 버튼이 조작되면, 태양광 또는 플래쉬 광을 받는 피사체로부터 반사된 가시광선을 감지함으로써 그 피사체에 대한 2차원 컬러 영상을 획득한다.
그리고, 깊이 카메라(depth camera)는 그 깊이 카메라에 구비된 촬영 버튼이 조작되면, 피사체에 레이저나 적외선 등의 광선을 비추어 반사되어 되돌아오는 광선을 취득하여 그 피사체에 대한 깊이 영상을 획득한다. 이때의 깊이는 그 깊이 카메라로부터의 거리를 의미한다.
그리고, 이 획득된 2차원 컬러 영상과 깊이 영상을 이용하여 피사체의 3차원 영상을 획득할 수 있다.
본 발명이 이루고자 하는 기술적 과제는 2차원 컬러 영상과는 개별적으로 획득된 깊이 영상, 광도 영상을 2차원 컬러 영상에 정확하게 매칭시켜 신뢰도 높은 3차원 영상을 획득을 가능하게 하도록 하는 영상 매칭 방법 및 장치를 제공하는 데 있다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 영상 매칭 방법은 제 1 위치에 설치된 깊이 카메라가 피사체를 나타내는 깊이 영상 및 광도 영상을 획득하고, 상기 제 1 위치가 아닌 다른 위치인 제 2 위치에 설치된 컬러 카메라가 상기 피사체를 나타내는 컬러 영상을 획득하는 단계; 상기 획득된 깊이 영상 및 광도 영상을 각각 상기 제 2 위치에서 촬영되었을 경우 획득될 수 있는 깊이 영상 및 광도 영상으로 변환하는 단계; 및 상기 변환된 깊이 영상, 광도 영상 및 상기 획득된 컬러 영상을 매칭하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 영상 매칭 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 영상 매칭 장치는 제 1 위치에 설치되어 피사체를 나타내는 깊이 영상 및 광도 영상을 획득하는 깊이 카메라; 상기 제 1 위치가 아닌 다른 위치인 제 2 위치에 설치되어 상기 피사체를 나타 내는 컬러 영상을 획득하는 컬러 카메라; 상기 획득된 깊이 영상 및 광도 영상을 각각 상기 제 2 위치에서 촬영되었을 경우 획득될 수 있는 깊이 영상 및 광도 영상으로 변환하는 영상 변환부; 및 상기 변환된 깊이 영상, 광도 영상 및 상기 획득된 컬러 영상을 매칭하는 영상 매칭부를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 매칭 장치의 구성을 블록도로 도시한 것이다. 도 1을 참조하면, 본 실시예에 따른 영상 매칭 장치는 영상 획득부(110), 왜곡 보정부(120), 영상 변환부(130) 및 영상 매칭부(140)로 구성되고, 영상 획득부(110)는 깊이 카메라(111) 및 컬러 카메라(112)로 구성되고, 영상 변환부(130)는 좌표 계산부(131), 깊이 영상 생성부(132) 및 컬러 영상 생성부(133)로 구성되고, 영상 매칭부140)는 해상도 변환부(141), 에지 검출부(142) 및 매칭부(143)로 구성된다.
영상 획득부(110)는 깊이 카메라를 사용하여 피사체를 나타내는 깊이(depth) 영상 및 광도 영상(intensity)을 획득하고, 컬러 카메라를 사용하여 피사체를 나타내는 컬러(color) 영상을 획득한다. 특히, 영상 획득부(110)는 제 1 위치에 설치된 깊이 카메라(111)와 이 제 1 위치가 아닌 다른 위치인 제 2 위치에 설치된 컬러 카메라(112)로 구성되며, 이 깊이 카메라(110)와 컬러 카메라(122)는 각각 서로 다른 위치에서 각각 피사체를 바라보아 깊이 영상, 광도 영상 및 컬러 영상을 획득한다.
제 1 위치에 설치된 깊이 카메라(111)는 이 깊이 카메라(111)에 구비된 촬영 버튼이 조작되면, 피사체에 적외선을 조사하고, 그 피사체의 각 지점마다, 적외선이 조사된 시점부터 그 지점으로부터 반사된 적외선이 감지되는 시점까지의 시간을 이용하여 그 지점의 깊이를 계산하고, 계산된 깊이를 영상으로 표현함으로써, 그 피사체를 나타내는 깊이(depth) 영상을 획득한다. 이때, 깊이는 깊이 카메라(111)로부터 피사체와의 거리를 의미한다.
또한, 깊이 카메라(111)는 이 깊이 카메라(111)에 구비된 촬영 버튼이 조작되면, 피사체에 적외선을 조사하고, 그 피사체의 각 지점마다, 그 지점으로부터 반사된 적외선의 세기를 감지함으로써, 그 피사체를 나타내는 광도(intensity) 영상을 획득한다. 특히, 깊이 카메라(111)가 피사체의 깊이 영상을 획득했을 때 그 깊이 카메라(111)는 그 깊이 영상에 대응되는 광도 영상을 획득한다.
한편, 제 2 위치에 설치된 컬러 카메라(112)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등을 채용하며, 이 컬러 카메라(112)에 구비된 촬영 버튼이 조작되면, 태양광이나 플래쉬광 등을 받는 피사체로부터 반사된 가시광선을 감지함으로써, 그 피사체를 나타내는 2차원 컬러(color) 영상을 획득한다.
그리고, 본 실시예에서 이 깊이 카메라(111)와 컬러 카메라(112)는 서로 수평축 또는 수직축으로 일직선을 이루도록 고정되어 있다. 특히 본 실시예에서는, 깊이 카메라(111)의 렌즈와 컬러 카메라(112)의 렌즈가 수직으로 일직선을 이루며, 깊이 카메라(111)가 컬러 카메라(112)의 수직 위쪽에 위치하는 경우를 중심으로 설 명하기로 한다. 물론, 다른 일 예로서, 깊이 카메라(111)가 컬러 카메라(112)의 아래쪽에 위치할 수도 있으며, 깊이 카메라(111)와 컬러 카메라(112)가 수평을 이룰 수도 있다.
왜곡 보정부(120)는 깊이 카메라(111)에 의해 획득된 깊이 영상에 존재하는 렌즈 왜곡을 제거함으로써 그 깊이 영상을 보정하고, 그 깊이 카메라(111)에 의해 획득된 광도 영상에 존재하는 렌즈 왜곡을 제거함으로써 그 광도 영상을 보정한다. 또한, 왜곡 보정부(120)는 컬러 카메라(112)에 의해 획득된 컬러 영상에 존재하는 렌즈 왜곡을 제거함으로써 그 컬러 영상을 보정한다. 이때의 렌즈 왜곡은 획득된 영상들에 존재하는 왜곡으로서 카메라들에 구비된 렌즈에 의해 발생된 왜곡을 말한다. 일 예로서, 왜곡 보정부(120)는 도 2a에 도시된 바와 같이 획득된 영상의 각 픽셀마다 중심 픽셀로부터의 거리를 계산하여, 계산된 거리에 따라 각 픽셀들의 값을 이동시킴으로써 영상의 보정을 수행할 수 있다. 이러한 방법으로, 왜곡 보정부(120)는 도 2b에 도시된 바와 같이 방사형으로 왜곡되어 있는 영상을 보정할 수 있다. 이하에서는, 왜곡 보정부(120)에 의해 왜곡이 보정된 후의 깊이 영상을 제 1 깊이 영상이라 하고, 왜곡 보정부(120)에 의해 왜곡이 보정된 후의 광도 영상을 제 1 광도 영상이라 하며, 왜곡 보정부(120)에 의해 왜곡이 보정된 후의 컬러 영상을 제 1 컬러 영상이라 한다.
영상 변환부(130)는 왜곡이 보정된 깊이 영상인 제 1 깊이 영상을, 깊이 카메라(111)가 컬러 카메라(112)와 동일한 위치인 제 2 위치에서 피사체를 촬영하였다면 획득될 수 있었던 깊이 영상으로 변환한다. 또한, 영상 변환부(130)는 왜곡이 보정된 광도 영상인 제 1 광도 영상을, 깊이 카메라(111)가 컬러 카메라(112)와 동일한 위치인 제 2 위치에서 피사체를 촬영하였다면 획득될 수 있었던 광도 영상으로 변환한다. 이하에서는, 영상 변환부(130)에 의해 변환된 깊이 영상을 제 2 깊이 영상이라 하고, 영상 변환부(130)에 의해 변환된 광도 영상을 제 2 광도 영상이라 한다.
이렇게 영상 변환부(130)가 영상을 변환하는 이유는 다음과 같다. 깊이 카메라(111)는 컬러 카메라(112)와는 다른 위치와 각도에서 피사체를 바라보아 영상을 획득하였으므로, 도 3에 도시된 바와 같이 깊이 카메라(111)에 의해 획득된 영상을 그대로 컬러 카메라(112)에 의해 획득된 영상에 매칭시키면 원하지 않는 영상을 얻게 된다. 이러한 문제를 해결하기 위해, 영상 변환부(130)는 제 1 위치에 위치한 깊이 카메라(111)에 의해 획득된 깊이 영상과 광도 영상을 각각, 깊이 카메라(111)가 컬러 카메라(112)의 위치인 제 2 위치에 있었더라면 획득될 수 있었던 깊이 영상과 광도 영상으로 변환한다. 이러한 영상 변환부(130)는 좌표 계산부(131), 깊이 영상 생성부(132) 및 광도 영상 생성부(133)로 구성된다.
좌표 계산부(131)는 제 1 깊이 영상을 구성하는 픽셀들 각각의 좌표들로부터, 깊이 카메라(111)가 제2 위치에서 피사체를 촬영하였다면 획득할 수 있는 깊이 영상을 구성하는 픽셀들 각각의 좌표들을 계산한다. 이때, 제 1 깊이 영상을 구성하는 픽셀들 각각의 좌표들과 좌표 계산부(131)에 의해 계산된 좌표들은 서로 대응된다.
일 예로서, 도 4에 도시된 바와 같이 깊이 카메라(111)의 초점 거리를 f, 피 사체의 어느 한 지점의 깊이를 D, 깊이 카메라(111)와 컬러 카메라(112)의 중심 간의 거리를 B, 깊이 카메라(111)에서의 피사체의 상기 한 지점의 픽셀 좌표값을 X, 컬러 카메라(112) 위치에서의 피사체의 상기 한 지점의 픽셀 좌표값을 X', 중심 픽셀의 좌표값을 Y, 한 픽셀의 크기를 S, 깊이 카메라(111)의 중심에서 상기 한 지점까지의 수직 방향의 거리를 H, 컬러 카메라(112)의 중심에서 상기 한 지점까지의 수직 방향의 거리를 H'이라 한다.
그러면, 다음과 같은 비례식이 성립한다.
(X-Y)×S : f = H : D
(X'-Y)×S : f = H' : D
그리고, H'=H-B 이 성립하므로, 이러한 3 개의 식을 이용하면 (X'-Y)×D×S=(X-Y)×D×S-(B×f)을 얻을 수 있다.
따라서, 다음의 수학식 1이 성립한다.
X'-Y={(X-Y)-(B×f)/(D×S)}...(1)
X'={(X-Y)-(B×f)/(D×S)}+Y...(2)
예를 들면, 깊이 카메라(111)의 초점 거리 f=8×10-3, 깊이 카메라(111)와 컬러 카메라(112)의 중심 간의 거리 B=60×10-3, 한 픽셀의 크기 S=40×10-6, 중심 픽셀의 좌표값 Y=72라고 가정한다. 그리고, 깊이 카메라(111)에서 피사체의 상기 한 지점의 픽셀 좌표값인 X와 피사체의 어느 한 지점의 깊이인 D와의 관계가 도 5a 에 도시된 바와 같이, X가 67 내지 70에서는 깊이가 0.91m 이고, X가 71 내지 78에서는 깊이가 0.78m 라고 가정한다. 그러면, 좌표 계산부(131)는 상기 식(2)을 사용하여 컬러 카메라(112) 우치에서 피사체의 상기 한 지점의 픽셀 좌표값 X'를 계산한다. 그러면 계산된 결과 이 X'은 도 5b에 도시된 바와 같다.
깊이 영상 생성부(132)는 좌표 계산부(131)에 의해 계산된 좌표들을 이용하여, 각 정수 좌표를 갖는 픽셀에 대응하는 깊이 값을 계산하고, 이 계산된 깊이 값에 따른 깊이 영상인 제 2 깊이 영상을 생성한다. 좌표 계산부(131)에 의해 계산된 좌표들은 식(2)를 통해 얻은 값이므로 일반적으로 도 5b에 도시된 X'과 같이 정수가 아닌 실수값을 가지게 되어, 깊이 영상을 구성하는 픽셀들 각각에 대응하지 못한다. 왜냐하면, 깊이 영상을 구성하는 픽셀들은 정수 좌표값에 각각 대응하기 때문이다. 따라서, 깊이 영상 생성부(132)는 좌표 계산부(131)에 의해 계산된 좌표들과 이 좌표들에 따른 깊이 값으로부터, 정수 좌표들에 대응하는 깊이 값을 계산한다. 이때, 깊이 영상 생성부(132)는 좌표 계산부(131)에 의해 계산된 좌표들 중 각 정수 좌표들에 가장 가까운 좌표들의 깊이 값을, 이 각 정수 좌표들에 대응하는 깊이 값으로 하는 보간 방법을 사용할 수 있다. 또한, 깊이 영상 생성부(132)는 정수 좌표들에 대응하는 깊이 값을 계산하는 방법으로, 선형 보간법(linear interpolation)을 사용할 수 있다. 도 6a는 깊이 영상 생성부(132)가 선형 보간법을 사용하여 각 정수 좌표들에 대응하는 깊이 값을 계산하는 일 예를 도시한 것이다. 도 6a에서 ' ○'는 보간 전의 좌표와 깊이를 표시한 것이고, '●'는 보간 후의 좌표와 깊이를 표시한 것이다. 이 경우, X'이 53.81319일 때 깊이 값이 0.91m이고, X'이 54.81319일 때 깊이 값이 0.91m로부터 선형 보간법을 사용하여, 좌표 54에서의 깊이 값을 구한다. 그리고, X'이 54.81319일 때 깊이 값이 0.91m이고, X'이 55.61538일 때 깊이 값이 0.78m로부터 선형 보간법을 사용하여, 좌표 55에서의 깊이 값을 구한다. 그리고, X'이 55.81319일 때 깊이 값이 0.91m이고, X'이 56.61538일 때 깊이 값이 0.78m로부터 선형 보간법을 사용하여, 좌표 56에서의 깊이 값을 구한다. 그리고, X'이 56.81319일 때 깊이 값이 0.91m이고, X'이 57.61538일 때 깊이 값이 0.78m로부터 선형 보간법을 사용하여, 좌표 57에서의 깊이 값을 구한다. 그리고, X'이 57.61538일 때 깊이 값이 0.78m이고, X'이 58.61538일 때 깊이 값이 0.78m로부터 선형 보간법을 사용하여, 좌표 58에서의 깊이 값을 구한다.
그런데, 이와 같이 깊이 영상 생성부(132)가 좌표 계산부(131)에 의해 계산된 모든 좌표들을 사용하여 제 2 깊이 영상을 얻으면, 도 6a에 도시된 바와 같이 피사체의 깊이 값이 변하는 지점인 좌표 55, 56 및 57 주변의 깊이 영상에 왜곡이 생길 수 있다. 이는 제 1 깊이 영상을 구성하는 픽셀들 각각의 좌표값들보다 좌표 계산부(131)의 식(2)를 통한 계산 결과의 의한 좌표값들이 작아지는데 특히, 피사체의 지점이 더 깊을수록 좌표값들이 덜 작아지게 되는 현상 때문이다. 다시 설명하면, 깊이 카메라(111)와 컬러 카메라(112)의 중심 간의 거리인 B, 깊이 카메라(111)의 초점 거리인 f 및 한 픽셀의 크기인 S는 각각 일정하고, 제 1 깊이 영상을 구성하는 픽셀들 각각의 좌표들과 좌표 계산부(131)에 의해 계산된 픽셀들 각각의 좌표들의 차이인 (X-Y)-(X'-Y)는 식(1)을 통해 (B×f)/(D×S) 와 같으므로, 제 1 깊이 영상을 구성하는 픽셀들 각각의 좌표들과 좌표 계산부(131)에 의해 계산된 픽셀들 각각의 좌표들의 차이는 피사체의 어느 한 지점의 깊이인 D에 반비례한다. 즉, 피사체의 지점이 깊을수록 제 1 깊이 영상을 구성하는 픽셀들 각각의 좌표들과 좌표 계산부(131)에 의해 계산된 각각의 좌표들의 차이는 작아진다. 즉, 피사체의 지점이 깊을수록 좌표 계산부(131)에 의해 계산된 각각의 좌표들은 덜 작아진다. 그리고 이로 인해, 깊이 영상 생성부(132)가 좌표 계산부(131)에 의해 계산된 모든 좌표들을 이용하여, 깊이 값을 계산한다면, 도 6a에 도시된 바와 같이 깊이 영상의 왜곡이 발생할 수 있다.
따라서, 깊이 영상 생성부(132)는 식(2)에 의해 계산된 X' 가 순서대로 증가하는 상태를 유지할 수 있도록 하고, 만일 X'가 계속 증가하는 상태를 유지하지 못하게 막는 X'를 삭제한다. 일 예로서, 도 6b는 깊이 영상 생성부(132)가 이러한 일부 좌표들을 삭제하고 깊이 값을 계산하는 일 예를 도시한 것으로서, 도 6b에서 ' ○'는 보간 전의 좌표와 깊이를 표시한 것이고, '●'는 보간 후의 좌표와 깊이를 표시한 것이다. 도 6b에 도시된 바와 같이, X'가 53.81319, 54.81319, 55.81319, 56.81319로 진행하다가, 그 후 X'가 55.61538 이 되므로, 이 55.61538 보다 작은 값인 55.81319 와 56.81319 를 삭제한 후 선형 보간법을 사용하여 각 정수 좌표값들에 따른 깊이 값들을 계산으로써, 왜곡이 없는 제 2 깊이 영상을 얻을 수 있다.
광도 영상 생성부(133)는 좌표 계산부(131)에 의해 계산된 좌표들과 이 좌표들에 따른 광도 값으로부터, 정수 좌표들에 대응하는 광도 값을 계산하고, 이 계산된 광도 값에 따른 광도 영상인 제 2 영상을 생성한다. 이때, 광도 영상 생성부(133)는 좌표 계산부(131)에 의해 계산된 좌표들 중 각 정수 좌표들에 가장 가까 운 좌표들의 광도 값을, 이 각 정수 좌표들에 대응하는 광도 값으로 하는 보간 방법을 사용할 수 있다. 또한, 광도 영상 생성부(132)는 정수 좌표들에 대응하는 광도 값을 계산하는 방법으로, 선형 보간법을 사용할 수 있다.
그런데, 광도 영상 생성부(133)가 좌표 계산부(131)에 의해 계산된 모든 좌표들을 사용하여 제 2 광도 영상을 얻으면, 그 광도 영상에 왜곡이 생길 수 있다. 이는 깊이 영상 생성부(132)가 모든 좌표들을 사용하여 제 2 깊이 영상을 얻으면, 그 깊이 영상에 왜곡이 생기는 이유와 동일하다. 따라서, 마찬가지로 광도 영상 생성부(133)는 좌표 계산부(131)에 의해 계산된 X'이 순서대로 증가하는 상태를 유지할 수 있도록 하는 좌표들로부터만 선형 보간법을 이용하여, 정수 좌표들에 대응하는 광도 값을 계산하고, 이 계산된 광도 값에 따른 광도 영상인 왜곡이 없는 제 2 광도 영상을 생성한다.
영상 매칭부(140)는 영상 변환부(130)에 의해 변환된 깊이 영상인 제 2 깊이 영상, 영상 변환부(130)에 의해 변환된 광도 영상인 제 2 광도 영상 및 왜곡 보정부(130)에 의해 왜곡이 보정된 컬러 영상인 제 1 컬러 영상을 각각 매칭시키는 기능을 수행하며, 해상도 변환부(141), 에지 검출부(142) 및 매칭부(143)로 구성된다.
해상도 변환부(141)는 깊이 영상 생성부(132)로부터 제 2 깊이 영상을 입력받고, 광도 영상 생성부(133)로부터 제 2 광도 영상을 입력받으며, 왜곡 보정부(120)로부터 제 1 컬러 영상을 입력받는다.
그러면, 해상도 변환부(141)는 입력된 제 2 광도 영상과 제 1 컬러 영상 각 각의 해상도가 서로 일치하도록 제 2 광도 영상 및 제 1 컬러 영상 중 적어도 하나를 조정한다. 구체적으로, 해상도 변환부(141)는 입력된 제 2 광도 영상과 제 1 컬러 영상의 해상도가 서로 일치하도록 제 2 광도 영상 및 제 1 컬러 영상 중 적어도 하나를 리샘플링(resampling)하고, 리셈플링된 제 2 광도 영상 및 리샘플링된 제 1 컬러 영상 중 적어도 하나를 출력한다. 여기서, 리샘플링이란 인터폴레이션(interpolation)만을 의미할 수도 있고, 데시메이션(decimation)만을 의미할 수도 있고, 인터폴레이션과 데시메이션을 모두 의미할 수도 있다. 특히, 본 실시예에서 해상도 변환부(104)는 입력된 광도 영상을 리샘플링함으로써 제 2 광도 영상의 해상도를 제 1 컬러 영상의 해상도와 일치시킨다.
또한, 해상도 변환부(141)는 입력된 제 2 깊이 영상과 제 1 컬러 영상 각각의 해상도가 서로 일치하도록 제 2 깊이 영상 및 제 1 컬러 영상 중 적어도 하나를 조정한다. 특히, 본 실시예에서 해상도 변환부(141)는 제 2 광도 영상을 리셈플링하는 방법과 동일한 방법을 사용하여 제 2 깊이 영상의 해상도를 조정한다. 즉, 해상도 변환부(141)가 제 2 광도 영상의 샘플링 주파수를 두 배로 인터폴레이션을 하였다면, 마찬가지로 제 2 깊이 영상의 샘플링 주파수를 두 배로 인터폴레이션을 함으로써 제 2 깊이 영상의 해상도를 제 1 컬러 영상의 해상도와 일치시킨다.
에지 검출부(142)는 해상도 변환부(141)로부터 제 2 광도 영상과 제 1 컬러 영상을 입력받고, 이 제 2 광도 영상에서 하나 이상의 에지들을 제 1 에지들로서 검출하고, 이 제 1 컬러 영상에서 하나 이상의 에지들을 제 2 에지들로서 검출한다. 구체적으로, 에지 검출부(142)는 제 2 광도 영상 내에서 광도에 급격한 변화가 있는 지점들을 제 1 에지들로서 검출하고, 이와 비슷하게, 제 1 컬러 영상 내에서 컬러의 급격한 변화가 있는 지점들을 제 2 에지들로서 검출한다.
매칭부(143)는 검출된 제 1 에지들과 제 2 에지들을 서로 최대한 겹치도록, 제 2 광도 영상과 제 1 컬러 영상을 서로 포갠다. 그리고, 매칭부(143)는 제 2 광도 영상과 제 1 컬러 영상이 서로 포개진 만큼, 제 2 깊이 영상과 제 1 컬러 영상을 서로 포개고, 그 상태에서 제 2 깊이 영상과 제 1 컬러 영상 간에 서로 중첩된 픽셀들을 서로 매칭시킨다.
도 7은 본 발명의 일 실시예에 따른 영상 매칭 방법을 흐름도로 도시한 것이다. 도 7을 참조하면, 본 실시예에 따른 영상 매칭 방법은 도 1에 도시된 영상 매칭 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이 있다고 하더라도 도 1에 도시된 영상 매칭 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 매칭 방법에도 적용된다.
도 7을 참조하면, 710 단계에서 영상 매칭 장치는 제 1 위치에 설치된 깊이 카메라를 사용하여 피사체를 나타내는 깊이 영상 및 광도 영상을 획득하고, 이 제 1 위치가 아닌 다른 위치인 제 2 위치에 설치된 컬러 카메라를 사용하여 피사체를 나타내는 컬러 영상을 획득한다. 이때, 이 깊이 카메라와 컬러 카메라는 서로 수평축 또는 수직축으로 일직선을 이루도록 고정되어 있으며, 특히 본 실시예에서는 깊이 카메라가 컬러 카메라의 수직 위쪽에 위치하는 경우를 중심으로 설명한다.
720 단계에서 영상 매칭 장치는 710 단계의 깊이 카메라에 의해 획득된 깊이 영상 및 광도 영상에 존재하는 렌즈 왜곡을 제거함으로써 그 깊이 영상 및 광도 영 상을 보정한다. 또한, 영상 매칭 장치는 710 단계의 컬러 카메라에 의해 획득된 컬러 영상에 존재하는 렌즈 왜곡을 제거함으로써 그 컬러 영상을 보정한다. 이때의 렌즈 왜곡은 획득된 영상들에 존재하는 왜곡으로서 카메라들에 구비된 렌즈에 의해 발생된 왜곡을 말한다. 이하에서는, 왜곡이 보정된 후의 깊이 영상을 제 1 깊이 영상이라 하고, 왜곡이 보정된 후의 광도 영상을 제 1 광도 영상이라 하며, 왜곡이 보정된 후의 컬러 영상을 제 1 컬러 영상이라 한다.
730 단계에서 영상 매칭 장치는 720 단계에서 왜곡이 보정된 깊이 영상인 제 1 깊이 영상을, 깊이 카메라가 컬러 카메라와 동일한 위치인 제 2 위치에서 피사체를 촬영하였다면 획득될 수 있었던 깊이 영상으로 변환한다. 또한, 영상 매칭 장치는 720 단계에서 왜곡이 보정된 광도 영상인 제 1 광도 영상을, 깊이 카메라가 제 2 위치에서 피사체를 촬영하였다면 획득될 수 있었던 광도 영상으로 변환한다. 이하에서는 이 730 단계를 통해 변환된 깊이 영상을 제 2 깊이 영상이라 하고, 영상 변환부에 의해 변환된 광도 영상을 제 2 광도 영상이라 한다.
740 단계에서 영상 매칭 장치는 730 단계에서 변환된 광도 영상인 제 2 광도 영상과 730 단계에서 왜곡이 보정된 컬러 영상인 제 1 컬러 영상 각각의 해상도가 서로 일치하도록 제 2 광도 영상 및 제 1 컬러 영상 중 적어도 하나를 조정한다. 구체적으로, 영상 매칭 장치는 제 2 광도 영상과 제 1 컬러 영상의 해상도가 서로 일치하도록 제 2 광도 영상 및 제 1 컬러 영상 중 적어도 하나를 리샘플링(resampling)한다. 특히, 본 실시에에서는 제 2 광도 영상을 리샘플링함으로써 제 2 광도 영상의 해상도를 제 1 컬러 영상의 해상도와 일치시킨다. 또한, 영상 매 칭 장치는 730 단계에서 변환된 깊이 영상인 제 2 깊이 영상과 720 단계에서 왜곡이 보정된 컬러 영상인 제 1 컬러 영상 각각의 해상도가 서로 일치하도록 제 2 깊이 영상 및 제 1 컬러 영상 중 적어도 하나를 조정하며, 특히 본 실시예서는 제 2 광도 영상을 샘플링한 주파수와 동일한 주파수로 제 2 깊이 영상을 리샘플링함으로써 제 2 깊이 영상의 해상도를 제 1 컬러 영상의 해상도와 일치시킨다.
750 단계에서 영상 매칭 장치는 740 단계에서 조정된 제 2 광도 영상에서 하나 이상의 에지들을 제 1 에지들로서 검출하고, 720 단계에서 왜곡이 보정된 제 1 컬러 영상에서 하나 이상의 에지들을 제 2 에지들로서 검출한다. 구체적으로, 영상 매칭 장치는 제 2 광도 영상 내에서 광도에 급격한 변화가 있는 지점들을 제 1 에지들로서 검출하고, 이와 비슷하게, 컬러 영상 내에서 컬러의 급격한 변화가 있는 지점들을 제 2 에지들로서 검출한다.
760 단계에서 영상 매칭 장치는 750 단계에서 검출된 제 1 에지들과 제 2 에지들을 서로 최대한 겹치도록, 제 2 광도 영상과 제 1 컬러 영상을 서로 포갠다. 그리고, 영상 매칭 장치는 제 2 광도 영상과 제 1 컬러 영상이 서로 포개진 만큼, 제 2 깊이 영상과 제 1 컬러 영상을 서로 포개고, 그 상태에서 제 2 깊이 영상과 제 1 컬러 영상 간에 서로 중첩된 픽셀들을 서로 매칭시킨다.
도 8은 도 7의 730 단계를 보다 구체화한 흐름도이다. 도 8을 참조하면, 본 실시예에 따른 영상 변환 방법은 도 1에 도시된 영상 변환부에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이 있다고 하더라도 도 1에 도시된 영상 변환부에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 변환 방법에도 적용된다.
810 단계에서 영상 변환부는 제 1 깊이 영상을 구성하는 픽셀들 각각의 좌표들로부터, 깊이 카메라가 제 2 위치에서 피사체를 촬영하였다면 획득할 수 있는 깊이 영상을 구성하는 픽셀들 각각의 좌표들을 계산한다. 일 예로서, 제 1 깊이 영상을 구성하는 픽셀들의 좌표에 따른 깊이 값들이 도 5a에 도시된 바와 같은 경우, 영상 변환부는 수학식1의 식(2)를 이용하여, 이 제 1 깊이 영상을 구성하는 픽셀들 각각의 좌표에 대응되는 좌표들을 계산한다. 식(2)를 이용한 계산 결과는 도 5b에 도시된 바와 같으며, 이 계산된 좌표들은 대응되는 제 1 깊이 영상을 구성하는 픽셀들의 좌표들에 비해 작다.
820 단계에서 영상 변환부는 810 단계에서 계산된 좌표들 중 계산된 좌표들이 순서대로 증가하는 좌표들이 아닌 좌표들을 삭제한다. 이는 피사체의 지점이 깊을수록 810 단계에서 계산된 좌표가 덜 작아지게 되어, 피사체에서 멀리 있는 지점과 가까이 있는 지점의 경계 주변으로 영상의 왜곡이 발생하기 때문이다.
830 단계에서 영상 변환부는 810 단계에서 계산된 좌표들 중 820 단계에서 삭제가 되지 않은 좌표들과 이 좌표들에 대응하는 깊이 값들로부터, 선형 보간법 등을 사용하여 각 정수 좌표들에 따른 깊이 값을 계산하고, 이 계산된 깊이 값에 따른 깊이 영상인 제 2 깊이 영상을 생성한다.
840 단계에서 영상 변환부는 810 단계에서 계산된 좌표들 중 820 단계에서 삭제가 되지 않은 좌표들과 이 좌표들에 대응하는 광도 값들으로부터, 선형 보간법 등을 사용하여 각 정수 좌표들에 따른 광도 값을 계산하고, 이 계산된 광도 값에 따른 광도 영상인 제 2 광도 영상을 생성한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 매칭 장치의 구성을 블록도로 도시한 것이다.
도 2a는 도 1에 도시된 영상 매칭 장치의 왜곡 보정부에 의해 영상의 왜곡 보정을 설명하기 위한 도면이고, 도 2b는 이 왜곡 보정부에 의해 영상의 왜곡이 보정된 일 예를 도시한 것이다.
도 3은 도 1에 도시된 영상 매칭 장치의 영상 변환부가 영상을 변환해야 하는 이유를 설명하기 위한 도면이다.
도 4는 도 1에 도시된 영상 매칭 장치의 좌표 계산부가 좌표들을 계산하는 과정을 설명하기 위한 도면이다.
도 5a는 도 1에 도시된 영상 매칭 장치에 대한 피사체의 깊이를 도시한 것이다.
도 5b는 도 1에 도시된 영상 매칭 장치의 좌표 계산부에 계산된 좌표들의 일 예를 도시한 것이다.
도 6a는 도 1에 도시된 영상 매칭 장치의 깊이 영상 생성부가 모든 좌표들을 이용하여 깊이 값들을 계산한 경우의 일 예를 도시한 것이고, 도 6b는 도 1에 도시된 영상 매칭 장치의 깊이 영상 생성부가 일부 좌표들을 제거하고 깊이 값들을 계산한 경우의 일 예를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 영상 매칭 방법을 흐름도로 도시한 것이다.
도 8은 도 7에 도시된 영상 매칭 방법의 730 단계를 보다 구체화한 흐름도이다.

Claims (11)

  1. 제 1 위치에 설치된 깊이 카메라가 피사체를 나타내는 깊이 영상 및 광도 영상을 획득하고, 상기 제 1 위치가 아닌 다른 위치인 제 2 위치에 설치된 컬러 카메라가 상기 피사체를 나타내는 컬러 영상을 획득하는 단계;
    상기 획득된 깊이 영상 및 광도 영상을 각각 상기 제 2 위치에서 촬영되었을 경우 획득될 수 있는 깊이 영상 및 광도 영상으로 변환하는 단계; 및
    상기 변환된 깊이 영상, 광도 영상 및 상기 획득된 컬러 영상을 매칭하는 단계를 포함하고,
    상기 변환하는 단계는
    상기 획득된 깊이 영상에 따른 깊이 값을 이용하여, 상기 획득된 깊이 영상 및 광도 영상을 구성하는 각 픽셀에 대응하는 상기 제 2 위치에서 촬영되었을 경우의 각 픽셀 좌표를 계산하는 단계; 및
    상기 계산된 각 픽셀 좌표를 이용하여, 각 정수 좌표에 대응하는 깊이 값 및 광도 값을 계산하고, 상기 계산된 깊이 값 및 광도 값에 따른 깊이 영상 및 광도 영상을 생성함으로써, 상기 획득된 깊이 영상 및 광도 영상을 각각 상기 제 2 위치에서 촬영되었을 경우 획득될 수 있는 깊이 영상 및 광도 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 영상 매칭 방법.
  2. 제 1 항에 있어서, 상기 변환하는 단계는
    상기 획득된 깊이 영상 및 광도 영상을 각각, 상기 획득된 깊이 영상에 따른 깊이 값을 이용하여 상기 제 2 위치에서 촬영되었을 경우 획득될 수 있는 깊이 영상 및 광도 영상으로 변환하는 것을 특징으로 하는 영상 매칭 방법.
  3. 삭제
  4. 제 1 항에 있어서, 상기 변환된 깊이 영상 및 변환된 광도 영상을 생성하는 단계는
    상기 계산된 각 픽셀의 좌표 중 상기 정수 좌표들에 가장 가까운 2개의 좌표들의 깊이 값을 이용하여 상기 각 정수 좌표에 대응하는 깊이 값을 계산하고, 상기 계산된 깊이 값에 따른 깊이 영상을 생성하고,
    상기 계산된 각 픽셀의 좌표 중 상기 정수 좌표들에 가장 가까운 2개의 좌표들의 광도 값을 이용하여 상기 각 정수 좌표에 대응하는 광도 값을 계산하고, 상기 계산된 광도 값에 따른 광도 영상을 생성하는 것을 특징으로 하는 영상 매칭 방법.
  5. 제 1 항에 있어서, 상기 매칭하는 단계는
    상기 변환된 깊이 영상, 광도 영상 및 상기 획득된 컬러 영상 각각의 해상도가 서로 일치하도록 상기 변환된 깊이 영상, 광도 영상을 조정하는 단계;
    상기 조정된 광도 영상에서 적어도 하나 이상의 제 1 에지들을 검출하고, 상기 획득된 컬러 영상에서 적어도 하나 이상의 제 2 에지들을 검출하는 단계; 및
    상기 검출된 제 1 에지들과 제 2 에지들이 겹치도록 상기 조정된 광도 영상 과 상기 획득된 컬러 영상을 포개고, 상기 포갠 만큼 상기 조정된 깊이 영상과 상기 획득된 컬러 영상을 포갬으로써 매칭을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 매칭 방법.
  6. 제 1 위치에 설치되어 피사체를 나타내는 깊이 영상 및 광도 영상을 획득하는 깊이 카메라;
    상기 제 1 위치가 아닌 다른 위치인 제 2 위치에 설치되어 상기 피사체를 나타내는 컬러 영상을 획득하는 컬러 카메라;
    상기 획득된 깊이 영상 및 광도 영상을 각각 상기 제 2 위치에서 촬영되었을 경우 획득될 수 있는 깊이 영상 및 광도 영상으로 변환하는 영상 변환부; 및
    상기 변환된 깊이 영상, 광도 영상 및 상기 획득된 컬러 영상을 매칭하는 영상 매칭부를 포함하고,
    상기 영상 변환부는
    상기 획득된 깊이 영상에 따른 깊이 값을 이용하여, 상기 획득된 깊이 영상 및 광도 영상을 구성하는 각 픽셀에 대응하는 상기 제 2 위치에서 촬영되었을 경우의 각 픽셀 좌표를 계산하는 좌표 계산부; 및
    상기 계산된 각 픽셀 좌표를 이용하여, 각 정수 좌표를 갖는 픽셀에 대응하는 깊이 값 및 광도 값을 계산하고, 상기 계산된 깊이 값 및 광도 값에 따른 깊이 영상 및 광도 영상을 생성하는 깊이 영상/광도 영상 생성부를 포함하는 것을 특징으로 하는 영상 매칭 장치.
  7. 제 6 항에 있어서, 상기 영상 변환부는
    상기 획득된 깊이 영상 및 광도 영상을 각각, 상기 획득된 깊이 영상에 따른 깊이 값을 이용하여 상기 제 2 위치에서 촬영되었을 경우 획득될 수 있는 깊이 영상 및 광도 영상으로 변환하는 것을 특징으로 하는 영상 매칭 장치.
  8. 삭제
  9. 제 6 항에 있어서, 상기 깊이 영상/광도 영상 생성부는
    상기 계산된 각 픽셀의 좌표 중 상기 정수 좌표들에 가장 가까운 2개의 좌표들의 깊이 값을 이용하여 상기 각 정수 좌표에 대응하는 깊이 값을 계산하고, 상기 계산된 깊이 값에 따른 깊이 영상을 생성하고, 상기 계산된 각 픽셀의 좌표 중 상기 정수 좌표들에 가장 가까운 2개의 좌표들의 광도 값을 이용하여 상기 각 정수 좌표에 대응하는 광도 값을 계산하고, 상기 계산된 광도 값에 따른 광도 영상을 생성하는 것을 특징으로 하는 영상 매칭 장치.
  10. 제 6 항에 있어서, 상기 영상 매칭부는
    상기 변환된 깊이 영상, 광도 영상 및 상기 획득된 컬러 영상 각각의 해상도가 서로 일치하도록 상기 변환된 깊이 영상, 광도 영상을 조정하는 해상도 변환부;
    상기 조정된 광도 영상에서 적어도 하나 이상의 제 1 에지들을 검출하고, 상기 획득된 컬러 영상에서 적어도 하나 이상의 제 2 에지들을 검출하는 에지 검출부; 및
    상기 검출된 제 1 에지들과 제 2 에지들이 겹치도록 상기 조정된 광도 영상과 상기 획득된 컬러 영상을 포개고, 상기 포갠 만큼 상기 조정된 깊이 영상과 상기 획득된 컬러 영상을 포갬으로써 매칭을 수행하는 매칭부를 포함하는 것을 특징으로 하는 영상 매칭 장치.
  11. 제 1 항 내지 제2항, 제4항 내지 제 5 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.
KR1020080013003A 2008-02-13 2008-02-13 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치 Active KR101420684B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080013003A KR101420684B1 (ko) 2008-02-13 2008-02-13 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
US12/285,246 US8717414B2 (en) 2008-02-13 2008-09-30 Method and apparatus for matching color image and depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080013003A KR101420684B1 (ko) 2008-02-13 2008-02-13 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090087638A KR20090087638A (ko) 2009-08-18
KR101420684B1 true KR101420684B1 (ko) 2014-07-21

Family

ID=40938543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080013003A Active KR101420684B1 (ko) 2008-02-13 2008-02-13 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치

Country Status (2)

Country Link
US (1) US8717414B2 (ko)
KR (1) KR101420684B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101679148B1 (ko) 2015-06-15 2016-12-06 동의대학교 산학협력단 깊이 카메라를 이용한 화재 감시 시스템 및 이를 이용한 화재 감시 방법
KR102103944B1 (ko) * 2019-05-23 2020-04-23 주식회사 모빌테크 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
KR20110116325A (ko) * 2010-04-19 2011-10-26 삼성전자주식회사 영상 처리 장치 및 그 방법
JP2011250177A (ja) * 2010-05-27 2011-12-08 Toshiba Corp カメラモジュール及び画像記録方法
KR20110135044A (ko) * 2010-06-10 2011-12-16 삼성전자주식회사 3ｄ영상 처리 장치 및 그 방법
KR101681095B1 (ko) * 2010-08-24 2016-12-02 삼성전자주식회사 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
US20120056988A1 (en) * 2010-09-07 2012-03-08 David Stanhill 3-d camera
KR101666932B1 (ko) * 2010-11-04 2016-10-17 삼성전자주식회사 평면 영역을 이용한 이종 카메라간 교정 방법 및 장치
KR101156547B1 (ko) * 2010-12-30 2012-06-20 주식회사 나무가 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법
US9834153B2 (en) 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US9270974B2 (en) * 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
KR101978172B1 (ko) 2011-11-29 2019-05-15 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
KR101901586B1 (ko) * 2011-12-23 2018-10-01 삼성전자주식회사 로봇 위치 추정 장치 및 그 방법
KR101862199B1 (ko) * 2012-02-29 2018-05-29 삼성전자주식회사 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
US9584806B2 (en) * 2012-04-19 2017-02-28 Futurewei Technologies, Inc. Using depth information to assist motion compensation-based video coding
US9769473B2 (en) * 2012-06-08 2017-09-19 Apple Inc. Predictive video coder with low power reference picture transformation
KR101362183B1 (ko) * 2012-11-29 2014-02-13 한국과학기술연구원 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법
US9589326B2 (en) 2012-11-29 2017-03-07 Korea Institute Of Science And Technology Depth image processing apparatus and method based on camera pose conversion
US20150172637A1 (en) * 2013-12-12 2015-06-18 Electronics And Telecommunications Research Institute Apparatus and method for generating three-dimensional output data
CN104134230B (zh) * 2014-01-22 2015-10-28 腾讯科技（深圳）有限公司 一种图像处理方法、装置及计算机设备
KR102214193B1 (ko) * 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9948911B2 (en) * 2014-09-05 2018-04-17 Qualcomm Incorporated Method and apparatus for efficient depth image transformation
CN106303266B (zh) * 2015-05-19 2019-05-21 小米科技有限责任公司 闪光灯的控制方法、装置及终端
CN107818554B (zh) * 2016-09-12 2023-04-21 索尼公司 信息处理设备和信息处理方法
KR102690408B1 (ko) 2019-01-11 2024-07-30 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
CN112837207B (zh) * 2019-11-25 2024-06-21 影石创新科技股份有限公司 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
US11741631B2 (en) 2021-07-15 2023-08-29 Vilnius Gediminas Technical University Real-time alignment of multiple point clouds to video capture
US12062245B2 (en) 2021-08-31 2024-08-13 Vilnius Gediminas Technical University System and method for real-time creation and execution of a human digital twin
US20230260143A1 (en) * 2022-02-16 2023-08-17 Analog Devices International Unlimited Company Using energy model to enhance depth estimation with brightness image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005228134A (ja) * 2004-02-13 2005-08-25 Konica Minolta Photo Imaging Inc 画象処理装置、画像処理方法及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
US6009359A (en) * 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
JPH1185984A (ja) 1997-09-02 1999-03-30 Nippon Telegr & Teleph Corp <Ntt> 三次元画像入力装置及び三次元画像処理方法ならびに三次元画像処理プログラムを記録した記録媒体
JPH11102438A (ja) * 1997-09-26 1999-04-13 Minolta Co Ltd 距離画像生成装置及び画像表示装置
JP2000350123A (ja) * 1999-06-04 2000-12-15 Fuji Photo Film Co Ltd 画像選択装置、カメラ、画像選択方法及び記録媒体
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
AU2599701A (en) * 1999-12-28 2001-07-09 Vrex, Inc. A 3d camera
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
US6834119B2 (en) 2001-04-03 2004-12-21 Stmicroelectronics, Inc. Methods and apparatus for matching multiple images
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US7444013B2 (en) * 2001-08-10 2008-10-28 Stmicroelectronics, Inc. Method and apparatus for recovering depth using multi-plane stereo and spatial propagation
WO2003058158A2 (en) * 2001-12-28 2003-07-17 Applied Precision, Llc Stereoscopic three-dimensional metrology system and method
JP2004013869A (ja) 2002-06-12 2004-01-15 Nec Corp ３次元形状生成装置及びそれに用いる３次元形状生成方法並びにそのプログラム
US7738725B2 (en) * 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
US7356408B2 (en) * 2003-10-17 2008-04-08 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and information display method
KR100513055B1 (ko) 2003-12-11 2005-09-06 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
JP4428067B2 (ja) * 2004-01-28 2010-03-10 ソニー株式会社 画像照合装置、プログラム、および画像照合方法
US8537204B2 (en) * 2004-07-08 2013-09-17 Gyoung Il Cho 3D television broadcasting system
FR2868168B1 (fr) * 2004-03-26 2006-09-15 Cnes Epic Appariement fin d'images stereoscopiques et instrument dedie avec un faible coefficient stereoscopique
ATE406850T1 (de) * 2004-06-17 2008-09-15 Cadent Ltd Verfahren und gerät zur farbbildformung einer dreidimensionalen struktur
KR100776649B1 (ko) 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
US7477360B2 (en) * 2005-02-11 2009-01-13 Deltasphere, Inc. Method and apparatus for displaying a 2D image data set combined with a 3D rangefinder data set
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US7477777B2 (en) * 2005-10-28 2009-01-13 Aepx Animation, Inc. Automatic compositing of 3D objects in a still frame or series of frames
US20070201859A1 (en) * 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
US7573475B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
US7573489B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
DE102006055641B4 (de) * 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
KR101327791B1 (ko) * 2007-09-11 2013-11-20 삼성전자주식회사 영상 매칭 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005228134A (ja) * 2004-02-13 2005-08-25 Konica Minolta Photo Imaging Inc 画象処理装置、画像処理方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101679148B1 (ko) 2015-06-15 2016-12-06 동의대학교 산학협력단 깊이 카메라를 이용한 화재 감시 시스템 및 이를 이용한 화재 감시 방법
KR102103944B1 (ko) * 2019-05-23 2020-04-23 주식회사 모빌테크 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2020235734A1 (ko) * 2019-05-23 2020-11-26 주식회사 모빌테크 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
US12122413B2 (en) 2019-05-23 2024-10-22 Mobiltech Method for estimating distance to and location of autonomous vehicle by using mono camera

Also Published As

Publication number Publication date
US20090201384A1 (en) 2009-08-13
US8717414B2 (en) 2014-05-06
KR20090087638A (ko) 2009-08-18

Similar Documents

Publication Publication Date Title
KR101420684B1 (ko) 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
KR101327791B1 (ko) 영상 매칭 장치 및 방법
US8289405B2 (en) Image processing apparatus and method thereof
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
JP6140935B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US9420175B2 (en) Image processing system, image processing method, and computer-readable medium
US9697589B2 (en) Signal processing apparatus, imaging apparatus, signal processing method and program for correcting deviation of blurring in images
US8422827B2 (en) Image correction apparatus and image correction method
JP2009207118A (ja) 撮像装置及びぶれ補正方法
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
JP2010091426A (ja) 距離計測装置及びプログラム
WO2012029658A1 (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
KR102029335B1 (ko) 왜곡 영상 보정 장치 및 방법
JP2019012915A (ja) 画像処理装置、画像変換方法
JP2010187348A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2014051212A (ja) 移動体検出方法
JP2020150448A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
KR101578029B1 (ko) 영상 왜곡 보정 장치 및 방법
JP6153318B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
KR20100046544A (ko) 영상 왜곡 보정 방법 및 장치
JP2009009206A (ja) 画像中の輪郭抽出方法及びその画像処理装置
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP4740008B2 (ja) 手ぶれ検出装置およびデジタルカメラ
JP2019144803A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080213

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20130116

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20080213

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140129

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140428

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140711

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140714

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170619

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170619

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180620

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180620

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20200618

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210617

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230620

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20250612

Start annual number: 12

End annual number: 12