KR20130036430A

KR20130036430A - 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체

Info

Publication number: KR20130036430A
Application number: KR1020110100501A
Authority: KR
Inventors: 김만배; 장성은
Original assignee: 강원대학교산학협력단
Priority date: 2011-10-04
Filing date: 2011-10-04
Publication date: 2013-04-12
Also published as: KR101262164B1

Abstract

본 발명은 영상의 깊이를 감지하기 위한 깊이 센서(depth sensor)와, 상기 깊이 센서에서 출력된 신호를 처리하는 영상 처리 장치를 포함하는 고 해상도 깊이 맵 생성 장치에서의 고 해상도 깊이 맵 생성 방법에 있어서, 상기 영상 처리 장치는 상기 깊이 센서에서 생성된 저 해상도 깊이 맵(low resolution depth map)에서 고주파 성분을 추출하는 단계, 상기 고주파 성분을 이용하여 보간(interpolation) 을 실시하는 단계 및 상기 보간 과정을 거쳐서 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함한다. 본 발명에 의하면 저 해상도 깊이 맵으로부터 고주파 성분을 추출하고, 고주파 성분을 이용하여 고 해상도 깊이 맵을 생성함으로써, 경계 에지 뿐만 아니라 객체 내부의 깊이의 선명도를 개선할 수 있는 효과가 있다.

Description

저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 {Method for generating high resolution depth image from low resolution depth image, and medium recording the same}

본 발명은 컴퓨터 비전이나 영상 처리 분야에서 활용되는 깊이 센서(depth sensor)에 관한 것으로서, 더욱 상세하게는 깊이 센서에서 감지된 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법에 관한 것이다.

최근들어 깊이 센서(depth sensor)가 컴퓨터 비전이나 영상처리 분야에서 다양하게 활용되고 있다.

일반적으로 깊이 센서는 센서와 피사체 간의 거리에 대해서 [0, 255]의 값을 가지는 깊이 맵(depth map)으로 저장한다. 영상 깊이를 얻는 다른 방법인, 스테레오 카메라에서 얻은 좌우영상으로부터 깊이를 얻는 것은 정확도가 떨어지는 단점이 있으므로, 깊이 센서를 활용하는 방법이 향후 증가할 것으로 예상된다.

이러한 깊이 센서를 활용한 영상처리는 가격이 고가이고, 해상도가 매우 낮다는 문제점이 있다. 이러한 저 해상도(low resolution) 깊이 맵은, 디지털 카메라 등에서 촬영된 RGB 영상의 해상도와 비교하면 현저히 낮은 해상도이기 때문에, 고 해상도(high resolution) 깊이 맵으로 변환하는 것이 필수적이라고 할 수 있다.

이러한 필요에 따라, 종래 저 해상도 깊이 맵을 고 해상도 깊이 맵으로 변환할 수 있는 다양한 기법들이 제안되었다. 예를 들어 양선형 보간(bilinear interpolation), 고등차수 보간(bicubic interpolation) 등이 대표적인 보간법이다. 최근에는 객체 경계를 보다 선명하게 보간하기 위한 양측 보간법(bilateral interpolation)이 많은 관심을 받고 있다.

양측 보간법은 양선형 보간과 고등차수 보간법이 영상의 에지(edge)를 열화시키는 단점을 극복하기 위하여, 에지의 선명도를 유지할 수 있는 보간법이다. 그러나, 양측 보간법을 포함하는 기존의 에지를 보존하는 다양한 보간법들은, 객체의 경계 에지(boundary edge)의 선명도 유지에만 국한되고, 객체의 내부의 선명도는 떨어진다는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 저 해상도 깊이 맵을 고 해상도 깊이 맵으로 변환하는 과정에 있어서, 경계 에지뿐만 아니라, 객체 내부에서도 깊이의 선명도가 개선되는 고 해상도 깊이 맵 생성 방법을 제공하는데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명은 영상의 깊이를 감지하기 위한 깊이 센서(depth sensor)와, 상기 깊이 센서에서 출력된 신호를 처리하는 영상 처리 장치를 포함하는 고 해상도 깊이 맵 생성 장치에서의 고 해상도 깊이 맵 생성 방법에 있어서, 상기 영상 처리 장치는 상기 깊이 센서에서 생성된 저 해상도 깊이 맵(low resolution depth map)에서 고주파 성분을 추출하는 단계, 상기 고주파 성분을 이용하여 보간(interpolation) 을 실시하는 단계 및 상기 보간 과정을 거쳐서 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함한다.

상기 고주파 성분을 추출하는 단계는, 상기 고주파 성분을 ΔD라 하고, D는 깊이 맵, G는 로우 패스 필터(low pass filter)의 한 종류인 가우시안 필터(Gaussian filer)를 의미한다고 할 때,

의 수학식을 이용하여 상기 고주파 성분을 구할 수 있다.

상기 보간을 실시하는 단계는, 양선형 보간법(Bilinear interpolation)을 이용하여 보간을 실시하는 것일 수 있다.

또는, 상기 보간을 실시하는 단계는, 고등차수 보간법(Bicubic interpolation)을 이용하여 보간을 실시하는 것일 수 있다.

또는, 상기 보간을 실시하는 단계는, 양측 보간법(Bilateral interpolation)을 이용하여 보간을 실시하는 것일 수 있다.

상기 양측 보간법을 이용하여 고 해상도 깊이 맵을 생성하는 방법은, 상기 저 해상도 깊이 맵이 입력되면, 상기 저 해상도 깊이 맵으로부터 고주파 성분을 추출하는 단계, 깊이 영상값에 상기 고주파 성분을 더한 깊이 맵을 영상확대(unsampling) 과정에서 확대하는 단계, 해상도가 증가되면 발생하는 보간 픽셀들을 양방향 보간법으로 양선형 보간하는 단계, 상기 보간된 픽셀을 양측 보간법으로 재 보간하는 단계 및 상기 재 보간 후에 고 해상도 깊이 맵이 생성되는 단계를 포함할 수 있다.

본 발명에 의하면 저 해상도 깊이 맵으로부터 고주파 성분을 추출하고, 고주파 성분을 이용하여 고 해상도 깊이 맵을 생성함으로써, 경계 에지 뿐만 아니라 객체 내부의 깊이의 선명도를 개선할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 깊이 센서와 영상처리장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 양측 보간법에서의 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이다.
도 4는 양선형 보간법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 고주파 성분을 이용한 양선형 보간법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 고등차수 보간법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 양측 보간법을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 깊이 센서와 영상처리장치의 블록도이다.

도 1을 참조하면, 본 발명은 영상의 깊이를 감지하여 저 해상도 깊이 맵으로 저장하는 깊이 센서(100)와, 깊이 센서(100)의 저 해상도 깊이 맵을 고 해상도 깊이 맵으로 변환하여 영상 처리하는 영상 처리 장치(200)를 포함한다.

본 발명에서 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 주체는 영상 처리 장치(200)라고 할 수 있으며, 또는 영상 처리 장치(200)를 전반적으로 제어하는 제어부나 프로세서(processor)일 수 있다. 즉, 본 발명의 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법은 일종의 소프트웨어인 알고리즘으로 구성되며, 소프트웨어는 영상 처리 장치(200), 영상 처리 장치(200)의 제어부 또는 프로세서(processor)에서 실행된다.

도 2는 본 발명의 일 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이다.

도 2를 참조하면, 깊이 센서(100)를 통해 저장된 저 해상도 깊이 맵에서 고주파 성분을 추출한다(S201).

그리고, 추출된 고주파 성분을 이용하여 보간(interpolation)을 실시한다(S203).

보간을 통해 고 해상도 깊이 맵을 생성한다(S205).

S201 단계에서 알 수 있는 바와 같이, 본 발명의 고 해상도 깊이 맵 생성 방법은, 우선 저 해상도 깊이 맵으로터 고주파 성분을 추출하게 된다.

저 해상도 깊이 맵에서 깊이 값의 변화가 많은 고주파(high frequency) 성분을 갖는 픽셀을 얻기 위한 방법으로 에지 추출 방법 등이 있는데, 본 발명의 실시예에서는 다음과 같은 방법을 이용하기로 한다.

고주파 성분 ΔD는 다음 [수학식 1]과 같이 구해진다.

여기서, D는 깊이 맵, G는 로우 패스 필터(low pass filter)의 한 종류인 가우시안 필터(Gaussian filer)를 의미한다.

가우시안 필터를 깊이 영상 D에 적용한 값과 원 깊이 영상 D의 차이값이 ΔD이다.

는 저주파 성분을 갖고 있으며, 따라서 D와의 차인 ΔD는 고주파 성분을 갖게 된다. ΔD는 D 값이 증가하면, 음수에서 양수로 변화하고, 반대로 감소하면, 양수에서 음수로 변화하게 된다. 이러한 현상은 에지 등의 깊이 값이 변화하는 픽셀에서 잘 발생되는 경향이 있다.

본 발명에서는 고 해상도 필터 맵을 생성하기 위한 보간법으로서 세 종류의 보간법을 제안하도록 한다. 첫번째는 양선형 보간법(Bilinear Interpolation)이고, 두번째는 고등차수 보간법(Bicubic Interpolation)이고, 세번째는 양측 보간법(Bilateral Interpolation)이다. 이제 차례대로 각 보간법을 이용한 고 해상도 깊이 맵 생성 방법에 대해 설명하기로 한다.

먼저 양선형 보간법을 이용한 고 해상도 깊이 맵 생성 방법을 설명하면 다음과 같다.

도 4는 양선형 보간법을 설명하기 위한 도면이다.

도 4를 참조하면, 도 4 (a)는 저 해상도 깊이 맵이고, 도 4 (b)는 고 해상도 깊이 맵이다.

저 해상도 깊이 맵의 해상도가 w×h이고, 고 해상도 깊이 맵의 해상도가 W×H이면, 신축값(scale factor)(Sx, Sy)는 [수학식 2]와 같이 계산된다.

이 과정에서 고 해상도 깊이 맵의 픽셀들의 개수는 저 해상도의 픽셀 개수보다 많기 때문에, 고 해상도에서는 홀(hole), 즉 비어있는 픽셀(missing pixel)들이 발생하게 된다. 보간(Interpolation)은 이런 홀인 보간 픽셀(interpolated pixel)을 적절한 값으로 채우는 방법이다.

도 4에서 보간 픽셀 Dm은 D로 매핑된다.

도 4에서 도시된 바와 같이, 양선형 보간은 4개의 픽셀 D₁, D₂, D₃, D₄를 이용하여 보간 픽셀 D를 채우는 방법으로서, 역 매핑(backward mapping)을 사용한다. 역 매핑은 고 해상도의 픽셀 값을 저 해상도 픽셀들로부터 계산하는 방식이다.

[수학식 2]를 이용하여, 고 해상도의 보간 픽셀 Dm이 저 해상도에서 D에 위치할 때, D의 인접한 4개의 픽셀의 거리를 가중치로 사용하여 Dm을 보간한다.

l_x는 D와 D1 사이의 수평 거리이고, l_y는 세로 길이이고, 0≤l_x,l_y≤1일 때, l_x와 l_y를 구한 후에, 다음 [수학식 3]과 같이 양선형 보간을 이용하여 D 값을 구한다.

도 5는 본 발명의 일 실시예에 따른 고주파 성분을 이용한 양선형 보간법을 설명하기 위한 도면이다.

본 발명에서 [수학식 1]의 ΔD를 이용하는 고 해상도 깊이 맵 생성 방법은 다음과 같다.

[수학식 3]과 달리, ΔD를 양선형 보간에 활용하여 고 해상도 깊이 맵을 생성한다.

저 해상도 깊이 맵 D_L에 ΔD를 더한 D'_L을 고 해상도 깊이 맵 D_H로 확대하였을 때 발생하는 보간 픽셀 D_m은, 인접한 4개의 ΔD를 결합한 D₁+ΔD₁, D₂+ΔD₂, D₃+ΔD₃, D₄+ΔD₄를 참조하여 [수학식 4]에서 보간된다.

여기서, D_X1는 수평방향의 (D₁+ΔD₁)과 (D₂+ΔD₂)의 보간 값이다. D_X2도 (D₃+ΔD₃)과 (D₄+ΔD₄)의 보간 값이다. D_m는 D_X1, D_X2 를 수직방향으로 보간한 최종값이다. 본 발명에서는 ΔD로 인해 고주파 성분을 갖는 픽셀에서도 고 해상도 깊이 맵의 성능이 개선된다.

도 6은 본 발명의 일 실시예에 따른 고등차수 보간법을 설명하기 위한 도면이다.

도 6을 참조하면, 고등차수 보간법은 16개의 픽셀을 참조하여 보간하는 방식이다. 도 6에서 고 해상도 깊이 맵의 보간 픽셀 D_m은 고 해상도 깊이 맵의 주변 16개의 픽셀로부터 구해진다.

Dm은 다음 [수학식 5]에 의해 계산된다.

여기서 s는 저 해상도 깊이 맵 D와 주변 픽셀과의 거리이다.

도 3은 본 발명의 일 실시예에 따른 양측 보간법에서의 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이고, 도 7은 본 발명의 일 실시예에 따른 양측 보간법을 설명하기 위한 도면이다.

도 3 및 도 7을 참조하면, [수학식 1]의 고주파 성분 ΔD를 양측 보간법에 적용하여 깊이맵에 존재하는 고주파 성분의 선명도를 개선하는 방법이 도시되어 있다.

먼저 저 해상도 깊이 맵 D_L이 입력된다. 그리고, [수학식 1]을 이용하여 ΔD를 구한다(S301).

깊이 영상 D값에 ΔD를 더한 깊이 맵 D'_L을 영상확대(unsampling) 단계에서 확대한다(S303).

다음, 해상도가 증가되면 발생하는 보간 픽셀들을 D'_L을 사용하여 양선형 보간한다(S305). 도 7에서 양측 보간에서 D는 D'으로 매핑된다. 이처럼 양선형 보간으로 고 해상도 깊이 맵의 보간 픽셀들이 채워진다.

다음, 보간 픽셀을 양측 보간으로 재 보간한다(S307).

재 보간 단계 후에 고 해상도 깊이 맵이 생성된다(S309).

본 발명에서 양측 보간 단계를 상세히 설명하면 다음과 같다.

도 7에서 D'은 선형 보간 단계에서 보간된 픽셀이다. 이렇게 선형 보간으로 보간된 픽셀들은 양측보간으로 재 보간한다. 여기서 재 보간되는 픽셀들은 저 해상도 깊이 맵의 픽셀들만을 사용한다.

여기서, D_i는 저해상도 깊이맵 D_L의 깊이 값이고, D'_H는 고 해상도 깊이 맵의 보간 픽셀이고, W는 가우시안 필터의 크기이다.

가중치 W_i는 다음 [수학식 7]과 같이 계산된다.

[수학식 7]에서의 w_i는 가중치로서, 좌표값 함수 f와 깊이 값 함수 g의 곱으로 구성된다.

는 다음 [수학식 8]에서 계산된다. 이때 f는 가우시안 분포 함수를 사용한다.

여기서, σ² _a는 사용자가 지정하는 편차(variance)이다.

여기서, I=(I_x, I_y)는 D의 좌표, I=(i_x, i_y)는 W의 범위 내에 있는 픽셀들의 좌표값이다.

본 발명에서 f는 픽셀 간의 거리가 작을수록 가중치가 커지며, 픽셀 간의 거리가 멀수록 가중치가 작아진다.

g(D-Di)는 D와 인접 픽셀 간의 깊이 값의 차이로 깊이 영상 D와 ΔD가 더해진 값을 사용하며 다음 [수학식 10]과 같이 표현된다. 이때, g는 가우시안 분포 함수를 사용한다.

여기서, σ² _a는 사용자가 지정하는 편차(variance)이다.

한편, 본 발명의 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

100 깊이 센서 200 영상 처리 장치

Claims

영상의 깊이를 감지하기 위한 깊이 센서(depth sensor)와, 상기 깊이 센서에서 출력된 신호를 처리하는 영상 처리 장치를 포함하는 고 해상도 깊이 맵 생성 장치에서의 고 해상도 깊이 맵 생성 방법에 있어서,
상기 영상 처리 장치는 상기 깊이 센서에서 생성된 저 해상도 깊이 맵(low resolution depth map)에서 고주파 성분을 추출하는 단계;
상기 고주파 성분을 이용하여 보간(interpolation) 을 실시하는 단계; 및
상기 보간 과정을 거쳐서 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함하는 고 해상도 깊이 맵 생성 방법.
제1항에 있어서,
상기 고주파 성분을 추출하는 단계는,
상기 고주파 성분을 ΔD라 하고, D는 깊이 맵, G는 로우 패스 필터(low pass filter)의 한 종류인 가우시안 필터(Gaussian filer)를 의미한다고 할 때,

의 수학식을 이용하여 상기 고주파 성분을 구하는 것을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
제1항에 있어서,
상기 보간을 실시하는 단계는,
양선형 보간법(Bilinear interpolation)을 이용하여 보간을 실시하는 것임을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
제1항에 있어서,
상기 보간을 실시하는 단계는,
고등차수 보간법(Bicubic interpolation)을 이용하여 보간을 실시하는 것임을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
제1항에 있어서,
상기 보간을 실시하는 단계는,
양측 보간법(Bilateral interpolation)을 이용하여 보간을 실시하는 것임을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
제5항에 있어서,
상기 양측 보간법을 이용하여 고 해상도 깊이 맵을 생성하는 방법은,
상기 저 해상도 깊이 맵이 입력되면, 상기 저 해상도 깊이 맵으로부터 고주파 성분을 추출하는 단계;
깊이 영상값에 상기 고주파 성분을 더한 깊이 맵을 영상확대(unsampling) 과정에서 확대하는 단계;
해상도가 증가되면 발생하는 보간 픽셀들을 양방향 보간법으로 양선형 보간하는 단계;
상기 보간된 픽셀을 양측 보간법으로 재 보간하는 단계; 및
상기 재 보간 후에 고 해상도 깊이 맵이 생성되는 단계를 포함하는 것을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
제1항 내지 제6항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.