KR101854612B1

KR101854612B1 - 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법

Info

Publication number: KR101854612B1
Application number: KR1020160173428A
Authority: KR
Inventors: 박종승; 김보성
Original assignee: 인천대학교 산학협력단
Priority date: 2016-12-19
Filing date: 2016-12-19
Publication date: 2018-05-04
Anticipated expiration: 2036-12-19

Abstract

구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법은 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있도록 구면 파노라마 영상에서 위도에 따른 변형을 고려하여 영상을 복원함으로써 구면 파노라마 영상을 이용하여 증강 현실을 구현할 때 인식된 마커를 제거하거나 특정 물체를 선택, 영상에서 제거하는 등 다양한 응용에 적용할 수 있는 효과가 있다.

Description

구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법{Apparatus and Method for Exemplar-Based Image Inpainting for Spherical Panoramic Image}

본 발명은 영상 인페인팅 방법에 관한 것으로서, 특히 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있도록 구면 파노라마 영상에서 위도에 따른 변형을 고려하여 영상을 복원하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법에 관한 것이다.

파노라마 영상은 넓은 시야를 한 장의 영상으로 표현하고, 좌우 시야각이 180도에 이르는 원통형 파노라마와 상하 전후 좌우의 여섯 면으로 이루어진 큐브맵 파노라마를 비롯하여 좌우 360도의 시야각 및 상하 180도의 시야각으로 모든 방향의 정보를 빠짐없이 한 장으로 기록해내는 구면 파노라마가 있다. 이 중 구면 파노라마 영상은 한 시점에서 모든 방향에 대한 시야를 한 장의 영상으로 표현한 것을 의미한다.

구면 파노라마 영상은 가상의 구면을 투영면으로 가정하고, 이를 가로 세로 비율이 2 대 1의 직사각형으로 펼친 모습이기 때문에 3차원 데카르트 좌표계가 아닌 구면 좌표계를 기반으로 화소의 좌표를 표현한다.

따라서, 구면 파노라마 영상에서는 피사체가 일반적인 영상과 다르게 표현되며 특수한 좌표계를 기반으로 하기 때문에 직접 처리하기가 까다로운 문제점이 있다.

기존의 영상 처리 기술들은 평면 대 평면 간 기하 변환에 기반을 두기 때문에 구면 파노라마 영상에서 픽셀 좌표에 적용될 수 없다.

영상 복원 관련 기술들은 대부분 평면 영상을 기반으로 개발되어 있다.

대표적으로 작은 화소 단위로 영상을 복원하는 기술로 Bertalmio 방법과 Telea 방법이 있다.

Bertalmio 방법은 영상을 확대할 경우 발생하는 빈 공간에 대해 확산을 이용해 메우는 용도와 작은 흠집 수준의 손상 영역에 대해 복원을 진행하는 방법이다.

Telea 방법은 일정 크기의 원도우를 이용하여 손상된 화소를 원도우의 중심에 놓고 원도우 내 화소값들을 참조하여 영상을 복원하는 방법이다.

그러나 이러한 화소 단위로 영상을 복원하는 방법은 손상된 영역의 범위가 넓고 손상된 영역이 반복되는 패턴의 일부였다면 해당 패턴이 복원되지 않는 문제점이 있다.

이러한 문제점을 해결하기 위한 Criminsi 방법은 영상의 손상 범위가 클때 영상 위의 반복되는 패턴을 시각적으로 자연스럽게 복원할 수 있도록 정사각형 모양의 표본을 취득하여 손상 범위에 표본을 덮어쓰는 방식을 제안하였다.

이러한 표본 기반 영상 인페인팅 기술은 큰 손상 범위에 대해서 시각적으로 자연스러우며 반복되는 패턴까지 복원 가능한 장점이 있으나, 적절한 표본의 크기를 사용자가 상황에 따라 다르게 입력해야 하는 단점이 있다.

또한, 표본 기반 영상 인페인팅 기술은 좌표계 특성이 다른 구면 파노라마 영상에서 바로 사용할 경우, 큰 오차를 감수해야 하며 구면 파노라마 영상의 특수한 좌표계를 감안할 때 변형이 거의 없는 구면 좌표계에서의 적도 중앙 인근에서만 제한적으로 적용이 가능하다.

구면 파노라마 영상은 가상의 구체를 투영면으로 설정하고 이를 가로 대 세로 비 2:1의 직사각형으로 펼친 것이기 때문에 독특한 기하 특성을 지니고 있다.

구면 파노라마 영상의 특수한 기하 특성은 평면 영상에서 카메라와 물체 사이의 거리와 회전에 따라 발생하는 왜곡 현상을 더욱 심화시킨다.

구면 파노라마 영상에서는 피사체가 더 높은 위도에 표현될수록 좌우로 더 넓게 펼쳐지는 특성을 가지며, 구를 기준으로 연산하기 때문에 연산이 복잡하고 연산량이 과돠게 많아지는 문제점을 가진다.

구면 파노라마 영상은 전 방향을 한 장의 영상으로 표현하기 때문에 피사체가 영상에서 차지하는 비중이 매우 작아지고 이에 따라 피사체를 인식 또는 인지할 수 있도록 촬영하려면 구면 파노라마 영상이 처리하기 어려울 정도로 영상의 크기가 커지게 된다.

이와 같은 문제점을 해결하기 위하여, 본 발명은 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있도록 구면 파노라마 영상에서 위도에 따른 변형을 고려하여 영상을 복원하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명의 특징에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 방법은,

구면 파노라마 영상데이터를 입력받아 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 위도에 상관없이 동일한 모양을 가지는 표본으로 변환하는 제1 단계;

상기 입력된 구면 파노라마 영상의 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 제1 화소를 결정하는 제2 단계;

복원할 영역을 제외한 나머지 부분인 참조 영역에 속한 모든 화소에 대하여 상기 결정한 제1 화소와의 패치 유사도를 계산하여 상기 참조 영역에서 유사도가 가장 높은 제2 화소를 선택하는 제3 단계;

상기 복원할 영역의 경계에서 상기 결정한 제1 화소를 중심으로 한 제1 패치와 상기 참조 영역에서 상기 선택한 제2 화소를 중심으로 한 제2 패치와의 패치 유사도를 설정하여 상기 제2 화소를 상기 제1 화소에 복사하는 제4 단계; 및

상기 복원 대상 영상데이터에서 복원할 영역이 모두 없어질 때까지 상기 제1 단계, 상기 제2 단계, 상기 제3 단계, 상기 제4 단계를 반복하여 처리하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 특징에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치는,

구면 파노라마 영상데이터를 입력받아 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 위도에 상관없이 동일한 모양을 가지는 표본으로 변환하는 정사각형 패치 변환부;

상기 입력된 구면 파노라마 영상데이터에서 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 제1 화소를 결정하고, 복원할 영역을 제외한 나머지 부분인 참조 영역에 속한 모든 화소에 대하여 상기 결정한 제1 화소와의 패치 유사도를 계산하여 상기 참조 영역에서 유사도가 가장 높은 제2 화소를 선택하는 복원 우선순위 결정부; 및

상기 복원할 영역의 경계에서 상기 결정한 제1 화소를 중심으로 한 제1 패치와 상기 참조 영역에서 상기 선택한 제2 화소를 중심으로 한 제2 패치와의 패치 유사도를 설정하여 위도에 따른 변형을 고려하며, 상기 제2 화소를 상기 제1 화소에 복사하는 패치 적용부를 포함하는 것을 특징으로 한다.

전술한 구성에 의하여, 본 발명은 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있어 구면 파노라마 영상을 이용하여 증강 현실을 구현할 때 인식된 마커를 제거하거나 특정 물체를 선택, 영상에서 제거하는 등 다양한 응용에 적용할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치의 구성을 간략하게 나타낸 도면이다.
도 2는 구면 파노라마 영상에서 위도 45도와 경도 45도 위치에 투영된 피사체를 단순히 정사각형 패치로 취득한 경우와 카메라의 시점을 기준으로 했을 때 실제 피사체의 모습을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 3차원 공간에서 패치 평면과 구면 파노라마 영상이 매칭된 가상의 구체를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 기본 패치에서 위도 40도, 경도 90도 패치로의 변환을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 참조 영역에서의 정사각형 패치와 복원 대상 패치를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른

에서

로의 기하 변환 과정을 나타낸 도면이다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명은 평면 영상을 전제로 개발된 표본 기반 영상 인페인팅 기술을 구면 파노라마 영상에 적용할 수 있는 방법을 제안한다.

본 발명은 구면 파노라마 영상의 위도에 따라 다른 표본을 추출하는 방법을 이용하여 평면 영상에서의 표본 기반 인페인팅을 구면 파노라마 영상에서도 동일하게 사용하는 것이 목적이다.

본 발명은 구면 파노라마 영상의 위도에 따른 각기 다른 모양의 표본을 취득한 후, 이를 정사각형으로 균일화하는 방법을 사용한다.

도 1은 본 발명의 실시예에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치의 구성을 간략하게 나타낸 도면이고, 도 2는 구면 파노라마 영상에서 위도 45도와 경도 45도 위치에 투영된 피사체를 단순히 정사각형 패치로 취득한 경우와 카메라의 시점을 기준으로 했을 때 실제 피사체의 모습을 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 3차원 공간에서 패치 평면과 구면 파노라마 영상이 매칭된 가상의 구체를 나타낸 도면이다.

본 발명의 실시예에 따른 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치(100)는 입력부(110), 메모리부(120), 밝기값 계산부(130), 정사각형 패치 변환부(140), 복원 우선순위 결정부(150), 패치 적용부(160) 및 제어부(170)를 포함한다.

입력부(110)는 사용자가 요청한 복원 대상이 되는 영상 데이터를 입력받아 손상 영역을 제외한 모든 표본 패치를 생성하고 생성된 표본 패치를 메모리부(120)에 저장한다. 여기서, 표본 패치는 영상 데이터의 모든 화소를 중심으로 정사각형으로 획득하고, 정사각형의 크기(w)가 기설정되어 있다고 가정한다.

밝기값 계산부(130)는 각각의 표본 패치마다 표본 패치 내에 화소 밝기의 평균값과 표준 편차를 연산하여 각각 생성한다.

(1) 패치의 획득과 비교

본 발명은 구면 파노라마 영상의 (x,y) 좌표를 변형된 구면 좌표계로 변형하여 사용한다.

하기의 [수학식 1]과 [수학식 2]에는 구면 파노라마 영상의 (x,y) 좌표를 지리 좌표계의 위도와 경도로 변환한다.

위도 θ는 3차원 공간에서 특정 벡터가 x축의 +x축 방향과 이루는 각도를 의미한다. 따라서, [-π/2, π/2]의 범위를 갖게 된다.

경도

는 3차원 공간에서 특정 벡터를 x-y 평면에 투영한 벡터가 x축에서 +x축 방향과 이루는 각도를 의미한다.

+y축 방향을 양의 값으로 설정하고 -y축 방향을 음의 값으로 설정하여 [-π,π]의 범위를 가진다.

는 2π의 주기를 가지므로 하기의 [수학식 5]가 성립한다.

또한, 위도가 범위를 벗어나는 경우 지리 좌표계 특성에 따라 경도 값이 함께 변화하게 된다. 만약, 위도 좌표와 경도 좌표가 (π/2+a,

)가 된다면 지리 좌표계를 기준으로 다시 표현하게 될 경우 (π/2-a,

+π)가 된다. 즉, 하기의 [수학식 4]가 성립한다.

따라서, 기존 평면 영상 좌표에서 (x,y)에 해당하는 점의 Cs와 Ds를 연산할 때 상, 하, 좌, 우의 좌표를 각각 (x,y-1), (x,y+1), (x-1,y), (x+1,y)로 이용했다면, 지리 좌표계에서는 상, 하, 좌, 우를 각각 (θ+

,

), (θ-

,

), (θ,

-

), (θ,

+

)로 사용한다.

그리고 θ와

의 값이 범위를 넘어서는 경우 전술한 [수학식 4]와 [수학식 5]를 이용하여 좌표값을 다시 범위 내로 조정한다.

평면 영상에서 표본 기반 영상 인페인팅은 복원 대상 표본과 참조 표본의 두 가지를 모두 같은 크기의 정사각형 형태의 패치로 취득하여 사용한다.

그러나 구면 파노라마 영상은 좌표계로 인하여 동일한 피사체가 위도에 따라 다르게 투영된다. 따라서, 구면 파노라마 영상의 인페인팅은 평면 영상을 위해 설계된 기존의 표본 기반 영상 인페인팅과 동일하게 적용하여 사용하는 경우 복원 대상 표본과 참조 표본이 동일한 위도에 있다면 문제가 없지만 두 표본의 위도가 달라지는 경우 위도에 따른 피사체의 변형을 감안해야 한다.

도 2에 도시된 바와 같이, 구면 파노라마 영상에서 위도 45도와 경도 45도 위치에 투영된 피사체를 단순히 정사각형 패치로 취득한 경우와 카메라의 시점을 기준으로 했을 때 실제 피사체의 모습을 표현한 것이다.

도 2는 피사체의 모양이 위도에 따라 다르다면 복원 대상 영역과 참조 대상 영역이 실재로 비슷하더라도 정사각형 패치가 이를 반영하지 못하기 때문에 서로 다른 위도의 유사한 패치를 참조 패치로 선정할 수 없게 된다.

이러한 문제점을 해결하기 위해서 위도와 경도를 이용해 해당 위치를 가상의 평면에 투영하여 정사각형 패치로 변환하는 과정이 필요하다.

정사각형 패치 변환부(140)는 구면 파노라마 영상에 대응하는 가상의 구체를 설정한다. 가상의 구체를 설정하는 방법을 상세하게 설명하면 다음과 같다.

구면 파노라마 영상의 너비가 w이고 높이가 h라고 가정한다. 구면 파노라마 영상의 경우 w=2h가 된다.

가상의 구체는 3차원 공간에서 (0,0,0)을 원점으로 가지며 반지름 r은 r=w/2π가 된다. 그리고 패치의 크기를 q라고 하고 취득할 패치의 위도를 θ,경도를

라 한다.

다음으로 가상의 구체에 위도 θ와 경도

에 해당하는 위치에서 너비와 높이가 q이며 가상의 구체에 접하는 평면을 가정한다.

패치는 구 접면에 가상의 구체를 투영하는 방법으로 획득한다. 투영 시 두 개 이상의 화소에 투영하는 경우 평면에서 더 가까운 화소를 획득하고, 특정 위도와 경도에 평면이 투영된다고 가정한다.

도 3에 도시된 바와 같이, 구면 파노라마 영상은 매핑된 가상의 구체와 패치의 3차원 위치를 (r,x,y)로 표현할 수 있다. 여기서, x,y는 패치의 좌표로 {(x,y)l-q<x<q, -q<y<q}로 표현한다.

도 3은 3차원 공간에서 패치 평면과 구면 파노라마 영상이 매칭된 가상의 구체를 나타낸다.

본 발명은 위도 값과 경도 값이 모두 0인 패치를 기본 패치라고 정의한다. 그리고 위도 θ와 경도

가 0이 아닌 경우 즉, 기본 패치가 아닌 경우 기본 패치를 3차원 공간의 세 축을 주축을 회전하는 변환을 통해 표현한다.

도 4에 도시된 바와 같이, 정사각형 패치 변환부(140)는 기본 패치를 기준으로 y축을 주축으로 회전하면 위도 이동을 수행하고, 이 후 z축을 주축으로 회전하면 경도 이동을 수행할 수 있다. 이를 통해서 원하는 위도와 경도에서 표본을 획득할 수 있다.

도 4는 기본 패치에서 위도 40도, 경도 90도 패치로의 변환을 나타낸 것이다.

하기의 [수학식 6]은 θ와

를 3차원 좌표계로 변환하는 수식이고, [수학식 7]은 3차원 좌표계를 다시 θ와

로 바꾸는 수식이다.

정사각형 패치 변환부(140)는 구면 파노라마 영상에 대응하는 가상의 구체를 설정하고, 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 변환한다. 위의 수학식 6과 수학식 7를 이용하여 구해지는 정사각형 패치의 각 화소 좌표를 (x,y)라 하고, 정사각형 패치의 중심점 좌표를 (

)라 한다. 또한, 획득해야 할 패치의 위도를 θ라 하며, 경도를

라 한다.

이를 상세하게 설명하면, 정사각형 패치 변환부(140)는 정사각형 패치의 각 화소 좌표 (x,y)에 대응하는 구면 파노라마 영상의 화소의 좌표 (

)를 다음의 [수학식 8]과 [수학식 9]를 이용하여 계산한다.

W는 상기 정사각형 패치의 너비이다.

여기서, H는 상기 정사각형 패치의 높이이다.

반대로, 정사각형 패치 변환부(140)는 구면 파노라마 영상에서 위도 θ와 경도

에서의 패치의 화소의 좌표 (

)에 대응되는 패치에서의 화소 좌표(x,y)를 다음의 [수학식 10]과 [수학식 11]을 이용하여 계산한다.

전술한 [수학식 10]과 [수학식 11]에 사용된 변수

와 w는 다음의 [수학식 12]에 의해 구해진다.

정사각형 패치 변환부(140)는 전술한 [수학식 8]과 [수학식 9]를 이용하여 패치 내의 모든 화소값을 계산한다.

복원 우선순위 결정부(150)는 정사각형 패치 변환부(140)를 통해 계산한 화소값을 이용하여 복원할 손상 영역의 경계에 속한 화소 p점의 우선순위를 다음의 [수학식 13]과 같이 손상 영역의 신뢰도(Confidence) 항 C(p)와 그래디언트의 함수인 데이터 항 D(p)를 두 항의 곱으로 결정한다.

도 5의 (a)는 손상 영역은

로 표시되어 있고, 손상 영역을 제외한 참조 영역을

로 표시한다.

도 5의 (b)는 참조 영역에서의 정사각형 패치(102)와 복원 대상 패치(104)를 나타낸 것이며, 도 5의 (c)는 참조 대상인 정사각형 패치(102)를 복원 대상 패치(104)에 적용한 모습이다.

여기서, C(p)는 정사각형의 표본 패치 내의 손상되지 않은 화소의 비율이고, D(p)는 화소 p에서의 색상변화값과 방향을 곱한 것을 [0,1]로 정규화한 값이다.

C(p)와 D(p)는 다음의 [수학식 14]와 같다.

여기서,

는 손상 영역의 윤곽선인

에 직교하고

를 향하는 법선 벡터이고,

는 화소 p에서의 그라디언트(Gradient) 벡터,

는 표본에 속한 화소의 개수, ▽는 기울기 연산자, ⊥는 직교 연산자,

는 정규화 파라미터(gray level 영상에서 255)이다.

화소 p에서의 신뢰도 항은 최초에 손상 영역을 0으로 설정하고 손상되지 않은 영역을 1로 설정한 후 연산을 시작한다.

복원 우선순위 결정부(150)는 신뢰도(Confidence) 항 C(p)와 데이터 항 D(p)를 곱해 화소 p에서의 우선순위 P(p)를 연산한 후, 복원할 손상 영역의 경계에 속한 화소들 중에서 우선순위가 가장 높은 화소를 선택한다. 이를 화소 p라 하고, p를 중심으로 한 정사각형의 복원 대상 패치를

라 한다.

복원 우선순위 결정부(150)는 복원 대상 패치

(104)와 손상 영역을 제외한 참조 영역

에서의 각각의 정사각형 패치

(102)를 SSE(Sum of Squared Error)를 수행하여 SSE가 최소가 되는 패치를 계산한다. 여기서, SSE(A, B)는 두 영역 A, B 사이에서 서로 대응되는 화소들의 값 차이를 제곱해서 모두 합한 제곱오차합을 의미한다.

SSE가 최소가 되는 패치는 참조 영역

에서

(104)와 가장 유사한 패치

(102)를 의미한다.

복원 우선순위 결정부(150)는 구면 파노라마 영상의 좌우 화각이 360도이고 가장 좌측과 가장 우측이 서로 연결되어 있기 때문에 C_S를 연산할 때 이를 감안하여 신뢰도 수준을 연산한다.

복원 우선순위 결정부(150)는 구면 파노라마 영상의 좌우 화각이 360도이고 가장 좌측과 가장 우측이 서로 연결되어 있기 때문에 D_S에서 인접 화소들의 색상 변화를 의미하는

를 연산할 때 이를 감안하여 데이터 항을 연산한다.

본 발명의 영상 인페인팅 장치(100)는 구면 파노라마 영상에서 정사각형 패치를 거친 후 다시 구면 파노라마 영상에 적용시키는 과정에서 두 번의 이중선형 보간법을 적용하게 되어 화소가 흐려지는 문제가 발생한다.

이러한 문제점을 해결하기 위해서

와

간의 유사도를 측정한 후, 패치를 구면 파노라마 영상에 투영하지 않고 참조 표본 패치

의 화소를 손상 화소

에 복사하게 된다.

(2) 획득한 패치의 적용

패치 적용부(160)는 다음의 [수학식 15]와 [수학식 16]을 이용하여 복합 우선순위 결정부에서 계산된 SSE가 최소가 되는 패치

와 복원 대상 패치

사이의 기하 관계(패치 유사도)를 설정한다.

여기서,

와

는 참조 표본 패치에 속하는 화소의 좌표를 나타낸다.

여기서,

와

는 복원 대상 표본 패치에 속하는 화소의 좌표를 나타낸다.

[수학식 15]에서 경도 이동은 단순한 화소의 x축 수평 이동으로 대치가 가능하다. 동일한 위도에서 경도만 변화하는 경우 패치의 형태가 변화하지 않기 때문이다.

구면 파노라마 영상에서 경도 이동 변환은 단순히 경도 좌표를 더하고 빼는 처리만 진행하여 처리가 가능하다.

따라서,

의 경도가 0이 되도록

의 화소를 이동시킨 후

와

의 위도 차이만큼 다시 위도 이동을 수행한다.

하지만, 위도 이동 변환은 위도가 높아질수록 피사체가 좌우로 넓게 펼쳐지는 특성을 가지고 있기 때문에 수식에 이를 반영해야 한다.

도 6은 전술한 [수학식 15]와 [수학식 16]을 그림으로 도식화한 것이다.

패치의 우측 상단 점의 좌표를 (x₁, y₁)이라고 하고, 패치가 각도 n의 위도로 이동한다면 이 점은 (

)의 위치로 이동하게 된다.

x 좌표와

사이의 x축간 거리가 1/cos(n)배 만큼 팽창한 것이다.

패치 적용부(160)는 위도 이동까지 수행한 화소를 다시

의 위치에 맞추어 경도 이동을 수행하면,

의 화소 (

)에 대응되는 좌표 (

)를 얻어낼 수 있다.

패치 적용부(160)는 전술한 [수학식 15]와 [수학식 16]을 이용하여 (

) 중

에 해당하는 화소들에 대해 대응 쌍 (

)의 화소를 가져와 적용시켜 패치를 채운다.

기존의 Criminsi의 EBI 기법에서

에 q의 신뢰도 항 C(q)를 복사한 것과 같이,

에 해당하는

의 신뢰도 항은 C(q)를 그대로 복사한다.

구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 방법은 전체 흐름을 정리해서 나타내면 아래와 같다.

제어부(170)는 신뢰도 항을 초기화하고 복원 루프에 진입한다. 복원 루프는 영상 내에서 손상 화소가 존재하지 않을 때까지 반복한다.

복원 우선순위 결정부(150)는 신뢰도(Confidence) 항 C(p)와 데이터 항 D(p)를 곱해 화소 p에서의 우선순위 P(p)를 연산한다(calculateConfidenceTerm 함수와 calculateDataTerm 함수, calculatePriorityPoint 함수를 이용함).

복원 우선순위 결정부(150)는 신뢰도(Confidence) 항 C(p)와 데이터 항 D(p)를 곱해 화소 p에서의 우선순위 P(p)를 연산한 후(calculatePriorityPoint 함수), 복원할 손상 영역의 경계에 속한 화소들 중에서 우선순위가 가장 높은 화소를 선택한다(findBiggestPriorityPoint 함수).

복합 우선순위 결정부는 복원 대상 패치

와 손상 영역을 제외한 참조 영역

에서의 각각의 정사각형 패치

를 SSE(Sum of Squared Error)를 수행하여 SSE가 최소가 되는 패치를 계산한다(uniformPatch 함수, findSimilarPatch 함수).

와 복원 대상 패치

사이의 기하 관계(패치 유사도)를 이용하여 손상 화소에 참조 표본 패치의 화소를 적용한다(applyPatch 함수). 제어부(170)는 신뢰도 항을 업데이트한다.

본 발명의 구면 파노라마 영상에서 위도에 따른 변형을 고려하여 영상을 복원하는 방법을 제안한다.

이러한 방법을 통해 평면 기반의 영상 인페인팅 기법을 구면 파노라마 영상에 적용할 수 있는 것이다.

본 발명은 구면 파노라마 영상을 이용하여 증강 현실을 구현할 때 인식된 마커를 제거하거나 특정 물체를 선택, 영상에서 제거하는 등 다양한 응용에 적용할 수 있는 가능성이 있다.

이상에서 설명한 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 영상 인페인팅 장치
102: 참조 영역에서의 정사각형 패치
104: 복원 대상 패치
110: 입력부
120: 메모리부
130: 밝기값 계산부
140: 정사각형 패치 변환부
150: 복원 우선순위 결정부
160: 패치 적용부
170: 제어부

Claims

구면 파노라마 영상데이터를 입력받아 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 위도에 상관없이 동일한 모양을 가지는 표본으로 변환하는 제1 단계;
상기 입력된 구면 파노라마 영상의 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 제1 화소를 결정하는 제2 단계;
복원할 영역을 제외한 나머지 부분인 참조 영역에 속한 모든 화소에 대하여 상기 결정한 제1 화소와의 패치 유사도를 계산하여 상기 참조 영역에서 유사도가 가장 높은 제2 화소를 선택하는 제3 단계;
상기 복원할 영역의 경계에서 상기 결정한 제1 화소를 중심으로 한 제1 패치와 상기 참조 영역에서 상기 선택한 제2 화소를 중심으로 한 제2 패치와의 패치 유사도를 설정하여 상기 제2 화소를 상기 제1 화소에 복사하는 제4 단계; 및
상기 복원 대상 영상데이터에서 복원할 영역이 모두 없어질 때까지 상기 제1 단계, 상기 제2 단계, 상기 제3 단계, 상기 제4 단계를 반복하여 처리하는 단계를 포함하며,
상기 정사각형 패치로 균일화하여 변환하는 제1 단계는,
상기 구면 파노라마 영상데이터에 대응하는 가상의 구체를 설정하는 단계;
구 접면에 상기 가상의 구체를 투영하여 상기 정사각형 패치로 변환하는 단계를 포함하고, 상기 정사각형 패치의 각 화소 좌표 (x,y)에 대응하는 상기 구면 파노라마 영상데이터의 화소 좌표(
)를 하기의 수학식 1과 수학식 2를 이용하여 계산하고, 상기 구면 파노라마 영상데이터에서 위도와 경도에서의 패치의 화소 좌표(
)에 대응되는 패치에서의 화소 좌표(x,y)를 하기의 수학식 3, 수학식 4, 수학식 5를 이용하여 계산하는 것을 특징으로 하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 방법.
[수학식 1]

여기서, x,y는 정사각형 패치의 각 화소 좌표,
는 정사각형 패치의 중심점 좌표, θ는 획득해야 할 패치의 위도,
는 획득해야 할 패치의 경도, W는 상기 정사각형 패치의 너비임.
[수학식 2]

여기서, H는 상기 정사각형 패치의 높이임.
[수학식 3]

[수학식 4]

[수학식 5]
삭제
제1항에 있어서,
상기 제2 화소를 상기 제1 화소에 복사하는 제4 단계는,
상기 제1 패치와 상기 제2 패치의 패치 유사도는 하기의 수학식 6과 수학식 7에 의해 설정되는 것을 특징으로 하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 방법.
[수학식 6]

여기서,
와
는 참조 표본 패치에 속하는 화소의 좌표를 나타냄.
[수학식 7]

여기서,
와
는 복원 대상 표본 패치에 속하는 화소의 좌표를 나타냄.
구면 파노라마 영상데이터를 입력받아 위도와 경도를 이용하여 해당 위치를 가상의 평면에 투영해 정사각형 패치로 균일화하여 위도에 상관없이 동일한 모양을 가지는 표본으로 변환하는 정사각형 패치 변환부;
상기 입력된 구면 파노라마 영상의 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 제1 화소를 결정하고, 복원할 영역을 제외한 나머지 부분인 참조 영역에 속한 모든 화소에 대하여 상기 결정한 제1 화소와의 패치 유사도를 계산하여 상기 참조 영역에서 유사도가 가장 높은 제2 화소를 선택하는 복원 우선순위 결정부; 및
상기 복원할 영역의 경계에서 상기 결정한 제1 화소를 중심으로 한 제1 패치와 상기 참조 영역에서 상기 선택한 제2 화소를 중심으로 한 제2 패치와의 패치 유사도를 설정하여 위도에 따른 변형을 고려하며, 상기 제2 화소를 상기 제1 화소에 복사하는 패치 적용부를 포함하며,
상기 정사각형 패치 변환부는 상기 구면 파노라마 영상데이터에 대응하는 가상의 구체를 설정하고, 구 접면에 상기 가상의 구체를 투영하여 상기 정사각형 패치로 변환하며, 상기 정사각형 패치의 각 화소 좌표 (x,y)에 대응하는 상기 구면 파노라마 영상데이터의 화소 좌표(
)를 하기의 수학식 1과 수학식 2를 이용하여 계산하고, 상기 구면 파노라마 영상데이터에서 위도와 경도에서의 패치의 화소 좌표(
)에 대응되는 패치에서의 화소 좌표(x,y)를 하기의 수학식 3, 수학식 4, 수학식 5를 이용하여 계산하는 것을 특징으로 하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치.
[수학식 1]

여기서, x,y는 정사각형 패치의 각 화소 좌표,
는 정사각형 패치의 중심점 좌표, θ는 획득해야 할 패치의 위도,
는 획득해야 할 패치의 경도, W는 상기 정사각형 패치의 너비임.
[수학식 2]

여기서, H는 상기 정사각형 패치의 높이임.
[수학식 3]

[수학식 4]

[수학식 5]
삭제
제4항에 있어서,
상기 패치 적용부는 상기 제1 패치와 상기 제2 패치의 패치 유사도는 하기의 수학식 6과 수학식 7에 의해 설정되는 것을 특징으로 하는 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치.
[수학식 6]

여기서,
와
는 참조 표본 패치에 속하는 화소의 좌표를 나타냄.
[수학식 7]

여기서,
와
는 복원 대상 표본 패치에 속하는 화소의 좌표를 나타냄.