KR101693643B1

KR101693643B1 - 이미지 복원 장치 및 방법

Info

Publication number: KR101693643B1
Application number: KR1020150132537A
Authority: KR
Inventors: 김백섭; 소정민
Original assignee: 한림대학교 산학협력단
Priority date: 2015-09-18
Filing date: 2015-09-18
Publication date: 2017-01-17
Anticipated expiration: 2035-09-18

Abstract

본 발명은 이미지 복원 장치 및 방법에 관한 것으로, 본 발명에 따른 이미지 복원 장치는 타겟 영역 설정부에서 설정된 타겟 영역과 원본 이미지로 된 소스 영역을 포함하는 소정의 픽셀 영역을 갖는 타겟 패치의 우선순위를 검출하는 패치 우선순위 검출부와, 패치 우선순위 검출부에서 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 후보 패치 계산부에서 계산된 평균값 및 표준편차를 이용하여 유사 이미지를 비교할 후보 패치를 선택하는 비교 패치 선택부와, 패치 우선순위 검출부에서 검출된 각 타겟 패치의 기지의 픽셀들과 비교 패치 선택부에서 선택된 유사 이미지 비교 후보 패치의 대응하는 픽셀들의 패치 차이 값이 최소 패치 차이 값보다 크면 계산을 중지한 후 다음의 유사 이미지 비교 후보 패치에 대하여 패치 차이 값을 수행하고, 이전의 패치 차이 값보다 작으면 최소 패치 차이 값으로 저장함으로써 가장 유사한 후보 패치를 검출하는 유사 이미지 패치 검출부와, 및 타겟 패치의 미지 영역에 유사 이미지 패치 검출부에서 검출된 후보 패치의 대응하는 픽셀들을 복사하여 복원하는 패치 복원 처리부를 포함함으로써, 가장 유사한 후보 패치를 고속으로 검출하여 이미지를 복원할 수 있다.

Description

이미지 복원 장치 및 방법{APPARATUS AND METHOD FOR INPAINTING IMAGE}

본 발명은 이미지 복원 장치 및 방법에 관한 것으로, 원본에 근거한 이미지 복원 방법에서 비교 대상의 후보 패치를 줄여서 가장 유사한 후보 패치를 고속으로 검출하여 이미지를 복원하는 이미지 복원 장치 및 방법에 관한 것이다.

이미지 복원 기술은 이미지의 미지 영역을 채우는 것과 관련된 기술로, 스크래치들과 얼룩들을 제거하고, 이미지가 제거된 부분들을 회복하고, 그리고 원하지 않는 오브젝트를 제거한 후 사람의 눈에 그럴듯하게 보이는 배경으로 대체하는 것들을 포함한다.

이러한 이미지 복원 방법은 크게 PDE(Partial Difference Equation)에 근거하거나 원본(Exemplar)에 근거하여 이미지를 복원한다. PDE에 근거한 이미지 복원 방법은 이웃하는 기지의 픽셀들을 확산시킴으로써 미지의 영역을 채우게 되는데, 스크래치들과 같은 작은 갭들을 채우는 경우에는 우수하나 이미지가 제거된 영역들이 넓으면 좋은 결과를 얻을 수 없었다.

한편, Criminisi 등은 원본에 근거한 이미지 복원 방법을 비특허문헌 1에 제안하였다. 이 이미지 복원 방법은 이미지의 미지 영역을 기지의 이미지로부터 채우는 방법으로, 먼저 경계선을 포함한 미지 영역과 기지 영역을 타겟 패치로 선택하고 기지 영역으로부터 같은 크기의 모든 패치에 대해 유사 여부를 판단하여 베스트 패치를 선택함으로써 미지 영역을 반복적으로 채운다. 그러나 이 이미지 복원 방법은 이미지 복원과 관련된 처리량이 너무 많아 스마트폰과 같은 작은 디바이스에서는 처리 시간이 너무 길어지는 문제점이 있었다.

따라서 본 출원인은 가장 유사한 후보 패치를 고속으로 검출하여 이미지를 복원하는 이미지 복원 장치 및 방법을 출원하여 특허등록 제1539013호를 받았다. 하지만, 영상 품질의 저하 없은 더 빠른 복원은 여전히 요구된다.

특허문헌 1 : 한국특허등록 제1539013호

비특허문헌 1 : IEEE TRANSACTIONS ON IMAGE PROCESSING VOL.13 NO.9,SEP 2004(Region Filling and Object Removal by Exemplar-Based Image Inpainting)

상술한 문제점을 해결하기 위해, 본 발명은 원본에 근거한 이미지 복원 방법에서 비교 대상의 후보 패치를 줄여서 가장 유사한 후보 패치를 고속으로 검출하여 이미지를 복원하는 이미지 복원 장치 및 방법을 제공하는 것을 목적으로 한다.

상술한 목적을 달성하기 위해, 본 발명의 일실시예에 따른 이미지 복원 장치는 원본 이미지에서 복원이 필요한 영역을 타겟 영역으로 설정하는 타겟 영역 설정부와, 원본 이미지로 된 소스 영역의 후보 패치들의 평균값 및 표준편차를 계산하는 후보 패치 계산부와, 상기 타겟 영역 설정부에서 설정된 타겟 영역과 원본 이미지로 된 소스 영역을 포함하는 소정의 픽셀 영역을 갖는 타겟 패치의 우선순위를 검출하는 패치 우선순위 검출부와, 상기 패치 우선순위 검출부에서 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 상기 후보 패치 계산부에서 계산된 평균값 및 표준편차를 이용하여 유사 이미지를 비교할 후보 패치를 선택하는 비교 패치 선택부와, 상기 패치 우선순위 검출부에서 검출된 각 타겟 패치의 기지의 픽셀들과 상기 비교 패치 선택부에서 선택된 유사 이미지 비교 후보 패치의 대응하는 픽셀들의 패치 차이 값이 최소 패치 차이 값보다 크면 계산을 중지한 후 다음의 유사 이미지 비교 후보 패치에 대하여 패치 차이 값을 수행하고, 이전의 패치 차이 값보다 작으면 최소 패치 차이 값으로 저장함으로써 가장 유사한 후보 패치를 검출하는 유사 이미지 패치 검출부와, 및 타겟 패치의 미지 영역에 상기 유사 이미지 패치 검출부에서 검출된 후보 패치의 대응하는 픽셀들을 복사하여 복원하는 패치 복원 처리부를 제공한다.

상기 비교 패치 선택부는 상기 패치 우선순위 검출부에서 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 상기 후보 패치 계산부에서 계산된 평균값 및 표준편차를 이용하여 하부 바운드를 계산하고, 계산된 하부 바운드가 현재의 최소 패치 차이 값보다 크면, 해당 후보 패치는 스킵되고, 현재의 최소 패치 차이 값보다 작으면 유사 이미지 비교 후보 패치로 선택될 수 있다.

상기 유사 이미지 패치 검출부는 소스 영역의 픽셀들에 대해 히스토그램을 이용하여 각 스케일 값의 빈도수를 구하고, 타겟 소스의 기지의 픽셀들 중 빈도수가 낮은 스케일 값을 갖는 픽셀의 순서로 패치 차이 값을 계산할 수 있다.

상기 유사 이미지 패치 검출부는 소스 영역에서의 후보 패치들 중 타겟 패치와 거리가 가까운 순서로 패치 차이 값을 계산할 수 있다.

본 발명의 다른 실시예에 따른 이미지 복원 방법은 원본 이미지에서 복원이 필요한 영역을 타겟 영역으로 설정하는 단계와, 원본 이미지로 된 소스 영역의 후보 패치들의 평균값 및 표준편차를 계산하는 단계와, 상기 타겟으로 설정하는 단계에서 설정된 타겟 영역과 원본 이미지로 된 소스 영역을 포함하는 소정의 픽셀 영역을 갖는 타겟 패치의 우선순위를 검출하는 단계와, 상기 우선순위를 검출하는 단계에서 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 상기 후보 패치들의 평균값 및 표준편차를 계산하는 단계에서 계산된 평균값 및 표준편차를 이용하여 유사 이미지를 비교할 후보 패치를 선택하는 단계와, 상기 우선순위를 검출하는 단계에서 검출된 타겟 패치의 기지의 픽셀들과 상기 후보 패치를 선택하는 단계에서 선택된 유사 이미지 비교 후보 패치의 대응하는 픽셀들의 패치 차이 값이 최소 패치 차이 값보다 크면 계산을 중지한 후 다음 유사 이미지 비교 후보 패치에 대하여 패치 차이 값을 수행하고, 이전의 패치 차이 값보다 작으면 최소 패치 차이 값으로 저장함으로써 가장 유사한 후보 패치를 검출하는 단계와, 및 타겟 패치의 미지 영역에 상기 가장 유사한 휴보 패치를 검출하는 단계에서 검출된 후보 패치의 대응하는 픽셀들을 복사하여 복원하는 단계를 제공함으로써, 상술한 목적을 달성할 수 있다.

상술한 구성에 의해, 본 발명은 가장 유사한 후보 패치를 고속으로 검출하여 이미지를 복원할 수 있다.

또한, 본 발명은 시간이 오래 걸리는 유사 이미지 패치 검출부의 부담을 경감시킬 수 있다.

또한, 본 발명은 타겟 패치에 대한 우선순위를 검출함으로써 이미지를 복원함에 있어서 오류를 줄일 수 있다.

도 1은 본 발명의 일실시예에 따른 이미지 복원 장치의 블록도를 도시하는 도면이다.
도 2는 본 발명의 일실시예에 따른 이미지 복원 장치에 의한 이미지 복원 처리 과정을 도시하는 도면이다.
도 3은 본 발명의 일실시예에 따른 이미지 복원 장치에 사용되는 테스트 이미지들을 도시하는 도면이다.
도 4는 타겟 패치의 센터와 가장 유사한 후보 패치의 센터 간의 맨해튼 거리의 누적 분포 함수를 도시하는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 이미지 복원 방법의 흐름도를 도시하는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 이미지 복원 장치 및 방법의 바람직한 실시예를 설명한다. 참고로, 아래에서 본 발명을 설명함에 있어서, 본 발명의 구성요소를 지칭하는 용어들은 각각의 구성 요소들의 기능을 고려하여 명명된 것이므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 안 될 것이다.

도 1은 본 발명의 일실시예에 따른 이미지 복원 장치의 블록도를 도시하는 도면이고, 도 2는 본 발명의 일실시예에 따른 이미지 복원 장치에 의한 이미지 복원 처리 과정을 도시하는 도면이고, 도 3은 본 발명의 일실시예에 따른 이미지 복원 장치에 사용되는 테스트 이미지들을 도시하는 도면이고, 도 4는 타겟 패치의 센터와 가장 유사한 후보 패치의 센터 간의 맨해튼 거리의 누적 분포 함수를 도시하는 도면이다.

도 1에 도시된 바와 같이, 이미지 복원 장치는 타겟 영역 설정부(110), 후보 패치 계산부(120), 패치 우선순위 검출부(130), 비교 패치 선택부(140), 유사 이미지 패치 검출부(150), 패치 복원 처리부(160) 및 복원 이미지 출력부(170)를 포함한다.

타겟 영역 설정부(110)는 입력된 원본 이미지에서 복원이 필요한 영역을 타겟 영역으로 설정한다. 타겟 영역은 사용자 인터페이스(미도시됨)를 통해 설정될 수 있다. 도 2의 a에 타겟 영역(Target region)(Ω)이 표시되어 있으며, 아울러 타겟 영역(Ω)에 채워질 원본 이미지가 소스 영역(Source region)(Φ)으로 표시되어 있다. 그리고 타겟 영역(Ω)의 경계선은 (δΩ)로 표시되어 있다.

후보 패치 계산부(120)는 타겟 영역 설정부(110)에서 설정된 타겟 영역 이외의 원본 이미지로 된 소스 영역의 각 후보 패치에 대해 평균값 및 표준편차를 계산한다. 후보 패치 계산부(120)는 CIE 색체계에 따라 L(명도), a(적색-녹색 색영역), b(황색-청색 색영역)의 평균값 및 표준편차를 계산할 수 있다.

후보 패치 계산부(120)에서 계산된 후보 패치의 평균값 및 표준편차를 저장하기 위해 4바이트(2바이트는 평균값, 2바이트는 표준편차)가 필요하며, 소수점 이하를 제거하면 단지 2바이트만으로도 평균값 및 표준편차를 저장할 수 있다.

패치 우선순위 검출부(130)는 설정된 타겟 영역에서 가장 먼저 복원할 패치 영역에 대한 우선순위를 정하는데, 패치 우선순위 검출부(130)에서의 우선순위의 검출이 잘못되면 복원 이미지에 상당한 오류가 발생할 수 있다. 도 2의 b에 소스 영역의 기지의 이미지로부터 채워질 타겟 패치(Ψp)가 표시되어 있다. 본 발명에서 이용되는 타겟 패치(Ψp)의 크기는 9 X 9 픽셀이다.

즉, 패치 우선순위 검출부(130)는 먼저 복원할 타겟 패치(Ψp)를 검출하는데, 여기서 패치의 우선순위는 <수학식 1>과 같이 정의된다.

여기서 C(p)는 신뢰 항(confidence term)으로, D(p)는 데이터 항으로 불리는데, C(p) 및 D(p)는 <수학식 2>와 같이 정의된다.

여기서 │Ψp│는 Ψp의 면적이며, α는 정규화 요소(예를 들면, 그레이 레벨 이미지에 대해 α=255)이다. n_p는 p에서 경계선(δΩ)에 대한 직각인 단위 벡터이며,

는 픽셀(p)에서의 등광도선(isophote)이다.

패치 우선순위 검출부(130)에 대한 보다 상세한 내용은 비특허문헌 1에 기재되어 있는바, 비특허문헌 1은 패치 우선순위 검출부(130)의 이해를 위해 본 발명에 참조로서 통합된다.

비교 패치 선택부(140)는 패치 우선순위 검출부(130)에 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 후보 패치 계산부(120)에서 계산된 평균값 및 표준편차를 이용하여 유사 이미지를 비교할 후보 패치를 선택한다.

비교 패치 선택부(140)는 후보 패치 계산부(120)에서 계산된 L, a, b의 평균값 및 표준편차를 이용하여 타겟 패치와의 차이에 대한 하부 바운드를 얻을 수 있다. 만약 하부 바운드가 소정값, 예를 들어 최소 패치 차이 값을 초과하면 유사 이미지 비교 후보 패치에서 제거된다.

한 패치의 픽셀들의 수를 d라고 하고, 타겟 패치에 대한 기지의 픽셀들의 수를 k라 하면, 9 X 9 패치에서, d는 81이며, k는 81 미만이다. X는 후보 패치의 모든 픽셀들의 세트이고,

는 타겟 패치의 기지의 픽셀들에 대응하는 후보 패치의 픽셀들의 세트이다. 이 경우

의 평균값과 표준편차는 <수학식 3>과 같은 범위를 가질 수 있다.

여기서 μ_c 및 σ_c는 X의 평균 및 표준 편차이고,

및

는

의 평균 및 표준 편차이다.

이에 대한 수학적 증명은 출원서에 기재된 [공지예외적용대상]으로 첨부된 본 발명자의 논문에 기재되어 있으며, 이 논문은 본 명세서에 통합된다.

또한, 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차를

및

라고 하고, 후보 패치 계산부(120)에서 계산된 각 후보 패치의 모든 픽셀의 평균값 및 표준편차를 μ_q 및 σ_q 라고 하면, 평균값 및 표준편차의 각 최소 차이 값을 <수학식 4>에서 얻을 수 있다.

이어서, 상기 차이 값들을 이용한 하부 바운드는 <수학식 5>를 이용하여 계산될 수 있다.

여기서 c ∈ {L, a, b}는 L, a, b 각각에 대해 모두 계산함을 의미한다.

비교 패치 선택부(140)에 최초로 최소 패치 차이 값이 설정되는 경우에는 큰 수가 설정될 수 있다. 비교 패치 선택부(140)는 후보 패치 계산부(120)에서 계산된 각 후보 패치의 모든 픽셀의 평균값 및 표준편차를 이용하여 하부 바운드를 계산한다. 하부 바운드가 현재의 최소 패치 차이 값보다 크면, 해당 후보 패치는 스킵되고, 현재의 최소 패치 차이 값보다 작으면 유사 이미지 비교 패치 후보로 선택된다.

유사 이미지 패치 검출부(150)는 패치 우선순위 검출부(130)에서 검출된 우선순위의 타겟 패치에 채워질 가장 유사한 이미지 패치를 검출한다. 구체적으로 유사 이미지 패치 검출부(150)는 타겟 패치와 타겟 패치에 대응하는 소스 영역의 후보 패치(Ψq)마다 SSD(Sum of Squared Difference)를 이용하여 픽셀 값의 차이 값을 계산하여 합산한 후 패치 차이 값을 구하고 이들 패치 차이 값들 중에서 최소 패치 차이 값을 갖는 후보 패치를 가장 유사한 패치로 선정한다. 도 2의 c에 소스 영역의 후보 패치(Ψq)가 표시되어 있다.

유사 이미지 패치 검출부(150)는 타겟 패치(Ψp)의 각 기지 픽셀(c_i)의 픽셀값에서 후보 패치(Ψq)의 픽셀(c'_i)의 픽셀값을 이용하여 픽셀 차이 값(δi)을 계산하는데, 이 차이 값은 <수학식 6>과 같이 정의된다.

이 방정식에서 c _i,R , c _i,G , c _i,B 는 픽셀(ci)의 R, G, B 값들이다.

한편, Ψp와 Ψq 간의 패치 차이 값(Dp,q)은 다음과 같이 정의된다.

<수학식 7>는, 예를 들어 타겟 패치(Ψp)에서 기지 픽셀들의 수가 k이면 기지 영역의 각 후보 패치(Ψq)에 대해 k번씩 픽셀 차이 값(δ)을 계산해야 함을 표현하고 있다.

유사 이미지 패치 검출부(150)는 <수학식 7>를 이용하여 계산된 후보 패치(Ψq')의 패치 차이 값이 다른 후보 패치(Ψq")의 패치 차이 값보다 작다면 더 작은 패치 차이 값을 갖는 후보 패치(Ψq')가 타겟 패치(Ψp)에 더 적합하다고 판단한다.

한편, 유사 이미지 패치 검출부(150)는 보다 고속으로 유사 이미지 패치를 검출하기 위해, 바운딩(bounding) 알고리즘을 포함한다. 여기서 바운딩 알고리즘이란 지금까지 계산한 후보 패치들(Ψq)의 패치 차이 값 중 최소 패치 차이 값을 기준으로, 현재 수행하고 있는 후보 패치(Ψq)의 패치 차이 값이 가장 작은 패치 차이 값을 오버하면 더 이상 진행하지 않고 다음 후보 패치(Ψq)에 대해 계산을 수행하고, 현재 수행하고 있는 후보 패치(Ψq)의 패치 차이 값이 가장 작은 패치 차이 값을 오버하지 않으면 계산후 최소 패치 차이 값으로 저장한다.

이러한 바운딩 알고리즘은 <표 1>과 같이 표시될 수 있다.

이 바운딩 알고리즘를 이용하면 표 1에 도시된 바와 같이, 계산 과정을 상당하게 줄일 수 있다. 이 바운딩 알고리즘에서, 후보 패치는 순차적인 순서로 선택되며, 상부-왼쪽 코너에서의 후보 패치로부터 출발할 수 있다. 하지만, 바운딩 알고리즘의 실행은 이후의 픽셀들과 패치들의 비교 순서를 포함하는 것이 바람직하다.

유사 이미지 패치 검출부(150)는 바운딩 알고리즘에 의해, 계산된 패치 차이 값들 중 타겟 패치의 기지의 이미지와 가장 작은 패치 차이값을 가지는 후보 패치를 유사 이미지 패치로 선택하면서도 계산 과정을 고속으로 수행할 수 있다.

또한, 유사 이미지 패치 검출부(150)는 타겟 패치와 후보 패치간의 패치 차이 값을 계산함에 있어 계산하는 픽셀 순서를 바꿈으로서 더 고속으로 유사 패치 이미지를 검출할 수 있다.

일반적으로 타겟 패치의 어느 픽셀이 후보 패치의 대응하는 픽셀과 어느 정도의 색상 차를 가지고 있는지 알 수 없다. 따라서 유사 이미지 패치 검출부(150)는 후보 패치에서 가장 큰 색상차를 갖는 픽셀을 결정하기 위해 다음과 같은 통계적인 방법을 이용한다.

유사 이미지 패치 검출부(150)는 먼저, 이미지가 존재하는 소스 영역의 각 픽셀에 대해 히스토그램을 생성하는데, 그레이-스케일 값(0 내지 255)을 사용할 수 있다. 이에 의해 기지의 이미지의 각 그레이-스케일 값들에 대해 빈도수를 얻을 수 있다. 여기서 빈도수가 낮은 픽셀에 대해 먼저 계산을 수행하면, 위의 바운딩 알고리즘을 이용하여 유사한 이미지 패치를 더 빠르게 검출할 수 있다.

이러한 픽셀 순서 알고리즘은 <표 2>와 같이 표현될 수 있다.

여기서 H(cm)는 픽셀(cm)과 동일한 그레이-스케일 색상을 갖는 (I-Ω)의 픽셀들의 수이며, argmin H(cm)은 빈도수가 가장 작은 값이다.

위에서 각 색상에 대해 픽셀들의 수를 카운팅할 때 그레이-스케일 값(0 내지 255)을 사용하였는데, 픽셀들을 선택하기 위한 대안적인 방법들로는 (1) 각 (R, G, B) 값에 대해 픽셀들의 수를 카운트하거나, (2) RGB에 대해 개별적으로 픽셀들의 수를 카운트하고, 카운트를 가산하고, 그리고 최소 합계를 갖는 픽셀들을 선택하거나, (3) RGB에 대해 개별적으로 픽셀들의 수를 카운트하고, RGB와 무관하게 최소 카운트를 갖는 픽셀을 선택할 수 있다.

유사 이미지 패치 검출부(150)는 타겟 패치에 유사한 이미지 패치를 더 빠르게 검출하기 위해 소스 영역의 후보 패치들을 비교하는 순서를 바꿀 수 있다. 즉, 계산 과정을 통해 최소 패치 차이 값을 더 빠르게 검출할 수 있다면 유사한 이미지 패치를 더 빠르게 검출할 수 있다.

이를 위해, 유사 이미지 패치 검출부(150)는 타겟 패치의 근처에 있는 후보 패치들이 더 멀리 있는 후보 패치들보다 순서적으로 더 일찍 처리되도록 순서를 정할 수 있다.

이러한 패치 순서의 변경은 타겟 영역의 이웃으로 검색 크기를 제한하는 경우보다 시간은 더 걸리지만 잘못된 이미지를 검출할 가능성을 줄일 수 있을 뿐만 아니라 바운딩 알고리즘과 결합함으로써 유사 이미지를 더 빠르게 검출할 수 있다.

이러한 패치 순서 알고리즘은 <표 3>와 같이 표현될 수 있다.

기본적으로, 후보 패치들은 타겟 패치에 가장 가까운 패치가 먼저 처리되도록 순서가 정해지는데, 여기서 M(p,q)는 픽셀(p)와 픽셀(q)의 맨해튼 거리로 <수학식 5>에 의해 정의된다.

여기서 px 및 py는 픽셀(p)의 x 및 y 좌표이다.

타겟 패치의 센터와 가장 좋은 후보 패치의 센터 사이의 맨해튼 거리의 누적 분포 함수(CDF)가 도 3에 도시되어 있다. 도 3을 통해 알 수 있듯이, 대부분의 경우에 타겟 패치에 더 가까운 후보 패치들을 먼저 비교하는 것이 바람직함을 알 수 있다.

패치 복원 처리부(160)는 유사 이미지 패치 검출부(150)에서 검출한 가장 유사한 이미지 패치를 이용하여 타겟 패치를 채운다. 도 2의 d에 이렇게 타겟 패치를 복원하는 내용이 표현되어 있다.

패치 복원 처리부(160)는 타겟 영역의 이미지 복원이 모두 완료되면 복원 이미지 출력부(170)로 복원이 완료된 이미지를 전달한다. 하지만 패치 복원 처리부(160)는 이미지 복원이 완료되지 않으면 복원 처리된 이미지를 다시 패치 우선순위 검출부(130)로 전달하여 타겟 영역에 유사 이미지가 다 채워질 때까지 이미지 복원 동작을 계속적으로 수행하도록 한다.

복원 이미지 출력부(170)는 복원이 완료된 최종 이미지를 디스플레이부에 표시한다.

상술한 구성에 의해 복원된 이미지들이 도 3에 도시되어 있다. 복원된 이미지들에 차이가 없음을 알 수 있다. 그리고 본 발명에 의한 처리 속도는 비특허문헌 1(Criminisi) 및 특허문헌 1(Method A+B)에 의해 처리된 경우보다 상당히 개선되고 있음을 <표 4>를 통해 알 수 있다.

도 5는 본 발명의 다른 실시예에 따른 이미지 복원 방법의 흐름도를 도시하는 도면이다.

이미지 복원 장치는 복원할 이미지를 입력받는다(S502). 타겟 영역 설정부(110)는 입력된 원본 이미지에서 복원이 필요한 영역을 타겟 영역으로 설정한다(S504). 타겟 영역은 사용자 인터페이스(미도시됨)를 통해 설정될 수 있다.

후보 패치 계산부(120)는 원본 이미지로 된 소스 영역의 각 후보 패치에 대해 평균값 및 표준편차를 계산한다(S506). 패치 우선순위 검출부(130)는 설정된 타겟 영역에서 가장 먼저 복원할 패치 영역에 대한 우선순위를 구하여 타겟 패치를 검출한다(S508).

비교 패치 선택부(140)는 패치 우선순위 검출부(130)에 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 후보 패치 계산부(120)에서 계산된 평균값 및 표준편차를 이용하여 유사 이미지를 비교할 후보 패치를 선택한다(S510). 비교 패치 선택부(140)는 후보 패치 계산부(120)에서 계산된 L, a, b의 평균값 및 표준편차를 이용하여 타겟 패치와의 차이에 대한 하부 바운드를 얻을 수 있다.

유사 이미지 패치 검출부(150)는 타겟 패치에 유사한 이미지 패치를 더 빠르게 검출하기 위해 소스 영역의 패치들의 비교하는 순서를 바꿀 수 있다. 즉, 유사 이미지 패치 검출부(150)는 타겟 패치의 근처에 있는 패치들이 더 멀리 있는 패치들보다 순서적으로 더 일찍 처리되도록 순서를 정할 수 있다(S512).

또한, 유사 이미지 패치 검출부(150)는 타겟 패치와 후보 패치간의 패치 차이 값을 계산함에 있어 계산하는 픽셀 순서를 바꿈으로서 더 고속으로 유사 패치 이미지를 검출할 수 있다. 유사 이미지 패치 검출부(150)는 먼저, 이미지가 존재하는 소스 영역의 각 픽셀에 대해 히스토그램을 생성하는데, 그레이-스케일 값(0 내지 255)을 사용한다. 이에 의해 기지의 이미지의 각 그레이-스케일 값들에 대해 빈도수를 얻을 수 있다. 여기서 빈도수가 낮은 픽셀에 대해 먼저 계산을 수행하면(S514), 위의 바운딩 알고리즘을 이용하여 유사한 이미지 패치를 더 빠르게 검출할 수 있다.

또한, 유사 이미지 패치 검출부(150)는 지금까지 계산한 후보 패치들(Ψq)의 패치 차이 값 중 최소 패치 차이 값을 기준으로, 현재 수행하고 있는 후보 패치(Ψq)의 패치 차이 값이 가장 작은 패치 차이 값을 오버하면(S516) 더 이상 진행하지 않고 다음 후보 패치(Ψq)에 대해 계산을 수행하고, 현재 수행하고 있는 후보 패치(Ψq)의 패치 차이 값이 가장 작은 패치 차이 값을 오버하지 않으면 계산후 최소 패치 차이 값으로 저장한다(S518).

타겟 패치에 대한 모든 후보 패치들이 비교되었으면(S520), 패치 복원 처리부(160)는 유사 이미지 패치 검출부(150)에서 검출한 가장 유사한 이미지 패치를 이용하여 타겟 패치를 채운다(S522).

패치 복원 처리부(160)는 타겟 영역의 이미지 복원이 모두 완료되면(S524) 복원 이미지 출력부(170)로 복원이 완료된 이미지를 전달한다. 하지만, 패치 복원 처리부(160)는 이미지 복원이 완료되지 않으면 복원 처리된 이미지를 다시 패치 우선순위 검출부(130)로 전달하여 타겟 영역에 유사 이미지가 다 채워질 때까지 이미지 복원 동작을 계속적으로 수행하도록 한다.

복원 이미지 출력부(170)는 복원이 완료된 최종 이미지를 디스플레이부에 표시한다(S524).

이상에서 설명된 본 발명의 실시예들은 본 발명의 기술 사상을 예시적으로 보여준 것에 불과하며, 본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것인 바, 본 발명과 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110: 타겟 영역 설정부 120: 후보 패치 계산부
130: 패치 우선순위 검출부 140: 비교 패치 선택부
150: 유사 이미지 패치 검출부 160: 패치 복원 처리부
170: 복원 이미지 출력부

Claims

원본 이미지에서 복원이 필요한 영역을 타겟 영역으로 설정하는 타겟 영역 설정부와,
원본 이미지로 된 소스 영역의 후보 패치들의 평균값 및 표준편차를 계산하는 후보 패치 계산부와,
상기 타겟 영역 설정부에서 설정된 타겟 영역과 원본 이미지로 된 소스 영역을 포함하는 소정의 픽셀 영역을 갖는 타겟 패치의 우선순위를 검출하는 패치 우선순위 검출부와,
상기 패치 우선순위 검출부에서 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 상기 후보 패치 계산부에서 계산된 평균값 및 표준편차를 이용하여 유사 이미지를 비교할 후보 패치를 선택하는 비교 패치 선택부와,
상기 패치 우선순위 검출부에서 검출된 각 타겟 패치의 기지의 픽셀들과 상기 비교 패치 선택부에서 선택된 유사 이미지 비교 후보 패치의 대응하는 픽셀들의 패치 차이 값이 최소 패치 차이 값보다 크면 계산을 중지한 후 다음의 유사 이미지 비교 후보 패치에 대하여 패치 차이 값을 수행하고, 이전의 패치 차이 값보다 작으면 최소 패치 차이 값으로 저장함으로써 가장 유사한 후보 패치를 검출하는 유사 이미지 패치 검출부와, 및
타겟 패치의 미지 영역에 상기 유사 이미지 패치 검출부에서 검출된 후보 패치의 대응하는 픽셀들을 복사하여 복원하는 패치 복원 처리부를 포함하고,
상기 비교 패치 선택부는 상기 패치 우선순위 검출부에서 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 상기 후보 패치 계산부에서 계산된 평균값 및 표준편차를 이용하여 하부 바운드를 계산하고, 계산된 하부 바운드가 현재의 최소 패치 차이 값보다 크면, 해당 후보 패치는 스킵되고, 현재의 최소 패치 차이 값보다 작으면 유사 이미지 비교 후보 패치로 선택되는 것을 특징으로 하는 이미지 복원 장치.
삭제
제1항에 있어서,
상기 유사 이미지 패치 검출부는 소스 영역의 픽셀들에 대해 히스토그램을 이용하여 각 스케일 값의 빈도수를 구하고, 타겟 소스의 기지의 픽셀들 중 빈도수가 낮은 스케일 값을 갖는 픽셀의 순서로 패치 차이 값을 계산하는 것을 특징으로 하는 이미지 복원 장치.
제3항에 있어서,
상기 유사 이미지 패치 검출부는 소스 영역에서의 후보 패치들 중 타겟 패치와 거리가 가까운 순서로 패치 차이 값을 계산하는 것을 특징으로 하는 이미지 복원 장치.
원본 이미지에서 복원이 필요한 영역을 타겟 영역으로 설정하는 단계와,
원본 이미지로 된 소스 영역의 후보 패치들의 평균값 및 표준편차를 계산하는 단계와,
상기 타겟으로 설정하는 단계에서 설정된 타겟 영역과 원본 이미지로 된 소스 영역을 포함하는 소정의 픽셀 영역을 갖는 타겟 패치의 우선순위를 검출하는 단계와,
상기 우선순위를 검출하는 단계에서 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 상기 후보 패치들의 평균값 및 표준편차를 계산하는 단계에서 계산된 평균값 및 표준편차를 이용하여 유사 이미지를 비교할 후보 패치를 선택하는 단계와,
상기 우선순위를 검출하는 단계에서 검출된 타겟 패치의 기지의 픽셀들과 상기 후보 패치를 선택하는 단계에서 선택된 유사 이미지 비교 후보 패치의 대응하는 픽셀들의 패치 차이 값이 최소 패치 차이 값보다 크면 계산을 중지한 후 다음 유사 이미지 비교 후보 패치에 대하여 패치 차이 값을 수행하고, 이전의 패치 차이 값보다 작으면 최소 패치 차이 값으로 저장함으로써 가장 유사한 후보 패치를 검출하는 단계와, 및
타겟 패치의 미지 영역에 상기 가장 유사한 후보 패치를 검출하는 단계에서 검출된 후보 패치의 대응하는 픽셀들을 복사하여 복원하는 단계를 포함하고,
상기 후보 패치를 선택하는 단계는, 상기 우선순위를 검출하는 단계에서 검출된 각 타겟 패치의 기지의 픽셀들의 평균값 및 표준편차와 상기 후보 패치들의 평균값 및 표준편차를 계산하는 단계에서 계산된 평균값 및 표준편차를 이용하여 하부 바운드를 계산하고, 계산된 하부 바운드가 현재의 최소 패치 차이 값보다 크면, 해당 후보 패치는 스킵되고, 현재의 최소 패치 차이 값보다 작으면 유사 이미지 비교 후보 패치로 선택되는 것을 특징으로 하는 이미지 복원 방법.
제5항에 있어서,
상기 가장 유사한 후보 패치를 검출하는 단계는 소스 영역의 픽셀들에 대해 히스토그램을 이용하여 각 스케일 값의 빈도수를 구하고, 타겟 소스의 기지의 픽셀들 중 빈도수가 낮은 스케일 값을 갖는 픽셀의 순서로 패치 차이 값을 계산하는 것을 특징으로 하는 이미지 복원 방법.
제5항 또는 제6항에 있어서,
상기 가장 유사한 후보 패치를 검출하는 단계는 소스 영역에서의 후보 패치들 중 타겟 패치와 거리가 가까운 순서로 패치 차이 값을 계산하는 것을 특징으로 하는 이미지 복원 방법.