KR101341871B1

KR101341871B1 - 비디오 디블러링 방법 및 그 장치

Info

Publication number: KR101341871B1
Application number: KR1020120101176A
Authority: KR
Inventors: 이승용; 조성현; 왕주에
Original assignee: 포항공과대학교 산학협력단
Priority date: 2012-09-12
Filing date: 2012-09-12
Publication date: 2014-01-07
Anticipated expiration: 2032-09-12

Abstract

카메라의 떨림에 의해 발생하는 모션 블러를 제거하는 방법 및 장치에 관한 기술이 개시된다. 비디오 디블러링 방법은, 입력 비디오의 각각의 프레임과 인접한 프레임 사이의 호모그래피 함수를 추정하는 단계와, 추정된 호모그래피를 이용하여 상기 각각의 프레임의 픽셀들이 블러된 정도를 나타내는 러키니스값을 산출하는 단계와, 추정된 호모그래피와 산출된 러키니스값을 이용하여 각각의 프레임의 블러 함수를 추정하는 단계를 포함하여 입력 비디오로부터 프레임들 사이의 모션 및 프레임의 모션 블러를 추정할 수 있다. 또한, 입력비디오의 각각의 프레임의 모든 패치에 대해 인접한 프레임으로부터 매칭 패치들을 선별하는 단계와, 선별된 매칭 패치들을 블렌딩하여 선명한 프레임을 복원하는 단계를 포함하여 추정된 모션 및 모션 블러를 이용하여 입력 비디오의 프레임의 블러를 제거할 수 있다. 따라서, 카메라의 모션에 의해 발생하는 블러를 효과적으로 제거할 수 있다.

Description

비디오 디블러링 방법 및 그 장치{METHOD FOR DEBLURRING VIDEO AND APPARATUS THEREOF}

본 발명은 비디오 디블러링에 관한 것으로, 더욱 상세하게는 카메라의 떨림에 의해 발생하는 모션 블러를 제거하는 방법 및 장치에 관한 것이다.

디지털 캠코더 또는 카메라폰 등과 같은 휴대용 동영상 촬영 장치에 대한 보급이 확대되고, 유투브(YouTube)와 같은 비디오 서비스가 확산됨에 따라, 어느 누구나 비디오를 촬영하여 이용할 수 있는 환경이 조성되고 있다.

전문 촬영 장비를 구비하지 않은 일반 사용자는 카메라를 손에 들고 동영상을 촬영하는 경우가 일반적이다. 하지만, 전문 촬영 장비없이 카메라를 손에 들고 동영상을 촬영하는 경우, 카메라의 흔들림으로 인하여 촬영된 동영상에 모션 블러가 발생할 수 있다.

즉, 일반 사용자가 촬영하는 동영상의 수가 급격하게 증가하는 추세에 있으나, 전문 촬영 장비없이 일반 사용자가 동영상을 촬영하는 경우 일반적으로 손에 들고 움직이며 동영상을 촬영하기 때문에 동영상의 내용이 흔들릴 뿐만 아니라, 동영상을 구성하는 각각의 프레임이 블러(blur)되어 촬영되는 경우가 많은 실정이다.

최근에 카메라의 모션을 부드럽게 하여 동영상의 흔들림을 제거하는 비디오 안정화 시스템(Video stabilization system)이 제안되었으며, 아도비(Adobe Systems, Inc) 사의 AfterEffects과 같은 동영상 편집 프로그램에 적용되어 널리 사용되고 있다. 그러나 비디오 안정화 시스템은 동영상을 구성하는 각각의 프레임의 블러는 제거하지 못하기 때문에, 고품질의 결과를 얻는데 한계가 있다.

이와 별개로 카메라의 흔들림을 제거하기 위한 영상 디블러링 기법들이 제안되었다. 이러한 기법으로는 싱글 이미지 디블러링(single image deblurring) 또는 멀티 이미지 디블러링(multiple image deblurring)과 같은 기법들이 있다.

따라서 동영상의 각각의 프레임의 블러를 제거하기 위한 가장 간단한 방법으로 이러한 디블러링 기법을 적용하는 방법을 생각할 수 있으나, 이러한 방법은 고품질의 결과를 얻을 수 없다. 이는 비디오에서 블러 커널(blur kernel)들의 공간적 시간적인 다양성, 객체 모션에 따른 블러의 효과적인 처리에 대한 한계, 노이즈 등에 민감한 디콘볼루션(deconvolution)의 특성, 개별 프레임들에 대한 이미지 디블러링에 따른 시간적 불일치 등으로 인하여 비디오를 효과적으로 디블러링하는데 한계가 있기 때문이다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 카메라의 모션에 의해 발생하는 블러(blur)를 효과적으로 제거할 수 있는 비디오 디블러링 방법을 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 카메라의 모션에 의해 발생하는 블러(blur)를 효과적으로 제거할 수 있는 비디오 디블러링 장치를 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 비디오 디블러링 방법은, 입력 비디오로부터 프레임들 사이의 모션 및 프레임의 모션 블러를 추정하는 단계와, 추정된 모션 및 모션 블러를 이용하여 입력 비디오의 프레임의 블러를 제거하는 단계를 포함한다.

여기에서, 상기 입력 비디오로부터 프레임들 사이의 모션 및 프레임의 모션 블러를 추정하는 단계는, 입력 비디오의 각각의 프레임과 인접한 프레임 사이의 호모그래피 함수를 추정하는 단계와, 추정된 호모그래피 함수를 이용하여 각각의 프레임의 픽셀들이 블러된 정도를 나타내는 러키니스값을 산출하는 단계와, 추정된 호모그래피 함수와 산출된 러키니스값을 이용하여 각각의 프레임의 블러 함수를 추정하는 단계를 포함할 수 있다.

여기에서, 상기 추정된 모션 및 모션 블러를 이용하여 상기 입력 비디오의 프레임의 블러를 제거하는 단계는, 입력비디오의 각각의 프레임의 모든 패치에 대해 인접한 프레임으로부터 매칭 패치들을 선별하는 단계와, 선별된 매칭 패치들을 블렌딩하여 선명한 프레임을 복원하는 단계를 포함할 수 있다.

여기에서, 상기 추정된 호모그래피 함수와 상기 산출된 러키니스값을 이용하여 상기 각각의 프레임의 블러 함수를 추정하는 단계는, 추정된 호모그래피 함수를 보간(interpolation)하여 카메라의 흔들림을 근사하여 블러 함수를 추정할 수 있다.

여기에서, 상기 추정된 호모그래피 함수와 상기 산출된 러키니스값을 이용하여 상기 각각의 프레임의 블러 함수를 추정하는 단계는, 산출된 러키니스값을 이용하여 선명한 프레임과 인접한 블러된 프레임의 쌍을 선택하고, 선택된 프레임의 쌍을 비교하여 프레임의 노출 시간을 추정할 수 있다.

여기에서, 상기 입력된 비디오의 각각의 프레임의 모든 패치에 대해 상기 인접한 프레임으로부터 매칭 패치들을 선별하는 단계는, 추정된 각각의 프레임의 블러 함수를 각각의 프레임에 상응하는 인접 프레임에 적용한 후, 각각의 프레임의 패치들과 블러 함수가 적용된 인접 프레임의 패치들 사이의 유사도에 따라 산출되는 블러 기반 유사도를 이용하여 각각의 프레임의 패치들에 가장 유사한 인접 프레임의 패치들을 매칭 패치들로 찾을 수 있다.

여기에서, 상기 입력된 비디오의 각각의 프레임의 모든 패치에 대해 상기 인접한 프레임으로부터 매칭 패치들을 선별하는 단계는, 산출된 블러 기반 유사도에 산출된 러키니스값을 기반으로 한 가중치를 적용하여 산출되는 수정된 블러 기반 유사도를 이용하여 각각의 프레임의 패치들에 가장 유사한 인접 프레임의 패치들을 매칭 패치들로 찾을 수 있다.

여기에서, 상기 선별된 매칭 패치들을 블렌딩하여 선명한 프레임을 복원하는 단계는, 각각의 프레임의 패치들에 대해, 선별된 매칭 패치들을 블렌딩(blending)하여 선명한 프레임을 복원할 수 있다.

여기에서, 상기 선별된 매칭 패치를 블렌딩하여 선명한 프레임을 복원하는 단계는, 산출된 블러 기반 유사도 또는 산출된 수정된 블러 기반 유사도에 기반한 매칭 패치들을 각각의 프레임의 패치들에 블렌딩할 수 있다.

여기에서, 상기 선별된 매칭 패치의 러키니스값을 블렌딩하여 복원된 프레임의 러키니스값을 업데이트하는 단계를 더 포함할 수 있다.

여기에서, 상기 추정된 모션 및 모션 블러를 이용하여 입력 비디오의 프레임의 블러를 제거하는 단계를 미리 설정된 횟수만큼 반복할 수 있다.

여기에서, 상기 러키니스값에 기반하여 상기 입력 프레임에 대한 디블러링 순서를 결정하는 단계를 더 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 비디오 디블러링 장치는, 입력 비디오로부터 프레임 사이의 모션 및 프레임의 모션 블러를 추정하는 모션 및 모션 블러 추정부와, 추정된 모션 및 모션 블러를 이용하여 입력 비디오의 프레임의 블러를 제거하는 디블러링부를 포함한다.

상기와 같은 본 발명의 실시예에 따른 비디오 디블러링 방법 및 장치를 이용할 경우에는 카메라의 모션에 의해 야기된 블러를 효과적으로 제거할 수 있다.

또한, 비디오 디블러링 방법 및 장치는 비디오에서 블러 커널(blur kernel)들의 공간적 시간적인 다양성, 객체 모션에 따른 블러의 효과적인 처리에 대한 한계, 노이즈 등에 민감한 디콘볼루션(deconvolution)의 특성, 개별 프레임들에 대한 이미지 디블러링에 따른 시간적 불일치에 따른 종래 디블러링의 한계를 보완할 수 있는 장점이 있다.

도 1은 모션 블러된 영상의 특성을 설명하기 위한 영상들이다.
도 2는 본 발명의 실시예에 따른 블러 모델을 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따라 영상의 선명도를 설명하기 위한 러키니스값을 나타내는 예시도이다.
도 4는 본 발명의 실시예에 따른 디블러링 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 디블러링 방법을 적용한 영상에 대한 예시도이다.
도 6은 본 발명의 실시예에 따른 비디오 디블러링 장치를 나타내는 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

통상적으로 비디오는 일련의 픽쳐(Picture)으로 구성되고, 픽쳐는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 또한, "픽처(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있으며, 프레임의 일 영역을 패치(patch)로 표현할 수 있음은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 모션 블러된 영상의 특성을 설명하기 위한 영상들이다.

도 1을 참조하면, 모션 블러된 비디오의 프레임들은 블러된 이미지 영역뿐만 아니라 선명한(sharp) 이미지 영역을 포함할 수 있다.

도 1a에서 보는 바와 같이 프레임의 배경이 되는 영역에 하나의 특징점 (feature point)를 설정하여 카메라의 모션을 추적할 수 있으며, 배경은 정적(static)이기 때문에 카메라의 모션을 잘 표현할 수 있다. 즉, 도 1b에 나타난 특징점의 궤적은 카메라의 움직임을 나타낼 수 있다.

카메라를 손에 들고 동영상을 촬영하는 경우, 카메라의 흔들림으로 인하여 프레임에 블러(blur)가 발생할 수 있다. 여기서, 카메라의 흔들림은 손 떨림에 의해 짧은 시간에 속도가 변화하는 비정형적인 모션이다.

모션을 가진 카메라도 일정한 시간동안 정적인 상태에 있을 수 있기 때문에, 모션을 가지는 카메라에 의해 캡쳐된 영상은 블러된(blurred) 프레임뿐 아니라 선명한(sharp) 프레임을 포함할 수 있다. 또한, 단일 프레임은 블러된 이미지 영역과 선명한 이미지 영역을 포함할 수 있다. 이는, 공간적으로 변화하는 블러 커널(blur kernel)에 기인한다.

예컨대, 도 1c는 카메라 로테이션(rotation)을 가지고 캡쳐된 비디오 프레임을 나타낸다. 로테이션 중앙은 왼쪽 이미지 경계의 중앙 주위에 있다. 로테이션 중앙 근처의 이미지 영역은 선명하고(도 1d), 반면에 로테이션 중앙으로부터 멀리 떨어진 이미지 영역은 더욱 블러된다(도 1e). 이러한 예를 통하여 비디오 디블러링을 위하여, 비디오 프레임들에서 지역적인 선명함을 고려할 수 있음을 의미할 수 있다.

본 발명의 실시예에 따르면, 시차(parallax)에 기인하여 훨씬 복잡할 수 있는 실제 모션에 대한 근사화로써 파라메트릭(parametric), 호모그래피(homography)에 기반하여 모션을 추정할 수 있다.

또한, 영상의 선명한 정도 또는 블러된 정도를 나타내는 픽셀의 러키니스(luckiness)를 정의하기 위한 근사화된 모션을 사용할 수 있다. 비디오 프레임을 디블러링(deblurring)하기 위하여, 현재 프레임에서 덜 러키(lucky)한 픽셀을 인접 프레임에서 더 러키한 픽셀로 대체할 수 있다. 여기에서 "러키(lucky)"라는 용어는 블러된 정도를 나타내는 용어로 사용될 수 있으며, 러키한 픽셀은 러키하지 않은 픽셀과 비교하여 블러가 덜 되어 선명한 픽셀을 의미할 수 있다.

프레임 상호간 픽셀의 대응은 추정된 호모그래픽을 사용하여 얻을 수 있으며, 이는 모션 모델에서 부정확성 보상하기 위해 가장 매칭되는 영상 부분을 찾도록 한다. 또한, 블러된 프레임에 러키한 픽셀을 복사할 때, 객체 구조를 보존하기 위하여 패치 기반한 텍스처 합성법(patch-based texture synthesis approach)을 적용할 수 있다. 그리고, 디블러링된 프레임의 시간의 일관성을 유지하기 위해 연속적인 프레임들에서 상응하는 패치들에 유사한 제약을 부가할 수 있다.

도 2는 본 발명의 실시예에 따른 블러 모델을 설명하기 위한 개념도이다.

도 2를 참조하면, 호모그래피(homography)를 사용하여 비디오 프레임들의 블러들을 근사화할 수 있다. 카메라의 듀티 사이클(duty cycle)이 2τ이고, i번째 프레임인 프레임

를 위한 노출 시간이

이다. 시간 간격은

로 하고,

의 잠상(latent image)을

로 나타낸다. 근접한 프레임들간의 모션은 호모그래피(

)에 의해 근사화할 수 있다. 여기서

는 3×3 호모그래피 메트릭스(

)에 의해 파라메터라이즈된(parameterized) 왜곡(warping) 함수이고, 모션의 속도는 인접한 프레임들 사이에서 일정하다. 본 출원에서 i는 프레임의 번호를 의미할 수 있다. 본 발명에 있어서, 잠상(latent image), 잠상의 프레임(latent frame) 또는 잠상의 패치(latent patch)는 블러된 영상을 복원하기 위한 이미지, 프레임 또는 패치를 의미할 수 있다.

따라서,

는 다음의 수학식 1과 같이 나타낼 수 있다.

여기서,

와

는 호모그래피 메트릭스인

와

에 의해 각각 파라메터라이즈된 왜곡(warping) 함수이고 다음의 수학식 2와 같이 정의될 수 있다.

I는 3×3 아이덴터티(identity) 메트릭스이고,

는

의 역 행렬이다.

수학식 1을 이산화(Discretizing)하면 다음의 수학식 3을 얻을 수 있다.

여기서, T는

에서 샘플링율(sampling rate)이 될 수 있고, 실시예에 따라 20으로 설정될 수 있다. τ는 듀티 사이클로 나뉘는 샘플들의 개수가 될 수 있다. 또한, 프레임 i를 위한 블러 함수를

라 할 수 있다.

블러 모델은 파노라마 생성을 위해 멀티-이미지 디블러링 방법에서 개발된 것과 유사할 수 있으며 근본적인 모션 모델로서 호모그래피를 사용할 수 있다. 다만, 기존의 방법에서는 블러 모델을 정확한 모델로서 다루는 반면에서, 본 발명의 실시예에 따르면 파노라마들보다 더 복잡한 비디오를 다루기 위하여 블러 모델을 근사치로 다룰 수 있다.

또한, 본 발명의 실시예에 따르면, 모델링 에러들을 명확하게 핸들링하기 위하여 다른 프레임들의 나란한 이미지 영역들을 위한 추가적인 지역 탐색을 수행할 수 있다.

도 3은 본 발명의 실시예에 따라 영상의 선명도를 설명하기 위한 러키니스값을 나타내는 예시도이다.

도 3을 참조하면, 모션 블러된 두 개의 프레임의 러키니스값(luckiness value)을 나타낸다. 도 3a 및 3b는 모션 블러된 두 개의 프레임이며, 도 3c 및 도 3d는 각각 도 3a와 3b의 각각의 픽셀들의 러키니스값을 시각화 한 것이다. 밝은 색은 러키니스값이 1에 가까운 것을 의미하며, 어두운 것은 러키니스값이 0에 가까운 것을 의미한다. 도 3a와 3b의 픽셀이 선명할수록 도 3c와 3d의 러키니스값도 높은 값을 나타낸다. 즉, 프레임이 선명할수록 더 높은 러키니스값을 가질 수 있다. 따라서, 러키니스값은 프레임의 선명한 정도 또는 블러된 정도를 나타낼 수 있다.

본 발명의 실시예에 따르면, 비디오 프레임을 구성하는 픽셀들에 대한 러키니스값은 인접한 프레임들간의 픽셀의 절대 변위를 이용하여 산출할 수 있다. 프레임

에서 x픽셀의 러키니스값은 수학식 4와 같이 정의할 수 있다.

여기서,

는 호모그래피 H에 따른 하나의 픽셀을 다른 픽셀 위치에 매핑(mapping)하는 함수이다.

는 상수로서 20 픽셀들로 설정할 수 있다. 수학식 4는

를 통하여

프레임에서

프레임으로 카메라가 움직일 때 픽셀 x의 변위를 계산할 수 있다.

예컨대, 픽셀x의 프레임-투-프레임 모션이 작을 때,

와

는 I에 가깝고

는 1에 가까울 수 있으며, 픽셀x에 중심을 두는 이미지 패치는 거의 선명하다는 것을 나타낼 수 있다. 반대로,

가 작으면, 해당 패치가 큰 모션 블러를 포함하는 것을 나타낼 수 있다. 또한, 전체 프레임(

)의 러키니스값(

)은

안의 픽셀들을 위한 모든

의 평균값으로써 나타낼 수 있다. 여기서, 러키니스값은 0부터 1 사이의 값일 수 있다.

도 4는 본 발명의 실시예에 따른 디블러링 방법을 설명하기 위한 흐름도 이다.

도 4를 참조하면, 본 발명의 실시예에 따른 비디오 디블러링 방법은 모션 및 모션 블러 추정 단계(S100), 디블러링 단계(S200)를 포함한다.

모션 및 모션 블러 추정 단계(S100)는 입력 비디오의 각각의 프레임에 대해, 각각의 프레임과 인접한 프레임 사이의 호모그래피 함수를 추정하는 단계(S110), 추정된 호모그래피를 이용하여 각각의 프레임의 픽셀들이 블러된 정도를 나타내는 러키니스값을 산출하는 단계(S120), 추정된 호모그래피와 산출된 러키니스값을 이용하여 각각의 프레임의 블러 함수를 추정하는 단계(S130)를 포함한다.

디블러링 단계(S200)는 입력된 블러 비디오의 각각의 프레임의 모든 패치에 대해 주변 프레임으로부터 매칭 패치를 선별하는 단계(S210), 선별된 매칭 패치를 블렌딩하여 선명한 프레임을 복원하는 단계(S220), 선별된 매칭 패치의 러키니스값을 블렌딩하여 복원된 프레임의 러키니스값을 업데이트하는 단계(S230)를 포함한다.

호모그래피 함수를 추정하는 단계(S110)는 입력 비디오의 각각의 프레임과 그 프레임의 인접 프레임을 구성하는 픽셀들간의 매핑(mapping)에 기반한 호모그래피를 추정하기 위해, 특징점 기반의 영상 정합 방법(image registration method)이나 또는 픽셀값 기반의 영상 정합 방법 등을 사용할 수 있다. 특징점 기반의 방법과 같은 경우, 각각의 프레임에서 특징점을 추출하고, 각각의 프레임 간에 대응되는 특징점들을 찾아, 특징점 간의 위치를 매핑하는 호모그래피를 추정하며, 픽셀값 기반의 영상 정합 방법과 같은 경우, 두 프레임 간의 픽셀 값의 차이를 최소화하는 호모그래피를 추정한다. 루카스 카나데 영상 정합 방법(Lucas-Kanade image registration method)와 같은 방법이 대표적인 예이다.

러키니스값을 산출하는 단계(S120)는 입력 비디오의 각각의 프레임과 그 인접 프레임을 구성하는 픽셀들간의 매핑(mapping)에 기반한 호모그래피(homography) 함수를 이용하여 입력 프레임의 픽셀이 블러된(blurred) 정도를 나타내는 러키니스값을 산출할 수 있다.

추정된 호모그래피와 산출된 러키니스값을 이용하여 각각의 프레임의 블러 함수를 추정하는 단계(S130)는 인접한 프레임 간의 호모그래피 함수를 보간(interpolation)하여 카메라의 흔들림을 근사하여 모션 블러 함수를 추정할 수 있다. 또한 산출된 러키니스값을 이용하여 선명한 프레임과 인접한 블러된 프레임의 쌍을 선택하고, 이렇게 선택된 프레임들을 비교하여 프레임의 노출 시간, 즉 듀티 사이클(duty cycle)을 추정할 수 있다.

입력된 블러 비디오의 각각의 프레임의 모든 패치에 대해 주변 프레임으로부터 매칭 패치를 선별하는 단계(S210)는 상기 추정된 각각의 프레임의 블러 함수를 그 인접 프레임들에 적용한 후, 각 프레임의 각각의 패치와 상기 블러 함수가 적용된 인접 프레임의 패치 사이의 유사도에 따라 산출되는 블러 기반 유사도를 이용하여 상기 입력 프레임의 각각의 패치에 가장 유사한 인접 프레임의 패치를 매칭 패치로 찾을 수 있다. 또한, 보다 선명한 매칭 패치를 찾기 위하여, 상기 블러 기반 유사도와 더불어, 러키니스값에 상응하는 가중치를 추가로 고려한 수정된 블러 기반 유사도를 최대화하는 인접 프레임의 패치를 매칭 패치로 찾을 수 있다.

선별된 매칭 패치를 블렌딩하여 선명한 프레임을 복원하는 단계(S220)는, 각 프레임의 각각의 패치에 대해, 상기 선별된 매칭 패치들을 블렌딩(blending)하여 선명한 프레임을 복원할 수 있다. 블렌딩은, 상기 산출된 블러 기반 유사도, 또는 상기 산출된 수정된 블러 기반 유사도를 이용하여 각각의 매칭 패치에 대해 새로운 가중치를 산출 후, 새로운 가중치를 이용하여 매칭 패치들을 블렌딩할 수 있다.

복원된 프레임의 러키니스값을 업데이트하는 단계(S230)는, 상기 블렌딩 단계에서 산출된 가중치를 이용하여 상기 선별된 매칭 패치의 러키니스값들을 블렌딩하여 업데이트된 러키니스값을 산출할 수 있다.

또한, 본 발명의 실시예에 따른 디블러링 단계(S200)는 입력 비디오의 모든 프레임에 대하여 미리 설정된 횟수만큼 반복하여 수행함으로써 디블러링 효과를 향상시킬 수 있다.

또한, 입력 프레임별로 블러된 정도에 차이가 있으므로 러키니스값에 기반하여 입력 프레임에 대한 디블러링 순서를 결정할 수 있다. 예컨대, 적어도 하나의 입력 프레임의 각각을 구성하는 픽셀에 대한 러키니스값을 평균한 값을 기준으로 각각의 입력 프레임에 대한 디블러링 순서를 결정할 수 있다.

본 발명의 실시예에 따른 비디오 디블러링 방법을 설명하기 위한 개념은 다음과 같다.

수학식 3에서 블러 함수

를 산출하기 위하여, 호모그래피(

)와 듀티 사이클(τ)의 추정이 필요하다.

먼저, 호모그래피(

)를 추정하기 위하여, 표준 KLT 기법[Shi and Tomasi 1994]을 사용하는 움직임 추정(feature tracking)을 적용할 수 있다. 또한, 초기 호모그래피를 계산하기 위하여 트래킹된 피쳐 포인트(feature point)를 사용할 수 있으며, Lucad-kanade registration[Baker and Matthew 2004]을 사용하여 프레임간의 호모그래피를 개선할 수 있다.

본 발명의 실시예에 따르면, 인접 프레임들간 뿐만 아니라 지역 시간 윈도우(local temporal window)(

)에서 어떤 두 개의 프레임간의 호모그래픽스를 추정할 수 있다. 여기서, M은 5 프레임들로 세팅할 수 있다. 프레임 i에서 프레임 j로의 호모그래피는

로 정의될 수 있고,

일 수 있다. 또한, 도 2를 참조하면

이며, 비-인접 프레임들 사이의 호모그래픽스는

와 동일한 방법으로 초기화되고 개선될 수 있다.

본 발명의 실시예에 따른 비디오 디블러링 방법은 근사화된 모션 모델로서 호모그래피를 다루기 때문에 호모그래피를 업데이트하지 않을 수 있다. 또한, 호모 그래피 추정에서 작은 에러들은 디블러링 프로세스에서 매칭하는 패치의 지역적 탐색에 의해 핸들링될 수 있다.

또한, τ를 계산하기 위하여 프레임 쌍의 세트를 선택할 수 있다. 여기서, 각각의 쌍은 러키니스 측정에서 큰 차이점을 가지므로, 블러 함수의 정확성이 효과적으로 테스트될 수 있다.

로 하면,

인 프레임들의 K 쌍이 있을 수 있다. 여기서, 프레임 러키니스 차이인

는 임계값(예:

)보다 클 수 있다.

따라서, 수학식 5를 최소화하는 최적의 τ를 구할 수 있다.

호모그래피(

)를 이용하여

을 가지고

를 조정할 수 있고,

의 블러 함수(

)를 사용하여 조정된 선명한 프레임(

)을 블러할 수 있다. 또한, 합성적으로 블러된 프레임과 관찰된

사이의 제곱된 차이점의 합을 계산할 수 있다.

수학식 5의 값은 모든 k를 위한 블러 함수(

)에 의존할 수 있다. 즉 함수(

)가 정확하다면, 수학식 5의 값은 작고 그렇지 않으면 반대가 될 것이다. τ의 주어진 값을 위하여

는 수학식 3에 의해 결정되므로, 수학식 5는 τ의 에너지 함수가 될 수 있다. 또한, 본 발명의 실시예에 따르면, τ는 1에서

으로 정수값의 제한된 세트를 가짐에 따라 brute-force search 를 사용하여 수학식 5를 최소화할 수 있다.

디콘볼루션(deconvolution)을 이용한 비디오 디블러링 방법은 만족할 만한 결과를 보여주지 못한다. 이에 본 발명의 실시예에 따른 비디오 디블러링 방법은

의 복원을 위하여 인접 프레임에서의 패치를 이용할 수 있다.

는 프레임

에서 픽셀 x에 중심을 둔 n×n 이미지 패치로 정의될 수 있다. 예컨대, n=11일 수 있다. 본 발명의 실시예에 따르면, 시간 윈도우

에서 인접 프레임들(

)로부터 선명한 패치들의 가중된 평균을 계산함에 의해

를 디블러링할 수 있다.

여기서,

는

의 디블러링된 패치이고,

는 픽셀 y에 중심을 둔 왜곡(warped) 프레임(

)의 패치이다.

가중치

는 입력 프레임의 패치와 인접한 프레임의 패치 사이의 블러 기반 유사도로, 수학식 7에 의해 구할 수 있다.

여기서,

는 블러된 왜곡 프레임(

)에서 y에 중심을 둔 패치이고, 현재 프레임(

)의 블러 함수(

)를

에 적용함에 의해 얻을 수 있다.

는 상수로서, 0.1이 될 수 있다.

는 왜곡 인접 프레임들(

)로부터 샘플링된

을 위한 매칭 패치(matching patch)들이다. Z는 정규화 팩터로,

이다.

블러 기반 유사도(

)는 종래의 비디오 디블러링 방법의 데이터 피팅 항(fitting term)과 유사할 수 있고, 입력된 블러된 이미지로부터 잠상의 차이로 측정될 수 있다.

본 발명의 실시예에 따르면, 잠상의 패치(latent patch)(

)가 되는 것의 적합성을 위하여 인접 프레임(

)으로부터 왜곡 패치(

)를 테스트할 수 있다. 블러 기반 유사도(

)는 블러된 패치(

)가

와 매칭됨에 따라 높게 나타날 수 있다. 결과적으로, 왜곡 패치(

)는 그들이 잠상의 패치(

)와 유사할 때 수학식 6에서 가중된 평균에 더 많은 기여를 할 수 있다.

패치 세트(

)를 결정하기 위하여 왜곡 인접 프레임(

)들로부터 N 최적 매칭 패치들을 발견할 수 있다. 여기서,

이다. 또한, 매칭의 정도에 따른

를 사용할 수 있다.

아래의 수학식 8에 의해 패치들을 선택할 수 있다.

에서 매칭 패치(

)를 발견하기 위하여 y의 범위를 탐색하기 위하여, 픽셀 x에 중심을 둔 m×m 윈도우를 사용할 수 있다. 만약

가

로부터

로의 움직임을 정확하게 추정할 수 있다면,

에서 x에 중심을 둔 패치를 사용하여 범위 m을 세팅할 수 있다.

그러나, 시차(parallax)와 객체의 움직임으로 인하여 프레임들간의 실제 움직임은 일반적으로 싱글 호모그래피보다 복잡하다. 따라서, 검색 범위(m)을 위해 하나보다 큰 값을 사용함에 의하여 호모그래피를 사용하는 모션 모델에서의 에러를 보상할 수 있다. 예컨대, 본 발명의 실시예에서 m=21을 사용할 수 있다.

또한, 본 발명의 실시예에서, N 최적-매칭 패치간의 조정 불량에 기인하여, 큰 값의 N을 사용하는 것은 오버-스무드(over-smoothed) 디블러링된 결과들로 이끌 수 있다. 이에 본 발명의 실시예에 따르면, 최적의 선명도를 위해 N=1을 사용할 수 있고, 수학식 6은 잠상의 패치를 복원하기 위해 최적-매칭된 패치를 사용할 수 있다. 또한, 시간 윈도우(

)를 위하여 M=5로 세팅할 수 있다. 즉, 인접 프레임들과

가 패치 탐색에 포함될 수 있다.

잠상 프레임(latent frame)(

)을 입력 프레임(

)로부터 복원하기 위하여,

안의 각각의 픽셀x에 수학식 6을 사용하여 패치를 디블러링할 수 있으나,

에서 객체 구조들의 조정 불일치를 야기할 수 있다. 따라서, 우리는

에서 디블러링된 패치들을 오버랩핑하는 효과를 병합하기 위하여 패치 기반 텍스트 합성 기법(patch-based texture synthesis approach)을 적용할 수 있다.

가 픽셀 x에서

의 값이라고 하면,

는 수학식 9로 결정될 수 있다.

여기서,

는 x에 중심을 둔 공간 윈도우(nㅧn)에서

픽셀의 세트이고, 디블러링된 패치(

)는 수학식 6으로부터 산출할 수 있다. 또한,

는 x에서의

의 픽셀 값이다. Z는 정규화 팩터이고,

이며,

이다.

는 왜곡 패치(

)에서 x의 픽셀값이다.

에서 모든 픽셀을 위해 디블러링된 패치를 계산한다면, 이미지 경계를 제외한

안의 픽셀 x에 대한

에

픽셀들이 있을 것이다. 따라서, 픽셀 x는 디블러링된

개의 패치에 의해 커버될 수 있다. 또한, 비디오 디블러링을 위하여, 모든 픽셀에 대해서가 아니라 지역적으로 디블러링을 수행할 수 있다.

본 발명의 실시예에 따른 비디오 디블러링 방법은 매칭 패치들의 지역적 탐색을 통하여 움직이는 객체에 따른 블러를 효과적으로 제거할 수 있다. 다만, 큰 모션을 가진 객체들에 대해서는 디블러링을 수행하지 않을 수 있다.

의 패치(

)는 움직이는 객체를 포함할 수 있고, 객체의 모션은 블러 함수(

)와 다른 블러를 초래할 수 있다. 즉, 객체의 모션이 크다면, 객체의 모션이

를 위한 진정 블러 함수를 지배할 수 있다. 이러한 경우, 블러 함수 차이점으로 인하여, 지역 패치 탐색을 통하여 수학식 8에서 정의된 피팅 에러(fitting error)를 가진 매칭 패치를 다른 프레임 (

)에서 발견할 수 없다.

한편,

는 객체 모션에 의해 이미 블러링되고,

는 동일한 형상을 가진

의 스무드된 버전이기 때문에,

와

사이의 피팅 에러는 상대적으로 작을 수 있다. 따라서,

는 그것 자체를 위하여 최적 매칭 패치가 될 수 있고, 수학식 6에 의해 계산된 잠상의 패치(

)는

와 유사하게 남을 수 있다.

본 발명의 실시예에 따른 비디오 디블러링 방법은 디블러링된 프레임들의 선명도를 더 개선하기 위하여 새로운 가중치(

)를 적용할 수 있다.

새로운 가중치는 수학식 10에 의해 얻을 수 있다.

여기서,

는 러키니스 맵(

)에서 픽셀 y에 중심을 둔 n×n 패치이고,

는 상수이다. 즉, 러키니스값이 작아지면 새로운 가중치도 작아질 수 있다. 러키니스 맵(

)은 왜곡 프레임(

)의 러키니스값들에 의해 구성될 수 있다. 또한, 최적 매칭 패치를 선택하기 위한 새로운 가중치(

)를 적용함에 의해 수학식 8은 수학식 11과 같이 될 수 있다.

여기서,

이다. 예컨대,

를 위하여 작은 값인 0.01을 사용할 수 있다.

또한, 본 발명의 실시예에 따른 비디오 디블러링 방법은 디블러링을 수행하는 프레임의 순서를 결정하는데 러키니스값을 사용할 수 있다. 먼저 프레임의 러키니스값에 기반하여 모든 프레임들 분류할 수 있다. 러키한 프레임의 경우 대부분의 픽셀들이 디블러링 후에 바뀌지 않을 수 있다.

예컨대, 프레임들의 러키니스값이 더 낮아짐에 따라 더 많은 픽셀들이 이미 처리된 프레임들로부터 더 선명한 픽셀들에 의해 업데이트될 수 있고, 픽셀들의 RGB값들을 업데이트 하는 방법과 동일한 방법을 사용할 수 있다.

결과적으로, 선명한 픽셀들은 더 러키한 것에서부터 덜 러키한 것으로 전파될 수 있다.

패치 기반한 텍스처 합성과 이미지 리타겟팅(retargeting)에서, 합성은 더 일치하는 텍스처(texture)와 객체 구조를 얻도록 반복적으로 수행될 수 있다.

즉, 본 발명의 실시예에 따른 비디오 디블러링 방법은 디블러링된 프레임들의 공간적 일치를 개선하기 위해 유사한 반복적인 프로세스를 수행할 수 있다. 따라서, 디블러링된 프레임들에서 픽셀 선명도와 객체 구조는 반복을 통하여 강화될 수 있다.

반복을 통한 디블러링의 개선을 위하여 수학식 6은 수학식 12와 같이 변형될 수 있다.

여기서,

는 p번째 반복을 통하여 복원된 i번째 잠상의 프레임으로

이다.

또한, 수학식 10은 수학식 13과 같이 변형될 수 있다.

여기서,

는 블러링된 왜곡 잠상의 프레임(

)에서의 패치이고,

는 p번째 반복으로 업데이트된 러키니스 맵(

)에서의 패치이다. 반복을 통한 개선에 있어서 반복의 횟수는 선명한 프레임들이 서로 얼마나 멀리 분배되어 있는지와 관련된다. 예컨대, 반복의 횟수는 시간 윈도우의 사이즈(2M+1)에 기반하여 결정될 수 있고, 선명한 프레임이 한번의 반복에서 얼마나 멀리 확장될 수 있는지 정의할 수 있다.

즉, 두 개의 선명한 인접 프레임들간의 최대 거리를 발견할 수 있고, 이를

로 정의할 수 있다. 따라서, 반복의 수는

로 계산될 수 있다.

수학식 13은 시간 일치와 관련된 항을 포함하고 있지 않지만, 반복된 디블러링에 의해 생성된 비디오는 거의 시간적으로 일치한다. 이는 호모그래피 등록 이후에 작은 공간적 윈도우 안에서 패치 탐색을 제한하였기 때문이다. 따라서, 연속되는 프레임들에서 동일한 블러된 패치를 위하여, 동일한 선명한 패치가 매칭 패치들의 지역적 탐색에서 선택될 수 있다. 또한, 반복 프로세스는 멀티 프레임들을 통하여 선명한 패치가 전파되도록 하여 시간 일치성을 향상시킬 수 있다.

또한, 시간 일치성의 개선을 위하여, 디블러링된 프레임들의 반복을 통한 개선 후에, 수학식 12를 변형한 추가적인 반복을 수행할 수 있다. 즉,

로서 시간적 윈도우(

)를 제한하고, 수학식 12의 계산을 위하여 세 개의 패치들(

)을 사용할 수 있다. 여기서,

과

은 이전 프레임과 다음 프레임에서 픽셀x의 매칭된 픽셀 위치이다. 예컨대, 에너지 함수에 기반한 수학식 14의 마코브 랜덤 필드(Markov random field)를 최적화함에 의해 주어진 비디오 프레임들(

)로부터 시간적으로 매끄러운 비디오 프레임들(

)을 생성할 수 있다.

패치 대응과 가중치들은 각각의 기울기 강하 단계에서 업데이트되는 기울기 강하법(gradient descent method)을 이용한다. 수학식 14에서, 첫 번재 항(term)은 데이터 정확도에 관한 것으로

을 주어진 프레임(

)과 유사하도록 강화하고, 두 번째와 세 번째 항은 업데이트된 프레임들(

)을 그들의 이웃한 프레임들에 가까워지도록 할 수 있다. 결과적으로, 결과 프레임들은 시간 일치성과 마찬가지로 주어진 디블러링된 프레임들(

)에 가까워진다.

도 5는 본 발명의 실시예에 따른 디블러링 방법을 적용한 영상에 대한 예시도이다.

도 5a는 입력 프레임들을 나타내고, 도 5b는 본 발명의 실시예에 따른 비디오 디블러링 방법을 적용한 영상을 나타낸다. 도 5를 참조하면, 입력 프레임은 모션 블러를 포함하고 있으나 디블러링을 통하여 상당 부분의 블러가 제거되었음을 볼 수 있다. 특히, 도 5b를 참조하면 배경 영역에 발생한 블러가 효과적으로 제거되었음을 알 수 있다. 이는 본 발명의 실시예에 따른 비디오 디블러링 방법이 카메라의 모션에 따른 영상의 블러를 효과적으로 제거할 수 있음을 보여준다.

도 6은 본 발명의 실시예에 따른 비디오 디블러링 장치를 나타내는 블록도이다.

도 6을 참조하면, 본 발명의 실시예에 따른 비디오 디블러링 장치(10)는 모션 및 모션 블러 추정부(100) 및 디블러링부(200)를 포함한다. 또한, 본 발명의 실시예에 따른 비디오 디블러링 장치는 상술한 비디오 디블러링 방법을 수행하는 장치일 수 있다.

모션 및 모션 블러 추정부(100)는 블러 비디오의 각각의 프레임에 대해 인접한 프레임 사이의 호모그래피 함수를 추정하는 호모그래피 추정부(110)와, 각각의 프레임의 픽셀이 블러된 정도를 나타내는 러키니스값 산출부(120)와, 추정된 호모그래피와 러키니스값에 기반하여 각각의 프레임의 모션 블러 함수를 추정하는 블러 함수 추정부(130)를 포함한다.

디블러링부(200)는, 블러 프레임의 각각의 패치에 대한 매칭 패치를 인접 프레임으로부터 선별하는 매칭 패치 선별부(210)와, 선별된 패치를 블렌딩(blending)하여 블러 프레임을 복원하는 선명한 프레임 복원부(220)와, 복원된 프레임에 따라 블러 프레임의 러키니스값을 업데이트하는 러키니스 업데이트부(230)를 포함한다.

호모그래피 추정부(110)는 입력 비디오의 각각의 프레임과 그 프레임의 인접 프레임을 구성하는 픽셀들간의 매핑(mapping)에 기반한 호모그래피를 추정할 수 있다.

러키니스값 산출부(120)는 입력 비디오의 각각의 프레임과 그 인접 프레임을 구성하는 픽셀들간의 매핑(mapping)에 기반한 호모그래피(homography) 함수를 이용하여 입력 프레임의 픽셀이 블러된(blurred) 정도를 나타내는 러키니스값을 산출할 수 있다.

블러 함수 추정부(130)는 인접한 프레임 간의 호모그래피 함수를 보간(interpolation)하여 카메라의 흔들림을 근사하여 모션 블러 함수를 추정할 수 있다. 또한 산출된 러키니스값을 이용하여 선명한 프레임과 인접한 블러된 프레임의 쌍을 선택하고, 이렇게 선택된 프레임들을 비교하여 프레임의 노출 시간, 즉 듀티 사이클(duty cycle)을 추정할 수 있다.

매칭 패치를 선별부(210)는 상기 추정된 각각의 프레임의 블러 함수를 그 인접 프레임들에 적용한 후, 각 프레임의 각각의 패치와 상기 블러 함수가 적용된 인접 프레임의 패치 사이의 유사도에 따라 산출되는 블러 기반 유사도를 이용하여 상기 입력 프레임의 각각의 패치에 가장 유사한 인접 프레임의 패치를 매칭 패치로 찾을 수 있다. 또한, 보다 선명한 매칭 패치를 찾기 위하여, 상기 블러 기반 유사도와 더불어, 러키니스값에 상응하는 가중치를 추가로 고려한 수정된 블러 기반 유사도를 최대화하는 인접 프레임의 패치를 매칭 패치로 찾을 수 있다.

선명한 프레임 복원부(220)는, 각 프레임의 각각의 패치에 대해, 상기 선별된 매칭 패치들을 블렌딩(blending)하여 선명한 프레임을 복원할 수 있다. 블렌딩은, 상기 산출된 블러 기반 유사도, 또는 상기 산출된 수정된 블러 기반 유사도를 이용하여 각각의 매칭 패치에 대해 새로운 가중치를 산출 후, 새로운 가중치를 이용하여 매칭 패치들을 블렌딩할 수 있다.

러키니스 업데이트부(230)는, 상기 블렌딩 단계에서 산출된 가중치를 이용하여 상기 선별된 매칭 패치의 러키니스값들을 블렌딩하여 업데이트된 러키니스값을 산출할 수 있다.

또한, 본 발명의 실시예에 따른 디블러링부(200)는 입력 비디오의 모든 프레임에 대하여 미리 설정된 횟수만큼 반복하여 수행함으로써 디블러링 효과를 향상시킬 수 있다.

또한, 본 발명의 실시예에 따른 디블러링부(200)는 입력 프레임별로 블러된 정도에 차이가 있으므로 러키니스값에 기반하여 입력 프레임에 대한 디블러링 순서를 결정할 수 있다. 예컨대, 적어도 하나의 입력 프레임의 각각을 구성하는 픽셀에 대한 러키니스값을 평균한 값을 기준으로 각각의 입력 프레임에 대한 디블러링 순서를 결정할 수 있다.

상술한 본 발명에서의 모션 및 모션블러 추정부(100), 디블러링부(200), 호모그래피 추정부(110), 러키니스값 산출부(120), 블러 함수 추정부(130), 매칭 패치 선별부(210) 및 선명한 프레임 복원부(220) 및 러키니스 업데이트부(230)는 서로 독립적으로 개시되지만, 모션 및 모션블러 추정부(100), 디블러링부(200), 호모그래피 추정부(110), 러키니스값 산출부(120), 블러 함수 추정부(130), 매칭 패치 선별부(210) 및 선명한 프레임 복원부(220) 및 러키니스 업데이트부(230)는 하나의 단일한 형태, 하나의 물리적 장치로 구현될 수 있다. 이뿐만 아니라, 모션 및 모션블러 추정부(100), 디블러링부(200), 호모그래피 추정부(110), 러키니스값 산출부(120), 블러 함수 추정부(130), 매칭 패치 선별부(210) 및 선명한 프레임 복원부(220) 및 러키니스 업데이트부(230)는 각각 하나의 물리적 장치 또는 집단이 아닌 복수의 물리적 장치 또는 집단으로 구현될 수 있다.

본 발명의 실시예에 따른 비디오 디블러링 방법은 카메라의 모션에 의해 야기된 블러를 효과적으로 제거할 수 있다. 즉, 움직이는 객체들에 따른 블러는 일반적으로 객체 모션에 의존하기 때문에 주목할 만한 아티팩트(artifact)가 아니다. 이에 반해, 천천히 변화하는 배경에 나타나는 블러는 인간의 인지에 있어 민감하게 작용할 수 있다. 따라서, 본 발명의 실시예에 따른 디블러링 방법 및 장치를 이용하여 카메라의 모션에 의해 발생하는 블러를 효과적으로 제거함으로써 비디오에 대한 주관적인 품질을 향상시킬 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10: 비디오 디블러링 장치 100: 모션 및 모션블러 추정부
200: 디블러링부 110: 호모그래피 추정부
120: 러키니스값 산출부 130: 블러 함수 추정부
210: 매칭 패치 선별부 220: 선명한 프레임 복원부
230: 러키니스 업데이트부

Claims

입력 비디오의 각각의 프레임과 인접한 프레임의 비교를 통하여 상기 입력 비디오로부터 프레임들 사이의 모션 및 프레임의 모션 블러를 추정하는 단계; 및
상기 추정된 모션 및 모션 블러를 이용하여 상기 입력 비디오의 프레임의 블러를 제거하는 단계를 포함하되,
상기 입력 비디오의 프레임의 블러를 제거하는 단계는,
상기 입력 비디오의 각각의 프레임의 모든 패치에 대해 상기 인접한 프레임으로부터 매칭 패치들을 선별하는 단계; 및
상기 선별된 매칭 패치들을 블렌딩하여 선명한 프레임을 복원하는 단계를 포함하는 비디오 디블러링 방법.
청구항 1에 있어서, 상기 입력 비디오로부터 프레임들 사이의 모션 및 프레임의 모션 블러를 추정하는 단계는,
상기 입력 비디오의 각각의 프레임과 상기 인접한 프레임 사이의 호모그래피 함수를 추정하는 단계;
상기 추정된 호모그래피 함수를 이용하여 상기 각각의 프레임의 픽셀들이 블러된 정도를 나타내는 러키니스값을 산출하는 단계; 및
상기 추정된 호모그래피 함수와 상기 산출된 러키니스값을 이용하여 상기 각각의 프레임의 블러 함수를 추정하는 단계를 포함하는 비디오 디블러링 방법.
삭제
청구항 2에 있어서, 상기 추정된 호모그래피 함수와 상기 산출된 러키니스값을 이용하여 상기 각각의 프레임의 블러 함수를 추정하는 단계는,
상기 추정된 호모그래피 함수를 보간(interpolation)하여 카메라의 흔들림을 근사하여 상기 블러 함수를 추정하는 비디오 디블러링 방법.
청구항 2에 있어서, 상기 추정된 호모그래피 함수와 상기 산출된 러키니스값을 이용하여 상기 각각의 프레임의 블러 함수를 추정하는 단계는,
상기 산출된 러키니스값을 이용하여 선명한 프레임과 인접한 블러된 프레임의 쌍을 선택하고, 상기 선택된 프레임의 쌍을 비교하여 프레임의 노출 시간을 추정하는 비디오 디블러링 방법.
청구항 2에 있어서, 상기 입력된 비디오의 각각의 프레임의 모든 패치에 대해 상기 인접한 프레임으로부터 매칭 패치들을 선별하는 단계는,
상기 추정된 각각의 프레임의 블러 함수를 상기 각각의 프레임에 상응하는 인접 프레임에 적용한 후, 상기 각각의 프레임의 패치들과 상기 블러 함수가 적용된 상기 인접 프레임의 패치들 사이의 유사도에 따라 산출되는 블러 기반 유사도를 이용하여 상기 각각의 프레임의 패치들에 가장 유사한 인접 프레임의 패치들을 매칭 패치들로 찾는 비디오 디블러링 방법.
청구항 6에 있어서, 상기 입력된 비디오의 각각의 프레임의 모든 패치에 대해 상기 인접한 프레임으로부터 매칭 패치들을 선별하는 단계는,
상기 산출된 블러 기반 유사도에 상기 산출된 러키니스값을 기반으로 한 가중치를 적용하여 산출되는 수정된 블러 기반 유사도를 이용하여 상기 각각의 프레임의 패치들에 가장 유사한 인접 프레임의 패치들을 매칭 패치들로 찾는 비디오 디블러링 방법.
청구항 2에 있어서, 상기 선별된 매칭 패치들을 블렌딩하여 선명한 프레임을 복원하는 단계는,
상기 각각의 프레임의 패치들에 대해, 상기 선별된 매칭 패치들을 블렌딩(blending)하여 선명한 프레임을 복원하는 비디오 디블러링 방법.
청구항 7에 있어서, 상기 선별된 매칭 패치를 블렌딩하여 선명한 프레임을 복원하는 단계는,
상기 산출된 블러 기반 유사도 또는 상기 산출된 수정된 블러 기반 유사도에 기반한 매칭 패치들을 상기 각각의 프레임의 패치들에 블렌딩하는 비디오 디블러링 방법.
청구항 2에 있어서,
상기 선별된 매칭 패치들의 러키니스값을 블렌딩하여 복원된 프레임의 러키니스값을 업데이트하는 단계를 더 포함하는 비디오 디블러링 방법.
청구항 2에 있어서,
상기 추정된 모션 및 모션 블러를 이용하여 상기 입력 비디오의 프레임의 블러를 제거하는 단계를 미리 설정된 횟수만큼 반복하는 것을 특징으로 하는 비디오 디블러링 방법.
청구항 2에 있어서,
상기 러키니스값에 기반하여 상기 입력 프레임에 대한 디블러링 순서를 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 디블러링 방법.
입력 비디오의 각각의 프레임과 인접한 프레임의 비교를 통하여 상기 입력 비디오로부터 프레임 사이의 모션 및 프레임의 모션 블러를 추정하는 모션 및 모션 블러 추정부; 및
상기 추정된 모션 및 모션 블러를 이용하여 상기 입력 비디오의 프레임의 블러를 제거하는 디블러링부를 포함하되,
상기 디블러링부는,
상기 입력 비디오의 각각의 프레임의 모든 패치에 대해 상기 인접한 프레임으로부터 매칭 패치들을 선별하는 매칭 패치 선별부; 및
상기 선별된 매칭 패치들을 블렌딩하여 선명한 프레임을 복원하는 선명한 프레임 복원부를 포함하는 비디오 디블러링 장치.
청구항 13에 있어서, 상기 모션 및 모션 블러 추정부는,
상기 입력 비디오의 각각의 프레임과 상기 인접한 프레임 사이의 호모그래피 함수를 추정하는 호모그래피 추정부;
상기 추정된 호모그래피 함수를 이용하여 상기 각각의 프레임의 픽셀들이 블러된 정도를 나타내는 러키니스값을 산출하는 러키니스값 산출부; 및
상기 추정된 호모그래피 함수와 상기 산출된 러키니스값을 이용하여 상기 각각의 프레임의 블러 함수를 추정하는 블러 함수 추정부를 포함하는 비디오 디블러링 장치.
삭제
청구항 14에 있어서, 상기 블러 함수 추정부는,
상기 추정된 호모그래피 함수를 보간(interpolation)하여 카메라의 흔들림을 근사하여 상기 블러 함수를 추정하는 비디오 디블러링 장치.
청구항 14에 있어서, 상기 블러 함수 추정부는,
상기 산출된 러키니스값을 이용하여 선명한 프레임과 인접한 블러된 프레임의 쌍을 선택하고, 상기 선택된 프레임의 쌍을 비교하여 프레임의 노출 시간을 추정하는 비디오 디블러링 장치.
청구항 14에 있어서, 상기 매칭 패치 선별부는,
상기 추정된 각각의 프레임의 블러 함수를 상기 각각의 프레임에 상응하는 인접 프레임에 적용한 후, 상기 각각의 프레임의 패치들과 상기 블러 함수가 적용된 상기 인접 프레임의 패치들 사이의 유사도에 따라 산출되는 블러 기반 유사도를 이용하여 상기 각각의 프레임의 패치들에 가장 유사한 인접 프레임의 패치들을 매칭 패치들로 찾는 비디오 디블러링 장치.
청구항 18에 있어서, 상기 매칭 패치 선별부는,
상기 산출된 블러 기반 유사도에 상기 산출된 러키니스값을 기반으로 한 가중치를 적용하여 산출되는 수정된 블러 기반 유사도를 이용하여 상기 각각의 프레임의 패치들에 가장 유사한 인접 프레임의 패치들을 매칭 패치들로 찾는 비디오 디블러링 장치.
청구항 14에 있어서, 상기 선명한 프레임 복원부는,
상기 각각의 프레임의 패치들에 대해, 상기 선별된 매칭 패치들을 블렌딩(blending)하여 선명한 프레임을 복원하는 비디오 디블러링 장치.
청구항 19에 있어서, 상기 선명한 프레임 복원부는,
상기 산출된 블러 기반 유사도 또는 상기 산출된 수정된 블러 기반 유사도에 기반한 매칭 패치들을 상기 각각의 프레임의 패치들에 블렌딩하는 비디오 디블러링 장치.
청구항 14에 있어서,
상기 선별된 매칭 패치의 러키니스값을 블렌딩하여 복원된 프레임의 러키니스값을 업데이트하는 러키니스 업데이트부를 더 포함하는 비디오 디블러링 장치.