KR102049080B1

KR102049080B1 - 영상 처리 장치 및 방법

Info

Publication number: KR102049080B1
Application number: KR1020130033186A
Authority: KR
Inventors: 김선권; 이기창; 최욱; 김도균; 김창용
Original assignee: 삼성전자주식회사
Priority date: 2013-03-28
Filing date: 2013-03-28
Publication date: 2020-01-08
Anticipated expiration: 2033-03-28
Also published as: KR20140118031A; US20140294299A1; US9613403B2

Abstract

깊이 영상에 기초하여 컬러 영상을 아웃 포커싱 하는 장치 및 방법에 관한 것으로, 영상 처리 방법은 깊이 영상에서 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 깊이 영역을 입력 받아, 컬러 영상에서 상기 관심 깊이 영역에 대응하는 픽셀들과 상기 관심 깊이 영역이 아닌 영역에 대응하는 픽셀들에 대해 서로 다른 블러(Blur) 모델을 적용함으로써, 상기 관심 깊이 영역을 아웃 포커싱 처리한다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD THEREOF}

기술분야는 깊이 영상에 기초하여 컬러 영상을 아웃 포커싱 하는 장치 및 방법에 관한 것이다.

DSLR (Digital Single-Lens Reflex) 카메라는 초점 거리와 조리개(F) 값을 조절하여 아웃 포커싱(Out Focusing) 효과가 반영된 영상을 촬영할 수 있다. 아웃 포커싱을 이용하면 인간의 관심이 한 물체에서 다른 물체로 옮겨가는 효과를 모사할 수 있다.

촬영 대상의 컬러 값과 깊이 값을 함께 촬영할 수 있는 컬러-깊이 카메라는 소형화의 목적을 위해 초점 거리 변경이 불가능한 렌즈를 사용할 수 있다. 하지만, 사용자는 여전히 일정 깊이 영역에서 선명(Sharp)하게 초점이 맞는 아웃 포커싱 효과를 획득하고 싶어할 수 있다.

일 측면에 있어서, 영상 처리 방법은 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받는 단계; 깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역을 추정하는 단계; 및 상기 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 상기 블러 강도에 기초하여 상기 관심 영역의 컬러 값을 조정함으로써, 상기 관심 영역을 아웃 포커싱 처리하는 단계를 포함할 수 있다.

상기 추정하는 단계는 상기 깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역 및 상기 초점 거리보다 깊이 값이 큰 영역을 추정할 수 있다.

상기 아웃 포커싱 처리하는 단계는 상기 초점 거리보다 깊이 값이 작은 영역의 컬러 값에 제1 가중치, 및 상기 블러 강도를 적용함으로써, 상기 초점 거리보다 깊이 값이 작은 영역과 상기 관심 영역 사이에 형성되는 제1 경계의 컬러 값을 계산하는 단계; 및 상기 관심 영역의 컬러 값에 제2 가중치, 및 상기 블러 강도를 적용함으로써, 상기 초점 거리보다 깊이 값이 큰 영역과 상기 관심 영역 사이에 형성되는 제2 경계의 컬러 값을 계산하는 단계를 포함할 수 있다.

상기 아웃 포커싱 처리하는 단계는 상기 제1 가중치에 상기 제2 가중치보다 큰 값을 설정함으로써, 상기 계산된 제1 경계의 컬러 값과 상기 계산된 제2 경계의 컬러 값을 이용하여, 상기 제2 경계를 상기 제1 경계보다 선명(sharp)하게 아웃포커싱 처리할 수 있다.

상기 아웃 포커싱 처리하는 단계는 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 상기 블러 강도, 및 상기 계산픽셀의 깊이 값과 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값 간의 차이에 기초하여 결정되는 가중치를 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 관심 영역의 컬러 값을 조정할 수 있다.

상기 아웃 포커싱 처리하는 단계는 계산픽셀의 영상 좌표와 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이, 및 상기 계산픽셀의 깊이 값과 상기 이웃픽셀의 깊이 값의 차이에 비례하도록 상기 가중치를 결정하는 단계; 및 상기 결정된 가중치를 상기 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 관심 영역의 컬러 값을 조정하는 단계를 포함할 수 있다.

다른 일 측면에 있어서, 영상 처리 방법은 심도(depth of field)를 입력 받는 단계를 더 포함할 수 있다.

다른 일 측면에 있어서, 영상 처리 방법은 상기 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 심도 가중치를 결정하는 단계; 및 상기 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계를 더 포함할 수 있다.

상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계는 상기 컬러 영상의 픽셀의 컬러 값에서, 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값을 차분한 값에, 상기 결정된 심도 가중치를 적용한 결과와, 상기 컬러 영상의 픽셀의 컬러 값을 합성함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성할 수 있다.

다른 일 측면에 있어서, 영상 처리 방법은 상기 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 계산픽셀의 깊이 값과 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값의 차이에 반비례하도록 심도 가중치를 결정하는 단계; 및 상기 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계를 더 포함할 수 있다.

일 측면에 있어서, 영상 처리 방법은 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받는 단계; 및 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 블러 강도에 기초하여 결정되는 가중치를, 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 상기 관심 영역을 아웃 포커싱 처리하는 단계를 포함할 수 있다.

상기 아웃 포커싱 처리하는 단계는 상기 계산픽셀의 영상 좌표와 상기 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이에 비례하도록 상기 가중치를 결정하는 단계; 및 상기 결정된 가중치를 상기 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 계산픽셀의 컬러 값을 계산하는 단계를 포함할 수 있다.

상기 아웃 포커싱 처리하는 단계는 깊이 영상에서 상기 초점 거리보다 깊이 값이 작은 제1 비관심 영역과, 상기 초점 거리보다 깊이 값이 큰 제2 비관심 영역을 분류하는 단계; 상기 계산픽셀의 영상 좌표와 상기 계산픽셀을 중심으로 한 윈도우 내의 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이에 비례하도록 상기 가중치를 결정하는 단계; 상기 계산픽셀의 깊이 값이 상기 제1 비관심 영역의 깊이 값보다 크거나 동일하고, 상기 제2 비관심 영역의 깊이 값보다 작으면, 상기 컬러 영상에서, 상기 제1 비관심 영역에 대응하는 픽셀의 컬러 값이 상기 계산픽셀의 컬러 값의 계산에 반영되도록 상기 결정된 가중치를 보정하는 단계; 및 상기 보정된 가중치를 상기 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 계산픽셀의 컬러 값을 계산하는 단계를 포함할 수 있다.

상기 아웃 포커싱 처리하는 단계는 상기 계산픽셀의 영상 좌표와 상기 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이에 비례하도록 상기 가중치를 결정하는 단계; 상기 윈도우 내에서 상기 계산픽셀의 깊이 값이 상기 이웃픽셀의 깊이 값보다 크거나 동일한 경우와, 상기 계산픽셀의 깊이 값이 상기 이웃픽셀의 깊이 값보다 작은 경우에 서로 다른 값으로 상기 결정된 가중치를 보정하는 단계; 및 상기 서로 다른 값으로 보정된 가중치를 상기 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 계산픽셀의 컬러 값을 계산하는 단계를 포함할 수 있다.

상기 보정하는 단계는 상기 계산픽셀의 깊이 값이 상기 이웃픽셀의 깊이 값보다 크거나 동일한 경우에, 상기 계산픽셀의 깊이 값이 상기 이웃픽셀의 깊이 값보다 작은 경우보다 더 큰 값으로 상기 결정된 가중치를 보정할 수 있다.

다른 일 측면에 있어서, 영상 처리 방법은 입력 받은 심도(depth of field)에 비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이에 반비례하도록 심도 가중치를 결정하는 단계; 및 상기 결정된 심도 가중치를 상기 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계를 더 포함할 수 있다.

일 측면에 있어서, 영상 처리 방법은 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 블러(blur) 강도, 및 심도(depth of field)를 입력 받는 단계; 깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역을 추정하는 단계; 상기 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 상기 블러 강도에 기초하여 상기 관심 영역의 컬러 값을 조정함으로써, 상기 관심 영역을 아웃 포커싱 처리하는 단계; 및 상기 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계를 포함할 수 있다.

일 측면에 있어서, 영상 처리 장치는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받는 입력부; 깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역을 추정하는 추정부; 및 상기 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 상기 블러 강도에 기초하여 상기 관심 영역의 컬러 값을 조정함으로써, 상기 관심 영역을 아웃 포커싱 처리하는 처리부를 포함할 수 있다.

상기 추정부는 상기 깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역 및 상기 초점 거리보다 깊이 값이 큰 영역을 추정할 수 있다.

상기 처리부는 상기 초점 거리보다 깊이 값이 작은 영역의 컬러 값에 제1 가중치, 및 상기 블러 강도를 적용함으로써, 상기 초점 거리보다 깊이 값이 작은 영역과 상기 관심 영역 사이에 형성되는 제1 경계의 컬러 값을 계산하는 제1 계산부; 및 상기 관심 영역의 컬러 값에 제2 가중치, 및 상기 블러 강도를 적용함으로써, 상기 초점 거리보다 깊이 값이 큰 영역과 상기 관심 영역 사이에 형성되는 제2 경계의 컬러 값을 계산하는 제2 계산부를 포함할 수 있다.

상기 처리부는 상기 제1 가중치에 상기 제2 가중치보다 큰 값을 설정함으로써, 상기 계산된 제1 경계의 컬러 값과 상기 계산된 제2 경계의 컬러 값을 이용하여, 상기 제2 경계를 상기 제1 경계보다 선명(sharp)하게 아웃포커싱 처리할 수 있다.

상기 처리부는 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 상기 블러 강도, 및 상기 계산픽셀의 깊이 값과 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값 간의 차이에 기초하여 가중치를 결정하는 가중치 결정부; 및 상기 결정된 가중치를 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 관심 영역의 컬러 값을 조정하는 조정부를 포함할 수 있다.

상기 처리부는 계산픽셀의 영상 좌표와 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이, 및 상기 계산픽셀의 깊이 값과 상기 이웃픽셀의 깊이 값의 차이에 비례하도록 가중치를 결정하는 가중치 결정부; 및 상기 결정된 가중치를 상기 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 관심 영역의 컬러 값을 조정하는 조정부를 포함할 수 있다.

상기 입력부는 심도(depth of field)를 입력 받을 수 있다.

다른 일 측면에 있어서, 영상 처리 장치는 상기 입력부에서 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 심도 가중치를 결정하는 심도 가중치 결정부; 및 상기 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 생성부를 더 포함할 수 있다.

상기 생성부는 상기 컬러 영상의 픽셀의 컬러 값에서, 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값을 차분한 값에, 상기 결정된 심도 가중치를 적용한 결과와, 상기 컬러 영상의 픽셀의 컬러 값을 합성함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성할 수 있다.

다른 일 측면에 있어서, 영상 처리 장치는 상기 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 계산픽셀의 깊이 값과 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값의 차이에 반비례하도록 심도 가중치를 결정하는 심도 가중치 결정부; 및 상기 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 생성부를 더 포함할 수 있다.

도 1은 아웃 포커싱 된 이미지를 나타낸다.
도 2는 일 실시예에 따른 영상 처리 장치의 블록도이다.
도 3 내지 도 10은 다른 일 실시예에 따른 영상 처리 장치의 블록도들이다.
도 11a 내지 도 11c는 일 실시예에 따른 영상 처리 장치에서 생성한 아웃 포커싱 된 컬러 영상을 나타낸다.
도 12는 일 실시예에 따른 영상 처리 장치에서 깊이 값에 따라 적용하는 블러 수준을 나타낸다.
도 13은 일 실시예에 따른 영상 처리 장치에서 심도를 반영한 아웃 포커싱 영상을 나타낸다.
도 14는 일 실시예에 따른 영상 처리 방법의 흐름도이다.
도 15 및 도 16은 다른 일 실시예에 따른 영상 처리 방법의 흐름도이다.

이하, 일측에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

깊이 영상은 3차원 공간상에 위치하는 객체와 그 객체를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상이고, 컬러 영상은 객체의 컬러에 대한 정보를 픽셀마다 나타내는 영상이다.

일반적인 DSLR 카메라에서 촬영할 수 있는 아웃 포커싱 된 영상을 컬러-깊이 카메라에서도 획득하기 위해서 깊이 정보를 이용할 수 있다. 사용자의 이러한 요구를 충족시키기 위해서, 깊이(Depth) 정보를 이용하여 컬러(Color) 영상에 아웃 포커싱(Out Focusing) 효과를 주는 방법을 제안한다. 제안 방법은 영상처리를 통해 컬러 영상에 아웃 포커싱 효과를 주는 방법으로, 이미 영상이 모두 촬영된 이 후에도 아웃 포커싱 효과를 자유롭게 줄 수 있다는 장점이 있다. 여기서 컬러 영상에는 Red, Green, Blue의 삼원색을 통해 표현된 영상뿐만 아니라 grayscale의 흑백 영상도 포함될 수 있다.

도 1은 아웃 포커싱 된 이미지를 나타낸다.

도 1을 참조하면, 이미지는 사용자가 관심을 가지는 영역에 초점이 맞추어져, 아웃 포커싱을 반영하고 있다.

일반적인 DSLR 카메라는 렌즈의 초점 거리와 조리개 값을 조절하여 촬영 대상의 소정 영역에 초점을 맞춤으로써, 아웃 포커싱이 반영된 영상을 촬영할 수 있다. 아웃 포커싱의 효과를 영상에서 분석해보면, 아웃 포커싱이 되는 영역과 아웃 포커싱 되는 영역보다 가까운 영역의 경계는 아웃 포커싱 되는 영역과 아웃 포커싱 되는 영역보다 먼 영역의 경계보다 좀 더 흐릿하다. 즉, 가까운 영역의 경계가 좀 더 블러(blur)된다. 따라서, 실제 렌즈를 통해서 발생하는 아웃 포커싱과 유사한 효과를 가져오기 위해서는 위와 같은 특징을 반영할 필요가 있다.

도 2는 일 실시예에 따른 영상 처리 장치의 블록도이다.

도 2를 참조하면, 일 실시예에 따른 영상 처리 장치는 입력부(210), 추정부(220), 및 처리부(230)를 포함할 수 있다.

입력부(210)는 카메라를 통해 촬영된 깊이 영상 및 컬러 영상을 입력 받을 수 있다. 이때 깊이 영상 및 컬러 영상은 동일한 시점에서 촬영된 것이고, 서로 동일한 해상도를 가질 수 있다. 또한, 깊이 영상 및 컬러 영상은 하나의 컬러-깊이 카메라에서 촬영될 수도 있고, 각각 깊이 카메라와 컬러 카메라에서 촬영될 수도 있다.

또한, 입력부(210)는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리를 입력 받는다. 예를 들면, 입력부(210)는 초점 거리를 직접 입력 받을 수도 있고, 간접 입력을 받을 수도 있다. 간접 입력의 예를 들면, 입력부(210)는 깊이 영상에서 초점을 맞추고 싶은 관심 영역을 터치 입력을 통해 입력 받을 수 있다. 사용자는 컬러-깊이 카메라가 터치 인터페이스를 지원하는 경우, 터치 스크린을 통해 초점을 맞추고 싶은 영역을 터치함으로써 관심 영역을 설정할 수 있다. 이 경우, 사용자에 의해 설정되는 관심 영역의 초점 거리(예를 들면, 깊이 값)는 깊이 영상에서 자동으로 측정되어 반영될 수 있다.

관심 영역은 영상처리를 통해 초점이 잡히는 영역을 의미하고, 관심 영역은 입력부(210)에 지원되는 인터페이스에 따라 픽셀 단위로 설정될 수도 있고, 복수의 픽셀을 포함하는 블록단위로 설정될 수도 있다.

또한, 입력부(210)는 블러 강도(blur strength)를 입력 받을 수 있다. 블러 강도는 블러 효과를 발생시키는 정도를 의미하며, 블러 강도가 클수록 픽셀에 많은 블러 효과가 발생할 수 있다.

추정부(220)는 깊이 영상의 깊이 값에 기초하여, 관심 영역의 초점 거리보다 깊이 값이 작은 영역을 추정할 수 있다. 다른 예로, 추정부(220)는 깊이 영상의 깊이 값에 기초하여, 관심 영역의 초점 거리보다 깊이 값이 작은 영역 및 관심 영역의 초점 거리보다 깊이 값이 큰 영역을 추정할 수 있다.

예를 들어, 추정부(220)는 관심 영역의 초점 거리보다 기 설정된 임계 값 이상으로 깊이 값이 작은 영역을 추정할 수 있다. 또한, 추정부(220)는 관심 영역의 초점 거리보다 상기 기 설정된 임계 값 이상으로 깊이 값이 큰 영역을 추정할 수 있다.

처리부(230)는 추정부(220)에서 추정된, 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 블러 강도에 기초하여 관심 영역의 컬러 값을 조정함으로써, 관심 영역을 아웃 포커싱 처리할 수 있다.

예를 들어, 관심 영역의 컬러 값은 원본 컬러 영상의 컬러 값으로부터 처리부(230)에서 계산되는 관심 영역의 컬러 값으로 조정될 수 있다. 처리부(230)는 초점 거리보다 깊이 값이 작은 영역의 컬러 값에 블러 강도 및 초점 거리와 깊이 값이 작은 영역의 깊이 값 간의 차이를 반영한 가중치를 곱함으로써, 관심 영역의 컬러 값을 계산할 수 있다.

예를 들어, 컬러 값을 계산하려는 픽셀을 계산픽셀로 정의할 수 있다. 처리부(230)는 계산픽셀을 중심으로 한 윈도우를 설정하고, 계산픽셀과 윈도우 내의 이웃픽셀 간의 깊이 값의 차이, 및 블러 강도에 비례하는 가중치를 이웃픽셀의 컬러 값에 곱합으로써, 계산픽셀의 깊이 값을 계산할 수 있다. 계산픽셀이 관심 영역에 속하고, 이웃픽셀이 초점 거리보다 깊이 값이 작은 영역에 속하는 경우, 처리부(230)는 가중치를, 이웃픽셀이 초점 거리보다 깊이 값이 큰 영역에 속하는 경우보다 더 큰 값으로 설정할 수 있다.

다른 예로, 계산픽셀이 관심 영역에 속하고, 이웃픽셀이 초점 거리보다 깊이 값이 작은 영역에 속하는 경우에, 처리부(230)는 계산픽셀이 초점 거리보다 깊이 값이 큰 영역에 속하고, 이웃픽셀이 관심 영역에 속하는 경우보다, 가중치를 더 큰 값으로 설정할 수 있다.

예를 들어, 처리부(230)는 수학식 1을 이용하여, 계산픽셀의 컬러 값을 계산할 수 있다. 수학식 1은 선형 필터를 나타내는 식이기도 하다.

[수학식 1]

여기서, i는 계산픽셀, j는 이웃픽셀, W_i는 픽셀 i를 중심으로 한 윈도우, r_j, g_j, b_j는 j픽셀에서 필터링 이전의 R, G, B 컬러 값을 나타내고, r_i', g_i', b_i'은 필터링 이후의 i픽셀에서의 R, G, B 컬러 값을 나타낸다. w_i,j는 픽셀 i와 j의 유사도에 따라 결정되는 가중치를 나타낸다. 픽셀 i와 j의 유사도를 결정하는 기준으로는 픽셀 i와 j 간의 영상 좌표간의 거리, 픽셀 i와 초점 거리 간의 깊이 값의 차이, 블러강도, 및 픽셀 i와 j의 깊이 값의 비교결과 등이 고려될 수 있다.

예를 들어, 수학식 1의 w_i _,j는 수학식 2를 이용하여 계산될 수 있다.

[수학식 2]

그리고,

는 수학식 3을 이용하여 계산될 수 있다. x_i는 픽셀 i의 영상좌표, x_j는 픽셀 j의 영상좌표를 나타낸다.

[수학식 3]

여기서, z_i는 i픽셀의 깊이 값, z_j는 j픽셀의 깊이 값을 나타낸다.

는 z_i와 z_j를 비교하고, z_i의 깊이 값이 z_j 보다 크거나 동일하면, 가중치 c를 가지고, 나머지 경우에는 가중치가 0이다.

는 수학식 4를 이용하여 계산될 수 있다.

[수학식 4]

c_blur는 블러 강도, z_f는 초점 거리를 나타낸다.

처리부(230)는 영상 처리 장치의 전반적인 제어를 담당하고, 입력부(210), 및 추정부(220)의 기능을 수행할 수 있다. 도 2의 실시 예에서 이를 별도로 구성하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 실제로 제품을 구현하는 경우에 이들 모두를 처리부(230)에서 처리하도록 구성할 수도 있으며, 이들 중 일부만을 처리부(230)에서 처리하도록 구성할 수도 있다.

일 실시예에 따른 영상 처리 장치는 컬러-깊이 카메라에 탑재될 수도 있다. 따라서, 컬러-깊이 카메라에 컬러 영상과 깊이 영상이 저장되어 있으면, 영상 처리를 통해 아웃 포커싱 효과가 반영된 영상이 카메라로부터 출력될 수도 있다.

도 3은 내지 도 10은 다른 일 실시예에 따른 영상 처리 장치의 블록도들이다.

도 3을 참조하면, 일 실시예에 따른 영상 처리 장치는 입력부(310), 추정부(320), 및 처리부(330)를 포함할 수 있다.

입력부(310)는 카메라를 통해 촬영된 깊이 영상 및 컬러 영상을 입력 받을 수 있다. 또한, 입력부(310)는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리를 입력 받는다. 또한, 입력부(310)는 블러 강도(blur strength)를 입력 받을 수 있다.

추정부(320)는 깊이 영상의 깊이 값에 기초하여, 관심 영역의 초점 거리보다 깊이 값이 작은 영역을 추정할 수 있다. 다른 예로, 추정부(320)는 깊이 영상의 깊이 값에 기초하여, 관심 영역의 초점 거리보다 깊이 값이 작은 영역 및 관심 영역의 초점 거리보다 깊이 값이 큰 영역을 추정할 수 있다.

처리부(330)는 추정부(320)에서 추정된, 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 관심 영역의 컬러 값, 및 블러 강도에 기초하여 관심 영역의 컬러 값을 조정함으로써, 관심 영역을 아웃 포커싱 처리할 수 있다.

예를 들어, 처리부(330)는 제1 계산부(331) 및 제2 계산부(333)를 포함할 수 있다.

제1 계산부(331)는 초점 거리보다 깊이 값이 작은 영역의 컬러 값에 제1 가중치, 및 블러 강도를 적용함으로써, 초점 거리보다 깊이 값이 작은 영역과 관심 영역 사이에 형성되는 제1 경계의 컬러 값을 계산할 수 있다. 제2 계산부(333)는 관심 영역의 컬러 값에 제2 가중치, 및 블러 강도를 적용함으로써, 초점 거리보다 깊이 값이 큰 영역과 관심 영역 사이에 형성되는 제2 경계의 컬러 값을 계산할 수 있다. 제1 경계의 컬러 값은 초점 거리보다 깊이 값이 작은 영역의 컬러 값에 기초하여 계산되고, 제2 경계의 컬러 값은 관심 영역의 컬러 값에 기초하여 계산될 수 있다.

예를 들어, 처리부(330)는 제1 가중치에 제2 가중치보다 큰 값으로 설정함으로써, 제2 경계가 제1 경계보다 선명(sharp)하게 아웃포커싱 처리되도록, 제1 경계의 컬러 값 및 제2 경계의 컬러 값을 계산할 수 있다.

예를 들어, 처리부(330)는 제1 가중치를 제2 가중치보다 큰 값으로 설정함으로써, 초점 거리보다 깊이 값이 작은 영역의 컬러 값이 제1 경계의 컬러 값 계산에 많이 반영되도록 할 수 있다. 처리부(330)는 제2 경계의 컬러 값을 계산함에 있어서, 관심 영역의 컬러 값이 적게 반영되도록 할 수 있다. 결과적으로, 제1 경계에는 초점 거리보다 깊이 값이 작은 영역의 컬러 값이 많이 반영되고, 제2 경계에는 관심 영역의 컬러 값이 적게 반영되어, 제2 경계가 제1 경계보다 선명해지는 효과가 발생할 수 있다.

도 4를 참조하면, 일 실시예에 따른 영상 처리 장치는 입력부(410), 추정부(420), 및 처리부(430)를 포함할 수 있다.

입력부(410)는 카메라를 통해 촬영된 깊이 영상 및 컬러 영상을 입력 받을 수 있다. 또한, 입력부(410)는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리를 입력 받는다. 또한, 입력부(410)는 블러 강도(blur strength)를 입력 받을 수 있다.

추정부(420)는 깊이 영상의 깊이 값에 기초하여, 관심 영역의 초점 거리보다 깊이 값이 작은 영역을 추정할 수 있다. 다른 예로, 추정부(420)는 깊이 영상의 깊이 값에 기초하여, 관심 영역의 초점 거리보다 깊이 값이 작은 영역 및 관심 영역의 초점 거리보다 깊이 값이 큰 영역을 추정할 수 있다.

처리부(430)는 추정부(420)에서 추정된, 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 초점 거리보다 깊이 값이 큰 영역의 컬러 값, 초점 거리, 계산픽셀과 이웃픽셀 간의 깊이 값의 차이, 블러 강도에 기초하여 관심 영역의 컬러 값을 조정함으로써, 관심 영역을 아웃 포커싱 처리할 수 있다.

예를 들어, 처리부(430)는 가중치 결정부(431) 및 조정부(433)를 포함할 수 있다.

가중치 결정부(431)는 초점 거리와 계산픽셀의 깊이 값 간의 차이, 블러 강도, 및 계산픽셀의 깊이 값과 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값 간의 차이에 기초하여 가중치를 결정할 수 있다. 가중치 결정부(431)는 도 2에 대한 설명에서 기재된 수학식 2를 이용하여 가중치를 결정할 수 있다.

가중치 결정부(431)는 계산픽셀의 영상 좌표와 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 계산픽셀의 깊이 값과 이웃픽셀의 깊이 값의 차이에 비례하도록 가중치를 결정할 수 있다.

조정부(433)는 가중치 결정부(431)에서 결정된 가중치를 컬러 영상에서, 이웃픽셀의 컬러 값에 적용함으로써, 관심 영역의 컬러 값을 조정할 수 있다. 여기서, 관심 영역의 컬러 값의 조정은 이웃픽셀의 컬러 값에 상기 가중치를 적용하여 새롭게 관심 영역의 컬러 값을 계산하는 것과 동일한 의미이다.

도 5를 참조하면, 일 실시예에 따른 영상 처리 장치는 입력부(510), 추정부(520), 처리부(530), 심도 가중치 결정부(540) 및 생성부(550)를 포함할 수 있다.

입력부(510)는 카메라를 통해 촬영된 깊이 영상 및 컬러 영상을 입력 받을 수 있다. 또한, 입력부(510)는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리를 입력 받는다. 또한, 입력부(510)는 블러 강도(blur strength)를 입력 받을 수 있다. 또한, 입력부(510)는 심도(depth of field)를 입력 받을 수 있다. 심도는 컬러 영상에서 초점이 맞는 영역이 좁아지거나 넓어지는 광협의 정도를 나타낼 수 있다.

추정부(520)는 깊이 영상의 깊이 값에 기초하여, 관심 영역의 초점 거리보다 깊이 값이 작은 영역을 추정할 수 있다. 다른 예로, 추정부(520)는 깊이 영상의 깊이 값에 기초하여, 관심 영역의 초점 거리보다 깊이 값이 작은 영역 및 관심 영역의 초점 거리보다 깊이 값이 큰 영역을 추정할 수 있다.

처리부(530)는 추정부(520)에서 추정된, 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 블러 강도에 기초하여 관심 영역의 컬러 값을 조정함으로써, 관심 영역을 아웃 포커싱 처리할 수 있다.

심도 가중치 결정부(540)는 입력부(510)에서 입력 받은 심도에 비례하고, 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 심도 가중치를 결정할 수 있다.

생성부(550)는 심도 가중치 결정부(540)에서 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값, 및 처리부(530)에서 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성할 수 있다.

생성부(550)는 수학식 5를 이용하여, 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성할 수 있다.

[수학식 5]

여기서, i는 계산픽셀, r_i, gi, bi는 i픽셀에서 컬러영상의 R, G, B 컬러 값을 나타내고, r_i', g_i', b_i'은 아웃 포커싱 처리된 컬러 영상의 i픽셀에서의 R, G, B 컬러 값을 나타낸다. r_i", g_i", b_i"는 심도가 반영된 아웃포커싱 컬러영상의 i픽셀에서의 R, G, B 컬러 값을 나타낸다. w_dof는 심도 c_dof를 고려한 가중치를 나타낸다. w_dof는 심도 c_dof에 비례하는 값을 가지고, 블러성분

에 비례하는 값을 가진다.

는 위에서 설명된 수학식 3에 의하여 계산될 수 있다.

예를 들어, 생성부(550)는 컬러 영상의 픽셀의 컬러 값에서, 처리부(530)의 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값을 차분한 값에, 심도 가중치 결정부(540)에서 결정된 심도 가중치를 적용한 결과와, 컬러 영상의 픽셀의 컬러 값을 합성함으로써, 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성할 수 있다.

다른 예로, 생성부(550)는 모든 픽셀에서 초점이 맞은 컬러 영상과 처리부(530)의 관심 영역이 아웃 포커싱 처리된 컬러 영상을 초점 거리와 계산 픽셀의 깊이 값 간의 차이에 따라 서로 다른 비율로 합성함으로써, 심도가 표현된 아웃포커싱 컬러 영상을 생성할 수 있다.

예를 들어, 심도 가중치 결정부(540)는 입력 받은 심도에 비례하고, 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 계산픽셀의 깊이 값과 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값의 차이에 반비례하도록 심도 가중치를 결정할 수 있다.

예를 들어, 생성부(550)는 심도 가중치 결정부(540)에서 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 처리부(530)의 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성할 수 있다.

도 6을 참조하면, 일 실시예에 따른 영상 처리 장치는 입력부(610), 및 처리부(620)를 포함할 수 있다.

입력부(610)는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받을 수 있다.

처리부(620)는 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 블러 강도에 기초하여 결정되는 가중치를, 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 관심 영역을 아웃 포커싱 처리할 수 있다. 예를 들어, 계산픽셀은 컬러 값을 계산하려는 픽셀로 정의될 수 있다.

예를 들어, 처리부(620)는 가중치 결정부(621) 및 계산부(623)를 포함할 수 있다. 가중치 결정부(621)는 계산픽셀의 영상 좌표와 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 초점 거리와 계산픽셀의 깊이 값 간의 차이에 비례하도록 가중치를 결정할 수 있다.

예를 들어, 가중치 결정부(621)는 수학식 6을 이용하여, 가중치를 결정할 수 있다.

[수학식 6]

여기서, i는 계산픽셀, j는 이웃픽셀, x_i는 픽셀 i의 영상좌표, x_j는 픽셀 j의 영상좌표,

는 블러강도를 반영한 파라미터로,

는 위에서 설명된 수학식 4에 의하여 계산될 수 있다.

계산부(623)는 가중치 결정부(621)에서 결정된 가중치를 컬러 영상에서, 이웃픽셀의 컬러 값에 적용함으로써, 계산픽셀의 컬러 값을 계산할 수 있다.

도 7을 참조하면, 일 실시예에 따른 영상 처리 장치는 입력부(710), 및 처리부(720)를 포함할 수 있다.

입력부(710)는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받을 수 있다.

처리부(720)는 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 블러 강도에 기초하여 결정되는 가중치를, 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 관심 영역을 아웃 포커싱 처리할 수 있다. 예를 들어, 계산픽셀은 컬러 값을 계산하려는 픽셀로 정의될 수 있다.

예를 들어, 처리부(720)는 분류부(721), 가중치 결정부(723), 보정부(725) 및 계산부(727)를 포함할 수 있다.

예를 들어, 분류부(721)는 깊이 영상에서 초점 거리보다 깊이 값이 작은 제1 비관심 영역과, 초점 거리보다 깊이 값이 큰 제2 비관심 영역을 분류할 수 있다. 분류부(721)는 깊이 영상의 깊이 값과 초점 거리를 비교하여, 제1 비관심 영역과 제2 비관심 영역을 분류할 수 있다.

예를 들어, 가중치 결정부(723)는 계산픽셀의 영상 좌표와 계산픽셀을 중심으로 한 윈도우 내의 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 초점 거리와 계산픽셀의 깊이 값 간의 차이에 비례하도록 가중치를 결정할 수 있다.

예를 들어, 보정부(725)는 계산픽셀의 깊이 값이 제1 비관심 영역의 깊이 값보다 크거나 동일하고, 제2 비관심 영역의 깊이 값보다 작으면, 컬러 영상에서, 제1 비관심 영역에 대응하는 픽셀의 컬러 값이 계산픽셀의 컬러 값의 계산에 반영되도록 가중치 결정부(723)에서 결정된 가중치를 보정할 수 있다.

예를 들어, 계산부(727)는 보정된 가중치를 컬러 영상에서, 이웃픽셀의 컬러 값에 적용함으로써, 계산픽셀의 컬러 값을 계산할 수 있다. 계산부(727)는 보정된 가중치를 제1 비관심 영역에 대응하는 픽셀의 컬러 값에 적용함으로써, 관심 영역과 제1 비관심 영역 간의 경계에서, 관심 영역과 제2 비관심 영역 간의 경계보다 더 블러 효과가 많이 발생할 수 있다. 상대적으로 관심 영역과 제2 비관심 영역 간의 경계는 선명해지는 효과가 발생할 수 있다.

도 8을 참조하면, 일 실시예에 따른 영상 처리 장치는 입력부(810), 및 처리부(820)를 포함할 수 있다.

입력부(810)는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받을 수 있다.처리부(820)는 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 블러 강도에 기초하여 결정되는 가중치를, 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 관심 영역을 아웃 포커싱 처리할 수 있다. 예를 들어, 계산픽셀은 컬러 값을 계산하려는 픽셀로 정의될 수 있다.

예를 들어, 처리부(820)는 가중치 결정부(821), 보정부(823), 및 계산부(825)를 포함할 수 있다.

가중치 결정부(821)는 계산픽셀의 영상 좌표와 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 초점 거리와 계산픽셀의 깊이 값 간의 차이에 비례하도록 가중치를 결정할 수 있다.

보정부(823)는 윈도우 내에서 계산픽셀의 깊이 값이 이웃픽셀의 깊이 값보다 크거나 동일한 경우와, 윈도우 내에서 계산픽셀의 깊이 값이 이웃픽셀의 깊이 값보다 작은 경우에 서로 다른 값으로 가중치 결정부(821)에서 결정된 가중치를 보정할 수 있다.

예를 들어, 보정부(823)는 계산픽셀의 깊이 값이 이웃픽셀의 깊이 값보다 크거나 동일한 경우에, 계산픽셀의 깊이 값이 이웃픽셀의 깊이 값보다 작은 경우보다 더 큰 값으로 가중치 결정부(821)에서 결정된 가중치를 보정할 수 있다.

예를 들어, 계산픽셀의 깊이 값이 이웃픽셀의 깊이 값보다 크거나 동일한 경우는 수학식 3에서, z_i의 깊이 값이 z_j 보다 크거나 동일한 경우이고, 계산픽셀의 깊이 값이 이웃픽셀의 깊이 값보다 작은 경우는 z_i의 깊이 값이 z_j 보다 작은 경우이다.

계산부(825)는 서로 다른 값으로 보정된 가중치를 컬러 영상에서, 이웃픽셀의 컬러 값에 적용함으로써, 계산픽셀의 컬러 값을 계산할 수 있다.

도 9를 참조하면, 일 실시예에 따른 영상 처리 장치는 입력부(910), 처리부(920), 심도 가중치 결정부(930) 및 생성부(940)를 포함할 수 있다.

입력부(910)는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받을 수 있다.

처리부(920)는 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 블러 강도에 기초하여 결정되는 가중치를, 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 관심 영역을 아웃 포커싱 처리할 수 있다. 예를 들어, 계산픽셀은 컬러 값을 계산하려는 픽셀로 정의될 수 있다.

심도 가중치 결정부(930)는 입력 받은 심도(depth of field)에 비례하고, 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 심도 가중치를 결정할 수 있다.

생성부(940)는 심도 가중치 결정부(930)에서 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 처리부(920)의 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성할 수 있다.

예를 들어, 생성부(940)는 컬러 영상의 픽셀의 컬러 값에서, 처리부(920)의 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값을 차분한 값에, 심도 가중치 결정부(930)에서 결정된 심도 가중치를 적용한 결과와, 컬러 영상의 픽셀의 컬러 값을 합성함으로써, 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성할 수 있다.

도 10을 참조하면, 일 실시예에 따른 영상 처리 장치는 입력부(1010), 추정부(1020), 처리부(1030), 및 생성부(1040)를 포함할 수 있다.

입력부(1010)는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 블러(blur) 강도, 및 심도(depth of field)를 입력 받을 수 있다.

추정부(1020)는 깊이 영상의 깊이 값에 기초하여, 초점 거리보다 깊이 값이 작은 영역을 추정할 수 있다.

처리부(1030)는 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 블러 강도에 기초하여 관심 영역의 컬러 값을 조정함으로써, 관심 영역을 아웃 포커싱 처리할 수 있다.

생성부(1040)는 상기 심도에 비례하고 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 결정된 심도 가중치를, 컬러 영상의 픽셀의 컬러 값 및 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성할 수 있다.

도 11a 내지 도 11c는 일 실시예에 따른 영상 처리 장치에서 생성한 아웃 포커싱 된 컬러 영상을 나타낸다. 비록, 도면에서는 흑백으로 표시되었지만, 각 영역은 컬러 값을 가지는 것으로 가정할 수 있다.

도 11a는 실제 렌즈에 의하여 아웃 포커싱 된 영상을 나타낸다. 도 11a를 참조하면, 영상에서 아웃 포커싱이 이루어진 부분은 해칭없이 표시되고, 블러 효과가 발생하는 부분은 해칭으로 표시되었다. 아웃 포커싱 된 영역에서 경계(1110)는 관심 영역과 전경영역 간에 형성되고, 경계(1120)는 관심영역과 배경영역 간에 형성될 수 있다. 전경영역과 관심영역의 구분 및 배경영역과 관심영역의 구분은 카메라 렌즈와 오브젝트 간의 거리에 기초하여 이루어질 수 있다. 경계(1110)에서는 전경영역이 관심영역에 영향을 미쳐서, 경계(1120)보다는 블러 효과가 약간 발생하게 된다. 즉, 실제 렌즈에 의하여 아웃 포커싱 된 영상에서는 경계(1120)가 경계(1110)보다 선명하다.

도 11b를 참조하면, 일 실시예에 따른 영상 처리 장치에서 소프트웨어 상의 후 처리를 통해 생성한 아웃 포커싱 된 컬러 영상을 나타낸다. 도 11a와 마찬가지로, 영상에서 아웃 포커싱이 이루어진 부분은 해칭 없이 표시되고, 블러 효과가 발생하는 부분은 해칭으로 표시되었다. 경계(1130)는 관심영역과 전경영역 간에 형성되고, 경계(1140)는 관심영역과 배경영역 간에 형성될 수 있다. 도 11b의 컬러 영상은 수학식 1, 수학식 4 및 수학식 6을 이용하여 생성된 것으로, 가중치가 작아질수록 선명한 컬러 영상이 생성되고, 가중치가 커질수록 흐린(blur) 영상이 생성될 수 있다. 관심영역의 초점 거리와 계산픽셀의 깊이 값의 차이가 클수록, 가중치를 크게 함으로써, 초점 거리와 멀어질수록 흐릿한 컬러 영상이 생성될 수 있다.

도 11c를 참조하면, 다른 일 실시예에 따른 영상 처리 장치에서 소프트웨어 상의 후 처리를 통해 생성한 아웃 포커싱 된 컬러 영상을 나타낸다. 도 11a와 마찬가지로, 영상에서 아웃 포커싱이 이루어진 부분은 해칭 없이 표시되고, 블러 효과가 발생하는 부분은 해칭으로 표시되었다. 경계(1150)는 관심영역과 전경영역 간에 형성되고, 경계(1160)는 관심영역과 배경영역 간에 형성될 수 있다. 도 11c의 컬러 영상은 수학식 1, 수학식 2, 수학식 3, 및 수학식 4를 이용하여 생성된 것으로, 경계(1160)가 경계(1150)보다 더 선명하다. 즉, 전경영역의 컬러 값이 관심영역의 컬러 값을 계산함에 있어서, 영향을 미침으로써, 경계(1150)에는 블러 효과가 일부 발생할 수 있다. 경계(1160)가 경계(1150)보다 더 선명한 경우는 도 11a와 같이 렌즈를 통해 아웃포커싱 효과를 반영한 경우와 동일하므로, 일 실시예에 따른 영상 처리 장치는 소프트웨어 적인 후 처리를 통해 아웃포커싱 효과를 컬러 영상에 반영할 수 있다.

도 12는 일 실시예에 따른 영상 처리 장치에서 깊이 값에 따라 적용하는 블러 수준을 나타낸다.

도 12(a)의 첫번째 그래프를 참조하면, 영상좌표가 a에서 b로 진행하는 경우에, 초점거리를 기준으로 a방향의 깊이 값은 초점거리보다 작고, b방향의 깊이 값은 초점거리보다 크다. 도 12(b)의 첫번째 깊이 영상을 참조하면, 깊이 영상에서 초점 거리를 기준으로 a방향은 깊이 값이 작아 어두운 색상으로 표현되고, b방향은 깊이 값이 커서 밝은 색상으로 표현된다.

도 12(a)의 두번째 그래프를 참조하면, 도 11b의 경우와 같이 수학식 1, 수학식 4 및 수학식 6을 이용하는 경우에, 깊이 값과 초점 거리 차이의 절대 값을 반영함으로써, 도 12(b)의 두번째 깊이 영상에서는 초점거리의 영역의 깊이 값이 작아 어두운 색상으로 표현되고, a방향 및 b방향은 상대적으로 깊이 값이 커서 밝은 색상으로 표현된다.

도 12(a)의 세번째 그래프를 참조하면, 도 11c의 경우와 같이 수학식 1, 수학식 2, 수학식 3, 및 수학식 4를 이용하는 경우에, 초점거리를 기준으로 a방향의 전경영역의 깊이 값이 관심영역의 깊이 값에 영향을 주고, b방향의 배경영역으로는 관심영역의 깊이 값이 적게 영향을 줄 수 있다. 도 12(b)의 세번째 깊이 영상에서는 전경영역과 관심영역의 경계에서 배경영역과 관심영역의 경계보다 블러 효과가 많이 발생한다. 상대적으로 배경영역과 관심영역의 경계가 선명하게 표시될 수 있다.

도 13은 일 실시예에 따른 영상 처리 장치에서 심도를 반영한 아웃 포커싱 영상을 나타낸다.

도 13을 참조하면, 심도(depth of field)가 깊은 영상에서는 컬러 영상의 많은 부분에 초점이 맞추어 지고, 심도가 얕은 영상에서는 컬러 영상의 많은 부분에 블러 효과가 발생하게 되어, 초점이 맞는 부분이 좁아진다. 피사계 심도에서는 초점이 맞는 깊이의 범위를 말한다. 심도가 깊을수록 초점이 맞는 깊이가 넓어지고, 심도가 얕을수록 초점이 맞는 깊이가 좁다.

일 실시예에 따른 영상 처리 장치에서, 아웃포커싱 처리를 한 후, 심도 가중치를 고려하여 컬러 영상과 아웃포커싱 처리된 컬러 영상을 다른 비율로 함성함으로써, 심도가 반영된 아웃 포커싱 컬러 영상을 생성할 수 있다.

일 실시예에 따른 영상 처리 장치는 수학식 5를 이용하여, 심도 가중치를 결정하고, 컬러 영상 및 아웃포커싱 처리된 컬러 영상에 적용하여 심도 가중치에 따라 도 13과 같이 심도가 반영된 아웃 포커싱 컬러 영상을 생성할 수 있다.

도 14 내지 도 16은 도 2, 도 6 및 도 10의 일 실시예에 따른 영상 처리 장치에 대응하는 영상 처리 방법의 흐름도이다. 따라서, 도 2, 도 6 및 도 10의 설명은 도 14 내지 도 16의 각 단계에서도 동일하게 적용될 수 있다.

도 14는 일 실시예에 따른 영상 처리 방법의 흐름도이다.

1410단계에서, 일 실시예에 따른 영상 처리 장치는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받을 수 있다.

1420단계에서, 일 실시예에 따른 영상 처리 장치는 깊이 영상의 깊이 값에 기초하여, 초점 거리보다 깊이 값이 작은 영역을 추정할 수 있다.

1430단계에서, 일 실시예에 따른 영상 처리 장치는 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 블러 강도에 기초하여 관심 영역의 컬러 값을 조정함으로써, 관심 영역을 아웃 포커싱 처리할 수 있다.

도 15 및 도 16은 다른 일 실시예에 따른 영상 처리 방법의 흐름도이다.

도 15를 참조하면, 1510단계에서, 일 실시예에 따른 영상 처리 장치는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받을 수 있다.

1520단계에서, 일 실시예에 따른 영상 처리 장치는 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 블러 강도에 기초하여 결정되는 가중치를, 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 관심영역을 아웃 포커싱 처리할 수 있다.

도 16을 참조하면, 1610단계에서, 일 실시예에 따른 영상 처리 장치는 아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 블러(blur) 강도, 및 심도(depth of field)를 입력 받을 수 있다.

1620단계에서, 일 실시예에 따른 영상 처리 장치는 깊이 영상의 깊이 값에 기초하여, 초점 거리보다 깊이 값이 작은 영역을 추정할 수 있다.

1630단계에서, 일 실시예에 따른 영상 처리 장치는 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 블러 강도에 기초하여 관심 영역의 컬러 값을 조정함으로써, 관심 영역을 아웃 포커싱 처리할 수 있다.

1640단계에서, 일 실시예에 따른 영상 처리 장치는 입력 받은 심도에 비례하고, 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 심도의 표현이 가능한 아웃 포커싱 컬러 영상을 생성할 수 있다.

일 측면에 있어서, 영상 처리 장치는 이미 촬영된 컬러 영상과 깊이 영상을 이용하여, 사용자가 아웃 포커싱 되길 원하는 관심 영역의 초점 거리를 기준으로 컬러 영상의 아웃 포커싱이 가능하다.

또한, 일 측면에 있어서, 영상 처리 장치는 관심 영역의 초점 거리를 기준으로 깊이 값이 작은 영역과 깊이 값이 큰 영역을 서로 다르게 필터링 함으로써, 렌즈를 이용한 아웃 포커싱과 아주 유사한 아웃 포커싱 효과를 구현할 수 있다.

또한, 일 측면에 있어서, 영상 처리 장치는 아웃 포커싱 효과와 함께 심도를 반영한 컬러 영상을 생성할 수 있다.

또한, 일 측면에 있어서, 영상 처리 장치는 실제 렌즈를 이용하여 얻은 영상과 유사한 컬러 영상을 얻을 수 있으며, Ray-tracing 기반의 알고리즘에 비해 빠른 수행속도를 가진다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 실행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받는 단계;
깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역을 추정하는 단계; 및
상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 블러 강도에 기초하여 결정되는 가중치를 적용하여 상기 관심 영역의 컬러 값을 조정함으로써, 상기 관심 영역을 아웃 포커싱 처리하는 단계
를 포함하는 영상 처리 방법.
제1항에 있어서,
상기 추정하는 단계는
상기 깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역 및 상기 초점 거리보다 깊이 값이 큰 영역을 추정하는
영상 처리 방법.
제2항에 있어서,
상기 아웃 포커싱 처리하는 단계는
상기 초점 거리보다 깊이 값이 작은 영역의 컬러 값에 제1 가중치, 및 상기 블러 강도를 적용함으로써, 상기 초점 거리보다 깊이 값이 작은 영역과 상기 관심 영역 사이에 형성되는 제1 경계의 컬러 값을 계산하는 단계; 및
상기 관심 영역의 컬러 값에 제2 가중치, 및 상기 블러 강도를 적용함으로써, 상기 초점 거리보다 깊이 값이 큰 영역과 상기 관심 영역 사이에 형성되는 제2 경계의 컬러 값을 계산하는 단계
를 포함하는 영상 처리 방법.
제3항에 있어서,
상기 아웃 포커싱 처리하는 단계는
상기 제1 가중치에 상기 제2 가중치보다 큰 값을 설정함으로써, 상기 계산된 제1 경계의 컬러 값과 상기 계산된 제2 경계의 컬러 값을 이용하여, 상기 제2 경계를 상기 제1 경계보다 선명(sharp)하게 아웃포커싱 처리하는
영상 처리 방법.
제1항에 있어서,
상기 아웃 포커싱 처리하는 단계는
상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 상기 블러 강도, 및 상기 계산픽셀의 깊이 값과 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값 간의 차이에 기초하여 결정되는 가중치를 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 관심 영역의 컬러 값을 조정하는
영상 처리 방법.
제1항에 있어서,
상기 아웃 포커싱 처리하는 단계는
계산픽셀의 영상 좌표와 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이, 및 상기 계산픽셀의 깊이 값과 상기 이웃픽셀의 깊이 값의 차이에 비례하도록 상기 가중치를 결정하는 단계; 및
상기 결정된 가중치를 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 관심 영역의 컬러 값을 조정하는 단계
를 포함하는 영상 처리 방법.
제1항에 있어서,
심도(depth of field)를 입력 받는 단계
를 더 포함하는 영상 처리 방법.
제7항에 있어서,
상기 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 심도 가중치를 결정하는 단계; 및
상기 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계
를 더 포함하는 영상 처리 방법.
제8항에 있어서,
상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계는
상기 컬러 영상의 픽셀의 컬러 값에서, 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값을 차분한 값에, 상기 결정된 심도 가중치를 적용한 결과와, 상기 컬러 영상의 픽셀의 컬러 값을 합성함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는
영상 처리 방법.
제7항에 있어서,
상기 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 계산픽셀의 깊이 값과 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값의 차이에 반비례하도록 심도 가중치를 결정하는 단계; 및
상기 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계
를 더 포함하는 영상 처리 방법.
삭제
아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받는 단계; 및
상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 블러 강도에 기초하여 결정되는 가중치를, 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 상기 관심 영역을 아웃 포커싱 처리하는 단계를 포함하고,
상기 아웃 포커싱 처리하는 단계는
상기 계산픽셀의 영상 좌표와 상기 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이에 비례하도록 상기 가중치를 결정하는 단계; 및
상기 결정된 가중치를 상기 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 계산픽셀의 컬러 값을 계산하는 단계
를 포함하는 영상 처리 방법.
아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받는 단계; 및
상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 블러 강도에 기초하여 결정되는 가중치를, 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 상기 관심 영역을 아웃 포커싱 처리하는 단계를 포함하고,
상기 아웃 포커싱 처리하는 단계는
깊이 영상에서 상기 초점 거리보다 깊이 값이 작은 제1 비관심 영역과, 상기 초점 거리보다 깊이 값이 큰 제2 비관심 영역을 분류하는 단계;
상기 계산픽셀의 영상 좌표와 상기 계산픽셀을 중심으로 한 윈도우 내의 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이에 비례하도록 상기 가중치를 결정하는 단계;
상기 계산픽셀의 깊이 값이 상기 제1 비관심 영역의 깊이 값보다 크거나 동일하고, 상기 제2 비관심 영역의 깊이 값보다 작으면, 상기 컬러 영상에서, 상기 제1 비관심 영역에 대응하는 픽셀의 컬러 값이 상기 계산픽셀의 컬러 값의 계산에 반영되도록 상기 결정된 가중치를 보정하는 단계; 및
상기 보정된 가중치를 상기 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 계산픽셀의 컬러 값을 계산하는 단계
를 포함하는 영상 처리 방법.
아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받는 단계; 및
상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 블러 강도에 기초하여 결정되는 가중치를, 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 상기 관심 영역을 아웃 포커싱 처리하는 단계를 포함하고,
상기 아웃 포커싱 처리하는 단계는
상기 계산픽셀의 영상 좌표와 상기 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이에 비례하도록 상기 가중치를 결정하는 단계;
상기 윈도우 내에서 상기 계산픽셀의 깊이 값이 상기 이웃픽셀의 깊이 값보다 크거나 동일한 경우와, 상기 계산픽셀의 깊이 값이 상기 이웃픽셀의 깊이 값보다 작은 경우에 서로 다른 값으로 상기 결정된 가중치를 보정하는 단계; 및
상기 서로 다른 값으로 보정된 가중치를 상기 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 계산픽셀의 컬러 값을 계산하는 단계
를 포함하는 영상 처리 방법.
제14항에 있어서,
상기 보정하는 단계는
상기 계산픽셀의 깊이 값이 상기 이웃픽셀의 깊이 값보다 크거나 동일한 경우에, 상기 계산픽셀의 깊이 값이 상기 이웃픽셀의 깊이 값보다 작은 경우보다 더 큰 값으로 상기 결정된 가중치를 보정하는
영상 처리 방법.
아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받는 단계;
상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 블러 강도에 기초하여 결정되는 가중치를, 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 컬러 값에 적용함으로써, 컬러 영상에서 상기 관심 영역을 아웃 포커싱 처리하는 단계;
입력 받은 심도(depth of field)에 비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이에 반비례하도록 심도 가중치를 결정하는 단계; 및
상기 결정된 심도 가중치를 상기 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계
를 포함하는 영상 처리 방법.
제16항에 있어서,
상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계는
상기 컬러 영상의 픽셀의 컬러 값에서, 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값을 차분한 값에, 상기 결정된 심도 가중치를 적용한 결과와, 상기 컬러 영상의 픽셀의 컬러 값을 합성함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는
영상 처리 방법.
아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 블러(blur) 강도, 및 심도(depth of field)를 입력 받는 단계;
깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역을 추정하는 단계;
상기 초점 거리보다 깊이 값이 작은 영역의 컬러 값, 및 상기 블러 강도에 기초하여 상기 관심 영역의 컬러 값을 조정함으로써, 상기 관심 영역을 아웃 포커싱 처리하는 단계; 및
상기 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 단계
를 포함하는 영상 처리 방법.
아웃 포커싱을 위해 초점을 맞추고 싶은 관심 영역의 초점 거리, 및 블러(blur) 강도를 입력 받는 입력부;
깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역을 추정하는 추정부; 및
상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 블러 강도에 기초하여 결정되는 가중치를 적용하여 상기 관심 영역의 컬러 값을 조정함으로써, 상기 관심 영역을 아웃 포커싱 처리하는 처리부
를 포함하는 영상 처리 장치.
제19항에 있어서,
상기 추정부는
상기 깊이 영상의 깊이 값에 기초하여, 상기 초점 거리보다 깊이 값이 작은 영역 및 상기 초점 거리보다 깊이 값이 큰 영역을 추정하는
영상 처리 장치.
제20항에 있어서,
상기 처리부는
상기 초점 거리보다 깊이 값이 작은 영역의 컬러 값에 제1 가중치, 및 상기 블러 강도를 적용함으로써, 상기 초점 거리보다 깊이 값이 작은 영역과 상기 관심 영역 사이에 형성되는 제1 경계의 컬러 값을 계산하는 제1 계산부; 및
상기 관심 영역의 컬러 값에 제2 가중치, 및 상기 블러 강도를 적용함으로써, 상기 초점 거리보다 깊이 값이 큰 영역과 상기 관심 영역 사이에 형성되는 제2 경계의 컬러 값을 계산하는 제2 계산부
를 포함하는 영상 처리 장치.
제21항에 있어서,
상기 처리부는
상기 제1 가중치에 상기 제2 가중치보다 큰 값을 설정함으로써, 상기 계산된 제1 경계의 컬러 값과 상기 계산된 제2 경계의 컬러 값을 이용하여, 상기 제2 경계를 상기 제1 경계보다 선명(sharp)하게 아웃포커싱 처리하는
영상 처리 장치.
제19항에 있어서,
상기 처리부는
상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 상기 블러 강도, 및 상기 계산픽셀의 깊이 값과 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값 간의 차이에 기초하여 가중치를 결정하는 가중치 결정부; 및
상기 결정된 가중치를 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 관심 영역의 컬러 값을 조정하는 조정부
를 포함하는 영상 처리 장치.
제19항에 있어서,
상기 처리부는
계산픽셀의 영상 좌표와 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 영상 좌표 간의 차이에 반비례하고, 상기 초점 거리와 상기 계산픽셀의 깊이 값 간의 차이, 및 상기 계산픽셀의 깊이 값과 상기 이웃픽셀의 깊이 값의 차이에 비례하도록 가중치를 결정하는 가중치 결정부; 및
상기 결정된 가중치를 컬러 영상에서, 상기 이웃픽셀의 컬러 값에 적용함으로써, 상기 관심 영역의 컬러 값을 조정하는 조정부
를 포함하는 영상 처리 장치.
제19항에 있어서,
상기 입력부는
심도(depth of field)를 입력 받는
영상 처리 장치.
제25항에 있어서,
상기 입력부에서 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이에 반비례하도록 심도 가중치를 결정하는 심도 가중치 결정부; 및
상기 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 생성부
를 더 포함하는 영상 처리 장치.
제26항에 있어서,
상기 생성부는
상기 컬러 영상의 픽셀의 컬러 값에서, 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값을 차분한 값에, 상기 결정된 심도 가중치를 적용한 결과와, 상기 컬러 영상의 픽셀의 컬러 값을 합성함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는
영상 처리 장치.
제25항에 있어서,
상기 입력 받은 심도에 비례하고, 상기 초점 거리와 계산픽셀의 깊이 값 간의 차이, 및 상기 계산픽셀의 깊이 값과 상기 계산픽셀을 중심으로 한 윈도우에 포함되는 이웃픽셀의 깊이 값의 차이에 반비례하도록 심도 가중치를 결정하는 심도 가중치 결정부; 및
상기 결정된 심도 가중치를 컬러 영상의 픽셀의 컬러 값 및 상기 관심 영역이 아웃 포커싱 처리된 컬러 영상의 픽셀의 컬러 값에 적용함으로써, 상기 심도의 표현이 가능한 아웃포커싱 컬러 영상을 생성하는 생성부
를 더 포함하는 영상 처리 장치.