KR101661216B1

KR101661216B1 - 디지털 영상 처리 장치, 디지털 영상 신호 처리 방법 및 상기 방법을 기록한 기록 매체

Info

Publication number: KR101661216B1
Application number: KR1020100086177A
Authority: KR
Inventors: 박정용; 장순근
Original assignee: 삼성전자주식회사
Priority date: 2010-09-02
Filing date: 2010-09-02
Publication date: 2016-09-29
Anticipated expiration: 2030-09-02
Also published as: US8917333B2; US20120057070A1; KR20120023901A

Abstract

본 발명은 피사체에 초점을 맞추어 촬영한 제1 영상, 배경에 초점을 맞추어 촬영한 제2 영상 및 초점이 맞지 않은 제3 영상을 합성하여 아웃포커싱 영상을 생성하며, 이때 아웃포커싱 영상을 획득하기 위해서는 현재 줌 스텝에 따라 아웃포커싱 영상 획득에 유효한 피사체 거리 정보를 사용자에게 알림으로써 아웃포커싱 영상의 획득 성공률을 향상할 수 있는 디지털 영상 처리 장치, 방법, 상기 방법을 ㄱ기록한 기록 매체에 관한 것이다.

Description

디지털 영상 처리 장치, 디지털 영상 신호 처리 방법 및 상기 방법을 기록한 기록 매체{Digital image processing apparatus, method for digital image signal processing, medium for recording the method}

본 발명은 아웃포커싱 영상을 얻기 위한 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체에 관한 것이다.

초점 길이가 긴 특정 렌즈의 경우 얕은 초점심도를 가지므로, 아웃포커싱 영상을 얻을 수 있다. 그러나 이러한 방법으로 아웃포커싱 영상을 얻는 것은 상기 특정 렌즈를 사용하여야 하고, 사용하더라도 렌즈의 조작이 서툰 사용자에게는 성공적인 아웃포커싱 영상을 얻을 수 없는 문제가 있다.

특히, 컴팩트형 디지털 스틸 카메라(DSC)의 경우 휴대가 간편한 특성을 살리기 위하여 작고 슬림(slim)하게 만들기 때문에, 촬상 면적이 작아, 렌즈의 초점 거리가 짧아지고 따라서 대부분의 피사체에 대해 심도가 깊어지므로 아웃포커싱 영상을 얻기 어렵다.

본 발명은 렌즈 또는 촬영 장치의 물리적인 차이에 관계없이, 효과적으로 아웃포커싱 영상을 생성할 수 있으며, 나아가 사용자가 원하는 타이밍에 적절하게 아웃포커싱 영상을 생성할 수 있도록 가이드를 행함으로써 아웃포커싱 영상 획득률이 향상시킨 디지털 영상 처리 장치, 방법, 및 이를 기록한 기록 매체를 제공하고자 하는 것이다.

본 발명은 기준 줌(zoom) 정보에 따른 아웃포커싱 영상 처리가 가능한 기준 피사체 거리 정보를 저장한 저장부와, 줌 정보를 도출하는 줌 정보 도출부와, 상기 저장부로부터 도출한 상기 줌 정보에 대응하는 기준 피사체 거리 정보를 도출하는 기준 피사체 거리 정보 도출부와, 도출한 상기 기준 피사체 거리 정보에 해당하는 알림 정보를 출력하는 알림부와, 상기 피사체에 초점을 맞추어 촬영한 제1 영상, 배경에 초점을 맞추어 촬영한 제2 영상 및 초점이 맞지 않은 제3 영상을 생성하는 영상 생성부와, 상기 제1 영상 및 상기 제2 영상으로부터 피사체 영역과 배경 영역을 설정하는 설정부와, 상기 피사체 영역은 상기 제1 영상을 합성하고, 상기 배경 영역은 상기 제3 영상을 합성하여 아웃포커싱 영상을 형성하는 아웃포커싱 영상 형성부를 포함하는 디지털 영상 처리 장치를 제공한다.

또한, 본 발명은 줌 정보를 도출하는 단계와, 기준 줌(zoom) 정보에 따른 아웃포커싱 영상 처리가 가능한 기준 피사체 거리 정보의 데이터 베이스로부터 도출한 상기 줌 정보에 대응하는 기준 피사체 거리 정보를 도출하는 단계와, 도출한 상기 기준 피사체 거리 정보에 해당하는 알림 정보를 출력하는 단계와, 상기 피사체에 초점을 맞추어 촬영한 제1 영상, 배경에 초점을 맞추어 촬영한 제2 영상 및 초점이 맞지 않은 제3 영상을 생성하는 단계와, 상기 제1 영상 및 상기 제2 영상으로부터 피사체 영역과 배경 영역을 설정하는 단계와, 상기 피사체 영역은 상기 제1 영상을 합성하고, 상기 배경 영역은 상기 제3 영상을 합성하여 아웃포커싱 영상을 형성하는 단계; 포함하는 디지털 영상 신호 처리 방법을 제공한다.

아울러, 본 발명은 상술한 방법을 컴퓨터가 읽을 수 있는 프로그램으로 기록한 기록 매체를 제공한다.

본 발명에 따르면, 피사체에 초점을 맞추어 촬영한 제1 영상, 배경에 초점을 맞추어 촬영한 제2 영상 및 초점이 맞지 않은 제3 영상을 합성하여 아웃포커싱 영상을 생성하며, 이때 아웃포커싱 영상을 획득하기 위해서는 현재 줌 스텝에 따라 아웃포커싱 영상 획득에 유효한 피사체 거리 정보를 사용자에게 알림으로써 아웃포커싱 영상의 획득 성공률을 향상할 수 있다. 따라서 사용자는 적절한 타이밍에 원하는 아웃포커싱 영상을 획득할 수 있다.

도 1은 본 발명의 디지털 영상 처리 장치의 일 실시 예로서 디지털 카메라 를 설명하기 위한 블럭도이다.
도 2는 도 1에 도시된 디지털 카메라의 영상 신호 처리부, CPU, 메모리, 메모리 컨트롤러의 일 실시 예를 설명하기 위한 블럭도이다.
도 3은 도 1에 도시된 디지털 카메라의 영상 신호 처리부, CPU, 메모리, 메모리 컨트롤러의 다른 실시 예를 설명하기 위한 블럭도이다.
도 4는 도 1에 도시된 디지털 카메라의 영상 신호 처리부, CPU, 메모리, 메모리 컨트롤러의 또 다른 실시 예를 설명하기 위한 블럭도이다.
도 5는 기준 줌(zoom) 정보에 따른 아웃포커싱 영상 처리가 가능한 기준 피사체 거리 정보의 데이터베이스를 설명하기 위한 그래프이다.
도 6 내지 도 8은 알림 정보의 예들을 나타낸 도면들이다.
도 9는 도 2에 도시된 영상 신호 처리부의 설정부를 설명하기 위한 블럭도이다.
도 10은 도 9에 도시한 제1 보정부를 설명하기 위한 블럭도이다.
도 11은 도 9에 도시한 제2 보정부를 설명하기 위한 블럭도이다.
도 12는 본 발명에 관한 디지털 영상 신호 처리 방법의 일 실시 예를 설명하기 위한 순서도이다.
도 13은 본 발명에 관한 디지털 영상 신호 처리 방법의 다른 실시 예를 설명하기 위한 순서도이다.
도 14는 본 발명에 관한 디지털 영상 신호 처리 방법의 또 다른 실시 예를 설명하기 위한 순서도이다.
도 15a 내지 도 15c는 본 발명의 실시 예에 의한 초점이 다른 복수개의 영상을 나타낸 도면들이다.
도 16a 내지 도 16d는 본 발명의 실시 예에 의한 글로벌 모션을 보상하는 과정을 설명하기 위한 도면들이다.
도 17a와 도 17b는 본 발명의 실시 예에 의한 DoG 필터를 적용하여 결과물을 얻는 과정을 설명하기 위한 도면들이다.
도 18a와 도 18b는 본 발명의 일 실시 예에 의한 제1 DoG 영상 및 제2 DoG 영상의 고주파 성분의 크기를 비교하는 과정을 설명하기 위한 도면들이다.
도 19a 내지 도 19c는 본 발명의 일 실시 예에 의한 이진화 영상을 생성하는 과정을 설명하기 위한 도면들이다.
도 20a와 도 20b는 본 발명의 일 실시 예에 의한 에러 픽셀을 보정하는 과정을 설명하기 위한 도면들이다.
도 21a 내지 도 21d는 불확실 영역을 설정하고, 축소하며 경계를 명확히 하는 과정을 나타낸 설명도이다 .
도 22a 내지 도 22c는 본 발명의 일 실시 예에 의한 아웃포커싱 영상을 생성하는 과정을 설명하기 위한 도면들이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 디지털 영상 처리 장치의 일 실시 예로서 디지털 카메라를 설명하기 위한 블럭도이다. 본 실시 예에서는 렌즈 일체형 디지털 카메라를 예시하였으나, 이에 한정되는 것은 아니며, 교환 렌즈 디지털카메라, 카메라폰, PDA(personal digital assistant), PMP(portable multimedia player), 등의 디지털 기기에도 적용될 수 있다.

본 발명의 일 실시예에 따른 디지털 카메라는 광학부(110), 광학 구동부(111), 촬상부(120), 촬상 제어부(121), DSP(200), 표시부(300), 조작부(400), 메모리(500), 마이크/스피커(600), 메모리 카드(700)를 구비한다.

상기 광학부(10)는 광학 신호를 집광하는 렌즈, 상기 광학 신호의 양을 조절하는 조리개, 광학 신호의 입력을 제어하는 셔터 등을 포함할 수 있다. 상기 렌즈는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수 렌즈들의 군집으로 이루어질 수도 있다. 셔터로 가리개가 위아래로 움직이는 기계식 셔터를 구비할 수 있다. 또는 별도의 셔터 장치 대신 촬상부(20)에 전기 신호의 공급을 제어하여 셔터 역할을 행할 수도 있다.

상기 광학부(110)를 구동하는 광학 구동부(111)는 자동 초점 조절(auto-focusing), 자동 노출 조정, 조리개 조정, 줌, 초점 변경 등의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작 등을 구동할 수 있다. 상기 광학 구동부(111)는 DSP(200)로부터의 제어 신호를 제공받아, 이에 따라 상기 광학부(110)를 구동할 수 있다. 특히, 본 발 실시 예에서 상기 광학 구동부(111)는 자동 포커싱(AF)를 실행하기 위하여 포커스 렌즈를 구동하는 AF 모터를 구비할 수 있다.

촬상부(120)는 광학부(110)를 통해 입력된 광학 신호를 수광하여 전기 신호로 변환하는 광전 변환 소자를 구비한다. 상기 광전 변환 소자로 CCD(Charge coupled device) 센서 어레이, CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이 등을 사용할 수 있다. 그리고 촬상부(120)는 촬상 소자에서 출력된 전기 신호에 포함된 저주파 노이즈를 제거함과 동시에 전기 신호를 임의의 레벨까지 증폭하는 CDS/AMP(상관 이중 샘플링 회로(correlated double sampling)/증폭기(amplifier))를 구비할 수 있다. 또한, CDS/AMP에서 출력된 전기 신호를 디지털 변환하여 디지털 신호를 생성하는 AD컨버터를 더 구비할 수 있다. 본 실시 예에서는 A/D컨버터 등은 촬상소자와 함께 촬상부(120)로 일 블럭에 포함시켰으나, 이에 한정하는 것은 아니며, 별도의 블럭으로 구분하여 설계하거나 DSP(200)에 포함시켜 설계할 수도 있다.

광학 구동부(11), 촬상 소자 제어부(21) 등은 타이밍 제너레이터(TG)로부터 공급되는 타이밍 신호에 의해 제어될 수 있다. 상기 TG는 도시하지는 않았지만, DSP(200)에 포함될 수 있다. 그러나, 이 또한 한정하는 것은 아니며, 예를 들어 DSLR의 경우 바디에 장착하는 렌즈부에 TG를 구비하고, 상기 TG로부터 타이밍 신호를 공급받을 수 있다.

TG는 촬상부(120)에 타이밍 신호를 출력하고 광전 변환 소자 각 화소의 노광 기간을 제어하거나 전하의 독출을 제어한다. 따라서 촬상부(120)는 TG로부터 제공되는 타이밍 신호에 따라 일 프레임의 영상에 대응하는 영상 데이터를 제공할 수 있다.

촬상부(120)로부터 제공된 영상 신호는 DSP(200)의 사전 처리부(210)에 입력된다. 사전 처리부(210)는 자동 포커싱(AF, Automatic Focusing)을 위한 초점 평가값을 도출하는 초점 평가값 도출부(211), 자동 노출 제어(AE, Automatic Exposure)를 위한 노출 평가값 도출부(212), 자동 백색 균형(AWB, Automatic White Balance)를 위한 WB 평가값을 도출하는 WB 평가값 도출부(213)를 구비한다.

도출한 상기 노출 평가값 또는/및 WB 평가값에 따라 CPU(240)에서 연산 처리를 행하여 촬상 소자 제어부(21)에 피드백되어 상기 촬상부(20)로부터 적절한 색출력 및 적절한 노출의 영상 신호를 얻도록 한다. 또한, 광학 구동부(110)의 조리개 구동 모터, 셔터 구동 모터 등을 구동하여 조리개의 개폐 또는 셔터 스피드 등을 제어할 수 있다. 또한, 상기 초점 평가값에 따라 CPU(240)에서 연산하고, 연산의 결과는 광학 구동부(11)에 출력되어 포커스 렌즈를 광축 방향으로 이동시킬 수 있다. 따라서 AWB, AE, AF 등을 실행할 수 있으며, 이러한 AWB, AE, AF는 촬영자의 선택에 따라 적용할 수 있다.

신호 처리부(220)는 영상 신호에 대하여 표시를 위한 또는 기록을 위한 소정의 영상 신호 처리를 수행한다. 예를 들어, 사람의 시각에 맞게 영상 신호를 변환하도록 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 영상 신호 처리를 수행한다. 또한, 상기 영상 신호 처리부(32)는 영상의 크기를 조절하는 리사이징 처리도 행한다.

또한, 상기 신호 처리부(220)는 특정 기능 수행을 위한 신호 처리를 수행한다. 예를 들어, 상기 영상 신호에 대하여 원하는 장면, 객체 등을 인식하는 신호 처리를 수행할 수 있다. 상기 영상 신호의 색성분, 에지 성분, 특징점 정보 등을 이용하여 원하는 장면, 객체 등을 인식할 수 있다. 상기 영상 신호로부터 피사체의 얼굴을 인식하며, 인식한 얼굴을 포함하는 얼굴 영역을 도출할 수도 있다. 또한, 영상 신호 처리가 수행된 영상 신호의 압축과 신장을 수행한다. 압축의 경우, 예를 들면 JPEG 압축 형식 또는 H.264 압축 형식등의 압축 형식에서 영상 신호를 압축한다. 상기 압축 처리에 의해서 생성한 영상 데이터를 포함한 영상 파일은 카드 제어부(270)를 통해 메모리 카드(700)에 송신되어 기록된다.

또한, 본 발명에서 상기 신호 처리부(220)는 아웃포커싱 영상을 생성한다. 이에 관하여, 도 2 및 도 3을 참조하여 상세히 설명한다.

한편, 상기 DSP(200)는 표시 제어부(230)를 구비한다. 상기 표시 제어부(230)는 표시부(300)에 영상 또는/및 각 정보를 디스플레이하도록 제어한다. 상기 표시부(300)로 LCD, LED, OLED, 등을 장착할 수 있다. 특히, 본 발명에서는 아웃포커싱 영상을 생성할 수 있도록 가이드하는 알림 정보를 표시할 수 있다. 또는 아웃포커싱 영상의 생성 가부(可否)에 관한 알림 정보를 표시할 수 있다. 상기 알림 정보들은 미리 저장된 UI들 중 적어도 어느 하나로 상기 표시부(300)에 디스플레이될 수 있다.

CPU(240)는 메모리(500)에 저장된 프로그램에 따라 각 연산을 수행하며, 각 구성부의 동작을 제어할 수 있다. 또한, 본 발명에서 상기 CPU(240)는 아웃포커싱 영상을 생성할 수 있도록 알림 정보를 출력하는 제어를 더 행할 수 있다. 이에 대해서는 도 2 및 도 3을 참조하여 후술한다.

한편, 상기 디지털 카메라는 사용자의 조작 신호를 입력하는 조작부(400)를 구비한다. 상기 조작부(400)는 사용자가 상기 디지털 영상 신호 처리장치를 조작하거나 촬영시 각종의 설정을 행하기 위한 부재를 포함할 수 있다. 예를 들어, 버튼, 키, 터치 패널, 터치 스크린, 다이얼 등의 형태로 구현될 수 있으며, 전원 온/오프, 촬영 개시/정지, 재생 개시/정지/서치, 광학계의 구동, 모드 변환, 메뉴 조작, 선택 조작 등의 촬영자 조작 신호를 입력할 수 있다. 일 예로서, 셔터 버튼은 촬영자에 의한 반누름, 완전누름, 해제가 가능하다. 셔터 버튼은 반누름(S1조작)되었을 때 포커스 제어 개시 조작 신호를 출력하고 반 누름 해제로 포커스 제어가 종료된다. 상기 셔터 버튼은 완전누름(S2조작)되었을 때 촬영 개시 조작 신호를 출력할 수 있다. 상기 조작 신호는 DSP(200)의 CPU(240) 등에 전송되어, 이에 따라 해당 구성 요소를 구동시킬 수 있다.

또한, 상기 DSP(200)는 오디오 컨트롤러(260)를 구비한다. 상기 오디오 컨트롤러(260)는 마이크/스피커(600)를 통해 입력된 소리 정보를 오디오 신호로 변환하여 입력하거나 또는 오디오 신호를 변환하여 상기 마이크/스피커(600)로 출력하도록 제어한다. 특히, 본 발명에서는 상기 알림 정보들을 오디오 신호로서 나타내어 상기 마이크/스피커(600)를 통해 출력하도록 제어할 수 있다.

또한, 상기 DSP(200)는 촬영된 영상이나 연상 정보 등의 데이터를 일시적으로 기록하는 메모리(500)를 제어하는 메모리 제어부(250)를 구비한다. 아울러, 촬영한 영상을 메모리 카드(700)에 기록하거나 또는 도출하는 카드 컨트롤러(270)를 구비한다. 카드 컨트롤러(270)는 메모리 카드(700)로 영상 데이터의 기입, 또는 메모리 컨트롤러(250)에 기록된 영상 데이터나 설정 정보 등의 독출을 제어한다.

상기 메모리(500)는 상기 디지털 영상 촬영 장치를 작동하는 필요한 OS, 응용 프로그램 등을 저장하는 프로그램 저장부를 구비할 수 있다. 프로그램 저장부로서 E2PROM, 플래쉬 메모리, ROM 등을 사용할 수 있다. 또한, 상기 메모리(500)는 촬영한 영상의 영상 데이터를 일시적으로 저장하는 버퍼 메모리를 구비할 수 있다. 버퍼 메모리로 SDRAM, DRAM 등을 사용할 수 있다. 여러 개 영상들의 영상 데이터를 기억할 수 있으며, 포커스 제어시의 영상 신호를 차례대로 유지하여 영상 신호를 출력할 수 있다. 또한, 상기 메모리(500)는 적어도 하나의 채널을 갖는 표시용 메모리를 구비할 수 있다. 상기 표시용 메모리는 표시부(40)에 포함된 표시 구동부로 영상 데이터의 입력과 출력을 동시에 실행할 수 있다. 표시부(40)의 크기나 최대 발색수는 표시용 메모리의 용량에 의존한다.

상기 메모리 카드(700)는 상기 디지털 카메라에 착탈 가능한 것으로서, 예를 들면 광디스크(CD, DVD, 블루레이디스크 등), 광자기 디스크, 자기 디스크, 반도체 기억매체 등을 사용할 수 있다.

도 2는 도 1에 도시된 디지털 카메라의 영상 신호 처리부, CPU, 메모리, 메모리 컨트롤러의 일 실시 예를 설명하기 위한 블럭도이다.

본 실시 예에 따르면, 메모리(500)는 기준 줌(zoom) 정보에 따른 아웃포커싱 영상 처리가 가능한 기준 피사체 거리 정보를 저장한 저장부(510)를 구비한다. 기준 줌 정보에 따른 아웃포커싱 영상 처리가 가증한 기준 피사체 거리, 즉 아웃포커싱 효과의 유효 피사체 거리는 와이드(Wide)에서 텔레(Tele)로 갈 수록 길어진다. 와이드(Wide)에서 텔레(Tele)로 갈수록 주피사체 영역을 판단하기 용이하기 때문에 상기 유효 피사체 거리가 늘어날 수 있다.

기준 줌(zoom) 정보에 따른 아웃포커싱 영상 처리가 가능한 기준 피사체 거리 정보의 데이터베이스는 줌 스텝에 대응하여 AF 브라켓팅을 이용하여 아웃포커싱 영상을 생성하고, 생성한 아웃포커싱 영상에 대하여 아웃포커싱 효과가 소정 기준 이상 나타나는 경우의 피사체 거리를 도출하여 데이터베이스로 형성할 수 있다.

구체적으로, 도 4를 참조하여 설명한다. 도 4는 카메라 D1, 카메라 D2를 이용하여 테스트한 결과를 나타낸 그래프이다. 각 줌 스텝에서 아웃포커싱 효과의 유효 거리를 측정하여 나타내었다. 여기서 아웃포커싱 효과가 나타난다고 판단함은 해당 줌 스텝에서 피사체 거리에 따른 AF 브라켓팅을 이용하여 아웃포커싱 영상을 형성하고, 형성한 아웃포커싱 영상들에 대하여, 컨트라스트 맵(Contrast map)의 면적을 통해 통계적 방식, 더욱 구체적으로 아웃포커싱 효과를 나타낸 것으로 판단함은 90% 이상 아웃포커싱 효과를 나타내었는지 여부를 판단하여, 90% 아웃포커싱 효과를 나타내었다면, 해당 피사체 거리를 아웃포커싱 효과의 유효 거리로 결정하였다. 여기서, 컨트라스트 맵을 이용하여 상기 통계적 방식으로 결정한 것은, 주피사체의 에지(Edge) 정도와 패턴(Pattern)에 따라 다른 결과를 도출할 수 있으므로, 정량적인 분석 뿐만 아니라 적성적인 평가가 함께 고려되어 상기 그래프와 같은 데이터베이스를 구축할 수 있다.

상기 메모리(500)의 저장부(510)에 상기 데이터베이스가 저장되어 있을 수 있으며, 메모리 컨트롤러(250)에 의해 상기 저장부(510)에 저장된 데이터들이 입출력될 수 있다.

상기 CCPU(240a)는 줌 정보 도출부(241a), 기준 피사체 거리 도출부(242a), 알림부(243a)를 구비할 수 있다.

구체적으로, 상기 줌 정보 도출부(241a)는 사용자 등에 의해 조작된 줌 정보를 도출한다. 예를 들어, 줌 스텝 수를 도출할 수 있다. 교환렌즈 디지털 카메라의 경우 교환렌즈와 통신을 통해 교환렌즈 제어부로부터 줌 정보를 전달받을 수 있다.

기준 피사체 거리 도출부(242a)는 상기 데이터베이스로부터 도출한 상기 줌 정보에 대응하는 기준 피사체 거리 정보를 도출한다. 도 4를 참조하여 예를 들면, 디짙러 카메라 D1에서, 줌 스텝이 1인 경우, 기준 피사체 거리 정보로 50cm를 도출할 수 있다.

상기 알림부(243a)는 상기 기준 피사체 거리 정보에 대응하는 제1 알림 정보를 사용자에게 알리도록 제어할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 현재 줌 정보에 대응하는 기준 피사체 거리 정보로서 "50cm"(UI1)를 영상으로 디스플레이할 수 있다. 따라서, 사용자는 상기 메시지를 확인하여, 디스플레이한 거리에 해당하도록 현재 피사체와의 거리를 조절하여 촬영을 행할 수 있다. 따라서, 아웃포커싱 영상 형성의 가부(可否)만을 사용자가 인지하는 것을 넘어서, 원하는 아웃포커싱 영상을 얻도록 유도할 수 있다. 뿐만 아니라 상기 기준 피사체 거리 정보에 대응하는 수치 50cm를 오디오 신호로 출력할 수도 있다. 이러한 피사체 거리 정보에 대응하는 UI(user interface) 영상 또는 오디오 신호 등은 상기 메모리(500)에 미리 저장되어 있을 수 있으며, 상기 알림부(243a)는 상기 기준 피사체 거리 정보에 대응하는 UI 영상 또는 오디오 신호를 선택할 수 있다. 그리고 선택한 UI 영상은 표시부에 디스플레이될 수 있으며, 오디오 신호의 경우 스피커로 출력될 수 있다.

또한, 본 실시 예에서 상기 신호 처리부(220)는 현재 피사체 거리 정보가 상기 기준 피사체 기준 거리 정보에 해당하는 경우, 상기 피사체에 초점을 맞추어 촬영한 제1 영상, 배경에 초점을 맞추어 촬영한 제2 영상 및 초점이 맞지 않은 제3 영상을 생성하는 영상 생성부(221), 상기 제1 영상 및 상기 제2 영상으로부터 피사체 영역과 배경 영역을 설정하는 설정부(223), 상기 피사체 영역은 상기 제1 영상을 합성하고, 상기 배경 영역은 상기 제3 영상을 합성하여 아웃포커싱 영상을 형성하는 아웃포커싱 영상 형성부(224)를 포함할 수 있다.

구체적으로, 상기 영상 생성부(221)는 단일의 촬영 개시 신호, 예를 들어 셔터릴리즈 버튼의 반누름에 따른 S1 신호를 입력받아, 동일한 피사체 및 배경에 대하여 초점이 다른 복수의 영상들을 생성할 수 있다. 피사체에 초점이 맞은 제1 영상, 배경에 초점이 맞은 제2 영상, 초점이 맞지 않은 초 매크로 (super macro)로 촬영한 제3 영상을 생성할 수 있다. 본 실시 예에서는 촬상부에서 입력되어 소정의 영상 처리가 행해진 일 프레임의 영상들을 생성함을 예시한 것이나, 이에 한정한 것은 아니며, 촬상부에서 입력된 영상, 영상 신호 처리들 중 적어도 어느 하나를 행한 영상들을 포함할 수 있다.

설정부(223)는 복수개의 영상 중 제1 영상 및 제2 영상을 이용하여 피사체 부분과 배경 부분이 설정된 이진화 영상을 얻는다.

아웃포커싱 영상 형성부(224)는 상기 이진화 영상의 피사체 부분에는 피사체 초점이 맞은 제1 영상의 피사체 부분을 합성하고, 이진화 영상의 배경 부분에는 초 매크로로 촬영한 제3 영상의 배경 부분을 합성함으로써, 아웃포커싱(out focusing) 영상을 형성할 수 있다.

또한, 상기 신호 처리부(220)는 상기 제1 영상을 기준으로 상기 제2 영상 및 제3 영상 각각의 글로벌 모션을 보상하는 글로벌 모션 보상부(222)를 더 포함할 수 있다.

글로벌 모션 보상부(222)는 상기 제1 영상을 기준으로 상기 제2 영상 및 상기 제3 영상 각각의 글로벌 모션(global motion)을 보상한다. 글로벌 모션은 상기 제1 영상을 촬영하고, 상기 제2 영상 및 상기 제3 영상을 촬영 하는 사이에 디지털 카메라의 위치가 바뀜으로 인하여, 전체 픽셀이 쉬프트(shift) 된 것을 의미한다. 글로벌 모션 보상은 이러한 전체 픽셀의 쉬프트를 보상하여 상기 제1 영상, 상기 제2 영상 및 상기 제3 영상의 픽셀들이 서로 대응되도록 정렬(align)시키는 것을 말한다.

도 3은 도 1에 도시된 디지털 카메라의 신호 처리부, CPU, 메모리, 메모리 컨트롤러의 다른 실시 예를 설명하기 위한 블럭도이다. 본 실시 예에서, 신호 처리부(220), 메모리(500)는 도 2의 실시 예와 동일하므로 설명은 생략하고, CPU(240b)의 다른 실시 예에 대해 상세히 설명한다.

상기 CPU(240b)는 아웃포커싱 영상을 형성가능한지 판단하는 제1 판단부(241b)를 구비한다, 구체적으로, 상기 제1 판단부(241b)는 상기 제1 영상, 상기 제2 영상, 상기 제3 영상으로부터 아웃포커싱 영상을 형성 가부(可否)를 판단할 수 있으며, 또는 합성한 결과물인 아웃포커싱 영상이 소정의 신뢰성을 갖는 아웃포커싱 영상인지를 판단함으로써 아웃포커싱 영상의 형성 가부(可否)를 판단할 수도 있다. 더욱 구체적으로, 피사체에 초점이 맞은 제1 영상과 배경에 초점이 맞은 제2 영상을 이용하여 컨트라스트 맵(contrast map)을 생성하였을 때, 상기 제1 영상과 상기 제2 영상의 컨트라스트 차이가 소정의 기준보다 작은 경우라면 아웃포커싱 영상을 형성할 수 없다고 판단할 수 있다. 더욱 구체적으로 상기 컨트라스트 맵에서 상기 소정의 기준보다 작은 면적이 소정 비율 이상이라면, 아웃포커싱 영상을 형성할 수 없다고 판단할 수 있다.

아웃포커싱 영상을 형성할 수 없다고 판단하는 경우, 줌 정보 도출부(242b)는 현재 줌 정보를 도출하고, 기준 피사체 거리 정보 도출부(243b)는 도출한 줌 정보에 대응하는 기준 피사체 거리 정보를 도출하며, 알림부(244b)는 도출한 기준 피사체 거리 정보에 대응하는 제2 알림 정보를 출력할 수 있다. 구체적으로 도출한 기준 피사체 거리 정보에 대응하는 제2 알림 정보는 상기 기준 피사체 거리 정보의 수치 뿐만 아니라 아웃포커싱 영상 형성 가부(可否)에 관한 정보, 아웃포커싱 영상을 형성하도록 가이드하는 정보 등을 포함할 수 있다. 아웃포커싱 영상 형성 가부(可否)에 관한 정보, 아웃포커싱 영상을 형성하도록 가이드하는 정보 등도 피사체 거리를 변수로 하여 아웃포커싱 영상을 형성하거나 할 수 없는 결과를 도출하며, 또한 가이드하는 정보도 상기 피사체 거리를 조절하도록 가이드하는 것이므로, 상기와 같은 정보들 모두 상기 기준 피사체 거리 정보에 대응하는 것으로 할 수 있다. 구체적으로, 상기 제2 알림 정보는 상술한 바와 같이, 기준 피사체 거리 정보를 수치로 나타낸 것이거나 또는 아웃포커싱 영상을 형성할 수 있는 성공 확률(percentage), 또는 아웃포커싱 영상을 형성하도록 가이드하는 정보일 수도 있다. 예를 들어, 아웃포커싱 영상을 형성하도록 가이드하는 정보로서 "멀어요", "가까이오세요", "현재 아웃포커싱 영상 생성 불가" "현재 아웃포커싱 영상 생성 가능" 등과 같은 메시지를 영상으로 표시하거나 오디오 신호로 출력할 수 있다.

도 4는 도 1에 도시된 디지털 카메의 신호 처리부, CPU, 메모리, 메모리 컨트롤러의 또 다른 실시 예를 설명하기 위한 블럭도이다. 본 실시 예에서도, 신호 처리부(220), 메모리(500)는 도 2의 실시 예와 동일하므로 설명은 생략하고, CPU(240c)의 또 다른 실시 예에 대해 상세히 설명한다.

상기 CPU(240c)는 현재 줌 정보를 도출하는 줌 정보 도출부(241c), 도출한 줌 정보에 대응하는 기준 피사체 거리 정보를 도출하는 기준 피사체 거리 정보 도출부(242c), 도출한 상기 기준 피사체 거리 정보에 해당하는 알림 정보를 출력하는 알림부(245c)를 구비한다.

또한, 본 실시 예에 따른 CPU(240c)는 현재의 피사체의 거리 정보를 도출하는 피사체 거리 정보 도출부(243c), 도출한 상기 피사체 거리 정보와 상기 기준 피사체 거리 정보를 비교하는 제2 판단부(244c)를 구비한다.

상기 제2 판단부(244c)에서 판단한 결과 상기 피사체 거리 정보가 상기 기준 피사체 거리 정보에 해당하지 않는 경우 상기 알림부(245c)는 도출한 기준 피사체 거리 정보에 대응하는 제3 알림 정보를 출력할 수 있다. 상기 제3 알림 정보도 상기 기준 피사체 거리 정보의 수치 뿐만 아니라 아웃포커싱 영상 형성 가부(可否)에 관한 정보, 아웃포커싱 영상을 형성하도록 가이드하는 정보 등을 포함할 수 있다. 예를 들어, 현재 피사체 거리가 기준 피사체 거리보다 멀리 있는 경우, "너무 멀어요", "가까이~", 등과 같은 메시지를 영상 또는 오디오 신호로 출력할 수 있다. 도 6에서 "멀어요"(UI2) 영상과 같이 디스플레이할 수 있다. 도 7에서와 같이 "아웃포커싱 적용 불가"(UI3) 메시지 영상으로 디스플레이할 수 있다.

따라서, 상술한 실시 예들에 따르면 피사체 거리에 따라 아웃포커싱 영상을 형성할 수 없는 경우가 발생하는 바, 사용자가 원하는 타이밍에 적절한 아웃포커싱 영상을 형성할 수도 있는 기준 피사체 거리에 관한 정보를 알릴 수 있다.

이하에서는 아웃포커싱 영상을 형성함에 대하여 구체적으로 설명한다.

도 9는 도 2에 도시된 신호 처리부의 설정부를 설명하기 위한 블럭도이다. 도 9를 참조하면, 설정부(223)는 DoG(Difference of Gaussian) 영상 생성부(223a), 제1 비교부(223b), 이진화 영상 생성부(223c), 제1 보정부(223d) 및 제2 보정부(223e)를 포함한다.

DoG 영상 생성부(223a)는 상기 제1 영상 및 상기 제2 영상 각각에 DoG 필터를 적용하여 제1 DoG 영상 및 제2 DoG 영상을 생성한다. DoG 필터란, 시그마값(σ)이 서로 다른 두 개의 가우시안(Gaussian) 필터의 차이를 나타내는 필터이다. 이를 수학식으로 살펴본다. 수학식 1은 제1 시그마값(σ₁)을 포함하는 제1 가우시안 필터이며, 수학식 2는 제2 시그마값(σ₂)을 포함하는 제2 가우시안 필터이다. 여기서 제2 시그마값(σ₂)은 제1 시그마값(σ₁)보다 크다. 제1 시그마값(σ₁)이 제2 시그마값(σ₂) 보다 크면 DoG 필터를 적용한 영상에서 고주파 성분을 얻을 수 없다. DoG 필터는 수학식 3과 같이 제1 가우시안 필터와 제2 가우시안 필터의 차이이다. 여기서, 수학식 1 내지 수학식 3에서 x, y는 픽셀의 좌표이며, 제1 시그마값(σ₁) 및 제2 시그마값(σ₂)은 표준 편차로서 가우시안 필터의 스무딩(smoothing) 정도를 의미한다.

DoG영상 생성부(223a)로부터 얻은 제1 DoG 영상 및 제2 DoG 영상 각각은 제1 영상 및 제2 영상 각각의 고주파 성분이 표현된 것이다. 따라서 제1 DoG 영상 및 제2 DoG 영상의 고주파 성분의 크기를 비교하여 제1 영상 및 제2 영상의 선명도를 비교할 수 있다.

제1 비교부(223b)는 제1 DoG 영상 및 제2 DoG 영상에서 대응되는 위치에 있는 기준 픽셀을 포함하는 마스크 영역의 고주파 성분의 크기를 비교한다. 여기서 기준 픽셀이란, 사용자가 임의로 지정한 픽셀일 수 있고, 마스크를 적용하였을 때 중앙에 위치하는 픽셀일 수도 있다. 마스크 영역이란 마스크를 적용하였을 경우, 마스크 에 포함된 모든 픽셀들을 가리킬 수 있다.

이진화 영상 생성부(223c)는 제1 비교부(223b)의 비교 결과 제1 DoG 영상의 고주파 성분이 크면 상기 기준 픽셀을 제1 휘도값으로 표시하고, 제2 DoG 영상의 고주파 성분이 크면 상기 기준 픽셀을 제2 휘도값으로 표시함으로써 단일의 이진화 영상을 생성한다.

제1 보정부(223d)는 생성된 이진화 영상에 포함된 에러 픽셀을 보정하며, 제2 보정부(223e)는 에러 픽셀이 보정된 이진화 영상에 포함된 피사체 부분과 배경 부분의 경계를 보정한다. 이진화 영상에서 피사체 부분은 상기 제1 휘도값으로 표시된 부분이며, 배경 부분은 상기 제2 휘도값으로 표시된 부분일 수 있다.

도 10은 도 9의 설정부(223)에 포함된 제1 보정부(223d)를 나타낸 상세 블록도이다. 도 10을 참조하면, 분할부(223d-1)는 이진화 영상을 복수개의 블록들로 분할한다. 또한 에러 보정부(223d-2)는 분할부(223d-1)에서 분할된 블록 내에 제1 휘도값을 가진 픽셀이 많은 경우, 상기 블록 내의 제2 휘도값을 가진 픽셀의 휘도값을 제1 휘도값으로 변환하고, 상기 블록 내에 제2 휘도값을 가진 픽셀이 많은 경우, 상기 블록 내의 제1 휘도값을 가진 픽셀의 휘도값을 제2 휘도값으로 변환한다. 즉, 고립된 픽셀의 휘도값을 주변의 휘도값으로 변환함으로써, 에러 픽셀을 보정하는 것이다.

도 11은 도 9의 설정부(223)에 포함된 제2 보정부(223e)를 나타낸 상세 블록도이다. 도 11을 참고하면, 불확실 영역 설정부(223e-1)는 이진화 영상에서 피사체 부분과 상기 배경 부분의 경계 및 주위 영역을 불확실 영역으로 설정한다. 여기서 경계란, 피사체 부분과 배경 부분이 맞닿은 부분이며, 주위 영역이란, 불확실 영역이 경계에서 피사체 부분 및 배경 부분으로 일부 확장된 부분을 의미한다. 경계 보정부(223e-21)는 설정된 불확실 영역을 제1 영상과 비교하여 점차적으로 축소해 나간다. 경계 보정부(223e-21)는 구체적으로, 이진화 영상 및 제1 영상을 동일한 비율로 축소하는 영상 축소부(223e-22), 이진화 영상의 불확실 영역에 포함된 픽셀과 동일한 위치에 존재하는 제1 영상에 포함된 픽셀의 휘도값 또는 컬러 정보와 같은 영상 정보를 통해 상기 불확실 영역에 포함된 상기 픽셀이 상기 피사체 부분에 해당하는지 상기 배경 부분에 해당하는지 판단하는 제2 비교부(223e-23) 및, 상기 판단 결과, 불확실 영역에 포함된 픽셀이 피사체 부분에 해당하는 경우 제1 휘도값으로 변환하고, 배경 부분에 해당하는 경우 제2 휘도값으로 변환하는 변환부(223e-24)를 포함한다.

도 2의 신호 처리부(220)에 포함된 아웃포커싱 영상 형성부(224)는 이진화 영상의 피사체 부분에는 대응되는 위치의 제1 영상에 포함된 픽셀을 기입하고, 상기 이진화 영상의 상기 배경 부분에는 대응되는 위치의 제3 영상에 포함된 픽셀을 기입한다. 즉, 이진화 영상의 피사체 부분에는 제1 영상의 피사체 부분을 합성하며, 이진화 영상의 배경 부분에는 제3 영상의 배경 부분을 알파 블렌딩(alpha blending) 하여 합성한다. 즉, 이진화 영상의 피사체 부분과 배경 부분의 경계가 자연스럽게 표시되도록 합성하는 것이다.

도 12는 본 발명에 관한 디지털 영상 신호 처리 방법의 일 실시 예를 설명하기 위한 순서도이다.

도 12를 참조하면, 우선 촬영 모드로 진입하여 촬영을 대기한다(S11). 사용자 등은 줌 링을 조절하여 주밍(zooming) 동작을 행한다(S12). 주밍 동작에 의해 결정된 줌 정보를 도출한다(S13). 도출한 줌 정보에 대응하는 기준 피사체 거리 정보를 도출한다(S14). 상기 기준 피사체 거리 정보에 대한 알림 정보를 출력한다(S15).

도 13은 본 발명에 관한 디지털 영상 신호 처리 방법의 다른 실시 예를 설명하기 위한 순서도이다.

도 13을 참조하면, 촬영 모드를 실행한다(S21). 줌 링을 조절하여 주밍(zooming) 동작을 행한다(S22). 현재 줌 정보를 도출한다(S23). 그리고 제1 신호를 입력한다(S24). 상기 제1 신호는 셔터 릴리즈 버튼을 반누름하여 S1 상태를 야기하는 신호일 수 있다. 따라서, 이후 후술하는 동작 뿐만 아니라 AE, AW 동작을 함께 수행할 수 있다. 또한, 제1 신호 입력 후에 현재의 줌 정보를 도출할 수도 있다. 상기 제1 신호의 입력에 의해 AF 브라켓팅 촬영을 행한다(S25). AF 브라켓팅 촬영을 행하여 피사체에 초점이 맞은 제1 영상, 배경에 초점이 맞은 제2 영상, 초점이 맞지 않는 제3 영상을 생성한다. 상기 제1 영상 내지 상기 제3 영상을 이용하여 아웃포커싱 영상을 획득할 수 있는지 판단한다(S26). 상기 판단은 여러가지 방법으로 행해질 수 있다. 일 실시 예로서, 상기 제1 영상과 제2 영상의 컨트라스트 차이가 소정 기준 이하(미만)이라면, 더욱 구체적으로 컨트라스트 차이가 상기 기준 이하(미만)인 면적이 소정의 기준 이상(초과)라면, 아웃포커싱 영상을 획득할 수 없다고 판단할 수 있다. 다른 실시 예로서, 상기 제1 영상 내지 상기 제3 영상을 상술한 아웃포커싱 영상 형성 방법에 따라 아웃포커싱 영상을 형성 한후, 실패(Fail)이 나면 아웃포커싱 영상을 형성할 수 없다고 판단할 수 있다. 그 밖에 상술한 제1 영상 내지 제3 영상 중 적어도 어느 하나를 형성할 수 없는 경우에도 아웃포커싱 영상을 형성할 수 없다고 판단할 수 있는 등, 다양한 판단 방법을 적용할 수 있다. 상기 아웃포커싱 영상을 획득할 수 없다고 판단하는 경우 아웃포커싱 영상을 형성할 수 있는, 즉 현재 줌 정보에 대응하는 기준 피사체 거리 정보에 관한 알림 정보를 출력한다(S27). 상기 알림 정보는 상기 기준 피사체 거리 정보에 관한 수치일 수 있으며, 현재 피사체 거리가 너무 멀다는 것과 같은 거리 정보일 수 있다. 현재 피사체 거리는 상기 제1 영상을 생성하면서, AF 모터의 스텝 수로부터 추정할 수 있다. 그리고 도출한 현재 피사체 거리가 기준 피사체 거리보다 멀다면 이에 관한 상기 알림 정보를 출력할 수 있다. 상기 알림 정보를 사용자는 확인하여, 주밍을 재조정할 수 있다(S22). 또는 도면에 도시하지는 않았지만, 디지털 촬영 장치의 배치를 변경할 수 있다.

상기 S26 단계에서, 아웃포커싱 영상을 획득할 수 있다면, 제2 신호를 입력한다(S28). 상기 제2 신호는 상기 셔터 릴리즈 버튼을 완전 누름하여 상술한 제1 영상 내지 제3 영상들을 합성하여 아웃포커싱 영상을 형성한다(S29). 필요한 경우, 아웃포커싱 영상을 획득할 수 있다고 판단하는 경우 "아웃포커싱 영상 촬영 가능"의 메시지를 포함하는 알림 정보를 출력할 수도 있다. 그리고 사용자는 상기 알림 정보를 확인함으로써, 상기 제2 신호를 입력하여 원하는 아웃포커싱 영상을 생성하도록 가이드할 수도 있다.

도 14는 본 발명에 관한 디지털 영상 신호 처리 방법의 또 다른 실시 예를 설명하기 위한 순서도이다.

도 14를 참조하면, 촬영 모드를 실행한다(S31). 줌 링을 조절하여 주밍(zooming) 동작을 행한다(S32). 현재 줌 정보를 도출한다(S33). 그리고 도출한 상기 줌 정보에 대응하는 기준 피사체 거리 정보를 도출한다(S34). 제1 신호를 입력한다(S35). 예를 들어, 셔터 릴리즈 버튼을 반누름하여 S1 상태를 야기하는 신호일 수 있다. 따라서, 이후 후술하는 동작 뿐만 아니라 AE, AW 동작을 함께 수행할 수 있다. 상기 제1 신호 입력 후에 상기 줌 정보, 상기 기준 피사체 거리 정보를 도출할 수도 있다. 상기 제1 신호에 대응하여 현재의 피사체 거리 정보를 도출할 수 있다(S36). 상기 제1 신호가 입력되면 AF 브라켓팅 촬영을 행하여, 상술한 제1 영상 내지 제3 영상을 생성한다. 따라서 현재의 피사체 거리는 피사체에 초점이 맞은 상기 제1 영상의 AF 모터의 스텝 수로부터 추정할 수 있다. 또한, 제1 신호 입력 후에 현재의 줌 정보 또는/및 상기 기준 피사체 거리 정보를 도출할 수도 있다.

도출한 상기 피사체 거리 정보가 상기 기준 피사체 거리 정보에 해당하는지 판단한다(S37). 해당하지 않는 경우 알림 정보를 출력한다(S38). 상기 알림 정보는 도출한 상기 기준 피사체 거리 정보로서 수치를 출력하거나, 또는 "현재 피사체가 멀리 있다"는 정보, "피사체에 가까이 다가가라" 등과 같은 메시지를 영상 또는 오디오 신호로서 출력할 수 있다. 상기 알림 정보에 따라 사용자는 디지털 촬영 장치의 주밍 동작을 재조정할 수 있다(S32). 그리고 이후 동작을 반복할 수 있다. 또는 도면에 도시하지 않았지만 사용자는 상기 알림 정보를 확인하고, 디지털 촬영 장치를 재배치하여 피사체와의 거리를 조정할 수 있다. 그리고 다시 제1 신호를 입력하여 조정한 피사체의 거리를 도출하고, 이후 동작을 반복할 수 있다.

그리고 도출한 상기 피사체 거리 정보가 상기 기준 피사체 거리 정보에 해당하는 경우, 사용자는 셔터 릴리즈 버튼을 완전 눌러 촬영을 하도록 입력할 수 있다. 즉, 제2 신호를 입력하여(S39), 생성한 상기 제1 영상 내지 제3 영상들을 합성하여 아웃포커싱 영상을 생성할 수 있다(S40). 필요한 경우, 도출한 상기 피사체 거리 정보가 상기 기준 피사체 거리 정보에 해당하는 경우 "아웃포커싱 영상 촬영 가능"의 메시지를 포함하는 알림 정보를 출력할 수도 있다. 그리고 사용자는 상기 알림 정보를 확인함으로써, 상기 제2 신호를 입력하여 원하는 아웃포커싱 영상을 생성하도록 가이드할 수도 있다.

상기 설명에서 아웃포커싱 영상을 생성하는 동작에 대해서는 이하의 도면들을 참조하여 구체적으로 설명한다.

우선, 도 15a는 피사체에 초점을 맞춘 제1 영상(I1)을 도시한 도면이다. 도 15b는 배경에 초점을 맞춘 제2 영상(I2)을, 도 15c는 초매크로 촬영으로 촬영한, 즉 초점이 맞지 않는 제3 영상(I3)을 나타낸 도면이다. 도면에서 초점이 맞는 것은 실선으로, 초점이 맞지 않음은 점선으로 나타내었다.

상기 제1 영상 내지 제 3 영상은 동일한 피사체와 배경을 촬영한 것으로서, AF 동작을 실행하는 제1 신호의 입력, 예를 들어 셔터 릴리즈 버튼을 반누름하여 순차적으로 획득할 수 있다. 아웃포커싱 영상은 피사체에만 초점이 맞고 배경은 흐릿하게 보이는 영상이므로, 피사체에 초점이 맞는 영상을 기준으로 타 영상을 획득해야 한다. 또한 통계적으로 셔터-릴리즈 버튼을 누른 직후 손떨림이 가장 적으므로, 제1 영상(I1)을 최초로 획득해야만 흔들림이 적은 피사체 초점 촬영 영상을 얻을 수 있기 때문이다.

그리고 제1 영상(I1)을 기준으로 제2 영상(I2) 및 제3 영상(I3) 각각의 글로벌 모션(global motion)을 보상한다. 구체적으로 도 16a 내지 도 16c를 참조하면, 각 도면은 제1 영상(I1), 제2 영상(I2), 제3 영상(I3)의 기준 축을 참조하면 약간씩 틀어져 있다. 따라서 도 16d와 같이 제1 영상(I1)을 기준으로 전체 픽셀의 쉬프트(shift)를 보상하여 제1 영상(I1), 제2 영상(I2) 및 제3 영상(I3)의 픽셀들이 서로 대응되도록 정렬(align)시킨다. 이와 같은 과정을 통하여 복수의 영상을 획득하는 동안 발생한 손떨림에 의해 발생한 전체 픽셀의 쉬프트가 보상된다. 또한 글로벌 모션을 보상함으로써, 복수개의 영상에 포함된 픽셀의 위치가 대응되므로 복수개의 영상을 통해 하나의 이진화 영상 또는 아웃포커싱 영상을 생성할 수 있다.

그리고, 도 17a를 참조하면 제1 영상(I1)에 DoG 필터를 적용하여 제1 DoG 영상(DI1)을 생성하며, 도 17b를 참조하면 제2 영상(I2)에 DoG 필터를 적용하여 제2 DoG 영상(DI2)을 생성한다.

DoG 필터를 통하여 제1 영상(I1) 및 제2 영상(I2)의 고주파 성분을 추출한 제1 DoG 영상(D11) 및 제2 DoG 영상(DI2)을 얻을 수 있다. DoG 필터의 구체적인 예 및 적용 방법은 도 9에서 설명하였으므로 생략한다.

도 18a와 도 18b는 본 발명의 일 실시 예에 의한 제1 DoG 영상(DI1) 및 제2 DoG 영상(DI2)의 고주파 성분의 크기를 비교하는 과정을 나타낸 설명도이다. 도 18a을 참조하면, 제1 DoG 영상(DI1)에 11 X 11 마스크(M)를 적용한다. 상기 마스크(M)의 중앙에 위치한 픽셀을 기준 픽셀(Pm)로 한다. 도 18b에서도 동일하게 제2 DoG 영상(DI2)에 11 X 11 마스크(M)를 적용한다. 상기 마스크(M)의 중앙에 위치한 픽셀을 기준 픽셀(Pn)로 한다. 여기서 제1 DoG 영상(DI1)의 기준 픽셀(Pm)과 제2 DoG 영상(DI2)의 기준 픽셀(Pn)은 대응되는 위치, 즉 동일한 (x₁, y₁) 위치에 있다. 제1 DoG 영상(DI1) 및 제2 DoG 영상(DI2) 모두 마스크(M)에 포함된 픽셀 중 기준 픽셀(Pn, Pm)을 포함한 마스크 영역(Dm, Dn)에 존재하는 121개의 픽셀들의 고주파 성분의 크기를 비교한다. 예를 들어, 상기 121개의 픽셀 중 휘도가 가장 큰 픽셀(I_max)과 휘도가 가장 작은 픽셀(I_min)을 추출한다. 다음으로 수학식 4와 같이 휘도 값의 차이(D_i)를 구한다. 만약 제1 DoG 영상 (DI1)의 휘도 값의 차이(D_i)가 더 큰 경우, 제1 DoG 영상 (DI1)의 고주파 성분의 크기가 더 큰 것으로 본다. 또한 제2 DoG 영상(21)의 휘도 값의 차이(D_i)가 더 큰 경우, 제2 DoG 영상(DI2)의 고주파 성분의 크기가 더 큰 것으로 본다.

본 실시 예에서 11 X 11 마스크(M)를 적용하는 이유는, 마스크(M)의 크기가 11 X 11 보다 작은 경우 정확성이 떨어지며, 11 X 11 보다 큰 경우 연산량이 늘어 연산 속도가 줄어들기 때문이다.

도 19a 내지 도 19c는 본 발명의 일 실시 예에 의한 이진화 영상(BI)을 생성하는 과정을 나타낸 도면들이다. 우선, 도 19a를 참고하면, 제1 DoG 영상(DI1)의 마스크 영역(Dm) 에 포함된 픽셀의 고주파 성분이 크면, 기준 픽셀(Pm)을 제1 휘도값으로 표시한다. 또한 제2 DoG 영상(DI2)의 마스크 영역(Dn) 에 포함된 픽셀의 고주파 성분이 크면, 기준 픽셀(Pn)을 제2 휘도값으로 표시한다. 이와 같이 고주파 성분을 비교하는 과정을 제1 DoG 영상(DI1) 및 제2 DoG 영상(DI2) 각각의 전체 픽셀에 걸쳐 11 X 11 마스크(M)를 한 픽셀씩 이동하면서 반복한다. 그 결과 제1 휘도값 및 제2 휘도값으로만 표현된 이진화 영상(BI)을 얻을 수 있다. 여기서 제1 휘도값은 255 (white)레벨 일 수 있으며, 제2 휘도값은 0 (black)레벨 일 수 있다. 여기서, 제1 휘도값으로 표시된 부분은 제1 DoG 영상(DI1)의 고주파 성분이 더 크기 때문에 제1 영상의 선명도가 더 큰 부분이므로, 피사체에 초점이 맞은 제1 영상의 피사체 부분에 해당한다. 또한 제2 휘도값으로 표시된 부분은 제2 DoG 영상(DI2)의 고주파 성분이 더 크기 때문에 제2 영상의 선명도가 더 큰 부분이므로, 배경에 초점이 맞은 제2 영상의 배경 부분에 해당할 것이다.

도 20a과 도 20b는 본 발명의 일 실시 예에 의한 에러 픽셀을 보정하는 과정을 나타낸 도면들이다.도 20a를 참고하면, 이진화 영상(BI)을 복수개의 블록(B)으로 분할한다. 예를 들어 블록(B)의 개수는 32 X 32 개 일 수 있다. 블록(B)의 수가 너무 많으면 연산에 많은 시간이 소요되며, 블록(B)의 수가 너무 적으면 피사체 부분과 배경 부분의 경계가 모호해지는 문제가 발생한다. 하나의 블록(B) 내에 제1 휘도값을 가진 픽셀이 많은 경우, 상기 블록 내의 제2 휘도값을 가진 픽셀의 휘도값을 제1 휘도값으로 변환하고, 상기 블록 내에 제2 휘도값을 가진 픽셀이 많은 경우, 상기 블록 내의 제1휘도값을 가진 픽셀의 휘도값을 제2 휘도값으로 변환한다. 즉, 블록 내에 제1 휘도값을 가진 픽셀이 많은 경우, 피사체 부분으로 보고 고립되어 있는 픽셀의 휘도값을 보정하는 것이다. 결과적으로 도 20b에서와 같은 에러 픽셀이 보정된 이진화 영상(BI')을 얻을 수 있다, 여기서 에러 픽셀이란, 배경 부분으로 표시되어야 할 픽셀이 피사체 부분으로 표시되거나, 피사체 부분으로 표시되어야 할 픽셀이 배경 부분으로 표시된 것을 의미한다. 그러나 이와 같은 과정을 수행하는 경우, 피사체 부분과 배경 부분의 경계에서 피사체 부분에 해당하는 부분이 원치 않게 배경 부분으로 변환되거나, 배경 부분에 해당하는 부분이 원치 않게 피사체 부분으로 변환되는 문제가 발생할 수 있다. 따라서 이를 해결하기 위하여 피사체 부분과 배경 부분의 경계를 보정하는 과정이 필요하다.

이진화 영상(BI)의 피사체 부분과 배경 부분의 경계 및 그 주위 영역을 불확실 영역으로 설정한다. 도 21a는 본 발명의 일 실시 예에 의한 불확실 영역을 설정하는 과정을 나타낸 설명도이다. 도 21a를 참고하면, 에러 픽셀이 보정된 이진화 영상(BI')의 피사체 부분과 배경 부분의 경계 및 그 주위 영역을 불확실(unknown) 영역으로 지정한다. 불확실 영역은 제3 휘도값으로 변환하는데, 여기서 제3 휘도값은 150 레벨(gray) 일 수 있다. 따라서 불확실 영역을 지정한 이진화 영상(B")을 생성한다.

그리고 도 21b에 도시된 바와 같이 제1 영상(I1)을 불확실 영역을 축소하는 비율와 동일한 비율로 축소하여 축소한 제1 영상(I1_S)을 생성한다. 또한, 도 21c에서는 이진화 영상(BI")을 상기 비율과 동일한 비율로 축호하여 축소 이진화 영상(BI"_S)을 생성한다. 예를 들어, 상기 제1 영상(I1) 및 상기 이진화 영상(BI") 각각을 각각 0.25배 축소할 수 있다. 축소된 이진화 영상(BI"_S)의 불확실 영역에 포함된 픽셀과 동일한 위치에 존재하는 축소된 제1 영상(I1_S)에 포함된 픽셀의 영상 정보를 통해 불확실 영역에 포함된 상기 픽셀이 피사체 부분에 해당하는지 배경 부분에 해당하는지 판단한다. 판단 결과, 불확실 영역에 포함된 상기 픽셀이 피사체 부분에 해당하는 경우 제1 휘도값으로 변환하고, 배경 부분에 해당하는 경우 제2 휘도값으로 변환한다. 즉, 축소된 이진화 영상(BI"_S)과 축소된 제1 영상(I1_S)을 비교하여 불확실 영역을 배경 부분 및 피사체 부분으로 변환하여, 최종적으로 불확실 영역을 축소 및 제거해 나간다. 여기서 제1 영상(I1)에 포함된 픽셀의 영상 정보란, 픽셀의 휘도값 또는 R(Red), G(Green), B(Blue)의 컬러 정보 일 수 있다. 이와 같이 불확실 영역을 축소하는 과정은 이진화 영상(BI") 및 제1 영상(I1)을 0.25 배 축소한 상태 외에도 0.5배 축소한 상태 및 원본 크기의 상태에서도 반복적으로 수행할 수 있다.

따라서, 도 21d와 같이 불확실 영역을 축소 및/또는 제거한 이진화 영상(BI'")을 생성한다.

그리고 도 21d에서의 피사체 부분(P)에는 도 22a의 제1 영상 (I1)의 피사체 부분(I1_P)을 기입하고, 이진화 영상(BI"')의 배경 부분(B)에는 도 22b의 제3 영상(I3)의 배경 부분(I3_B)을 기입하여 합성한다.

구체적으로, 이진화 영상(BI"')의 피사체 부분(P)에 포함되는 픽셀과 동일한 위치의 제1 영상(I1)의 픽셀을 이진화 영상(BI"')의 피사체 부분(P)에 기입한다. 또한 이진화(BI"') 영상의 배경 부분에 포함되는 픽셀과 동일한 위치의 제3 영상(I3)의 픽셀을 이진화 영상(B"')의 배경 부분(B)에 기입한다. 즉, 제1 영상(I1)의 피사체 부분(I1_P)과 제3 영상(I3)의 배경 부분(I3_B)을 합성하여 아웃포커싱 영상을 생성하는 것이다. 제1 영상(I1)은 피사체에 초점이 맞은 촬영 영상이므로 이를 피사체 부분으로 하고, 제3 영상(I3)은 초점이 맞지 않은 초 매크로 촬영 영상이므로 이를 배경 부분으로 하여 합성함으로써 유저가 원하는 아웃포커싱 영상이 생성될 수 있다. 본 발명의 실시 예에 의하면, 이진화 영상(BI"')을 알파 블렌딩하여 배경 부분과 피사체 부분의 경계를 자연스럽게 표시되도록 합성할 수 있다. 여기서 알파 블렌딩은 상기 경계를 배경 부분과 피사체 부분의 중간 휘도에 해당하는 값으로 표현하여 자연스럽게 보이기 위한 합성 방법이다.

따라서 도 22c에서 도시한 바와 같은 아웃포커싱 영상(I4)을 생성할 수 있다. 발명의 실시 예에 의한 영상 처리 방법에 의할 때,피사체 부분은 선명하고, 배경 부분은 흐릿한 아웃포커싱 영상(I4)을 얻을 수 있다.

본 발명의 실시 예에 따르면, AF 브라케팅(bracketing) 촬영을 이용하여 아웃포커싱 영상을 형성함에 있어서, 성공적인 아웃포커싱 영상을 얻기 위해서는 피사체 거리가 중요하다. 따라서, 사용자에게 AF 브라케팅을 이용하여 아웃포커싱 영상을 획득함에 있어서, 유효한 피사체 거리 정보를 알림으로써, 아웃포커싱 영상 촬영 성공률을 높일 수 있다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.

Claims

기준 줌(zoom) 정보에 따른 아웃포커싱 영상 처리가 가능한 기준 피사체 거리 정보를 저장한 저장부;
줌 정보를 도출하는 줌 정보 도출부;
상기 저장부로부터 도출한 상기 줌 정보에 대응하는 기준 피사체 거리 정보를 도출하는 기준 피사체 거리 정보 도출부;
도출한 상기 기준 피사체 거리 정보에 해당하는 알림 정보를 출력하는 알림부;
상기 피사체에 초점을 맞추어 촬영한 제1 영상, 배경에 초점을 맞추어 촬영한 제2 영상 및 초점이 맞지 않은 제3 영상을 생성하는 영상 생성부;
상기 제1 영상 및 상기 제2 영상으로부터 피사체 영역과 배경 영역을 설정하는 설정부; 및
상기 피사체 영역은 상기 제1 영상을 합성하고, 상기 배경 영역은 상기 제3 영상을 합성하여 아웃포커싱 영상을 형성하는 아웃포커싱 영상 형성부를 포함하는 디지털 영상 처리 장치.
제1항에 있어서, 상기 알림부는 상기 기준 피사체 거리 정보를 수치로 나타낸 제1 알림 정보를 출력하는 것을 특징으로 하는 디지털 영상 처리 장치.
제1항에 있어서, 상기 아웃포커싱 영상을 형성가능한지 판단하는 제1 판단부;를 더 구비하는 디지털 영상 처리 장치.
제3항에 있어서, 상기 제1 판단부의 판단 결과, 상기 아웃포커싱 영상을 형성할 수 없는 경우 상기 알림부는 상기 아웃포커싱 영상을 형성할 수 있는 상기 기준 피사체 거리 정보를 포함하는 제2 알림 정보를 출력하는 것을 특징으로 하는 디지털 영상 처리 장치.
제1항에 있어서, 상기 피사체의 거리 정보를 도출하는 피사체 거리 정보 도출부; 및
도출한 상기 피사체 거리 정보와 상기 기준 피사체 거리 정보를 비교하는 제2 판단부;를 더 구비하는 디지털 영상 처리 장치.
제5항에 있어서, 상기 판단부에서 판단한 결과 상기 피사체 거리 정보가 상기 기준 피사체 거리 정보에 해당하지 않는 경우 상기 알림부는 해당하도록 가이드 안내를 포함하는 제3 알림 정보를 출력하는 것을 특징으로 하는 디지털 영상 처리 장치.
제1항에 있어서, 상기 알림부는 상기 알림 정보를 사용자 인터페이스(UI) 영상으로 나타내어 출력하고,
상기 사용자 인터페이스 영상을 디스플레이하는 표시부를 더 구비하는 디지털 영상 처리 장치.
제1항에 있어서, 상기 알림부는 상기 알림 정보를 오디오 신호로 나타내어 출력하고,
상기 오디오 신호를 출력하는 스피커를 더 구비하는 디지털 영상 처리 장치.
제1항에 있어서, 상기 제1 영상을 기준으로 상기 제2 영상 및 제3 영상 각각의 글로벌 모션을 보상하는 글로벌 모션 보상부를 더 포함하는 디지털 영상 처리 장치.
제1항에 있어서, 상기 설정부는 제1 영상 및 제2 영상 각각에 DoG 필터를 적용하여 제1 DoG 영상 및 제2 DoG 영상을 생성하는 DoG영상 생성부;
제1 DoG 영상 및 제2 DoG 영상에서 동일한 위치에 있는 기준 픽셀을 포함하는 마스크 영역의 고주파 성분을 비교하는 비교부;
상기 비교부의 비교 결과, 제1 DoG 영상의 고주파 성분이 크면 상기 기준 픽셀을 제1 휘도값으로 표시하고, 제2 DoG 영상의 고주파 성분이 크면 상기 기준 픽셀을 제2 휘도값으로 표시함으로써 단일의 이진화 영상을 생성하는 이진화 영상 생성부; 및
상기 제1 휘도값으로 표시된 부분은 피사체 영역으로, 상기 제2 휘도값으로 표시된 부분은 배경 영역으로 구분하는 피사체/배경 영역 구분부를 더 포함하는 디지털 영상 처리 장치.
제10항에 있어서, 상기 아웃포커싱 영상 형성부는 상기 이진화 영상의 상기 피사체 영역에 대응하는 제1 영상의 일 영역과 상기 이진화 영상의 상기 배경 부분에는 대응되는 위치의 제3 영상에 일 영역을 합성하는 것을 특징으로 하는 디지털 영상 처리 장치.
줌 정보를 도출하는 단계;
기준 줌(zoom) 정보에 따른 아웃포커싱 영상 처리가 가능한 기준 피사체 거리 정보의 데이터 베이스로부터 도출한 상기 줌 정보에 대응하는 기준 피사체 거리 정보를 도출하는 단계;
도출한 상기 기준 피사체 거리 정보에 해당하는 알림 정보를 출력하는 단계;
상기 피사체에 초점을 맞추어 촬영한 제1 영상, 배경에 초점을 맞추어 촬영한 제2 영상 및 초점이 맞지 않은 제3 영상을 생성하는 단계;
상기 제1 영상 및 상기 제2 영상으로부터 피사체 영역과 배경 영역을 설정하는 단계; 및
상기 피사체 영역은 상기 제1 영상을 합성하고, 상기 배경 영역은 상기 제3 영상을 합성하여 아웃포커싱 영상을 형성하는 단계; 포함하는 디지털 영상 신호 처리 방법.
제12항에 있어서, 상기 알림 정보 출력 단계는,
상기 기준 피사체 거리 정보를 수치로 나타낸 제1 알림 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 디지털 영상 신호 처리 방법.
제12항에 있어서, 상기 아웃포커싱 영상을 형성가능한지 제1 판단하는 단계;를 더 구비하는 디지털 영상 처리 방법.
제14항에 있어서, 상기 제1 판단 결과, 상기 아웃포커싱 영상을 형성할 수 없는 경우 상기 아웃포커싱 영상을 형성할 수 있는 상기 기준 피사체 거리 정보를 포함하는 제2 알림 정보를 출력하는 것을 특징으로 하는 디지털 영상 처리 방법.
제12항에 있어서, 상기 피사체의 거리 정보를 도출하는 단계; 및
도출한 상기 피사체 거리 정보가 상기 기준 피사체 거리 정보에 해당하는지 제2 판단하는 단계를 더 구비하는 디지털 영상 처리 방법.
제16항에 있어서, 상기 제2 판단 결과 상기 피사체 거리 정보가 상기 기준 피사체 거리 정보에 해당하지 않는 경우 해당하도록 가이드 안내를 포함하는 제3 알림 정보를 출력하는 것을 특징으로 하는 디지털 영상 처리 방법.
제12항에 있어서, 상기 알림 정보 출력 단계는 상기 알림 정보를 사용자 인터페이스(UI) 영상으로 나타내어 출력하는 단계를 포함하고,
상기 사용자 인터페이스 영상을 디스플레이하는 단계를 더 구비하는 디지털 영상 신호 처리 방법.
제12항에 있어서, 상기 알림 정보 출력 단계는 알림 정보를 오디오 신호로 나타내어 출력하는 단계를 구비하고,
상기 오디오 신호를 출력하는 단계를 더 포함하는 디지털 영상 신호 처리 방법.
제12항에 있어서, 상기 제1 영상을 기준으로 상기 제2 영상 및 제3 영상 각각의 글로벌 모션을 보상하는 단계를 더 포함하는 디지털 영상 신호 처리 방법.
제12항에 있어서, 상기 피사체 영역과 배경 영역을 설정하는 단계는,
상기 제1 영상 및 제2 영상 각각에 DoG 필터를 적용하여 제1 DoG 영상 및 제2 DoG 영상을 생성하는 단계;
제1 DoG 영상 및 제2 DoG 영상에서 동일한 위치에 있는 기준 픽셀을 포함하는 마스크 영역의 고주파 성분을 비교하는 단계;
상기 비교 결과, 제1 DoG 영상의 고주파 성분이 크면 상기 기준 픽셀을 제1 휘도값으로 표시하고, 제2 DoG 영상의 고주파 성분이 크면 상기 기준 픽셀을 제2 휘도값으로 표시함으로써 단일의 이진화 영상을 생성하는 단계; 및
상기 제1 휘도값으로 표시된 부분은 피사체 영역으로, 상기 제2 휘도값으로 표시된 부분은 배경 영역으로 구분하는 단계를 더 포함하는 디지털 영상 신호 처리 방법.
제21항에 있어서, 상기 아웃포커싱 영상을 생성하는 단계는,
상기 이진화 영상의 상기 피사체 영역에 대응하는 제1 영상의 일 영역과 상기 이진화 영상의 상기 배경 부분을 합성하여 아웃포커싱 영상을 생성하는 단계를 구비하는 디지털 영상 신호 처리 방법.
제12항 내지 제22항 중 어느 하나의 방법을 컴퓨터가 읽을 수 있는 프로그램으로 기록한 기록 매체.