KR101304342B1

KR101304342B1 - 이미지 처리방법 및 시스템

Info

Publication number: KR101304342B1
Application number: KR1020127010963A
Authority: KR
Inventors: 앤드류 어거스틴 와이즈
Original assignee: 실버크레스트 인베스트먼트 홀딩스 리미티드
Priority date: 2005-10-12
Filing date: 2005-10-12
Publication date: 2013-09-11
Anticipated expiration: 2025-10-12
Also published as: EP1949338A1; US20090220173A1; JP2009512289A; CN101305400A; US20120093437A1; US8582814B2; KR20120062918A; WO2007042073A1; JP4575496B2

Abstract

이미지 처리 방법에서, 적어도 2개의 이미지 프레임들의 시퀀스가 제공되며, 상기 이미지 프레임들의 적어도 일부의 상대적인 움직임을 나타내는 움직임 벡터가 계산된다. 상기 이미지 프레임들 내의 적어도 상기 일부가, 계산된 움직임 벡터에 따라서, 재 위치되며, 상기 이미지 프레임들은, 결합된 이미지 프레임을 형성하기 위해 결합된다. 상기 이미지 프레임들은, 블럭들로 분할되며, 각 블럭의 상대적인 움직임을 나타내는 블럭 움직임 벡터가 계산된다. 각 블럭은, 계산된 블럭 움직임 벡터에 따라서 재위치되며, 블럭들은, 결합된 이미지 프레임을 얻기 위해 결합된 블럭들을 형성하기 위해 결합된다.

Description

이미지 처리방법 및 시스템{IMAGE PROCESSING METHOD AND SYSTEM}

본 발명은, 이미지 처리방법에 관한 것으로, 적어도 2개의 이미지 프레임들의 시퀀스를 제공하는 단계, 상기 이미지 프레임들의 적어도 일부의 상대적인 움직임을 나타내는 움직임 벡터를 계산하는 단계, 상기 계산된 움직임 벡터에 따라서 적어도 상기 일부를 상기 이미지 프레임들에 재위치시키는 단계, 및 결합된 이미지 프레임을 형성하기 위해 상기 이미지 프레임들을 결합하는 단계, 를 포함하는 이미지 처리방법에 관한 것이다. 본 발명은, 또한, 이미지 처리 시스템, 프로그래머블 처리 장치로 하여금 상기 방법을 수행할 수 있도록 구성된 컴퓨터 프로그램, 및 이미지 처리 시스템을 포함하는 디지털 카메라, 에 관한 것이다. 그러한 이미지 처리방법 및 시스템은 국제특허출원 PCT/EP04/05108에 기술되어 있다. 이 출원에 기술된 바와 같이, 상기 이미지 처리방법 및 시스템은, 예를 들어, 디지털 카메라에 사용될 수 있다.

알려진 방법 및 시스템이 일반적으로 고품질의 결합된 이미지 프레임들을 제공하지만, 회전과 병진(translation)을 포함하는 카메라의 복잡한 움직임은, 이미지들을 정렬하기 위한 중요한 처리를 요구할 수 있으며, 계산에 관하여 비용이 많은 드는 이미지의 업 스케일링(up scaling)을 요구할 수 있다. 게다가, 회전과 병진을 포함하는 복잡한 움직임의 경우, 알려진 방법 및 시스템은 보상될 수 없는 오정렬(misalignments)을 초래할 수 있다.

본 발명은 위에서 언급한 유형의 개선된 이미지 처리방법 및 시스템을 제공하는 것을 목적으로 한다.

이 때문에 본 발명에 따른 이미지 처리 방법은,

이미지 프레임들을 블럭들로 분할하는 단계,

각 블럭의 상대적인 움직임을 나타내는 블럭 움직임 벡터를 계산하는 단계,

계산된 블럭 움직임 벡터에 따라서 각 블럭을 재위치시키는 단계, 및 결합된 이미지 프레임을 얻기 위해 결합된 블럭들을 형성하기 위해 블럭들을 결합하는 단계,를 특징으로 한다.

복수개의 이미지 프레임들로부터 결합된 이미지를 형성하기 위한 이미지 처리 시스템은, 제 1 이미지의 픽셀값들의 어레이와, 하나의 그 이상의 이미지의 픽셀값들의 어레이를 적어도 로딩하기 위한 배열을 포함하며, 상기 이미지 처리 시스템은, 상기 이미지 프레임들의 적어도 일부의 상대적인 움직임을 나타내는 움직임 벡터를 계산하는 단계, 계산된 움직임 벡터에 따라서 이미지 프레임들의 적어도 상기 일부를 재위치시키는 단계, 그리고 결합된 이미지 프레임을 형성하기 위해 상기 이미지 프레임들을 결합하는 단계, 를 수행하도록 구성된다.

본 발명에 따르면, 상기 이미지 처리 시스템은, 상기 이미지 프레임들을 블럭들로 분할하고, 각 블럭의 상대적인 움직임을 나타내는 블럭 움직임 벡터를 계산하고, 계산된 블럭 움직임 벡터에 따라서 각 블럭을 재위치시키고, 그리고 결합된 이미지 프레임을 얻기 위해 결합된 블럭들을 형성하기 위하여 블럭들을 결합하도록, 더 구성된다.

이 방식으로, 방법과 시스템이 얻어지는데, 여기서 이미지는, 블럭들로 하향 분할되며, 블럭 움직임 벡터가 각 블럭에 대하여 계산된다. 적어도 제 2 이미지 프레임의 블럭들은, 제 1 이미지 프레임의 블럭들과 정렬되기 위해 움직이며, 이후, 블럭들은, 고화질을 가지는 결합된 이미지 프레임을 얻기 위해 결합된다. 본 발명의 방법은, 매우 정확한 복잡한 모델들로 하여금 전체 이미지에 대하여 계산되는 것을 요구하는 것이 아니라, 더 단순한 움직임 모델들로 하여금 이미지의 특정 영역들에서 계산되도록 허용한다. 정렬의 목적으로 이미지 프레임을 업-스케일링하는 것이 필요하지 않다.

도 1은, 예시적인 디지털 카메라의 레이아웃을 개략적으로 도시한 도,
도 2는, 카메라에서의 이미지 캡쳐링 장치의 몇몇 구성요소들을 매우 개략적으로 도시한 도,
도 3은, 이미지 프레임들을 캡쳐링하고 결합된 최종 이미지를 형성하는 방법을 도시한 흐름도, 그리고,
도 4는, 블럭들로 분할된 제 1 이미지 및 제 1 이미지의 블럭들과 정렬된 제 2 이미지의 2개의 블럭들을 개략적으로 도시한 도.

지금부터, 본 발명은, 첨부된 도면들을 참조하여 더 상세하게 설명될 것이다.

여기서 개략적으로 설명된 방법의 맥락으로 사용가능한 이미지 처리 시스템의 일 예는 디지털 카메라(1)의 일부이다. 이미지 처리 시스템 및 방법의 응용의 다른 예들은, 복사기, 스캐닝 장치, 및 개인용 컴퓨터 또는 워크스테이션, 을 포함한다.

상기 디지털 카메라(1)는, 화면(scene)의 하나 또는 그 이상의 대상들에 포커스하기 위한 렌즈 시스템(2)을 포함한다. 셔터(3)가 개방되었을 때, 상기 화면은 어퍼쳐(4)를 통해 이미지-캡쳐링 장치(6)의 감광 영역(photosensitive area: 5)(도 2)에 투사된다. 셔텨 시간은, 어퍼쳐의 직경처럼, 제어가능하다. 상기 셔터(3)에 대한 대안으로서, 또는 추가적으로, 이미지 캡쳐링 장치는 동일한 효과(전자 셔터)을 제공할 수 있도록 전자적으로 제어될 수 있다. 상기 이미지 캡쳐링 장치(6)는 CMOS(Complementary Metal-Oxide Semiconductor) 기술에서 이행되는 장치, 또는 CCD(Charge Coupled Device) 센서일 수 있다.

도 2를 참조하면, 상기 감광 영역(5)은, 명료성을 위해 9개만이 도시된, 픽셀 셀들(7a-i)에 의해 점유된 영역들로 분할된다. 각 픽셀 셀(7)은, 그것이 상기 감광 영역(5) 내에서 점유하는 영역이 노출되는 광의 강도를 나타내는 신호를 생성하기 위한 장치를 포함한다. 상기 픽셀 셀들(7a-i)을 점유하는 상기 장치들은, 일반적으로, 하나의 집적회로의 구성요소들로서 제공된다는 것이 주지된다. 장치에 의해 생성된 신호의 적분(integral)이, 노출 동안, 예를 들어, 캐패시터 내의 광전류(photocurrent)의 축적에 의해 형성된다. 노출 시간 간격의 기간 동안 상기 감광 영역(5)의 노출에 이어서, 생성된 신호들의 적분(integral)들의 값들은, 행선택 회로(8) 및 열선택 및 독출회로(9)에 의해 독출된다.

간단히 하기 위해, 본 설명은 칼라 이미지들이 캡쳐되는 방법에 대해서는 집중되지 않을 것이라는 것이 주지된다. 알려진 어떠한 유형의 기술, 예를 들어, 칼라 필터들, 상기 이미지 캡쳐링 장치(6)의 감색(color sensitive) 변형 예, 등이 사용될 수 있다는 것이 단지 관찰된다. 이와 관련해서, 상기 감광영역(5)이 이미지 캡쳐링 장치에 포함되어 있는 집적회로의 표면 영역이 될 필요가 없으며, 또는, 적어도 모든 칼라 구성성분들을 위해서는 그럴 필요가 없다는 것이 또한 관찰된다. 또한, 본 출원에서, 이미지 프레임들은 순서적으로 캡쳐되는 것으로 할 것이지만, 이것이 실시예들을 배제하지 않으며, 여기서, 상이한 칼라 구성성분들의 이미지 프레임들은 순서대로 캡쳐됨으로써, 하나의 칼라 구성성분을 상세하게 보여주는 '순서적'으로 캡쳐된 이미지 프레임들은, 다른 칼라 구성성분을 상세하게 보여주는 것들과 교번적이다.

열선택 및 독출회로(9)의 출력은, 하나 또는 그 이상의 아날로그 신호들의 형태로, 아날로그-디지털 컨버터(A/D 컨버터: 10)로 제공된다. 상기 A/D 컨버터(10)는, 상기 이미지 캡쳐링 장치(6)로부터 수신된 신호들을 샘플링하고 양자화하며(quantise), 즉, 상기 A/D 컨버터(10)에 의한 출력으로서 제공된 디지털 단어들의 해상도의 비트들의 수에 의해 결정되는 수만큼의, 이산적인 레벨들을 가지는 스케일로 그것을 기록한다. 상기 A/D 컨버터(10)는 캡쳐된 이미지 프레임을 인코딩하는 픽셀 값들의 어레이를 출력으로서 제공한다.

디지털 신호 처리기(Digital Signal Processor:DSP: 11)는 픽셀들간의 보간(interpolation), 선택적으로, 이미지의 압축과 같은 그러한 특징들을 수행한다. 노출 시간 간격 동안의 이미지 캡쳐링 장치의 각 노출은 적어도 하나의 프레임을 가져온다.

상기 디지털 카메라(1)는, 캡쳐된 이미지들 또는 이미지 프레임들을 인코딩하는 이미지 데이터를 저장하기 위한 저장장치(12)를 포함한다. 상기 저장장치는 일반적인 어떠한 유형의 저장장치, 예를 들어, 내장 플래쉬 메모리, 삽입형 플래쉬 메모리 모듈들, 플로피 디스크를 가지는 디스크 드라이브, PCMCIA-포맷 하드 디스크, 또는 광학 디스크 드라이브, 일 수 있다.

마이크로프로세서(13)가, 비휘발성 메모리, 본 예에서는, ROM(read-only memory: 14)에 저장되어 있는 지시들을 실행함으로써, 상기 디지털 카메라(1)의 동작을 제어한다. 상기 ROM(14) 내의 지시들은, 몇몇 실시예들에서는 상기 DSP(11)에 의한 실행을 위해 프로그램화된 루틴들(routines)과 협력하여, 상기 디지털 카메라(1)로 하여금 본 출원에서 개괄적으로 설명된 이미지 처리 및 캡쳐링 방법들을 실행할 수 있게 한다.

이롭게는, 상기 마이크로프로세서(13)는, 이미지 압축 알고리즘의 적어도 일부가 하드웨어적으로 이행되는 코프로세서(co-processor: 15)와 통신한다. JPEG-표준에 따라 이미지들을 압축하기 위한 알고리즘들이, 예를 들어 이용가능하다. 압축 알고리즘의 일부로서, 이미지 데이터는 공간 주파수 도메인으로 변환된다. 상기 코프로세서(15)는, 대부분의 경우에, 이산 코사인 변환(Discrete Cosine Transform:DCT)을 이용하여, 이 변환을 적어도 실행한다.

상기 디지털 카메라(1)의 동작 조건들 및 셋팅들의 표시들은, 출력장치(16), 예를 들어, 액정 디스플레이, 가능하다면, 소리-생성 장치(따로 도시하지 않음)와의 협력하여, 제공된다.

입력장치(17)가, 디지털 카메라의 사용자가 명령어들을 제공하기 위한 제어들의 대표적인 것으로서 개략적으로 도시되어 있다. 또한, 도 1에 도시된 디지털 카메라(1)는, 하나 또는 그 이상의 플래쉬 조명의 소스들에 적절한 구동신호들을 제공하기 위한 플래쉬 구동회로(18)를 포함한다. 도시된 디지털 카메라(1)는, 상기 디지털 카메라(1)의 움직임 그리고 그에 따른 이미지 캡쳐링 장치(6)의 움직임을 나타내는 신호를 제공하기 위한 움직임 센서(19)를 또한 포함한다. 또한, 상기 디지털 카메라(1)는, 노출 미터링 장치(20)를 포함한다. 상기 노출 미터링 장치(20)의 목적은, 주변의 광의 강도를 측정함으로써, 마이크로프로세서(13)가, 아래에서 상세하게 설명하는 바와 같이, 각 캡쳐된 이미지 프레임에 대한 노출 시간 간격을 포함하는, 노출을 결정하는 셋팅들에 대한 정확한 값들과 협력하여, 어느 연결된 플래쉬에 의해 방사될 광의 강도를 결정할 수 있도록 하기 위함이다.

상기 픽셀셀들(7a-i)에 의해 점유된 영역들의 밀도가 캡쳐된 이미지 프레임의 최대 도달할 수 있는 공간 해상도를 결정한다는 것이 주지될 것이다. 독출시간은 픽셀셀들의 수에 의존한다. 그것은, 각행이 열선택 회로(8)를 이용하여 순서대로 선택되므로, 도 2에 도시된 것과 같이 실시예들에서는 상대적으로 긴 시간일 수 있으며, 그에 따라, 열선택 및 독출회로(9)는, 그 행에서의 픽셀셀들에 있어서의 사진장치들에 저장된 축적된 광전하의 값들을 감지한다. 감광영역을 반복적으로 노출하고 이미지 프레임을 캡쳐링 할 때 필요한 전체 시간을 감소시키기 위해, 공간 해상도는 노출 사이에 상이한 값으로 설정될 수 있다.

일 실시예에서, 상기 마이크로프로세서(13)는, 클러스터 영역(21) 당 독출된 하나의 픽셀값이, 상기 클러스터 영역(21) 내에 놓여 있는 픽셀셀들(7)의 하나에서 형성된 신호의 적분(integral)을 나타내는 방식으로, 상기 이미지 캡쳐링 장치(6)를 제어한다. 본 실시예는, 그것이 어느 유형의 이미지 캡쳐링 장치(6)와 사용될 수 있다는 장점을 가진다.

바람직한 실시예에서, 상기 이미지-캡쳐링 장치(6)는, 다중 픽셀셀들의 출력들을 "저장"(bin)하는 능력을 가진다. 본 실시예에서, 상기 마이크로프로세서(13)는, 각 픽셀값이 동일하게 정의된 클러스터 영역(21)을 점유하는 픽셀셀들에서의 적어도 2개의 장치에 의해 생성된 신호들의 합의 적분(integral)을 나타내는 방식으로, 이미지-캡쳐링 장치(6)가 픽셀값들의 어레이(각 값은 정의된 클러스터 영역들(21)의 하나와 관련됨)를 생성하도록 지시한다. 본 도시된 실시예에서, 이것은, 하나의 클러스터 영역(21)에 대한 픽셀값은, 도시된 픽셀셀들(7a-7i) 9개 모두에 의해 생성된 신호의 적분(integral)들의, 합, 또는 대안적으로는 평균인 것을 의미할 수 있다. 본 실시예는, 그것이 감도(sensitivity)를 증가시키므로, 선호된다. 실제로, 각 픽셀값은, 단지 하나의 픽셀셀(7)에 의해 점유된 영역 대신에, 정의된 클러스터 영역(21)의 전체에 떨어진 광의 량을 나타낸다. 따라서, 더 작은 광속들(light fluxes)이 검출가능하다. 또한, 저장하는 것(binning)은 노이즈의 량을 감소시키며, 즉, 더 높은 신호 대 잡음비(Signal-to-Noise Ratio: SNR)와 함께 낮은 해상도 이미지를 유도한다. 저장능력은 하드웨어적으로 이행되는 이미지 캡쳐링 장치의 기능이므로, 저장하는 것이 분명하게 독출시간에 더해지지 않는다. 저장하는 것은 적은 수의 픽셀들이 독출되도록 하므로, 독출시간은 실제로 줄어든다. 바람직하게는, 최고 해상도에서 캡쳐되는 이미지 프레임들의 수는, 낮은 공간 해상도에서 캡쳐된 이미지 프레임들의 수와 같거나, 더 바람직하게는, 보다 적다. 그러한 일련의 이미지 프레임들을 기초로 형성된 결합된 최종 이미지는, 양호한 SNR을 가질 것이다.

일 실시예에서, 이미지를 캡쳐하라는 명령을 사용자로부터 수신하면, 상기 마이크로프로세서(13)는 상기 디지털 카메라(1)가 일련의 단계들(22-25)를 수행하도록 제어한다. 상기 디지털 카메라(1)의 사용자는, 플래쉬광의 량, 어퍼쳐(4)의 직경, 및 픽셀셀들(7) 내의 사진장치들의 감도, 를 결정하는 셋팅들과 함께, 결합된 최종 이미지를 위한 바람직한 노출시간을 입력할 수 있다. 대안적인 실시예들에서, 마이크로프로세서는, 노출 미터링 장치(20)에 의한 신호 출력을 이용하여, 이들 값들 중 하나 또는 그 이상을 자동적으로 결정하며, 가능하다면, 값들의 하나 또는 그 이상의 미리 정의된 조합들을 결정한다. 이어서, 상기 마이크로프로세서(13)는, 결합된 최종 이미지를 실제로 캡쳐하라는 명령을 수신하면, 다수의 이미지 프레임들을 캡쳐링하는 제 1 단계(22)를 실행한다. 이 단계(22)는, 결합된 최종 이미지를 위한 바람직한 노출시간을 찾는 단계(retrieving)와, 캡쳐될 이미지 프레임들의 수를 결정하는 단계와, 각 이미지 프레임에 대하여, 이미지 프레임에 적용가능한 노출수준을 결정하는 노출 셋팅들을 계산하는 단계를, 포함한다. 상기 셋팅들은, 프레임에 대한 노출 시간 간격을 포함한다. 바람직하게는, 다른 셋팅들이, 합쳐서, 결합된 최종 이미지를 위한 바람직한 노출시간보다 짧은, 이미지 프레임들을 위한 노출 시간 간격들을 가져오도록 결정된다. "저장하기"가 수행되는 실시예는, 저장하기가 감도를 증가시키므로, 이미지 프레임들에 적용가능한 노출 시간 간격에 있어서의 경감을 허용한다는 것이 주지된다. 실제로, '저장하기'는 광-전기 신호의 별도의 증폭의 도입을 가져온다. 상기 마이크로프로세서(13)는, 이롭게는, 이것을 고려한다. 이것은, 공간 해상도값, 즉, '저장하기'의 량에 의존하여 낮은 공간 해상도 값에서 이미지 프레임에 적용가능한 노출 시간 간격의 길이를 계산한다.

이미지 프레임들에 적용가능한 노출 수준들을 결정하는 셋팅들을 계산할 때, 상기 마이크로프로세서(13)는, 바람직하게는, 국제특허출원 PCT/EP04/051080에 개괄적으로 설명된 방법들의 하나 또는 그 이상을 이행한다. 즉, 그들은, 결합된 최종 이미지를 위하여 바람직한 것으로 결정된 전체 노출 수준이 이미지 프레임들에 걸쳐서 고르지 않게 분포되도록 계산된다.

이미지 프레임들이 캡쳐되는 제 1 단계(22)에 이어서, 이미지 프레임들을 인코딩하는 픽셀값들의 어레이들이 제 2 단계(23)에서 캐시에 저장된다(cached). 제 2 단계(23)에 이어서, 그들은 제 3 단계(24)에서 정렬되고 처리된다. 제 3 단계에서 도출된 결합된 최종 이미지는 최종단계(25)에서 저장장치(12)에 저장된다. 현재의 설명은, 상기 디지털 카메라(1)가 단계들(22-25) 모두를 수행한다는 가정하에, 계속 진행될 것이지만, 제 3 및 제 4 단계들(24, 25)은, 별도의 이미지 처리 시스템, 예를 들어, 개인용 컴퓨터 또는 워크스테이션에서 수행될 수 있다. 그 경우, 제 2 단계는, 생성된 필셀값들의 어레이들을 저장장치(12)에 저장하도록 수행하는 단계와 또는 그들을 데이터 링크(미도시)를 통해 컴퓨터로 전달하는 단계를 수반할 수 있다.

본 발명은, 특히, 제 3 단계(24)에서 수행되는 정렬(alignment)에 관한다. 회전 및 병진을 포함하는, 디지털 카메라(1)의 복잡한 움직임이 있는 경우, 국제특허출원 PCT/EP04/051080에 설명된 바와 같이, 전역 움직임 벡터(global motion vector)에 의한 이미지 프레임들의 시퀀스의 정렬은, 전체 이미지에 걸쳐서 정확한 정렬을 제공하지 않을 수 있다. 본 발명의 이미지 처리방법은, 2개의 이미지 프레임들의 시퀀스로부터 시작하여 설명될 것인데, 바람직하게는, 제 1 이미지 프레임은 고해상도 이미지 프레임이며, 제 2 이미지 프레임은 저해상도 이미지 프레임이다. 그러나, 사용된 이미지 프레임들의 시퀀스는, 어떠한 다른 수의 이미지 프레임들을 포함할 수 있으며, 이미지 프레임들은 동일한 해상도를 가질 수 있다.

도 4는, 예를 들어 16x16 픽셀들의 초기 사이즈를 가지는 블럭들(27)로 분할된 제 1 이미지 프레임(26)을 매우 개략적으로 도시한다. 제 2 이미지 프레임은, 동일한 사이즈의 블럭들(28)로 분할된다. 도 4에서, 제 2 이미지 프레임들의 2개의 블럭들(28)이 도시되며, 이 블럭들은, 본 발명의 방법을 이용하여, 제 1 이미지 프레임(26)의 대응하는 블럭들(27)과 정렬된다. 설명된 정렬 처리에서, 고해상도 이미지 프레임(26)의 블럭들(27)은 서로에 상대적으로 고정된 채 유지된다. 저해상도 이미지 프레임의 블럭들(28)은, 고해상도 이미지 프레임의 블럭들(27)과 정렬되기 위하여 움직인다. 블럭들(28)의 움직임의 량을 결정하기 위해, 각각이 블럭들(28)의 각각의 상대적인 움직임을 나타내는 블럭 움직임 벡터들이, 이미지 프레임들을 블럭들(27, 28)로 분할한 후에, 계산된다. 각 블럭(28)은, 대응하는 계산된 블럭 움직임 벡터에 따라서 움직이거나 또는 재위치되며, 블럭들(27, 28)은 결합된 이미지 프레임을 제공하는 결합된 블럭들을 형성하기 위해 결합된다.

블럭들의 사이즈는, 보상을 필요로 하는 편차의 양에 의존한다. 제 1 실시예에서, 전체 이미지에 걸쳐서 움직임 벡터의 평균에 대한 편차 또는 분포는 검사될 수 있다. 이미지에 걸쳐서 움직임 벡터에서의 상당한 편차가 있다면, 블럭 사이즈는 감소될 수 있다. 전역 움직임 벡터가, 위에서 언급된 국제특허출원에 설명된 방법을 이용거나, 또는 RANSAC으로 알려진 알고리즘 또는 다른 적절한 알고리즘에 의해 결정될 수 있다. 움직임 벡터에서의 편차는, RANSAC 알고리즘의 일부로서 이용가능한, 샘플 블럭들을 기준으로서 취하여, 전역 움직임 벡터에 대하여 각 샘플 블럭에 대한 벡터의 값을 검사하는 것에 의해, 결정된다. 편차가 크면, 블럭들의 사이즈가 감소된다.

대안적인 실시예에서, 블럭 움직임 벡터들이 결정될 수 있으며, 블럭 A에 대한 벡터가 블럭 B에 대한 벡터와 상당히 다른 경우, 블럭 사이즈는 감소되어 더 정교한 정렬을 허용한다.

본 발명의 다른 변형 예에서, 이미지에 걸쳐 2 개의 프레임들 간의 차이의 정도가 체크된다. 이것은, 블럭들의 정렬 후에 픽셀값들을 비교함으로써, 블럭에서 블럭으로 측정될 수 있다. 블럭에 대한 차이의 정도가 특정 문턱값보다 크다면, 블럭들은 더 작은 블럭들로 분할될 수 있으며, 정렬은 더 작은 블럭들에 대하여 다시 계산된다.

편차의 양이 블럭들의 크기가 감소될 필요가 있다는 것을 보여주는 경우, 전체 이미지에 걸쳐서 모든 블럭들의 크기를 감소시키거나, 블럭들 간의 편차가 사용된 문턱값을 초과하는 블럭들의 일부의 사이즈만을 감소시키는 것이 가능하다는 것이 주지된다. 또한, 편차의 양을 체크하기 위한 상이한 방법들의 어떠한 조합도 사용될 수 있다는 것이 주지된다.

편차의 양이 블럭들(27, 28)의 최초 사이즈 또는 감소된 사이즈를 이용하여 보상될 수 있다는 것이 결정되었을 때, 블럭 움직임 벡터들은, 그들이 편차의 양을 체크하도록 아직 결정되지 않았을 경우에, 계산된다. 제 1 실시예에 따르면, 블럭 움직임 벡터들은, 단일 또는 전역 움직임 벡터와, 단일 움직임 벡터와 관련된 이미지의 포인트에 대한 각 블럭들(27, 28)의 위치, 를 이용하여 계산될 수 있다. 각 블럭 움직임 벡터는, 이미지 프레임의 회전에 의해 야기된 각 블럭의 오프셋을 계산함으로써, 전역 움직임 벡터로부터 보간된다. 특정 각만큼의 회전은, 회전의 각과 이미지 프레임의 회전dml 포인트로부터의 블럭의 거리에 의해 결정되는 x 및 y 도메인에서의 오프셋을 가져온다.

제 2 방법에서, 블럭 움직임 벡터는, 위에서 언급된 국제특허출원에 따른 방법 또는, RANSAC 또는 LMS(least mean squares) 알고리즘과 같은 알려진 방법을 이용함으로써, 블럭들(28)의 각각에 대하여 계산된다.

도 4에 개략적으로 도시된 바와 같이, 블럭들(28)을 재위치시키는 것은, 그들의 경계들에서 블럭들(28)의 중첩(overlap)을 가져올 수 있다. 경계 영역들에서의 픽셀들 간의 오정렬으로 인해 발생될 수 있는 문제들은, 여러 방식으로 다루어질 수 있다.

제 1 선택으로서, 특히 제 2 및 가능한 그 이상의 이미지들이 낮은 해상도를 가지는 경우들에 있어서, 경계들에서 픽셀들의 오정렬의 가시적인 영향들은 없을 것이라는 것이 가정될 수 있다. 오정렬의 량이, 경계 영역들에서 픽셀들의 픽셀값들을 비교함으로써 체크될 수 있다. 오정렬의 량이 문턱값을 초과하는 경우, 이행들(transitions)이 가시적이지 않은 것을 보증하기 위해 블럭들의 사이즈를 감소시키는 것으로 결정될 수 있다.

제 2 선택으로서, 경계 영역들에서의 픽셀값들은, 다음과 같이 계산될 수 있다. 경계 영역들에서의 각 픽셀은, 하나의 블럭에 의해 예견된 제 1 값과, 다른 블럭에 의해 예견된 제 2 값을 가질 것이다. 최종 픽셀값이, 2개의 픽셀값들의 평균을 취함으로써 계산된다. 4개의 블럭들의 코너들에서, 픽셀들은, 각각이 코너에서 만나는 블럭들의 하나와 대응하는, 4개의 예견된 값들을 가질 수 있다. 최종 픽셀값이 4개의 예견된 픽셀값들의 평균으로서 다시 계산된다.

이 평균화 선택의 개선으로서, 블럭 내의 픽셀의 위치에 따라 평균에 가중치를 부여하는 것이 가능하다. 예를 들어, 블럭 A로의 5개의 픽셀들에 더 근접한, 블럭들 A와 B간의 경계에서의 픽셀은, 블럭 A와 관련된 픽셀값들에 90% 가중치가 부여될 것이다. 이것은 블럭 B와의 경계선에서는 50%까지 그리고 블럭 B로의 5개의 픽셀들은 10%까지 감소시킬 것이다.

일반적으로, 2개의 인접한 블럭들의 중심들로부터 등거리인 어느 픽셀들이 2개의 예견된 값들의 평균값을 부여받는지에 따라서, 알고리즘이 사용될 수 있다. 픽셀이 하나의 블럭의 중심에 근접하고 다른 블럭의 중심과는 더 떨어져서 놓여 있으므로, 평균은 거리의 비율에 따라서 가중치가 부여된다.

설명된 방법은, 고도로 정확한 복잡한 모델이 전체 이미지에 대하여 계산되는 것을 요구하기보다는, 더 단순한 움직임 모델들이 이미지의 특정 영역들에서 계산되는 것을 허용한다. 또한, 피사체의 이미지에 움직임이 있는 경우, 이 움직임은, 각 개별 블럭에 대한 움직임이 피사체 움직임을 보상하기 위해 다르게 이루어질 수 있으므로, 설명된 방법을 이용하여 보상될 수 있다.

워딩 움직임 벡터가 하나 또는 그 이상의 픽셀들의 어레이의 움직임을 설명하는 변인들의 어떠한 조합으로서 이해될 것이라는 것이 주지된다.

본 발명은 상기의 실시예들로 제한되지 않으며, 상기 실시예들은 본 발명의 범주내에서 여러 방식에 의해 변형될 수 있다.

Claims

이미지 정렬을 위한 이미지 처리방법에 있어서,
적어도 2개의 이미지 프레임들의 시퀀스를 제공하는 단계;
상기 이미지 프레임들 각각의 적어도 일부 부분간의 상대적인 움직임을 나타내는 움직임 벡터를 계산하는 단계;
계산된 움직임 벡터에 따라서 상기 이미지 프레임들 내의 상기 일부 부분을 적어도 재위치시키는 단계;
결합된 이미지 프레임을 형성하기 위해 상기 이미지 프레임들을 결합하는 단계; 를 포함하며,
상기 이미지 프레임들을 블럭들로 분할하는 단계;
상기 각 블럭들간의 상대적인 움직임을 나타내는 블럭 움직임 벡터를 계산하는 단계;
계산된 블럭 움직임 벡터에 따라서 상기 각 블럭을 재위치시키는 단계; 및
결합된 이미지 프레임을 얻기 위해 결합된 블럭들을 형성하기 위해 상기 블럭들을 결합하는 단계;를 포함하며,
상기 이미지 프레임들은, 상기 이미지 프레임들의 움직임 벡터에서의 편차의 양에 따라 결정된 사이즈를 갖는 블럭들로 구성되는 것을 특징으로 하는 이미지 처리방법.
삭제
제 1 항에 있어서,
상기 편차의 양은, 전역 움직임 벡터의 평균으로부터의 편차를 결정하는 것에 의해 결정되는데, 여기서 상기 편차의 양이 문턱값을 초과하는 경우, 상기 블럭들의 사이즈는 최초 사이즈에 대하여 감소되는, 이미지 처리방법.
제 1 항에 있어서,
상기 이미지 프레임들은, 최초 사이즈의 블럭들로 분할되는데, 여기서, 상기 블럭 움직임 벡터는, 최초 사이즈의 적어도 복수 개의 블럭들에 대하여 결정되며, 상기 블럭 움직임 벡터들 간의 차이는, 상기 편차의 양의 표현으로서 이용되며, 여기서 상기 편차의 양이 문턱값을 초과하는 경우, 상기 이미지 프레임들은 감소된 사이즈의 블럭들로 분할되는, 이미지 처리방법.
제 1 항에 있어서,
상기 이미지 프레임들의 시퀀스의 대응하는 블럭들의 픽셀값들은, 상기 편차의 양을 결정하기 위해 비교되며, 여기서, 상기 편차의 양이 문턱값을 초과하는 경우, 상기 이미지 프레임들은 감소된 사이즈의 블럭들로 분할되는, 이미지 처리방법.
제 3 항에 있어서,
전역 움직임 벡터는, 상기 이미지 프레임들에 대하여 결정될 수 있으며, 여기서, 블럭들의 각각에 대한 블럭 움직임 벡터는, 상기 전역 움직임 벡터와 상기 이미지 프레임들 내의 블럭의 위치에 의해 결정되는, 이미지 처리방법.
제 1 항에 있어서,
상기 재위치된 블럭들의 경계 영역들 내의 픽셀값들은, 오정렬을 확인하기 위해 체크되는데, 여기서, 상기 픽셀값들 간의 오정렬의 량이 문턱값을 초과하는 경우, 블럭들의 사이즈는 감소되며 결합된 이미지 프레임을 얻기 위한 단계들이 반복되는, 이미지 처리방법.
제 1 항에 있어서,
상기 재위치된 블럭들의 경계 영역들 내의 픽셀값들은, 평균화되는, 이미지 처리방법.
제 8 항에 있어서,
상기 재위치된 블럭들의 경계 영역들 내의 픽셀값들은, 가중치 알고리즘에 따라 평균화되는, 이미지 처리방법.
제 1 항에 있어서,
상기 적어도 2개의 이미지 프레임 중 제1 이미지는 고해상도 이미지이고, 여기서 상기 적어도 2개의 이미지 프레임 중 상기 제1 이미지와 다른 각각의 이미지의 블럭들은, 상기 고해상도 이미지의 블럭들에 대하여 재위치되는, 이미지 처리방법.
복수개의 이미지 프레임들로부터 결합된 이미지 프레임을 형성하기 위한 이미지 처리 시스템으로서, 상기 이미지 처리 시스템은, 제 1 이미지의 픽셀값들의 어레이와, 하나의 그 이상의 이미지의 픽셀값들의 어레이를 적어도 로딩하기 위한 배열을 포함하며, 상기 이미지 처리 시스템은:
상기 이미지 프레임들 각각의 적어도 일부 부분간의 상대적인 움직임을 나타내는 움직임 벡터를 계산하는 제1 계산 모듈;
계산된 움직임 벡터에 따라서 이미지 프레임들의 적어도 상기 일부 부분을 재위치시키는 재위치 모듈; 및
결합된 이미지 프레임을 형성하기 위해 상기 이미지 프레임들을 결합하는 제1 결합 모듈;을 포함하고, 여기서, 상기 이미지 처리 시스템은;
상기 이미지 프레임들을 블럭들로 분할하는 분할 모듈;
각 블럭들간의 상대적인 움직임을 나타내는 블럭 움직임 벡터를 계산하고, 계산된 블럭 움직임 벡터에 따라서 각 블럭을 재위치시키는 제2 계산 모듈; 및
결합된 이미지 프레임을 얻기 위해 결합된 블럭들을 형성하기 위하여 상기 이미지 프레임들의 움직임 벡터에서의 편차의 양에 따라 결정된 사이즈를 갖는 블럭들을 결합하는 제2 결합 모듈;을 더 포함하는 이미지 처리 시스템.
프로그래머블 처리장치(1)에 장착되었을 때, 상기 프로그래머블 처리장치로 하여금 제 1 항 및 제 3 항 내지 제 10 항 중 어느 한 항에 따른 방법을 수행할 수 있도록 구성된 컴퓨터 프로그램을 저장하는 기록 매체.
제 11 항에 따른 이미지 처리 시스템을 포함하는 디지털 카메라.