KR101098394B1

KR101098394B1 - 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법

Info

Publication number: KR101098394B1
Application number: KR1020067016529A
Authority: KR
Inventors: 테츠지로 콘도; 켄지 타카하시; 카즈시 요시카와; 타카노리 이시카와
Original assignee: 소니 가부시키가이샤
Priority date: 2004-03-01
Filing date: 2006-08-17
Publication date: 2011-12-26
Anticipated expiration: 2025-02-22
Also published as: WO2005084036A1; KR20060132911A; US8064522B2; US20060285596A1

Abstract

정밀도가 높은 평가값 테이블을 생성해서 정확한 움직임(動; motion) 벡터의 검출 처리를 가능하게 한 장치 및 방법을 제공한다. 대표점 화소의 상관(相關; correlation) 정보와, 주목(着目, 注目; interest) 화소와 주목 화소 근방 영역 화소의 화소값 차분(差分; difference) 데이터에 대응하는 플래그 데이터에 의거하는 플래그 상관 정보에 의거해서, 무게 계수(重係數; weighting factor) W를 산출하고, 산출한 무게 계수 W와, 화상 데이터의 복잡성(複雜性)을 나타내는 지표값(指標値; indicator value)으로서의 액티비티(activity) A에 의거하는 신뢰도 지수(信賴度指數; reliability index)를 생성, 혹은 대표점과 대표점 근방의 화소와의 움직임 유사성(類似性; similarity)에 의거하는 신뢰도 지수를 생성해서, 신뢰도 지수에 대응하는 평가값을 적산(積算; integrating)한 평가값 테이블을 생성한다. 또, 주목 화소 주변의 특징 화소의 위치 또는 화소값에 의거해서 상관 판정을 실행하고, 움직임 벡터의 결정 처리를 행한다.

Description

움직임 벡터 검출 장치 및 움직임 벡터 검출 방법 {MOTION VECTOR DETECTING APPARATUS AND MOTION VECTOR DETECTING METHOD}

본 발명은 움직임(動; motion) 벡터 검출 장치 및 움직임 벡터 검출 방법과 컴퓨터·프로그램에 관한 것이다. 더욱더 상세하게는, 동화상(動畵像; moving image) 데이터로부터의 움직임 벡터 검출 처리를 실행하는 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법과 컴퓨터·프로그램에 관한 것이다.

근년(近年; recent years)의 정보 처리 장치, 통신 단말의 고기능화(高機能化), 고속 통신 인프라의 정비, 또 DVD, Blu-ray 디스크 등의 고밀도 기록 매체의 보급(普及) 등에 따라서, 네트워크를 거친 동화상 데이터의 배신(配信; distribution, delivery), 혹은 고밀도 기록 매체를 이용한 동화상 데이터의 기억, 재생 등이 활발히 행해지게 되었다. 이와 같은 상황에 따라서, 동화상 데이터에 대한 데이터 처리, 예를 들면 부호화(符號化) 처리 등에서의 효율성이나 고속성의 향상이 요구되고 있다.

동화상 데이터의 고능률(高能率) 부호화에서의 움직임 보상형(補償型) 화상 부호화, 교통 감시 시스템 혹은 자율 주행(自律走行) 차량의 시각(視覺) 센서에서의 동물체(動物體; 움직이는 물체)의 검출 처리, 속도 검출 처리 등에서는, 화상 데이터 중(中)에 포함되는 각 물체의 움직임의 방향 및 크기(속도)를 검출하는 처리, 즉 움직임 벡터의 검출 처리가 필요하게 된다.

예를 들면, 움직임 보상형 화상 부호화 처리의 1예로서, 동영상(動畵; moving picture)의 고능률 부호화의 국제적 표준 방식인 MPEG(Moving Picture　Coding　Experts　Group) 방식이 제안되고 있지만, 이 MPEG 방식은 DCT(Discrete　Cosine　Transform)과 움직임 보상 예측 부호화를 조합(組合)한 부호화를 행하는 방식이다. 움직임 보상 예측 부호화에서는, 동화상 데이터를 구성하는 현(現; current)프레임과, 하나 앞의 이전(前; preceding) 프레임의 연속(連續) 프레임에서의 화상 신호 레벨의 상관(相關; correlation)을 검출하고, 검출한 상관에 의거해서 움직임 벡터를 구하고, 검출한 움직임 벡터에 의거하는 움직임 화상의 보정 처리를 행함으로써, 효율적인 부호화를 달성하고 있다.

움직임 벡터의 검출 방법의 하나로서, 블록 매칭(block matching)법(法)이 알려져 있다. 도 1을 참조해서, 블록 매칭법의 개요를 설명한다. 동화상을 구성하는 시간적으로 연속하는 프레임 화상, 예를 들면 도면에 도시하는 시간 (t)의 현프레임 [F_t](20)과 시간 (t-1)의 이전 프레임 [F_t-1](10)을 추출(抽出)한다. 프레임 화상의 1화면을 복수(複數)의 화소로 구성되는 작은 영역(이하, 블록이라고 칭(稱)한 다) m화소×n라인으로 분할한다.

현프레임 [F_t](20)을 참조 프레임으로 하고, 참조 프레임의 검사 블록 B_y(21)를, 소정의 서치 에리어(22) 내(內)에서 이동시키고, 이전 프레임 [F_t-1](10)의 기준 블록 B_x(11)과 가장 화소값 차분(差分; difference)이 적은, 즉 화소값이 가장 합치(合致)하는(가장 상관의 큰) 검사 블록을 검출한다. 이전 프레임 [F_t-1](10)의 기준 블록 B_x(11)이, 이 현프레임 [F_t](20)으로부터 검출한 상관이 높은 검사 블록의 위치로 움직였다고 추정(推定)한다. 이 추정된 움직임을 나타내는 벡터에 의거해서, 각 화소의 움직임 벡터를 구한다. 이와 같이, 블록 매칭법은 소정(所定)의 블록(m×n) 단위로, 프레임간(間)의 상관 판정(매칭 판정) 처리를 행하고, 움직임 벡터를 구하는 수법(手法)이다.

블록 매칭법에서, 움직임 벡터는 블록마다 구해진다. 각 블록의 상관, 즉 합치의 정도(程度)를 나타내는 평가값으로서는, 예를 들면 기준 블록 B_x 내의 복수의 화소와, 검사 블록 B_y 내의 복수의 화소와의 사이에서 공간적으로 동일(同一)한 위치의 화소끼리의 값을 감산(減算)해서 프레임 차(差)를 구하고, 산출한 프레임 차의 절대값을 적산(積算; integrating)함으로써 산출되는 프레임 차 절대값 합(和; sum)이 적용된다. 혹은, 프레임 차의 제곱합(二乘和; sum of square) 등을 사용하는 것도 가능하다.

그러나, 상술한 블록 매칭법은 서치 에리어(search area) 내의 모든 데이터 의 비교를 행하는 전탐색(全探索)이기 때문에, 검출에 요(要)하는 비교 회수(回數)가 매우 많아, 움직임 검출에 시간이 걸리는 결점이 있었다.

또, 블록 내에 움직임 부분과 정지(靜止; still) 부분이 포함되는 바와 같은 경우, 블록을 단위로 해서 검출된 움직임은, 정확하게는 블록 내의 개개의 화소의 움직임에 대응한다고는 할 수 없다. 이와 같은 문제는, 블록 사이즈의 설정에 의해 조정 가능하지만, 예를 들면 블록을 크게 하면, 연산량의 증대에 더하여, 블록 내의 복수 움직임의 문제가 발생하기 쉬워진다. 역(逆)으로, 블록 내에 복수의 움직임이 포함되지 않도록, 블록의 사이즈를 작게 한 경우에는, 매칭의 판단 영역이 작아지므로, 움직임 검출의 정밀도(精度)가 저하하는 문제가 생긴다. 즉, 블록 매칭을 행할 때, 기준 블록과 닮은 검사 블록, 즉 기준 블록과 상관이 높은 검사 블록이 다수(多數) 출현(出現)할 가능성이 높아진다. 이들은, 움직임에 기인(起因)하지 않는 것이 포함되기 때문이며, 움직임 검출의 정밀도가 저하한다. 예를 들면, 문자 텔롭(telop; television opaque projector)이 수평 또는 수직 방향으로 움직일 때에는, 반복(反復) 패턴의 영향이 나타나기 쉽다. 한자(漢字)의 문자 패턴의 경우에서는, 같은(同) 문자라도, 작은 부분으로 분할하면, 동일한 패턴으로 되는 일이 많다. 따라서, 블록 내에 복수의 움직임이 혼재하는 경우에는, 정확한 움직임을 구하는 것이 어렵다고 하는 문제가 있었다.

본 특허 출원에 관련된 출원인은, 예를 들면 특허 문헌 1에서, 연산량을 증대시키는 일 없이, 1화소마다의 움직임 벡터를 검출할 수 있고, 또한 오검출(誤檢出)을 방지한 움직임 벡터 검출 방법 및 검출 장치를 제안하고 있다.

특허 문헌 1에서 개시(開示)하고 있는 움직임 벡터 검출 처리의 포인트는, 화소 또는 블록마다 평가값을 산출해서 움직임 벡터를 결정하는 것이 아니라, 제1 스텝의 처리로서, 프레임의 한쪽에 복수 화소로 이루어지는 복수 블록을 설정해서, 각 블록의 대표점(代表点)을 설정하고, 각 대표점과 다른쪽의 프레임에 설정한 서치 에리어의 각 화소와의 상관을 조사하고, 상관 정보에 의거하는 평가값을 산출해서, 평가값에 의거하는 상관 정보로서의 평가값 테이블을 형성하고, 그 평가값 테이블로부터, 복수의 후보 벡터를 추출한다. 다음에, 제2 스텝의 처리로서, 추출한 후보 벡터로부터, 1화소마다 최량(最良)으로 생각되는 후보 벡터를 선택해서 대응지어서, 각 화소마다의 움직임 벡터로서 결정한다. 이와 같이,

평가값 테이블의 생성 처리,

평가값 테이블에 의거하는 후보 벡터의 선택 처리,

각 화소 대응의 움직임 벡터로서, 복수의 후보 벡터로부터 최적(最適)한 것을 대응짓는(對應付; 대응시키는) 처리

이상(以上)의 처리에 의해서, 각 화소마다의 움직임 벡터를 구하는 방식이다. 이 방식을, 이하(以下), 후보 벡터 방식이라고 칭(稱)한다.

후보 벡터 방식에 의한 움직임 벡터 검출 처리의 이점(利点)은, 평가값 테이블에 의거해서, 한정된 수(數)의 후보 벡터를 추출해 둠으로써, 연산량의 경감을 도모할 수 있는 것, 또 움직임 벡터의 오류 검출이 일어나기 쉬운 피사체의 경계 부분에서도, 미리 좁혀져(絞入; narrow, refine) 있는 후보 벡터 중에서, 각 화소에 대응하는 최량의 움직임 벡터를 판정하는 것이 가능해지는 것 등이 있다. 종래 는, 각 화소의 움직임 벡터를 프레임간의 화소의 차분 등을 평가값으로서 산출하고, 평가값을 프레임 전화소(全畵素)에 대해서 구하는 전탐색 처리를 실행하는 방식이 취해지고 있었지만, 후보 벡터 방식에서는, 미리 추려져 있는 후보 벡터 중에서, 각 화소에 대응하는 최량의 움직임 벡터를 판정하는 처리가 가능하므로, 전탐색 처리와 비교해서, 같은 평가값이 발생할 확률이 줄어들어, 오검출이 방지된다.

그러나, 평가값 테이블을 형성할 때의 처리는, 각 블록의 대표점을 설정하고, 각 대표점과 다른쪽의 프레임에 설정한 서치 에리어의 각 화소와의 상관을 조사하고, 상관 정보에 의거하는 평가값을 산출해서, 평가값을 적산하는 처리이다.

예를 들면, 대표점 화소 X와 서치 에리어 내에 포함되는 입력 화소 Y와의 차분 절대값이 어떤(certain, arbitrary) 임계값(threshold) TH 이하이면 적산 평가값으로서 설정한다. 즉,

｜X-Y｜〈TH

를 만족시키는 경우, 평가값 테이블의 대응 위치에 +1 카운트하고, 화면내의 모든 대표점의 연산 결과를 평가값 테이블에 더해넣음(足入; add)으로써 평가값 테이블을 생성한다.

평가값 테이블의 생성에 있어서, 대표점의 휘도 레벨과 서치 에리어 내에서의 입력 화소의 휘도 레벨만의 상관 판정을 행하고 있으므로, 도 2에 도시하는 바와 같은 현프레임(31)과 이전 프레임(30)을 이용해서, 움직임 벡터 검출을 위한 평가값 테이블을 생성하는 경우, 이전 프레임(30) 내의 대표점(38)에 대응하는 상관이 높은 화소, 즉 휘도 레벨이 거의 똑같은(等) 화소를 현프레임(31)에 설정된 서 치 에리어(32) 내에서 탐색해서, 평가값 테이블의 적산 카운트로 한다.

도 2의 우측에 도시하는 그래프는, 각각 이전 프레임(30)의 대표점(38)을 통과하는 X방향의 하나의 라인의 화소 레벨과, 현프레임의 서치 에리어(32) 내의 X방향의 하나의 라인의 화소 레벨을 나타내고 있다.

이전 프레임(30)의 대표점(38)의 화소 레벨=100으로 상관이 높은, 즉 화소 레벨이 보다 가까운 화소를 서치 에리어(32) 내로부터 탐색하면, 세 개의 화소(35, 36, 37)가 검출된다. 이들 세 개의 화소는, 어느것이나(모두) 상기 조건

｜X-Y｜〈TH

를 만족시키므로, 평가값 테이블에 대한 적산 포인트로서 설정된다. 그러나, 실제로는, 세 개의 화소(35, 36, 37) 중, 올바른(正; correct) 움직임 벡터에 대응하는 것은 화소(36) 뿐이며, 다른 두 개의 화소(35, 37)는 틀린(誤; incorrect, unintentional) 적산 포인트로서 평가값 테이블에 가산(加算)되게 된다.

이와 같이, 종래의 평가값 테이블의 생성에 있어서는, 틀린 정보에 의거하는 적산이 행해질 가능성이 있어, 평가값 테이블의 피크로서 나타내어지는 후보 벡터가 모두 올바르다고 판단할 수 없다. 종래의 평가값 테이블의 생성 프로세스에서의 문제점을 정리하면 이하와 같이 정리할 수가 있다.

(a) 검출한 대표점과의 상관에만 의거해서 +1 카운트하는 방식에서는, 평가값 테이블의 빈도(頻度)가 화상 내의 물체의 면적에 의존한다. 따라서 평가값 테이블로부터 화면 내에 존재하는 복수의 물체의 움직임 벡터를 검출하는 것이 곤란하게 된다.

(b) 평가값 테이블의 피크의 크기가 물체의 면적에 의존하게 되기 때문에, 물체의 면적은 작지만 화상 내에서는 눈에 띄는 물체, 예를 들면 텔롭 등의 후보 벡터의 피크가 작아져서, 그 후보 벡터를 판독출력(讀出; read out, reading)하는 것이 곤란하게 된다.

또, 후보 벡터에 의거해서, 각 화소 대응의 최종적인 움직임 벡터를 결정할 때에는, 블록 매칭 처리가 행해진다. 블록 매칭 처리는 이전 프레임의 주목(着目, 注目; interest) 화소의 근방(近傍; neighboring) 화소를 블록으로서 설정하고, 블록 내에 포함되는 복수 화소의 전체적인 상관을 검출하는 처리이다. 블록 매칭을 적용해서 정확(正確; exact)한 움직임 벡터의 결정 처리를 행하기 위해서는, 블록 사이즈를 크게 해서 정확한 상관 판정을 행하는 것이 필요하게 된다. 블록 사이즈를 크게 하면, 상관 산출을 위한 연산으로서 실행되는 차분 절대값 총합 연산과 같은 평가값의 계산량이 많아져서, 효율이 저하하고, 또 화소값을 보존유지(保持; hold, store)하기 위한 메모리도 크게 하는 것이 필요하게 되어, 하드웨어 규모가 커진다고 하는 문제점을 일으키게 한다.

[특허 문헌 1] 일본 특개(特開) 제2001-61152호 공보

[발명의 개시]

[발명이 해결하고자 하는 과제]

본 발명은 상술한 문제점을 감안해서 이루어진 것이며, 대표점 매칭 처리에 의거하는 평가값 테이블의 생성에 있어서, 대표점 뿐만 아니라 대표점 근방의 화소 레벨로서의 공간 파형(波形)을 고려(考慮)한 상관 판정 처리를 행함으로써, 보다 정밀도가 높은 평가값 테이블의 생성을 가능하게 하여, 움직임 벡터 검출을 보다 정확하게 실행하는 것을 가능하게 한 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법과 컴퓨터·프로그램을 제공하는 것을 목적으로 한다.

또, 본 발명은 대표점 매칭 처리에 의거하는 평가값 테이블의 생성에 있어서, 대표점 뿐만 아니라 대표점 근방의 화소가 대표점과 유사(類似)한 움직임을 가지는지 여부를 판정해서 상관 판정 처리를 행함으로써, 보다 정밀도가 높은 평가값 테이블의 생성을 가능하게 하여, 움직임 벡터 검출을 보다 정확하게 실행하는 것을 가능하게 한 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법과 컴퓨터·프로그램을 제공하는 것을 목적으로 한다.

또, 본 발명은 예를 들면 후보 벡터 방식에 의거하는 움직임 벡터 검출 처리에서, 복수의 후보 벡터로부터 각 화소 대응의 움직임 벡터를 결정할 때에 블록 매칭을 적용하지 않고, 정확한 움직임 벡터의 결정을 행하는 것을 가능하게 한 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법과 컴퓨터·프로그램을 제공하는 것을 목적으로 한다.

[과제를 해결하기 위한 수단]

본 발명의 제1 측면(側面; aspect)은,

동화상 데이터로부터 움직임 벡터를 검출하는 움직임 벡터 검출 장치이며,

시간축 상에서의 다른(異) 프레임간의 화소값 상관 정보에 의거해서 평가값 테이블을 생성하는 평가값 테이블 형성부와,

상기 평가값 테이블에 의거해서 동화상 데이터의 프레임 구성 화소에 대한 움직임 벡터를 검출해서 대응짓는 움직임 벡터 결정부를 가지고,

상기 평가값 테이블 형성부는,

시간축 상에서의 다른 프레임간의 상관 정보의 산출을, 한쪽의 프레임으로부터 선택한 대표점에 의거하는 대표점 매칭 처리에 의거해서 실행하는 화소 상관 연산부와,

상기 화소 상관 연산부의 연산 결과, 및 주목 화소와 주목 화소 주변(周邊; periphery)의 화소와의 화소값 차분값에 의거하는 연산 결과의 적어도 어느것인가(either, any one)의 결과를 적용해서 움직임의 신뢰도 지수(信賴度指數; reliability index)를 생성하는 무게 산출부(重算出部; weight calculating part)와,

상기 무게 산출부가 산출한 신뢰도 지수에 대응하는 평가값을 적산해서 평가값 테이블을 생성하는 평가값 테이블 산출부

를 가지는 것을 특징으로 하는 움직임 벡터 검출 장치에 있다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태(實施態樣; embodiment)에 있어서, 상기 주목 화소에 대응하는 상기 대표점과 그 대표점의 근방 대표점과의 움직임 유사성(類似性; similarity)을 검출하는 움직임 유사성 검출부를 더 구비하고, 상기 무게 산출부는, 상기 움직임 유사성 검출부의 검출 결과로서, 상기 대표점과 근방 대표점과의 움직임 유사성 있음이라는 판정에 의거해서, 상기 대표점과 근방 대표점과의 화소값 차분을 고려해서 움직임의 신뢰도 지수를 생성하는 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 무게 산출부는, 대표점간(代表点間)의 움직임 유사성 있음이라는 판정을 상기 움직임 유사성 검출부로부터 입력한 것을 조건으로 해서, 주목 대표점의 휘도 레벨：Pm, 유사 움직임 있음으로 판정된 N개(個)의 근방 대표점의 휘도 레벨：Pn에 의거해서, 상기 신뢰도 지수를 β로 하면, 아래 식,

[수학식 1]

에 의해서 산출하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 검출 장치는, 상기 화소 상관 연산부로부터의 대표점 매칭 처리에 의거하는 상관 유무(有無)의 판정 결과와, 상기 무게 산출부로부터의 신뢰도 지수를 입력하는 연산부를 더 가지고, 상기 연산부는, 상기 화소 상관 연산부로부터의 대표점 매칭 처리에 의거하는 상관 유무의 판정 결과와 상기 신뢰도 지수와의 가산 또는 승산(乘算; multiplication) 처리를 실행하고, 최종 평가값을 산출해서, 상기 평가값 테이블 산출부에 출력하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 무게 산출부는,

대표점간의 움직임 유사성 있음이라는 판정을 상기 움직임 유사성 검출부로부터 입력한 것을 조건으로 해서, 상기 신뢰도 지수를 이하의 파라미터, 즉

(a) 근방 대표점의 움직임의 일치수(一致數) 혹은 유사수(類似數)

(b) 움직임이 일치 혹은 유사한 대표점과의 공간 구배(句配; gradient, slope)

(c) 움직임이 일치 혹은 유사했을 때의 대표점간의 거리

상기 (a)∼(c)의 적어도 어느것인가를 반영한 값으로서 산출하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 평가값 테이블 형성부는, 상기 대표점이 정지 영역에 있는지 여부를 판정하는 대표점 정지 판정부를 더 가지고, 상기 무게 산출부는, 상기 대표점 정지 판정부에서, 상기 대표점이 정지 영역에 있다고 판정된 경우에, 상기 신뢰도 지수의 값을 0 또는 저하(低下)시켜 설정하는 처리를 실행하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 평가값 테이블 형성부는, 주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터를 생성하는 플래그 데이터 연산부와, 상기 플래그 데이터에 의거해서 프레임간의 플래그 데이터 상관 정보의 산출 처리를 실행하는 플래그 상관 연산부를 더 가지고, 상기 무게 산출부는, 상기 화소 상관 연산부의 연산 결과에 의거하는 화소 상관 정보, 및 상기 플래그 상관 연산부의 연산 결과에 의거하는 플래그 상관 정보의 적어도 어느것인가의 결과를 적용해서 무게 계수(重係數; weighting factor) W를 산출하고, 그 무게 계수 W에 의거하는 산출값으로서의 신뢰도 지수를 생성하고, 상기 대표점과 근방 대표점과의 화소값 차분을 고려한 신뢰도 지수와 상기 무게 계수 W에 의거하는 산출값으로서의 신뢰도 지수에 의거해서 새로운 신뢰도 지수 K를 산출하는 구성이며, 상기 평가값 테이블 산출부는, 상기 무게 산출부가 산출한 새로운 신뢰도 지수 K에 대응하는 평가값을 적산해서 평가값 테이블을 생성하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 주목 화소와 상기 주목 화소 주변의 화소와의 화소값 차분 데이터에 대응하는 플래그 데이터를 생성하는 플래그 데이터 연산부와, 상기 플래그 데이터에 의거해서 프레임간의 플래그 데이터 상관 정보의 산출 처리를 실행하는 플래그 상관 연산부를 더 구비하고, 상기 무게 산출부는, 상기 화소 상관 연산부의 연산 결과에 의거하는 화소 상관 정보, 및 상기 플래그 상관 연산부의 연산 결과에 의거하는 플래그 상관 정보의 적어도 어느것인가의 결과를 적용해서 무게 계수 W를 산출하고, 그 무게 계수 W에 의거하는 산출값으로서의 신뢰도 지수를 생성하는 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 플래그 데이터 연산부는, 주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터를, 화소값 차분 데이터보다 적은 비트 수로서 산출하는 처리를 실행하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 무게 산출 처리부는, 상기 화소 상관 연산부의 연산 결과에 의거하는 화소 상관 정보로부터 산출하는 무게 계수로서, 적어도 대표점 화소의 화소값과 상기 주목 화소 및 그 주변 화소로 이루어지는 상관 판정 대상(對象) 화소의 화소값의 차분에 의거해서 산출하는 값 W를 무게 계수 W로 하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 무게 산출 처리부는, 상기 화소 상관 연산부의 연산 결과에 의거하는 화소 상관 정보와, 상기 플래그 상관 연산부의 연산 결과에 의거하는 플래그 상관 정보로부터 산출하는 무게 계수로서, 대표점 화소의 화소값：X와 대표점 화소의 두 개의 인접(隣接) 화소의 화소값 차분 데이터에 의거하는 플래그 데이터：X_f0, X_f1로 하고, 상관 판정 대상 화소의 화소값 Y와 그 화소의 두 개의 인접 화소의 화소값 차분 데이터에 의거하는 플래그 데이터：Y_f0, Y_f1로 했을 때, X와 Y의 차분의 크기, X_f0과 Y_f0의 차분의 크기, X_f1과 Y_f1의 차분의 크기에 의해서 산출하는 값 W를 무게 계수 W로서 산출하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 무게 산출 처리부는, 화상 데이터의 복잡성(複雜性)을 나타내는 지표값(指標値; indicator value)으로서의 액티비티(activity) A를 산출하고, 그 산출 액티비티 A와, 적어도 대표점 화소의 화소값과, 상기 주목 화소 및 그 주변 화소로 이루어지는 상관 판정 대상 화소의 화소값의 차분의 크기에 의거해서 산출하는 무게 계수 W에 의거해서 신뢰도 지수를 산출하는 처리를 실행하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 검출 장치는, 상기 평가값 테이블에 의거해서 1이상의 후보 벡터를 추출하는 후보 벡터 추출부를 더 가지고, 상기 움직임 벡터 결정부는, 동화상 데이터의 프레임 구성 화소 각각에 대응하는 움직임 벡터를, 상기 후보 벡터로부터 선택해서 대응짓는 처리를 실행하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을(대응시킬) 주목 화소의 근방 영역으로부터 특징(特徵; featuring) 화소를 추출하고, 그 특징 화소에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을 주목 화소의 화소값과, 상기 후보 벡터에 의해서 지시(指示)되는 화소의 화소값과의 상관 판정을 실행해서, 상기 후보 벡터로부터 상관이 높은 것만을 선별(選別)하는 처리를 실행하는 임시 판정부(假判定部; tentative determining part)를 가지고, 상기 특징 화소에 의거하는 상관 판정 처리는, 상기 임시 판정부에 의해서 선별된 선별 후보 벡터만을 대상으로 한 처리로서 실행하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 특징 화소를 추출하고, 그 특징 화소의 위치 정보에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 특징 화소를 추출하고, 그 특징 화소의 화소값 정보에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 인접 화소와의 화소값 차분 절대값이 최대인 화소를 특징 화소로서 추출하고, 그 특징 화소의 위치 정보에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 주목 화소와의 화소값 차분 절대값이 최대인 화소를 특징 화소로서 추출하고, 그 특징 화소의 화소값 정보에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 복수의 특징 화소를 추출하고, 그 복수의 특징 화소에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 주목 화소와의 화소값 차분이 최대인 화소와 최소인 두 개의 화소를 특징 화소로서 추출하고, 그 두 개의 특징 화소에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 상기 두 개의 특징 화소의 위치 정보에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 주목 화소와의 화소값 차분이 최대인 화소와 최소인 두 개의 화소를 특징 화소로서 추출하고, 그 두 개의 특징 화소와 주목 화소를 포함하는 3화소에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 움직임 벡터 검출 장치의 1실시 형태에 있어서, 상기 움직임 벡터 결정부는, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 2점(点)의 특징 화소로서 추출하고, 그 두 개의 특징 화소와 주목 화소를 포함하는 3화소의 화소값에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 한다.

또, 본 발명의 제2 측면은,

동화상 데이터로부터 움직임 벡터를 검출하는 움직임 벡터 검출 방법이며,

시간축 상에서의 다른 프레임간의 화소값 상관 정보에 의거해서 평가값 테이블을 생성하는 평가값 테이블 작성 스텝과,

상기 평가값 테이블에 의거해서 동화상 데이터의 프레임 구성 화소에 대한 움직임 벡터를 검출해서 대응짓는 움직임 벡터 검출 스텝을 가지고,

상기 평가값 테이블 작성 스텝은,

시간축 상에서의 다른 프레임간의 상관 정보의 산출을, 한쪽의 프레임으로부터 선택한 대표점에 의거하는 대표점 매칭 처리에 의거해서 실행하는 화소 상관 연산 스텝과,

상기 화소 상관 연산 스텝에서의 연산 결과, 및 주목 화소와 주목 화소 주변의 화소와의 화소값 차분값에 의거하는 연산 결과의 적어도 어느것인가의 결과를 적용해서 움직임의 신뢰도 지수를 생성하는 무게 산출 스텝과,

산출한 신뢰도 지수에 대응하는 평가값을 적산해서 평가값 테이블을 생성하는 평가값 테이블 산출 스텝

을 가지는 것을 특징으로 하는 움직임 벡터 검출 방법에 있다.

또, 본 발명의 제3 측면은,

동화상 데이터로부터 움직임 벡터를 검출하는 컴퓨터·프로그램이며,

상기 평가값 테이블 작성 스텝은,

을 가지는 것을 특징으로 하는 컴퓨터·프로그램에 있다.

또한, 본 발명의 컴퓨터·프로그램은, 예를 들면 여러가지 프로그램·코드를 실행 가능한 컴퓨터·시스템에 대해서, 컴퓨터 판독가능(可讀; readable)한 형식(形式)으로 제공하는 기억 매체, 통신 매체, 예를 들면 CD나 FD, MO 등의 기록 매체, 혹은 네트워크 등의 통신 매체에 의해서 제공 가능한 컴퓨터·프로그램이다. 이와 같은 프로그램을 컴퓨터 판독가능한 형식으로 제공하는 것에 의해, 컴퓨터·시스템 상에서 프로그램에 따른 처리가 실현된다.

본 발명의 또 다른(他) 목적, 특징이나 이점은, 후술하는 본 발명의 실시예(example)나 첨부하는 도면에 의거하는 보다 상세한 설명에 의해서 명확하게 될 것이다. 또한, 본 명세서에서 시스템이라 함은, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일한 하우징(筐體; housing, enclosure) 내에 있는 것에는 한정되지 않는다.

[발명의 효과]

본 발명의 구성에 의하면, 대표점 매칭 처리에 의거하는 평가값 테이블의 생성에 있어서, 대표점 뿐만 아니라 대표점 근방의 화소 레벨로서의 공간 파형을 고려한 상관 판정 처리를 행하는 구성이므로, 보다 정밀도가 높은 평가값 테이블의 생성이 가능해져, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다.

또, 본 발명의 구성에 의하면, 대표점 화소의 상관 정보와, 주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터에 의거하는 플래그 상관 정보에 의거해서, 무게 계수 W를 산출하고, 산출한 무게 계수 W와 화상 데이터의 복잡성을 나타내는 지표값으로서의 액티비티 A에 의거하는 산출값으로서의 신뢰도 지수 α를 생성해서, 신뢰도 지수 α에 대응하는 평가값을 적산한 평가값 테이블을 생성하는 구성으로 했다. 본 구성에 의해, 대표점과 대표점 근방의 화소값의 차분을 고려해서 무게가 설정된 평가값에 의거하는 평가값 테이블을 생성하는 것이 가능해지고, 보다 정밀도가 높은 평가값 테이블의 생성이 가능해져, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다.

또, 본 발명의 구성에 의하면, 주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터를, 화소값 차분 데이터보다 적은 비트 수로서 산출하는 처리를 실행하는 구성으로 했으므로, 플래그 상관 산출 처리의 연산을 적은 비트수 데이터의 처리로서 실행하는 것이 가능해지고, 처리 속도를 떨어뜨리는 일 없이 정밀도가 높은 평가값 테이블의 생성이 가능해져, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다. 따라서, 동화상 데이터의 부호화 처리 등을 실행하는 화상 처리 장치 등에 본 발명을 적용하는 것에 의해, 효율적인 움직임 벡터 검출 처리가 가능해져, 장치의 소형화(小型化)도 달성된다.

또, 본 발명의 구성에 의하면, 대표점 매칭 처리에 의거하는 평가값 테이블의 생성에 있어서, 대표점과 대표점 근방의 화소와의 움직임 유사성을 판정하고, 움직임 유사성이 있는 경우에는, 상관 판정 결과의 신뢰성이 높다고 판단해서, 신뢰도 지수 β를 산출하고, 신뢰도 지수 β에 의거하는 평가값을 적산한 평가값 테이블 생성 처리를 행하는 구성이므로, 보다 정밀도가 높은 평가값 테이블의 생성이 가능해져, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다.

본 발명의 구성에 의하면, 대표점과 그 대표점의 근방 대표점과의 움직임 유사성을 검출하고, 움직임 유사성 있음이라는 판정이 이루어진 것을 조건으로 해서, 대표점과 근방 대표점과의 화소값 차분을 고려한 신뢰도 지수 β를 생성해서, 신뢰도 지수 β에 대응하는 평가값을 적산한 평가값 테이블을 생성하는 구성이며,

(a) 근방 대표점의 움직임의 일치수 혹은 유사수

(b) 움직임이 일치 혹은 유사한 대표점과의 공간 구배

(c) 움직임이 일치 혹은 유사했을 때의 대표점간의 거리

이들 파라미터를 고려한 신뢰도 지수 β를 산출하고, 이 신뢰도 지수 β에 의거하는 평가값을 적산한 평가값 테이블 생성 처리를 행하는 구성이므로, 보다 정밀도가 높은 평가값 테이블의 생성이 가능해져, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다.

또, 본 발명의 구성에 의하면, 상술한 신뢰도 지수 β에 더하여 또, 주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터에 의거하는 플래그 상관 정보에 의거해서, 무게 계수 W를 산출하고, 산출한 무게 계수 W와 화상 데이터의 복잡성을 나타내는 지표값으로서의 액티비티 A에 의거하는 산출값으로서의 신뢰도 지수 α를 생성해서, 신뢰도 지수 α와 신뢰도 지수 β를 고려한 신뢰도 지수 K=α+β에 대응하는 평가값을 적산한 평가값 테이블을 생성하는 구성으로 했으므로, 대표점과 대표점 근방의 화소값의 차분에 대해서도 고려한 평가값에 의거하는 평가값 테이블을 생성하는 것이 가능해져, 보다 정밀도가 높은 평가값 테이블의 생성이 가능지고, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다. 따라서, 동화상 데이터의 부호화 처리 등을 실행하는 화상 처리 장치 등에 본 발명을 적용하는 것에 의해, 효율적인 움직임 벡터 검출 처리가 가능해지고, 장치의 소형화도 달성된다.

또, 본 발명의 구성에 의하면, 동화상 데이터로부터의 움직임 벡터 검출 처리에서, 각 화소 대응의 움직임 벡터를 복수의 후보 벡터로부터 선택 결정하는 처리에서, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 특징 화소를 추출하고, 그 특징 화소의 위치 정보, 또는 화소값 정보에 의거해서 상관 판정을 실행하고, 움직임 벡터의 결정 처리를 행하는 구성으로 했으므로, 블록 매칭 처리를 적용할 필요가 없고, 상관 산출을 위한 연산으로서 차분 절대값 총합 연산 등의 평가값 계산량을 삭감할 수 있어 처리 효율이 향상하고, 또 화소값을 보존유지하기 위한 메모리도 작게 하는 것이 가능해져 하드웨어 규모의 소형화가 실현된다. 따라서, 동화상 데이터의 부호화 처리 등을 실행하는 화상 처리 장치 등에서 본 발명을 적용하는 것에 의해, 보다 정확한 움직임 벡터 검출 처리가 가능해진다.

도 1은 블록 매칭법의 개요를 설명하는 도면,

도 2는 대표점 매칭을 적용한 움직임 벡터 검출 처리의 문제점에 대해서 설명하는 도면,

도 3은 움직임 벡터 검출 처리에서 적용하는 대표점 매칭법의 개요에 대해서 설명하는 도면,

도 4는 움직임 벡터 검출 처리에서 적용하는 대표점 매칭법에 의한 평가값 테이블의 작성 처리, 평가값 테이블에 의거하는 후보 벡터의 추출 처리, 추출한 후보 벡터에 의거하는 각 화소에 대응하는 움직임 벡터의 설정 처리의 개요에 대해서 설명하는 도면,

도 5는 움직임 벡터 검출 처리에서의 후보 벡터로부터의 움직임 벡터 결정 처리의 개요에 대해서 설명하는 도면,

도 6은 움직임 벡터 검출 처리를 실행하는 본 발명의 움직임 벡터 검출 장치의 1실시예 구성을 도시하는 도면,

도 7은 움직임 벡터 검출 처리를 실행하는 본 발명의 움직임 벡터 검출 장치의 처리 시퀀스를 설명하는 플로차트,

도 8은 본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성부의 상세 구 성을 도시하는 도면,

도 9는 평가값 테이블 형성부에서의 플래그 데이터 연산부의 상세 구성에 대해서 설명하는 도면,

도 10은 플래그 데이터 연산부가 실행하는 처리의 구체예에 대해서 설명하는 도면,

도 11은 무게 산출 처리부가 실행하는 처리의 구체예에 대해서 설명하는 플로차트도,

도 12는 본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성부의 상세 구성예 2를 도시하는 도면,

도 13은 본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성 처리 시퀀스를 설명하는 플로차트를 도시하는 도면,

도 14는 대표점 매칭 처리에 대해서 설명하는 도면,

도 15는 본 발명의 근방 대표점의 유사성 판정을 실행하는 처리에 대해서 설명하는 도면,

도 16은　본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성부의 상세 구성을 도시하는 도면,

도 17은 본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성부에서의 움직임 유사성 검출부의 처리에 대해서 설명하는 도면,

도 18은 본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성부에서의 무게 산출부의 처리에 대해서 설명하는 도면,

도 19는 본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성부에서의 무게 산출부의 처리에 대해서 설명하는 도면,

도 20은 본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성부에서의 무게 산출부에서 산출하는 신뢰도 지수 β의 구체예에 대해서 설명하는 도면,

도 21은 본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성부에서의 대표점 정지 판정부의 처리에 대해서 설명하는 도면,

도 22는 본 발명의 움직임 벡터 검출 장치의 평가값 테이블 형성 처리 시퀀스를 설명하는 플로차트를 도시하는 도면,

도 23은 평가값 테이블 생성 처리 대상으로 되는 동화상 데이터의 예를 도시하는 도면,

도 24는 화소 상관 연산부로부터 출력되는 데이터를, 그대로 적용해서 적산하여 생성한 평가값 테이블예를 도시하는 도면,

도 25는 본 발명에 관련된 평가값 테이블 형성부의 처리에 따라서 생성한 평가값 테이블예를 도시하는 도면,

도 26은 본 발명에 관련된 평가값 테이블 형성부의 처리에 따라서 생성한 평가값 테이블예를 도시하는 도면,

도 27은 본 발명의 움직임 벡터 검출 장치의 움직임 벡터 결정부의 상세 구성을 도시하는 도면,

도 28은 움직임 벡터 결정부의 임시 판정부에서의 처리에 대해서 설명하는 도면,

도 29는 본 발명의 움직임 벡터 결정부의 부가 정보 연산부의 상세 구성을 도시하는 도면,

도 30은　부가 정보 연산부에서 검출하는 특징 화소에 대해서 설명하는 도면,

도 31은　부가 정보 연산부에서 검출하는 특징 화소 검출 처리 양태(態樣; form, mode)에 대해서 설명하는 도면,

도 32는　본 발명의 움직임 벡터 검출 장치의 움직임 벡터 결정부에서 실행하는 처리의 상세를 설명하는 도면,

도 33은 본 발명의 움직임 벡터 검출 장치의 움직임 벡터 결정 처리의 시퀀스를 설명하는 플로차트도,

도 34는 본 발명의 움직임 벡터 결정부의 부가 정보 연산부의 구성예를 도시하는 도면,

도 35는 본 발명의 움직임 벡터 검출 장치의 움직임 벡터 결정부의 상세 구성(실시예 2)을 도시하는 도면,

도 36은 본 발명의 움직임 벡터 결정부의 부가 정보 연산부의 구성예를 도시하는 도면,

도 37은 부가 정보 연산부에서 검출하는 특징 화소에 대해서 설명하는 도면,

도 38은 본 발명의 움직임 벡터 검출 장치의 움직임 벡터 결정부에서 실행하는 처리의 상세를 설명하는 도면,

도 39는 본 발명의 움직임 벡터 검출 장치의 움직임 벡터 결정 처리의 시퀀 스를 설명하는 플로차트도,

도 40은 본 발명의 움직임 벡터 검출 장치의 움직임 벡터 결정부에서 실행하는 처리의 상세를 설명하는 도면,

도 41은 본 발명의 움직임 벡터 검출 장치의 움직임 벡터 결정 처리의 시퀀스를 설명하는 플로차트도,

도 42는 본 발명의 움직임 벡터 검출 장치의 움직임 벡터 결정 처리의 시퀀스를 설명하는 플로차트도.

[발명을 실시하기 위한 최량의 형태]

이하, 도면을 참조하면서 본 발명의 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법과 컴퓨터·프로그램의 상세(詳細)에 대해서 설명한다. 또한, 설명은 이하의 항목순(項目順)으로 행한다.

1. 대표점 매칭에 의한 평가값 테이블의 생성, 후보 벡터 방식의 개요

2. 움직임 벡터 검출 장치 전체 구성 및 움직임 벡터 검출 처리 수순(手順)

3. 근방 화소와의 차분에 의거하는 플래그를 적용한 평가값 테이블 생성 처리의 상세

4. 대표점 및 근방 대표점의 상관 정보를 고려한 평가값 테이블 생성 처리의 상세

5. 평가값 테이블의 구체예

6. 특징 화소에 의거하는 움직임 벡터 결정 처리의 상세

[1. 대표점 매칭에 의한 평가값 테이블의 생성, 후보 벡터 방식의 개요]

이하, 설명하는 움직임 벡터 검출 처리에서는, 대표점 매칭법을 적용한다. 대표점 매칭법에 대해서는, 본 특허 출원인이 앞서(先) 출원하여, 특허 취득을 마친 일본 특허 2083999호 공보에 개시(開示)되어 있다. 즉, 이하, 설명하는 움직임 벡터 검출 처리는, 전술한 [배경 기술]의 란(欄)에서 설명한 후보 벡터 방식(일본 특개 제2001-61152호 공보에 개시)을 적용함과 동시에, 대표점 매칭법을 이용한 처리예이다.

또한, 이하의 설명에서는, 동화상 데이터를 구성하는 1프레임을 1화면으로 해서, 각 화면(프레임)간의 상호 검증 처리에 의해서 프레임에서의 움직임 벡터 검출 처리를 행하는 예에 대해서 설명하겠지만, 본 발명은 이와 같은 처리예에 한정되지 않고, 예를 들면 1프레임을 세분화(細分化)로 한 1필드를 1화면으로서 취급하고, 1필드 단위의 움직임 벡터 검출 처리를 행하는 경우 등에도 적용 가능하다.

또, 이하에 설명하는 처리예는 주로 텔레비전 신호에 의거하는 동화상 데이터에 대한 처리예로서 설명하겠지만, 본 발명은 텔레비전 신호 이외의 여러가지 동화상 데이터에 대해서도 적용 가능하다. 또, 영상 신호를 처리 대상으로 하는 경우에 있어서도 인터레이스(interlace; 飛越) 신호 및 논인터레이스(non-interlace; 非飛越) 신호의 어느것이라도 좋다.

도 3∼도 5를 참조해서, 본 발명에서의 움직임 벡터 검출 처리에서 적용하는 대표점 매칭법에 의한 평가값 테이블의 작성 처리, 평가값 테이블에 의거하는 후보 벡터의 추출 처리, 추출한 후보 벡터에 의거하는 각 화소에 대응하는 움직임 벡터 설정 처리의 개요에 대해서 설명한다.

동화상을 구성하는 시간적으로 연속하는 프레임 화상, 예를 들면 도 3에 도시하는 시간 (t)의 현프레임 [F_t](80)과, 시간 (t-1)의 이전 프레임 [F_t-1](70)을 추출한다.

예를 들면, 현프레임 [F_t](80)을 참조 프레임으로 하고, 이전 프레임 [F_t-1](70)을, m화소×n라인의 복수의 블록으로 분할하고, 각 블록을 대표하는 대표점 R_y를 설정한다. 각 블록의 대표점은, 예를 들면,

a. 블록의 중심 위치의 화소값,

b. 블록내의 모든 화소의 화소값의 평균값,

c. 블록내의 모든 화소의 화소값의 중간값,

등의, 블록을 대표하는 화소값이 대응지어진다.

대표점 매칭법에서는, 이전 프레임 [F_t-1](70)에 설정한 블록의 대표점 R_y(71)에 대응시켜서, 현프레임 [F_t](80)에 소정의 서치 에리어(81)를 설정하고, 설정한 서치 에리어(81) 내에 포함되는 각 화소의 화소값과 대표점 R_y(71)의 화소값과의 비교를 행한다. 서치 에리어(81)는 예를 들면, p화소×q라인의 화소 영역으로서 설정된다.

즉, 상기 a∼c의 어느것인가의 대표점 화소값과 서치 에리어(81) 내의 각 화 소의 화소값을 비교 검증해서, 평가값(예를 들면, 프레임차(差)나 판정 결과)을 산출한다. 평가값은 서치 에리어(81)의 각 편이(偏移; deviation)마다(각 화소 위치마다) 산출된다. 이전 프레임 [F_t-1](70)에 설정한 블록의 대표점각각에 대응해서, 현프레임 [F_t](80)에 서치 에리어가 설정되고, 대표점 화소값과, 대응하는 서치 에리어 내의 각 화소의 화소값과의 비교에 의거하는 평가값을 취득해서, 1화면 내의 모든 대표점에 대해서 적산한다. 따라서, 서치 에리어와 동일한 크기의 평가값 테이블이 형성된다.

또한, 각 대표점에 대응하는 서치 에리어는 도 4의 (A)에 도시하는 바와 같이 인접하는 서치 에리어와 일부가 서로 겹치도록(重合; overlapping) 설정해도 좋다. 도 4의 (A)에 도시하는 예에서는, 서치 에리어를 p×q(화소 또는 라인)의 영역에 설정한 예이며, 예를 들면 이전 프레임 [F_t-1](70)에 설정한 블록의 대표점(71a)에 대응하는 서치 에리어(81a)와, 이전 프레임 [F_t-1](70)에 설정한 블록의 대표점(71b)에 대응하는 서치 에리어(81b)가 겹침을 가지는 영역으로서 설정된다.

이와 같이, 서치 에리어는 각 대표점에 대응지어져서 설정되고, 각 대표점과 그 대표점에 대응해서 설정된 서치 에리어 내의 화소와의 비교가 실행되어, 비교값에 의거해서, 예를 들면 상관의 정도(度合; degree)가 높을 수록(화소값의 일치 정도가 높을 수록) 높은 평가값이 설정되고, 각 서치 에리어의 구성 화소에 대응하는 평가값이 설정된다.

각 서치 에리어에서의 평가값은 도 4의 (B)에 도시하는 바와 같이 적산되며, 그 결과로서, 도 4의 (C)에 도시하는 바와 같은 평가값 테이블(90)이 생성된다. 평가값 테이블은 이전 프레임 [F_t-1](70)에 설정한 예를 들면 n개의 블록에 설정된 각 블록의 대표점 Ry1∼Ryn과, 참조 프레임인 현프레임 [F_t](80)에 설정한 각 대표점 Ry1∼Ryn에 대응하는 서치 에리어 내의 각 화소와의 비교에 의거하는 평가값, 예를 들면 차분 절대값의 적산값으로서 산출되고, 서치 에리어와 동일한 크기의 평가값 테이블로서 형성된다.

평가값 테이블(90)에서는, 서치 에리어의 각 편이 위치(i, j)에서의 화소값과 대표점과의 상관이 높은 경우에, 피크(극값(極値))가 발생한다. 평가값 테이블에 출현하는 피크는 동화상 데이터의 화면의 표시 물체의 이동에 대응한다.

예를 들면, 화면(프레임) 전체가 동일한 움직임을 한 경우에는, 서치 에리어 (p×q)와 동일한 크기의 평가값 테이블에서, 그 움직임 방향, 거리를 가지는 벡터의 종점(終点)에 대응하는 위치에 하나의 피크가 출현한다. 또, 화면(프레임) 내에 두 개의 다른 움직임을 한 물체가 있었던 경우에는, 서치 에리어 (p×q)와 동일한 크기의 평가값 테이블에서, 그 다른 움직임 방향, 거리를 가지는 두 개의 벡터의 종점에 대응하는 두 개의 위치에 두 개의 피크가 출현한다. 또한, 정지 부분이 있는 경우에는, 정지 부분에 대응하는 피크도 출현한다.

이와 같은 평가값 테이블에 출현하는 피크에 의거해서, 이전 프레임 [F_t-1](70)과, 참조 프레임인 현프레임 [F_t](80)에서의 움직임 벡터의 후보(후보 벡터)를 구한다.

평가값 테이블에 출현한 피크에 의거해서, 복수의 후보 벡터를 추출한 후, 프레임의 각 화소에 대해서, 추출한 후보 벡터로부터 가장 적응(適應; match, fit)하는 후보 벡터를 각각 선택해서, 각 화소에 대응하는 움직임 벡터로서 설정한다.

추출 후보 벡터에 의거해서 실행하는 각 화소에 대응하는 움직임 벡터의 설정 처리에 대해서 도 5를 참조해서 설명한다.

도 5의 (a)에서, 중앙의 화소(91)가 이전 프레임 [F_t-1]의 하나의 화소를 도시하고 있다. 이 화소는 예를 들면 휘도값(α)를 가지고 있다. 또, 전술한 평가값 테이블에 출현한 피크에 의거해서, 복수의 후보 벡터가 추출된 상태(抽出濟; extracted)이며, 이들 후보 벡터를 도면에 도시하는 후보 벡터 A, B, C라고 한다. 이전 프레임 [F_t-1]의 하나의 화소(91)는 이들 후보 벡터의 어느것인가에 따라서 이동하여, 현프레임 [F_t]의 화소에 대응하는 위치에 표시된다고 판정된다.

도 5의 (a)에서, 화소 a(95), 화소 b(96), 화소 c(97)는 이전 프레임 [F_t-1]의 하나의 화소(91)로부터 후보 벡터 A, B, C에 의거해서 이동처(移動先; moving destination, shifting destination)로서 추정되는 각 화소 위치의 현프레임 [F_t]의 화소를 도시하고 있다. 이들 3화소를 포함하는 블록의 화소값과 화소(91)를 포함하는 블록의 화소값과의 상관이 블록 매칭 처리에 의해서 판정되고, 가장 높은 대응에 있는 조(組)가 선택되며, 그 선택한 조에 설정된 후보 벡터를 화소(91)의 움직임 벡터로 한다.

블록 매칭 처리를 적용하는 이유는 하나의 화소만의 대응을 검사하면 이하의 문제점이 발생하기 때문이다.

(1) 주목하는 프레임의 어떤 화소와 참조 프레임 내에서 n개의 후보 벡터에 관해서, 움직임 벡터처(先; destination)의 화소와의 상관성이 같은, 혹은 닮아 있는 화소가 복수 존재하고, 어느 움직임 벡터가 올바른 움직임 벡터인지, 상관성의 높이를 나타내는 화소 차분 절대값(이후, MC 잔차(殘差; remainder, residue)라고 부른다)만으로는 판단하는 것이 곤란하다.

(2) 올바른 움직임 벡터이면, 그 움직임 벡터처의 화소와의 MC 잔차가 가장 작다고 생각되지만, 실제로는 화상 데이터에는 노이즈 등의 영향에 의해, 올바른 움직임 벡터처의 화소와의 MC 잔차가 후보 벡터 중에서 최소라고는 할 수 없다.

이들 문제점이 있기 때문에, 1화소만의 MC 잔차만으로는 판단할 수 없으므로, 블록 사이즈의 복수의 화소를 이용해서, 주목하는 화소를 중심으로 한 블록내의 화소와 후보 벡터처의 블록내의 화소의 상관을 검사한다.

구체적인 블록 매칭 처리에 대해서, 도 5의 (b)를 참조해서 설명한다. 도 5의 (b)에 도시하는 바와 같이, 후보 벡터에 의해서 지시되는 블록에 포함되는 복수 화소의 상관의 지표값으로서 차분 절대값 총합(SAD)를 아래 식에 따라서 산출한다.

[수학식 2]

여기서 F_t－1(x, y)는 주목하는 프레임의 휘도 레벨, F_t(x＋ｖ_x, y＋ｖ_y)는 참 조처(參照先; reference destination)의 프레임에서의 움직임 벡터처의 휘도 레벨, M×N은 평가에 이용하는 블록 사이즈이다.

상기 식에 의해서 산출되는 차분 절대값 총합(SAD)이 최소로 되는 후보 벡터(ｖ_x,ｖ_y)를 주목 화소의 움직임 벡터로 하는 방법 등이 적용된다. 그러나, 블록 매칭과 같은 블록을 이용한 움직임 벡터 할당(割當)에서는, 움직임 벡터의 할당 성능을 향상시키기 위해서 블록 사이즈를 크게 할 필요가 있지만, 차분 절대값 총합과 같은 평가값을 계산하려면 계산량이 많아지고, 그 때문에 하드웨어 규모가 커진다고 하는 문제점을 일으키게 한다.

이들 문제를 해결한 대표점 매칭에 의한 움직임 벡터 검출 처리 구성에 대해서는, 후단(後段)의 [6. 특징 화소에 의거하는 움직임 벡터 결정 처리의 상세] 항목에서 상세하게 설명한다.

또한, 상술한 바와 같이, 대표점 매칭은 각 블록을 대표하는 대표점을 설정하고, 설정한 대표점에 대해서만의 평가값 산출을 행해서 후보 벡터를 설정하는 것이 가능하고, 한정된 수의 대표점만의 평가값 산출을 행함으로써, 평가값 산출에 요하는 연산량을 감소시킬 수 있어, 고속 처리가 가능해진다.

[2. 움직임 벡터 검출 장치 전체 구성 및 움직임 벡터 검출 처리 시퀀스]

움직임 벡터 검출 처리를 실행하는 본 발명의 움직임 벡터 검출 장치의 1실시예 구성을 도 6에 도시하고, 움직임 벡터 검출 처리의 처리 시퀀스를 도 7의 플로차트에 도시한다.

움직임 벡터 검출 장치는 도 6에 도시하는 바와 같이, 평가값 테이블 형성부(101), 후보 벡터 추출부(102), 움직임 벡터 결정부(103), 제어부(컨트롤러)(104)를 가진다. 평가값 테이블 형성부(101)는 움직임 벡터 검출 처리 대상으로 되는 화상 데이터를 입력 단자를 거쳐서 입력하고, 평가값 테이블을 생성한다. 입력 화상은 예를 들면 래스터 스캔에 의해 얻어지는 화상 데이터이다. 화상 데이터는 예를 들면 디지털 컬러 영상 신호의 컴퍼넌트 신호중의 휘도 신호를 포함한다.

입력 화상 데이터는 평가값 테이블 형성부(101)에 공급되고, 전술한 대표점 매칭법을 베이스로 해서, 서치 에리어와 동일한 크기의 평가값 테이블을 형성한다. 도 7의 플로(flow; 흐름)에서의 스텝 S101의 처리이다.

후보 벡터 추출부(102)는 평가값 테이블 형성부(101)에서 생성한 평가값 테이블로부터, 1화면 내의 후보 벡터로서, 복수의 움직임 벡터를 추출한다. 즉, 전술한 바와 같이, 평가값 테이블에 출현한 피크에 의거해서, 복수의 후보 벡터를 추출한다. 도 7의 플로에서의 스텝 S102의 처리이다.

움직임 벡터 결정부(103)에서는, 후보 벡터 추출부(102)에서 추출한 복수의 후보 벡터를 대상으로 해서, 전(全)프레임의 각 화소마다, 후보 벡터에 의해서 대응지어지는 프레임간의 화소간(畵素間)의 상관을 블록 매칭 등에 의해 판정하고, 가장 상관이 높은 대응으로 된 블록을 연결하는 후보 벡터를, 그 화소에 대응하는 움직임 벡터로서 설정한다. 도 7의 플로에서의 스텝 S103의 처리이다. 이 처리는 앞서 도 5를 참조해서 설명한 처리이다.

움직임 벡터 결정부(103)에서는, 하나의 화면(프레임)에 포함되는 모든 화소 에 대해서, 후보 벡터로부터 최적한 벡터의 선택 처리를 행하고, 각 화소에 대응하는 움직임 벡터를 결정하며, 결정한 움직임 벡터를 출력한다. 구체적인 1예로서, 어떤 주목 화소에 대해서, 예를 들면 3라인×3화소의 합계 9화소로 구성되는 직사각형(矩形; rectangular shape) 블록을 이용해서, 블록 매칭 처리에 의해 가장 상관이 높은 대응으로 된 블록을 연결하는 후보 벡터를, 그 주목 화소의 움직임 벡터로서 결정한다.

제어부(104)는 평가값 테이블 형성부(101), 후보 벡터 추출부(102), 움직임 벡터 결정부(103)에서의 처리 타이밍의 제어, 중간 데이터의 메모리에 대한 격납(格納; store), 출력 처리 제어 등을 행한다.

이상이, 대표점 매칭을 베이스로 한 움직임 벡터 검출 장치에서 실행하는 평가값 테이블 생성과, 후보 벡터 방식을 적용한 움직임 벡터 검출 처리의 개요이다.

[3. 근방 화소와의 차분에 의거하는 플래그를 적용한 평가값 테이블 생성 처리의 상세]

다음에, 본 발명의 움직임 벡터 검출 장치에서의 평가값 테이블 형성부의 처리의 상세, 즉 근방 화소와의 차분에 의거하는 플래그를 적용한 평가값 테이블 생성 처리의 상세에 대해서 설명한다. 평가값 테이블 형성부의 상세 구성을 도 8에 도시한다.

도 8에 도시하는 바와 같이, 본 발명의 움직임 벡터 검출 장치에서의 평가값 테이블 형성부(200)는 화소 상관 연산부(210), 플래그 데이터 연산부(220), 플래그 상관 연산부(230), 비교부(241, 242), 무게 산출 처리부(250), 연산부(260), 평가 값 테이블 산출부(270)를 가진다.

화소 상관 연산부(210)는 대표점 메모리(211), 화소값의 차분 데이터를 산출하는 차분 산출부(212), 차분 데이터의 절대값을 산출하는 절대값 산출부(213)를 가진다. 플래그 상관 연산부(230)는 플래그 데이터 연산부(220)가 산출한 플래그 데이터를 격납하는 플래그 데이터 격납 메모리(231), 플래그 데이터의 차분 데이터를 산출하는 차분 산출부(232), 차분 데이터의 절대값을 산출하는 절대값 산출부(233)를 가진다.

무게 산출 처리부(250)는 액티비티 산출부(251), 무게 산출부(252), 변환 테이블(LUT)(253), 디코더(254)를 가진다. 평가값 테이블 산출부(270)는 연산부(260)로부터 출력하는 예를 들면 8비트 데이터로 이루어지는 평가값을 평가값 적산부(271)에서 적산하고, 평가값 테이블을 생성해서 평가값 테이블 메모리(272)에 격납한다.

처음에, 화소 상관 연산부(210)의 처리에 대해서 설명을 한다. 화소 상관 연산부(210)는 대표점 매칭 처리를 실행한다.

입력 단자를 거쳐서 화상 데이터가, 예를 들면 프레임 단위로, 화소 상관 연산부(210)에 입력된다. 화소 상관 연산부(210)에 입력된 화상 데이터는 차분 산출부(212) 및 대표점 메모리(211)에 공급된다.

대표점 메모리(211)에 기억되는 화상 데이터는 예를 들면 프레임 단위로 입력되는 화상 데이터로부터 생성되는 미리 결정된 대표점 데이터이다. 예를 들면, 앞서 도 3, 도 4를 참조해서 설명한 화면을 분할하여 설정된 블록, 예를 들면 m×n 화소의 블록에서 대표점이 하나 설정된다. 또한, 대표점은,

a. 블록의 중심 위치의 화소값,

b. 블록 내의 모든 화소의 화소값의 평균값,

c. 블록 내의 모든 화소의 화소값의 중간값,

등의, 블록을 대표하는 화소값 데이터가 대응지어진다.

구체적으로는, 예를 들면 입력 프레임 화상으로부터, 공간적으로 균등하게 솎아내어진(間引; thinning, decimating) 화소 위치의 화상 데이터(화소값 데이터)가, 제어부(컨트롤러)(104)(도 6 참조)로부터의 신호에 의한 타이밍 제어에 의해서 선택되어, 대표점 데이터로서 대표점 메모리(211)에 기억된다.

대표점 메모리(211)로부터 판독출력된 이전 프레임의 대표점 데이터와, 현프레임의 화상 데이터가, 차분 산출부(212)에 공급된다.

차분 산출부(211)는 이전 프레임의 대표점의 화소값과, 현프레임의 화상 데이터에 설정되는 각 대표점에 대응하는 서치 에리어 내의 화소와의 화소값 차분, 예를 들면 프레임 차(상관 연산 결과)를 산출해서, 절대값 산출부(213)에 출력한다.

절대값 산출부(213)에서는, 차분 산출부(211)로부터 입력하는 이전 프레임의 대표점 데이터와, 현프레임의 화상 데이터에 의거하는 프레임 차(상관 연산 결과)를 입력하고, 프레임 차 절대값을 산출한다.

프레임 차 절대값은 비교부(241)에 입력되고, 미리 정한 임계값 1(TH1)과 비교되며, 프레임 차 절대값이 임계값 1(TH1)보다 작은 경우에는, 상관 있음으로 판 정하고, 상관 있음을 나타내는 비트 데이터(예를 들면, [1])가 비교부(241)로부터 출력되고, 프레임 차 절대값이 임계값 1(TH1) 이상인 경우에는, 상관 없음으로 판정하고, 상관 없음을 나타내는 비트 데이터(예를 들면, [0])가 비교부(241)로부터 출력된다.

종래에는, 이 비교부(241)로부터의 출력값을 그대로, 적산 포인트로 해서 평가값 테이블이 생성되고 있었다. 즉, 1화면 내의 모든 대표점에 대한 상관 연산 결과를 적산함으로써, 평가값 테이블이 생성되며, 생성한 평가값 테이블에 출현하는 피크(극값)에 의해서, 후보 벡터의 추출이 실행되고 있었다.

그러나, 앞서 도 2를 참조해서 설명한 바와 같이, 대표점만의 상관 판정에 의한 평가값 테이블 생성을 행하면 오검출된 적산 포인트에 의해서 정확한 벡터에 대응하는 피크를 가지는 평가값 테이블이 생성되지 않는 경우가 있다.

그래서, 본 발명에서는 대표점 근방의 화소 레벨, 즉 대표점 근방의 공간 파형을 고려한 평가값 테이블의 생성을 행한다. 비교부(241)의 대표점의 상관 정보만으로 이루어지는 상관 유무를 나타내는 1비트 데이터는, 연산부(260)에서, 무게 산출 처리부(250)로부터의 출력에 의거해서 예를 들면 8비트 데이터로 변환되고, 8비트 데이터가 평가값 적산부(271)에 출력되어, 8비트 데이터에 의거하는 평가값 테이블이 생성된다.

이하, 플래그 데이터 연산부(220), 플래그 상관 연산부(230), 무게 산출 처리부(250)의 처리의 상세에 대해서 설명한다.

(a) 플래그 데이터 연산부

플래그 데이터 연산부(220)는 화상 데이터를 입력하고, 입력되는 화소 모두에 대해서, 인접하는 화소 데이터의 관계를 플래그 데이터로 변환하는 처리를 실행한다.

플래그 데이터 연산부(220)의 상세 구성을 도 9에 도시한다. 플래그 데이터 연산부(220)의 처리에 대해서, 도 10의 인접 화소 차분값을 플래그로 변환하는 예를 참조해서 설명한다.

입력 신호로서의 화소 신호가 래스터 순(順)으로 입력되어, 도 9에 도시하는 레지스터(221)와 차분 산출부(226)에 공급된다. 차분 산출부(226)는 레지스터(221)로부터의 출력 화소 레벨과 후속(後續)하는 입력 화소의 화소 레벨의 차분값을 산출한다.

레지스터(221)로부터의 출력은 레지스터(222)에 격납됨과 동시에, 차분 산출부(223)에 공급되고, 레지스터(222)로부터의 선행(先行) 화소의 화소 레벨과, 레지스터(221)에 격납된 후속하는 화소의 화소 레벨의 차분값이, 차분 산출부(223)에서 산출된다.

즉, 도 10의 (a)의 예에서는, 주목 화소 X(x, y)(300)에 대해서, 전후의 인접 화소 X(x+1, y)(301)와 화소 X(x-1, y)(302)의 화소 레벨과의 차분값이 산출되게 된다.

이들 차분 데이터는, 예를 들면 화소 레벨이 0∼255의 8비트 데이터인 경우, 8비트의 차분 데이터로서 각 차분 산출부(223, 226)로부터 출력된다.

각 차분 산출부(223, 226)로부터 출력된 8비트의 차분 데이터는 양자화기(量子化器)(224, 227)에 입력되고, 변환 테이블(225)에 의거해서, 4비트의 플래그 데이터로 변환되어, 플래그 데이터 격납 메모리(231)에 출력된다.

변환 테이블(225)은 도 10의 (b)에 도시하는 테이블에 의해서 구성된다. 각 양자화기(224, 227)는 각 차분 산출부(223, 226)로부터 입력하는 차분 데이터 d의 값에 의거해서, 변환 테이블(225)을 참조하여 소정의 플래그 데이터로 변환한다. 예를 들면

-255〈d≤-32→플래그=0

-32〈d≤-16→플래그=1

　　　　：

16〈d≤32→플래그=14

32〈d≤255→플래그=15

이고, 각 양자화기(224, 227)는 각 차분 산출부(223, 226)로부터 입력하는 8비트 차분 데이터 d(0∼255)의 값에 의거해서 4비트의 플래그 데이터(0∼15)를 생성하여 플래그 데이터 격납 메모리 (231)에 출력한다.

화상 데이터의 일반적인 성질로서, 인접하는 화소 데이터와의 상관이 높고, 인접 화소와의 차분값의 상한을 결정해서 적은 비트수로 표현해도, 원래(元)의 화소 데이터로 복원(復元)했을 때의 화상 전체에서의 양자화 오차(誤差)는 작다고 생각된다. 따라서, 본 실시예의 구성에서는, 주목 화소 데이터와 인접 화소 데이터의 각 3화소를 표현하기 위한 비트수는 8bit×3=24bit로 되지만, 차분(差分) 정보를 4bit 플래그 데이터로 감축(縮減)한다.

플래그 데이터에 의거하는 상관 판정을 실행하는 플래그 상관 연산부(230)에서는, 4비트로 감축된 데이터에 의거하는 상관 판정을 행하는 것이 가능해져, 연산 처리의 고속화, 하드웨어 규모의 삭감이 실현된다.

또한, 화소의 차분 데이터에서 플래그 데이터로의 변환 처리는 도 10의 (b)에 도시하는 변환 테이블을 적용한 처리에 한정되지 않고, 예를 들면 인접하는 화소 데이터의 차분 데이터 8bit를 4bit로 축퇴(縮退; degeneracy; 점점 감소시킴)하는 구성이나, 화소값 데이터 8bit의 상위 4bit를 플래그 정보로 하는 방법을 적용해도 좋다.

상술한 인접 화소 차분을 플래그로 변환하는 방식은, 입력 화소가 래스터 순으로 입력되므로 여분(餘分)의 라인메모리 등도 필요로 하지 않아 작은 연산 회로이며, 효율좋게 공간 파형을 기술할 수 있는 수법의 1예이다. 또, 차분 데이터를 플래그로 변환하므로 3화소로 구성되는 대략적인(大; rough) 파형 정보가 소실되지 않는 등의 이점이 있다.

(b) 플래그 상관 연산부

다음에, 플래그 데이터 연산부(220)로부터 상술한 설명에 따라서 생성하는 플래그 데이터를 입력하는 플래그 상관 연산부(230)의 처리에 대해서 설명한다.

플래그 상관 연산부(230)는 플래그 데이터 연산부(220)로부터 입력하는 플래그 데이터를 플래그 데이터 격납 메모리(231)에 격납한다. 플래그 데이터 격납 메모리(231)로부터 판독출력된 이전 프레임의 플래그 데이터와, 현프레임의 플래그 데이터가, 차분 산출부(232)에 공급된다.

차분 산출부(232)는 이전 프레임의 플래그 데이터와 현프레임의 플래그 데이터와의 플래그 차분을 산출하여, 절대값 산출부(233)에 출력한다.

절대값 산출부(233)에서는, 차분 산출부(232)로부터 입력하는 이전 프레임의 플래그 데이터와, 현프레임의 플래그 데이터에 의거하는 프레임 차(플래그 상관 연산 결과)를 입력하고, 프레임 차 절대값을 산출하여, 비교부(242)에 출력한다.

비교부(242)에서는, 플래그 상관 연산부(230)로부터 입력하는 플래그 데이터 차분값 절대값과 미리 정한 임계값 2(TH2)와의 비교를 실행하고, 플래그 데이터 차분값 절대값이 미리 정한 임계값 2(TH2)보다 작은 경우에는 상관 있음(相關有), 플래그 데이터 차분값 절대값이 미리 정한 임계값 2(TH2) 이상인 경우에는 상관 없음(相關無)의 비트 데이터를 무게 산출부(252)에 출력한다.

(c) 무게 산출 처리부

다음에, 무게 산출 처리부(250)의 처리에 대해서 설명한다. 무게 산출 처리부(250)는 플래그 상관 연산부(230)가 산출한 플래그 데이터 차분값을 디코더(254)에 입력하고, 화상 데이터의 액티비티를 산출한다.

액티비티라 함은, 화상 데이터가 복잡할 수록 값이 커지는 지수(指數)이다. 즉, 휘도 레벨 등의 화소값 레벨이 좁은 범위에서 크게 변화하는 에지 영역 등에서는, 액티비티가 높고, 빈 곳(空; available area, free space) 등, 평탄한 화소값으로 이루어지는 화상 데이터의 경우에는 액티비티가 낮다. 대표점의 근방 영역의 액티비티가 클 때, 그 대표점이 움직였는지 여부를 판단하기 쉽고, 사람의 시각 특성에 크게 영향을 준다. 액티비티의 큰 물체 면적이 작을 때, 종래 방식에서는 평 가값 테이블 내의 피크가 면적에 의존하기 때문에, 피크의 크기가 작아지므로, 후보 벡터 추출이 곤란하게 된다. 그 결과, 액티비티가 큰 물체의 움직임 벡터가 포함되어 있지 않은 후보 벡터에서는, 움직임 벡터 결정시에 확실한 움직임 벡터 결정이 곤란하게 된다. 또, 화상의 특성상, 액티비티가 큰 화소 데이터가 움직일 때, 화상 데이터의 샘플링 이하의 움직임량인 경우에는 큰 레벨 변화가 생긴다. 이와 같은 특성이 있음에도 불구하고, 화소 레벨 데이터에 의한 상관성이 높다고 판단될 때, 그 검출한 후보 움직임 벡터의 신뢰성은 높다고 판단할 수 있다.

액티비티 산출 처리의 상세에 대해서, 도 11을 참조하여 설명한다. 도 11의 (a)는 무게 산출 처리부(250)가 보존유지하는 변환 테이블(253)이다. 이것은, 앞서 도 10의 (b)를 참조해서 설명한 변환 테이블의 역변환 처리를 행하는 테이블이며, 플래그 데이터로부터 화소값 차분을 구하는 것이다. 인접 화소와의 화소값 차분이 큰(大) 경우에는, 액티비티가 높다고 판단된다.

도 11에 도시하는 예에서는, 왼쪽 화소의 플래그 데이터 정보로서 [3], 오른쪽 화소의 플래그 데이터 정보로서 [9]가 입력된 예를 나타내고 있다. 이 경우, 디코더(254)는 도 11의 (a)에 도시하는 변환 테이블(253)로부터, 대응하는 대표값 차분을 취득하여 액티비티 산출부(251)에 출력한다.

왼쪽 화소의 플래그 데이터 정보 [3]에 대응하는 대표값 차분은 [-10]

오른쪽 화소의 플래그 데이터 정보 [9]에 대응하는 대표값 차분은 [2]

이며, 이 경우의 액티비티 A는,

A=｜-10｜+｜2｜

=12로 된다.

상기 계산이 실행되는 경우의 구체적인 화소값의 설정예를 도 11의 (b)에 도시하고 있다.

주목 화소의 화소값=128,

오른쪽 인접 화소의 화소값=130,

왼쪽 인접 화소의 화소값=118,

이 설정에서, 상기 계산에 의해서 산출되는 액티비티는,

A=｜130-128｜+｜118-128｜

=12

이며, 이 3화소간의 화소값 최대값(MAX)=130, 화소값 최소값(MIN)=118의 차분인 다이나믹 레인지(DR)와 똑같은 값으로 된다.

즉, 플래그 데이터로부터 산출되는 액티비티(A)는 다이나믹 레인지(DR)에 상당(相當)하는 값으로 된다.

또한, 상술한 예에서는, 무게 산출 처리부(250)에서, 플래그 상관 연산부(230)로부터 플래그 데이터를 입력하여, 변환 테이블(도 11 참조)에 의거해서 변환한 화소값 차분 데이터에 의거하는 액티비티 산출을 행하는 처리예를 설명했지만, 예를 들면, 도 12에 도시하는 바와 같이, 화소 상관 연산부(210)로부터의 출력인 프레임 차분 절대값 데이터를, 액티비티 산출부(251)에 입력해서, 프레임 차분 절대값 데이터에 의거해서 액티비티 A를 산출하는 구성으로 해도 좋다.

플래그 데이터, 또는 프레임 차분 절대값 데이터에 의거해서 액티비티 산출 부(251)에서 산출된 액티비티 A의 값은, 무게 산출부(252)에 출력된다. 무게 산출부(252)에서는, 비교부(241, 242)로부터 입력하는 임계값(TH1, TH2)과의 비교 결과인 상관의 유무 판정 데이터에 의거해서 무게 W를 산출하고, 액티비티 A의 값과 산출한 무게 W에 의거해서 신뢰도 지수 α를 산출한다.

비교부(241)에서는 대표점의 화소 데이터와, 다른(異) 프레임에 설정한 서치 에리어 내의 상관에 의거해서, 화소 상관 연산부가 산출한 화소 상관 연산 결과와 임계값(TH1)과의 비교가 실행되고, 비교부(242)에서는 플래그 데이터간(間)의 상관에 의거해서, 플래그 상관 연산부가 산출한 플래그 상관 연산 결과와 임계값(TH2)과의 비교가 실행되고, 그 비교 결과를 출력한다.

상관 판정의 1예로서, 대표점의 화소 데이터와 대표점의 플래그 데이터를 각각 X, X_f0, X_f1, 입력 화소 데이터와 입력 화소의 플래그 데이터를 각각 Y, Y_f0, Y_f1로 하면,

비교부(241)에서는

｜X-Y｜〈TH1　…(식 1)

이 성립(成立)하는지 여부가 판정되고,

비교부(242)에서는

｜X_f0-Y_f0｜〈TH2　…(식 2)

｜X_f1-Y_f1｜〈TH2　…(식 3)

이 성립하는지 여부가 판정되고, 이들 판정 결과를 무게 산출부(252)에 입력 한다.

또한, 여기에서는 임계값(TH1, TH2)은 고정(固定)으로 했지만, 그 밖의 예로서는 화상 데이터로부터 이 임계값을 산출하여 가변(可變)으로 해도 좋다.

무게 산출부(252)에서는, 상기 3식(식 1∼식 3)의 판정 결과에 의거해서, 상관성의 높이를 무게로서 산출한다. 예를 들면, 식 1, 식 2, 식 3의 모두를 만족시킬 때, 상관성은 높다고 판단할 수 있다. 한편, 식 1은 조건을 만족시키지만, 식 2와 식 3의 조건이 만족되지 않을 때, 상관성은 낮다고 판단할 수 있다. 따라서, 상관 판정의 정도에 의해 검출한 후보 움직임 벡터의 신뢰성을 판단할 수가 있다.

또, 식 1로부터 산출할 수 있는 잔차에 의해, 화소 레벨의 상관 판정의 정도를 계산할 수도 있다. 예를 들면, 식 1의 조건을 만족시켰을 때, 상관성의 정도를 나타내는 지수로서의 무게 계수를 W로 하면,

W=(TH1-｜X-Y｜) …(식 4)

로 나타낼 수가 있다. 다만, 식 2와 식 3이 만족되지 않는 경우에는 W=0으로 한다. 따라서, 무게 계수 W의 값이 클수록, 검출한 후보 움직임 벡터의 신뢰도는 크다고 판단된다. 또, 식 2, 식 3의 상관의 정도를 무게 계수 W에 반영하는 구성으로 해도 좋다. 즉,

W_all=(TH1-｜X-Y｜)+(TH2-｜X_f0-Y_f0｜)+(TH2-｜X_f1-Y_f1｜) …(식 5)

다만, 식 2와 식 3이 만족되지 않는 경우에는 W_all=0으로 한다.

무게 산출부(252)는 상술한 어느것인가의 방법으로 산출한 무게 계수 W와, 전술한 액티비티 A에 의거해서 신뢰도 지수 α를 산출한다. 신뢰도 지수 α는 하기의 식 (6)에 의해서 산출된다.

α=A×W　…(식 6)

무게 산출부(252)는 상기 식(식 6)에 의해서 무게 계수 W와 액티비티 A에 의거해서 산출한 신뢰도 지수 α를 연산부(260)에 출력하고, 비교부(241)로부터 출력되는 대표점의 화소에 의거하는 상관 유무의 결과 비트에 대한 승산을 실행한다. 결과로서, 비교부(241)로부터 출력되는 대표점의 화소에 의거하는 상관 유무의 결과 비트가 상관 있음을 나타내는 비트 [1]인 경우에, 신뢰도 지수 [α]의 값이 평가값 테이블 산출부(270)에 출력된다.

예를 들면, 대표점 데이터와의 상관성을 판단하는 임계값을 TH1=5, 주목 화소와 인접하는 좌우 2화소와의 액티비티의 상한을 6bit로 하면 상기 신뢰도의 범위는 0≤α≤252로 되고, 종래의 1bit에 비해서 약 8bit의 무게를 평가값 테이블에 가산할 수 있으므로, 신뢰성이 높은 평가값 테이블의 형성이 가능해진다.

또한, 상술한 실시예에서는, 액티비티로서 주목 화소에 대해서 인접하는 수평 2화소와의 차분 절대값의 총합을 이용하여 설명했지만, 그 밖의 예로서 다이나믹 레인지(dynamic range) 등을 이용해도 좋다.

평가값 테이블 산출부(270)는 입력하는 신뢰도 지수에 대응하는 평가값을 평가값 적산부(271)에서 적산하여 평가값 테이블을 생성해서, 평가값 테이블 메모리(272)에 격납한다.

평가값 적산부(271)는 연산부(260)로부터 입력하는 신뢰도 지수에 대응하는 평가값을 적산하는 처리를 행한다. 이 결과로서, 신뢰도 지수에 의거하는 평가값 테이블이 생성된다.

이상 설명한 본 발명의 움직임 벡터 검출 장치에서의 평가값 테이블 생성 처리의 시퀀스에 대해서 도 13의 플로를 참조하여 설명한다.

스텝 S201에서, 이전 프레임 화상 데이터에 대표점을 배치(결정)한다. 각 블록의 대표점은 전술한 바와 같이, 예를 들면

a. 블록의 중심 위치의 화소값,

b. 블록 내의 모든 화소의 화소값의 평균값,

c. 블록 내의 모든 화소의 화소값의 중간값,

등의, 블록을 대표하는 화소값이 대응지어진다.

스텝 S202에서는, 현프레임 화상 데이터를 입력한다. 예를 들면, 래스터 순으로 입력된다. 스텝 S203에서는, 플래그 데이터 연산부(220)(도 8 참조)에서, 입력 화소와 좌우 인접 화소와의 차분을 플래그로 변환하는 처리를 실행한다.

이것은, 도 9, 도 10을 참조해서 설명한 바와 같이, 예를 들면 8비트의 화소값 차분 데이터를 4비트(0∼15)의 플래그 데이터로 변환하는 처리이다.

스텝 S204에서는, 대표점 데이터와 입력 화소 데이터와의 상관 판정 처리가 실행된다. 이 처리는, 도 8에 도시하는 화소 상관 연산부(210)의 처리 및 비교부(241)의 처리이다. 대표점 메모리(211)로부터 판독출력된 이전 프레임의 대표점 데이터와, 현프레임의 화상 데이터가, 차분 산출부(212)에 공급되고, 이전 프레임의 대표점의 화소값과, 현프레임의 화상 데이터에 설정되는 각 대표점에 대응하는 서 치 에리어 내의 화소와의 화소값 차분 , 예를 들면 프레임 차(상관 연산 결과)를 산출하여, 절대값 산출부(213)에 출력하고, 프레임 차 절대값이 산출된다. 프레임 차 절대값은 비교부(241)에 입력되어, 미리 정한 임계값 1(TH1)과 비교되며, 프레임 차 절대값이 임계값 1(TH1)보다 작은 경우에는, 상관 있음으로 판정하고, 상관 있음을 나타내는 비트 데이터(예를 들면 [1])가 비교부(241)로부터 출력되며, 프레임 차 절대값이 임계값 1(TH1) 이상인 경우에는, 상관 없음으로 판정하고, 상관 없음을 나타내는 비트 데이터(예를 들면 [0])가 비교부(241)로부터 출력된다.

스텝 S205에서는, 대표점 플래그 데이터와 입력 화소 플래그 데이터와의 상관 판정 처리를 실행한다. 이 처리는, 도 8에 도시하는 플래그 상관 연산부(230)와 비교부(242)에서 실행된다.

차분 산출부(232)는 이전 프레임의 플래그 데이터와, 현프레임의 플래그 데이터와의 플래그 차분을 산출하여, 절대값 산출부(233)에 출력한다.

절대값 산출부(233)에서는, 차분 산출부(232)로부터 입력하는 이전 프레임의 플래그 데이터와 현프레임의 플래그 데이터에 의거하는 프레임 차(플래그 상관 연산 결과)를 입력하고, 프레임 차 절대값을 산출하여, 비교부(242)에 출력한다.

비교부(242)에서는, 플래그 상관 연산부(230)로부터 입력하는 플래그 데이터 차분값 절대값과, 미리 정한 임계값 2(TH2)과의 비교를 실행하고, 플래그 데이터 차분값 절대값이 미리 정한 임계값 2(TH2)보다 작은 경우에는 상관 있음, 플래그 데이터 차분값 절대값이 미리 정한 임계값 2(TH2) 이상인 경우에는 상관 없음의 비트 데이터를 무게 산출부(252)에 출력한다.

스텝 S206에서는, 신뢰도 지수 α를 산출한다. 이 신뢰도 지수 α의 산출 처리는, 무게 산출 처리부(250)에서 실행된다.

전술한 바와 같이, 플래그 데이터, 또는 프레임 차분 절대값 데이터에 의거해서 액티비티 산출부(251)에서 액티비티 A를 산출하고, 비교부(241, 242)로부터의 출력에 의거해서 무게 계수 W가 산출되며, 액티비티 A와 무게 계수 W에 의거해서,

α=A×W

로 해서 신뢰도 지수 α가 산출된다.

스텝 S207에서는, 신뢰도 지수 α를 평가값 테이블의 적산 포인트로서 출력한다. 스텝 S208에서는, 전대표점(全代表点)과 서치 에리어 내의 화소와의 상관 판정 처리가 종료했는지 여부를 판정하고, 종료하고 있지 않은 경우에는, 스텝 S202 이하의 처리를 미처리(未處理) 화소에 대해서 실행하고, 모든 화소의 처리가 종료하면 처리를 종료한다.

[4. 대표점 및 근방 대표점의 상관 정보를 고려한 평가값 테이블 생성 처리의 상세]

다음에, 대표점 및 근방 대표점의 상관 정보를 고려한 평가값 테이블 생성 처리의 상세에 대해서 설명한다.

우선, 도 14, 도 15를 참조하여, 본 실시예의 평가값 테이블 생성 처리의 개요에 대해서 설명한다. 종래의 대표점 매칭에 의한 상관 검출 처리에서는, 도 14에 도시하는 바와 같이 예를 들면 이전 프레임(320)으로부터 선택한 하나의 대표점(321)에 대해서, 현프레임(입력 프레임)(322)에 설정한 서치 에리어(323) 내의 구성 화소를 대상으로 해서 순차(順次) 화소값의 비교를 실행하고, 상관을 산출해서 상관의 유무에 의거하는 평가값을 취득하여, 이것을 평가값 테이블의 적산 포인트로 하고 있었다.

예를 들면, 도 14에 도시하는 예에서, 서치 에리어(323) 내에서, 대표점(321)에 대한 상관이 높은 화소(324)가 검출된 경우, 벡터 V(vx, vy)에 대응하는 포인트가 평가값 테이블에 대한 평가값으로서 적산된다.

대표점(321)의 화소값을 X(x, y)로 하고, 화소(324)의 화소값을 Y(x+vx, y+ｖy)로 했을 때,

｜X(x, y)-Y(x+vx, y+ｖy)｜〈TH를 만족시키는 경우에, 상관 있음으로 판정해서 평가값이 가산된다.

본 실시예에서의 평가값 산출은 도 15에 도시하는 바와 같이, 예를 들면 이전 프레임(340)으로부터 선택한 하나의 대표점(341)에 대해서, 현프레임(입력 프레임)(350)에 설정한 서치 에리어(355) 내의 화소에 대해서, 순차 화소값의 비교를 실행해서, 그 상관을 산출하고, 상관의 유무에 의거해서 벡터의 검출을 실행할 뿐만 아니라, 대표점(341)에 인접하는 대표점(342)에 대한 서치 에리어(355) 내의 화소에 대해서도 화소값 비교를 실행해서, 그 상관을 산출하고, 상관의 유무에 의거 해서 마찬가지로 벡터의 검출을 실행하며, 이들 복수의 대표점에 의거하는 상관 검출에 의해서 검출된 움직임 벡터가 유사한 경우에, 무게를 늘린(增) 평가값을 설정한다.

즉, 이전 프레임(340)의 하나의 대표점(341)의 상관 판정에 의거하는 평가값의 산출시에, 대표점(341) 근방(近傍)에 있는 다른(異) 대표점(342)에 대한 상관 판정을 하고, 도 15에 도시하는 바와 같이, 이들 두 개의 대표점(341, 342)에 대해서, 같은(同) 벡터 V(ｖx, ｖy)에 대응하는 위치에 상관이 높은 화소(351, 352)가 검출된 경우, 대표점(341)과 상관이 높은 화소(351)에 의해서 결정되는 움직임 벡터 V(ｖx,ｖy)(360)는 신뢰성이 높다고 판정하고, 신뢰도 가산 처리를 행해서 무게를 부가한 평가값을 출력한다.

이와 같이, 본 실시예에서의 평가값 테이블 형성부는 어떤 대표점에 대해서 상관 판정을 실행해서 평가값을 결정할 때, 그 대표점의 상관 정보에 의거하는 움직임 벡터와, 근방의 대표점에 대한 상관 정보에 의거하는 움직임 벡터와의 유사성을 판정하고, 유사한 움직임 벡터가 있는 경우에는, 신뢰도 가산에 의해 큰 값의 평가값을 설정하고, 유사한 움직임 벡터가 없는 경우에는, 작은 값의 평가값을 설정해서, 평가값 테이블을 생성한다.

도 16에 본 실시예의 평가값 테이블 형성부(400)의 구성을 도시한다. 도 16에 도시하는 바와 같이, 본 실시예의 움직임 벡터 검출 장치에서의 평가값 테이블 형성부(400)는 화소 상관 연산부(410), 움직임 유사성 검출부(420), 비교부(430), 무게 산출부(441), 연산부(442), 대표점 정지 판정부(450), 평가값 테이블 산출부 (270)를 가진다.

화소 상관 연산부(410)는 대표점 메모리(411), 화소값의 차분 데이터를 산출하는 차분 산출부(412), 차분 데이터의 절대값을 산출하는 절대값 산출부(413)를 가진다. 움직임 유사성 검출부(420)는 레지스터(라인 메모리)(422)와 차분 산출부(423)로 이루어지는 화소 차분 연산부(421), 연산부(424), 절대값 산출부(425), 상관 판정부(426)를 가진다.

대표점 정지 판정부(450)는 기준값 메모리(451), 비교부(452), 플래그 메모리(453)를 가진다. 평가값 테이블 산출부(470)는 연산부(442)로부터 출력하는 예를 들면 8비트 데이터로 이루어지는 평가값을 평가값 적산부(471)에서 적산하고, 평가값 테이블을 생성해서 평가값 테이블 메모리(472)에 격납한다.

처음에, 화소 상관 연산부(410)의 처리에 대해서 설명을 한다. 화소 상관 연산부(410)는 대표점 매칭 처리를 실행한다.

입력 단자를 거쳐서 화상 데이터가, 예를 들면 프레임 단위로, 화소 상관 연산부(410)에 입력된다. 화소 상관 연산부(410)에 입력된 화상 데이터는 차분 산출부(412) 및 대표점 메모리(411)에 공급된다.

대표점 메모리(411)에 기억되는 화상 데이터는, 예를 들면 프레임 단위로 입력되는 화상 데이터로부터 생성되는 미리 결정된 대표점 데이터이다. 예를 들면, 앞서 도 3, 도 4를 참조하여 설명한 화면을 분할해서 설정된 블록, 예를 들면 m×n 화소의 블록에서 대표점이 하나 설정된다. 또한, 대표점은,

a. 블록의 중심 위치의 화소값,

b. 블록 내의 모든 화소의 화소값의 평균값,

c. 블록 내의 모든 화소의 화소값의 중간값,

등의, 블록을 대표하는 화소값 데이터가 대응지어진다.

구체적으로는, 예를 들면 입력 프레임 화상으로부터, 공간적으로 균등하게 솎아내어진 화소 위치의 화상 데이터(화소값 데이터)가, 제어부(컨트롤러)(104)(도 6 참조)로부터의 신호에 의한 타이밍 제어에 의해 선택되어, 대표점 데이터로서 대표점 메모리(411)에 기억된다.

대표점 메모리(411)로부터 판독출력된 이전 프레임의 대표점 데이터와, 현프레임의 화상 데이터가, 차분 산출부(412)에 공급된다.

차분 산출부(412)는 이전 프레임의 대표점의 화소값과, 현프레임의 화상 데이터에 설정되는 각 대표점에 대응하는 서치 에리어 내의 화소와의 화소값 차분, 예를 들면 프레임 차(상관 연산 결과)를 산출해서, 절대값 산출부(413)에 출력한다.

절대값 산출부(413)에서는, 차분 산출부(412)로부터 입력하는 이전 프레임의 대표점 데이터와, 현프레임의 화상 데이터에 의거하는 프레임 차(상관 연산 결과)를 입력하여, 프레임 차 절대값을 산출한다.

프레임 차 절대값은 비교부(430)에 입력되어, 미리 정한 임계값(TH)과 비교되며, 프레임 차 절대값이 임계값(TH)보다 작은 경우에는, 상관 있음으로 판정하고, 상관 있음을 나타내는 비트 데이터(예를 들면, [1])가 비교부(430)로부터 출력되고, 프레임 차 절대값이 임계값(TH) 이상인 경우에는, 상관 없음으로 판정하고, 상관 없음을 나타내는 비트 데이터(예를 들면, [0])가 비교부(430)로부터 출력된다.

종래는, 이 비교부(430)로부터의 출력값을 그대로, 적산 포인트로서 평가값 테이블이 생성되고 있었다. 즉, 1화면 내의 모든 대표점에 대한 상관 연산 결과를 적산함으로써, 평가값 테이블이 생성되고, 생성한 평가값 테이블에 출현하는 피크(극값)에 의해서, 후보 벡터의 추출이 실행되고 있었다.

본 실시예의 움직임 벡터 검출 장치에서의 평가값 테이블 형성부는 도 15를 참조해서 설명한 바와 같이, 어떤 대표점에 대해서 상관 판정을 실행해서 평가값을 결정할 때, 그 대표점의 상관 정보에 의거하는 움직임 벡터와, 근방의 대표점에 대한 상관 정보에 의거하는 움직임 벡터와의 유사성을 판정하며, 유사한 움직임 벡터가 있는 경우에는, 신뢰도 가산에 의해 큰 값의 평가값을 설정하고, 유사한 움직임 벡터가 없는 경우에는, 무게가 작은 평가값을 설정해서, 평가값 테이블을 생성한다.

이들 처리를 실행하는 것이, 도 16에 도시하는 움직임 유사성 검출부(420), 대표점 정지 판정부(450), 무게 산출부(441), 연산부(442)이다. 이들 각 부의 처리에 대해서 이하 설명한다.

(a) 움직임 유사성 검출부

우선, 움직임 유사성 검출부(420)의 처리에 대해서, 도 17을 참조하여 구체적 처리를 예로서 설명한다. 움직임 유사성 검출부(420)는 화상 데이터를 입력하고, 화소 차분 연산부(421) 내의 레지스터(라인 메모리)(422)에 입력 화소 데이터 를 격납한다. 도 17에 도시하는 입력 프레임(510)이, 레지스터(라인 메모리)(422)에 격납된다. 차분 산출부(423)는 레지스터(라인 메모리)(422)에 격납된 화소 데이터와, 입력 화소 데이터의 화소값 차분을 산출한다. 예를 들면, 도 17에 도시하는 화소(511)의 화소값 X1과 화소(512)의 화소값 X5의 차분 D=X5-X1이 산출된다. 도 17에 도시하는 스텝 1[S1]의 처리이다. 여기서, X1, X5는 각각의 화소(511, 512)의 화소값을 나타내고 있다.

또, 화소(511)와 화소(512)의 간격은, 이전 프레임(500)에 설정한 대표점 간격 dx와 똑같이 설정된다.

이 차분값 D는 다음에, 연산부(424)에 입력되고 연산부의 연산 결과가 절대값 산출부(425)에 입력된다. 연산부(424) 및 절대값 산출부(425)는 화소 차분 연산부(421)로부터의 입력값과, 대표점 메모리(411)로부터 이전 프레임의 대표점 화소의 화소값에 의거해서, 도 17에 도시하는 스텝 2 [S2] 및 스텝 3 [S3]의 연산 처리를 실행한다.

즉, 우선 스텝 2 [S2]에서, 도 16에 도시하는 대표점 메모리(411)로부터 입력한 이전 프레임(500)의 대표점 화소(502)의 화소값 Q와, 입력 프레임(510)의 화소(512)의 차분 절대값 ｜Q-X5｜를 산출한다.

다음에, 스텝 3 [S3]에서, 도 16에 도시하는 대표점 메모리(411)로부터 입력한 이전 프레임(500)의 대표점 화소(501)의 화소값 P와, 입력 프레임(510)의 화소(511)의 차분 절대값 ｜P-X5+D｜를 산출한다.

또한, 도 17에서는, 주목 대표점(501)과 근방의 우측의 대표점(502)의 움직 임 벡터의 유사성을 검출하는 예를 나타내었다. 대표점 매칭에서는, 1 입력 화소와 복수의 대표점과의 상관 판정을 행하므로, ｜Q-X5｜와 ｜P-X1｜을 병렬(竝列)해서 산출하지 않고, ｜P-X1｜의 산출 대신에, ｜P-X5+D｜를 산출하고 있다. 이 때문에, 도 17에 도시하는 계산 수순 S1∼S3과 같이, 미리 대표점 매칭을 행하기 전에, 입력 프레임 내의 입력 화소에 대해서, 대표점 간격만큼 떨어진 화소와의 차분값 D를 계산하고 있다.

다음에, 상관 판정부(426)에서는, 도 17에 도시하는 스텝 4 [S4]의 처리, 즉 미리 정한 임계값[TH]와, 스텝 2, 3에서 구한 화소 차분값과의 비교 처리,

｜Q-X5｜〈TH

｜P-X5+D｜〈TH

가 성립하는지 여부의 판정 처리를 실행한다.

｜Q-X5｜〈TH와, ｜P-X5+D｜〈TH의 양자(兩者)가 성립하는 경우, 대표점과 그 근방의 대표점은 같은 움직임 벡터가 설정되는 것으로 판정되어, 움직임 유사성 있다고 판단하고, 도 16의 움직임 유사성 검출부(420)는, 유사성 있음의 판정 결과, 예를 들면 비트 [1]을 무게 산출부(441)에 출력한다.

｜Q-X5｜〈TH와, ｜P-X5+D｜〈TH의 어느것인가가 성립하지 않는 경우, 대표점과 그 근방의 대표점은 같은 움직임 벡터가 설정되지 않는다고 판정되어, 움직임 유사성 없음으로 판단하고, 도 16의 움직임 유사성 검출부(420)는 유사성 없음의 판정 결과, 예를 들면 비트 [0]을 무게 산출부(441)에 출력한다.

(b) 무게 산출부

다음에, 무게 산출부(441)의 처리에 대해서 설명한다. 무게 산출부(441)는 화상 내의 물체(物體) 상의 어떤 대표점을 주목 화소로 했을 때, 근방의 대표점에 대응하는 상관 검출에 의해서 취득되는 움직임 벡터가 유사하면 그 움직임 벡터는 신뢰할 수 있다고 하여, 신뢰도에 의거해서 신뢰도 지수 β를 산출하고, 신뢰도 지수 β를 연산부(442)에 출력한다.

연산부(442)는 신뢰도 지수 β를 입력함과 동시에, 비교부(430)로부터의 출력, 즉 화소 상관 연산부(410)에서 실행된 대표점 매칭의 결과로서의 대표점과 서치 에리어의 각 화소의 상관 결과에 의거하는 상관의 유무의 결과로서, 상관 있음인 경우, 비트 [1], 상관 없음인 경우, 비트 [0]을 입력한다.

연산부(442)는 대표점 매칭의 결과로서 상관 있음인 경우, 비트 1에 대해서 무게 산출부로부터 입력되는 대표점과 근방 대표점의 유사 움직임 있음의 판정에 의거해서 산출되는 신뢰도 지수 β의 승산 또는 가산을 실행해서, β×1 또는 β+1을 최종 평가값으로서 평가값 적산부(471)에 출력한다.

무게 산출부(441)는 신뢰도 지수 β를, 움직임 유사성 검출부(420) 등의 출력이 유사성 있음이라는 판정이 있었던 경우에 계산한다. 무게 산출부(441)에서의 신뢰도 지수 β의 산출 처리의 상세에 대해서 설명한다.

도 18에 도시하는 바와 같이, 주목하는 대표점과 근방 대표점의 움직임 벡터가 유사할 때, 대표점 사이에 공간 구배, 즉 도 18의 (a)에 도시하는 바와 같이 대표점 사이에 큰 화소값 차분이 있으면, 화상 내에서 휘도 레벨차가 있는 영역이 움직이게 되고, 그 움직임 벡터의 신뢰성을 보다 높다고 판단한다. 한편, 도 18의 (b)에 도시하는 바와 같이 대표점 사이에 큰 화소값 차분이 없는 경우에는, 화상 내에서 휘도 레벨차가 적은 영역이 움직이는 것을 나타내고 있으며, 예를 들면 배경 영역, 빈 영역(空領域) 등인 경우가 있고, 유사성이 검출된 경우라도 움직임 벡터의 신뢰성은 낮다고 판단한다.

즉, 무게 산출부(441)는 도 19에 도시하는 바와 같이, 대표점간 공간 구배(550)의 크기에 의거해서 신뢰도 지수 β를 산출한다.

무게 산출부(441)는 대표점간의 움직임의 유사성 있음이라는 판정을 움직임 유사성 검출부(420)로부터 입력했을 경우, 주목하는 대표점의 휘도 레벨을 Pm, 유사 움직임 있음으로 판정된 N개의 근방 대표점의 휘도 레벨을 Pn으로 할 때, 그 움직임 벡터의 신뢰성을 나타내는 지수 β를, 아래 식

[수학식 3]

에 의해서 산출한다.

도 20에 상기 식에 따라서 산출하는 신뢰도 지수 β의 구체예를 도시한다. 도 20에서는, 주목 대표점(550) 주위의 4개의 대표점을 근방 대표점으로서 선택하고 각각의 움직임의 유사성을 움직임 유사성 검출부(420)에서 검출한 예이다.

움직임 유사성 검출부(420)에서의 검출 결과로서, 주목 대표점(550)과 유사 움직임인 근방 대표점(560, 562)이 검출되고, 근방 대표점(561, 563)은 주목 대표점(550)과 유사 움직임이 아니라고 판정되었다고 한다.

각 대표점 화소의 화소값은,

대표점(550)→[Pm]

근방 대표점(560)→[P0]

근방 대표점(561)→[P1]

근방 대표점(562)→[P2]

근방 대표점(563)→[P3]

이다.

이 경우 상기 식에 따라서 산출되는 신뢰도 지수 β는,

신뢰도 지수 β=｜Pm-P0｜+｜Pm-P2｜

로서 산출된다.

또한, 대표점의 배치가 고정 배치가 아니라 화상 데이터로부터 어떤 파라미터를 산출하여 가변 배치로 한 설정인 경우에는, 근방 대표점의 움직임 벡터가 일치했을 때, 주목 대표점으로부터의 거리도 고려한 신뢰도 지수를 설정하는 구성으로 하는 것이 바람직하다. 즉, 대표점간의 거리가 가까울 수록 유사한 움직임 벡터의 신뢰도는 높다고 판정하고, 대표점간의 거리가 가까울 수록 신뢰도 지수를 높게 설정하는 구성으로 한다.

주목 대표점과 근방 대표점의 움직임 벡터가 유사했을 때의 움직임 벡터의 신뢰도 지수 β는 적어도 이하의 파라미터의 어느것인가를 반영한 값으로서 산출하는 구성으로 한다.

1. 근방 대표점의 움직임의 일치수 혹은 유사수

2. 움직임이 일치 혹은 유사한 대표점과의 공간 구배

3. 움직임이 일치 혹은 유사했을 때의 대표점간의 거리

무게 산출부(441)는 움직임 유사성 검출부(420)로부터 특정 대표점에 대응하는 N개의 근방 대표점의 유사성 판정 결과를 입력하고, 또 도 16에 도시하는 바와 같이, 화소 상관 연산부(410)로부터의 출력에 의거해서 대표점간의 공간 구배(화소값 차분 정보)를 취득하고, 상기 식에 따라서 신뢰도 지수 β를 산출하여, 연산부(442)에 출력한다.

다만, 움직임의 유사성을 정지 영역의 대표점에 적응하는 경우, 정지 영역으로부터 검출되는 (0, 0) 벡터 이외의 후보 움직임 벡터의 판정 결과의 신뢰성은 낮고, 판정 결과를 평가값 테이블에 가산하는 것은 무의미하다. 그래서, 정지 영역으로 판정된 영역 내의 대표점으로부터 검출되는 후보 움직임 벡터의 신뢰성은 낮다고 판단하고, 신뢰도 지수 β=0, 또는 신뢰도 지수 β의 값을 낮게 설정한다. 대표점의 화소 위치가 정지 영역에 있는지 여부의 판정은 대표점 정지 판정부(450)가 실행한다.

(c) 대표점 정지 판정부

다음에, 대표점 정지 판정부(450)의 처리에 대해서 설명한다. 대표점 정지 판정부(450)는 기준값 메모리(451), 비교부(452), 플래그 메모리(453)를 가진다.

비교부(452)가 화소 상관 연산부(410)에서 실행되는 대표점 매칭 처리의 결과를 입력하고, 기준값 메모리(451)에 격납된 미리 설정된 기준값과의 비교를 행하여, 대표점이 정지 영역에 있는지 여부를 판정한다.

비교부(452)가 실행하는 정지 판정 처리의 구체예에 대해서, 도 21을 참조해서 설명한다. 이전 프레임 [F_t-1] 대표점 R_y의 정지 판정을, 도 21의 (A)를 이용해서 설명한다. 이전 프레임 [F_t-1]의 대표점 R_y의 정지 판정은 이전 프레임 [F_t-1]의 대표점 R_y와, 현프레임 [F_t]의 점 Q_y와의 프레임 차(差)로 판정하는 것이 아니라, 이전 프레임 [F_t-1]의 대표점 R_y와, 그 전(前)의 프레임 [F_t-2]의 점 P_y의 프레임 차로 판정을 행한다. 왜냐하면, R_y와 Q_y와의 프레임 차를 이용하는 경우, 현프레임의 Q_y의 데이터가 공급된 시점에서밖에 대표점 R_y의 정지 판정을 할 수 없지만, R_y와 P_y와의 프레임 차를 이용하는 경우, 이전 프레임 [F_t-1]의 데이터가 모두 공급된 시점에서, 이전 프레임 [F_t-1]에 존재하는 대표점의 정지 판정 결과가 취득되기 때문이다.

또, 이전 프레임 [F_t-1]의 대표점 R_y와, 그 전의 프레임 [F_t-2]의 점 P_y와의 프레임 차 절대값은 프레임 [F_t-2]의 대표점 P_y에서의 화소 상관 연산부(410)에서 산출되고 있으므로, 이것을 이용하는 것이 가능해진다.

비교부(452)는 화소 상관 연산부(410)에서 산출된 이전 프레임 [F_t-1]의 대표점 R_y와, 그 전의 프레임 [F_t-2]의 점 P_y와의 프레임 차 절대값을 입력하고, 이 프레임 차 절대값이 기준값 메모리(451)에 격납된 미리 설정된 기준값보다 작은 경우에는, 이전 프레임 [F_t-1]의 대표점 R_y가 정지 영역에 있다고 간주하고, 정지 플래그 (0)를 플래그 메모리(453)에 격납한다.

한편, 화소 상관 연산부(410)에서 산출된 이전 프레임 [F_t-1]의 대표점 R_y와, 그 전의 프레임 [F_t-2]의 점 P_y와의 프레임 차 절대값이, 기준값 메모리(451)에 격납된 미리 설정된 기준값 이상인 경우에는, 이전 프레임 [F_t-1]의 대표점 R_y가 정지 영역에 없다고 간주하고, 움직임 플래그(1)를 플래그 메모리(453)에 격납한다. 또한, 이들 플래그는 컨트롤러(도 6의 컨트롤러(104))에 의한 타이밍 제어에 의해서, 플래그 메모리(453)에 격납된다.

또, 컨트롤러에 의한 적절한 타이밍에서, 플래그 메모리(453)로부터 대표점 정지 판정 플래그가 무게 산출부(441)에 출력되고, 무게 산출부(441)는 대표점이 정지 영역 내의 대표점인지 여부를 입력 플래그값에 의거해서 판정하고, 대표점이 정지 영역 내의 대표점인 경우에는 그 대표점에 대응해서 검출된 상관성에 의거하는 움직임 벡터의 신뢰성은 낮다고 판단하고, 신뢰도 지수 β=0, 또는 신뢰도 지수 β의 값을 낮게 설정한다. 또한, 연산부(442)에서의 연산이 가산 처리인 경우에는 β=0, 연산부(442)에서의 연산이 승산 처리인 경우에는 β=1로 하는 설정으로 해도 좋다.

대표점이 정지 영역 내의 대표점이 아닌 경우에는 상기 식에 따라서 산출한 신뢰도 지수 β를 연산부(442)에 출력한다. 연산부(442)는 비교부(430)로부터의 출력에 대해서, 신뢰도 지수 β의 가산 또는 승산, 혹은 그 밖의 신뢰도 지수 β를 고려한 결과를 출력 평가값으로 하는 연산 처리를 실행해서 평가값 적산부(471)에 출력한다.

평가값 테이블 산출부(470)는 입력하는 신뢰도 지수 β를 반영한 평가값을 평가값 적산부(471)에서 적산해서 평가값 테이블을 생성하여, 평가값 테이블 메모리(472)에 격납한다.

평가값 적산부(471)는 연산부(442)로부터 입력하는 신뢰도 지수 β를 반영한 평가값을 적산하는 처리를 행한다. 이 결과로서, 신뢰도 지수 β에 의거하는 평가값 테이블이 생성된다.

이상 설명한 본 발명의 움직임 벡터 검출 장치에서의 평가값 테이블 생성 처리의 시퀀스에 대해서 도 22의 차트를 참조하여 설명한다.

스텝 S301에서, 이전 프레임 화상 데이터에 대표점을 배치(결정)한다. 각 블록의 대표점은, 전술한 바와 같이, 예를 들면

a. 블록의 중심 위치의 화소값,

b. 블록 내의 모든 화소의 화소값의 평균값,

c. 블록 내의 모든 화소의 화소값의 중간값,

등의, 블록을 대표하는 화소값이 대응지어진다.

스텝 S302에서는, 현프레임 화상 데이터를 입력한다. 예를 들면, 래스터순으로 입력된다. 스텝 S303은 움직임 유사성 검출부(420)의 처리이며, 입력 프레임 내에서 입력 화소와 대표점 간격(dx) 떨어진 입력 화소와의 차분을 산출한다. 이 처리는 앞서 도 17을 참조해서 설명한 스텝 S1의 처리, 즉 D=X5-X1의 산출 처리에 상당하는 처리이다.

스텝 S304에서는, 대표점 데이터와 입력 화소 데이터와의 상관 판정 처리가 실행된다. 이 처리는 도 16에 도시하는 화소 상관 연산부(410)의 처리 및 비교부(430)의 처리이다. 대표점 메모리(411)로부터 판독출력된 이전 프레임의 대표점 데이터와, 현프레임의 화상 데이터가, 차분 산출부(412)에 공급되고, 이전 프레임의 대표점의 화소값과, 현프레임의 화상 데이터에 설정되는 각 대표점에 대응하는 서치 에리어 내의 화소와의 화소값 차분, 예를 들면 프레임 차(상관 연산 결과)를 산출하여, 절대값 산출부(413)에 출력하고, 프레임 차 절대값이 산출된다. 프레임 차 절대값은 비교부(430)에 입력되어, 미리 정한 임계값(TH)과 비교되고, 프레임 차 절대값이 임계값(TH)보다 작은 경우에는, 상관 있음으로 판정하고, 상관 있음을 나타내는 비트 데이터(예를 들면, [1])가 비교부(430)로부터 출력되고, 프레임 차 절대값이 임계값(TH) 이상인 경우에는, 상관 없음으로 판정하고, 상관 없음을 나타내는 비트 데이터(예를 들면, [0])가 비교부(430)로부터 출력된다.

스텝 S305에서는, 입력 화소와 대표점과의 차분 데이터로부터 근방 대표점의 움직임 유사성을 검출한다. 이 처리는 움직임 유사성 검출부(420)의 처리이며, 이전 프레임 내의 주목 대표점과 근방 대표점에 대응하는 입력 프레임에서의 상관이 높은 화소와의 대응에 의거해서 검출되는 주목 대표점과 근방 대표점의 움직임이 유사한지 여부가 판정된다. 유사 움직임이 있다고 판정된 경우에는, 움직임 유사성 검출부(420)로부터 무게 산출부(441)에 대해서 유사성 있음의 판정 결과가 출력된다. 또한, 유사성 있음 또는 없음의 판정 결과는, 주목 대표점의 복수의 근방 대표점에 대해서 실행되고, 각각의 결과 데이터가 무게 산출부(441)에 대해서 출력된 다.

스텝 S306에서는, 신뢰도 지수 β를 산출한다. 이 신뢰도 지수 β의 산출 처리는 무게 산출부(441)에서 실행된다.

전술한 바와 같이, 주목 대표점과 근방 대표점의 움직임 벡터가 유사했을 때의 움직임 벡터의 신뢰도 지수 β는 적어도 이하의 파라미터를 반영한 값으로서 산출하는 구성으로 한다.

1. 근방 대표점의 움직임의 일치수 혹은 유사수

2. 움직임이 일치 혹은 유사한 대표점과의 공간 구배

3. 움직임이 일치 혹은 유사했을 때의 대표점간의 거리

스텝 S307에서는, 신뢰도 지수 β를 평가값 테이블의 적산 포인트로서 출력한다. 스텝 S308에서는, 전대표점과 서치 에리어 내의 화소와의 상관 판정 처리가 종료했는지 여부를 판정하고, 종료하고 있지 않은 경우에는, 스텝 S302 이하의 처리를 미처리 화소에 대해서 실행하고, 모든 화소의 처리가 종료하면 처리를 종료한다.

또한, 앞서 설명한 신뢰도 지수 α와 상술한 신뢰도 지수 β를 합해서 신뢰도 지수 K를 산출하고, 하기 식

K=α+β

를 신뢰도 지수로서 설정하며, 이 신뢰도 지수 K를 반영한 평가값을 평가값 테이블에 가산하는 구성으로 해도 좋다. 이 경우의, 평가값 테이블 형성부의 구성은, 도 8에 도시한 구성과, 도 16에 도시한 구성을 아울러 가지는 구성으로 된다.

종래의 평가값 테이블 형성부에서는 대표점 매칭만의 상관 유무의 판정 결과로서 얻어지는 1bit(상관 있음/없음)의 가산에 의해서 평가값 테이블을 구성하고 있었지만, 상술한 바와 같이 신뢰도 지수：α, 또는 신뢰도 지수：β, 또는 신뢰도 지수：K=α+β를 적용함으써, 보다 정밀도가 높은 평가값에 의거하는 평가값 테이블을 구성하는 것이 가능해진다.

예를 들면, 신뢰도 지수 K=α+β를 적용한 경우, 대표점마다 산출되는 매칭의 신뢰도 α의 상한을 7bit로 하고, 유사 움직임을 참조하는 대표점의 개수(個數)를 좌우 2개로 하고, 대표점간의 공간 구배의 상한을 6bit로 하면, 근방 좌우 대표점으로부터 같은 후보 움직임 벡터가 검출되었을 때의 신뢰도 β는 최대 7bit로 되고, 검출된 후보 움직임 벡터의 신뢰도 K는 8bit 단계(段階)의 무게를 산출할 수 있으므로, 이것에 의해 신뢰도가 높은 평가값 테이블의 형성이 가능해진다.

[5. 평가값 테이블의 구체예]

상술한 평가값 테이블 형성부의 구성을 가지는 움직임 벡터 검출 장치를 적용해서, 실제의 동화상 데이터에 대한 처리를 실행한 경우에 생성되는 도수 분포형(度數分布型) 평가값 테이블의 예를 설명한다.

구체적인, 동화상 데이터(800)로서, 도 23에 도시하는 바와 같은, 정지 배경에 이동 물체 (A)(801), 이동 물체 (B)(802), 이동 물체 (C)(803), 이동 물체 (D)(804)가 존재하는 데이터를 적용했다.

이동 물체 (A)(801), 이동 물체 (C)(803)은 수평 왼쪽방향(-X 방향)으로 이동하는 물체이며, 이 물체의 표시 영역의 화소에 대응하는 올바른 움직임 벡터는 (Vx, Vy)=(-n, 0)이다. 다시말해, 수평 왼쪽방향의 움직임 벡터가 설정되어야 할 화소 영역이다. 이동 물체 (B)(802)는 수평 오른쪽 방향(+X 방향)으로 이동하는 물체이며, 이 물체의 표시 영역의 화소에 대응하는 올바른 움직임 벡터로서는, (Vx, Vy)=(n, 0)이다. 다시말해, 수평 왼쪽방향의 움직임 벡터가 설정되어야 할 화소 영역이다.

또, 이동 물체 (D)(804)는 수직 위쪽방향(上方向)(+Y 방향)으로 이동하는 물체이고, 이 물체의 표시 영역의 화소에 대응하는 올바른 움직임 벡터로서는, (Vx, Vy)=(0, n)이다. 다시말해, 수직 위쪽방향의 움직임 벡터가 설정되어야 할 화소 영역이다.

이 동화상 데이터에 대해서, 종래 수법, 예를 들면 일본 특개 제2001-61152호 공보에 개시되어 있는 평가값 테이블 생성 처리를 적용해서, 대표점의 상관 데이터만 적산하여 생성한 평가값 테이블을 도 24에 도시한다. 도 24에 도시하는 평가값 테이블은 수직 방향(-Y 또는 +Y 방향)의 움직임 벡터에 대응하는 피크만을 나타내는 2차원적으로 표현한 평가값 테이블이다.

즉, 도 24는 화소 상관 연산부로부터 출력되는 데이터를, 그대로 적용해서 적산하여 생성한 평가값 테이블의 2차원 데이터이며, 이 테이블에는 (Vy=0) 즉 배경 영역의 정지 화소의 정지 벡터에 대응하는 피크만이 출현하고 있다.

도 25는 앞서 설명한 신뢰도 지수：α, 즉 액티비티 A와 무게 계수 W에 의거하는 신뢰도 지수 α에 의거해서 생성한 평가값 테이블의 2차원 데이터이다. 이 평가값 테이블에는, 정지 화소에 대응하는 피크 뿐만 아니라, 수직 방향(Y 방향)으로 이동하는 물체 D에 대응하는 피크가 출현하고 있다.

이와 같이, 액티비티 A와 무게 계수 W에 의거하는 신뢰도 지수 α에 의거해서 생성한 평가값 테이블에서는, 화상 데이터의 표시 영역에서의 점유(占有) 면적이 작은 물체의 이동에 대응하는 피크를 평가값 테이블에 출현시킬 수 있어, 정확한 후보 벡터의 추출, 움직임 벡터의 결정 처리가 가능해진다.

도 26은 신뢰도 지수：β, 즉 주목 대표점과 근방 대표점과의 움직임 유사성 검출과 대표점간의 공간 구배(화소값 차분)를 고려하여 산출한 신뢰도 지수 β에 의거해서 생성한 평가값 테이블의 3차원 데이터이다. 이 평가값 테이블에는, 정지 화소에 대응하는 피크 뿐만 아니라, 이동 물체 A, B, C, D 각각에 대응하는 피크가 출현하고 있다.

이와 같이, 주목 대표점과 근방 대표점과의 움직임 유사성 검출과 대표점간의 공간 구배(화소값 차분)를 고려하여 산출한 신뢰도 지수 β에 의거해서 생성한 평가값 테이블에서는, 화상 데이터의 표시 영역에서의 대표점의 액티비티 A는 작지만, 점유 면적이 큰 물체의 이동에 대응하는 피크를 평가값 테이블에 출현시킬 수 있어, 정확한 후보 벡터의 추출, 움직임 벡터의 결정 처리가 가능해진다.

[6. 특징 화소에 의거하는 움직임 벡터 결정 처리의 상세]

앞서 도 6을 참조해서 설명한 바와 같이, 대표점 매칭을 적용한 움직임 벡터 검출 장치는 평가값 테이블 형성부(101), 후보 벡터 추출부(102), 움직임 벡터 결정부(103)를 가지고, 평가값 테이블 형성부(101)에서 입력 화상 데이터에 의거하여 평가값 테이블을 생성하고, 후보 벡터 추출부(102)에서 평가값 테이블로부터 복수 의 후보 벡터를 추출하고, 또 움직임 벡터 결정부(103)에서 복수의 후보 벡터로부터 각 화소 대응의 움직임 벡터를 결정한다고 하는 처리를 행하는 것이다.

그러나, 전술한 바와 같이, 움직임 벡터 결정부(103)에서의 움직임 벡터의 결정 정밀도를 향상시키기 위해서는, 블록 매칭에서의 적용 블록 사이즈를 크게 할 필요가 있다. 블록 사이즈를 크게 하면, 블록에 포함되는 다수의 화소값을 메모리에 보존유지하는 것이 필요하게 되고, 또 전술한 차분 절대값 총합의 산출 처리에서는, 블록에 포함되는 다수의 화소값에 의거하는 연산 처리를 행하는 것이 필요하게 된다. 결과로서, 하드웨어 규모를 크게 할 필요가 발생하고, 또 처리 효율을 저하시켜 버린다고 하는 문제가 있다.

그래서, 이하에 설명하는 실시예에서는, 움직임 벡터 결정부(103)에서 실행하는 움직임 벡터의 결정 처리에 블록 매칭을 적용하지 않고, 특징 화소 위치 정보에 의거하는 움직임 벡터 결정 처리를 실행한다. 이 움직임 벡터 결정부의 처리의 상세에 대해서, 이하 설명한다.

또한, 이하에서 특징 화소 위치 정보에 의거하는 움직임 벡터 결정 처리의 구성에 대해서,

(1) 2점(点) 매칭 방식에 의한 움직임 벡터 결정 처리

(2) 3점 매칭 방식에 의한 움직임 벡터 결정 처리

의 두 개의 처리 구성에 대해서 순차 설명한다.

(1) 2점 매칭 방식에 의한 움직임 벡터 결정 처리

우선, 2점 매칭 방식에 의한 움직임 벡터 결정 처리에 대해서 설명한다. 도 27에 본 실시예에 관련된 움직임 벡터 검출 장치의 움직임 벡터 결정부의 상세 구성을 도시한다. 도 27에 도시하는 움직임 벡터 결정부(1200)는 도 6에 도시하는 움직임 벡터 검출 장치의 움직임 벡터 결정부(103)에 상당한다.

도 27에 도시하는 움직임 벡터 결정부(1200)는 도 6에 도시하는 후보 벡터 추출부(102)로부터 전술한 평가값 테이블에 의거해서 결정한 복수의 후보 벡터 정보를 입력하고, 각 화소마다 대응지을 움직임 벡터를 결정하는 처리를 실행한다.

본 실시예에 관련된 움직임 벡터 결정부(1200)는 도 27에 도시하는 바와 같이, 화소 상관 판정부(1210), 임시 판정부(1221), 게이트(1222), 부가(付加) 정보 연산부(1250), 특징 화소 위치 상관 판정부(1230)를 가진다. 화소 상관 판정부(1210)는 현프레임 메모리(1211), 이전 프레임 메모리(1212), 화소값 차분 산출부(1213), 절대값 산출부(1214)를 가진다. 특징 화소 위치 상관 판정부(1230)는 현프레임 부가 정보 메모리(1231), 이전 프레임 부가 정보 메모리(1232), 상관 판정부(1233)를 가진다. 부가 정보 연산부(1250)의 상세는 도 29 이하를 참조해서 설명한다.

화소 상관 판정부(1210)는 화상 신호를 입력한다. 이 입력 화상은 예를 들면 래스터 스캔에 의해 얻어지는 화상 데이터이다. 화상 데이터는 예를 들면 디지털 컬러 영상 신호의 컴퍼넌트(component) 신호 중의 휘도 신호를 포함한다.

화상 데이터는 프레임 데이터마다 입력되고, 먼저 현프레임 메모리(1211)에 격납되고, 다음에 이전 프레임 메모리(1212)에 격납된다. 따라서, 화소 상관 판정부(1210)는 두 개의 연속하는 프레임 데이터를 메모리에 보존유지한다.

또, 화소 상관 판정부(1210)는 도 6에 도시하는 후보 벡터 추출부(102)로부터 후보 벡터 정보를 입력하고, 후보 벡터 정보에 의거해서 이전 프레임의 각 화소, 즉 움직임 벡터를 결정해야 할 화소(주목 화소)마다, 복수의 후보 벡터가 지시하는 현프레임의 화소 위치를 특정하고, 이전 프레임의 주목 화소와 복수의 후보 벡터가 지시하는 현프레임의 화소와의 차분을 화소값 차분 산출부(1213)에서 산출하고, 절대값 산출부(1214)에서 그 차분 절대값을 산출하여, 임시 판정부(1221)에 출력한다.

이들 일련의 처리에 대해서, 도 28을 참조하여 설명한다. 도 28에 도시하는 것은 입력 프레임(현프레임) 화상 데이터(1300)와, 과거 프레임(이전 프레임) 화상 데이터(1310)이다. 이들 프레임 데이터는 현프레임 메모리(1211)와, 이전 프레임 메모리(1212)에 격납된 데이터이다.

화소 상관 판정부(1210)는 도 6에 도시하는 후보 벡터 추출부(102)로부터 후보 벡터 정보를 입력하고 있으며, 이들이 도 28에 도시하는 a∼g의 후보 벡터이다. 이들은 전술한 평가값 테이블의 피크 검출에 의해서 구해진 후보 벡터이다.

화소 상관 판정부(1210)는 후보 벡터 정보에 의거해서 이전 프레임의 각 화소, 즉 움직임 벡터를 결정해야 할 화소(주목 화소)마다, 복수의 후보 벡터가 지시하는 현프레임의 화소 위치를 특정한다. 예를 들면, 도 28의 과거 프레임(이전 프레임) 화상 데이터(1310)의 주목 화소(1311)에 대해서, 복수의 후보 벡터가 지시하는 현프레임의 화소 위치 A∼G가 특정된다.

화소값 차분 산출부(1213)는 과거 프레임(이전 프레임) 화상 데이터(1310)의 주목 화소(1311)와, 후보 벡터가 지시하는 현프레임의 화소 위치 A∼G의 화소값 각각과의 차분을 산출한다. 절대값 산출부(1214)는 이들 차분 절대값, 즉 화소 차분 절대값(MC 잔차)을 산출해서, 임시 판정부(1221)에 출력한다.

임시 판정부(1221)는 주목 화소와, 복수의 후보 벡터에 의해서 결정되는 각 화소와의 차분 절대값(MC 잔차)을 입력한다. 예를 들면, n개의 후보 벡터가 있는 경우, n개의 차분 절대값(MC 잔차) [di]을 입력한다. 다만 i=1∼n이다.

임시 판정부(1221)는 n개의 차분 절대값(MC 잔차) [di]으로부터, 주목 화소(1311)에 대응하는 움직임 벡터의 좁힘(絞入; narrow down, refinement;추림, 엄선)을 행한다. 구체적으로는, n개의 차분 절대값(MC 잔차) [di]로부터, MC 잔차가 작은 것을 선택한다.

n개의 MC 잔차의 최소값을 dmin, 미리 정해진 임계값을 TH로 해서,

di-dmin≤TH

를 만족시키는 화소와 dmin을 만족시키는 화소의 어느것인가를 지시하는 후보 벡터를 선택한다.

도 28의 예에서는, 예를 들면, A∼E의 화소 중, A, C, E가 상기 기준을 만족시키는 화소로서 선별되었다고 하면, 이들 선별 후보 벡터 정보가, 임시 판정부(1221)로부터 게이트(1222)에 출력되고, 도 6에 도시하는 후보 벡터 추출부(102)로부터 입력되는 후보 벡터 정보로부터, 이 선별된 후보 벡터 정보만이 특징 화소 위치 상관 판정부(1230)에 입력된다.

특징 화소 위치 상관 판정부(1230)에서는, 임시 판정부(1221)에 의해서 선별 된 후보 벡터로부터, 하나의 화소 대응의 움직임 벡터를 결정하는 처리를 실행한다. 이 특징 화소 위치 상관 판정부(1230)에서는, 부가 정보 연산부(1250)로부터 입력하는 주목 화소의 근방 화소의 특징 화소 위치 정보에 의거해서 화소값 상관 판정 처리를 행하고, 임시 판정부(1221)에 의해서 선별된 후보 벡터로부터 하나의 움직임 벡터를 결정하는 처리를 행한다.

도 29를 참조하여, 부가 정보 연산부(1250)의 상세 구성에 대해서 설명한다. 부가 정보 연산부(1250)는 예를 들면 주목 화소 근방의 화소 중, 인접 화소와의 화소값 차분 절대값이 가장 커지는 화소를 특징 화소로서 추출한다.

도 29에 도시하는 부가 정보 연산부(1250)는 레지스터(1252), 화소값 차분 산출부(1253), 절대값 산출부(1254)로 이루어지는 인접 화소 차분 절대값 산출부(1251)와, 레지스터(1255), 최대 차분값 검출부(1256), 최대 차분 화소 위치 검출부(1257), 레지스터(1258)를 가진다.

인접 화소 차분 절대값 산출부(1251)에서는, 움직임 벡터 검출 처리 대상(對象)으로 되는 화상 신호를 입력하고, 레지스터(1252)에 화상 프레임 데이터를 격납한다. 화소값 차분 산출부(1253)에서는, 레지스터(1252)에 격납된 화상 데이터의 인접 화소의 차분을 순차 산출하고, 절대값 산출부(1254)에서는, 인접 화소의 차분의 절대값을 순차 산출하여, 최대 차분값 검출부(1256)에 출력한다.

도 30을 참조하여, 구체적인 처리에 대해서 설명한다. 부가 정보 연산부(1250)에서는, 레지스터(1252)에 격납된 화상 데이터의 인접 화소의 차분 절대값을 순차 산출함으로써, 예를 들면 주목 화소의 근방 영역의 화소에서, 인접 화소와의 차분 절대값이 최대인 화소를 특정한다. 또한, 주목 화소의 근방 영역의 화소라 함은, 주목 화소의 수평 방향의 전후 -8∼+7 화소의 범위 등, 미리 설정된 화소 영역이다.

도 30의 예에서는, 주목 화소(1281)의 근방 영역에서, 인접 화소와의 차분 절대값이 최대로 되는 화소(1282)가 특정된다.

도 29에 도시하는 최대 차분값 검출부(1256)는 순차 입력하는 인접 화소의 차분 절대값을 레지스터(1255)에 격납하면서, 비교 처리를 실행하고, 소정 영역, 즉 -8∼+7의 16화소마다 최대의 화소값 차분 절대값을 가지는 화소 차분값을 검출한다. 즉, 도 31에 도시하는 바와 같이, 16화소마다 최대의 화소값 차분 절대값을 가지는 화소 차분값 MAXa, MAXb, MAXc를 순차 검출한다.

최대 차분값 검출부(1256)가 검출한 소정 영역마다(예를 들면, 16화소마다)의 최대 화소 차분 절대값을 가지는 화소 정보는 최대 차분 화소 위치 검출부(1257)에 입력되고, 소정 영역마다(예를 들면, 16화소마다)의 최대 차분 화소 위치 정보가 검출되어, 레지스터(1258)에 격납된다.

예를 들면, 도 30에 도시하는 예에서는, 주목 화소(1281)의 근방 영역에서, 인접 화소와의 차분 절대값이 최대로 되는 화소(1282)의 화소 위치는 주목 화소를 화소 위치：0으로 했을 때, [+4]의 화소 위치이다.

레지스터(1258)에 격납된 소정 영역마다(예를 들면, 16화소마다)의 최대 차분 화소 위치 정보가 현프레임 부가 정보 메모리(1231)에 순차 출력된다.

도 27로 되돌아가서, 움직임 벡터 결정부(1200)의 처리에 대해서 설명을 계 속한다. 도 29를 참조해서 설명한 부가 정보 연산부(1250)로부터의 특징 화소 위치 정보는 도 27에 도시하는 특징 화소 위치 상관 판정부(1230)의 현프레임 부가 정보 메모리(1231)에 격납된다. 현프레임 부가 정보 메모리(1231)에는, 하나의 프레임에 대응해서 추출된 소정 영역마다(예를 들면, 16화소마다)의 최대 차분 화소 위치 정보가 격납된다. 각 프레임 처리 스텝마다 현프레임 부가 정보 메모리(1231)의 정보는 이전 프레임 부가 정보 메모리(1232)로 이동해서 격납되게 된다.

현프레임 부가 정보 메모리(1231)에는 또, 임시 판정부(1221)로부터의 출력, 즉 임시 판정부(1221)에 의해서 선별된 선별 후보 벡터 정보가 입력된다.

상관 판정부(1233)는 주목 화소의 근방 영역에서 추출된 특징 화소에 의거하여, 임시 판정부(1221)에 의해서 선별된 선별 후보 벡터로부터, 주목 화소에 대응하는 유일한 움직임 벡터를 결정하는 처리를 실행한다.

상관 판정부(1233)에서의 움직임 벡터 결정 처리에 대해서, 도 32를 참조하여 설명한다. 도 32에 도시하는 것은, 앞서 도 28을 참조하여 설명한 것과 마찬가지의 입력 프레임(현프레임) 화상 데이터(1300)와, 과거 프레임(이전 프레임) 화상 데이터(1310)이다.

입력 프레임(현프레임) 화상 데이터(1300)에는, 앞서 도 28을 참조하여 설명한 임시 판정부에 의한 후보 벡터 선별 처리에 의해서 선별된 후보 벡터 a, c, e를 나타내고 있다.

특징 화소 위치 상관 판정부(1230)에서의 상관 판정부(1233)는 과거 프레임(이전 프레임) 화상 데이터(1310)로부터 선택한 주목 화소, 즉 움직임 벡터를 대응 지을 화소로서의 주목 화소(1311)의 근방 영역에서의 특징 화소 위치 데이터에 의거해서, 후보 벡터 a, c, e로부터 하나의 움직임 벡터를 결정한다.

도 32에 도시하는 예에서, 주목 화소(1311)의 근방 영역의 특징 화소 위치가, 주목 화소(1311)의 화소 위치를 [0]으로 했을 때, 화소 위치 [-3]인 것이, 부가 정보 연산부(1250)로부터의 입력 정보에 의해서 판정된다. 또한, 도 32에서는, 근방 영역을 주목 화소의 -4∼+3의 8화소 영역으로서 도시하고 있다.

상관 판정부(1233)에서는, 주목 화소(1311)의 근방 영역의 특징 화소 위치와 선별 후보 벡터 a, c, e가 지시하는 대응 화소 위치 A, C, E의 근방 영역에서의 특징 화소 위치의 상관을 판정한다. 도면에 도시하는 예에서는, 선별 후보 벡터 a가 지시하는 대응 화소 위치 A의 근방 영역(1301)에는, 화소 위치 A를 [0]으로 했을 때, 특징 화소가 [-3]의 위치에 출현하고 있다. 이 특징 화소는, 전술한 부가 정보 연산부에서, 소정 영역 단위의 화소 영역마다 선택된 특징 화소이며, 화소 위치 A의 근방 영역으로서 설정된 영역에서의 인접 화소 차분 절대값의 최대 화소이다.

선별 후보 벡터 c가 지시하는 대응 화소 위치 C의 근방 영역(1302)에는, 화소 위치 C를 [0]으로 했을 때, 특징 화소가 [-2]의 위치에 출현하고 있고, 선별 후보 벡터 e가 지시하는 대응 화소 위치 E의 근방 영역(1303)에는, 화소 위치 E를 [0]으로 했을 때, 특징 화소가 [+2]의 위치에 출현하고 있다.

주목 화소(1311)의 근방 영역의 특징 화소는 주목 화소 위치를 [0]으로 했을 때, 특징 화소가 [-3]의 위치에 출현하고 있다. 이 특징 화소 위치는 후보 벡터 a가 가리키는 화소 A의 근방 영역(1301)에서의 특징 화소 위치 [-3]과 대응한다. 다 른 두 개의 후보 벡터 c, e가 가리키는 화소 C, E의 근방 영역(1302, 1303)에서의 특징 화소 위치 [-2], [+2]와는 대응하지 않는다.

이 결과, 주목 화소(1311)에 대응하는 움직임 벡터로서 후보 벡터 a가 선택 결정된다.

상관 판정부(1233)는 이와 같은 처리를 프레임의 구성 화소에 대해서 순차, 주목 화소로서 설정하고, 설정한 주목 화소마다 상술한 것과 마찬가지의 근방 영역의 특징 화소 위치의 상관 판정 처리를 실행하고, 프레임 구성 화소 각각에 대응하는 움직임 벡터를 선별 후보 벡터로부터 선택하여 결정한다.

이와 같이, 도 27에 도시하는 움직임 벡터 결정부에서는, 주목 화소의 근방 영역의 화소값에 의거해서, 특징 화소 위치를 특정하고, 주목 화소의 근방 영역에서의 특징 화소의 주목 화소 위치에 대응하는 상대 위치와, 임시 판정부(1221)에 의해서 선별된 후보 벡터가 지시하는 화소의 근방 영역의 특징 화소 위치와의 상관을 판정하고, 가장 상관이 높은 특징 화소 위치를 가지는 화소를 지시하는 후보 벡터를 주목 화소에 대응하는 움직임 벡터로서 결정한다.

이상의 움직임 벡터 결정 처리 시퀀스에 대해서, 도 33에 도시하는 플로차트를 참조하여 설명한다.

도 33에 도시하는 플로의 각 스텝의 처리에 대해서 설명한다. 도 33에 도시하는 플로는 하나의 주목 화소에 대한 움직임 벡터의 결정 처리이며, 프레임 화상의 구성 화소의 모두에 대해서 움직임 벡터의 결정을 행하는 경우에는, 프레임 화상의 구성 화소를 순차, 주목 화소로서 설정하고 도 33에 도시하는 플로를 각 주목 화소마다 실행한다.

우선, 스텝 S1201에서 실행하는 처리는 주목 화소와 n개의 후보 벡터에 의해서 지시되는 화소와의 차분 절대값, 즉 MC 잔차 dn을 산출하는 처리이다. 이 처리는, 도 27의 움직임 벡터 결정부(1200)의 화소 상관 판정부(1210)에서 실행된다.

스텝 S1202∼S1204는 임시 판정부(1221)에서의 처리이다. 임시 판정부(1221)는 스텝 S1202에서, n개의 차분 절대값(MC 잔차) [di]을 입력하고, n개의 MC 잔차의 최소값：dmin을 검출한다.

스텝 S1203로, i=0(0≤i〈n)의 초기 설정을 행하고, 스텝 S1204에서 미리 정해진 임계값을 TH로 하여,

di-dmin≤TH

를 만족시키는지 여부를 판정한다.

스텝 S1204에서 실행하는 처리는 앞서 도 28을 참조하여 전술한 후보 벡터로부터의 선별 처리로서 실행하는 임시 판정 처리이다. di-dmin≤TH를 만족시키지 않는다고 판정한 경우에는, 선별 후보 벡터가 아니라고 판정되어, 스텝 S1205, S1206에서 실행하는 주목 화소의 근방 영역의 특징 화소 위치에 의거하는 상관 판정을 행하는 일 없이, 스텝 S1207로 진행한다.

스텝 S1204에서 실행하는 임시 판정 처리에서, di-dmin≤TH를 만족시키는 경우, 선별 후보 벡터로서 선택되어, 스텝 S1205로 진행한다. 스텝 S1205, S1206의 처리는 도 27에 도시하는 움직임 벡터 결정부(1200)의 특징 화소 위치 상관 판정부(1230)의 처리이다.

스텝 S1205에서는, 특징 화소 위치의 상관성을 판정한다. 이 처리는 앞서 도 32를 참조해서 설명한 바와 같이, 주목 화소의 근방 영역에서의 특징 화소의 위치와, 선별 후보 벡터로서 선택된 화소의 근방 영역의 특징 화소 위치의 상관, 즉 위치의 대응이 있는지 여부를 판정하는 처리이다.

스텝 S1206에서는, 상관이 보다 높은 것을 선택하는 처리를 실행하고, 스텝 S1207에서, i의 값에 의거해서, 모든 후보 벡터의 검증이 끝났는지 여부를 판정하고, 끝나지 않은 경우에는, 스텝 S1209로 진행하여, i의 값을 갱신(1인크리먼트(increment))하고, 스텝 S1204 이하의 처리를 되풀이해서 실행한다.

모든 후보 벡터에 대한 검증이 종료하면, 스텝 S1208로 진행하고, 그 시점(時点)에서, 선택되어 있는 가장 상관이 높은, 즉 스텝 S1205에서 산출한 주목 화소의 근방 영역에서의 특징 화소의 위치와, 선별 후보 벡터로서 선택된 화소의 근방 영역의 특징 화소 위치의 상관이 높은 것에 대응하는 후보 벡터를, 처리 대상으로 한 주목 화소에 대응하는 움직임 벡터로서 결정한다.

상술한 바와 같이, 본 실시예에서의 2점 매칭 방식에 의한 움직임 벡터 결정 처리에서는, 후보 벡터로부터 움직임 벡터의 결정 처리에서, 블록 매칭 처리를 행하는 일 없이, 주목 화소와 그 근방의 특징 화소 위치 정보를 이용하는 구성이다. 따라서, 블록 매칭 처리에서 적용하는 블록의 크기에 따른 다수의 화소값에 의거하는 상관 산출 계산을 행할 필요가 없어져, 효율적인 처리가 가능해진다.

또한, 입력 화소 데이터가 래스터 스캔순으로 입력되는 경우, 주목 화소에 대해서 수평 방향으로 한정한 근방 영역 내에서 차분 절대값이 최대로 되는 화소 위치의 검출 처리나, 인접 화소 차분 절대값이 최대로 되는 화소 위치 등의 검출 처리, 즉 부가 정보 연산부(1250)에서의 부가 정보 산출 처리는 도 6에서의 평가값 테이블 형성부(101)에서 실행하는 평가값 테이블 형성 처리에 병행해서 실행 가능하고, 평가값 테이블 형성 처리의 종료시에는, 부가 정보를 산출 마침(算出濟; calculated)으로 하는 것이 가능하고, 새로운 처리 실행 시간을 설정하는 일이 없어, 처리 속도를 저하시키는 일이 없는 움직임 벡터 검출 처리가 가능해진다.

또한, 상술한 실시예에서는, 주목 화소의 근방 영역으로서, 주목 화소 위치를 [0]으로 해서, -8∼+7의 16화소나, -4∼+3의 8화소를 예로서 설명했지만, 이들은 임의의 영역으로서 설정 가능하다. 또, 입력 화소가 래스터 스캔순인 것을 고려하여, 수평 방향의 우측만의 범위에 근방 영역을 설정하면, 래스터 스캔순의 입력 화소값에 의거하는 인접 화소 비교 처리가 가능해지고, 화소값 메모리 영역을 작게 하는 것이 가능해져, 보다 하드웨어 규모를 작게 할 수가 있다.

상술한 실시예에서는, 화소의 근방 영역을 설정하고, 부가 정보 연산부(1250)에서, 근방 영역에서의 인접 화소 차분 절대값이 최대로 되는 화소 위치를 특징 화소 정보로서 산출하고, 이 특징 화소 정보를 상관 판정에 적용하는 구성, 즉

(a) 인접 화소 차분 절대값이 최대로 되는 화소의 위치

를 적용하는 구성으로 했지만, 인접 화소 차분 절대값이 최대로 되는 화소 위치 정보만을 상관 판정에 적용하는 구성 이외에, 예를 들면 이하의 정보를 상관 판정 정보로서 적용한 구성도 가능하다.

(b) 인접 화소 차분 절대값이 최대로 되는 화소의 위치와 화소값

상기 (b) 인접 화소 차분 절대값이 최대로 되는 화소의 위치와 화소값을 상관 판정 정보로서 적용하는 경우의 부가 정보 연산부(1250)의 구성예를 도 34에 도시한다.

도 34에 도시하는 부가 정보 연산부(1250)의 구성은 도 29에 도시하는 부가 정보 연산부(1250)의 구성과 거의 마찬가지이며, 레지스터(1252), 화소값 차분 산출부(1253), 절대값 산출부(1254)로 이루어지는 인접 화소 차분 절대값 산출부(1251)와, 레지스터(1255), 최대 차분값 검출부(1256), 최대 차분 화소 위치 검출부(1257), 레지스터(1258)를 가진다.

인접 화소 차분 절대값 산출부(1251)에서는, 움직임 벡터 검출 처리 대상으로 되는 화상 신호를 입력하고, 레지스터(1252)에 화상 프레임 데이터를 격납한다. 화소값 차분 산출부(1253)에서는, 레지스터(1252)에 격납된 화상 데이터의 인접 화소의 차분을 순차 산출하고, 절대값 산출부(1254)에서는, 인접 화소의 차분의 절대값을 순차 산출하여, 최대 차분값 검출부(1256)에 출력한다.

최대 차분값 검출부(1256)는 순차 입력하는 인접 화소의 차분 절대값을 레지스터(1255)에 격납하면서, 비교 처리를 실행하고, 소정 영역, 예를 들면 16화소마다 최대의 화소값 차분 절대값을 가지는 화소 차분값을 검출한다.

최대 차분값 검출부(1256)가 검출한 소정 영역마다(예를 들면, 16화소마다)의 화소값 차분 절대값을 가지는 화소 정보는 최대 차분 화소 위치 검출부(1257)에 입력되고, 소정 영역마다(예를 들면, 16화소마다)의 최대 차분 화소 위치 정보가 검출되어, 레지스터(1258)에 격납된다.

앞서 도 29를 참조해서 설명한 부가 정보 연산부(1250)는 레지스터(1258)에 격납된 위치 정보만을 현프레임 부가 정보 메모리(1231)에 출력하고, 위치 정보에 의거하는 상관 판정 처리를 행하는 구성으로 하고 있었다. 이 도 34에 도시하는 부가 정보 연산부(1250)는 레지스터(1258)에 격납된 최대 차분 화소 위치를 나타내는 위치 정보 뿐만 아니라, 최대 차분 화소 위치의 화소값 정보를 레지스터(1255)로부터 현프레임 부가 정보 메모리(1231)에 출력한다.

도 27에 도시하는 특징 화소 위치 상관 판정부(1230)에서는, 이 두 개의 데이터, 즉 인접 화소 차분 절대값이 최대로 되는 화소의 위치 정보와 화소값 정보의 두 개의 정보를 적용해서 상관 판정 처리를 실행한다.

예를 들면, 앞서 설명한 도 32에서, 선별 후보 벡터의 어느것이나(모두)가, 주목 화소의 근방 영역에서 검출된 화소 위치와 동일한 위치에 특징 화소를 가지고 있는 경우라도, 또 화소값의 상관을 검증함으로써, 가장 일치 정도(度合)가 높은 것을 선택하고, 이것을 그 주목 화소의 움직임 벡터로서 결정할 수가 있다.

이와 같이, 위치 정보 뿐만이 아니라, 위치 정보와 화소값 레벨 정보나 화소값 레벨차 정보의 양쪽(兩方)을 상관 판정에 이용함으로써, 보다 정확한 움직임 벡터의 결정이 가능해진다.

또한, 상술한 2점 매칭은 물체는 면적을 가지고 움직인다고 하는 가정을 이용하고 있지만, 예를 들면 특징 화소가 주목 화소로부터 먼 위치에 설정되면, 동일 물체일 가능성이 저하한다. 그래서, 특징 화소 위치의 일치 정도(程度) 뿐만이 아 니라, 특징 화소와의 거리를 상관성에 반영한 처리를 행하는 구성으로 해도 좋다. 즉, 주목 화소에 가까운 위치의 특징 화소에 대해서는 상관 판정시에 무게를 크게 하고, 주목 화소로부터 먼 위치의 특징 화소에 대해서는 상관 판정시에 무게를 작게 하는 구성이다.

(2) 3점 매칭 방식에 의한 움직임 벡터 결정 처리

다음에, 3점 매칭 방식에 의한 움직임 벡터 결정 처리에 대해서 설명한다. 도 35에 본 실시예에 관련된 움직임 벡터 검출 장치의 움직임 벡터 결정부의 상세 구성을 도시한다. 도 35에 도시하는 움직임 벡터 결정부(1400)는 도 6에 도시하는 움직임 벡터 검출 장치의 움직임 벡터 결정부(103)에 상당한다.

도 35에 도시하는 움직임 벡터 결정부(1400)는 도 6에 도시하는 후보 벡터 추출부(102)로부터 전술한 평가값 테이블에 의거해서 결정한 복수의 후보 벡터 정보를 입력하고, 각 화소마다 대응지을 움직임 벡터를 결정하는 처리를 실행한다.

도 35에 도시하는 바와 같이, 본 실시예에 관련된 움직임 벡터 결정부(1400)는 화소 상관 판정부(1410), 임시 판정부(1421), 부가 정보 연산부(1450), 현프레임 부가 정보 메모리(1422), 이전 프레임 부가 정보 메모리(1423), 근방 영역 정보 상관 판정부(1430)를 가진다. 화소 상관 판정부(1410)는 현프레임 메모리(1411), 이전 프레임 메모리(1412), 화소값 차분 산출부(1413), 절대값 산출부(1414)를 가진다. 근방 영역 정보 상관 판정부(1430)는 레지스터(1431, 1432), 게이트(1433), 상관 판정부(1434)를 가진다. 부가 정보 연산부(1450)의 상세는 도 36을 참조해서 설명한다.

화소 상관 판정부(1410)는 화상 신호를 입력한다. 이 입력 화상은 앞서 도 6을 참조해서 설명한 바와 같이, 예를 들면 래스터 스캔에 의해 얻어지는 화상 데이터이다. 화상 데이터는 예를 들면 디지털 컬러 영상 신호의 컴퍼넌트 신호 중의 휘도 신호를 포함한다.

화상 데이터는 프레임 데이터마다 입력되고, 먼저 현프레임 메모리(1411)에 격납되고, 다음에 이전 프레임 메모리(1412)에 격납된다. 따라서, 화소 상관 판정부(1410)는 두 개의 연속하는 프레임 데이터를 메모리에 보존유지한다.

또, 화소 상관 판정부(1410)는 도 6에 도시하는 후보 벡터 추출부(102)로부터 후보 벡터 정보를 입력하고, 후보 벡터 정보에 의거해서 이전 프레임의 각 화소, 즉 움직임 벡터를 결정해야 할 화소(주목 화소)마다, 복수의 후보 벡터가 지시하는 현프레임의 화소 위치를 특정하고, 이전 프레임의 주목 화소와 복수의 후보 벡터가 지시하는 현프레임의 화소와의 차분을 화소값 차분 산출부(1413)에서 산출하고, 절대값 산출부(1414)에서 그 차분 절대값을 산출하여, 임시 판정부(1421)에 출력한다. 이들 일련의 처리는 상기한(先) 2점 매칭의 경우와 마찬가지이다.

임시 판정부(1421)는 주목 화소와, 복수의 후보 벡터에 의해서 결정되는 각 화소와의 차분 절대값(MC 잔차)을 입력한다. 예를 들면, n개의 후보 벡터가 있는 경우, n개의 차분 절대값(MC 잔차) [di]를 입력한다. 다만, i=1∼n이다.

임시 판정부(1421)는 n개의 차분 절대값(MC 잔차) [di]으로부터, 주목 화소에 대응하는 움직임 벡터의 좁힘을 행한다. 구체적으로는, n개의 차분 절대값(MC 잔차) [di]로부터, MC 잔차가 작은 것을 선택한다. 이 처리도 상기한 2점 매칭의 경우와 마찬가지이고, 예를 들면 n개의 MC 잔차의 최소값을 dmin, 미리 정해진 임계값을 TH로 해서,

di-dmin≤TH

앞서 설명한 도 28의 예에서는, 예를 들면 A∼E의 화소 중, A, C, E가 상기 기준을 만족시키는 화소로서 선별되었다고 하면, 이들 선별 후보 벡터 정보가, 임시 판정부(1421)로부터 게이트(1433)에 출력되고, 도 6에 도시하는 후보 벡터 추출부(102)로부터 입력되는 후보 벡터 정보로부터, 이 선별된 후보 벡터 정보만이 근방 영역 정보 상관 판정부(1430)에 입력된다.

본 실시예의 화소 상관 판정부(1410)는 또, 화소 상관 판정부(1410)의 현프레임 메모리(1411)로부터 주목 화소의 근방 영역의 두 개의 화소의 화소 정보가 근방 영역 정보 상관 판정부(1430)의 레지스터(1432)에 입력되고, 또 화소 상관 판정부(1410)의 이전 프레임 메모리(1412)로부터 후보 벡터에 의해서 나타내어지는 n개의 지시 화소에 대응하는 2화소, 즉 n×2 화소가 근방 영역 정보 상관 판정부(1430)의 레지스터(1431)에 입력된다.

근방 영역에서의 어느 화소를 출력할지는, 각각 현프레임 부가 정보 메모리(1422)와, 이전 프레임 부가 정보 메모리(1423) 및 n개의 후보 벡터 정보의 출력에 의해서 결정된다.

현프레임 부가 정보 메모리(1422)와, 이전 프레임 부가 정보 메모리(1423)에 는, 부가 정보 연산부(1450)의 연산 결과가 출력되게 된다.

도 36을 참조하여, 부가 정보 연산부(1450)의 상세 구성에 대해서 설명한다. 부가 정보 연산부(1450)는 예를 들면, 주목 화소의 근방의 화소 중, 주목 화소와의 화소값 차분이 최대인 화소와, 주목 화소와의 화소값 차분이 최소인 화소, 이들 두 개의 화소를 특징 화소로서 추출한다.

도 36에 도시하는 부가 정보 연산부(1450)는 레지스터(1452), 화소값 차분 산출부(1453)로 이루어지는 주목 화소 차분 산출부(1451)와, 차분 최대값 화소 정보 취득부(MAX)(1454), 차분 최소값 화소 정보 취득부(MIN)(1455), 최대 차분 화소 위치 검출부(1456), 레지스터(1457), 최소 차분 화소 위치 검출부(1458), 레지스터(1459)를 가진다.

주목 화소 차분 산출부(1451)에서는, 움직임 벡터 검출 처리 대상으로 되는 화상 신호를 입력하고, 레지스터(1452)에 화상 프레임 데이터를 격납한다. 화소값 차분 산출부(1453)에서는, 레지스터(1452)에 격납된 화상 데이터의 근방 영역의 차분을 순차 산출하고, 최대 차분값을 가지는 화소 정보를 차분 최대값 화소 정보 취득부(MAX)(1454)에 격납하고, 최소 차분값을 가지는 화소 정보를 차분 최소값 화소 정보 취득부(MIN)(1455)에 격납한다. 또한, 이들 화소 정보에는, 화소 위치 정보가 포함된다.

도 37을 참조하여, 구체적인 처리에 대해서 설명한다. 부가 정보 연산부(1450)에서는, 레지스터(1452)에 격납된 화상 데이터에 대해서, 주목 화소와, 주목 화소의 근방 화소값와의 차분을 순차 산출함으로써, 예를 들면 주목 화소의 근방 영역의 화소에 대해서, 주목 화소와 최대 차분값을 가지는 화소 정보와, 최소 차분값을 가지는 화소 정보를 취득한다. 또한, 주목 화소의 근방 영역의 화소라 함은, 예를 들면 주목 화소의 수평 방향의 전후 -8∼+7 화소의 범위, 혹은 2차원 영역에서 설정된 블록 등의 미리 설정된 화소 영역이다.

도 37의 예에서는, 주목 화소(1481)의 근방 영역에서, 주목 화소와 최대 차분값을 가지는 화소는 주목 화소(1481)의 화소 위치를 [0]으로 했을 때, 화소(1482), 즉 화소 위치 [-5]의 화소가 주목 화소와 최대 차분값을 가지는 화소, 즉 공간 구배 최대 화소로서 선택되고 하나의 특징 화소로서 화소 정보가 취득된다. 또, 주목 화소와 최소 차분값을 가지는 화소는 주목 화소(1481)의 화소 위치를 [0]으로 했을 때, 화소(1483), 즉 화소 위치 [-1]의 화소가 주목 화소와 최소 차분값을 가지는 화소, 즉 공간 구배 최소 화소로서 선택되고 하나의 특징 화소로서 화소 정보가 취득된다.

도 36에 도시하는 차분 최대값 화소 정보 취득부(MAX)(1454)는 순차 입력하는 화소의 차분 정보에 의거해서 소정 영역, 예를 들면 -8∼+7의 16화소마다 주목 화소에 대해서 차분 최대값으로 되는 화소를 검출한다. 차분 최소값 화소 정보 취득부(MIN)(1455)는 순차 입력하는 화소의 차분 정보에 의거해서 소정 영역마다, 주목 화소에 대해서 차분 최소값으로 되는 화소를 검출한다.

차분 최대값 화소 정보 취득부(MAX)(1454)가 검출한 소정 영역마다의 최대 화소 차분값을 가지는 화소 정보는 최대 차분 화소 위치 검출부(1456)에 입력되고, 소정 영역마다(예를 들면, 16화소마다)의 최대 차분 화소 위치 정보가 검출되어, 레지스터(1457)에 격납된다.

차분 최소값 화소 정보 취득부(MIN)(1455)가 검출한 소정 영역마다의 최소 화소 차분값을 가지는 화소 정보는 최소 차분 화소 위치 검출부(1458)에 입력되고, 소정 영역마다(예를 들면, 16화소마다)의 최소 차분 화소 위치 정보가 검출되어, 레지스터(1459)에 격납된다.

예를 들면, 도 37에 도시하는 예에서는, 주목 화소(1481)의 근방 영역에서, 주목 화소와의 차분이 최대로 되는 화소(1482)의 화소 위치는, 주목 화소를 화소 위치：0으로 했을 때, [-5]의 화소 위치이며, 주목 화소와의 차분이 최소로 되는 화소(1483)의 화소 위치는 주목 화소를 화소 위치：0으로 했을 때, [-1]의 화소 위치이다.

레지스터(1457)에 격납된 소정 영역마다(예를 들면, 16화소마다)의 최대 차분 화소 위치 정보와, 레지스터(1459)에 격납된 소정 영역마다(예를 들면, 16화소마다)의 최소 차분 화소 위치 정보가 현프레임 부가 정보 격납 메모리(1422)에 순차 출력된다.

도 35로 되돌아가서, 움직임 벡터 결정부(1400)의 처리에 대해서 설명을 계속한다. 도 36을 참조해서 설명한 부가 정보 연산부(1450)로부터의 특징 화소 위치 정보는 도 35에 도시하는 현프레임 부가 정보 메모리(1422)에 입력된다. 프레임 처리마다, 부가 정보는 이전 프레임 부가 정보 메모리(1423)로 이동한다.

현프레임 부가 정보 메모리(1422)에 입력된 현프레임 메모리의 부가 정보, 즉 주목 화소에 대응하는 두 개의 특징 화소 위치 정보, 즉 주목 화소와의 최대 차 분을 가지는 화소 위치 정보와, 주목 화소와의 최소 차분을 가지는 화소 위치 정보가 화소 상관 판정부(1410)의 현프레임 메모리(1411)에 출력되고, 이 출력 정보에 의거해서, 이 2점의 화소 정보가 근방 영역 정보 상관 판정부(1430)의 레지스터(1432)에 격납된다. 이 화소 정보에는 화소 위치 정보가 포함된다.

또, 이전 프레임 부가 정보 메모리(1423)에 입력된 이전 프레임 메모리의 부가 정보, 즉 주목 화소와의 최대 차분을 가지는 화소 위치 정보와, 주목 화소와의 최소 차분을 가지는 화소 위치 정보가 화소 상관 판정부(1410)의 이전 프레임 메모리(1412)에 출력된다. 이전 프레임 메모리(1412)에는 또, 후보 벡터 추출부로부터 n개의 후보 벡터 정보가 입력되고, 후보 벡터 정보에 의해서 지시되는 각 화소마다 결정되는 근방 영역으로부터 두 개의 특징 화소가 특정되고, n×2의 특징 화소 정보가 근방 영역 정보 상관 판정부(1430)의 레지스터(1431)에 격납된다. 이 화소 정보에는 화소 위치 정보가 포함된다.

레지스터(1431)에 격납된 n×2의 특징 화소 정보는 게이트(1433)를 거쳐서 상관 판정부(1434)에 출력된다. 게이트(1433)에서는, n개의 후보 벡터로부터 임시 판정부(1421)에서의 임시 판정 처리에 의해서 선별된 선별 후보 벡터에 의거해서, 선별 후보 벡터에 대응하는 화소의 근방 영역의 특징 화소 정보만이 상관 판정부(1434)에 출력된다.

한편, 주목 화소의 특징 화소 정보는 직접 상관 판정부(1434)에 출력된다. 상관 판정부(1434)에서는, 이들 특징 화소의 상관 판정 처리를 행하고, 선별 후보 벡터로부터 유일(唯一)한 움직임 벡터를 결정한다.

상관 판정부(1434)에서의 움직임 벡터 결정 처리에 대해서, 도 38을 참조하여 설명한다. 도 38에 도시하는 것은, 앞서 도 28을 참조해서 설명한 것과 마찬가지의 입력 프레임(현프레임) 화상 데이터(1500)와, 과거 프레임(이전 프레임) 화상 데이터(1510)이다.

입력 프레임(현프레임) 화상 데이터(1500)에는, 앞서 도 28을 참조해서 설명한 임시 판정부에 의한 후보 벡터 선별 처리에 의해서 선별된 후보 벡터 a, c, e를 나타내고 있다.

근방 영역 정보 상관 판정부(1430)에서의 상관 판정부(1433)는 과거 프레임(이전 프레임) 화상 데이터(1510)로부터 선택한 주목 화소, 즉 움직임 벡터를 대응지을 화소로서의 주목 화소(1511)의 근방 영역에서의 특징 화소 위치 데이터에 의거해서, 후보 벡터 a, c, e로부터 하나의 움직임 벡터를 결정한다.

도 38에 도시하는 예에서, 주목 화소(1511)의 근방 영역은 2차원의 블록 영역으로 하고 있다. 이 근방 영역의 설정은 임의(任意)이며, 전술한 2점 매칭과 마찬가지로, 수평 방향의 1차원 영역에 설정해도 좋다.

주목 화소(1511)의 화소 위치를 중심으로 했을 때, 주목 화소와 최대 차분 화소로 되는 화소 위치인 공간 구배 최대 화소(1512)와, 주목 화소와 최소 차분 화소로 되는 화소 위치인 공간 구배 최소 화소(1513)가 결정된다.

한편, 입력 프레임(현프레임)(1500)에서도, 각 선별 후보 벡터에 의해서 지시되는 화소를 중심으로 해서 설정되는 화소 영역, 즉 선별 후보 벡터 a에 의해서 설정되는 화소 영역(1501), 선별 후보 벡터 c에 의해서 설정되는 화소 영역(1502), 선별 후보 벡터 e에 의해서 설정되는 화소 영역(1503) 각각에서, 중심 화소와의 최대 차분 화소로 되는 화소 위치인 공간 구배 최대 화소와, 중심 화소와 최소 차분 화소로 되는 화소 위치인 공간 구배 최소 화소가 결정된다.

상관 판정부(1434)에서는, 주목 화소(1511)의 근방 영역의 특징 화소 위치와, 선별 후보 벡터 a, c, e가 지시하는 대응 화소 위치의 근방 영역에서의 특징 화소 위치의 상관을 판정한다.

도면에 도시하는 예에서는, 선별 후보 벡터 a가 지시하는 근방 영역(1501)은 주목 화소(1511)의 근방 영역의 특징 화소 위치에 대응하는 위치로 되어 있고, 다른 두 개의 선별 후보 벡터 c, e가 지시하는 근방 영역(1502, 1503)은 주목 화소(1511)의 근방 영역의 특징 화소 위치에 대응하는 위치로 되어 있지 않다.

이 결과, 주목 화소(1511)에 대응하는 움직임 벡터로서, 후보 벡터 a가 선택 결정된다.

상관 판정부(1434)는 이와 같은 처리를 프레임의 구성 화소에 대해서 순차, 주목 화소로서 설정하고, 설정한 주목 화소마다 상술한 것과 마찬가지의 근방 영역의 특징 화소 위치의 상관 판정 처리를 실행하고, 프레임 구성 화소 각각에 대응하는 움직임 벡터를 선별 후보 벡터로부터 선택해서 결정한다.

이와 같이, 도 35에 도시하는 움직임 벡터 결정부(1400)에서는, 주목 화소의 근방 영역의 화소값에 의거해서, 두 개의 특징 화소 위치를 특정하고, 주목 화소의 근방 영역에서의 특징 화소의 주목 화소 위치에 대응하는 상대 위치와, 임시 판정부(1421)에 의해서 선별된 후보 벡터가 지시하는 화소의 근방 영역의 특징 화소 위 치와의 상관을 판정하고, 가장 상관이 높은 특징 화소 위치를 가지는 화소를 지시하는 후보 벡터를 주목 화소에 대응하는 움직임 벡터로서 결정한다.

이상의 움직임 벡터 결정 처리 시퀀스에 대해서, 도 39에 도시하는 플로차트를 참조하여 설명한다. 도 39에 도시하는 플로는 하나의 주목 화소에 대한 움직임 벡터의 결정 처리이며, 프레임 화상의 구성 화소의 모두에 대해서 움직임 벡터의 결정을 행하는 경우에는, 프레임 화상의 구성 화소를 순차, 주목 화소로서 설정하고, 도 39에 도시하는 플로를 각 주목 화소마다 실행한다.

우선, 스텝 S1301에서 실행하는 처리는 주목 화소와, n개의 후보 벡터에 의해서 지시되는 화소와의 차분 절대값, 즉 MC 잔차 dn를 산출하는 처리이다. 이 처리는, 도 35의 움직임 벡터 결정부(1400)의 화소 상관 판정부(1410)에서 실행된다.

스텝 S1302∼S1304는 임시 판정부(1421)에서의 처리이다. 임시 판정부(1421)는 스텝 S1302에서, n개의 차분 절대값(MC 잔차) [di]를 입력하고, n개의 MC 잔차의 최소값：dmin을 검출한다.

　스텝 S1303에서, i=0(0≤i〈n)의 초기 설정을 행하고, 스텝 S1304에서, 미리 정해진 임계값을 TH로 해서,

di-dmin≤TH

를 만족시키는지 여부를 판정한다.

스텝 S1304에서 실행하는 처리는 앞서 도 28을 참조해서 전술한 후보 벡터로부터의 선별 처리로서 실행하는 임시 판정 처리이다. di-dmin≤TH를 만족시키지 않는다고 판정한 경우에는, 선별 후보 벡터가 아니라고 판정되어, 스텝 S1305, S1306, S1307에서 실행하는 주목 화소의 근방 영역의 특징 화소 위치에 의거하는 상관 판정을 행하는 일 없이, 스텝 S1308로 진행한다.

스텝 S1304에서 실행하는 임시 판정 처리에서, di-dmin≤TH를 만족시키는 경우, 선별 후보 벡터로서 선택되어, 스텝 S1305로 진행한다.

스텝 S1305에서는, 특징 화소 위치의 상관성을 판정한다. 이 처리는 앞서 도 36을 참조해서 설명한 바와 같이, 주목 화소의 근방 영역에서의 두 개의 특징 화소의 위치와, 선별 후보 벡터로서 선택된 화소의 근방 영역의 두 개의 특징 화소 위치의 상관, 즉 위치의 대응이 있는지 여부를 판정하는 처리이다.

스텝 S1306에서는, 상관이 보다 높은 것을 선택하는 처리를 실행하고, 스텝 S1307에서, i의 값에 의거해서, 모든 후보 벡터의 검증이 끝났는지 여부를 판정하고, 끝나지 않은 경우에는, 스텝 S1310으로 진행하고, i의 값을 갱신(1 인크리먼트)하여, 스텝 S1304 이하의 처리를 되풀이해서 실행한다.

모든 후보 벡터에 대한 검증이 종료하면, 스텝 S1308로 진행하고, 그 시점에서, 선택되어 있는 가장 상관이 높은, 즉 스텝 S1305에서 산출한 주목 화소의 근방 영역에서의 두 개의 특징 화소의 위치와, 선별 후보 벡터로서 선택된 화소의 근방 영역의 특징 화소 위치의 상관이 높은 것에 대응하는 후보 벡터를, 처리 대상으로 한 주목 화소에 대응하는 움직임 벡터로서 결정한다.

상술한 바와 같이, 본 실시예에서의 3점 매칭 방식에 의한 움직임 벡터 결정 처리에서는, 후보 벡터로부터 움직임 벡터의 결정 처리에서, 블록 매칭 처리를 행하는 일 없이, 주목 화소와 그 근방의 두 개의 특징 화소 위치 정보를 이용하는 구 성이다. 따라서, 블록 매칭 처리에서 적용하는 블록의 크기에 따른 다수의 화소값에 의거하는 상관 산출 계산을 행할 필요가 없어져, 효율적인 처리가 가능해진다.

상술한 실시예에서는, 현프레임과 이전 프레임의 두 개의 특징 화소 위치를 적용하여 위치 정보에 의거해서 상관 판정을 행했지만, 주목 화소에 대응하는 특징 화소 위치에서의 화소값에 의거하는 상관 판정 처리를 행하는 구성으로 해도 좋다. 즉, 주목 화소와, 그 근방 영역에서의 두 개의 특징 화소의 화소값을 이용해서, 합계 3점만을 이용한 블록 매칭을 행하는 구성이다. 이 처리 시퀀스에 대해서, 도 40을 참조하여 설명한다.

도 40은 앞서 설명한 도 38과 마찬가지로, 입력 프레임(현프레임) 화상 데이터(1600)와, 과거 프레임(이전 프레임) 화상 데이터(1610)이다.

입력 프레임(현프레임) 화상 데이터(1600)에는, 앞서 도 28을 참조하여 설명한 임시 판정부에 의한 후보 벡터 선별 처리에 의해서 선별된 후보 벡터 a, c, e를 나타내고 있다.

근방 영역 정보 상관 판정부(1430)에서의 상관 판정부(1434)는 과거 프레임(이전 프레임) 화상 데이터(1610)로부터 선택한 주목 화소, 즉 움직임 벡터를 대응지을 화소로서의 주목 화소(1611)의 근방 영역에서의 특징 화소 위치 데이터에 의거해서, 후보 벡터 a, c, e로부터 하나의 움직임 벡터를 결정한다.

도 40에 도시하는 예에서, 주목 화소(1611)의 근방 영역은 2차원의 블록 영역으로 하고 있다. 이 근방 영역의 설정은 임의이며, 전술한 2점 매칭과 마찬가지로, 수평 방향의 1차원 영역에 설정해도 좋다.

주목 화소(1611)의 화소 위치를 중심으로 했을 때, 주목 화소와 최대 차분 화소로 되는 화소 위치인 공간 구배 최대 화소(1612)와, 주목 화소와 최소 차분 화소로 되는 화소 위치인 공간 구배 최소 화소(1613)가 결정된다.

한편, 입력 프레임(현프레임)(1600)에서는, 각 선별 후보 벡터에 의해서 지시되는 화소를 중심으로 해서 설정되는 화소 영역, 즉 선별 후보 벡터 a에 의해서 설정되는 화소 영역(1601), 선별 후보 벡터 c에 의해서 설정되는 화소 영역(1602), 선별 후보 벡터 e에 의해서 설정되는 화소 영역(1603) 각각에서, 과거 프레임에서 검출된 주목 화소(1611)에 대한 공간 구배 최대 화소(1612)와, 공간 구배 최소 화소(1613)의 각 위치에 대응하는 화소가 픽업(pickup)되어, 도 35에 도시하는 근방 영역 정보 상관 판정부(1430)에 출력된다.

도 40에 도시하는 바와 같이, 각 선별 후보 벡터 a, c, e에 의해서 지시되는 각 화소 영역(1601, 1602, 1603)으로부터, 과거 프레임에서 검출된 주목 화소(1611)에 대한 공간 구배 최대 화소(1612)와, 공간 구배 최소 화소(1613)의 각 위치에 대응하는 화소가 픽업되어 상관 판정을 행한다.

즉, 도 35에 도시하는 근방 영역 정보 상관 판정부(1430)에서, 이들 화소간의 화소값 상관 판정을 실행한다. 즉, 주목 화소(1611)에 대한 공간 구배 최대 화소(1612)와, 공간 구배 최소 화소(1613)의 각 위치의 화소와, 각 화소 영역(1601, 1602, 1603)의 대응 위치의 화소값과의 상관 판정을 행한다. 또한, 중심 화소에 대해서는, 임시 판정부(1421)에서 상관 판정이 실행되고 있으며, 결과로서, 3점만을 이용한 매칭 처리 결과가 얻어지고, 이 3점 매칭 처리에 의해서 가장 상관이 높다 고 판정된 데이터에 대응하는 선별 후보 벡터가, 주목 화소에 대응하는 움직임 벡터로서 결정된다.

도 41에 상기 수법에 따르는 움직임 벡터 결정 처리 플로를 도시한다. 도 41에 도시하는 처리 플로 중, 스텝 S1401∼S1404의 처리는 앞서 도 39를 참조해서 설명한 처리 플로의 스텝 S1301∼S1304의 처리와 마찬가지이며, 임시 판정부에서의 선별 후보 벡터가 추출되는 처리이다.

스텝 S1405에서는, 3화소에 의한 블록 매칭을 실행한다. 즉, 도 40을 참조해서 설명한 바와 같이, 선별 후보 벡터에 의해서 지시되는 각 화소 영역으로부터, 과거 프레임에서 검출된 주목 화소에 대한 공간 구배 최대 화소와, 공간 구배 최소 화소의 각 위치에 대응하는 화소가 픽업되어 상관이 판정된다. 중심 화소, 즉 주목 화소 위치에 대응하는 화소 상관 정보에 대해서는, 임시 판정부의 판정 결과를 참조한다.

이들 3점의 매칭 검증에 의해서 상관 판정이 실행되어, 가장 높은 상관을 나타내는 벡터를 주목 화소 대응의 움직임 벡터로서 결정한다. 스텝 S1406∼S1408, S1410의 처리는 앞서 도 39를 참조해서 설명한 처리 플로의 스텝 S1306∼S1308, S1310과 마찬가지의 처리이며 설명을 생략한다.

이와 같이, 3점 매칭 방식을 적용한 후보 벡터로부터 움직임 벡터의 결정 처리에서는, 주목 화소 근방(블록) 내의 모든 화소를 적용한 상관 판정을 행하는 일 없이, 주목 화소와 그 근방의 두 개의 특징 화소 위치 정보나 화소값 정보를 이용하는 구성이다. 따라서, 블록 매칭 처리에서 적용하는 블록의 크기에 따른 다수의 화소값에 의거하는 상관 산출 계산을 행할 필요가 없어져, 효율적인 처리가 가능해진다.

또한, 상술한 두 개의 처리, 즉 도 39를 참조해서 설명한 특징 화소 위치의 상관 정보를 이용한 상관 판정에 의한 움직임 벡터 결정 처리와, 도 41을 참조해서 설명한 화소값의 상관 정보를 이용한 상관 판정에 의한 움직임 벡터 결정 처리를 병용(倂用)한 처리도 가능하다.

도 42에 특징 화소 위치의 상관 정보를 이용한 상관 판정과, 화소값의 상관 정보를 이용한 상관 판정에 의한 움직임 벡터 결정 처리를 병용한 처리 시퀀스를 설명하는 플로를 도시한다.

도 42에 도시하는 처리 플로 중, 스텝 S1501∼S1504의 처리는 앞서 도 39를 참조해서 설명한 처리 플로의 스텝 S1301∼S1304의 처리와 마찬가지이며, 임시 판정부에서의 선별 후보 벡터가 추출되는 처리이다.

스텝 S1505에서는, 특징 화소 위치의 상관성을 판정한다. 이 처리는 앞서 도 36을 참조해서 설명한 바와 같이, 주목 화소의 근방 영역에서의 두 개의 특징 화소의 위치와, 선별 후보 벡터로서 선택된 화소의 근방 영역의 두 개의 특징 화소 위치의 상관, 즉 위치의 대응이 있는지 여부를 판정하는 처리이다.

다음에, 스텝 S1506에서, 3화소에 의한 블록 매칭을 실행한다. 즉, 도 40을 참조해서 설명한 바와 같이, 선별 후보 벡터에 의해서 지시되는 각 화소 영역으로부터, 과거 프레임에서 검출된 주목 화소에 대한 공간 구배 최대 화소와, 공간 구배 최소 화소의 각 위치에 대응하는 화소가 픽업되어 상관이 판정된다. 중심 화소, 즉 주목 화소 위치에 대응하는 화소 상관 정보에 대해서는, 임시 판정부의 판정 결과를 참조한다.

스텝 S1507에서는, 스텝 S1505의 상관 판정과, 스텝 S1506의 상관 판정의 양자를 고려해서 가장 높은 상관을 나타내는 벡터를 선택한다. 스텝 S1508∼S1510의 처리는 앞서 도 39를 참조해서 설명한 처리 플로의 스텝 S1307∼S1308, S1310과 마찬가지의 처리이며 설명을 생략한다.

이와 같이, 화소 위치의 상관과, 3점 매칭 방식을 적용한 후보 벡터로부터 움직임 벡터의 결정 처리에서도, 주목 화소 근방(블록) 내의 모든 화소를 적용한 상관 판정을 행할 필요는 없고, 극히 적은 화소 정보를 이용할 뿐인 구성이며, 블록 매칭 처리에서 적용하는 블록의 크기에 따른 다수의 화소값에 의거하는 상관 산출 계산을 행할 필요가 없어져, 효율적인 처리가 가능해진다.

이상, 특정의 실시예를 참조하면서, 본 발명에 대해서 상세하게 풀이(詳解)해 왔다. 그렇지만, 본 발명의 요지를 일탈(逸脫)하지 않는 범위에서 당업자(當業者)가 그 실시예의 수정이나 대용(代用)을 할 수 있는 것은 자명(自明)하다. 즉, 예시라고 하는 형태(形態)로 본 발명을 개시해 온 것이며, 한정적으로 해석되어서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 특허 청구의 범위 란(欄)을 참작(參酌)해야 한다.

또한, 명세서 중에서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해서 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 실장(組入; incorporated)된 컴퓨터 내의 메모리에 인스톨해서 실행시키거나, 혹은 각종 처리가 실행 가능한 범용(汎用) 컴퓨터에 프로그램을 인스톨해서 실행시키는 것이 가능하다.

예를 들면, 프로그램은 기록 매체로서의 하드 디스크나 ROM(Read Only Memory)에 미리 기록해 둘 수가 있다. 혹은, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기(磁氣) 디스크, 반도체 메모리 등의 리무버블 기록 매체에, 일시적(一時的) 혹은 영속적(永續的)으로 격납(기록)해 둘 수가 있다. 이와 같은 리무버블 기록 매체는 소위 패키지 소프트웨어로서 제공할 수가 있다.

또한, 프로그램은 상술한 바와 같은 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터, 컴퓨터에 무선 전송(無線轉送)하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 거쳐서, 컴퓨터에 유선(有線)으로 전송하며, 컴퓨터에서는, 그와 같이 해서 전송되어 오는 프로그램을 수신하여, 내장(內藏)하는 하드 디스크 등의 기록 매체에 인스톨할 수가 있다.

또한, 명세서에 기재된 각종 처리는 기재에 따라서 시계열(時系列; chronologically)로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라서 병렬적으로 혹은 개별적으로 실행되어도 좋다. 또, 본 명세서에서 시스템이라 함은, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에는 한정되지 않는다.

이상, 설명한 바와 같이, 본 발명의 구성에 따르면, 대표점 매칭 처리에 의거하는 평가값 테이블의 생성에 있어서, 대표점 뿐만 아니라 대표점 근방의 화소 레벨로서의 공간 파형을 고려한 상관 판정 처리를 행하는 구성이므로, 보다 정밀도가 높은 평가값 테이블의 생성이 가능해져, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다.

또, 본 발명의 구성에 따르면, 대표점 화소의 상관 정보와, 주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터에 의거하는 플래그 상관 정보에 의거해서, 무게 계수 W를 산출하고, 산출한 무게 계수 W와 화상 데이터의 복잡성을 나타내는 지표값으로서의 액티비티 A에 의거하는 산출값으로서의 신뢰도 지수 α를 생성하여, 신뢰도 지수 α에 대응하는 평가값을 적산한 평가값 테이블을 생성하는 구성으로 했다. 본 구성에 의해, 대표점과 대표점 근방의 화소값의 차분을 고려해서 무게가 설정된 평가값에 의거하는 평가값 테이블을 생성하는 것이 가능해지고, 보다 정밀도가 높은 평가값 테이블의 생성이 가능해져, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다.

또, 본 발명의 구성에 따르면, 주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터를, 화소값 차분 데이터보다 적은 비트 수로서 산출하는 처리를 실행하는 구성으로 했으므로, 플래그 상관 산출 처리의 연산을 적은 비트수 데이터의 처리로서 실행하는 것이 가능해져, 처리 속도를 떨어뜨리는 일 없이 정밀도가 높은 평가값 테이블의 생성이 가능해지고, 움직임 벡터 검 출을 보다 정확하게 실행하는 것이 가능해진다. 따라서, 동화상 데이터의 부호화 처리 등을 실행하는 화상 처리 장치 등에 본 발명을 적용하는 것에 의해, 효율적인 움직임 벡터 검출 처리가 가능해지고, 장치의 소형화도 달성된다.

또, 본 발명의 구성에 따르면, 대표점 매칭 처리에 의거하는 평가값 테이블의 생성에 있어서, 대표점과 대표점 근방의 화소와의 움직임 유사성을 판정하고, 움직임 유사성이 있는 경우에는, 상관 판정 결과의 신뢰성이 높다고 판단하여, 신뢰도 지수 β를 산출하고, 신뢰도 지수 β에 의거하는 평가값을 적산한 평가값 테이블 생성 처리를 행하는 구성이므로, 보다 정밀도가 높은 평가값 테이블의 생성이 가능해져, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다.

본 발명의 구성에 따르면, 대표점과 그 대표점의 근방 대표점과의 움직임 유사성을 검출하고, 움직임 유사성 있음이라는 판정이 이루어진 것을 조건으로 하여, 대표점과 근방 대표점과의 화소값 차분을 고려한 신뢰도 지수 β를 생성해서, 신뢰도 지수 β에 대응하는 평가값을 적산한 평가값 테이블을 생성하는 구성이며,

(a) 근방 대표점의 움직임의 일치수 혹은 유사수

(b) 움직임이 일치 혹은 유사한 대표점과의 공간 구배

(c) 움직임이 일치 혹은 유사했을 때의 대표점간의 거리

또, 본 발명의 구성에 따르면, 상술한 신뢰도 지수 β에 더하여, 또 주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터에 의거하는 플래그 상관 정보에 의거해서, 무게 계수 W를 산출하고, 산출한 무게 계수 W와 화상 데이터의 복잡성을 나타내는 지표값으로서의 액티비티 A에 의거하는 산출값으로서의 신뢰도 지수 α를 생성해서, 신뢰도 지수 α와 신뢰도 지수 β를 고려한 신뢰도 지수 K=α+β에 대응하는 평가값을 적산한 평가값 테이블을 생성하는 구성으로 했으므로, 대표점과 대표점 근방의 화소값의 차분에 대해서도 고려한 평가값에 의거하는 평가값 테이블을 생성하는 것이 가능해지고, 보다 정밀도가 높은 평가값 테이블의 생성이 가능해져, 움직임 벡터 검출을 보다 정확하게 실행하는 것이 가능해진다. 따라서, 동화상 데이터의 부호화 처리 등을 실행하는 화상 처리 장치 등에 본 발명을 적용하는 것에 의해, 효율적인 움직임 벡터 검출 처리가 가능해지고, 장치의 소형화도 달성된다.

또, 본 발명의 구성에 따르면, 동화상 데이터로부터의 움직임 벡터 검출 처리에서, 각 화소 대응의 움직임 벡터를 복수의 후보 벡터로부터 선택 결정하는 처리에서, 움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 특징 화소를 추출하고, 그 특징 화소의 위치 정보, 또는 화소값 정보에 의거해서 상관 판정을 실행하고, 움직임 벡터의 결정 처리를 행하는 구성으로 했으므로, 블록 매칭 처리를 적용할 필요가 없고, 상관 산출을 위한 연산으로서 차분 절대값 총합 연산 등의 평가값 계산량을 삭감할 수 있어, 처리 효율이 향상하고, 또 화소값을 보존유지하기 위한 메모리도 작게 하는 것이 가능해져 하드웨어 규모의 소형화가 실현된다. 따라 서, 동화상 데이터의 부호화 처리 등을 실행하는 화상 처리 장치 등에서 본 발명을 적용하는 것에 의해, 보다 정확한 움직임 벡터 검출 처리가 가능해진다.

Claims

동화상(動畵像; moving image) 데이터로부터 움직임(動; motion) 벡터를 검출하는 움직임 벡터 검출 장치이며,

시간축 상(上)에서의 다른(異) 프레임간(間)의 화소값 상관(相關; correlation) 정보에 의거해서 평가값 테이블을 생성하는 평가값 테이블 형성부와,

상기 평가값 테이블에 의거해서 동화상 데이터의 프레임 구성 화소에 대한 움직임 벡터를 검출해서 대응짓는 움직임 벡터 결정부를 가지고,

상기 평가값 테이블 형성부는,

시간축 상에서의 다른 프레임간의 상관 정보의 산출을, 한쪽의 프레임으로부터 선택한 대표점에 의거하는 대표점 매칭 처리에 의거해서 실행하는 화소 상관 연산부와,

상기 화소 상관 연산부의 연산 결과, 및 주목(着目, 注目; interest) 화소와 주목 화소 주변(周邊; periphery)의 화소와의 화소값 차분값(差分値; difference value)에 의거하는 연산 결과의 적어도 어느 하나의 결과를 적용해서 움직임의 신뢰도 지수(信賴度指數; reliability index)를 생성하는 무게 산출부(重算出部; weight calculating part)와,

상기 무게 산출부가 산출한 신뢰도 지수에 대응하는 평가값을 적산(積算; integrating)해서 평가값 테이블을 생성하는 평가값 테이블 산출부

를 가지는 것을 특징으로 하는 움직임 벡터 검출 장치.
제1항에 있어서,

상기 주목 화소에 대응하는 상기 대표점과 그 대표점의 근방 대표점과의 움직임 유사성(類似性; similarity)을 검출하는 움직임 유사성 검출부를 더 구비하고,

상기 무게 산출부는,

상기 움직임 유사성 검출부의 검출 결과로서, 상기 대표점과 근방 대표점과의 움직임 유사성 있음이라는 판정에 의거해서, 상기 대표점과 근방 대표점과의 화소값 차분을 고려하여 움직임의 신뢰도 지수를 생성하는 것을 특징으로 하는 움직임 벡터 검출 장치.
제2항에 있어서,

상기 무게 산출부는,

대표점간(代表点間)의 움직임 유사성 있음이라는 판정을 상기 움직임 유사성 검출부로부터 입력한 것을 조건으로 해서, 주목 대표점의 휘도(輝度) 레벨：Pm, 유사 움직임 있음으로 판정된 N개(個)의 근방 대표점의 휘도 레벨：Pn에 의거해서, 상기 신뢰도 지수를 β로 하면, 아래 식,

[수학식 4]

에 의해서 산출하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제2항에 있어서,

상기 움직임 벡터 검출 장치는,

상기 화소 상관 연산부로부터의 대표점 매칭(matching) 처리에 의거하는 상관 유무(有無)의 판정 결과와, 상기 무게 산출부로부터의 신뢰도 지수를 입력하는 연산부를 더 가지고,

상기 연산부는, 상기 화소 상관 연산부로부터의 대표점 매칭 처리에 의거하는 상관 유무의 판정 결과와, 상기 신뢰도 지수와의 가산(加算) 또는 승산(乘算; multiplication) 처리를 실행하고, 최종 평가값을 산출해서, 상기 평가값 테이블 산출부에 출력하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제2항에 있어서,

상기 무게 산출부는,

대표점간의 움직임 유사성 있음이라는 판정을 상기 움직임 유사성 검출부로부터 입력한 것을 조건으로 해서, 상기 신뢰도 지수를 이하(以下)의 파라미터, 즉

(a) 근방 대표점의 움직임의 일치수(一致數) 혹은 유사수(類似數)

(b) 움직임이 일치 혹은 유사한 대표점과의 공간 구배(句配; gradient, slope)

(c) 움직임이 일치 혹은 유사했을 때의 대표점간의 거리

상기 (a)∼(c)의 적어도 어느 하나를 반영한 값으로서 산출하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제2항에 있어서,

상기 평가값 테이블 형성부는,

상기 대표점이 정지(靜止; still) 영역에 있는지 여부를 판정하는 대표점 정지 판정부를 더 가지고,

상기 무게 산출부는,

상기 대표점 정지 판정부에서, 상기 대표점이 정지 영역에 있다고 판정된 경우에, 상기 신뢰도 지수의 값을 0 또는 저하시켜서 설정하는 처리를 실행하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제2항에 있어서,

상기 평가값 테이블 형성부는,

주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터를 생성하는 플래그 데이터 연산부와,

상기 플래그 데이터에 의거해서 프레임간의 플래그 데이터 상관 정보의 산출 처리를 실행하는 플래그 상관 연산부를 더 가지고,

상기 무게 산출부는,

상기 화소 상관 연산부의 연산 결과에 의거하는 화소 상관 정보, 및 상기 플래그 상관 연산부의 연산 결과에 의거하는 플래그 상관 정보의 적어도 어느 하나의 결과를 적용해서 무게 계수 W를 산출하고, 그 무게 계수 W에 의거하는 산출값으로서의 신뢰도 지수를 생성하고,

상기 대표점과 근방 대표점과의 화소값 차분을 고려한 신뢰도 지수와, 상기 무게 계수 W에 의거하는 산출값으로서의 신뢰도 지수에 의거해서 새로운 신뢰도 지수 K를 산출하는 구성이며,

상기 평가값 테이블 산출부는, 상기 무게 산출부가 산출한 새로운 신뢰도 지수 K에 대응하는 평가값을 적산해서 평가값 테이블을 생성하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제1항에 있어서,

상기 주목 화소와 상기 주목 화소 주변의 화소와의 화소값 차분 데이터에 대응하는 플래그 데이터를 생성하는 플래그 데이터 연산부와,

상기 플래그 데이터에 의거해서 프레임간의 플래그 데이터 상관 정보의 산출 처리를 실행하는 플래그 상관 연산부를 더 구비하고,

상기 무게 산출부는, 상기 화소 상관 연산부의 연산 결과에 의거하는 화소 상관 정보, 및 상기 플래그 상관 연산부의 연산 결과에 의거하는 플래그 상관 정보의 적어도 어느 하나의 결과를 적용해서 무게 계수 W를 산출하고, 그 무게 계수 W에 의거하는 산출값으로서의 신뢰도 지수를 생성하는 것을 특징으로 하는 움직임 벡터 검출 장치.
제8항에 있어서,

상기 플래그 데이터 연산부는, 주목 화소와 주목 화소 근방 영역 화소의 화소값 차분 데이터에 대응하는 플래그 데이터를, 화소값 차분 데이터보다 적은 비트 수(數)로서 산출하는 처리를 실행하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제1항에 있어서,

상기 무게 산출부는,

상기 화소 상관 연산부의 연산 결과에 의거하는 화소 상관 정보로부터 산출하는 무게 계수로서,

대표점 화소의 화소값과, 상기 주목 화소 및 그 주변 화소로 이루어지는 상관 판정 대상 화소의 화소값의 차분에 의거해서 산출하는 값 W를 무게 계수 W로 하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제8항에 있어서,

상기 무게 산출부는,

상기 화소 상관 연산부의 연산 결과에 의거하는 화소 상관 정보와, 상기 플래그 상관 연산부의 연산 결과에 의거하는 플래그 상관 정보로부터 산출하는 무게 계수로서, 대표점 화소의 화소값：X와 대표점 화소의 두 개의 인접(隣接) 화소의 화소값 차분 데이터에 의거하는 플래그 데이터：X_f0, X_f1로 하고, 상관 판정 대상(對象) 화소의 화소값 Y와 그 화소의 두 개의 인접 화소의 화소값 차분 데이터에 의거하는 플래그 데이터：Y_f0, Y_f1로 했을 때, X와 Y의 차분의 크기, X_f0과 Y_f0의 차분의 크기, X_f1과 Y_f1의 차분의 크기에 의해서 산출하는 값 W를 무게 계수 W로서 산출하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제1항에 있어서,

상기 무게 산출부는,

화상 데이터의 복잡성을 나타내는 지표값으로서의 액티비티 A를 산출하고,

그 산출 액티비티 A와, 대표점 화소의 화소값과, 상기 주목 화소 및 그 주변 화소로 이루어지는 상관 판정 대상 화소의 화소값의 차분의 크기에 의거해서 산출하는 무게 계수 W에 의거해서 신뢰도 지수를 산출하는 처리를 실행하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제1항에 있어서,

상기 움직임 벡터 검출 장치는,

상기 평가값 테이블에 의거해서 1이상의 후보 벡터를 추출(抽出)하는 후보 벡터 추출부를 더 가지고,

상기 움직임 벡터 결정부는,

동화상 데이터의 프레임 구성 화소 각각에 대응하는 움직임 벡터를, 상기 후보 벡터로부터 선택하여 대응짓는(對應付; 대응시키는) 처리를 실행하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
제13항에 있어서,

상기 움직임 벡터 결정부는,

움직임 벡터를 대응지을 주목 화소의 근방 영역으로부터 특징 화소를 추출하고, 그 특징 화소에 의거하는 상관 판정 처리에 의거해서, 주목 화소에 대응하는 움직임 벡터를 결정하는 구성인 것을 특징으로 하는 움직임 벡터 검출 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
동화상 데이터로부터 움직임 벡터를 검출하는 움직임 벡터 검출 방법으로서,

시간축 상에서의 다른 프레임간의 화소값 상관 정보에 의거해서 평가값 테이블을 생성하는 평가값 테이블 작성 스텝과,

상기 평가값 테이블에 의거해서 동화상 데이터의 프레임 구성 화소에 대한 움직임 벡터를 검출해서 대응짓는 움직임 벡터 검출 스텝을 가지고,

상기 평가값 테이블 작성 스텝은,

시간축 상에서의 다른 프레임간의 상관 정보의 산출을, 한쪽의 프레임으로부터 선택한 대표점에 의거하는 대표점 매칭 처리에 의거해서 실행하는 화소 상관 연산 스텝과,

　상기 화소 상관 연산 스텝에서의 연산 결과, 및 주목 화소와 주목 화소 주변의 화소와의 화소값 차분값에 의거하는 연산 결과의 적어도 어느 하나의 결과를 적용해서 움직임의 신뢰도 지수를 생성하는 무게 산출 스텝과,

　산출한 신뢰도 지수에 대응하는 평가값을 적산해서 평가값 테이블을 생성하는 평가값 테이블 산출 스텝

을 가지는 것을 특징으로 하는 움직임 벡터 검출 방법.
삭제