KR100994983B1

KR100994983B1 - 고속 움직임 탐색 장치 및 그 방법

Info

Publication number: KR100994983B1
Application number: KR20080111627A
Authority: KR
Inventors: 이석호; 박성모; 이상헌; 엄낙웅
Original assignee: 한국전자통신연구원
Priority date: 2008-11-11
Filing date: 2008-11-11
Publication date: 2010-11-18
Anticipated expiration: 2028-11-11
Also published as: JP2010119084A; US8451901B2; US20130251043A1; KR20100052773A; JP5059058B2; US20100118961A1

Abstract

본 발명은 공유 가능한 다중 입출력 뱅크 메모리 구조를 갖는 고속 움직임 탐색에 관한 것으로서, 고속 움직임 탐색 장치는, 외부의 프레임 메모리로부터 현재 영역의 화소 데이터를 수신하여 저장하는 현재 영역 메모리; 공유 가능한 다중 입출력 뱅크 형태로 상기 프레임 메모리로부터 읽어온 탐색영역의 화소 데이터를 저장하고, 상기 현재 영역의 화소 데이터와 탐색영역의 화소 데이터를 이용하여 정수배 움직임 벡터를 예측하는 정수배 움직임 탐색기; 및 상기 정수배 움직임 탐색기로부터 탐색영역이 공유 가능하다는 신호를 수신하면, 상기 정수배 움직임 탐색기로부터 탐색영역의 화소 데이터를 읽어오고, 읽어온 탐색영역의 화소 데이터 및 상기 정수배 움직임 탐색기에서 예측된 정수배 움직임 벡터를 이용하여 소수배 움직임 벡터를 예측하는 소수배 움직임 탐색기를 포함하여 고속의 움직임 탐색을 수행함을 특징으로 하며, 이로 인해 외부 프레임 메모리와의 입출력을 최소화할 수 있으며, 움직임 백터 예측 시 SAD 계산에 필요한 탐색 범위 및 화소 수를 영상의 품질이 저하되지 않는 범위에서 줄일 수 있다.

고속 움직임 탐색 장치, 정수배 움직임 탐색기, 소수배 움직임 탐색기, 다중 입출력 뱅크 메모리, 화소 데이터, 매크로 블록, SAD.

Description

고속 움직임 탐색 장치 및 그 방법{APPARATUS AND METHOD FOR ESTIMATION OF HIGH SPEED MOTION}

본 발명은 영상의 압축을 위한 부호화기(encoder)에서의 고속 움직임 탐색에 관한 것으로서, 특히 공유 가능한 다중 입출력 뱅크 메모리 구조를 갖는 고속 움직임 탐색 장치 및 그 방법에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2007-S-026-02, 과제명: MPCore 플랫폼 기반 다중 포맷 멀티미디어 SoC].

영상의 압축을 위한 부호화기(이하, 영상 부호화기라 칭함)에서 움직임 탐색은 특정 화소 크기의 매크로 블록(Macro Block) 단위로 이루어지며, 매크로 블록 사이의 절대차이들의 합(Sum of Absolute Differences 이하, SAD라 칭함)의 값이 최소가 되는 위치의 움직임 벡터를 예측한다. 여기서 상기 매크로 블록은 현재의 영상(Original Picture)과 움직임 탐색 범위에 있는 복원된 영상(Reference Picture) 내 특정 위치의 화소를 포함하고 있다.

일반적으로 영상 부호화기에서 현재 영상과 화면간 예측(Inter Prediction)에 필요한 복원된 영상의 화소 데이터는 영상의 해상도가 증가할수록 상대적으로 증가한다. 때문에 일반적인 영상 압축을 위한 부호화기는 복원된 영상의 화소 데이터를 저장 용량이 큰 외부 프레임 메모리에 저장하고, 이 프레임 메모리에 저장되어 있는 현재의 영상 화소와 복원된 영상 화소를 움직임 추정 장치로 읽어 들여 계산한다.

일반적인 영상 부호화기에서 소수배까지의 움직임 탐색은 정수 배 움직임 탐색 장치에 의해 정수 배 움직임 탐색을 수행한 후 수행된다. 이에 따라 상기 정수 배 움직임 탐색 이후, 정수배 움직임 탐색 장치는 예측된 정수배 움직임 벡터 주변 화소 범위에 화소 보간을 위한 주변 탐색 범위를 더한 탐색 범위의 복원 영상과 현재의 영상과의 SAD를 다시 구하고, 구한 SAD를 이용하여 최종 소수배 움직임 벡터를 예측한다. 이러한 일반적인 영상 부화화기에서의 움직임 탐색 예측에 대해 첨부된 도 1을 참조하여 구체적으로 설명하면 다음과 같다.

일반적인 정수배 움직임 탐색에서 필요한 기본적인 매크로 블록 크기는 16×16화소 데이터를 이용하며, 한 화소의 범위는 8비트를 사용한다. 탐색범위는 X 방향으로 -16~+15, Y 방향으로 -16~+15 범위의 영역에서 모든 탐색 영역의 후보 화소 값에 대하여 매크로 블록 단위의 SAD를 계산하고, 계산된 SAD를 이용하여 움직임 백터를 예측한다. 이때, 데이터를 프레임 메모리로부터 읽어 오는데 필요한 클럭 주기는 상기 도 1에 도시된 바와 같이, 현재 영상에 대해 한 워드가 64비트라면 16 ×8비트(화소)×16(라인)의 화소 정보를 읽어 오는데 64 클럭 주기가 필요하다. 또한, 상기 클럭 주기는 탐색 범위의 복원 영상의 경우 48×8비트(화소)×48(라인) 화소 정보를 읽어 오는 데 572 클럭 주기가 필요하다. 이러한 클럭 주기는 이상적인 수치이다.

이와 같은 일반적인 정수배 움직임 탐색은 실제 프레임 메모리(예를 들면, SDRAM, DDR 메모리)에서 데이터를 읽어 올 때에는 화소 데이터의 저장 위치에 따라 발생되는 지연 시간이 추가로 소요하게 되어 더 많은 클럭 주기를 요구하게 된다.

또한, 일반적인 SAD 계산 시의 클럭 주기는 모든 탐색 영역에 있는 화소 값에 대하여 계산을 해야 하므로 X, Y 탐색 범위 내(32×32)에서 1024의 클럭 주기가 필요하게 된다.

일반적인 영상 부호화기에서 소수배 탐색을 위해서는 동일하게 탐색 영역의 화소 데이터를 프레임 메모리로부터 읽어와야 하며, 이를 위해 영상 부호화기는 일반적인 6-탭 필터를 사용한다. 일반적인 6-탭 필터는 정수배 움직임 백터 주변으로 1/4화소 보간을 하기 위한 것이다. 이러한 6-탭 필터는 추가의 주변 화소 데이터가 필요하므로 소수배 움직임 탐색을 위해 프레임 메모리로부터 22×8비트(화소)×22(라인)의 탐색영역 화소 데이터가 필요하게 된다. 이러한 탐색 영역 화소 데이터를 읽어오기 위해서는 추가적으로 현재 121의 클럭 주기가 추가적으로 필요하다. 따라서 이러한 소수배 탐색은 움직임 탐색 예측 시 SAD 계산뿐만 아니라 프레임 메모리 입출력 시간이 상당 부분을 차지하여 부호화기의 성능 저하에 영향을 미치게 된다.

한편, 일반적으로 영상 부호화기에서 움직임 탐색을 위한 장치는 전체 부호화에 필요한 상기 부호화기 내의 타 장치(예를 들어, 화면 내 예측 장치와 왜곡 제거 필터 등)에 비하여 프레임 메모리로부터 더 많은 화소 데이터를 요구한다.

일반적으로 영상 부호화기는 매크로 블록 단위의 파이프라인 상에서 처리되는데, 같은 파이프라인 상의 시간 상태에서 부호화기 내의 다른 장치에서도 프레임 메모리의 화소 데이터를 요구한다. 그러므로 상기 부호화기는 제한된 메모리의 대역폭에서 메모리 입출력의 병목 현상이 발생하게 된다. 이로 인하여 움직임 탐색 시 계산에 필요한 화소 데이터를 움직임 탐색 장치로 정해진 시간 내에 프레임 메모리로부터 읽어오지 못하는 문제점이 발생할 수 있다.

또한, 일반적인 영상 부호화기는 움직임 벡터를 구하기 위한 SAD 계산 시 탐색 영역에 있는 모든 후보 화소 값을 고려하여 계산하여야 한다. 따라서 일반적인 영상 부호화기는 많은 계산 량을 필요로 하게 되며, 이로 인해 매크로 블록당 많은 처리 시간을 요구하게 되므로 지연되는 처리 시간이 전체 부호화기의 성능을 저하시키는 문제점이 있다.

본 발명의 해결하고자 하는 과제는 공유 가능한 다중 입출력 뱅크 메모리 구조를 이용하여 외부 프레임 메모리와의 입출력을 최소화하기 위한 고속 움직임 탐색 장치 및 그 방법을 제공함에 있다.

또한, 본 발명의 해결하고자 하는 과제는 다중 입출력 메모리 뱅크 구조를 갖는 저장장치로부터 SAD 계산시 필요한 화소(Pixel) 데이터를 동시에 입출력함으로써 고속의 움직임 탐색을 수행하기 위한 고속 움직임 탐색 장치 및 그 방법을 제공함에 있다.

또한, 본 발명의 해결하고자 하는 과제는 움직임 백터 예측 시 SAD 계산에 필요한 탐색 범위 및 화소 수를 영상의 품질이 저하되지 않는 범위에서 줄이기 위한 고속 움직임 탐색 장치 및 그 방법을 제공함에 있다.

상기 이러한 본 발명의 목적들을 달성하기 위한 고속 움직임 탐색 장치는, 외부의 프레임 메모리로부터 현재 영역의 화소 데이터를 수신하여 저장하는 현재 영역 메모리; 공유 가능한 다중 입출력 뱅크 형태로 상기 프레임 메모리로부터 읽어온 탐색영역의 화소 데이터를 저장하고, 상기 현재 영역의 화소 데이터와 탐색영역의 화소 데이터를 이용하여 정수배 움직임 벡터를 예측하는 정수배 움직임 탐색기; 및 상기 정수배 움직임 탐색기로부터 탐색영역이 공유 가능하다는 신호를 수신 하면, 상기 정수배 움직임 탐색기로부터 탐색영역의 화소 데이터를 읽어오고, 읽어온 탐색영역의 화소 데이터 및 상기 정수배 움직임 탐색기에서 예측된 정수배 움직임 벡터를 이용하여 소수배 움직임 벡터를 예측하는 소수배 움직임 탐색기를 포함하는 것을 특징으로 한다.

상기 본 발명의 목적들을 달성하기 위한 고속 움직임 탐색 장치에서의 고속 움직임 탐색 방법은, 정수배 움직임 탐색기 및 소수배 움직임 탐색기를 갖는 고속 움직임 탐색 장치에서, 영상의 움직임을 고속 탐색하는 방법으로서, 상기 정수배 움직임 탐색기가 외부의 프레임 메모리로부터 움직임 탐색을 위한 영상의 화소 데이터를 수신하는 단계; 상기 정수배 움직임 탐색기가 상기 화소 데이터에서 현재영역의 화소 데이터를 다중 입출력이 가능한 현재 매크로 블록 저장부에 저장하고, 탐색영역의 화소 데이터를 공유 가능한 다중 입출력 뱅크 형태의 탐색영역 매크로 블록 저장부에 저장하는 단계; 상기 정수배 움직임 탐색기가 저장된 현재영역의 화소 데이터 및 저장된 탐색영역의 화소 데이터를 이용하여 정수배 움직임 벡터를 예측하는 단계; 상기 소수배 움직임 탐색기가 공유 가능한 상기 탐색영역 매크로 블록 저장부에서 탐색영역 화소 데이터를 읽어오는 단계; 및 상기 소수배 움직임 탐색기가 상기 읽어온 탐색영역 화소 데이터 및 상기 정수배 움직임 벡터를 이용하여 소수배 움직임 벡터를 예측하는 단계를 포함하는 것을 특징으로 한다.

따라서 본 발명은 정수배 움직임 탐색기에 소수배 움직임 탐색기와 공유 가 능한 다중 입출력 뱅크 메모리 구조를 갖는 공유 탐색영역 메모리를 구현함으로써, 외부 프레임 메모리와의 입출력을 최소할 수 있다. 또한, 다중 입출력 메모리 뱅크 메모리에 저장된 SAD 계산시 필요한 화소(Pixel) 데이터(탐색영역 화소 데이터)를 동시에 입출력함으로써 고속의 움직임 탐색을 수행할 수 있으며, 움직임 백터 예측 시 SAD 계산에 필요한 탐색 범위 및 화소 수를 영상의 품질이 저하되지 않는 범위에서 줄일 수 있다.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 2는 본 발명의 실시예에 따른 움직임 탐색 장치의 구조를 도시한 도면이고, 도 3은 본 발명의 실시예에 따른 정수배 움직임 탐색기의 구체적인 구조를 도시한 도면이다.

상기 도 2를 참조하면, 움직임 탐색 장치(100)는 프레임 메모리(10)와 연동하며, 정수배 움직임 탐색기(110), 소수배 움직임 탐색기(120) 및 현재 영역 메모리(130)로 구성할 수 있다.

정수배 움직임 탐색기(110)는 공유 탐색 영역 메모리(111), 정수배 탐색 SAD 계산부(112), 정수배 탐색 제어부(113)를 포함하여 구성할 수 있다. 정수배 움직임 탐색기(110)는 현재영역의 화소 데이터와 탐색영역의 화소 데이터를 이용하여 절대차들의 합(SAD) 값이 최소가 되는 위치의 움직임 벡터를 예측하고, 예측된 움직임 벡터 및 최소 SAD 값을 상기 소수배 움직임 탐색기(120)로 전송한다. 여기서 상기 현재영역은 현재 영상의 영역을 의미하며, 상기 탐색영역은 이전영역으로서, 움직임 탐색 범위의 복원된 영상의 영역을 의미한다.

소수배 움직임 탐색기(120)는 탐색영역 선택부(121), 소수배 탐색 SAD 계산부(122), 소수배 탐색 제어부(123)를 포함하여 구성할 수 있다. 그리고 소수배 움직임 탐색기(120)는 상기 정수배 움직임 탐색기(110)로부터 복원 영상의 화소 데이터와 현재 영상의 화소 데이터를 이용하여 SAD 값을 구하여 최종 소수 배 움직임 벡터를 예측하여 예측된 소수배 움직임 백터 및 최소의 SAD 값을 출력한다. 여기서 상기 복원 영상은 수신한 정수배 움직 벡터 주변 화소 범위에 화소 보간을 위한 주변 탐색 범위를 더한 탐색 범위의 영상이다.

상기 도 3을 참조하여, 정수배 움직임 탐색부(110)의 구체적인 구조를 설명하면 다음과 같다.

정수배 움직임 탐색기(110)의 정수배 움직임 탐색기(110)의 공유 탐색 영역 메모리(111)는 현재 매크로 블록 저장부(206) 및 탐색영역 매크로 블록 저장부(207)를 포함한다. 여기서 탐색영역 매크로 블록 저장부(207)는 소수배 움직임 탐색 장치와 공유 가능하도록 저장된 탐색영역의 화소 데이터를 저장한다.

공유 탐색 영역 메모리(111)는 프레임 메모리 버스를 통해 DMA(Direct Mmemory Access)제어부(30) 및 프레임 메모리 제어부(20)를 거쳐 프레임 메모 리(10)와 연결되며, 48×32×8비트[화소] 화소 데이터를 16×32×8비트(화소) 단위로 프레임 메모리(10)로부터 읽어온다. 공유 탐색 영역 메모리(111) 내의 탐색영역 매크로 블록 저장부(207)는 짝수 매크로 블록 저장부 및 홀수 매크로블록 저장부로 구분될 수 있다. 상기 현재 매크로 블록 저장부(206)는 16×64 공유된 현재영역의 화소 데이터를 저장하기 위한 뱅크(Shared Current Picture Bank) 메모리인 4개의 뱅크(뱅크00, 뱅크01, 뱅크10, 뱅크 11)로 구분될 수 있다. 상기 탐색영역 매크로 블록 저장부(207)는 탐색영역의 화소 데이터를 저장하기 위한 공유 영상 뱅크(Shard Ref. Picture Bank) 메모리인 뱅크 0 내지 뱅크 5로 구분된다. 여기서, 뱅크 메모리들은 짝수 매크로 블록 및 홀수 매크로 블록의 화소 데이터를 저장하기 위해 상단 뱅크 영역(뱅크00, 뱅크01, 뱅크 10, 뱅크 11, 뱅크 20, 뱅크 21) 및 하단 뱅크 영역(뱅크 30, 뱅크 31, 뱅크 40, 뱅크 41, 뱅크 50, 뱅크 51)로 구분될 수 있다.

상기 탐색영역 매크로 블록 저장부(207)의 각 뱅크 메모리(뱅크 0 내지 뱅크 5)는 첨부된 도 4에 도시된 바와 같이, Y방향으로는 8×32단위의 화소 정보에 대하여 각각 4개의 슬라이스(슬라이스 0 내지 슬라이스 3) 메모리로 분리된다. 상기 4개의 슬라이스에서 모든 화소값은 동시에 입출력이 가능하고, 슬라이스 0 및 슬라이스 1은 상위 SAD 계산에 필요한 화소값을 출력하고, 슬라이스 2 및 슬라이스 3은 하위 SAD 계산에 필요한 화소값을 출력한다. 여기서 각 뱅크 및 슬라이스 메모리는 독립적으로 입출력이 가능하다. 이러한 독립적인 입출력은 움직임 벡터 예측 시 동시에 다수의 화소 정보에 메모리의 다중 입출력이 가능하다. 그러므로 움직임 탐색 장치(100)는 한 매크로 블록 내에서 동시에 다른 위치에 있는 화소 값에 대한 SAD 계산을 수행하고, 이로 인해 고속의 움직임 탐색 연산이 가능하다.

다시 도 3을 참조하면, 정수배 SAD 계산부(112)는 상위 SAD 계산부(201) 및 하위 SAD 계산부(203)를 포함하며, 지역 메모리 버스를 통해 현재 매크로 블록 저장부(206) 및 탐색영역 매크로 블록 저장부(207)와 연결된다. 그리고 상기 정수배 SAD 계산부(201)는 현재 매크로 블록 저장부(206) 및 탐색영역 매크로 블록 저장부(207)로부터 각각 현재 영역의 화소 데이터 및 탐색영역의 화소 데이터를 한 칸 건너서 읽어와서 2:1 부표본화한다. 상기 정수배 SAD 계산부(201)는 2:1 부표본화된 현재 매크로 블록 및 탐색영역의 매크로 블록의 차를 절대치하여 절대차들의 합(SAD)을 구하고, 구해진 절대차들의 합(SAD)의 값들 중 최소값을 이용하여 정수배 움직임 벡터를 예측한다.

상기 상위 SAD 계산부(201)는 상기 도 4에 도시된 바와 같은 각 뱅크 메모리 내의 슬라이스 0 및 1로부터 탐색영역의 화소 데이터를 읽어와 상위 SAD 계산을 수행하고, 이와 동시에 상기 하위 SAD 계산부(203)는 SAD를 계산한다. 각 뱅크 메모리 내의 슬라이스 2 및 3으로부터 탐색영역의 화소 데이터를 읽어와 하위 SAD 계산을 수행한다. 이러한 상위 및 하위 SAD 계산에 대한 구체적인 설명은 움직임 탐색 방법에서 구체적으로 설명하기로 한다.

다시 상기 도 3을 참조하면, 정수배 움직임 탐색부(110)의 정수배 탐색 제어부(113)는 지역 메모리 주소 제어부(202), 레지스터부(204), 장치 제어부(205) 및 프레임 메모리 주소 제어부(208)를 포함하여 구성될 수 있으며, 탐색영역 공유가능 신호를 소수배 움직임 탐색기(120)로 전송한다. 여기서 상기 레지스터부(204)는 시스템 버스를 통해 외부 장치와 연결되어 데이터를 읽거나 쓸수 있다.

그러면 이와 같은 구조를 갖는 움직임 탐색 장치에서 움직임 탐색 방법에 대해 첨부된 도면들을 참조하여 구체적으로 설명하기로 한다.

우선, 움직임 탐색을 위해 탐색 영역 및 SAD 계산을 위한 조건들에 대해 설명하기로 한다.

움직임 탐색 방법은 X, Y 방향으로 1-화소 단위로 탐색하는데, SAD 계산 시 정수배 움직임 탐색기(110)는 현재 매크로 블록의 화소 및 탐색영역의 화소를 한칸 건너서 읽어와서, 2:1로 부 표본(Subsampling)된 현재의 매크로 블록 및 탐색영역의 매크로 블록을 이용하여 SAD 계산을 수행할 수 있다.

첨부된 도 5에 도시된 바와 같이, 48×32화소의 탐색영역에 대한 SAD 계산을 위해서는 탐색영역을 Y 방향으로 1/2로 감소(-8~+7)시켜서 움직임 탐색을 위한 전체 계산량 부담을 줄여야 한다.

첨부된 도 6은 SAD 계산을 위한 탐색영역을 좀더 확대해 도시한 도면이고, 도 7은 SAD 계산 시 탐색 영역을 읽는 방법을 도시한 도면으로서, 상기 도 6 및 7을 참조하면, 움직임 탐색 장치는 16×16블록에 대하여 2:1로 부표본된 현재 화소 데이터(8×8)(A, B, C, D)에 대해 SAD를 계산한다. 상기 도 7에 도시된 바와 같이, SAD 계산 시 탐색영역의 2:1 부표본화된 화소 데이터는 한 칸 건너서 읽혀진다. 예를 들어, 도 7의 (a)와 같이, 'A'인 화소 데이터를 읽어오는 경우, 정수배 SAD 계 산부(112)는 현재 [-15, -7] 위치의 화소 데이터를 읽은 후, 한 칸 건너 다음 위치(빗금친 영역들)의 화소 데이터를 순차적으로 읽어온다.

상기 도 7에 도시된 바와 같은 움직임 탐색 범위 내에서 예를 들어, 정수배 움직임 벡터의 조건이 X방향으로 13~+12, Y방향으로 -5~+4 내에서 결정된다면, 소수배 움직임 탐색을 위해 소수배 움직임 탐색부(120)는 복원 영상에 대한 화소 정보를 프레임 메모리(10)로부터 읽어오지 않는다. 대신, 소수배 움직임 탐색부(120)는 정수배 움직임 탐색기(110) 내의 탐색영역 매크로 블록 저장부(207)로부터 SAD 계산에 필요한 복원 영상에 대한 탐색영역의 화소 데이터를 읽어와서 소수배 움직임 탐색을 수행한다. 이러한 소수배 움직임 탐색 장치에서 정수배 움직임 탐색 메모리를 공유할 수 있는 정수배 XY 움직임 백터의 조건은 하기 <수학식 1>과 같다.

{X : (정수배 움직임 벡터 X 방향 최소값 -3) ~ (정수배 움직임 벡터X 방향 최대값 -3)} AND

{Y : (정수배 움직임 벡터 Y 방향 최소값 -3) ~ (정수배 움직임 벡터 Y 방향 최대값 -3)}

테스트 영상 및 일반적인 영상에서는 움직임 탐색 시 상기 <수학식 1>의 조건에 따른 탐색 범위의 움직임 벡터가 80~90%(실험 결과)를 차지하므로 정수배 움직임 탐색기(110)와 소수배 움직임 탐색기(120)에서 복원 영상의 탐색범위의 메모리를 공유할 확률은 높아지게 된다.

다음으로, 상술한 바와 같은 설명을 기반으로 정수배 움직임 탐색을 위한 과정을 첨부된 도면들을 참조하여 구체적으로 설명하기로 한다.

도 8은 본 발명의 실시예에 따라 고속 움직임 탐색 장치에서의 고속 움직임 탐색 과정을 도시한 도면이다.

상기 도 3 및 상기 도 8을 참조하면, 301단계에서 움직임 탐색 장치(100)의 정수배 움직임 탐색기(110)는 프레임 메모리(10)로부터 48×32×8비트(화소)에 대한 화소 데이터를 16×32×8비트(화소) 단위로 읽어온다. 이때, 현재 영역 메모리(130)는 16×32×8비트(화소) 단위의 화소 데이터를 읽어와 저장한다.

이에 따라 302단계에서 정수배 움직임 탐색부(110)는 영상의 현재 영역의 화소 데이터를 현재 매크로 블록 저장부(206)에 저장하고, 이전영역의 화소 데이터 즉, 탐색영역의 화소 데이터를 소수배 움직임 탐색부(120)와 공유 가능한 탐색 영역 매크로 블록 저장부(207)에 저장한다. 즉, 탐색 영역 매크로 블록 저장부(207)는 X방향으로 8×32단위로 6개의 뱅크 메모리에 상기 읽어온 정보인 탐색에 필요한 화소 정보를 순차적으로 저장한다. 이때, 짝수 매크로 블록의 탐색 영역의 화소 데이터는 탐색 영역 매크로 블록 저장부(207)의 상단의 짝수 매크로 블록 저장부에 저장되고, 홀수 매크로 블록의 탐색영역의 화소 데이터는 탐색 영역 매크로 블록 저장부(207)의 하단의 홀수 매크로 블록 저장부에 저장된다. 이러한 데이터 저장은 매 매크로 블록당 번갈아 가며 이루어지며, 정수배와 소수배 탐색영역 공유 시 한 매크로 블록의 정수배 탐색이 종료된 이후에도 소수배 탐색을 위한 이전 공유 데이터가 유효화되도록 한다.

이후, 정수배 움직임 탐색을 위해 움직임 벡터 예측을 수행한다. 따라서 303단계에서 정수배 움직임 탐색기(110)는 공유 탐색 영역 메모리(111)에 저장된 48×32화소의 탐색영역에 대해 매크로 블록 단위로 움직임 백터 예측을 위한 SAD 계산을 수행한다. 이러한 움직임 벡터 예측은 매 매크로 블록마다 새로운 탐색영역에 대한 화소 데이터를 프레임 메모리(10)로부터 읽어온다. 이때, 저장되는 위치의 뱅크는 자동적으로 순환하게 되어 SAD 계산 시 항상 좌상단(-16, -8)과 좌중단(-16, 0)의 위치에서부터 움직임 탐색을 시작한다. 이에 따라 움직임 벡터 예측을 위한 SAD 계산에 대해 구체적으로 설명하면 다음과 같다.

정수배 움직임 탐색기(110)의 정수배 탐색 SAD 계산부(111)는 SAD 계산 시 탐색 시간을 고속화하기 위하여 상기 도 2에 도시된 바와 같이, XY 방향으로 좌상단(-16, -8)과 좌중단(-16, 0)을 시작점으로 동시에 상위 및 하위 SAD를 계산한다. 즉, 상단 SAD 계산부(201)는 미리 설정된 기준지점인 좌중단(-16, 0)을 기준으로 윗쪽에 있는 상단부({X, Y}={-16~+15, ~8~-1})의 움직임 탐색 예측을 위해 해당 뱅크 메모리 내의 슬라이스 0 및 슬라이스 1에 저장된 상위 SAD 계산에 필요한 화소값을 읽어온다. 그런 다음 상단 SAD 계산부(201)는 읽어온 화소값을 이용하여 상위 SAD 계산을 수행한다. 이후, 상단 SAD 계산부(201)는 모든 상위 SAD 계산이 완료되면, 누적된 SAD 값들에서 최소값을 갖는 제1 최소 SAD 값을 구하여 이를 하위 SAD 계산부(203)로 출력한다. 이와 동시에 하단 SAD 계산부(202)는 좌중단(-16, 0)을 기준으로 탐색영역의 아래쪽에 있는 하단부({X, Y}={-16~+15, 0~+7})의 움직임 탐색 예측을 위해 해당 뱅크 메모리 내의 슬라이스 2 및 슬라이스 3에 저장된 상위 SAD 계산에 필요한 화소값을 읽어온다. 그런 다음 상단 SAD 계산부(201)는 읽어온 화소값을 이용하여 하위 SAD 계산을 수행한다. 이후, 하단 SAD 계산부(203)는 모든 하위 SAD 계산이 완료되면, 누적된 SAD 값들에서 최소값을 갖는 제2 최소 SAD 값을 구하고, 상기 제1 최소 SAD 값과 상기 제2 최소 SAD 값 중 작은 값을 갖는 최종 최소 SAD 값을 구하고, 이를 이용하여 정수배 움직임 벡터를 예측한다.

이러한 상위 및 하위 SAD 계산이 완료되면, 304단계에서 정수배 움직임 탐색기(110)는 SAD 계산을 통해 얻은 최소의 SAD 값과 예측된 움직임 벡터를 각각 소수배 움직임 탐색기(120)로 전송한다. 즉, 하단 SAD 계산부(203)는 상기 누적된 제2 최소 SAD 값과, 상기 상단 SAD 계산부(201)로부터 수신한 제1 최소 SAD 값을 비교하여 둘 중 최소값을 갖는 SAD 값을 전송하고, 상기 전송되는 최소의 SAD값에 대한 움직임 벡터를 최종 출력하여 상기 소수배 움직임 탐색기(120)로 전송한다.

그런 다음 305단계에서 정수배 움직임 탐색기(110)는 내부의 시스템제어용 레지스터부(204)를 통해 소수배 움직임 탐색기(120)가 탐색영역 매크로블록 저장부(207)를 공유할 수 있도록 탐색영역 공유가능 신호를 상기 소수배 움직임 탐색기(120)로 전송한다. 이에 따라 소수배 움직임 탐색기(120)는 탐색영역 매크로블록 저장부(207)에 저장된 공유 가능한 탐색영역의 화소 데이터를 읽어와서 소수배 움직임 벡터의 예측을 위해 SAD 계산을 수행한다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물 론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 발명청구의 범위뿐만 아니라 이 발명청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 일반적인 움직임 탐색 방법을 도시한 도면,

도 2는 본 발명의 실시예에 따른 움직임 탐색 장치의 구조를 도시한 도면,

도 3은 본 발명의 실시예에 따른 정수배 움직임 탐색기의 구체적인 구조를 도시한 도면,

도 4는 도 3의 탐색영역 매크로 블록 저장부의 구체적인 구조를 도시한 도면,

도 5는 본 발명의 실시예에 따른 움직임 탐색을 위한 탐색영역을 도시한 도면,

도 6은 본 발명의 실시예에 따른 SAD 계산을 위한 탐색영역을 확대하여 도시한 도면,

도 7은 본 발명의 실시예에 따라 SAD 계산 시 탐색 영역을 읽는 방법을 도시한 도면,

도 8은 본 발명의 실시예에 따라 고속 움직임 탐색 장치에서의 고속 움직임 탐색 과정을 도시한 도면.

Claims

외부의 프레임 메모리로부터 현재 영역의 화소 데이터를 수신하여 저장하는 현재 영역 메모리;

공유 가능한 다중 입출력 뱅크 형태로 상기 프레임 메모리로부터 읽어온 탐색영역의 화소 데이터를 저장하고, 상기 현재 영역의 화소 데이터와 탐색영역의 화소 데이터를 이용하여 정수배 움직임 벡터를 예측하는 정수배 움직임 탐색기; 및

상기 정수배 움직임 탐색기로부터 탐색영역이 공유 가능하다는 신호를 수신하면, 상기 정수배 움직임 탐색기로부터 탐색영역의 화소 데이터를 읽어오고, 읽어온 탐색영역의 화소 데이터 및 상기 정수배 움직임 탐색기에서 예측된 정수배 움직임 벡터를 이용하여 소수배 움직임 벡터를 예측하는 소수배 움직임 탐색기를 포함하는 것을 특징으로 하는 고속 움직임 탐색 장치.
제1항에 있어서, 상기 정수배 움직임 탐색기는,

공유 가능한 다중 입출력 뱅크 형태의 탐색영역 매크로 블록 저장부를 갖고, 상기 탐색영역 매크로 블록 저장부에 상기 소수배 움직임 탐색기와 공유 가능한 탐색영역의 화소 데이터를 저장하는 공유 탐색 영역 메모리;

상기 현재 영역의 화소 데이터 및 상기 탐색영역의 화소 데이터를 이용하여 상기 정수배 벡터 예측을 위한 절대차들의 합(SAD)을 계산하는 정수배 탐색 절대차 들의 합 계산부; 및

상기 소수배 움직임 탐색기로 탐색영역이 공유 가능하다는 신호를 전송하는 정수배 탐색 제어부를 포함하는 것을 특징으로 하는 고속 움직임 탐색 장치.
제2항에 있어서,

상기 탐색 영역 매크로 블록 저장부는 다중 입출력이 가능한 다수의 뱅크 메모리를 갖고, 짝수 매크로 블록 저장부 및 홀수 매크로 블록 저장부로 구분되며, 상기 다수의 뱅크 메모리에 상기 공유 가능한 탐색 영역의 화소 데이터를 매크로 블록 단위로 저장함을 특징으로 하는 고속 움직임 탐색 장치.
제3항에 있어서,

상기 다수의 뱅크 메모리는 미리 설정된 기준지점을 기준으로 상단부의 움직임 탐색을 예측하기 위한 상위 절대차들의 합 계산 시 필요한 화소값을 저장하는 하나 이상의 슬라이스 및 동시에 상기 기준지점을 기준으로 하단부의 움직임 탐색을 예측하기 위한 하위 절대차들의 합 계산 시 필요한 화소값을 저장하는 하나 이상의 다른 슬라이스를 포함하는 것을 특징으로 하는 고속 움직임 탐색 장치.
제2항에 있어서,

상기 정수배 탐색 절대차들의 합 계산부는 상기 현재 영역의 화소 데이터 및 상기 탐색영역의 화소 데이터를 한 칸 건너서 읽어와서 2:1 부표본화한 현재 매크로 블록 및 탐색영역의 매크로 블록의 차를 절대치하여 절대차들의 합(SAD)을 구하고, 구해진 절대차들의 합(SAD)의 값들 중 최소값을 상기 소수배 움직임 탐색기로 출력함을 특징으로 하는 고속 움직임 탐색 장치.
제5항에 있어서, 상기 정수배 탐색 절대차들의 합 계산부는,

미리 설정된 기준지점을 기준으로 상단부의 움직임 탐색을 예측하기 위한 상위 절대차들의 합을 계산하여 제1 최소 절대차들의 합(SAD) 값을 구하는 상위 절대차들의 합 계산부; 및

상기 상위 절대차들의 합 계산부와 동시에 상기 미리 설정된 기준지점을 기준으로 하단부의 움직임 탐색을 예측하기 위한 하위 절대차들의 합을 계산하여 제2 최소 절대차들의 합 값을 구하는 하위 절대차들의 합 계산부를 포함하는 것을 특징으로 하는 고속 움직임 탐색 장치.
제6항에 있어서,

상기 하위 절대차들의 합 계산부는, 상기 제1 최소 절대차들의 합에 대한 값 과 상기 제2 최소 절대차들의 합에 대한 값을 비교하여 둘 중 최소값을 갖는 값과, 상기 정수배 움직임 벡터를 상기 소수배 움직임 탐색기로 전송함을 특징으로 하는 고속 움직임 탐색 장치.
정수배 움직임 탐색기 및 소수배 움직임 탐색기를 갖는 고속 움직임 탐색 장치에서, 영상의 움직임을 고속 탐색하는 방법에 있어서,

상기 정수배 움직임 탐색기가 외부의 프레임 메모리로부터 움직임 탐색을 위한 영상의 화소 데이터를 수신하는 단계;

상기 정수배 움직임 탐색기가 상기 화소 데이터에서 현재영역의 화소 데이터를 다중 입출력이 가능한 현재 매크로 블록 저장부에 저장하고, 탐색영역의 화소 데이터를 공유 가능한 다중 입출력 뱅크 형태의 탐색영역 매크로 블록 저장부에 저장하는 단계;

상기 정수배 움직임 탐색기가 저장된 현재영역의 화소 데이터 및 저장된 탐색영역의 화소 데이터를 이용하여 정수배 움직임 벡터를 예측하는 단계;

상기 소수배 움직임 탐색기가 공유 가능한 상기 탐색영역 매크로 블록 저장부에서 탐색영역 화소 데이터를 읽어오는 단계; 및

상기 소수배 움직임 탐색기가 상기 읽어온 탐색영역 화소 데이터 및 상기 정수배 움직임 벡터를 이용하여 소수배 움직임 벡터를 예측하는 단계를 포함하는 것을 특징으로 하는 고속 움직임 탐색 방법.
제8항에 있어서, 상기 정수배 움직임 탐색기가 저장된 현재영역의 화소 데이터 및 저장된 탐색영역의 화소 데이터를 이용하여 정수배 움직임 벡터를 예측하는 단계는,

상기 저장된 현재영역의 화소 데이터 및 상기 저장된 탐색영역의 화소 데이터를 각각 한 칸 건너서 읽어오는 단계;

읽어온 현재영역의 화소 데이터 및 탐색영역의 화소 데이터를 각각 2:1 부표본화하는 단계;

상기 부표본화된 현재 매크로 블록 및 탐색영역의 매크로 블록으로 절대차들의 합을 계산하는 단계; 및

계산된 절대차들의 합에 대한 값들 중 최소값을 이용하여 상기 정수배 움직임 벡터를 예측하는 단계를 포함하는 것을 특징으로 하는 고속 움직임 탐색 방법.
제9항에 있어서, 상기 부표본화된 현재 매크로 블록 및 탐색영역의 매크로 블록으로 절대차들의 합을 계산하는 단계는,

미리 설정된 기준지점을 기준으로 상단부의 움직임 탐색을 예측하기 위한 상위 절대차들의 합을 계산하여 제1 최소 절대차들의 합(SAD) 값을 구하는 단계; 및

상기 상위 절대차들의 합 계산과 동시에 상기 미리 설정된 기준지점을 기준으로 하단부의 움직임 탐색을 예측하기 위한 하위 절대차들의 합을 계산하여 제2 최소 절대차들의 합 값을 구하는 단계를 포함하는 것을 특징으로 하는 고속 움직임 탐색 방법.
제8항에 있어서,

상기 소수배 움직임 탐색기가 공유 가능한 상기 탐색영역 매크로 블록 저장부에서 탐색영역 화소 데이터를 읽어오는 단계는, 상기 정수배 움직임 탐색기로부터 탐색영역이 공유 가능하다는 신호를 수신하면, 상기 탐색영역 화소 데이터를 읽어오는 것을 특징으로 하는 고속 움직임 탐색 방법.
제8항에 있어서, 상기 소수배 움직임 탐색기가 상기 읽어온 탐색영역 화소 데이터 및 상기 정수배 움직임 벡터를 이용하여 소수배 움직임 벡터를 예측하는 단계는,

상기 읽어온 탐색 영역 화소 데이터 및 상기 정수배 움직임 벡터로 절대차들의 합을 계산하는 단계; 및

계산된 절대차들의 합에 대한 값들 중 최소값을 이용하여 상기 소수배 움직임 벡터를 예측하는 단계를 포함하는 것을 특징으로 하는 고속 움직임 탐색 방법.