KR100593350B1 - 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치,화상 복호 방법, 및 통신 장치 - Google Patents

Abstract

개개의 영역의 움직임 벡터의 검출 시에 가상 샘플을 이용한 움직임 보상 예측을 이용하지만, 개개의 움직임 벡터 검출 단위의 영역의 크기와 관련하여 국소적으로 가상 샘플의 정밀도를 결정한다. 예를 들면, 8×8 MC보다 작은 8×4나, 4×8, 4×4 사이즈의 움직임 벡터 검출 단위 영역에서는 반화소 정밀도의 가상 샘플을 이용하기로 하고, 8×8 MC 이상의 사이즈의 움직임 벡터 검출 단위 영역에서는 1/4화소 정밀도의 가상 샘플을 이용한다. 이에 의해, 8×4, 4×8, 4×4 MC의 각 모드에 대하여, 가상 샘플 생성에 필요한 메모리 대역 폭을 삭감할 수 있어, 장치의 간략화에도 효과적이다.

부호화, 복호, 가상 샘플, 정밀도

Description

화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법, 및 통신 장치{IMAGE ENCODING DEVICE, IMAGE ENCODING METHOD, IMAGE DECODING DEVICE, IMAGE DECODING METHOD, AND COMMUNICATION DEVICE}

본 발명은 화상의 고능률 부호화 또는 복호화에 있어서, 기존의 화상으로부터 부호화해야 할 화상 또는 복호해야 할 화상의 예측을 행하여, 예측 오차를 부호화하는 화상 부호화 장치, 화상 부호화 방법, 및 예측 오차와의 가산에 의해 복호를 행하는 화상 복호 장치, 화상 복호 방법에 관한 것이다. 또한, 이들 화상 부호화 장치와 화상 복호 장치 중 적어도 하나를 구비한 통신 장치에 관한 것이다.

MPEG(Moving Picture Experts Group)나 ITU-T H.26x 등의 표준 영상 부호화 방식에서는, 매크로 블록이라고 하는 휘도 신호 16×16화소(색차 신호 8×8화소를 포함함)로 구성되는 정사각형 블록으로 프레임 화면의 분할을 행하고, 그 단위로 움직임 보상 예측에 의해 참조 프레임으로부터의 움직임을 추정하고, 추정 오차분의 신호(예측 잔차 신호)와 움직임 벡터 정보를 부호화하고 있다. 또한, MPEG-2에서는 매크로 블록을 2개의 필드 영역으로 분할하여 필드별로 움직임 예측을 행하거나, H.263이나 MPEG-4에서는 매크로 블록을 8×8화소 블록의 사이즈로 다시 4분할하고, 각 서브 블록 단위로 움직임 예측을 행하는 기술이 도입되고 있다. 특히, MPEG-4에서의 움직임 예측 블록 사이즈의 적응화는, 움직임 벡터의 부호량이 증가하는 한편, 보다 격렬하고 미세한 움직임에 대한 추수성이 향상되어, 적절한 모드 선택을 행함으로써 성능 향상을 기대할 수 있는 것이 알려져 있다.

또한, 움직임 보상 예측의 다른 기술적 측면으로서, 움직임 벡터의 정밀도가 있다. 본래, 디지털 화상 데이터라도, 샘플링에 의해 생성된 이산적인 화소 정보(이후, 정수 화소라고 함)밖에 존재하지 않지만, 정수 화소 사이에 내삽 연산에 의해 가상적인 샘플을 만들어 내고, 그것을 예측 화상으로서 이용하는 기술이 널리 이용되고 있다. 이 기술에는 예측의 후보점이 증가함에 따른 예측 정밀도의 향상과, 내삽 연산에 수반하는 필터 효과에 의해 예측 화상의 특이점이 삭감되어 예측 효율이 향상된다고 하는 두 가지 효과가 있는 것이 알려져 있다. 한편, 가상 샘플의 정밀도가 향상되면, 움직임량을 표현하는 움직임 벡터의 정밀도도 높일 필요가 있기 때문에, 그 부호량도 증가하는 것에 주의할 필요가 있다.

MPEG-1, MPEG-2에서는 이 가상 샘플의 정밀도를 1/2 화소 정밀도까지 허용하는 반화소 예측이 채용되고 있다. 도 1에 1/2 화소 정밀도의 샘플의 생성의 모습을 도시한다. 도 1에서, A, B, C, D는 정수 화소, e, f, g, h, i는 A∼D로부터 생성되는 반화소 정밀도의 가상 샘플을 나타낸다.

e=(A+B)//2

f=(C+D)//2

g=(A+C)//2

h=(B+D)//2

i=(A+B+C+D)//4

(단, //는 사사오입 제산을 나타냄)

이 반화소 정밀도의 가상 샘플 생성 수순을 소정의 블록에 대하여 적용하는 경우에는, 블록의 끝점으로부터 주변 1정수 화소분 여분의 데이터를 요한다. 이것은 블록의 끝점(정수 화소)으로부터 반화소분 외측의 가상 샘플을 산출할 필요가 있기 때문이다.

또한, MPEG-4에서는 1/4 화소 정밀도까지의 가상 샘플을 이용하는 1/4 화소 정밀도 예측이 채용되고 있다. 1/4 화소 정밀도 예측에서는 반화소 샘플을 생성한 후, 이들을 이용하여 1/4 화소 정밀도의 샘플을 생성한다. 반화소 샘플 생성 시의 과도한 평활화를 억제할 목적으로, 탭 수가 많은 필터를 이용하여 원래의 신호의 주파수 성분을 극력 유지하도록 설계된다. 예를 들면, MPEG-4의 1/4 화소 정밀도 예측에서, 1/4 화소 정밀도의 가상 샘플 생성을 위해서 만들어지는 반화소 정밀도의 가상 샘플 a는, 그 주변 8화소분을 사용하여, 다음과 같이 생성된다. 또, 다음 식은 수평 처리인 경우만을 나타내고 있으며, 1/4 화소 정밀도의 가상 샘플 생성을 위해서 만들어지는 반화소 정밀도의 가상 샘플 a와, 다음 식의 정수 화소의 X 성분 X_-4∼X₄와의 관계는, 도 2에 나타낸 위치 관계에 있다.

(단, COE_k: 필터 계수(계수 총합이 256). //는 사사오입 제산을 나타냄)

이 1/4 화소 정밀도의 가상 샘플 생성 수순을 소정의 블록에 대하여 적용하는 경우에는, 블록의 끝점으로부터 주변 4정수 화소분 여분의 데이터를 요한다. 이것은 블록의 끝점(정수 화소)으로부터 1/4 화소분 외측의 가상 샘플을 산출할 필요가 있기 때문이다.

그러나, 예측 대상 블록의 끝점에서, 필터 탭 수에 따른 수의 예측 대상 블록의 주변 화소가 필터 연산에 필요하게 되므로, 탭 수에 따라서는 예측 화상 생성을 위해서 필요한 메모리 대역 폭이 커진다고 하는 문제가 있다.

특히, MPEG-4의 1/4 화소 정밀도 예측에서는 이 문제를 피하기 위해서, 예측 대상 블록의 끝점 화소를 다시 반영함으로써 예측 화상 생성을 위해서 필요한 신규 판독 화소 수를 억제하는 고안이 이루어져 있지만, 이에 의해, 예측 대상 블록의 경계에서의 자연스러운 필터링이 저지되어, 부호화 효율상 바람직하다고는 할 수 없는 문제가 있다.

따라서, 본 발명은 매크로 블록 등 영상 프레임을 소 영역 단위로 분할하여 개개로 움직임 보상 예측을 행하는 경우라도, 메모리 대역 폭을 억제하면서, 부호화 효율을 향상시킬 수 있는 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법, 및 이들 화상 부호화 장치와 화상 복호 장치 중 적어도 하나를 구비한 통신 장치를 제공하는 것을 목적으로 한다.

〈발명의 개시〉

본 발명에 따른 동화상 부호화 장치는, 동화상 신호의 각 프레임을 소정의 방법으로 분할한 영역 단위로 움직임 보상 예측을 행하여 생성한 예측 화상과 동화상 신호와의 사이의 차분 신호를 압축 부호화한 부호화 비트 스트림을 생성하는 동화상 부호화 장치로서, 예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리와, 움직임 보상 예측의 단위가 되는 영역의 형상에 따라, 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환하여 예측 화상의 후보를 생성하고, 해당 복수의 예측 화상 후보 중 예측 효율이 큰 예측 화상을 제공하는 움직임 벡터를 생성하는 움직임 검출부와, 움직임 검출부에서 생성된 움직임 벡터에 기초하여, 움직임 보상 예측의 단위가 되는 영역의 형상에 따라 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환하여 예측 화상을 생성하는 움직임 보상부를 구비하고, 부호화 비트 스트림에, 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보와, 움직임 벡터를 다중화하는 것이다.

또한, 본 발명에 따른 동화상 부호화 장치는, 동화상 신호의 각 프레임을 소정의 방법으로 분할한 영역 단위로 움직임 보상 예측을 행하여 생성한 예측 화상과 동화상 신호와의 사이의 차분 신호를 압축 부호화한 부호화 비트 스트림을 생성하는 동화상 부호화 장치로서, 예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리와, 움직임 보상 예측의 단위가 되는 영역의 형상에 따라, 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환하여 예측 화상의 후보를 생성하고, 해당 복수의 예측 화상 후보 중 예측 효율이 큰 예측 화상을 제공하는 움직임 벡터를 생성하는 움직임 검출부와, 움직임 검출부에서 생성된 움직임 벡터에 기초 하여, 움직임 보상 예측의 단위가 되는 영역의 형상에 따라 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환하여 예측 화상을 생성하는 움직임 보상부를 구비하고, 부호화 비트 스트림에, 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보와, 해당 형상 정보로 나타내는 움직임 보상 예측의 단위가 되는 영역의 형상에 따라 움직임 벡터의 예측 부호화 방법을 전환하여 부호화된 움직임 벡터를 다중화하는 것이다.

또한, 본 발명에 따른 동화상 부호화 장치는, 동화상 신호의 각 프레임을 소정의 방법으로 분할한 영역 단위로 움직임 보상 예측을 행하여 생성한 예측 화상과 동화상 신호와의 사이의 차분 신호를 압축 부호화한 부호화 비트 스트림을 생성하는 동화상 부호화 장치로서, 예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리와, 움직임 보상 예측의 단위가 되는 영역의 형상에 따라, 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환할 것인지의 여부를 소정의 동화상 데이터의 단위로 제어하는 제어 신호에 기초하여 예측 화상의 후보를 생성하고, 해당 복수의 예측 화상 후보 중 예측 효율이 큰 예측 화상을 제공하는 움직임 벡터를 생성하는 움직임 검출부와, 움직임 검출부에서 생성된 움직임 벡터에 기초하여, 움직임 보상 예측의 단위가 되는 영역의 형상에 따라 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환할 것인지의 여부를 소정의 동화상 데이터의 단위로 제어하는 제어 신호에 기초하여 예측 화상을 생성하는 움직임 보상부를 구비하고, 부호화 비트 스트림에, 제어 신호를 소정의 동화상 데이터의 단위로 다중함과 함께, 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보와, 움직임 벡 터를 다중화하는 것이다.

특히, 움직임 보상부는 복수의 정밀도인 프레임 메모리에 저장된 참조 화상의 복수의 화소 데이터에 기초하여 소정의 방법으로 가상 화소를 생성하는 제1 정밀도와, 그 제1 정밀도의 가상 화소에 기초하여 가상 화소를 생성하는 제2 정밀도 중에서 영역 단위마다 어느 하나의 지시된 정밀도에 따라 움직임 보상 예측을 행하여 참조 화상을 생성하는 것을 특징으로 한다.

또한, 움직임 보상 예측의 단위가 되는 영역은, 동화상 신호의 각 프레임을 휘도 신호 상당으로 16화소×16라인으로 분할한 매크로 블록을 더 분할한 예측 단위 블록이고, 해당 영역의 형상을 나타내는 형상 정보는 매크로 블록을 예측 단위 블록으로 분할하는 방법을 지시하는 정보인 것을 특징으로 한다.

또한, 예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리가 복수 설치되고, 움직임 보상부는 복수의 프레임 메모리에 저장된 복수의 참조 화상을 참조하여 움직임 보상 예측을 행하여 예측 화상을 생성하는 것을 특징으로 한다.

또한, 동화상 신호를 인트라 모드에 의해 부호화를 행하는 인트라 모드를 구비하고, 움직임 보상부에 의한 움직임 보상 예측 모드인지, 인트라 모드인지를 선택적으로 행함과 함께, 부호화 비트 스트림에, 선택한 모드를 나타내는 부호화 모드 정보를 더 다중화하는 것을 특징으로 한다.

또한, 동화상 신호를 공간 예측 모드에 의해 예측 부호화를 행하는 공간 예측부를 구비하고, 움직임 보상부에 의한 움직임 보상 예측 모드인지, 공간 예측부 에 의한 공간 예측 모드인지를 선택적으로 행함과 함께, 부호화 비트 스트림에, 선택한 모드를 나타내는 부호화 모드 정보를 더 다중화하는 것을 특징으로 한다.

이에 의해, 본 발명에 따른 화상 부호화 장치에 따르면, 메모리 대역 폭을 억제하면서 부호화 효율을 향상시킨 압축 부호화를 행할 수 있게 된다.

또한, 움직임 보상 예측 단위가 되는 영역의 형상에 따라 움직임 보상 예측의 정밀도를 전환함과 함께, 움직임 보상 예측의 단위가 되는 영역의 형상에 따라 움직임 벡터의 예측 부호화 방법도 적응적으로 전환하여 부호화를 행함으로써, 예를 들면 메모리 대역 폭을 억제하면서 부호화 효율을 향상시킨 분만큼 움직임 벡터에 많은 부호량을 할당할 수 있게 되고, 메모리 대역 폭을 억제하면서 화질도 유지할 수 있다.

또한, 본 발명에 따른 동화상 복호 장치는, 동화상 신호의 각 프레임을 소정의 방법으로 분할한 영역 단위로 움직임 보상 예측을 행하여 생성한 예측 화상과 동화상 신호와의 사이의 차분 신호를 압축 부호화한 부호화 비트 스트림을 입력하여 동화상 신호를 복원하는 동화상 복호 장치로서, 예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리와, 부호화 비트 스트림을 입력하여 차분 신호와, 움직임 벡터와, 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보를 복호하는 복호부와, 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보에 기초하여 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환하고, 전환된 정밀도에 따라 복호부에서 복호된 움직임 벡터를 이용하여 프레임 메모리에 저장된 참조 화상을 참조하여 예측 화상을 생성하는 움직임 보상부와, 복 호부에서 복호된 차분 신호와, 움직임 보상부에서 생성된 예측 화상을 가산하여 동화상 신호를 복원하는 것이다.

또한, 본 발명에 따른 동화상 복호 장치는, 동화상 신호의 각 프레임을 소정의 방법으로 분할한 영역 단위로 움직임 보상 예측을 행하여 생성한 예측 화상과 동화상 신호와의 사이의 차분 신호를 압축 부호화한 부호화 비트 스트림을 입력하여 동화상 신호를 복원하는 동화상 복호 장치로서, 예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리와, 부호화 비트 스트림을 입력하여 차분 신호와, 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보를 복호함과 함께, 해당 형상 정보에 기초하여 움직임 벡터의 예측 복원 방법을 전환하여 움직임 벡터의 복호를 행하는 복호부와, 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보에 기초하여 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환하고, 전환된 정밀도에 따라 복호부에서 복호된 움직임 벡터를 이용하여 프레임 메모리에 저장된 참조 화상을 참조하여 예측 화상을 생성하는 움직임 보상부와, 복호부에서 복호된 차분 신호와, 움직임 보상부에서 생성된 예측 화상을 가산하여 동화상 신호를 복원하는 것이다.

또한, 본 발명에 따른 동화상 복호 장치는, 동화상 신호의 각 프레임을 소정의 방법으로 분할한 영역 단위로 움직임 보상 예측을 행하여 생성한 예측 화상과 동화상 신호와의 사이의 차분 신호를 압축 부호화한 부호화 비트 스트림을 입력하여 동화상 신호를 복원하는 동화상 복호 장치로서, 예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리와, 부호화 비트 스트림을 입력하여 차분 신호 와 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보와, 소정의 동화상 데이터의 단위로 정의되는 제어 신호를 복호함과 함께, 형상 정보에 기초하여 움직임 벡터의 예측 복원 방법을 전환할 것인지의 여부를, 제어 신호에 기초하여 소정의 동화상 데이터의 단위로 제어하여 움직임 벡터의 복호를 행하는 복호부와, 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보에 기초하여 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환할 것인지의 여부를, 제어 신호에 기초하여 소정의 동화상 데이터의 단위로 제어하여 가상 화소의 정밀도를 결정하고, 결정된 정밀도에 따라 복호부에서 복호된 움직임 벡터를 이용하여 프레임 메모리에 저장된 참조 화상을 참조하여 예측 화상을 생성하는 움직임 보상부와, 복호부에서 복호된 차분 신호와, 움직임 보상부에서 생성된 예측 화상을 가산하여 동화상 신호를 복원하는 것이다.

특히, 움직임 보상부는 복수의 정밀도인 프레임 메모리에 저장된 참조 화상의 복수의 화소 데이터에 기초하여 소정의 방법으로 가상 화소를 생성하는 제1 정밀도와, 그 제1 정밀도의 가상 화소에 기초하여 가상 화소를 생성하는 제2 정밀도 중에서 영역 단위마다 어느 하나의 지시된 정밀도에 따라 움직임 보상을 행하여 참조 화상을 생성하는 것을 특징으로 한다.

또한, 움직임 보상의 단위가 되는 영역은, 동화상 신호의 각 프레임을 휘도 신호 상당으로 16화소×16라인으로 분할한 매크로 블록을 더 분할한 예측 단위 블록이고, 해당 영역의 형상을 나타내는 형상 정보는 매크로 블록을 예측 단위 블록으로 분할하는 방법을 지시하는 정보이고, 대응하는 움직임 벡터는 각 예측 단위 블록으로 이용하는 움직임 벡터인 것을 특징으로 한다.

또한, 예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리가 복수 설치되고, 움직임 보상부는 복수의 프레임 메모리에 저장된 복수의 참조 화상을 참조하여 움직임 보상을 행하여 예측 화상을 생성하는 것을 특징으로 한다.

또한, 복호부는 부호화 비트 스트림으로부터 부호화 모드 정보를 더 복호하고, 부호화 모드 정보에 기초하여, 동화상 신호를 인트라 모드에 의해 복호하거나, 또는 움직임 보상부에 의한 움직임 보상 예측 모드에 의해 복호하는 것을 특징으로 한다.

또한, 동화상 신호를 공간 예측 모드에 의해 예측 부호화를 행하는 공간 예측부를 더 구비하고, 복호부는 부호화 비트 스트림으로부터 부호화 모드 정보를 더 복호하고, 부호화 모드 정보에 기초하여, 동화상 신호를 공간 예측부에 의한 공간 예측 모드에 의해 복호하거나, 또는 움직임 보상부에 의한 움직임 보상 예측 모드에 의해 복호하는 것을 특징으로 한다.

이에 의해, 본 발명에 따른 동화상 복호 장치에 따르면, 메모리 대역 폭을 억제하면서 부호화 효율을 향상시켜서 압축 부호화가 행해진 부호화 비트 스트림을 복호할 수 있게 된다.

특히, 메모리 대역 폭 삭감은, 특히 영상 재생을 주로 하는 플레이어를 휴대 전화, 휴대 정보 단말기 등의 영상 부호화 장치, 영상 복호 장치의 하드웨어를 실장할 때에, 영상 복호 처리 실장의 간략화, 소비 전력화에 현저한 효과를 발휘하기 때문에, 이들 부호화 장치, 복호 장치의 실장 비용을 억제하면서 전송·기록 효율 이 높은 영상 부호화 장치, 영상 복호 장치를 제공할 수 있게 된다.

도 1은 1/2 화소 정밀도의 샘플의 생성의 모습을 도시하는 도면.

도 2는 수평 처리인 경우만의 1/4 화소 정밀도의 가상 샘플 생성을 위해서 만들어지는 반화소 정밀도의 가상 샘플 a와, 다음 식의 정수 화소의 X 성분 X_-4∼X₄와의 위치 관계를 나타내는 도면.

도 3은 제1 실시 형태에서의 영상 부호화 장치의 구성을 도시하는 도면.

도 4는 제1 실시 형태에서의 영상 복호 장치의 구성을 도시하는 도면.

도 5는 부호화 장치에서의 움직임 보상 예측 처리를 설명하는 흐름도.

도 6은 제1 실시 형태에서의 움직임 벡터의 검출 단위 영역의 구성을 나타내는 도면.

도 7은 제1 실시 형태에 의한 가상 샘플 정밀도의 국소적 설정에 의해, 8×4, 4×8, 4×4 MC의 각 모드에 대하여, 가상 샘플 생성에 필요한 메모리 대역 폭을 삭감할 수 있는 것을 설명하기 위한 도면.

도 8은 단계 ST4에서의 예측 차분값(MVD)의 구하는 방법을 설명하기 위한 도면.

도 9는 복호 장치측에서의 움직임 보상 처리를 설명하는 흐름도.

도 10은 제2 실시 형태에서의 영상 부호화 장치의 구성을 도시하는 도면.

도 11은 양방향 예측의 실행의 방법을 나타내는 도면.

도 12는 복수의 참조 화상을 이용하여 움직임 벡터를 검출하는 양방향 예측과는 다른 예를 나타내는 도면.

도 13은 제2 실시 형태에서의 영상 복호 장치의 구성을 도시하는 도면.

도 14는 제3 실시 형태에서의 영상 부호화 장치의 구성을 도시하는 도면.

도 15는 제3 실시 형태에서의 영상 복호 장치의 구성을 도시하는 도면.

도 16은 제4 실시 형태에서의 영상 부호화 장치의 구성을 도시하는 도면.

도 17은 제4 실시 형태에서의 영상 복호 장치의 구성을 도시하는 도면.

도 18은 제1∼제4 실시 형태의 화상 부호화 장치 및 화상 복호 장치 등의 요소 제품이 실장된 제5 실시 형태의 휴대 전화의 구성을 도시하는 도면.

〈발명을 실시하기 위한 최량의 형태〉

이하, 본 발명을 보다 상세히 설명하기 위해서, 본 발명을 실시하기 위한 최량의 형태에 대하여, 첨부의 도면에 따라 설명한다.

제1 실시 형태

제1 실시 형태에서는 영상의 각 프레임 화상을 매크로 블록의 단위로 분할하고, 매크로 블록 내를 복수의 형상의 서브 블록으로 다시 분할하여 개개로 움직임 보상 예측을 가능하게 하는 움직임 보상 예측 수단을 포함하는 영상 부호화·복호 장치에 대하여 설명한다. 제1 실시 형태의 영상 부호화·복호 장치의 특징은, 움직임 보상 예측의 단위가 되는 영역(블록)의 형상이나 그 크기에 따라, 종래예에서 설명한 가상 샘플의 정밀도를 전환하는 것과, 그에 수반하여 움직임 벡터의 부호화·복호 방법도 전환하는 것의 두 가지가 있다. 제1 실시 형태에서의 영상 부호화 장치 및 복호 장치의 구성을 도 3 및 도 4에 도시한다.

도 3은 제1 실시 형태에서의 영상 부호화 장치의 구성을 도시하고 있다. 이 영상 부호화 장치는, 도면에 도시한 바와 같이 감산기(10), 부호화 모드 판정부(12), 직교 변환부(15), 양자화부(16), 역양자화부(18), 역직교 변환부(19), 전환기(52), 가산기(53), 프레임 메모리(3), 움직임 검출부(2), 움직임 보상부(7), 가변 길이 부호화부(6), 송신 버퍼(24), 부호화 제어부(22)를 구비하고 있다.

다음으로, 도 3에 도시한 영상 부호화 장치의 동작을 설명한다.

① 부호화 장치의 동작 개요

도 3의 부호화 장치에서, 입력 영상 신호(1)는 개개의 영상 프레임이 매크로 블록으로 분할된 단위로 입력되는 것으로 하고, 우선 움직임 검출부(2)에서, 프레임 메모리(3)에 저장되는 참조 화상(4)을 이용하여 매크로 블록 단위로 움직임 벡터(5)가 검출된다. 움직임 벡터(5)에 기초하여 움직임 보상부(7)에서 예측 화상(8)이 얻어지고, 감산기(10)에서 예측 화상(8)과 입력 신호(1)와의 차분을 취함으로써 예측 잔차 신호(9)가 얻어진다.

부호화 모드 판정부(12)에서는 예측 잔차 신호(9)를 부호화하는 움직임 예측 모드, 프레임 내를 부호화하는 인트라 모드 등, 매크로 블록의 부호화 방법을 지정하는 복수의 모드 중에서, 해당 매크로 블록을 가장 효율적으로 부호화할 수 있는 모드를 선택한다. 이 부호화 모드 정보(13)는 부호화 대상 정보로서 가변 길이 부호화부(6)로 출력된다. 여기서, 부호화 모드 판정부(12)에서 부호화 모드 정보(13)로서 움직임 예측 모드가 선택되는 경우에는, 움직임 벡터(5)가 부호화 대 상 정보로서 가변 길이 부호화부(6)에 전달된다.

또한, 부호화 모드 판정부(12)에서 선택된 부호화 대상 신호는 직교 변환부(15), 양자화부(16)를 거쳐, 직교 변환 계수 데이터(17)로서 가변 길이 부호화부(6)에 전달되는 한편, 그 직교 변환 계수 데이터(17)는 역양자화부(18), 역직교 변환부(19)를 거친 후, 전환기(52)로 출력된다.

전환기(52)에서는 부호화 모드 정보(13)에 따라, 그 부호화 모드 정보(13)가 움직임 예측 모드를 나타내고 있는 경우에는, 역양자화 및 역직교 변환된 직교 변환 계수 데이터(17)와, 움직임 보상부(7)로부터의 예측 화상(8)과 가산하여 국소 복호 화상(21)으로서 프레임 메모리(3)에 출력하거나, 또는 그 부호화 모드 정보(13)가 인트라 모드를 나타내고 있는 경우에는, 역양자화 및 역직교 변환된 직교 변환 계수 데이터(17)를 그대로 국소 복호 화상(21)으로서 출력한다. 국소 복호 화상(21)은 이후의 프레임의 움직임 예측에 이용되므로, 참조 화상 데이터로서 프레임 메모리(3)에 저장된다.

양자화부(16)에서는 부호화 제어부(22)에서 결정되는 양자화 스텝 파라미터(23)에 의해서 제공되는 양자화 정밀도로 직교 변환 계수 데이터의 양자화를 행한다. 이 양자화 스텝 파라미터(23)를 조정함으로써 출력의 부호화 레이트와 품질의 밸런스를 취한다. 일반적으로는, 가변 길이 부호화의 후, 전송 직전의 송신 버퍼(24)에 축적되는 부호화 데이터의 점유량을 일정 시간마다 확인하여, 그 버퍼 잔량(25)에 따라 파라미터 조정이 행해진다. 구체적으로는, 예를 들면 버퍼 잔량(25)이 적은 경우에는 레이트를 억제하는 한편, 버퍼 잔량(25)에 여유가 있는 경 우에는 레이트를 높여 품질을 향상시키도록 한다. 또, 이 부호화 제어부(22)에서 결정되는 양자화 스텝 파라미터(23)는 가변 길이 부호화부(6)에도 출력된다.

가변 길이 부호화부(6)에서는 움직임 벡터(5), 양자화 스텝 파라미터(23), 부호화 모드 정보(13), 직교 변환 계수 데이터(17) 등의 부호화 대상 데이터의 엔트로피 부호화를 행하여, 송신 버퍼(24)를 경유하여 영상 압축 데이터(26)로서 전송한다.

도 4는 제1 실시 형태에서의 영상 복호 장치의 구성을 도시하고 있다. 이 영상 복호 장치는, 도 4에 도시한 바와 같이 가변 길이 복호부(27), 역양자화부(18), 역직교 변환부(19), 가산기(55), 전환기(54), 움직임 보상부(7), 프레임 메모리(3)를 구비하고 있다.

② 복호 장치의 동작 개요

다음으로, 도 4에 도시한 제1 실시 형태의 영상 복호 장치의 동작을 설명한다.

도 4에 도시한 복호 장치에서는 영상 압축 데이터(26)를 수취하면, 가변 길이 복호부(27)에서 후술하는 엔트로피 복호 처리가 행해져, 움직임 벡터(5), 부호화 모드 정보(13), 직교 변환 계수 데이터(17), 양자화 스텝 파라미터(23) 등이 복원된다.

직교 변환 계수 데이터(17), 양자화 스텝 파라미터(23)는 부호화측과 동일한 역양자화부(18)와 역직교 변환부(19)에 의해서 복호된다.

또한, 전환기(54)는 부호화 모드 정보(13)가 움직임 예측 모드를 나타내고 있는 경우에는, 움직임 보상부(7)에서 복호된 움직임 벡터(5)와 부호화 모드 정보(13)에 기초하여 예측 화상(8)을 복원하여 출력하는 한편, 인트라 모드를 나타내고 있는 경우에는, 0을 출력한다.

그리고, 전환기(54)로부터의 출력은 가산기(55)에서 역직교 변환부(19)의 출력인 복호 신호와 가산됨으로써 복호 화상(21)이 얻어진다. 복호 화상(21)은 이후의 프레임의 예측 화상 생성에 이용되므로, 프레임 메모리(3)에 저장된다.

③ 움직임 보상 예측의 상세 동작

다음으로, 부호화 장치의 움직임 검출부(2), 움직임 보상부(7), 프레임 메모리(3)를 이용하여 행해지는 움직임 보상 예측 처리에 대하여, 또한 복호 장치의 움직임 보상부(7), 프레임 메모리(3)를 이용하여 행해지는 움직임 보상 처리에 대하여, 각각 설명한다.

③-1 부호화 장치에서의 움직임 보상 예측 처리 수순

도 5에, 부호화 장치에서의 움직임 보상 예측 처리의 흐름도를 도시한다. 이하, 단계별로 설명한다.

③-1-1 가상 샘플 정밀도의 결정(단계 ST1)

도 6에, 제1 실시 형태에서의 움직임 벡터의 검출 단위 영역의 구성을 도시한다. 도 6에서, 16×16 MC는 매크로 블록 그 자체를 움직임 벡터 검출 단위로 한다. 16×8 MC는 세로 방향으로 2분할한 영역을, 8×16 MC는 가로 방향으로 2분할한 영역을, 각각 움직임 벡터 검출 단위로 한다. 8×8 MC는 매크로 블록을 4개의 영역으로 균등 분할하고, 각각을 움직임 벡터 검출 단위로 한다. 또한, 제1 실시 형태인 경우, 8×8 MC에서는 개개의 분할 영역에 대하여, 재차 세로 2분할(8×4 MC), 가로 2분할(4×8 MC), 4분할(4×4 MC)의 영역 분할을 가능하게 하고, 각각을 움직임 벡터 검출 단위로 할 수 있도록 한다.

이것은, 일반적으로 미세한 분할에서는 매크로 블록 내부에 복잡한 움직임이 존재하는 경우에 예측 효율을 높일 수 있는 한편, 많은 움직임 벡터 정보를 전송할 필요가 있다. 이와 같이 매크로 블록 내부에서 움직임 벡터 검출 단위 영역의 형상을 여러가지로 적응화할 수 있도록 구성하면, 국소적으로 최적의 분할 형상과 움직임 벡터의 선택·검출을 행하면서 부호화를 실행할 수 있기 때문이다.

또한, 개개의 영역의 움직임 벡터의 검출 시에는, 종래예에 나타낸 바와 같이 가상 샘플을 이용한 움직임 보상 예측을 이용한다. 단, 종래의 표준 영상 부호화 방식 등과 달리, 제1 실시 형태에서는, 예를 들면 도 6에 도시한 바와 같이 개개의 움직임 벡터 검출 단위의 영역의 형상이나 크기 등에 관련지어 국소적으로 가상 샘플의 정밀도 및 움직임 벡터의 예측 부호화 방법을 결정한다.

그리고, 제1 실시 형태의 부호화 장치에서는, 움직임 보상 예측의 단위인 움직임 벡터 검출 단위의 영역의 형상이나 크기 등을 나타내는 형상 정보를, 부호화 모드 정보(13) 중 움직임 예측 모드의 일부로서 가변 길이 부호화부(6)에서 부호화하여, 복호 장치에 전송한다.

따라서, 제1 실시 형태의 복호 장치에서는, 부호화 모드 정보(13)에 의해서만, 움직임 예측 모드인지 인트라 부호화 모드인지를 나타내는 부호화 모드 이외에, 그 부호화 모드 정보(13) 중 움직임 예측 모드의 일부로서 포함되는 형상 정보 에 의해, 움직임 보상 예측의 단위인 움직임 벡터 검출 단위 영역의 형상이나 크기, 및 그 형상이나 크기로부터 일의적으로 결정되는 가상 샘플의 정밀도 및 움직임 벡터의 예측 부호화 방법을 판정할 수 있으므로, 가상 샘플 정밀도 및 움직임 벡터의 예측 부호화 방법의 전환을 위한 부가 정보를 일체 필요로 하지 않는다.

제1 실시 형태에서는 그 결정 룰로서, 8×8 MC보다 작은, 예를 들면 8×4나, 4×8, 4×4 사이즈 등의 움직임 벡터 검출 단위 영역에서는 반화소 정밀도의 가상 샘플을 이용하기로 하고, 그 이상의 사이즈의 움직임 벡터 검출 단위 영역에서는 1/4 화소 정밀도의 가상 샘플을 이용한다.

이 룰을 적용하는 이유로서, 움직임 벡터 검출 단위 영역의 형상의 선택 방법을 들 수 있다. 즉, 일반적으로, 움직임이 균일하면서 그 속도가 느린 영역에서는, 화면의 공간 해상도가 유지되어, 텍스쳐에 대한 시인도가 향상된다. 이러한 영역에서는 큰 움직임 벡터 검출 영역에 의해 될 수 있는 한 움직임 벡터를 균일하게 하고, 움직임 영역의 세분화에 수반하는 영역간 불연속을 회피하여 신호의 재현성을 높임과 함께, 가상 샘플의 정밀도를 향상하여 예측 효율을 높이는 것이 바람직하다. 반대로, 움직임이 복잡하거나 그 속도가 시각적으로 인지하기 어려운 영역에서는, 화면의 상세한 텍스처가 보존되지 않아, 시각적으로 공간 해상도가 낮게 느껴진다. 이러한 영역에서는 어느 정도 신호의 재현성을 희생하면서도 움직임 벡터의 개수를 많게 하여 예측 효율을 향상시키는 것이 바람직하다. 단, 신호의 공간 해상도가 낮아지고, 움직임 벡터의 정보량이 많아지기 때문에, 가상 샘플의 정밀도는 낮게 설정해도 전체적인 부호화 효율의 관점에서는 문제없다고 생각된다.

이러한 가상 샘플 정밀도의 국소적 설정을 가능하게 함으로써, 도 7에 도시한 바와 같이 8×4, 4×8, 4×4 MC의 각 모드에 대하여, 가상 샘플 생성에 필요한 메모리 대역 폭을 삭감할 수 있어, 장치의 간략화에도 효과적이다. 도 7에서는 중단의 모드 상태에 대하여, 상단은 이들 모든 모드에 대하여, 1/4 화소 정밀도의 가상 샘플을 이용하는 것을 상정한 경우를 나타내고 있으며, 또한 가상 샘플 생성을 위해서 K 탭의 필터를 이용하는 경우, 즉 움직임 벡터 검출 단위 영역의 끝점으로부터 각각 K 화소(K≥2)분의 정수 화소 데이터를 메모리로부터 판독할 필요가 있는 것을 나타내고 있다. 종래예에서는 K 화소분의 절반은 다시 반영하여 작성하는 예를 나타내었지만, 여기서는 재반영하지 않고, 연속하는 K 화소 전부를 사용함으로써 자연스러운 필터링을 행하는 것을 상정하고 있다.

그에 대하여, 제1 실시 형태와 같이 이들 8×4, 4×8, 4×4 MC의 각 모드에서는, 반화소 정밀도의 가상 샘플만을 사용하는 것을 미리 결정해 둠으로써, 가상 샘플 생성을 위해서 메모리로부터 판독할 필요가 있는 데이터는, 예를 들면 종래예의 반화소 정밀도 샘플 생성 수순에 따르면 움직임 벡터 검출 단위 영역의 주변 1화소분만으로 된다. 작은 사이즈의 움직임 벡터 검출 단위 영역에서는 개개의 검출 단위 영역이 공간적으로 불연속이므로, 이것이 매우 큰 의미를 갖는다.

③-1-2 예측 오차량의 산출(단계 ST2, 단계 ST3)

단계 ST1에서 결정된 가상 샘플 생성 룰에 따라, 각각의 모드에서 개개의 움직임 벡터 검출 단위 영역마다, 각 움직임 벡터 후보에 대하여 예측 화상을 생성하고, 예측 대상의 움직임 벡터 검출 단위 영역과의 차분을 취함으로써 예측 오차량 을 산출한다. 여기서, 가상 샘플에 대해서는 도 1에 도시한 바와 같은 반화소 정밀도 샘플의 생성, 도 2에 도시한 바와 같은 1/4 화소 정밀도 샘플의 생성을 행하는 것으로 한다. 단, 제1 실시 형태인 경우, 도 2의 끝점에서의 화소값을 재 반영 사용은 하지 않는 것으로 하고, 필터 탭 수는 일반성을 갖게 하기 위해서, 이후 K 탭으로 한다. 따라서, 반화소 정밀도의 가상 샘플을 이용하는 8×8 MC보다 작은, 예를 들면 8×4나, 4×8, 4×4 MC 이하의 모드인 경우에, 가상 샘플 생성에 이용하는 화소 데이터는, 도 7의 하단에 도시한 바와 같이 각 8×4, 4×8, 4×4 움직임 벡터 검출 단위 영역의 주변 1화소분만큼 메모리로부터 판독하게 된다(단계 ST2).

예측 오차량의 산출(단계 ST3)은 블록 매칭법에 기초하여, 각 화소 단위의 오차량을 가산함으로써 산출하는 것이 일반적이고, 오차량으로서는 주로 2승 오차(p-p')² 또는 차분 절대값 ｜p-p'｜이 이용된다. 여기서, p는 예측 대상의 화소값, p'는 예측 화상 내의 대응하는 위치의 화소값이다. 이하에서는, 오차량은 후자의 차분 절대값을 상정하며, 움직임 벡터 검출 단위 영역마다 또는 매크로 블록 내의 총합으로서 SAD(Sum of Absolute Difference)라는 용어를 이용하기로 한다.

③-1-3 움직임 벡터 부호량의 산출(단계 ST4)

계속해서, 움직임 벡터의 부호량을 산출한다(단계 ST4). 움직임 벡터는, 통상 주변 영역과의 상관이 높기 때문에, 주변 영역의 움직임 벡터를 예측값으로 하여, 주변 영역의 움직임 벡터의 예측값과, 구한 움직임 벡터와의 사이의 예측 차분값(MVD)을 가변 길이 부호화한다. 예측값의 설정의 방법에는 여러가지 방법이 존 재하지만, 여기서는 예측값은 소정의 룰로 정해진 것으로 움직임 벡터의 예측 차분값(MVD)이 얻어지는 것으로 하고, 그 상세는 생략한다.

그리고, 제1 실시 형태에서는 예측 차분값(MVD)의 부호량을 구할 때에, ③-1-1에서 정한 가상 샘플 정밀도를 고려한다.

도 8을 이용하여 단계 ST4에서의 예측 차분값(MVD)의 구하는 방법을 설명한다. 또, 이 동작은 움직임 검출부(2)에서 실행되지만, 최종적으로 단계 ST9에서 정해지는 움직임 벡터를 가변 길이 부호화부(6)에서 부호화하는 경우에도 동일한 룰이 적용된다.

도 8에서, 부호화 대상이 되는 움직임 벡터를 MV1∼MV5로 하고, 소정의 예측값 설정 룰에 따라 MV1 및 MV3에 대하여 정해진 예측 벡터를 PMV1로 하고, MV5에 대하여 구해진 예측 벡터를 PMV2로 한다. MV2는 MV1을, MV4는 MV3을, 각각 예측값으로 하는 것으로 한다. PMV1, PMV2는 이미 부호화된 값이므로 적절하게 캐쉬해 두면 된다.

PMV1은 16×8 MC에 의한 움직임 벡터, MV5는 8×8 MC에 의한 움직임 벡터이므로, ③-1-1에서 정한 룰에 따르면 1/4 화소 정밀도의 가상 샘플을 이용하여 결정된 움직임 벡터이다. 한편, MV1∼MV4 및 PMV2는 4×4 MC에 의한 움직임 벡터이므로, ③-1-1에서 정한 룰에 따르면 반화소 정밀도의 가상 샘플을 이용하여 결정된 움직임 벡터이다. 즉, PMV1, MV5와, MV1∼MV4와, PMV2와의 사이에는 가상 샘플의 정밀도의 차이가 존재한다. 한편, 움직임 벡터 부호화 시에는 미리 예측 벡터의 값 및 그 가상 샘플 정밀도는 기지의 것이다. 이것을 이용하여, 제1 실시 형태에 서는 예측 차분값(MVD)을 얻기 위해서 적응적으로 움직임 벡터의 정밀도를 설정한다. 즉, 이하의 조건에 의해, 예측 차분값(MVD)을 구한다.

(1) 조건 1: 자신(MV)이 1/2 화소 정밀도의 가상 샘플을 이용한 예측에 의해 얻어진 움직임 벡터인 경우에는, PMV의 정밀도에 의해, 다음과 같이 두 가지로 나뉜다.

조건 1-1: PMV가 동일한 정밀도의 가상 샘플을 이용한 움직임 벡터인 경우

MVD=MV-PMV

조건 1-2: PMV가 1/4 화소 정밀도의 가상 샘플을 이용한 움직임 벡터인 경우

MVD=MV-(PMV>>1)

(2) 조건 2: 자신(MV)이 1/4 화소 정밀도의 가상 샘플을 이용한 예측에 의해 얻어진 움직임 벡터인 경우에는, PMV의 정밀도에 의해, 다음과 같이 두 가지로 나뉜다.

조건 2-1: PMV가 동일한 정밀도의 가상 샘플을 이용한 움직임 벡터인 경우

MVD=MV-PMV

조건 2-2: PMV가 1/2 화소 정밀도의 가상 샘플을 이용한 움직임 벡터인 경우

MVD=MV-(PMV<<1)

단, x<<y는 x에 대한 좌측 방향으로의 y 비트 시프트 연산, x>>y는 x에 대한 우측 방향으로의 y 비트 시프트 연산을 나타내고 있다.

PMV1과 MV1, MV3과의 사이의 룰로서는 상기 조건 1-2가 적용되고, MV1, MV3과 MV2, MV4와의 사이의 룰로서는 상기 조건 1-1이 적용되고, PMV2와 MV5와의 사이 의 룰로서는 조건 2-2가 적용된다.

이 수순에 의해, 반화소 정밀도의 움직임 벡터에 대해서는 반화소 정밀도로 MVD를 산출할 수 있어, 항상 1/4 화소 정밀도의 MVD를 이용하는 데 비하여 부호량을 삭감할 수 있다.

③-1-4 비용의 산출·최소 비용의 갱신(단계 ST5, 단계 ST6, 단계 ST7)

상기한 결과 얻어지는 예측 차분값(MVD)을 부호화함으로써, 부호량 R_MVD가 얻어진다. 이것과 단계 ST2에서의 SAD를 이용하여, 각 움직임 벡터 후보에 대하여 하기의 식에 의해, 비용 C를 구한다(단계 ST5).

(λ는 플러스의 상수)

움직임 보상부(7)는 상기한 바와 같이 하여 비용을 산출할 때마다, 산출한 비용이 최소인지의 여부를 판단하고(단계 ST6), 그 이전에 산출된 모드의 비용보다 작은 값이 나타나면(단계 ST6 "예"), 최소 비용의 갱신을 행함과 함께, 해당하는 예측 모드, 움직임 벡터 데이터를 보유해 둔다(단계 ST7).

또, 단계 ST1∼단계 ST7은 16×16 MC∼8×8 MC 및 그 이하의 분할 모드 전부에 대하여 실행되고, 단계 ST2∼단계 ST5는 각 움직임 벡터 검출 단위 영역에 대하여, 미리 부호화 장치에서 설정된 소정의 움직임 벡터 탐색 범위 내, 즉 수평·수직 방향의 평행 이동량의 상한을 규정하는 창 내의 모든 움직임 벡터 후보에 대하 여 실행된다.

③-1-5 최종 모드·움직임 벡터의 결정(단계 ST8, 단계 ST9)

이상 설명한 ③-1-4의 비용의 산출·최소 비용의 갱신 처리(단계 ST5, 단계 ST6, 단계 ST7)가 종료하면, 계속해서 전체 예측 모드로 비용을 산출하였는지의 여부를 판단하여(단계 ST8), 전체 예측 모드로 비용 산출을 하지 않았으면(단계 ST8 "아니오"), 이상 설명한 ③-1-4에까지 나타내는 처리(단계 ST1∼단계 ST7)를 행하는 한편, 전체 예측 모드로 비용 산출을 한 경우에는(단계 ST8 "예"), ③-1-4에서 얻어지는 매크로 블록의 단위의 비용 중, 가장 비용이 작은 예측 모드를 실제로 부호화하는 예측 모드로서 결정한다(단계 ST9). 또한, 예측 모드의 결정과 동시에, 해당 예측 모드에 대응한 움직임 벡터가 결정되게 된다(단계 ST9).

이상 설명한 움직임 보상 예측 처리에 의해 결정된 예측 모드는, 최종적으로는 인트라 모드와의 비교로 최적의 모드가 결정되고, 부호화 모드 정보(13)로서 가변 길이 부호화부(6)를 통하여 매크로 블록 단위로 영상 압축 데이터(26)에 다중화된다. 또한, 결정된 움직임 벡터 데이터(5)는 ③-1-3의 수순으로 MVD 데이터화되어, 가변 길이 부호화부(6)를 통하여 매크로 블록 단위로 영상 압축 데이터(26)에 다중화된다.

③-2 복호 장치에서의 움직임 보상 처리

도 9에, 복호 장치측에서의 움직임 보상 처리의 흐름도를 도시한다. 이하, 흐름도를 참조하여 복호 장치측에서의 움직임 보상 처리를 상세히 설명한다.

③-2-1 예측 모드, 움직임 벡터 데이터의 복호(단계 ST10)

도 4에 도시한 바와 같이 복호 장치측에서는 가변 길이 복호부(27)가, 예를 들면 도 3에 도시한 부호화 장치로부터 출력된 영상 압축 데이터(26)로부터 매크로 블록 단위로 부호화 모드 정보(13)를 복호한다. 이것이 인터(프레임간 예측) 모드를 나타내는 경우, 가변 길이 복호부(27)는 계속해서 예측 차분값(MVD)의 형식으로 부호화되어 있는 움직임 벡터 데이터(5)를 복호한다(단계 ST10).

③-2-2 가상 샘플 정밀도의 결정(단계 ST11)

부호화 모드 정보(13)가 인터(프레임간 예측) 모드, 즉 제1 실시 형태인 경우, 예를 들면 도 6에 도시한 어느 하나의 움직임 보상 예측 모드를 나타내는 경우에는, 부호화 장치에서의 움직임 보상 예측 처리 수순으로 설명한 ③-1-1의 수순(단계 ST1)인 경우와 마찬가지로, 가상 샘플 정밀도의 결정을 행한다. 즉, 부호화 장치측의 동작에서 설명한 바와 같이 움직임 보상 예측의 단위, 즉 움직임 벡터 검출 단위의 영역의 형상이나 크기 등을 나타내는 형상 정보는, 부호화 모드 정보(13) 중 움직임 예측 모드의 일부로서 가변 길이 부호화부(6)로 부호화되어 있기 때문에, 복호 장치측에서는 복호한 부호화 모드 정보(13) 중에 움직임 예측 모드의 일부로서 포함되는 형상 정보에 의해, 움직임 보상 예측의 단위인 움직임 벡터 검출 단위 영역의 형상이나 크기, 및 그 형상이나 크기로부터 일의적으로 결정되는 가상 샘플의 정밀도를 판정할 수 있다.

③-2-3 움직임 벡터의 복호(단계 ST12)

계속해서, 예측 차분값(MVD)의 형식으로 복호된 움직임 벡터를 실제로 각 움직임 벡터 적용 단위 영역, 즉 부호화 장치의 설명에서의 각 움직임 벡터 검출 단 위 영역에 대하여 사용된 움직임 벡터 데이터(MV)로 복호한다(단계 ST12). 이 수순은 제1 실시 형태에서는 가변 길이 복호부(27) 등에 있어서 행해져, 부호화 장치에서의 움직임 보상 예측 처리 수순으로 설명한 ③-1-3의 반대의 수순을 취하면 된다. 즉, 제1 실시 형태인 경우, 가상 샘플의 정밀도의 판정인 경우와 마찬가지로, 부호화 모드 정보(13) 중에 움직임 예측 모드의 일부로서 포함되는 형상 정보로부터 움직임 벡터의 예측 복원 방법이 일의적으로 결정되므로, 그 형상 정보에 기초하여 움직임 벡터의 예측 복원 방법을 전환하여 움직임 벡터를 복호한다. 도 8을 이용하여 ③-1-3의 수순과 대비시켜서 설명한다.

③-1-3과 마찬가지로, 여기서는 부호화 장치·복호 장치의 사이에서 미리 정해진 공통의 예측값 설정 방법을 이용한다. 우선, MV1, MV3에 대해서는 PMV1을 이용하여,

MV1=MVD1+(PMV1>>1)

MV3=MVD3+(PMV1>>1)

로서 복호된다. 여기서, MVD1은 MV1에 대응하는 예측 차분값(MVD)이고, MVD3은 MV3에 대응하는 예측 차분값(MVD)이다.

또한, MV2, MV4에 대해서는,

MV2=MVD2+MV1

MV4=MVD4+MV3

MV5에 대해서는,

MV5=MVD5+(PMV2<<1)

로서 복호를 행한다.

즉, 이하의 조건식에 따른다.

(1) 조건 1: 자신(MV)이 1/2 화소 정밀도의 가상 샘플을 이용한 예측에 의해 얻어진 움직임 벡터인 경우에는, PMV의 정밀도에 의해, 다음과 같이 두 가지로 나뉜다.

조건 1-1: PMV가 동일한 정밀도의 가상 샘플을 이용한 움직임 벡터인 경우

MV=MVD+PMV

조건 1-2: PMV가 1/4 화소 정밀도의 가상 샘플을 이용한 움직임 벡터인 경우

MV=MVD+(PMV>>1)

(2) 조건 2: 자신(MV)이 1/4 화소 정밀도의 가상 샘플을 이용한 예측에 의해 얻어진 움직임 벡터인 경우에는, PMV의 정밀도에 의해, 다음과 같이 두 가지로 나뉜다.

조건 2-1: PMV가 동일한 정밀도의 가상 샘플을 이용한 움직임 벡터인 경우

MV=MVD+PMV

조건 2-2: PMV가 1/2 화소 정밀도의 가상 샘플을 이용한 움직임 벡터인 경우

MV=MVD+(PMV<<1)

의 룰을 이용함으로써 움직임 벡터의 복호를 행한다.

③-2-4 예측 화상 생성(단계 ST13, S14)

③-2-2에서 결정된 가상 샘플 생성 룰에 따라, ③-2-3에서 복호된 움직임 벡터 데이터를 이용하여, 개개의 움직임 벡터 적용 단위 영역마다 예측 화상을 생성 한다. 가상 샘플에 대해서는, 종래예의 도 1에 도시한 바와 같은 반화소 정밀도 샘플의 생성, 도 2에 도시한 바와 같은 1/4 화소 정밀도 샘플의 생성을 행하는 것으로 한다. 단, 도 2의 끝점에서의 화소값의 재 반영 사용은 하지 않는 것으로 하고, 필터 탭 수는 일반성을 갖게 하기 위해서, 이후 K 탭으로 한다. 따라서, 반화소 정밀도의 가상 샘플을 이용하는 8×8 MC보다 작은, 예를 들면 8×4나, 4×8, 4×4 MC 이하의 모드인 경우에는, 부호화 장치에서의 움직임 보상 예측 처리의 단계 ST2인 경우와 마찬가지로, 가상 샘플 생성에 이용하는 화소 데이터는 도 7의 하단에 도시한 바와 같이 메모리로부터 판독하여, 예측 화상을 생성하게 된다.

따라서, 이상의 구성을 갖는 제1 실시 형태의 영상 부호화 장치 또는 복호 장치를 이용함으로써, 움직임의 국소적인 상황에 적응하여, 움직임 보상 예측 단위가 되는 블록의 크기에 따라 움직임 보상 예측을 행할 때의 가상 샘플의 정밀도를 전환함과 함께, 움직임 벡터의 산출 방법도 전환하도록 했기 때문에, 메모리 대역 폭을 억제하면서 화질을 유지한 압축 부호화를 행할 수 있게 된다. 특히, 메모리 대역 폭 삭감은, 특히 영상 재생을 주로 하는 플레이어를 휴대 전화, 휴대 정보 단말기 등에 하드웨어 실장할 때에, 영상 복호 처리 실장의 간략화, 소비 전력화에 현저한 효과를 발휘한다.

또, 상기 제1 실시 형태의 설명에서는, 움직임 보상 예측 단위가 되는 블록의 크기에 따라 움직임 보상 예측을 행할 때의 가상 샘플의 정밀도를 전환함과 함께 움직임 벡터의 산출 방법도 전환하도록 하였지만, 본 발명에서는 이에 한정되지 않고, 움직임 보상 예측 단위가 되는 블록의 크기에 따라 움직임 보상 예측을 행할 때의 가상 샘플의 정밀도를 전환하는 것만으로, 움직임 벡터의 산출 방법은 전환하지 않도록 해도 물론 된다. 단, 이 경우에는 메모리 대역 폭을 억제하면서 부호화 효율을 향상시킬 수 있지만, 움직임 보상 예측의 정밀도를 낮게 한 분만큼 화질이 떨어지게 된다. 이것은 이하의 모든 실시 형태에서도 적용된다.

또한, 제1 실시 형태에서는 부호화 장치에서의 ③-1-1, 복호 장치에서의 ③-2-2에 있어서 가상 샘플 정밀도를 결정한 후, 사용하는 가상 샘플 정밀도에 맞게 가상 샘플 생성을 위한 필터 처리를 변경하도록 구성하였다. 1/4 화소 정밀도인 경우에는, 우선 반화소 정밀도 가상 샘플을, 도 2와 같이 정수 화소 데이터를 이용하여 K(=8) 탭 필터에 의해 생성하고, 그에 따라 생성된 반화소 정밀도 가상 샘플을 선형 보간함으로써 1/4 화소 정밀도 샘플을 더 생성하였다. 반화소 정밀도인 경우에는 정수 화소 데이터의 선형 보간에 의해서 반화소 정밀도 샘플을 생성한다. 이 경우에는 움직임 보상 예측 대상 블록 사이즈+주변 1화소분만큼 메모리로부터 판독하면 된다. 이 필터 처리의 차이에 의해, 작은 블록 사이즈에서의 움직임 보상 예측에서는 메모리로부터 판독하는 데이터량을 저감하는 것을 포인트로 하였지만, 이 필터 처리 그 자체는 가상 샘플 정밀도에 의존하지 않고 일의적으로 정하도록 구성해도 된다. 즉, 반화소 정밀도 샘플만을 사용하는 작은 블록 사이즈인 경우라도, K 탭 필터로 반화소 정밀도 샘플을 구성하도록 해도 된다. 이 필터 처리의 고정화에 의해, 메모리로부터 판독하는 데이터량에 관해서는 메모리 대역 폭이 줄어들지는 않지만, 한편 K 탭 필터로 생성된 반화소 샘플로부터 1/4 화소 정밀도의 샘플을 만들어내는 처리는 필요 없고, 또한 ③-1-3, ③-2-3과 같이 움직임 벡터 의 표현 정밀도는 여전히 제한할 수 있어, 움직임 벡터의 부호화를 효율화할 수 있게 된다.

또한, 제1 실시 형태에서는 항상 영상 입력의 단위를 프레임으로서 기술하였지만, 홀수 필드와 짝수 필드 등의 인테레이스 영상 입력을 상정하는 경우에는, 엄밀하게는 프레임은 2매의 필드 화상 데이터의 조합으로 정의된다. 이 경우, 제1 실시 형태의 영상 부호화 장치 및 영상 복호 장치는, 각 필드마다 매크로 블록을 구성하여 부호화·복호화하는 경우에도 적용 가능한 것은 자명하다. 이것은, 이하의 모든 실시 형태에서도 적용된다.

또한, 제1 실시 형태에서는 8×8보다 작은 사이즈로서 8×4나, 4×8, 4×4 사이즈의 움직임 벡터 검출 단위 영역에서는 반화소 정밀도의 가상 샘플을 이용하는 것으로 하여 설명하였지만, 본 발명에서는 이에 한정되지 않고, 8×8보다 작은 사이즈로서 4×2나, 2×4 등의 8×4나 4×8, 4×4 사이즈 이외이어도 되고, 8×8을 기준으로서가 아니라, 8×16이나 16×8 등 다른 사이즈를 기준으로 하여 대소에 따라 가상 샘플의 정밀도를 바꾸어도 된다. 또한, 8×8 등의 소정 사이즈보다 작은 사이즈의 움직임 벡터 검출 단위 영역에서 반화소 정밀도의 가상 샘플을 이용하는 것이 아니고, 소정 사이즈보다 작은 사이즈의 움직임 벡터 검출 단위 영역에서는 정수 화소 정밀도로서 움직임 보상 예측을 행하도록 해도 물론 된다. 이와 같이 하면, 화질은 다소 떨어지지만, 메모리 대역 폭은 대폭 삭감할 수 있게 된다. 요는 부호화 단위인 매크로 블록을 더 분할하여 움직임 보상 예측을 행하는 움직임 벡터 검출 단위 영역에서, 메모리 대역 폭이 문제가 되는 소정의 블록 사이즈를 기 준으로 움직임 벡터의 탐색 정밀도를 낮추고, 메모리 대역 폭을 삭감하면 되는 것이다. 이것은 이하의 모든 실시 형태에서도 적용된다.

제2 실시 형태

제2 실시 형태에서는 제1 실시 형태에 설명한 영상 부호화 장치 및 영상 복호 장치 외에, 복수의 프레임 메모리로 이루어지는 프레임 메모리군을 준비하여, 매크로 블록 또는 매크로 블록을 분할한 움직임 보상 예측 블록의 단위로, 복수의 프레임 메모리를 사용하여 움직임 보상 예측을 행하는 것을 가능하게 하는 장치에 대하여 설명한다.

도 10에, 제2 실시 형태에서의 영상 부호화 장치의 구성을 도시한다. 도 10에서, 도 3에 도시한 제1 실시 형태의 부호화 장치와의 차이는, 프레임 메모리(3)가 프레임 메모리군(28)으로 치환되어 있으며, 움직임 검출부(2), 움직임 보상부(7)가 프레임 메모리군(28)을 이용하여 복수의 프레임 메모리로부터 최적의 예측 화상과 움직임 벡터를 얻도록 구성되어 있다는 점이다. 움직임 검출부(2), 움직임 보상부(7)는 도 3의 부호화 장치와 비교하여 동작의 상세가 다르지만, 이하에서는 그 전제로 동일 도면 부호로 하여 설명한다.

① 부호화 장치의 동작 개요

입력 영상 신호(1)는 개개의 영상 프레임이 매크로 블록으로 분할된 단위로 입력되는 것으로 하고, 우선 움직임 검출부(2)에서, 프레임 메모리군(28)에 저장되는 복수의 참조 화상(4)을 이용하여 매크로 블록 단위로 움직임 벡터(5)가 검출된다.

복수의 참조 화상을 이용한 움직임 벡터 검출의 방법으로서는, 예를 들면 ISO/IEC13818-2(MPEG-2 비디오 규격)로 개시되는 양방향 예측이 있다.

도 11에, ISO/IEC13818-2(MPEG-2 비디오 규격)로 개시되는 양방향 예측의 실행의 방법을 도시한다. 도 11에서, F(t)가 현재 부호화 대상의 입력 영상 프레임으로, 프레임 메모리 내에 저장되는 참조 화상에는 F'()로서 구별을 하였다. B(x, y, t)가 F(t) 내의 임의의 움직임 보상 예측 단위의 블록이라고 한다. 양방향 예측에서는 B(x, y, t)의 위치로부터 움직임 벡터 MV_f(B(x, y, t))만큼 이동시킨 과거의 참조 화상 F'(t-1) 중의 블록 화상을 전방향 예측 화상 P_f(B(x, y, t))로 하고, B(x, y, t)의 위치로부터 움직임 벡터 MV_b(B(x, y, t))만큼 이동시킨 미래의 참조 화상 F'(t+1) 중의 블록 화상을 후방향 예측 화상 P_b(B(x, y, t))로 하여, P_f(B(x, y, t))와 P_b(B(x, y, t))와의 가산 평균으로 B(x, y, t)의 예측 화상 P_i(B(x, y, t))를 생성한다. MV_f(B(x, y, t))나 MV_b(B(x, y, t))는 움직임 검출부(2)에서, 각각 대응하는 참조 화상 상의 주어진 탐색 범위 내에서 B(x, y, t)와의 픽쳐의 유사도가 높거나, 또는 화소 차분이 가장 작은 블록 화상을 찾아내어, 그 편이분을 검출한 값에 해당한다.

도 12에, 복수의 참조 화상을 이용하여 움직임 벡터를 검출하는 편방향 예측의 일례를 도시한다. 도 12에 도시한 다른 예는, 예를 들면 일본 특개평4-127689호 공보에 개시된 과거의 복수의 참조 화상을 프레임 메모리군(28)에 저장할 수 있 도록 구성된 부호화 장치로서, 움직임 보상 예측 단위의 블록 B(x, y, t)에 유사한 블록 화상이 직전의 참조 화상 F(t-1)에는 없고, 또한 그 전의 참조 화상 F(t-2)에 발견되는 경우라도, 움직임 벡터 MV_t-2(B(x, y, t))를 이용하여 움직임 보상 예측이 행해지기 때문에, 영상의 국소적인 성질에 적응한 움직임 보상 예측을 행할 수 있도록 한 것이다.

제2 실시 형태에서는 복수의 프레임 메모리로 이루어지는 프레임 메모리군(28)을 갖고 있기 때문에, 그 복수의 프레임 메모리 각각에 저장된 복수의 참조 화상을 이용하여 움직임 벡터를 검출하는 도 11 또는 도 12의 어느 구성의 부호화 장치에도 적용 가능하다.

그런데, 제2 실시 형태에서는 상기한 도 11 또는 도 12의 사례와 같이 검출된 움직임 벡터(5)에는, 그 움직임 벡터(5)가 프레임 메모리군(28) 중에서 어느 프레임 메모리를 참조하였는지를 지시하는 정보가 세트로 되어 명시되어 있다.

이 때문에, 제2 실시 형태의 움직임 보상부(7)에서는, 이들 정보에 따라서 프레임 메모리군(28) 중의 적절한 프레임 메모리를 참조함으로써 예측 화상(8)이 얻어진다. 또한, 입력 신호(1)와의 차분을 취함으로써 예측 잔차 신호(9)가 얻어진다. 또, 움직임 벡터(5)가 프레임 메모리군(28) 중 어떤 프레임 메모리를 참조하였는지를 지시하는 정보는 움직임 벡터(5) 그 자체가 아니라, 별도의 정보로서 디코더에 통지하기 위한 부호화 데이터의 형태로 표현되어도 된다.

또한, 제2 실시 형태의 부호화 모드 판정부(12)에서는, 예측 잔차 신호(9)를 부호화하는 움직임 예측 모드, 프레임 내 부호화를 행하는 인트라 모드 등, 매크로 블록의 부호화 방법을 지정하는 복수의 모드 중에서, 해당 매크로 블록을 가장 효율적으로 부호화할 수 있는 모드를 선택하여 부호화 모드 정보(13)로서 출력한다. 움직임 예측 모드는, 제1 실시 형태에 설명한 도 6에 도시한 바와 같은 매크로 블록 내 분할의 형상이나, 도 11에서 P_f(B(x, y, t))만을 이용하여 예측을 행할지, P_b(B(x, y, t))만을 이용하여 예측을 행할지, 이들의 가산 평균을 취할지 등을 식별하는 정보 등에 해당한다. 이 부호화 모드 정보(13)는 부호화 대상 정보로서 가변 길이 부호화부(6)에 전달된다. 부호화 모드 정보(13)로서 움직임 예측 모드가 선택되는 경우에는 움직임 벡터(5)가 부호화 대상 정보로서 가변 길이 부호화부(6)에 전달되어, 가변 길이 부호화된다.

또, 부호화 모드 판정부(12)에서 선택된 부호화 대상 신호(11)의 부호화인 직교 변환부 이후의 처리는, 제1 실시 형태와 동일하므로, 설명을 생략한다.

다음으로, 제2 실시 형태에서의 영상 복호 장치에 대하여 설명한다.

도 13에, 제2 실시 형태에서의 영상 복호 장치의 구성을 도시한다. 도 13에서, 도 4에 도시한 제1 실시 형태의 복호 장치와의 차이는, 프레임 메모리(3)가 프레임 메모리군(28)으로 치환되어 있으며, 움직임 보상부(7)가 가변 길이 복호부(27)에서 복호되는 움직임 벡터(5)와 부호화 모드 정보(13)에 따라, 프레임 메모리군(28) 중 지정된 프레임 메모리로부터 예측 화상을 얻도록 구성되어 있다는 점이다. 움직임 보상부(7)는 도 4의 복호 장치와 비교하여 동작의 상세가 다르지 만, 이하에서는 그 전제로 동일 도면 부호로 하여 설명한다.

② 복호 장치의 동작 개요

복호 장치에서는 영상 압축 데이터(26)를 수취하면, 우선 가변 길이 복호부(27)에서 후술하는 엔트로피 복호 처리가 행해져, 움직임 벡터(5), 부호화 모드 정보(13), 직교 변환 계수 데이터(17), 양자화 스텝 파라미터(23) 등이 복원된다. 또, 직교 변환 계수 데이터(17), 양자화 스텝 파라미터(23)에 의한 예측 잔차 신호의 복원 처리는, 제1 실시 형태의 복호 장치와 동일하므로, 설명을 생략한다.

그리고, 제1 실시 형태의 복호 장치인 경우와 마찬가지로, 움직임 보상부(7)는 가변 길이 복호부(27)에서 복호된 움직임 벡터(5)와 부호화 모드 정보(13)에 기초하여, 프레임 메모리군(28) 중의 소정의 프레임 메모리에 저장되는 참조 화상을 이용하여 예측 화상(8)을 복원한다.

전환기(54)는 부호화 모드 정보(13)에 기초하여, 움직임 예측 모드이면 움직임 보상부(7)로부터의 예측 화상(8)을 가산기(55)로 출력하는 한편, 인트라 모드이면 0을 가산기(55)로 출력한다. 가산기(55)에서는 이들 전환기(54)로부터의 출력을, 역직교 변환부(19)의 출력인 복호 신호와 가산함으로써 복호 화상(21)을 얻는다. 복호 화상(21)은 이후의 프레임의 예측 화상 생성에 이용되므로, 프레임 메모리군(28)에 저장된다.

③ 움직임 보상 예측의 동작

부호화 장치에서의 움직임 검출부(2), 움직임 보상부(7) 및 프레임 메모리군(28)을 이용하여 행해지는 움직임 보상 예측 처리나, 복호 장치에서의 움직임 보상부(7) 및 프레임 메모리군(28)을 이용하여 행해지는 움직임 보상 처리에 대해서는, 도 11이나 도 12에서 분명한 바와 같이 프레임 메모리별 처리 단위로 분리하여 생각할 수 있다. 부호화 장치측에서 개개의 참조 화상(F'(t-1) 등)이 저장되는 프레임 메모리를 이용하여 움직임 벡터(5)와 예측 화상(8)을 얻는 처리를 제1 실시 형태에서 설명한 ③-1-1∼③-1-5로 이루어지는 ③-1의 부호화 장치에서의 움직임 보상 예측 처리, 또한 복호 장치측에서 개개의 참조 화상(F'(t-1) 등)이 저장되는 프레임 메모리를 이용하여 예측 화상(8)을 얻는 처리를 제1 실시 형태의 ③-2-1∼③-2-4로 이루어지는 ③-2의 복호 장치에서의 움직임 보상 처리로 간주할 수 있고, 제1 실시 형태에 기재한 수순을 그대로 적용 가능하다.

따라서, 이상의 구성을 갖는 제2 실시 형태의 영상 부호화 장치 또는 복호 장치에 따르면, 상기 제1 실시 형태의 영상 부호화 장치 또는 복호 장치의 경우와 마찬가지로, 움직임의 국소적인 상황에 적응하여 움직임 보상 예측 단위가 되는 블록의 크기에 따라, 종래예에서 설명한 가상 샘플의 정밀도를 전환함과 함께, 움직임 벡터의 부호화·복호 방법도 전환하고 있기 때문에, 메모리 대역 폭을 억제하면서 화질을 유지한 압축 부호화를 행할 수 있게 된다.

특히, 도 11에 도시한 바와 같이 전방향, 후방향 모두 포함시킨 양방향의 복수의 프레임 메모리로부터 예측 화상을 생성할 필요가 있는 경우나, 도 12에 도시한 편방향에서도 복수의 프레임 메모리로부터 예측 화상을 생성할 필요가 있는 경우에는, 그만큼 프레임 메모리로부터의 판독 화소 수가 증대하는 것은 분명하지만, 제2 실시 형태에 따르면, 움직임이 복잡해지는 등으로 정교한 움직임 보상 예측의 효과가 적어지는 경우에는, 가상 샘플 정밀도를 반화소, 또는 정수 화소까지 한정하여 움직임 벡터의 표현 정밀도도 낮게 함으로써, 부호화 효율을 유지하면서 프레임 메모리 액세스 시의 메모리 대역 폭을 저감할 수 있다. 그 결과, 제2 실시 형태에 따르면, 특히 복수의 프레임 메모리에 저장된 복수의 참조 화상을 참조하여 움직임 보상 예측을 행하는 양방향 예측 등의 경우에는, 부호화 장치에서의 움직임 벡터 검출 처리 및 복호 장치의 예측 화상 생성 처리에 관하여 현저한 연산량 삭감 효과가 기대된다.

또한, 제2 실시 형태에서는 복수의 프레임 메모리를 갖고 있기 때문에, 도 11에 도시한 통상의 양방향 예측이나, 도 12에 도시한 과거의 복수의 참조 화상으로부터의 편방향 예측뿐만 아니라, 예를 들면 통상은 그 복수의 프레임 메모리의 내용을 복호 화상으로 순차적으로 갱신을 행하는 한편, 복수의 프레임 메모리 중 하나의 프레임 메모리의 내용만 갱신하지 않는 것이 지시된 경우에는, 그 복수의 프레임 메모리 중 하나의 프레임 메모리의 내용만 갱신하지 않도록 하여, 복수의 프레임 메모리를 순차적으로 갱신을 행하는 쇼트-텀 프레임 메모리와, 다음의 이벤트가 발생할 때까지 참조 화상이 갱신되지 않는 롱-텀 프레임 메모리로서 사용하여, 쇼트-텀 프레임 메모리와 롱-텀 프레임 메모리의 참조 화상을 이용하여 움직임 보상 예측을 행하도록 해도 물론 된다. 이와 같이 하면, 동화상 신호의 시간적인 국소적 특성에 따라 복수의 프레임 메모리를 탄력적으로 사용할 수 있어, 프레임 메모리를 효율적으로 사용하면서도, 부호화 시퀀스에 영향받지 않고 높은 예측 효 율을 유지하면서 부호화를 행할 수 있게 된다.

특히, 움직임의 국소적인 상황에 적응하여, 움직임 보상 예측 단위가 되는 블록의 크기에 따라 움직임 보상 예측을 행할 때의 가상 샘플의 정밀도를 전환하거나, 움직임 벡터의 산출 방법도 전환할뿐만 아니라, 그 움직임 보상 예측을 행하는 영역 단위로 적응적으로 도 11에 도시한 양방향 예측이나 도 12에 도시한 편방향 예측 등을 전환하거나, 또는 그 영역 단위로 통상은 그 복수의 프레임 메모리의 내용을 복호 화상으로 순차적으로 갱신을 행하는 것과, 복수의 프레임 메모리 중 하나의 프레임 메모리의 내용만 갱신하지 않는 것이 지시된 경우에 있어서의 그 복수의 프레임 메모리 중 하나의 프레임 메모리의 내용만 갱신하지 않도록 하는 것을 적응적으로 전환하도록 하면, 공간적뿐만 아니라 시간적이고 국소적인 움직임 등의 각종 특징이 나타나는 경우라도, 메모리 대역 폭을 증가시키지 않고, 부호화 효율을 향상시킴과 함께, 화질도 향상시킬 수 있다.

제3 실시 형태

제3 실시 형태에서는 제1 실시 형태나 제2 실시 형태에 설명한 영상 부호화 장치 및 영상 복호 장치에 대하여, 가상 샘플 산출 방법의 적응 전환의 자유도를 향상시키는 가상 샘플 산출 방법 전환 플래그를 더 도입한 영상 부호화 장치 및 영상 복호 장치에 대하여 설명한다.

제1 및 제2 실시 형태에 설명한 영상 부호화 장치 및 영상 복호 장치에서는, 도 6의 8×8 MC보다 작은, 예를 들면 8×4나, 4×8, 4×4 사이즈에서의 움직임 보상 예측을 반화소 정밀도의 가상 샘플에 한정하여 예측을 행하도록 구성하였지만, 영상에 따라서는 8×8 MC보다 더 작은 단위에서의 움직임 보상 예측이더라도 예측 효율 향상을 위해서 1/4 화소 정밀도의 움직임 보상 예측을 필요로 하는 경우가 있을 수 있다. 예를 들면, 움직임 보상 예측 대상의 화상이 충분히 텍스쳐를 보존하고 있으면서, 입력 신호에 실린 미묘한 잡음 성분이 움직임 벡터의 변동을 발생시키는 경우가 있을 수 있다. 이러한 경우에는 단순하게 움직임의 복잡함만을 가정하여 가상 샘플 정밀도를 고정화시키는 것이 아니라, 영상의 국소적인 신호 상황에 적응화시켜서, 최적의 가상 샘플 정밀도를 선택시킴으로써, 실제로 미세한 가상 샘플 정밀도를 필요로 하는 경우에만 필요 최소한의 연산량을 추가시키도록 장치 구성을 행할 수 있어, 영상 부호화 품질의 향상을 더욱 도모할 수 있다.

도 14에, 제3 실시 형태에서의 영상 부호화 장치의 구성을 도시한다.

도 15에, 제3 실시 형태에서의 영상 복호 장치의 구성을 도시한다. 도 14 및 도 15에서, 상기에 설명한 움직임 보상 예측 정밀도의 적응화를 위한 역할을 하는 것이 움직임 보상 예측의 정밀도 전환 신호인 가상 샘플 정밀도 전환 플래그(29)이고, 그 이외의 점은 도 3 또는 도 4에 도시한 제1 실시 형태의 영상 부호화 장치 또는 영상 복호 장치와 마찬가지이다.

다음으로, 동작을 설명한다.

도 14에 도시한 제3 실시 형태의 부호화 장치측에서는, 가상 샘플 정밀도 전환 플래그(29)는 부호화 장치 내부에 있어서의 입력 영상 데이터의 사전 해석 또는 부호화 장치를 포함하는 시스템에 있어서의 외적 요인, 예를 들면 송신 버퍼(24)의 버퍼 잔량이나 부호화 비트 레이트 등의 송신 환경 등에 기초하여, 소정의 영상 데 이터 단위로 플래그의 값의 결정이 행해져, 움직임 검출부(2) 및 움직임 보상부(7)에 입력된다. 움직임 검출부(2) 및 움직임 보상부(7)에서는 입력하는 가상 샘플 정밀도 전환 플래그(29)에 기초하여, 이하에 설명하는 바와 같이 전환 단위를 적응적으로 변화시키면서, 움직임 보상 예측 시의 가상 샘플 정밀도나, 움직임 벡터의 산출 방법을 바꿔, 움직임 벡터 및 예측 화상을 생성한다.

가상 샘플 정밀도 전환 플래그(29)의 값에 대해서는, 예를 들면 이하와 같은 의미 부여를 생각할 수 있다. 구체적으로는, 가상 샘플 정밀도 전환 플래그(29)가 ON 또는 1이라는 것은, 전환 단위가 되는 영상 데이터 단위 내에서, 모든 8×8 MC 미만의 블록 사이즈에서의 움직임 보상 예측을 1/4 화소 정밀도의 움직임 보상 예측에 의해서 행한다는 것을 지시한다. 즉, 이 경우에는 도 2에 도시한 바와 같은 많은 탭 필터를 이용하는 것을 전제로 많은 화소 데이터를 프레임 메모리로부터 판독하는 것을 허용해도 예측 효율을 우선한다. 이 때에는, 모든 움직임 벡터가 동일한 정밀도이므로, ③-1-3에 설명한 움직임 벡터의 정밀도 변환을 수반하는 움직임 벡터 예측과 부호량 산출은 실시하지 않는다.

이에 대하여, 가상 샘플 정밀도 전환 플래그(29)가 OFF 또는 0이라는 것은, 모든 8×8 MC 미만인 도 6인 경우이면 8×4나, 4×8, 4×4 사이즈에서의 블록 사이즈에서의 움직임 보상 예측을 반화소 정밀도의 움직임 보상 예측을 실시한다는 것을 지시한다. 이 지정은 도 1에 도시한 바와 같은 반화소 정밀도의 가상 샘플이라도 필요 충분한 예측 효율이 얻어지는 케이스에서 이용된다. 이 때에는, 8×8 MC 미만의 블록 사이즈에서는 움직임 벡터의 정밀도가 다르기 때문에, 적절하게, ③- 1-3에 설명한 움직임 벡터의 정밀도 변환을 수반하는 움직임 벡터 예측과 부호량 산출을 실시하게 된다. 또, ON/OFF와, 1/0의 관계는 이에 고정화되는 것이 아니라, 물론 반대의 관계 설정을 행해도 된다(ON=0, OFF=1).

가상 샘플 정밀도 전환 플래그(29)의 전환 단위가 되는 영상 데이터 단위는, 예를 들면 매크로 블록, 슬라이스(복수의 매크로 블록으로 구성되는 영상 프레임의 단위 영역), 프레임이나 필드(인터레이스 신호인 경우), 시퀀스(복수의 영상 프레임으로 구성되는 시계열 단위) 등이 있을 수 있다.

이와 같이 부호화측에서 설정된 가상 샘플 정밀도 전환 플래그(29)는 소정의 영상 데이터 단위로 가변 길이 부호화부(6)에 있어서 비트 스트림에 다중화된다.

복호 장치에서는, 도 15에 도시한 바와 같이 가변 길이 복호부(27)가 가상 샘플 정밀도 전환 플래그(29)의 값을 복호하고, 가상 샘플 정밀도 전환 플래그(29)가 부여된 영상 데이터 단위마다 상기 규범에 기초하여, 가변 길이 복호부(27)는 필요에 따라 ③-2-3에 설명한 정밀도 적응의 움직임 벡터(5)의 복호 처리를 행하고, 움직임 보상부(7)는 가상 샘플 정밀도 전환 플래그(29)가 지정하는 정밀도의 가상 샘플 생성 처리와 움직임 벡터(5)에 기초하여, 예측 화상(8)의 생성을 행하도록 구성한다.

따라서, 이상의 구성을 갖는 제3 실시 형태의 영상 부호화 장치 및 영상 복호 장치에 따르면, 예측 효율과 연산 부하와의 트레이드-오프를 자유롭게 제어할 수 있어, 자유도가 높은 영상 부호화를 행할 수 있게 된다.

또, 제3 실시 형태에서는 제1 실시 형태의 사례를 기초로 설명하였지만, 가 상 샘플 정밀도 전환 플래그(29)가 제2 실시 형태에서의 영상 부호화 장치 및 영상 복호 장치에도 적용 가능한 것은 물론이다.

제4 실시 형태

상기 제1∼제3 실시 형태의 화상 부호화 장치 및 화상 복호 장치측에서는, 인트라 모드인 경우, 공간 예측을 행하지 않는 통상의 프레임 내 부호화에 의해서 설명하였지만, 제4 실시 형태에서는 인트라 모드로서 프레임 내에서 공간 예측을 이용하여 동화상 신호와 예측 신호와의 차분 신호를 부호화하는 인트라 예측 모드에 의해 부호화를 행하는 공간 예측부(10a)를 형성한 예에 대하여 설명한다.

도 16에, 도 3에 도시한 제1 실시 형태의 부호화 장치에 대하여 공간 예측부(10a)를 추가한 제4 실시 형태의 부호화 장치의 구성을 도시한다. 도 16에 도시한 바와 같이, 제4 실시 형태의 부호화 장치에서는 공간 예측부(10a)를 추가하였기 때문에, 공간 예측부(10a)로부터 가변 길이 부호화부(6)로 인트라 예측 모드(14)를 출력함과 함께, 전환기(52)에는 제1∼제3 실시 형태인 경우의 인트라 모드의 0 입력 대신에 공간 예측부(10a)로부터 공간 예측 화상(20)이 출력되게 된다. 그 외에는 제1 실시 형태와 마찬가지이다.

도 17에, 도 4에 도시한 제1 실시 형태의 복호 장치로부터 공간 예측부(10a)를 추가한 제4 실시 형태의 복호 장치의 구성을 도시한다. 도 17에 도시한 바와 같이, 제4 실시 형태의 복호 장치에서는 공간 예측부(10a)를 추가하였기 때문에, 즉 도 16에 도시한 바와 같이 부호화 장치측에서 공간 예측부(10a)를 추가하였기 때문에, 가변 길이 복호부(27)로부터 공간 예측부(10a)로 인트라 예측 모드(14)가 출력됨과 함께, 전환기(54)에는 제1∼제3 실시 형태인 경우의 인트라 모드의 0 입력 대신에 공간 예측부(10a)로부터 공간 예측 화상(20)이 출력되게 된다. 그 외에는 제1 실시 형태와 마찬가지이다.

간단히 동작을 설명하면, 도 16에 도시한 제4 실시 형태의 부호화 장치에서는, 공간 예측부(10a)에 의한 인트라 예측 모드 부호화가 행해지는 경우에는, 공간 예측부(10a)로부터 가변 길이 부호화부(6)로 인트라 예측 모드(14)가 출력되고, 가변 길이 부호화부(6)에서는 움직임 벡터(5), 양자화 스텝 파라미터(23), 부호화 모드 정보(13), 직교 변환 계수 데이터(17)와 함께 인트라 예측 모드(14)도 엔트로피 부호화를 행하고, 송신 버퍼(24)를 경유하여, 영상 압축 데이터(26)로서 전송한다. 그리고, 제4 실시 형태의 전환기(52)에서는 부호화 모드 정보(13)에 따라, 그 부호화 모드 정보(13)가 시간 방향의 예측인 움직임 예측 모드를 나타내고 있는 경우에는, 역양자화 및 역직교 변환된 직교 변환 계수 데이터(17)와, 움직임 보상부(7)로부터의 예측 화상(8)과 가산하여 국소 복호 화상(21)으로서 프레임 메모리(3)에 출력하거나, 또는 그 부호화 모드 정보(13)가 공간 방향의 예측인 인트라 예측 모드를 나타내고 있는 경우에는, 역양자화 및 역직교 변환된 직교 변환 계수 데이터(17)와, 공간 예측 화상(20)이 가산되어 국소 복호 화상(21)으로서 출력되고, 이웃한 프레임의 움직임 예측에 이용되기 때문에, 참조 화상 데이터로서 프레임 메모리(3)에 저장된다.

한편, 도 17에 도시한 제4 실시 형태의 복호 장치에서는, 가변 길이 복호부(27)가 인트라 예측 모드(14)를 복호하고, 공간 예측부(10a)로 출력하며, 공 간 예측 화상(20)이 복원된다. 그리고, 제4 실시 형태의 전환기(54)에서는 가변 길이 복호부(27)로부터의 부호화 모드 정보(13)에 기초하여, 시간 방향의 예측인 움직임 예측 모드이면 움직임 보상부(7)로부터의 예측 화상(8)을 가산기(55)에 출력하는 한편, 공간 방향의 예측인 인트라 예측 모드를 나타내고 있는 경우에는, 공간 예측 화상(20)을 가산기(55)에 출력한다. 가산기(55)에서는 이들 전환기(54)로부터의 출력을, 역직교 변환부(19)의 출력인 복호 신호와 가산함으로써 복호 화상(21)을 얻어, 이후의 프레임의 예측 화상 생성에 이용되므로, 프레임 메모리(3)에 저장된다.

따라서, 제4 실시 형태의 화상 부호화 장치 및 화상 복호 장치에 따르면, 상기 제1 실시 형태의 화상 부호화 장치 및 화상 복호 장치에서의 인트라 모드 대신에, 프레임 내에서 공간 예측을 이용하여 동화상 신호와 예측 신호와의 차분 신호를 부호화하는 인트라 예측 모드를 채용하도록 하였기 때문에, 상기 제1 실시 형태와 마찬가지의 효과가 얻어짐과 함께, 상기 제1 실시 형태에서 행하는 통상의 인트라 모드보다 압축 효율을 향상시킬 수 있다.

또, 제4 실시 형태에서는 도 3에 도시한 제1 실시 형태의 부호화 장치, 및 도 4에 도시한 제1 실시 형태의 복호 장치에 대하여 공간 예측부(10a)를 추가한 것을 실시 형태로서 도시하여 설명하였지만, 본 발명에서는 이에 한정되지 않고, 도 10 및 도 13에 도시한 제2 실시 형태의 부호화 장치 및 복호 장치에 대하여 공간 예측부(10a)를 추가하는 것도, 나아가서는 도 14 및 도 15에 도시한 제3 실시 형태의 부호화 장치 및 복호 장치에 대하여 공간 예측부(10a)를 추가하는 것도 가능하 며, 이들 경우도, 상기와 마찬가지로 설명할 수 있다.

제5 실시 형태

상기 제1∼제4 실시 형태에서는, 화상 부호화 장치 또는 화상 복호 장치 등의 요소 제품으로서 설명하였지만, 제5 실시 형태에서는 제1∼제4 실시 형태의 화상 부호화 장치 또는 화상 복호 장치 등이 실장되는 최종 제품에 대하여 간단히 설명한다.

도 18은 제1∼제4 실시 형태의 화상 부호화 장치 및 화상 복호 장치 등이 실장된 제5 실시 형태의 휴대 전화의 구성을 나타내고 있다. 이 휴대 전화는, 도 18에 도시한 바와 같이 송수신부(71), 기저 대역 처리부(72), 제어부(73), 음성 코덱(74), 비디오 코덱(75), 인터페이스(76), 카메라(77), 디스플레이(78), 마이크 스피커(79), 안테나(80) 등을 구비하여 구성되어 있으며, 비디오 코덱(75)으로서, 제1∼제4 실시 형태 중 어느 하나의 화상 부호화 장치 및 화상 복호 장치가 탑재된다.

따라서, 제5 실시 형태의 휴대 전화에 따르면, 제1∼제4 실시 형태의 화상 부호화 장치 및 화상 복호 장치 등의 요소 제품을 실장함으로써, 움직임의 국소적인 상황에 적응하여, 메모리 대역 폭을 억제하면서 화질을 유지한 압축 부호화를 행할 수 있게 되어, 메모리 대역 폭 삭감에 의해 영상 복호 처리 실장의 간략화, 소비 전력화에 현저한 효과를 발휘한다.

또, 제5 실시 형태에서는 제1∼제4 실시 형태의 화상 부호화 장치 또는 화상 복호 장치 등의 요소 제품이 실장되는 최종 제품으로서, 화상 부호화 장치 및 화상 복호 장치의 쌍방을 비디오 코덱(75)에 탑재한 휴대 단말기를 일례로 설명하였지만, 본 발명에서는 이에 한정되지 않고, 제1∼제4 실시 형태의 화상 부호화 장치만을 탑재한 방송 장치나, 제1∼제4 실시 형태의 화상 복호 장치만을 탑재한 DVD 플레이어 등에도 적용할 수 있는 것은 물론이다. 이들 영상 재생을 주로 하는 플레이어나, 휴대 전화, 휴대 정보 단말기 등에 하드웨어 실장할 때에, 메모리 대역 폭 삭감에 의해 영상 복호 처리 실장의 간략화, 소비 전력화에 현저한 효과를 발휘한다.

이상, 본 발명을 바람직한 실시 형태를 참조하면서 상세히 도시하여 설명하였지만, 청구의 범위에 기재된 본 발명의 취지 및 구역 내에서, 형식 및 세부에 관한 여러가지 변경이 가능한 것은 당업자이면 이해할 수 있을 것이다. 이러한 변경, 대체, 수정도 본 발명의 범위에 포함되는 것으로 출원인은 의도하고 있다.

이상과 같이, 본 발명에 따른 동화상 부호화 장치 및 화상 복호 장치 중의 적어도 하나를 구비한 통신 장치는, 매크로 블록 등 영상 프레임을 소 영역 단위로 분할하여 개개로 움직임 보상 예측을 행하는 경우라도, 메모리 대역 폭을 억제하면서, 부호화 효율을 향상시키는 데 적합하다.

Claims (20)

1. 동화상 신호의 각 프레임을 소정의 방법으로 분할한 영역 단위로 움직임 보상 예측을 행하여 생성한 예측 화상과 상기 동화상 신호 사이의 차분 신호를 압축 부호화하여 부호화 비트 스트림을 생성하는 동화상 부호화 장치로서,

   예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리와,

   움직임 보상 예측의 단위가 되는 영역의 형상에 따라, 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환하여 예측 화상의 복수의 후보를 생성하고, 해당 복수의 예측 화상 후보 중 예측 효율이 가장 큰 예측 화상을 제공하는 움직임 벡터를 생성하는 움직임 검출부와,

   상기 움직임 검출부에서 생성된 움직임 벡터에 기초하여, 움직임 보상 예측의 단위가 되는 영역의 형상에 따라 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환하여 예측 화상을 생성하는 움직임 보상부

   를 포함하고,

   상기 부호화 비트 스트림에, 상기 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보와, 상기 움직임 벡터를 다중화하는 동화상 부호화 장치.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 동화상 신호의 각 프레임을 소정의 방법으로 분할한 영역 단위로 움직임 보상 예측을 행하여 생성한 예측 화상과 상기 동화상 신호 사이의 차분 신호를 압축 부호화한 부호화 비트 스트림을 입력하여 동화상 신호를 복원하는 동화상 복호 장치로서,

    예측 화상의 생성에 이용하는 참조 화상을 저장하는 프레임 메모리와,

    상기 부호화 비트 스트림을 입력하여 상기 차분 신호와, 움직임 벡터와, 상기 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보를 복호하는 복호부와,

    상기 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보에 기초하여 예측 화상의 구성 요소가 되는 가상 화소의 정밀도를 전환하고, 전환된 정밀도에 따라 상기 복호부에서 복호된 움직임 벡터를 이용하고 상기 프레임 메모리에 저장된 참조 화상을 참조하여 예측 화상을 생성하는 움직임 보상부

    를 포함하고,

    상기 복호부에서 복호된 상기 차분 신호와, 상기 움직임 보상부에서 생성된 예측 화상을 가산하여 동화상 신호를 복원하는 동화상 복호 장치.
11. 제10항에 있어서,

    상기 복호부는, 부호화 비트 스트림을 입력하여 차분 신호와, 움직임 보상 예측의 단위가 되는 영역의 형상을 나타내는 형상 정보를 복호함과 함께, 상기 형상 정보에 기초하여 움직임 벡터의 예측 복원 방법을 전환하여 움직임 벡터의 복호를 행하는 것을 특징으로 하는 동화상 복호 장치.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images