KR100266124B1 - 화상 부호화/복호화 방법, 화상 부호화/복호화장치, 및 화상부호화/복호화 프로그램 기록 매체 - Google Patents

Abstract

본 발명은, 화소값 신호와, 형상 신호를 포함하는 화상 신호를 처리 대상으로 하여, 그 쌍방을 효율적으로 부호화 처리할 수 있는 부호화 장치 및 부호화 방법을 제공하는 것을 목적으로 한 것이며, 참조 화소 신호를 선택하는 스위치 회로와, 참조 형상 신호를 선택하는 스위치 회로에, 예측 전환기가 각각 참조 화소값 전환 신호와 참조 형상 전환 신호를 출력하여, 적절한 참조 신호를 선택하도록 제어하는 것이다.

Description

화상 부호화/복호화 방법, 화상 부호화/복호화 장치, 및 화상 부호화/복호화 프로그램 기록 매체{METHODS, APPARATUSES AND PROGRAM RECORDING MEDIA FOR IMAGE CODING AND IMAGE DECODING}

본 발명은 화상 부호화·복호화 방법, 화상 부호화·복호화 장치, 및 화상 부호화·복호화 프로그램 기록 매체에 관한 것으로, 특히 물체 단위로 화상 신호를 효율적으로 취급하기 위해, 물체의 형상 정보를 갖는 화상 신호를, 보다 적은 비트수로 화질을 손상시키는 일없이 기록 및 전송하기 위한 화상 부호화 처리와, 그 부호화 결과를 적절히 복호화하는 화상 복호화 처리에 관한 것이다.

화상(video)을 디지탈화하여, 디지탈 화상 데이터를 얻는 기술에 대해서는, 디지탈 데이터의 기록, 전송, 편집, 복제 및 전송 등에 있어서의 취급이 용이하기 때문에 그 보급과 발전이 현저한 분야로 되어 있다. 디지탈화의 이점중 하나로서, 데이터를 용이하게 압축(condence)할 수 있다라는 점을 들 수 있으며, 특히 기록이나 전송을 위해서는 압축 부호화는 중요한 기술이다. 이러한 압축 부호화 기술에 대해서는, 국제적 규격도 확립되어 있으며, 그 중에서도 MPEG 규격은, 영상이나 음성을 취급할 수 있는 일반적인 디지탈 규격으로서 보급되어 있다.

디지탈 화상의 압축 부호화에 있어서는, 화상이 디지탈화된, 일련의 정지 화상으로 이루어지는 화상 데이터를 처리 대상으로 하는 것이다. 일반적으로, 압축 부호화에 있어서는, 1 프레임(1 화면 상당)의 정지 화상(still picture)에 대하여, 그 공간적 상관 관계(프레임내의 상관 관계)에 근거하여, 용장성(redundancy)을 제거하여 압축을 행하는 프레임내 부호화(intra frame coding)와, 시간적으로 근접하는, 예컨대 시간적으로 연속하는 프레임의 정지 화상에 대하여, 그 시간적 상관 관계(프레임간의 상관 관계)에 근거하여 용장성을 제거하여 압축을 행하는 프레임간 부호화(inter frame coding)가 행해진다.

MPEG 등에 준거한, 종래 기술에 의한 화상 부호화에서는, 기본적으로 프레임내 부호화를 행하는 것이지만, 프레임간 부호화도 실행하는 것에 의해, 고압축율의 부호화 데이터가 얻어진다. 프레임간 부호화를 하기 위해서는, 부호화의 역처리인 복호화 처리나, 움직임 검출·움직임 보상 처리를 실행함으로써, 예측 화상을 생성하고, 이 예측 화상을 참조 화상으로서 이용하여, 부호화 대상 화상과의 차분을 취득하는 것이기 때문에, 복호화나 움직임 검출·보상 처리를 필요로 하는 만큼, 장치에 있어서의 처리 부담의 증대를 초래하게 된다. 그러나, 예측 화상의 정밀도가 양호한 경우에는, 차분은 작은 것으로 되기 때문에, 차분을 부호화 처리 하는 것에 의해, 부호화 대상 화상 그 자체를 부호화 처리하는 것보다도, 부호화 효율을 향상시킬 수 있는 것이다.

프레임간 부호화를 행하는 경우의 예측 방법에 대해서는, 일련의 정지 화상중 부호화 대상인 데이터보다 시계열적으로 전에 위치하는 데이터에 근거하는 순 방향(forward) 예측, 후에 위치하는 데이터에 근거하는 역방향(backward) 예측, 및 순방향, 또는 역방향에 위치하는 데이터에 근거하는 쌍방향(bidirectionally) 예측중 어느 하나가 이루어진다. 또, 일반적으로 프레임내 부호화를 「I」(intra frame coding), 순방향 예측 부호화를 「P」(predictive coding), 쌍방향 예측 부호화(역방향을 포함함)를 「B」(bidirectionally predictive coding)로 표기한다.

프레임내 부호화만을 행하는 경우, 또는 프레임내 부호화와 순방향 예측 부호화를 실행하는 경우에는, 부호화 대상인 일련의 정지 화상을 단순히 시계열에 따라서 처리하는 것도 가능하지만, 역방향 또는 쌍방향 예측을 하는 경우에는, 시계열에 있어서 후에 위치하는 데이터를 먼저 부호화 처리해 놓을 필요가 발생한다. 따라서, 일반적으로, 프레임간 부호화도 실행하는 경우에는, 부호화 대상인 화상 데이터를 구성하는 프레임마다, 프레임내 부호화를 행하는 I 프레임인지, 순방향 예측 부호화를 할 수 있는 P 프레임인지, 쌍방향 예측 부호화를 할 수 있는 B 프레임인지를 정해 놓고, 처리 대상으로 하는 데이터가 I 프레임이면 프레임내 부호화를 하고, 처리 대상으로 하는 데이터가 P 프레임, 또는 B 프레임이면 프레임내 부호화, 또는 프레임간 부호화를 행한다. 이러한 부호화 처리를 하는 경우에는, 부호화 장치에 있어서, I 프레임, P 프레임, 및 B 프레임의 비율을, 부호화 결과의 용도 등에 대응하여 설정해 놓을 수 있다.

도 14는 종래 기술에 의한, 프레임내·프레임간 부호화 처리를 설명하기 위한 도면이다. 동일 도면에 있어서, (1400∼1406)은, 부호화 대상인 화상 데이터를 구성하는 1 프레임 마다의 화상 데이터이고, 각각의 시각은 t0∼t6이며, 시각 t0∼t6은, 이 순서의 시계열을 갖는 것이다. (1400∼1406)의 프레임중, 프레임(1400)은 I 프레임, 프레임(1403), 및 프레임(1406)은 P 프레임, 그리고 프레임(1401, 1402, 1404, 1405)은 B 프레임이다.

도시하는 화살표는, 프레임 마다의 부호화 처리에 있어서의 참조 관계를 나타내는 것이다. I 프레임인 프레임(1400)은, 다른 프레임을 참조하지 않고, 단독으로 프레임내 부호화된다. P 프레임인 프레임(1403)은, 시계열적으로 전에 위치하는 프레임(1400)을 참조하여 부호화할 수 있다. B 프레임인 프레임(1401)은, 시계열적으로 전에 위치하는 프레임(1400)과, 시계열적으로 후에 위치하는 프레임(1403)중 어느 하나, 또는 쌍방을 참조하여 부호화할 수 있다.

이 때문에, 전술한 바와 같이, 프레임(1403)을, 시계열적으로는 전에 위치하는 프레임(1401)이나 프레임(1402)보다 먼저 부호화해 놓을 필요가 있어서, I 프레임이나 P 프레임을 B 프레임보다 우선하여 먼저 부호화하게 된다. 또, 어느 쪽의 프레임도 B 프레임을 참조하여 부호화되는 일은 없다.

쌍방향 예측도 행하여 부호화 처리를 하는 경우에는, B 프레임에 대한 부호화 처리에 있어서, 전후의 프레임을 참조하여 프레임간 부호화하는 것, 혹은 전 프레임, 후 프레임, 양 프레임중에서 참조 프레임을 선택하여 프레임간 부호화하는 것, 혹은 프레임내 부호화도 선택시에 부가하는 것 등을, 부호화 장치에 있어서 설정하는 것이 가능하다.

전술한 바와 같이, 프레임간 부호화를 하는 것은, 특히 쌍방향 예측도 실행하는 경우에는, 처리 부담의 증대를 수반하는 것이며, 또 시간적으로 근접하는 데이터를 유지하기 위한 기억 수단, 즉 메모리의 용량도 큰 것이 필요하게 된다. 그러나, 정밀도가 높은 예측을 하는 것에 의해, 해당 예측에 의해 얻어진 예측 화상과, 부호화 대상 화상과의 차분의 양은 작은 것으로 되어, 부호화 효율의 향상을 도모할 수 있다. 따라서, 장치 성능, 화상의 성질, 요구되는 부호화 데이터의 질 등에 따라 부호화 방법의 설정이 되고 있었다.

한편, 화상 신호를 물체(오브젝트)(object) 단위로 부호화하는 방법도 최근 일반화되어 있다. 이러한 부호화 방법의 검토는 현재 ISO의 MPEG4에서 표준화가 행해지고 있으며, 1996년 11월에는 비디오 검증 모델 VM5.0으로 불리는 것이 책정되었다. 물체 단위의 화상 신호는 텍스쳐(texture)로 불리우는, 휘도나 색을 나타내는 화소값 신호와, 물체의 형상을 나타내는 형상 신호로 구성된다. 이러한 형식의 화상 신호는, 컴퓨터 그래픽의 분야를 중심으로 하여, 프로그램 제작 부문 등의, 영상 소스를 작성하는 분야에서 이용되고 있다.

도 15는, 종래 기술에 의한, 물체 단위의 부호화를 설명하기 위한 도면이고, 또한 도 16은 물체 단위의 부호화를 위한 신호 처리를 설명하기 위한 도면이다. 도 15의 (a)는, 부호화 처리 대상의 일례로서, 배경 화상과 전경(前景) 화상으로 구성되는 화상의 일례(수조속에서 헤엄치는 금붕어)를, 도 15의 (b)는 전경 화상(금붕어)을, 또한 도 15의 (c)는 배경 화상(수조속의 수초 및 물)을 나타내고 있다.

이러한 배경 화상과 전경 화상을 합성하기 위해서는, 합성에 의해 얻어지는 화상을 구성하는 각 화소에 대하여, 전경과 배경중 어느 화상을 표시할 것인 지를 특정하기 위한 정보가 필요하다. 이 때문에, 도 15의 (b)에 나타내는 전경 화상은, 도 16의 (a)에 나타내는 화소값 신호(pixel value signal)와, 도 16의 (b)에 나타내는 형상 신호(binary alpha signal)로 구성되는 것으로 하며, 형상 신호에 있어서 화상 표시를 지정하는 것으로 한다. 이 경우의 화소값 신호는, 금붕어의 텍스쳐를 나타내는 신호로서, 각 화소의 휘도 신호와 색차 신호를 포함하는 것이다. 또한 형상 신호는 금붕어의 형상 윤곽인 프로파일을 나타내는 신호로서, 윤곽 내부를 값 「1」, 윤곽 외부는 값 「0」으로 하는 2치 신호이다. 이 형상 신호는, 도면에서는 검은 부분으로 나타내는 값 「1」로 되는 영역에 대해서는, 화상 합성시에 전경으로서 표시하는 것을 나타내는 신호이다. 일반적으로 물체 단위로 부호화를 하는 경우에는, 특정한 물체에 대하여, 화소값 신호와, 형상 신호를 이용하는 것으로 하고, 해당 특정한 물체 이외의 부분에 대해서는, 화소값 신호만을 이용하는 것으로 하여, 효율적인 부호화 처리가 도모되는 것이다. 상기한 바와 같이, 이 경우에는, 전경 화상인 금붕어를 특정한 물체로서 취급하는 것이다.

도 16의 (a)에 나타내는 화소값 신호의 부호화에 대해서는, 전술한 바와 같이 시간적인 상관성이 있는 것에 근거하여, 이미 부호화된 화소값 신호를 복호화하여 얻어진 신호를 참조하여 부호화함으로써, 부호화 효율의 향상이 도모되고 있다. 또한, 2개의 화상을 적응적(adaptively)으로 변환하여 참조하는 것에 의해, 1개의 화상의 화소값 신호를 참조하는 것보다 더욱 부호화 효율을 높게 하도록 하는 부호화 방법도 이용되고 있으며, ISO MPEG1/2나 ITU-T H.261 등의 규격에 있어서는, 이러한 2개의 화상을 참조한 부호화에 대한 규정이 이루어져 있다.

도 17 및 도 18은, 이러한 복수 화상의 참조를 수반하는, 화소값 신호의 부호화를 설명하기 위한 도면이다. 도 17은 전경 화상을 구성하는, (a) 시각 t0, (b) 시각 t1, (c) 시각 t2에 있어서의 입력 화상의 화소값 신호를 나타낸다. 도시하는 바와 같이, 3 개의 입력 화소값 신호는, 도 14의 경우와 마찬가지로 하나의 시계열상에 나란히 위치하는 것이며, 시각 t0의 신호는 시각 t1의 신호보다 시계열적으로 전에 위치하며, 시각 t2의 신호는 시각 t1의 신호보다 시계열적으로 후에 위치하게 된다. 도 17의 (b)에 나타내는 시각 t1의 입력 화상의 화소값 신호는, 도 17의 (a)에 나타내는 전 시각 t0의 화소값 신호, 및 도 17의 (c)에 나타내는 후 시각 t2의 화소값 신호와 상관이 있는 것으로 되어 있다.

도 18의 (a)와 도 18의 (c)는, 도 17의 (a)와 도 17의 (c)에 나타내는 화소값 신호를 부호화한 후 복호화하여 얻어진 복호화 화소값 신호를 나타낸다. 도 17에 나타낸 상관 관계에 근거하여, 도 18의 (a)와 도 18의 (c)에 나타내는 시각 t0과 시각 t2의 복호화 화상의 화소값 신호를 이용하여, 도 18의 (b)에 나타내는 시각 t1의 예측 화상을 정밀도가 좋게 생성할 수 있다.

예측 화상에 대해서는, 대표적인 방법에 의하면, 시각 t0 및 시각 t2의 복호화 완료 화상을 각각 움직임 보상하여, 그들의 평균값을 시각 t1의 예측 화상으로 하는 것에 의해 생성할 수 있다. 시각 t1의 예측 화상은 시각 t1의 입력 화상과 큰 상관이 있기 때문에, 시각 t1의 예측 화상을 참조하여 시각 t1의 입력 화상을 부호화한다. 즉, 시계열적으로 전후에 위치하는 화상에 근거하여 생성한 예측 화상과 입력 화상과의 차분 화상을 취득하여, 이 차분 화상의 화소값 신호를 부호화 처리한다.

이와 같이, 부호화 대상의 화상이, 시계열적으로 전후에 위치하는 화상과 상관성이 강한 경우에는, 시계열적으로 전에 위치하는 화상과, 시계열적으로 후에 위치하는 화상을 예측 화상의 생성에 이용하는 것에 의해, 어느 한쪽을 이용하는 것보다 정밀도가 좋은 예측을 할 수 있는 것을 기대할 수 있다. 예측의 정밀도가 좋으면, 차분 화상의 화소값 신호는 데이터량이 적은 것으로 되기 때문에, 효율이 좋은 부호화가 실현된다.

전술한 바와 같이, 물체 단위로 부호화를 하는 경우, 화소값 신호에 대해서는, 상술한 바와 같이 시간적인 상관 관계에 근거하여 부호화 효율을 향상시키는 것이 도모되고 있다. 한편, 이것에 수반하는 형상 신호의 부호화에 대해서는, 프레임내 부호화만을 하는 경우, 또는 순방향 예측만을 수반하는 프레임간 부호화를 하는 경우에는, 화소값 신호와 마찬가지로 취급할 수 있는 것이었다. 그러나, 쌍방향 예측을 수반하는 프레임간 부호화를 하는 경우에는, 형상 신호의 부호화 처리에 있어서, 화소값 신호와 마찬가지의 처리를 하는 것에 의해, 처리의 효율이 저하된다는 점이 문제로 되어 있었다.

화소값 신호는 휘도 신호와 색신호를 포함하는 다치 신호이므로, 상기와 같은 평균값을 취득하는 연산에 의해, 양호한 예측 화상을 얻을 가능성이 높은 것으로 되기 때문에, 시간적으로 근접하는 데이터를 유지하여, 차분 취득이나 평균값 취득의 연산 처리를 하여 부호화 효율의 향상을 도모할 수 있는 것이다. 이와 대조적으로, 상술한 바와 같은 2치의 형상 신호를 이용하는 경우, 예컨대, 복수의 참조 정보를 이용하여 평균값을 취득함으로써, 양호한 예측을 하고자 하여도, 취득한 평균값이 2치중 어느 것에도 해당되지 않는 경우에는, 2치중 어느 하나를 이용할 수 밖에 없게 되어, 이러한 경우에는 평균값을 취득하는 연산 처리를 하는 장점은 그다지 없다. 대개, 2치 신호인 형상 신호에 대해서는, 시간적으로 근접하는 데이터를 유지하여, 평균값의 취득 등의 처리를 함으로써, 반드시 예측의 정밀도가 향상될 수 있는 것은 아니며, 장치 자원의 활용을 저해하거나, 부호화 처리에 있어서의 효율을 저하시키는 경우도 있다.

종래 기술에 의한 화상 부호화에 있어서, 화소값 신호와 형상 신호를 마찬가지로 처리하는 경우에는, 쌍방향 예측을 수반하는 부호화 처리에는, 상술한 바와 같이 처리의 효율이 저하하는 점이 문제로 되어 있었다. 또한, 이와 같이 화소값 신호에 대한 부호화 효율을 향상시키는 방법이 쉽게 응용하기 어렵다고 하는 사정때문에, 종래 기술에 있어서, 형상 신호에 대해서는 팩시밀리 등에서 이용되는 2치 신호용 가역적 압축 부호화 방법을 이용하는 등, 화소값 신호와 별도로 처리되어 기록·전송되는 등의 취급이 되는 경우도 있었다. 그러나, 이러한 가역적인 방법은 비가역적인 방법보다 일반적으로 압축 효율이 뒤떨어지는 것으로서, 부호화 효율이나 처리 효율의 향상을 그다지 도모할 수 있는 것은 아니다.

본 발명의 목적은 이러한 사정을 감안하여 이루어진 것으로서, 화소값 신호와, 형상 신호를 포함하는 화상 신호를 부호화 처리하는 데 있어서, 참조를 수반하는 부호화를 실행함으로써, 화소값 신호와 형상 신호중 어느 것에 대해서도, 부호화 효율의 향상을 도모할 수 있는 화상 부호화 방법을 제공하는 데 있다.

또한, 본 발명의 목적은 화소값 신호와, 형상 신호를 포함하는 화상 신호를 부호화 처리하는 데 있어서, 참조를 수반하는 부호화를 실행함으로써, 화소값 신호와 형상 신호중 어느 것에 대해서도, 부호화 효율의 향상을 도모할 수 있는 화상 부호화 장치를 제공하는 데 있다.

또한, 본 발명의 목적은 상기의 화상 부호화 방법에 의해 효율적으로 부호화 처리된 부호화 결과에 대하여 적절히 복호화 처리를 할 수 있는 화상 복호화 방법을 제공하는 데 있다.

또한, 본 발명의 목적은 상기의 화상 부호화 장치에 의해 효율적으로 부호화 처리된 부호화 결과에 대하여 적절히 복호화 처리를 할 수 있는 화상 복호화 장치를 제공하는 데 있다.

또한, 본 발명의 목적은 화소값 신호와, 형상 신호를 포함하는 화상 신호를 부호화 처리하는 데 있어서, 참조를 수반하는 부호화를 실행함으로써, 화소값 신호와 형상 신호중 어느 것에 대해서도, 부호화 효율의 향상을 도모할 수 있는 화상 부호화 프로그램을 기록한 기록 매체를 제공하는 데 있다.

또한, 본 발명의 목적은 상기의 화상 부호화 프로그램의 실행에 의해 효율적으로 부호화 처리된 부호화 결과에 대하여 적절히 복호화 처리를 할 수 있는 화상 복호화 프로그램을 기록한 기록 매체를 제공하는 데 있다.

도 1은 본 발명의 실시예 1에 의한 화상 부호화 장치의 구성을 나타내는 블럭도,

도 2는 동일 실시예에 있어서의 형상 신호 부호화 처리를 설명하기 위한 도면,

도 3은 본 발명의 실시예 2에 의한 화상 복호화 장치의 구성을 나타내는 블럭도,

도 4는 본 발명의 실시예 3에 있어서의 예측 선택 신호 생성 처리의 부호 할당을 설명하기 위한 도면,

도 5는 본 발명의 실시예 4에 있어서의 예측 선택 신호 생성 처리의 부호 할당을 설명하기 위한 도면,

도 6은 본 발명의 실시예 5에 있어서의 예측 선택 신호 생성 처리의 부호 할당을 설명하기 위한 도면,

도 7은 본 발명의 실시예 9에 있어서의 부호화 처리의 전환 단위를 설명하기 위한 도면,

도 8은 본 발명의 실시예 10에 있어서의 형상 신호 부호화 처리의 전환 단위를 설명하기 위한 도면,

도 9는 본 발명의 실시예 13에 있어서의 부호화 처리의 참조 관계를 설명하기 위한 도면,

도 10은 동일 실시예에 있어서의, B 프레임에 대한 부호화 처리의 처리 순서를 나타내는 플로우차트,

도 11은 동일 실시예에 있어서의 예측 전환기에 의한 부호화 제어의 처리 순서를 나타내는 플로우차트,

도 12는 본 발명의 실시예 16에 의한 화상 복호화 장치에 있어서의, B 프레임에 관한 복호화 처리의 처리 순서를 나타내는 플로우차트,

도 13은 본 발명의 실시예 19 및 20에 의한 화상 부호화 프로그램 기록 매체 및 화상 복호화 프로그램 기록 매체로서 이용할 수 있는 플로피 디스크를 도시한 도면,

도 14는 종래 기술에 의한, 시간적 상관 관계에 근거하는 화상 부호화 처리를 설명하기 위한 도면,

도 15는 종래 기술에 의한, 물체 단위의 화상 부호화 처리를 설명하기 위한 도면,

도 16은 종래 기술에 의한, 물체 단위의 화상 부호화 처리에서 이용되는 화소값 신호와 형상 신호를 설명하기 위한 도면,

도 17은 종래 기술에 의한, 물체 단위의 화상 부호화 처리에 있어서의, 화소값 신호의 시간적 상관 관계를 설명하기 위한 도면,

도 18은 종래 기술에 의한, 물체 단위의 화상 부호화 처리에 있어서의, 화소값 신호에 대한, 시간적 상관 관계에 근거하는 화상 부호화 처리를 설명하기 위한 도면.

도면의 주요 부분에 대한 부호의 설명

101 : 감산기 102, 111 : 부호화기

103, 112 : 복호화기 104 : 가산기

105, 106, 113, 114 : 스위치 회로 107, 108, 115, 116 : 메모리

109 : 평균값 계산기 110 : 예측 전환기

이 목적을 달성하기 위하여, 시간적 상관 관계에 근거하는 예측 처리에 있어서의 참조 대상의 선택을, 형상 신호 부호화에 대해서는, 화소값 신호 부호화와 별개로 독립적으로 제어함으로써 형상 신호의 성질에 적응한 예측 처리를 한다고 하는 착상을 얻었다.

상기 목적을 달성하기 위해, 본 발명의 청구항 1에 대한 화상 부호화 방법은, 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 포함하는 입력 화상 신호를 부호화 처리하는 화상 부호화 방법에 있어서, 상기 입력 화상 신호에 포함되는 화소값 신호를 처리 대상으로 하여, 부호화 처리후에 복호화 처리하여 얻어진 복호화 화소값 신호를 참조하여 부호화 처리하는 화소값 부호화 단계와, 상기 입력 화상 신호에 포함되는 형상 신호를 처리 대상으로 하여, 부호화 처리후에 복호화 처리하여 얻어진 복호화 형상 신호를 참조하여 부호화 처리하는 형상 부호화 단계와, 상기 화소값 부호화 단계에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 상기 형상 부호화 단계에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하고, 상기 생성한 신호에 근거하여, 부호화에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 생성하는 부호화 참조 특정 신호 생성 단계를 포함하는 것이다. 이에 따라, 화소값 신호 부호화 단계와, 형상 신호 부호화 단계에 있어서는, 각각 선택한 참조 신호의 참조를 수반하는 부호화를 실행한다.

또한, 청구항 2에 대한 화상 부호화 방법은, 청구항 1의 방법에 있어서, 상기 형상 부호화 단계는, 상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호를, 상기 참조하는 복호화 형상 신호로 하는 것이다. 이에 따라, 형상 신호를 시간적으로 근접하는 신호와의 상관 관계를 이용하여 부호화 처리한다.

또한, 청구항 3에 대한 화상 부호화 방법은, 청구항 2의 방법에 있어서, 상기 화소값 부호화 단계는, 상기 처리 대상으로 되는 화소값 신호에 대하여, 시계열적으로 전에 위치하는 화소값 신호로부터 얻어진 전시각 복호화 화소값 신호와, 상기 처리 대상으로 되는 화소값 신호에 대하여, 시계열적으로 후에 위치하는 화소값 신호로부터 얻어진 후시각 복호화 화소값 신호를, 상기 참조하는 복호화 화소값 신호로 하는 것이다. 이에 따라, 형상 신호와 화소값 신호를 시간적으로 근접하는 신호와의 상관 관계를 이용하여 부호화 처리한다.

또한, 청구항 4에 대한 화상 부호화 방법은, 청구항 1의 방법에 있어서, 상기 부호화 참조 특정 신호 생성 단계는, 상기 예측 선택 신호의 생성에 있어서, 상기 참조 화소값 지정 신호와, 상기 참조 형상 지정 신호를 통합하여 부호화 처리하는 것이다. 이에 따라, 빈도가 큰 현상에 대하여 짧은 부호 길이를 할당하여 예측 선택 신호를 생성한다.

또한, 청구항 5에 대한 화상 부호화 방법은, 청구항 1의 방법에 있어서, 상기 부호화 참조 특정 신호 생성 단계는, 상기 예측 선택 신호의 생성에 있어서, 상기 참조하는 복호화 형상 신호의 지정을 나타내는 방법에 대응하여, 상기 참조하는 복호화 화소값 신호의 지정을 나타내는 방법을 결정하는 것이다. 이에 따라, 빈도가 큰 현상에 대하여 짧은 부호 길이를 할당하여 예측 선택 신호를 생성한다.

또한, 청구항 6에 대한 화상 부호화 방법은, 청구항 1의 방법에 있어서, 상기 부호화 참조 특정 신호 특정 단계는, 상기 입력하는 화소값 신호의 단위인 화소값 전환 단위마다, 상기 참조 복호화 화소값 신호의 지정을 행하고, 상기 입력하는 형상 신호의 단위인 형상 전환 단위마다, 상기 참조 형상 신호의 지정을 행하는 것이다. 이에 따라, 형상 신호의 성질에 대응하여, 예측 정밀도를 크게 저하하지 않고 전환의 빈도를 적게 하여 부호화 처리를 한다.

또한, 청구항 7에 대한 화상 부호화 방법은, 청구항 6의 방법에 있어서, 상기 형상 전환 단위를, 상기 입력하는 형상 신호를 구성하는 프레임으로 하는 것이다. 이에 따라, 형상 신호의 성질에 대응하여, 프레임 단위의 전환을 하는 것에 의해, 예측 정밀도를 크게 저하하지 않고 전환의 빈도를 적게 하여 부호화 처리를 한다.

또한, 청구항 8에 대한 화상 부호화 방법은, 청구항 6의 방법에 있어서, 상기 전환 단위를, 상기 입력하는 형상 신호를 구성하는 대(大)블럭 단위와, 상기 대블럭 단위를 구성하는 소(小)블럭 단위를 포함하는 계층적 단위로 하는 것이다. 이에 따라, 형상 신호의 성질에 대응하여, 계층적 단위에서의 전환을 하는 것에 의해, 예측 정밀도를 크게 저하하지 않고 전환의 빈도를 적게 하여 부호화 처리를 한다.

또한, 청구항 9에 대한 화상 부호화 방법은, 청구항 1의 방법에 있어서, 상기 형상 부호화 단계는, 상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호중, 상기 처리 대상으로 되는 형상 신호와, 보다 시간적으로 근접하는 것을 선택하는 비교 판정 단계를 포함하고, 상기 비교 판정 단계에 있어서 선택된 복호화 형상 신호를 참조하는 것이다. 이에 따라, 형상 신호의 성질에 대응하여, 예측 정밀도를 크게 저하하지 않고, 형상 신호 부호화 처리에 있어서의 참조 처리를 간략화한다.

또한, 청구항 10에 대한 화상 부호화 방법은, 청구항 1의 방법에 있어서, 상기 형상 부호화 단계는, 상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호를 참조하는 것이다. 이에 따라, 형상 신호의 성질에 대응하여, 예측 정밀도를 크게 저하하지 않고, 형상 신호 부호화 처리에 있어서의 참조 처리를 크게 간략화한다.

또한, 청구항 11에 대한 화상 부호화 방법은, 청구항 1의 방법에 있어서, 상기 형상 부호화 단계는, 상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호중, 상기 처리 대상으로 되는 형상 신호와, 보다 시간적으로 근접하는 것을 선택하는 비교 판정 단계와, 상기 전시각 복호화 형상 신호를 선택하는 전방 고정 단계를 포함하여, 상기 비교 판정 단계, 또는 상기 전방 고정 단계에 있어서, 선택된 복호화 형상 신호를 참조하는 것이다. 이에 따라, 형상 신호의 성질에 대응하여, 예측 정밀도를 크게 저하하지 않고, 형상 신호 부호화 처리에 있어서의 참조 처리를 전환하여 간략화한다.

또한, 청구항 12에 대한 화상 복호화 방법은, 화상 신호에 포함되는, 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 부호화하여 얻어지는, 부호화 형상 신호와, 부호화 화소값 신호를 복호화 처리하는 화상 복호화 방법에 있어서, 부호화 처리에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 이용하여, 상기 예측 선택 신호로부터 취득하는 정보에 근거하여, 부호화 화소값 신호에 대한 복호화 처리에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 부호화 형상 신호에 대한 복호화 처리에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하는 복호화 참조 특정 신호 생성 단계와, 상기 부호화 화소값 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 단계에 있어서 생성된 참조 화소값 지정 신호에 근거하여, 특정한 복호화 화소값 신호를 참조하여 복호화 처리하는 화소값 복호화 단계와, 상기 부호화 형상 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 단계에 있어서 생성된 참조 형상 지정 신호에 근거하여, 특정한 복호화 형상 신호를 참조하여 복호화 처리하는 형상 복호화 단계를 포함하는 것이다. 이에 따라, 화소값 신호 복호화 단계와, 형상 신호 복호화 단계에 있어서는, 각각 적절한 참조를 수반하는 복호화를 실행한다.

또한, 청구항 13에 대한 화상 복호화 방법은, 청구항 12의 방법에 있어서, 상기 형상 복호화 단계는, 상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호를, 상기 참조하는 복호화 형상 신호로 하는 것이다. 이에 따라, 부호화 형상 신호를 시간적으로 근접하는 신호를 참조하여 복호화 처리한다.

또한, 청구항 14에 대한 화상 복호화 방법은, 청구항 13의 방법에 있어서, 상기 화소값 복호화 단계는, 상기 처리 대상으로 되는 부호화 화소값 신호에 대하여, 시계열적으로 전에 위치하는 화소값 신호로부터 얻어진 전시각 복호화 화소값 신호와, 상기 처리 대상으로 되는 부호화 화소값 신호에 대하여, 시계열적으로 후에 위치하는 화소값 신호로부터 얻어진 후시각 복호화 화소값 신호를, 상기 참조하는 복호화 화소값 신호로 하는 것이다. 이에 따라, 부호화 형상 신호와 부호화 화소값 신호를 시간적으로 근접하는 신호를 참조하여 복호화 처리한다.

또한, 청구항 15에 대한 화상 복호화 방법은, 청구항 12의 방법에 있어서, 상기 복호화 참조 특정 신호 생성 단계는, 상기 예측 선택 신호를 복호화 처리하여, 통합하여 부호화 처리된 상기 참조 화소값 지정 신호와, 상기 참조 형상 지정 신호를 취득하는 것이다. 이에 따라, 빈도가 큰 현상에 대하여 짧은 부호 길이를 할당하여 부호화 처리된 예측 선택 신호를 복호화 처리한다.

또한, 청구항 16에 대한 화상 복호화 방법은, 청구항 12의 방법에 있어서, 상기 복호화 참조 특정 신호 생성 단계는, 상기 예측 선택 신호의 복호화 처리에 있어서, 상기 참조하는 복호화 형상 신호의 지정을 나타내는 방법에 대응하여, 상기 참조하는 복호화 화소값 신호의 지정을 나타내는 방법을 결정하는 것이다. 이에 따라, 빈도가 큰 현상에 대하여 짧은 부호 길이를 할당하여 부호화 처리된 예측 선택 신호를 복호화 처리한다.

또한, 청구항 17에 대한 화상 복호화 방법은, 청구항 12의 방법에 있어서, 상기 복호화 참조 특정 신호 생성 단계는, 상기 부호화 화소값 신호의 단위인 화소값 전환 단위마다, 상기 참조 복호화 화소값 신호의 지정을 하고, 상기 부호화 형상 신호의 단위인 형상 전환 단위마다, 상기 참조 형상 신호의 지정을 하는 것이다. 이에 따라, 전환의 빈도를 적게 하여 부호화 처리된 부호화 형상 신호를 복호화 처리한다.

또한, 청구항 18에 대한 화상 복호화 방법은, 청구항 16의 방법에 있어서, 상기 형상 전환 단위를, 상기 부호화 형상 신호를 구성하는 프레임으로 하는 것이다. 이에 따라, 전환을 프레임 단위로 실행하여, 전환 빈도를 적게 하여 부호화 처리된 부호화 형상 신호를 복호화 처리한다.

또한, 청구항 19에 대한 화상 복호화 방법은, 청구항 16의 방법에 있어서, 상기 전환 단위를, 상기 부호화 형상 신호를 구성하는 대블럭 단위와, 상기 대블럭단위를 구성하는 소블럭 단위를 포함하는 계층적 단위로 하는 것이다. 이에 따라, 전환을 계층적 단위로 실행하여, 전환 빈도를 적게 하여 부호화 처리된 부호화 형상 신호를 복호화 처리한다.

또한, 청구항 20에 대한 화상 복호화 방법은, 청구항 12의 방법에 있어서, 상기 형상 복호화 단계는, 상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호중, 상기 처리 대상으로 되는 부호화 형상 신호와, 보다 시간적으로 근접하는 것을 선택하는 비교 판정 단계를 포함하여, 상기 비교 판정 단계에 있어서 선택된 복호화형상 신호를 참조하는 것이다. 이에 따라, 참조 처리를 간략화하여 부호화 처리된 부호화 형상 신호를 복호화 처리한다.

또한, 청구항 21에 대한 화상 복호화 방법은, 청구항 12의 방법에 있어서, 상기 형상 복호화 단계는, 상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호를 참조하는 것이다. 이에 따라, 참조 처리를 간략화하여 부호화 처리된 부호화 형상 신호를 복호화 처리한다.

또한, 청구항 22에 대한 화상 복호화 방법은, 청구항 12의 방법에 있어서, 상기 형상 복호화 단계는, 상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호중, 상기 처리 대상으로 되는 부호화 형상 신호와, 보다 시간적으로 근접하는 것을 선택하는 비교 판정 단계와, 상기 전시각 복호화 형상 신호를 선택하는 전방 고정 단계를 포함하여, 상기 비교 판정 단계, 또는 상기 전방 고정 단계에 있어서, 선택된 복호화 형상 신호를 참조하는 것이다. 이에 따라, 참조 처리를 간략화하여 부호화 처리된 부호화 형상 신호를 복호화 처리한다.

또한, 청구항 23에 대한 화상 부호화 장치는, 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 포함하는 입력 화상 신호를 부호화 처리하는 화상 부호화 장치에 있어서, 상기 입력 화상 신호에 포함되는 화소값 신호를 처리 대상으로 하여, 부호화 처리후에 복호화 처리하여 얻어진 복호화 화소값 신호를 참조하여 부호화 처리하는 화소값 부호화 수단과, 상 기 입력 화상 신호에 포함되는 형상 신호를 처리 대상으로 하여, 부호화 처리후에 복호화 처리하여 얻어진 복호화 형상 신호를 참조하여 부호화 처리하는 형상 부호화 수단과, 상기 화소값 부호화 수단이 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 상기 형상 부호화 수단이 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하고, 상기 생성한 신호에 근거하여, 부호화에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 생성하는 부호화 참조 특정 신호 생성 수단을 구비한 것이다. 이에 따라, 화소값 신호 부호화 수단과, 형상 신호 부호화 수단은, 각각 선택한 참조 신호의 참조를 수반하는 부호화를 실행한다.

또한, 청구항 24에 대한 화상 복호화 장치는, 화상 신호에 포함되는, 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 부호화하여 얻어지는, 부호화 형상 신호와, 부호화 화소값 신호를 복호화 처리하는 화상 복호화 장치에 있어서, 부호화 처리에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 이용하여, 상기 예측 선택 신호로부터 취득하는 정보에 근거하여, 부호화 화소값 신호에 대한 복호화 처리에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 부호화 형상 신호에 관한 복호화 처리에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하는 복호화 참조 특정 신호 생성 수단과, 상기 부호화 화소값 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 수단에 있어서 생성된 참조 화소값 지정 신호에 근거하여, 특정한 복호화 화소값 신호를 참조하여 복호화 처리하는 화소값 복호화 수단과, 상기 부호화 형상 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 수단에 있어서 생성된 참조 형상 지정 신호에 근거하여, 특정한 복호화 형상 신호를 참조하여 복호화 처리하는 형상 복호화 수단을 구비한 것이다. 이에 따라, 화소값 신호 복호화 수단과, 형상 신호 복호화 수단은, 각각 선택한 참조 신호의 참조를 수반하는 복호화를 실행한다.

또한, 청구항 25에 대한 화상 부호화 프로그램 기록 매체는, 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 포함하는 입력 화상 신호를 부호화 처리하는 화상 부호화 프로그램을 기록한 화상 부호화 프로그램 기록 매체에 있어서, 상기 입력 화상 신호에 포함되는 화소값 신호를 처리 대상으로 하여, 부호화 처리후 복호화 처리된 복호화 화소값 신호를 참조하여 부호화 처리하는 화소값 부호화 단계와, 상기 입력 화상 신호에 포함되는 형상 신호를 처리 대상으로 하여, 부호화 처리후 복호화 처리된 복호화 형상 신호를 참조하여 부호화 처리하는 형상 부호화 단계와, 상기 화소값 부호화 단계에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 상기 형상 부호화 단계에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하고, 상기 생성한 신호에 근거하여, 부호화에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 생성하는 부호화 참조 특정 신호 생성단계를 포함하는 화상 부호화 프로그램을 기록한 것이다. 이에 따라, 컴퓨터 시스템 등에 있어서 해당 화상 부호화 프로그램을 실행하는 것에 의해, 화소값 신호 부호화 단계와, 형상 신호 부호화 단계에 있어서는, 각각 선택한 참조 신호의 참조를 수반하는 부호화 처리를 실행한다.

또한, 청구항 26에 대한 화상 복호화 프로그램 기록 매체는, 화상 신호에 포함되는, 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 부호화하여 얻어지는, 부호화 형상 신호와, 부호화 화소값 신호를 복호화 처리하는 화상 복호화 프로그램을 기록한 화상 복호화 프로그램 기록 매체에 있어서, 부호화 처리에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 이용하여, 상기 예측 선택 신호로부터 취득하는 정보에 근거하여, 부호화 화소값 신호에 관한 복호화 처리에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 부호화 형상 신호에 관한 복호화 처리에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하는 복호화 참조 특정 신호 생성 단계와, 상기 부호화 화소값 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 단계에 있어서 생성된 참조 화소값 지정 신호에 근거하여, 특정한 복호화 화소값 신호를 참조하여 복호화 처리하는 화소값 복호화 단계와, 상기 부호화 형상 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 단계에 있어서 생성된 참조 형상 지정 신호에 근거하여, 특정한 복호화 형상 신호를 참조하여 복호화 처리하는 형상 복호화 단계를 포함하는 화상 복호화 프로그램을 기록한 것이다. 이에 따라, 컴퓨터 시스템 등에 있어서 해당 화상 부호화 프로그램을 실행하는 것에 의해, 화소값 신호 복호화 단계와, 형상 신호 복호화 단계에 있어서는, 각각 적절한 참조를 수반하는 복호화 처리를 실행한다.

(실시예 1)

본 발명의 실시예 1에 의한 화상 부호화 방법 및 화상 부호화 장치는, 화소값 신호 및 형상 신호의 각각에 대하여, 참조 신호를 전환하여 이용하는 것에 의해, 부호화 효율의 향상을 도모하는 것이다.

도 1은, 본 실시예 1에 의한 화상 부호화 장치의 구성을 나타내는 블럭도이다. 도시하는 바와 같이 본 실시예 1에 의한 화상 부호화 장치는, 감산기(101), 부호화기(encoder)(화소값 신호용)(102), 복호화기(decoder)(화소값 신호용)(103), 가산기(104), 제 1 스위치 회로(105), 제 2 스위치 회로(106), 메모리(복호화 화소값 신호 기억용 1)(107), 메모리(복호화 화소값 신호 기억용 2)(108), 평균값 계산기(109), 예측 전환기(110), 부호화기(형상 신호용)(111), 복호화기(형상 신호용)(112), 제 3 스위치 회로(113), 제 4 스위치 회로(114), 메모리(복호화 형상 신호 기억용 1)(115), 및 메모리(복호화 형상 신호 기억용 2)(116)를 구비한 것이다.

동일 도면에 있어서, 감산기(101)는 해당 화상 부호화 장치의 장치 입력인 입력 화소값 신호 S151과, 후술하는 제 2 스위치 회로(106)로부터 출력되는 참조 화소값 신호 S155와의 차분을 연산하여, 차분 화소값 신호 S152를 생성한다. 부호화기(화소값 신호용)(102)는, 차분 화소값 신호 S152를 압축 부호화하여, 부호화 화소값 신호 S153을 생성한다. 복호화기(화소값 신호용)(103)는, 부호화 화소값 신호 S153에 대하여, 부호화 처리의 역처리인 복호화 처리를 하여, 부호화 복호화 화소값 신호 S154를 생성한다. 가산기(104)는, 부호화 복호화 화소값 신호 S154와, 제 2 스위치 회로(106)로부터 출력되는 참조 화소값 신호 S155를 가산 처리하여, 복호화 화소값 신호 S156을 생성한다.

제 1 스위치 회로(105)는, 예측 전환기(110)로부터 입력되는 복호화 화소값 전환 신호 S171에 대응하여, 복호화 화소값 신호 S156의 출력 목적지를 전환한다. 제 1 스위치 회로(105)의 전환에 의해, 복호화 화소값 신호 S156은, 메모리(107), 또는 메모리(108)에 입력되어 유지되든지, 또는 어느 쪽의 메모리에도 입력되지 않는 것으로 되든지중 어느 하나로 된다.

제 2 스위치 회로(106)는, 예측 전환기(110)로부터 입력되는 참조 화소값 전환 신호 S172에 대응하여, 참조 화소값 신호 S155로서 이용하는 신호를 선택한다. 제 2 스위치 회로(106)의 선택에 의해, 메모리(107)에 있어서 유지된 제 1 기억 복호화 화소값 신호 S157, 메모리(108)에 있어서 유지된 제 2 기억 복호화 화소값 신호 S158, 평균값 계산기(109)에 의해 취득된 평균 복호화 화소값 신호 S159, 또는 소정값중 어느 하나가 참조 화소값 신호로서 이용되게 된다. 여기서, 소정값이란 부호화기(102)가 프레임내 부호화를 할 때에 이용되는 고정된 화소 데이터인 것으로 한다. 또한, 선택된 참조 화소값 신호 S155는, 감산기(101)와, 가산기(104)에 출력된다.

메모리(107) 및 (108)은, 제 1 스위치 회로(105)로부터 입력된 복호화 화소값 신호 S156을 프레임 단위로 기억한다. 평균값 계산기(109)는, 제 1 스위치 회로(105)의 전환에 의해 메모리(107) 및 (108)에 있어서 유지된, 시간적으로 상이한 프레임의 복호화 화소값 신호를 입력하고, 그 평균값을 취득하여, 평균 복호화 화소값 신호 S159를 생성한다. 본 실시예 1에서는, 메모리(107) 및 메모리(108)에 기억되는 복호화 화소값 신호는, 부호화 대상인 화소값 신호보다 시계열적으로 전에 위치하는 화소값 신호로부터 얻어진 전(前)시각 복호화 화소값 신호, 및 부호화 대상인 화소값 신호보다 시계열적으로 후에 위치하는 화소값 신호로부터 얻어진 후(後)시각 복호화 화소값 신호중 어느 하나가 되도록 제어되는 것이다.

감산기(101), 부호화기(102), 복호화기(103), 가산기(104), 평균값 계산기(109), 메모리(107), 메모리(108), 제 1 스위치 회로(105), 및 제 2 스위치 회로(106)는, 복호화된 화소값 신호를 참조하여 입력 화소값 신호를 부호화하는 화소값 부호화 수단으로서 기능한다.

예측 전환기(110)는, 제 1∼제 4 스위치 회로에 대하여, 제어용 신호인 복호화 화소값 전환 신호 S171, 참조 화소값 전환 신호 S172, 복호화 형상 전환 신호 S173, 및 참조 형상 전환 신호 S174를 출력함으로써, 각각의 스위치 회로에 있어서의, 복호화 화소값 신호의 출력 목적지, 참조 화소값 신호의 선택, 복호화 형상 신호의 출력 목적지, 참조 형상 신호의 선택의 전환을 제어한다. 그리고, 참조 화소값 신호를 특정하는 참조 화소값 지정 신호로서 이용되는 참조 화소값 전환 신호와, 참조 형상 신호를 특정하는 참조 형상 지정 신호로서 이용되는 참조 형상 전환 신호와의 출력 결과를 부호화 처리하여 얻어지는 예측 선택 신호 S175를 생성하여, 복호화 장치에 통지하도록 출력하는, 부호화 참조 특정 신호 생성 수단으로서 기능한다.

부호화기(형상 신호용)(111)는, 해당 화상 부호화 장치의 장치 입력인 입력형상 신호 S161에 대하여, 후술하는 제 4 스위치 회로(114)로부터 출력되는 참조 형상 신호 S166을 참조한 압축 부호화 처리를 하여, 부호화 형상 신호 S162를 생성한다. 복호화기(형상 신호용)(112)는, 부호화 형상 신호 S162에 대하여, 제 4 스위치 회로(114)로부터 출력되는 참조 형상 신호 S166을 참조한, 부호화 처리의 역처리인 복호화 처리를 하여, 복호화 형상 신호 S163을 생성한다.

제 3 스위치 회로(113)는, 예측 전환기(110)로부터 입력되는 복호화 형상 전환 신호 S173에 대응하여, 복호화 형상 신호 S163의 출력 목적지를 전환한다. 제 3 스위치 회로(113)의 전환에 의해, 복호화 형상 신호 S163은, 메모리(115), 또는 메모리(116)에 입력되어 유지되든지, 또는 어느 쪽의 메모리에도 입력되지 않는 것으로 되든지중 어느 하나로 된다.

제 4 스위치 회로(114)는, 예측 전환기(110)로부터 입력되는 참조 형상 전환 신호 S174에 대응하여, 참조 형상 신호 S166로서 이용하는 신호를 선택한다. 제 4 스위치 회로(114)의 선택에 의해, 메모리(115)에 있어서 유지된 제 1 기억 복호화 형상 신호 S164, 메모리(116)에 있어서 유지된 제 2 기억 복호화 형상 신호 S165, 또는 소정값중 어느 하나가 참조 형상 신호로서 이용되게 된다. 또한, 선택된 참조 형상 신호 S166은, 부호화기(111)와, 복호화기(112)에 출력된다.

메모리(115) 및 (116)은, 제 3 스위치 회로(113)로부터 입력된 복호화 형상 신호 S163을 프레임 단위로 기억한다. 본 실시예 1에 있어서는, 메모리(115) 및 메모리(116)에 기억되는 복호화 형상 신호는, 부호화 대상인 형상 신호보다 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호, 및 부호화 대상인 형상 신호보다 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호중 어느 하나가 되도록 제어되는 것이다.

부호화기(111), 복호화기(112), 메모리(115, 116), 제 3 스위치 회로(113),제 4 스위치 회로(114)는, 복호화된 형상 신호를 참조하여 형상 신호를 부호화하는 형상 부호화 수단으로서 기능한다.

도 2는, 본 실시예 1에 의한 화상 부호화 장치에 있어서의 형상 신호의 부호화를 설명하기 위한 도면이다. 이하에, 본 실시예 1에 의한 화상 부호화 장치의 동작을, 도 1 및 도 2를 이용하여 설명한다.

본 실시예 1에 의한 화상 부호화 장치의 장치 입력인, 입력 화소값 신호 S151과 입력 형상 신호 S161이 본 장치에 입력되면, 입력 화소값 신호 S151은 감산기(101)에, 입력 형상 신호 S161은 부호화기(형상 신호용)(111)에 입력된다.

감산기(101)에 있어서는, 입력 화소값 신호 S151과, 제 2 스위치 회로(106)로부터 출력되는 참조 화소값 신호 S155가 입력되어, 감산 처리에 의해 얻어지는 차분 화소값 신호 S152가 부호화기(102)에 출력된다. 부호화기(102)는 차분 화소값 신호 S152에 대하여, 소정의 압축 부호화 처리를 하여, 부호화 화소값 신호 S153을 생성한다. 부호화 화소값 신호 S153은, 본 실시예 1에 의한 화상 부호화 장치의 장치 출력의 일부로 됨과 동시에, 복호화기(103)에도 입력된다. 복호화기(103)는, 입력된 부호화 화소값 신호 S153에 대하여, 부호화기(102)에 있어서의 부호화 처리의 역처리인 복호화 처리를 하여, 부호화 복호화 화소값 신호 S154를 생성한다. 부호화 복호화 화소값 신호 S154는, 가산기(104)에 출력된다.

가산기(104)에 있어서는, 부호화 복호화 화소값 신호 S154와, 제 2 스위치 회로(106)로부터 출력되는 참조 화소값 신호 S155가 입력되어, 가산 처리에 의해 얻어지는 복호화 화소값 신호 S156이 제 1 스위치 회로(105)에 출력된다.

제 1 스위치 회로(105)는, 예측 전환기(110)가 출력하는 복호화 화소값 전환 신호 S171에 따라서, 입력된 복호화 화소값 신호 S156을, 메모리(107) 또는 메모리(108)에 출력한다. 메모리(107), 메모리(108)에 있어서는, 입력된 복호화 화소값 신호 S156이 프레임 단위로 기억된다. 제 1 스위치 회로(105)는, 복호화 화소값 전환 신호 S171이, 복호화 화소값 신호 S156을 유지하지 않도록 지시한 경우에는, 복호화 화소값 신호 S156을 폐기하여, 어느 쪽의 메모리에도 출력하지 않는다.

예측 전환기(110)는, 원칙적으로 제 1 스위치 회로(105)로부터는, 복호화 화소값 신호 S156이, 메모리(107) 및 메모리(108)에 교대로 출력되도록, 직전에 출력한 메모리와는 다른 메모리에 대하여 복호화 화소값 신호 S156을 출력하도록, 복호화 화소값 전환 신호 S171에 따라 지시를 한다. 또한, 복호화 화소값 신호 S156이, 부호화 처리에 있어서 참조되는 일이 없는 신호인 경우는, 복호화 화소값 전환 신호 S171에 의해, 복호화 화소값 신호 S156을 폐기하도록 지시하는 것이다.

메모리(107) 또는 메모리(108)에 입력된 복호화 화소값 신호 S156은, 각각 제 1 기억 복호화 화소값 신호 S157, 제 2 기억 복호화 화소값 신호 S158로서 유지된다. 또한, 제 1 기억 복호화 화소값 신호 S157과, 제 2 기억 복호화 화소값 신호 S158은, 평균값 계산기(109)에 입력되고, 평균값 계산기(109)는, 양자의 평균을 취득함으로써 평균 복호화 화소값 신호 S159를 생성한다.

제 2 스위치 회로(106)는, 예측 전환기(110)로부터의 참조 화소값 전환 신호 S172에 따라서, 소정값, 제 1 기억 복호화 화소값 신호 S157, 제 2 기억 복호화 화소값 신호 S158, 또는 평균 복호화 화소값 신호 S159중 어느 하나를 선택하여, 해당 선택한 신호를 참조 화소값 신호 S155로서, 감산기(101)와 가산기(104)에 출력한다.

예측 전환기(110)로부터의 참조 화소값 전환 신호 S172를 이용한, 제 2 스위치 회로(106)에 대한 전환 지시는 아래와 같이 실행된다. 부호화기(102)에 있어서 부호화 처리를 받는 부호화 대상이 I 프레임인 경우, 참조 처리를 수반하는 부호화는 실행되지 않기 때문에, 제 2 스위치 회로(106)에서는 소정값이 선택되도록 지시를 한다. 이에 따라, 프레임내 부호화에 이용되는 소정값이, 참조 화소값 신호 S155로서 출력된다.

부호화기(102)에 있어서의 부호화 대상이 P 프레임인 경우, 예측 전환기(110)는, 제 1 기억 복호화 화소값 신호 S157, 또는 제 2 기억 복호화 화소값 신호 S158중, 부호화 대상보다 시계열적으로 전의 것이 선택되도록 제 2 스위치 회로(106)에 지시를 한다.

부호화기(102)에 있어서의 부호화 대상이 B 프레임인 경우, 예측 전환기(110)는, 제 1 기억 복호화 화소값 신호 S157, 제 2 기억 복호화 화소값 신호 S158, 또는 평균 복호화 화소값 신호 S159중 어느 하나가 선택되도록 지시를 한다. 본 실시예 1에 있어서, 예측 전환기(110)는, 선택 가능한 범위에 있어서, 감산기(101)에 있어서 취득되는 차분이 최소로 되는 것을 선택하는 것으로 한다. 이에 따라, 부호화 대상 화상보다 전시각의 화상, 부호화 대상 화상보다 후시각의 화상, 혹은 그 양자의 평균에 의해 얻어지는 화상중에서, 참조 화상으로서, 화소값 신호에 있어서의 움직임 검출 오차의 크기를 최소로 하는 것이 선택되게 된다.

또, 부호화 대상이 P 프레임, 또는 B 프레임인 경우에는, 프레임내 부호화, 또는 프레임간 부호화중 어느 것이라도 실행하는 것이 가능하고, 예측 전환기(110)에 있어서는, 모든 조건에 따라 프레임내 부호화를 선택하여, 소정값을 출력하도록 지시하는 것도 할 수 있다.

입력 화소값 신호 S151에 대한, 이상과 같은 부호화 처리는, 종래 기술에 의한 프레임내 부호화 및 프레임간 부호화를 실행하는 경우와 같은 것으로 되어 있다. 특히 B 프레임의 경우의 부호화 처리에 있어서는, 복수의 참조 후보중에서 선택함으로써, 부호화 효율의 향상을 도모하도록 되어 있다.

한편, 본 실시예 1에 의한 화상 부호화 장치에 있어서, 장치 입력으로 되는 입력 형상 신호 S161은, 부호화기(형상 신호용)(111)에 입력되어, 부호화기(111)에 있어서, 압축 부호화 처리가 이루어진다. 이 압축 부호화 처리는, 후술하는 제 4 스위치 회로(114)로부터 출력되는 복호화 형상 신호 S166을 참조하여 실행되게 된다. 부호화기(111)로부터는, 부호화 처리에 의해 생성된 부호화 형상 신호 S162가, 해당 화상 부호화기의 장치 출력의 일부로서 출력됨과 동시에, 복호화기(형상 신호용)(112)에도 입력된다.

복호화기(112)는, 입력된 부호화 형상 신호 S162에 대하여, 부호화기(111)에 있어서의 부호화 처리의 역처리인 복호화 처리를 하여, 복호화 형상 신호 S163을 생성한다. 이 복호화 처리는, 제 4 스위치 회로(114)로부터 출력되는 참조 형상 신호 S166을 참조하여 실행된다.

복호화 형상 신호 S163은, 제 3 스위치 회로(113)에 출력된다. 제 3 스위치 회로(113)는, 예측 전환기(110)가 출력하는 복호화 형상 전환 신호 S173의 지시에 따라, 입력된 복호화 형상 신호 S163을, 메모리(115) 또는 메모리(116)에 출력한다. 메모리(115), 메모리(116)에 있어서는, 입력된 복호화 형상 신호 S163이 프레임 단위로 기억된다. 제 3 스위치 회로(113)는, 복호화 형상 전환 신호 S173이, 복호화 형상 신호 S163을 유지하지 않도록 지시한 경우에는, 복호화 형상 신호 S163을 폐기하여, 어느 쪽의 메모리에도 출력하지 않는다.

예측 전환기(110)는, 원칙적으로 제 3 스위치 회로(113)로부터는, 복호화 형상 신호 S163이, 메모리(115) 및 메모리(116)에 교대로 출력되도록, 직전에 출력한 메모리와는 다른 메모리에 대하여 복호화 형상 신호 S163을 출력하도록, 복호화 형상 전환 신호 S173에 따라 지시를 한다. 또한, 복호화 형상 신호 S163이, 부호화 처리에 있어서 참조되는 일이 없는 신호인 경우는, 복호화 형상 전환 신호 S173에 의해, 복호화 형상 신호 S163을 폐기하도록 지시하는 것이다. 메모리(115), 또는 메모리(116)에 입력된 복호화 형상 신호 S163은, 각각 제 1 기억 복호화 형상 신호 S164, 제 2 기억 복호화 형상 신호 S165로서 유지된다.

제 4 스위치 회로(114)는, 예측 전환기(110)로부터의 참조 형상 전환 신호 S174에 따라서, 소정값, 제 1 기억 복호화 형상 신호 S164, 또는 제 2 기억 복호화형상 신호 S165중 어느 하나를 선택하여, 해당 선택한 신호를 참조 형상 신호 S166로서, 부호화기(111)와 복호화기(112)에 출력한다.

도 2는, 형상 신호에 대한, 참조를 수반하는 부호화 처리를 설명하기 위한 도면이다. 동일 도면에 있어서, 도 2의 (a)는 부호화 대상인 시각 t1의 형상 신호보다도 시계열적으로 전에 위치하는 시각 t0의 형상 신호를 부호화한 후 복호화하여 얻어진, 시각 t0의 복호화 형상 신호이다. 또한, 도 2의 (c)는 부호화 대상인 시각 t1의 형상 신호보다도 시계열적으로 후에 위치하는 시각 t2의 형상 신호를 부호화한 후 복호화하여 얻어진, 시각 t2의 복호화 형상 신호이다. 전술한 바와 같이, 2치 정보인 형상 신호에 대해서는, 시간적으로 근접하는 정보를 참조하여 차분값을 취득하거나, 시계열적으로 전후에 위치하는 복수의 정보의 평균을 구하여 이를 참조하더라도, 그들의 조작에 의해서 반드시 부호화 효율의 향상을 도모할 수 있는 것은 아니다. 그러나, 시간적인 상관 관계에 근거하는 처리가 효과적인 경우도 있다.

도 2에 도시하는 바와 같이 부호화 대상인 시각 t1에 있어서의 화상의 형상 신호는, 부분적으로는, 도 2의 (a)에 나타내는 전시각 t0의 복호화 화상의 형상 신호나, 도 2의 (c)에 나타내는 후시각 t2의 복호화 화상의 형상 신호와 일치하는 것으로 되어 있다. 이러한 경우에, 이들 시계열에 있어서 전후에 근접하는 복호화형상 신호를 이용하여, 예측 형상 신호를 생성함으로써, 부호화 효율의 향상을 도모할 수 있게 된다. 그리고, 예측의 정밀도의 향상을 도모하기 위해서는, 부호화 대상인 형상 신호가 적절한 단위마다, 예측에 이용하는 복호화 형상 신호를 선택해 주는 것이 바람직하다. 그래서, 본 실시예 1에 있어서는, 화소값 신호의 부호화에 있어서의 참조 화상의 선택과는 별개로 독립적으로, 형상 신호의 부호화에 있어서의 예측 방법을 선택함으로써, 형상 신호의 부호화에 있어서도 참조를 수반한 처리에 의한 부호화 효율의 향상을 도모하는 것이다.

본 실시예 1에 의한 화상 부호화 장치에서는, 예측 전환기(110)는, 제 4 스위치 회로(114)에 있어서의 선택에 대하여, 부호화기(11l)에 있어서의 출력 비트수가 최소로 되는 것이, 참조 형상 신호 S166으로서 출력되도록, 참조 형상 전환 신호를 이용하여 지시하는 것이다. 이에 따라 부호화기(111)에 있어서는, 소정값인 참조 형상 신호 S166을 이용한 참조를 동반하지 않는 프레임내 부호화, 또는 제 1, 또는 제 2 기억 복호화 형상 신호 S164, 또는 S165인 참조 형상 신호 S166을 이용한, 전시각, 또는 후시각의 참조 형상 신호를 참조한 프레임간 부호화중, 가장 부호화 효율이 양호한 것을 실행하게 된다.

입력 화소값 신호 S151 및 입력 형상 신호 S161에 대한, 상기한 바와 같은 부호화 처리에 있어서, 예측 전환기(110)로부터는, 각 스위치 회로의 제어를 위한, 복호화 화소값 전환 신호 S171, 참조 화소값 전환 신호 S172, 복호화 형상 전환 신호 S173, 및 참조 형상 전환 신호 S174가 생성되어 출력된다. 예측 전환기(110)는 또, 생성한 각 전환 신호를 부호화하여, 예측 선택 신호 S175를 생성한다. 예측 선택 신호 S175는, 부호화 화소값 신호 S153, 및 부호화 형상 신호 S162와 함께, 본 실시예 1에 의한 화상 부호화 장치의 장치 출력으로 되어, 복호화 처리에 있어서 이용되게 된다.

이와 같이, 본 실시예 1의 화상 부호화 장치에 의하면, 감산기(101), 부호화기(화소값 신호용)(102), 복호화기(화소값 신호용)(103), 가산기(104), 제 1 스위치 회로(105), 제 2 스위치 회로(106), 메모리(107, 108), 평균값 계산기(109), 예측 전환기(110), 부호화기(형상 신호용)(111), 복호화기(형상 신호용)(112), 제 3 스위치 회로(113), 제 4 스위치 회로(114), 메모리(115, 116)를 구비하였기 때문에, 예측 전환기(110)가, 제 2 스위치 회로에 있어서의, 입력 화소값 신호 S151의 부호화에 이용하는 참조 화소값 신호의 선택과, 제 4 스위치 회로에 있어서의 입력형상 신호 S161의 부호화에 이용하는 참조 형상 신호의 선택을, 별개 독립적으로 선택이 이루어지도록 제어하는 것에 의해, 입력 화소값 신호 및 입력 형상 신호중 어느 것에 대해서도, 부호화 효율의 향상을 도모하는 것이 가능해진다.

또, 본 실시예 1에서는, 예측 전환기(110)에 의한 제 4 스위치 회로(114)의 제어에 있어서, 부호화기(111)에 있어서의 출력 비트수를 최소로 하도록 하는 선택을 지시하는 것으로 하였지만, 이것은 일례이고, 부호화 대상의 화상의 성질, 해당 화상 부호화 장치의 처리 능력이나 처리 상황 등에 따라 설정할 수 있다. 예컨대, 본 실시예 1에 의한 부호화 결과를 전송하는 경우의 송신 버퍼의 빈 용량을 관찰하여, 빈 용량이 많은 경우에는 프레임내 부호화를 우선하여 실행하는 것과 같은 제어를 하는 것도 설정에 의해 가능하다.

(실시예 2)

본 발명의 실시예 2에 의한 화상 복호화 방법 및 화상 복호화 장치는, 실시예 1에 의한 화상 부호화 처리에 의해 얻어진 부호화 결과를 적절히 복호화 처리하는 것이다.

도 3은, 본 실시예 2에 의한 화상 복호화 장치의 구성을 나타내는 블럭도이다. 도시하는 바와 같이 본 실시예 2에 의한 화상 복호화 장치는, 복호화기(화소값 신호용)(303), 가산기(304), 제 1 스위치 회로(305), 제 2 스위치 회로(306), 메모리(복호화 화소값 신호 기억용 1)(307), 메모리(복호화 화소값 신호 기억용 2)(308), 평균값 계산기(309), 복호화기(형상 신호용)(312), 제 3 스위치 회로(313), 제 4 스위치 회로(314), 메모리(복호화 형상 신호 기억용 1)(315), 메모리(복호화 형상 신호 기억용 2)(316), 순차 배열용(sequencing) 메모리(화소값 신호용)(361), 순차 배열용 메모리 (형상 신호용)(362), 및 예측 전환기(370)를 구비한 것이다.

동일 도면에 있어서, 복호화기(화소값 신호용)(303), 가산기(304), 제 1 스위치 회로(305), 제 2 스위치 회로(306), 메모리(307, 308), 평균값 계산기(309)는, 실시예 1에 있어서의 (103∼109)와 마찬가지의 것이며, 복호화된 참조 화소값 신호를 참조하여, 입력 부호화 화소값 신호를 복호화 처리하는 화소값 복호화 수단으로서 기능한다. 복호화기(형상 신호용)(312), 제 3 스위치 회로(313), 제 4 스위치 회로(314), 메모리(315, 316)는, 실시예 1에 있어서의 (112∼116)와 같은 것이며, 복호화된 참조 형상 신호를 참조하여, 입력 부호화 형상 신호를 복호화 처리하는 형상 복호화 수단으로서 기능한다.

순차 배열용 메모리(361, 362)는, 필요한 순차 배열을 위해 복호화 결과를 유지한다. 도 14를 이용하여 설명한 바와 같이, 부호화 처리에 있어서 쌍방향의 참조를 동반하는 부호화 처리가 실행된 경우에는, 시간적으로 후(後)가 되는 화상이 먼저 부호화 처리되게 된다. 따라서, 복호화 처리에서는 입력된 부호화 결과를 단순히 입력 순서대로 복호 처리하여 출력하였다면, 본래의 화상과 동등한 복호화 결과를 얻을 수 있지 않는 경우도 있으므로, 일단 순차 배열용 메모리에 있어서 유지하여, 올바른 순서로 판독되어 출력되도록 하는 것이다.

예측 전환기(370)는, 입력 예측 선택 신호를 복호화 처리하여, 실시예 1에 있어서 예측 전환기(110)(도 1)가 출력한 각 스위치 회로에 대한 제어용 신호를 취득하여, 이것에 근거하여, 각 스위치 회로에 대하여 전환 신호를 출력함으로써, 화소값 신호 복호화 및 형상 신호 복호화에 있어서의 참조 신호를 지시하는, 복호화참조 특정 신호 생성 수단으로서 기능한다.

이와 같이 구성된 본 실시예 2에 의한 화상 복호화 장치의 동작을 이하에 설명한다.

본 실시예 2에 의한 화상 복호화 장치에 대하여, 장치 입력으로서, 입력 부호화 화소값 신호 S353, 입력 부호화 형상 신호 S363, 및 입력 예측 선택 신호 S375가 입력된다. 입력 부호화 화소값 신호 S353, 입력 부호화 형상 신호 S363, 및 입력 예측 선택 신호 S375는, 실시예 1에 의한 화상 부호화 장치의 장치 출력인, 부호화 화소값 신호 S153, 부호화 형상 신호 S162, 및 예측 선택 신호 S175에 각각 상당하는 신호이다. 본 실시예 2에 의한 화상 복호화 장치에 있어서, 입력 부호화 화소값 신호 S353은 복호화기(화소값 신호용)(303)에, 입력 부호화 형상 신호 S363은 복호화기(형상 신호용)(312)에, 그리고 입력 예측 선택 신호 S375는, 예측 전환기(370)에 각각 입력된다.

예측 전환기(370)는 입력 예측 선택 신호 S375에 대하여 복호화 처리를 하는 것에 의해, 복호화 화소값 전환 신호, 참조 화소값 전환 신호, 복호화 형상 전환 신호, 참조 형상 전환 신호중 어느 하나의 신호를 취득한다. 예측 전환기(370)는 취득한 신호에 근거하여, 복호화 화소값 전환 신호 S371, 참조 화소값 전환 신호 S372, 복호화 형상 전환 신호 S373, 참조 형상 전환 신호 S374를 제 1∼제 4 스위치 회로에 출력한다.

복호화기(화소값 신호용)(303)는, 부호화 화소값 신호 S353에 대하여 복호화 처리를 하고, 부호화 복호화 화소값 신호 S321를 생성하여, 이것을 가산기(304)에 출력한다. 가산기(304)에는, 제 2 스위치 회로로부터 출력되는 참조 화소값 신호 S323이 입력되고, 부호화 복호화 화소값 신호 S321과, 참조 화소값 신호 S323이 가산 처리되는 것에 의해, 복호화 화소값 신호 S322가 생성된다. 복호화 화소값 신호 S322는, 순차 배열용 메모리(361)에 입력되어 유지됨과 동시에, 제 1 스위치 회로(305)에도 출력된다.

제 1 스위치 회로(305)에 있어서는, 실시예 1의 경우와 마찬가지로, 예측 전환기(370)로부터 출력되는 복호화 화소값 전환 신호 S371에 따라서, 복호화 화소값 신호 S322의 출력 목적지를 전환한다. 그리고, 복호화 화소값 신호 S322는 어느 하나의 메모리에 입력되어 유지되든지, 또는 어느 메모리에도 입력되지 않게 된다. 평균값 계산기(309)에는, 메모리(307, 308)에 있어서 유지된 신호가 입력되고, 그 평균값이 취득되어, 평균 복호화 화소값 신호 S326이 생성된다.

제 2 스위치 회로(306)에서는, 실시예 1의 경우와 마찬가지로, 예측 전환기(370)로부터 출력되는 참조 화소값 전환 신호 S372에 따라서, 참조 화소값 신호 S323로서 이용하는 신호의 선택이 행하여진다. 이 선택에 있어서, 소정값, 메모리(307)에서 유지된 제 1 기억 복호화 화소값 신호 S324, 메모리(308)에서 유지된 제 2 기억 복호화 화소값 신호 S325, 또는 평균 복호화 화소값 신호 S326중 어느 하나가, 참조 화소값 신호 S323으로서 제 2 스위치 회로(306)로부터 가산기(304)에 출력된다.

전술한 바와 같이, 예측 전환기(370)로부터 출력되는 복호화 화소값 전환 신호 S371 및 참조 화소값 전환 신호 S372는, 실시예 1에 의한 화상 부호화 장치가 출력한 신호와 동일한 것으로 되어 있다. 따라서, 실시예 1과 마찬가지로 제 1 스위치 회로(305)에 있어서의 선택이 되는 것에 의해, 메모리(307) 및 메모리(308)에 있어서의 기억이 실행되고, 실시예 1과 마찬가지로 제 2 스위치 회로(306)에 있어서의 선택이 되는 것에 의해, 부호화 처리에 있어서 이용된 것과 동종의 참조 신호가 이용되게 된다.

한편, 복호화기(형상 신호용)(312)는, 제 4 스위치 회로로부터 입력되는 참조 형상 신호 S332를 이용하여, 입력 부호화 형상 신호 S363을 복호화 처리하여, 복호화 형상 신호 S331을 생성한다. 복호화 형상 신호 S331은, 순차 배열용 메모리(362)에 입력되어 유지됨과 동시에, 제 3 스위치 회로(313)에도 출력된다. 제 3 스위치 회로(313)에 있어서는, 실시예 1의 경우와 마찬가지로, 예측 전환기(370)로부터 출력되는 복호화 형상 전환 신호 S373에 따라서, 복호화 형상 신호 S331의 출력 목적지를 전환한다. 그리고, 복호화 형상 신호 S331은 어느 하나의 메모리에 입력되어 유지되든지, 또는 어느 쪽의 메모리에도 입력되지 않게 된다.

제 4 스위치 회로(314)에서는, 실시예 1의 경우와 마찬가지로, 예측 전환기(370)로부터 출력되는 참조 형상 전환 신호 S374에 따라서, 참조 형상 신호 S332로서 이용하는 신호의 선택이 행하여진다. 이 선택에 있어서, 소정값, 메모리(315)에서 유지된 제 1 기억 복호화 형상 신호 S333, 또는 메모리(316)에서 유지된 제 2 기억 복호화 형상 신호 S334중 어느 하나가, 참조 형상 신호 S332로서 제 4 스위치 회로(314)로부터 복호화기(형상 신호용)(312)에 출력된다.

전술한 바와 같이, 예측 전환기(370)로부터 출력되는 복호화 형상 전환 신호 S373 및 참조 형상 전환 신호 S374는, 실시예 1에 의한 화상 부호화 장치가 출력한 신호와 동일한 것으로 되어 있다. 따라서, 실시예 1과 마찬가지로 제 3 스위치 회로(313)에 있어서의 선택이 되는 것에 의해, 메모리(315) 및 메모리(316)에 있어서의 기억이 실행되고, 실시예 1와 마찬가지로 제 4 스위치 회로(314)에 있어서의 선택이 되는 것에 의해, 부호화 처리에 있어서 이용된 것과 동종의 참조 신호가 이용되게 된다.

적절한 참조 화소값 신호 S323을 이용하여 처리된 복호화 화소값 신호 S322와, 적절한 참조 형상 신호 S332를 이용하여 처리된 복호화 형상 신호 S331이, 각각 순차 배열용 메모리(361, 362)에 있어서 유지되고, 해당 화상 복호화 장치의 장치 출력으로서는, 화소값 복호화 결과 S381과, 형상 복호화 결과 S382가 출력되게 된다.

이와 같이, 본 실시예 2의 화상 복호화 장치에 의하면, 복호화기(화소값 신호용)(303), 가산기(304), 제 1 스위치 회로(305), 제 2 스위치 회로(306), 메모리(307, 308), 평균값 계산기(309), 복호화기(형상 신호용)(312), 제 3 스위치 회로(313), 제 4 스위치 회로(314), 메모리(315, 316), 순차 배열용 메모리(화소값 신호용)(361), 순차 배열용 메모리(형상 신호용)(362), 예측 전환기(370)를 구비하였기 때문에, 예측 전환기(370)가, 입력 예측 선택 신호 S375를 복호화 처리하여 취득하는 신호에 근거하는 제어 신호를 이용하여, 각 스위치 회로에 대한 선택의 지시를 하는 것에 의해, 실시예 1의 화상 부호화 장치에 있어서 효율적으로 부호화 처리된, 입력 부호화 화소값 신호 S353과 입력 부호화 형상 신호 S363의 쌍방을 적절히 복호화하는 것이 가능해진다.

(실시예 3)

본 발명의 실시예 3에 의한 화상 부호화 방법 및 화상 부호화 장치는, 실시예 1에 의한 화상 부호화 처리와 마찬가지로, 화소값 신호 처리와 형상 신호 처리의 제어를 실행하는 것이다.

본 실시예 3에 의한 화상 부호화 장치의 구성은 실시예 1과 마찬가지이고, 설명에는 도 1을 이용한다. 그리고, 본 실시예 3에 의한 화상 부호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 부호화 처리는 실시예 1과 마찬가지로 실행된다.

본 실시예 3에 의한 화상 부호화 장치에 있어서는, 예측 전환기(110)에 의한 예측 선택 신호 S175의 생성 방법이 실시예 1과는 다르다. 도 4는 본 실시예 3에 의한 화상 부호화 장치에 있어서의, 예측 선택 신호 S175의 생성시의 부호 할당 방법을 설명하기 위한 도면이다. 이하에 본 실시예 3에 있어서의 예측 전환기(110)에 의한, 예측 선택 신호 S175의 생성 방법에 대하여, 도 4를 이용하여 설명한다.

도 4의 (a)는, 형상 신호 처리에 관한 부호 할당(code allocation)을 나타내고 있다. 도 1에 있어서, 예측 전환기(110)가, 참조 형상 전환 신호 S174를 이용하여 제 4 스위치 회로(114)에 지시한 내용이, 「소정값 참조」, 즉 소정값을 이용하는 부호화이었는지, 「전방 참조」, 즉 시계열적으로 전의 화상을 참조하는 부호화이었는지, 「후방 참조」, 즉 시계열적으로 후의 화상을 참조하는 부호화이었는지에 대응하여, 예측 전환기(110)는, 부호 「0」, 「10」, 또는 「11」을 할당하여 예측 선택 신호 S175를 생성한다.

도 4의 (b)는, 화소값 신호 처리에 관한 부호 할당을 나타내고 있다. 도 1에 있어서, 예측 전환기(110)가, 참조 화소값 전환 신호 S172를 이용하여 제 2 스위치 회로(106)에 지시한 내용이, 「소정값 참조」, 즉 소정값을 이용하는 부호화이었는지, 「전방 참조」, 즉 시계열적으로 전의 화상을 참조하는 부호화이었는지, 「후방 참조」, 즉 시계열적으로 후의 화상을 참조하는 부호화이었는지, 「쌍방 참조」, 즉 시계열적으로 전후의 화상을 참조하는 부호화이었는지에 대응하여, 예측 전환기(110)는, 부호 「00」, 「01」, 「10」, 또는 「11」을 할당하여 예측 선택 신호 S175를 생성한다.

어느 경우에도, 여기서 소정값으로서 고정값을 이용하는 것으로 하면, 「소정값 참조」는 프레임내 부호화를 의미하게 된다.

이와 같이, 본 실시예 3에 의한 화상 부호화 장치에 의하면, 실시예 1의 화상 부호화 장치와 마찬가지의 구성에 있어서, 예측 전환기(110)가, 입력 화소값 신호의 부호화 처리에 이용한 제어 신호와, 입력 형상 신호의 부호화 처리에 이용한 제어 신호에 대응하여, 각각 소정의 부호 할당에 따라서 예측 선택 신호 S175를 생성하기 때문에, 실시예 1과 마찬가지로 각각의 입력 신호를 효율적으로 부호화하여, 해당 부호화시에 이용한 참조 처리를 나타내는 정보를 복호화 처리에 있어서 이용하여, 적절한 복호화 처리를 실행할 수 있도록 도모하는 것이 가능해진다.

또, 도 4에 나타내는 부호 할당은 일례이며, 각종 할당 방법을 이용하는 것이 가능하고, 출현 빈도가 높은 것에 짧은 부호 길이의 것을 할당하여, 전체적인 비트수의 저감을 도모하는 것도 가능하다.

(실시예 4)

본 발명의 실시예 4에 의한 화상 부호화 방법 및 화상 부호화 장치는, 실시예 3에 의한 화상 부호화 처리와 마찬가지로, 예측 선택 신호의 생성 방법에 관한 것이다.

본 실시예 4에 의한 화상 부호화 장치의 구성은 실시예 1과 마찬가지이며, 설명에는 도 1을 이용한다. 그리고, 본 실시예 4에 의한 화상 부호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 부호화 처리는 실시예 1과 마찬가지로 실행된다.

본 실시예 4에 의한 화상 부호화 장치에 있어서는, 예측 전환기(110)에 의한 예측 선택 신호 S175의 생성 방법이 실시예 1과는 다르다. 도 5는 본 실시예 3에 의한 화상 부호화 장치에 있어서의, 예측 선택 신호 S175의 생성시의 부호 할당 방법을 설명하기 위한 도면이다. 이하에 본 실시예 4에 있어서의 예측 전환기(110)에 의한, 예측 선택 신호 S175의 생성 방법에 대하여, 도 5를 이용하여 설명한다.

실시예 3에 있어서는, 형상 신호 처리에 관한 정보와, 화소값 신호 처리에 관한 정보를 분리하여 신호를 생성하는 것으로 하였지만, 본 실시예 4에 있어서는, 양자를 조합하여 부호 할당 방법을 정하는 것이다. 도 5에 도시하는 바와 같이 본 실시예 4에 있어서는, 화소값 신호 처리와 형상 신호 처리의 쌍방에 있어서, 「소정값 참조」, 「전방 참조」, 「후방 참조」가 선택된 경우에 가장 짧은 부호 길이를 할당하고, 화소값 신호 처리에 있어서 「쌍방 참조」가 선택되고, 형상 신호 처리에 있어서 「전방 참조」, 또는「후방 참조」가 선택된 경우에는, 다음으로 짧은 부호 길이를 할당하는 것으로 하고 있다.

실시예 1에 있어서 설명한 바와 같이, 본 실시예 4에 의한 화상 부호화 장치에 있어서도, 화소값 신호의 부호화 처리와, 형상 신호의 부호화 처리는 별개 독립적으로 제어하는 것이지만, 일반적으로 화소값 신호에 있어서의 참조 신호의 선택과, 형상 신호에 있어서의 참조 신호의 선택 사이에는 상관 관계가 인정된다. 이것은, 한쪽이, 예컨대 시계열적으로 전인 화상과 상관 관계가 높아서 「전방 참조」가 선택되는 경우에는, 다른쪽에 있어서도 같은 선택이 되는 것이 많다라는 것을 나타내고 있다.

따라서, 본 실시예 4에 의한 화상 부호화 장치에서는, 예측 선택 신호 S175의 생성에 있어서, 이러한 상관 관계를 고려한 부호 할당을 이용하는 것에 의해, 발생 빈도가 큰 것에 짧은 부호 길이를 할당하는 것에 의해, 실시예 3에 의한 경우보다도 예측 선택 신호 S175의 부호 길이의 저감을 도모하고, 나아가서는 부호화효율 전체의 향상도 도모할 수 있다.

이와 같이 본 실시예 4의 화상 부호화 장치에 의하면, 실시예 1의 화상 부호화 장치와 마찬가지의 구성에 있어서, 예측 전환기(110)가, 입력 화소값 신호의 부호화 처리에 이용한 제어 신호와, 입력 형상 신호의 부호화 처리에 이용한 제어 신호에 대응하여, 각각의 선택을 조합한 소정의 부호 할당에 따라서 예측 선택 신호 S175를 생성하기 때문에, 실시예 1과 마찬가지로 각각의 입력 신호를 효율적으로 부호화하고, 또한, 해당 부호화시에 이용한 참조 처리를 나타내는 정보를, 효율적으로 예측 선택 신호로 하는 것이 가능해진다.

또, 실시예 3과 마찬가지로, 도 5에 나타내는 부호 할당은 일례이며, 이 예에 한하지 않고 출현 빈도에 따른 부호 길이를 할당하는 것에 따라, 동일한 효과를 얻는 것이 가능하다.

(실시예 5)

본 발명의 실시예 5에 의한 화상 부호화 방법 및 화상 부호화 장치는, 실시예 3 및 4에 의한 화상 부호화 처리와 마찬가지로, 예측 선택 신호의 생성 방법에 관한 것이다.

본 실시예 5에 의한 화상 부호화 장치의 구성은 실시예 1과 마찬가지이고, 설명에는 도 1을 이용한다. 그리고, 본 실시예 5에 의한 화상 부호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 부호화 처리는 실시예 1과 마찬가지로 행해진다.

본 실시예 5에 의한 화상 부호화 장치에 있어서는, 예측 전환기(110)에 의한 예측 선택 신호 S175의 생성 방법이 실시예 1과는 다르다. 도 6은 본 실시예 3에 의한 화상 부호화 장치에 있어서의, 예측 선택 신호 S175의 생성시의 부호 할당 방법을 설명하기 위한 도면이다. 이하에 본 실시예 4에 있어서의 예측 전환기(110)에 의한, 예측 선택 신호 S175의 생성 방법에 대하여, 도 6을 이용하여 설명한다.

도 6의 (a)는, 형상 신호의 부호화 처리에 관한 부호 할당으로서, 이 내용은 도 4의 (a)에 나타내는 실시예 3의 것과 동일하다. 도 6의 (b)는, 형상 신호의 부호화 처리와, 화소값 신호의 부호화 처리의 조합에 대한 부호 할당이다.

본 실시예 5에서는, 예측 전환기(110)는, 예측 선택 신호 S175의 생성에 있어서, 우선 형상 신호 처리에 대응하여, 도 6의 (a)에 따른 부호를 할당하고, 다음에 형상 신호 처리와 화소값 신호 처리와의 조합에 대응하여 도 6의 (b)에 따른 부호를 할당한다.

예컨대, 형상 신호의 처리에 있어서 「전방 참조」이고, 화소값 신호의 처리에 있어서 「전방 참조」이었던 경우에는, 우선 부호 「10」를, 다음에 부호 「0」를 할당하게 된다. 이것에 대하여 형상 신호가 「전방 참조」이고, 화소값 신호가 「후방 참조」이었던 경우에는, 우선 부호 「10」를, 다음에 부호 「100」를 할당하게 된다. 도 6의 (b)는 도 5와 마찬가지로, 형상 신호와 화소값 신호의 상관 관계를 고려하여, 출현 빈도가 높은 경우에 짧은 부호 길이를 할당하는 것이다.

이와 같이 본 실시예 5의 화상 부호화 장치에 의하면, 실시예 1의 화상 부호화 장치와 마찬가지의 구성에 있어서, 예측 전환기(110)가, 우선 입력 형상 신호의 부호화 처리에 이용한 제어 신호에 대응한 부호 할당을 행하고, 이어서 입력 형상 신호와 입력 화소값 신호의 부호화 처리에 이용한 제어 신호의 조합에 대응하여 부호 할당을 행하여 예측 선택 신호 S175를 생성하기 때문에, 실시예 1과 마찬가지로 각각의 입력 신호를 효율적으로 부호화하고, 또한, 해당 부호화시에 이용한 참조 처리를 나타내는 정보를, 효율적으로 예측 선택 신호로 하는 것이 가능해진다.

또, 실시예 3 및 4와 마찬가지로, 도 6에 나타내는 부호 할당은 일례이고, 이 예에 한정되는 것이 아니라 출현 빈도에 따른 부호 길이를 할당하는 것에 따라, 동일한 효과를 얻는 것이 가능하다.

(실시예 6)

본 발명의 실시예 6에 의한 화상 복호화 방법 및 화상 복호화 장치는, 실시예 3에 의한 화상 부호화 처리에 의해 얻어진 부호화 결과를 적절히 복호화 처리하는 것이다.

본 실시예 6에 의한 화상 복호화 장치의 구성은 실시예 2와 마찬가지이고, 설명에는 도 3을 이용한다. 그리고, 본 실시예 6에 의한 화상 복호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 복호화 처리는 실시예 2와 마찬가지로 실행된다.

본 실시예 6에 의한 화상 복호화 장치에 있어서는, 실시예 3에 의한 화상 부호화 장치가 출력하는 부호화 결과를 입력하는 것이며, 본 실시예 6에 의한 화상 복호화 장치에는, 입력 예측 선택 신호 S375(도 3)로서, 도 4에 나타내는 부호 할당이 이루어진 신호가 입력된다. 본 실시예 6에 의한 화상 복호화 장치에서는, 예측 전환기(370)가 이것을 정확하게 복호화함으로써, 실시예 2와 마찬가지의 복호화 처리를 하여, 실시예 3에 의한 부호화 결과를 적절히 복호화 처리하는 것이다.

이와 같이, 본 실시예 6에 의한 화상 복호화 장치에 의하면, 실시예 2의 화상 복호화 장치와 마찬가지의 구성에 있어서, 실시예 3에 의한 부호화 결과를 입력하여, 예측 전환기(370)가, 입력 예측 선택 신호 S375를 복호화하기 때문에, 실시예 3에 의한 부호화 결과를 적절히 복호화 처리하는 것이 가능해진다.

(실시예 7)

본 발명의 실시예 7에 의한 화상 복호화 방법 및 화상 복호화 장치는, 실시예 4에 의한 화상 부호화 처리에 의해 얻어진 부호화 결과를 적절히 복호화 처리하는 것이다.

본 실시예 7에 의한 화상 복호화 장치의 구성은 실시예 2와 마찬가지이고, 설명에는 도 3을 이용한다. 그리고, 본 실시예 7에 의한 화상 복호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 복호화 처리는 실시예 2와 마찬가지로 실행된다.

본 실시예 7에 의한 화상 복호화 장치에 있어서는, 실시예 4에 의한 화상 부호화 장치가 출력하는 부호화 결과를 입력하는 것이며, 본 실시예 7에 의한 화상 복호화 장치에는, 입력 예측 선택 신호 S375(도 3)로서, 도 5에 나타내는 부호 할당이 이루어진 신호가 입력된다. 본 실시예 7에 의한 화상 복호화 장치에서는, 예측 전환기(370)가 이것을 정확하게 복호화함으로써, 실시예 2와 마찬가지의 복호화 처리를 하여, 실시예 4에 의한 부호화 결과를 적절히 복호화 처리하는 것이다.

이와 같이, 본 실시예 7에 의한 화상 복호화 장치에 의하면, 실시예 2의 화상 복호화 장치와 마찬가지의 구성에 있어서, 실시예 4에 의한 부호화 결과를 입력하여, 예측 전환기(370)가, 입력 예측 선택 신호 S375를 복호화하기 때문에, 실시예 4에 의한 부호화 결과를 적절히 복호화 처리하는 것이 가능해진다.

(실시예 8)

본 발명의 실시예 8에 의한 화상 복호화 방법 및 화상 복호화 장치는, 실시예 5에 의한 화상 부호화 처리에 의해 얻어진 부호화 결과를 적절히 복호화 처리하는 것이다.

본 실시예 8에 의한 화상 복호화 장치의 구성은 실시예 2와 마찬가지이고, 설명에는 도 3을 이용한다. 그리고, 본 실시예 8에 의한 화상 복호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 복호화 처리는 실시예 2와 마찬가지로 실행된다.

본 실시예 8에 의한 화상 복호화 장치에 있어서는, 실시예 5에 의한 화상 부호화 장치가 출력하는 부호화 결과를 입력하는 것이며, 본 실시예 8에 의한 화상 복호화 장치에는, 입력 예측 선택 신호 S375(도 3)로서, 도 6에 나타내는 부호 할당이 이루어진 신호가 입력된다. 본 실시예 8에 의한 화상 복호화 장치에서는, 예측 전환기(370)가 이것을 정확하게 복호화함으로써, 실시예 2와 마찬가지의 복호화 처리를 하여, 실시예 5에 의한 부호화 결과를 적절히 복호화 처리하는 것이다.

이와 같이, 본 실시예 8에 의한 화상 복호화 장치에 의하면, 실시예 2의 화상 복호화 장치와 마찬가지의 구성에 있어서, 실시예 5에 의한 부호화 결과를 입력하여, 예측 전환기(370)가 입력 예측 선택 신호 S375를 복호화하기 때문에, 실시예 5에 의한 부호화 결과를 적절히 복호화 처리하는 것이 가능해진다.

(실시예 9)

본 발명의 실시예 9에 의한 화상 부호화 방법 및 화상 부호화 장치는, 실시예 1과 마찬가지의 제어를 실행하는 것이지만, 화소값 신호와 형상 신호에 대하여 다른 전환 단위를 이용하여 제어를 하는 것이다.

본 실시예 9에 의한 화상 부호화 장치의 구성은 실시예 1과 마찬가지이고, 설명에는 도 1을 이용한다. 그리고, 본 실시예 9에 의한 화상 부호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 부호화 처리는 실시예 1과 마찬가지로 실행된다.

본 실시예 9에 의한 화상 부호화 장치에 있어서는, 예측 전환기(110)에 의한 제어용 신호의 출력이, 화소값 신호의 처리를 제어하는 경우와, 형상 신호의 처리를 제어하는 경우에 있어서는 상이하게 된다.

도 7은, 본 실시예 9에 있어서의 제어의 전환 단위를 설명하기 위한 도면이다. 도 7의 (a)는 화소값 신호에 있어서의 참조 처리를 설명하기 위한 도면이다. 도시하는 바와 같이, 1 프레임(1 화면)분의 화소값 신호는, 블럭을 단위로 하여, 복수(이 예에서는 9개)의 블럭으로 구성되는 것으로서, 부호화 처리는 이 블럭을 처리 단위로 하여 실행된다. 본 실시예 9에 있어서는, 화소값 신호에 대한 제어의 전환 단위는 블럭으로 하는 것이며, 부호화 대상으로 하는 입력 화소값 신호의 1 블럭마다, 도 1에 있어서의 제 2 스위치 회로(106)에 있어서의 전환이 실행된다.

이와 대조적으로, 형상 신호에 대해서는, 1 프레임을 제어의 전환 단위로 하는 것이다. 따라서, 부호화 대상으로 하는 입력 형상 신호의 1 프레임마다, 도 1에 있어서의 제 4 스위치 회로(114)에 있어서의 전환이 실행된다.

화소값 신호에 있어서는, 도 7a에 도시하는 바와 같이 블럭을 단위로 하여 참조 화상의 전환을 실행함으로써, 프레임을 단위로 하는 경우보다도, 예측 정밀도가 향상할 가능성이 높아서, 일반적으로 부호화 효율의 향상을 도모할 수 있게 된다. 이와 대조적으로, 형상 신호에서는 화소값 신호와는 통계적 성질이 크게 다른 것이며, 작은 단위로 예측 화상을 전환함으로써, 일률적으로 예측 정밀도를 향상시킬 수 있는 것은 아니다. 이것은, 형상 신호에 있어서는 물체의 윤곽을 나타내는 부분의 신호에 대해서는 큰 의미를 가지는 것이지만, 윤곽 외부나 완전히 윤곽 내부에 포함되는 부분의 신호는 그다지 의미가 없는 신호로서, 거의 균등하게 의미가 있는 신호로 구성되는 화소값 신호와는 다른 성질의 것에 의한다.

한편, 예측 선택 신호 S175(도 1)가 갖는 부호량은, 화소값 신호에 대해서도, 형상 신호에 대해서도 마찬가지이며, 작은 단위로 전환을 할수록 증대하는 것이다. 따라서, 형상 신호에 대해서는, 예측 정밀도에 영향을 미치지 않을 정도로 큰 단위로 전환을 실행함으로써, 장치 출력에 포함되는 예측 선택 신호 S175의 부호량을 저감할 수 있는 만큼, 전체적인 부호화 효율의 향상을 도모하는 것이 가능해진다. 특히, 형태 단말기 등의 지극히 낮은 비트 속도 부호화에 의해, 영상이나 데이터 등을 송수신하는 기기의 경우에는, 화상을 구성하는 화소값 신호나 형상 신호에 대하여 할당되는 부호량은 작은 것으로 되기 때문에, 예측 선택 신호의 부호량의 영향은 상대적으로 큰 것으로 되어, 부호량 삭감의 효과는 크다.

이와 같이 본 실시예 9의 화상 부호화 장치에 의하면, 실시예 1의 화상 부호화 장치와 마찬가지의 구성에 있어서, 예측 전환기(110)에 있어서의 제어의 전환 단위를, 화소값 신호에 대해서는 블럭마다, 형상 신호에 대해서는 프레임마다 하는 것에 의해, 전환의 크기가 예측 정밀도에 영향을 미치기 어려운 형상 신호에 대해서는 비교적 큰 단위로 제어를 하여, 장치 출력인 예측 선택 신호 S175의 부호량을 저감시켜, 전체적인 부호화 효율의 향상을 도모하는 것이 가능해진다. 특히, 매우 낮은 비트 속도로 처리가 행해지는 경우에는 적당한 것으로 된다.

또, 본 실시예 9에서는, 형상 신호에 대한 부호화 처리에 있어서, 상시 프레임을 전환 단위로 하여 실행하는 것으로 하였지만, 프레임과 블럭 등, 전환 단위가 다른 제어를 병용하거나, 또는 선택하여 실행하는 것으로 하는 것도 가능하다. 그리고, 이러한 제어를 실행하는 경우에는, 장치 출력으로 하는 예측 선택 신호 S175가, 프레임 레벨의 정보와 블럭 레벨의 정보 등, 계층이 다른 정보를 포함하는 것으로 할 수 있으며, 이러한 정보에 있어서, 예컨대 프레임 레벨의 정보는 참조 방법을 지정하는 것으로 하고, 블럭 레벨의 정보는 프레임내 부호화든지 참조를 수반하는 부호화를 지정하는 것으로 하는 것이, 부호 할당의 설정 등에 의해 가능하다.

또한, 본 실시예 9에서는, 형상 신호에 대해서는, 프레임을 제어의 전환 단위로 한 것이지만, 이것은 일례이고, 예컨대 매크로 블럭 단위, 혹은 보다 다수의 블럭을 단위로 하여 전환하는 것도 가능하다. 일반적으로 화소값 신호와 형상 신호에서 제어의 전환 단위를 서로 다른 것으로 하여, 형상 신호에 대해서는 보다 큰 단위를 전환 단위로 하는 것에 의해 마찬가지의 효과가 얻어진다.

(실시예 10)

본 발명의 실시예 10에 의한 화상 부호화 방법 및 화상 부호화 장치는, 실시예 9와 마찬가지로, 화소값 신호와 형상 신호에 대하여 상이한 전환 단위를 이용하여 제어를 하는 것이다.

본 실시예 10에 의한 화상 부호화 장치의 구성은 실시예 1과 마찬가지이고, 설명에는 도 1을 이용한다. 그리고, 본 실시예 10에 의한 화상 부호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 부호화 처리는 실시예 1과 마찬가지로 실행된다.

본 실시예 10에 의한 화상 부호화 장치에 있어서는, 예측 전환기(110)에 의한 제어용 신호의 출력이, 화소값 신호의 처리를 제어하는 경우와, 형상 신호의 처리를 제어하는 경우에서는 상이한 것으로 된다. 본 실시예 10에 있어서, 화소값 신호의 처리에 대해서는, 실시예 9와 마찬가지로 블럭을 전환 단위로 하여 제어한다. 그리고, 형상 신호의 처리에 대한 제어의 전환 단위는 실시예 9와 상이한 것으로 된다.

도 8은, 본 실시예 10에 있어서의, 형상 신호 처리에 대한 제어의 전환 단위를 설명하기 위한 도면이다. 동일 도면에 있어서, 프레임(804∼807)은, 부호화 대상으로 되는 형상 신호의 시계열적으로 근접하여 전후에 위치하는 복호화 형상 신호이다. 프레임(804∼807)은, 시각 t1, 시각 t2, 시각 t3, 시각 t4의 4프레임분의 형상 신호로서, 도 1에 있어서는, 메모리(115, 116)에 2프레임분씩 기억된 것으로 한다. 본 실시예 10에 있어서 처리 대상으로 하는 1 프레임분의 형상 신호는, 3슬라이스(slice)를 포함하는 것이다. 예컨대 프레임(807)은 슬라이스(8071∼8073)를 포함하고 있다.

슬라이스(801)는, 부호화 대상으로 되는, 시각 te의 형상 신호 프레임에 포함되는 슬라이스이다. 슬라이스(801)에는, 빗금친 부호화 대상의 블럭이 포함되고 있다. 본 실시예 10에 있어서의 형상 신호에 대한 제어의 전환은, 프레임과, 슬라이스의 2개의 계층으로 이루어지는 계층적 단위로 되어 있다. 본 실시예 10에 있어서는, 우선, 프레임(804∼807)의 4 프레임중 2 프레임을 선택한다. 선택된 2 프레임으로부터 각각, 슬라이스(801)에 해당하는 위치의 슬라이스(802)와 슬라이스(803)가 취득된다. 다음에, 슬라이스(802), 슬라이스(803), 및 소정값중 어느 하나가 선택되어 참조 신호로서 이용되게 된다.

도 1에 있어서는, 예측 전환기(110)가 참조 형상 전환 신호 S174를 이용하여 선택을 지시하고, 해당 선택이 도 8에 있어서의 슬라이스(802), 또는 슬라이스(803)이었던 경우에는, 메모리(115), 또는 메모리(116)로부터 해당하는 부분의 데이터가 판독되고, 참조 형상 신호 S166로서 이용되게 된다.

이와 같이 본 실시예 10의 화상 부호화 장치에 의하면, 실시예 1의 화상 부호화 장치와 마찬가지의 구성에 있어서, 예측 전환기(110)에 있어서의 제어의 전환 단위를, 화소값 신호에 대해서는 블럭마다, 형상 신호에 대해서는 대(大)블럭 단위인 프레임과, 소(小)블럭 단위인 슬라이스의 계층적 단위로 하는 것에 의해, 전환의 크기가 예측 정밀도에 영향을 미치기 어려운 형상 신호에 대해서는 비교적 큰 단위로 제어를 하여, 장치 출력인 예측 선택 신호 S175의 부호량을 저감시켜, 전체적인 부호화 효율의 향상을 도모하는 것이 가능해진다. 특히 매우 낮은 비트 속도로 처리가 행해지는 경우에는 적당한 것으로 된다.

또, 본 실시예 10에 있어서도, 실시예 9와 마찬가지로, 전환 단위(계층적 단위)가 상이한 제어를 병용하거나, 또는 적절히 선택하여 실행하는 것이 가능하며, 예측 선택 신호가 복수 레벨의 정보를 포함하는 것으로 하는 것도 가능하다.

또한, 실시예 9 및 10에 있어서는, 모두 형상 신호의 처리에 있어서의 전환 단위에 대하여 나타낸 것이지만, 화소값 신호의 처리에 있어서도, 제어의 전환 단위를 변경하는 것은 가능하고, 블럭마다 전환을 하지 않으면 안되는 것이 아니다.

(실시예 11)

본 발명의 실시예 11에 의한 화상 복호화 방법 및 화상 복호화 장치는, 실시예 9에 의한 화상 부호화 처리에 의해 얻어진 부호화 결과를 적절히 복호화 처리하는 것이다.

본 실시예 11에 의한 화상 복호화 장치의 구성은 실시예 2와 마찬가지이고, 설명에는 도 3을 이용한다. 그리고, 본 실시예 11에 의한 화상 복호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 복호화 처리는 실시예 2와 마찬가지로 실행된다.

본 실시예 11에 의한 화상 복호화 장치에 있어서는, 실시예 9에 의한 화상 부호화 장치가 출력하는 부호화 결과를 입력하는 것이며, 실시예 9에 있어서 설명한 바와 같이, 화소값 신호에 대해서는 블럭을, 형상 신호에 대해서는 프레임을 제어의 전환 단위로 한 부호화 처리에 의해 얻어진 부호화 결과가 입력된다. 따라서, 본 실시예 11에 있어서는, 예측 전환기(370)(도 3)가 이에 대응하여, 적절한 전환 단위를 이용하여 제어 신호를 출력하는 것에 의해, 실시예 9에 의한 부호화 결과를 정확하게 복호화 처리하는 것이 가능해진다.

이와 같이, 본 실시예 11에 의한 화상 복호화 장치에 의하면, 실시예 2의 화상 복호화 장치와 마찬가지의 구성에 있어서, 실시예 9에 의한 부호화 결과를 입력하여, 실시예 9와 동일한 단위에 의해 제어를 전환하기 때문에, 실시예 9에 의한 부호화 결과를 적절히 복호화 처리하는 것이 가능해진다.

(실시예 12)

본 발명의 실시예 12에 의한 화상 복호화 방법 및 화상 복호화 장치는, 실시예 10에 의한 화상 부호화 처리에 의해 얻어진 부호화 결과를 적절히 복호화 처리하는 것이다.

본 실시예 12에 의한 화상 복호화 장치의 구성은 실시예 2와 마찬가지이고, 설명에는 도 3을 이용한다. 그리고, 본 실시예 12에 의한 화상 복호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 복호화 처리는 실시예 2와 마찬가지로 실행된다.

본 실시예 12에 의한 화상 복호화 장치에 있어서는, 실시예 10에 의한 화상 부호화 장치가 출력하는 부호화 결과를 입력하는 것이며, 실시예 10에 있어서 설명한 바와 같이, 형상 신호에 대해서는 프레임과 슬라이스로 이루어지는 계층 단위를 제어의 전환 단위로 한 부호화 처리에 의해 얻어진 부호화 결과가 입력된다. 따라서, 본 실시예 12에 있어서는, 예측 전환기(370)(도 3)가 이에 대응하여, 적절한 전환 단위를 이용하여 제어 신호를 출력하는 것에 의해, 실시예 10에 의한 부호화 결과를 정확하게 복호화 처리하는 것이 가능해진다.

이와 같이, 본 실시예 12에 의한 화상 복호화 장치에 의하면, 실시예 2의 화상 복호화 장치와 마찬가지의 구성에 있어서, 실시예 10에 의한 부호화 결과를 입력하여, 실시예 10과 동일한 계층적 단위에 의해 제어를 전환하기 때문에, 실시예 10에 의한 부호화 결과를 적절히 복호화 처리하는 것이 가능해진다.

(실시예 13)

본 발명의 실시예 13에 의한 화상 부호화 방법 및 화상 부호화 장치는, 실시예 1과 마찬가지의 제어를 실행하는 것이지만, 형상 신호의 부호화에 있어서의 참조 신호의 선택 방법이 다른 것이다.

본 실시예 13에 의한 화상 부호화 장치의 구성은 실시예 1과 마찬가지이고, 설명에는 도 1을 이용한다. 이하에 본 실시예 13에 의한 화상 부호화 장치에 있어서의 부호화 처리시의 동작을 설명한다.

본 실시예 13에 의한 화상 부호화 장치에 있어서는, 예측 전환기(110)에 의한, 참조 형상 전환 신호 S174를 이용한, 참조 형상 신호 선택에 대한 제어 방법이 실시예 1과는 다른 것으로 된다.

실시예 1에 있어서는, 참조 형상 신호로서, 소정값, 시계열적으로 전의(전시각의) 복호화 형상 신호, 또는 시계열적으로 후의(후시각의) 복호화 형상 신호중 어느 것을 선택하는지에 대해서는, 이들중, 부호화기(형상 신호용)(111)로부터의 출력 비트수가 적어지는 것을 선택하는 것으로 하고 있었다. 이것에 대하여, 본 실시예 13에서는, 프레임간 부호화를 하는 경우에는, 부호화 대상으로 되는 형상 신호의 시각과, 전시각, 및 후시각과의 차를 비교하여, 차가 적은 쪽의 복호화 형상 신호를 이용하는 것이다.

또한, 실시예 1에 있어서는, 장치 출력으로 되는 예측 선택 신호는, 예측 전환기로부터 출력되는 모든 전환 신호를 부호화하여 얻어지는 것으로 하였지만, 참조 방법을 나타내는 정보로서 시간 정보 등을 이용하는 것도 가능하고, 본 실시예 13에 있어서는, 시각을 나타내는 정보를 부호화 처리하지 않고 예측 선택 신호에 포함시키는 것이다.

도 9는, 본 실시예 13에 있어서의 화상 부호화 처리를 설명하기 위한 도면이다. 도 9의 (a)는, 화소값 신호의 부호화를 나타내는 것이며, 종래 기술의 설명에 이용한 도 14와 같은 것이다. 도 9의 (b)는, 도 9의 (a)에 대응하는 형상 신호의 부호화를 나타내는 것이다. 도면에 있어서, 프레임(910∼916)은 각각, 1 프레임의 화소값 신호(900∼906)에 상당하는 형상 신호이다. 도면내의 「I」 「P」 「B」와, 화살표는 도 14와 마찬가지로 부호화 방법과 참조 관계를 나타내고 있다. 또한, 도면내의 t0∼t6는 각각의 프레임의 시각을 나타내고 있다.

본 실시예 13의 화상 부호화 장치에 입력되는 화소값 신호에 대해서는, 도 14에 나타내는 종래 기술에 의한 부호화와 마찬가지로 실행된다. 도 9의 (a)에 나타내는 화소값 신호에 있어서, 예컨대 B 프레임인 프레임(901)에 대해서는, 시계열적으로 전에 위치하는 I 프레임(900)과, 시계열적으로 후에 위치하는 P 프레임(903)이 참조 신호가 될 수 있는 것이며, 전술한 바와 같이, 전시각의 데이터와 후시각의 데이터중 어느 하나를 선택하는 것, 또는 쌍방을 이용하는 것, 예컨대 평균값을 취득하여 이용하는 것에 의해 예측 정밀도를 향상시키는 것도 가능하다. 이에 대하여, 형상 신호의 부호화 처리에서는, 전후 쌍방을 참조하는 효과는 반드시 큰 것은 아니기 때문에, 본 실시예 13에서는, 형상 신호의 부호화에 있어서는, 어느 한쪽을 참조하는 것으로 하는 것이다.

예컨대, 프레임(901)에 대응하는 형상 신호(911)에 대해서는, 시각 t1과 시각 t0의 차와, 시각 t1과 시각 t3의 차를 비교하여, 차가 작은 쪽의 프레임을 참조 신호로서 이용하는 것이다. 여기서는, 시각 t0와의 차쪽이 작기 때문에, 프레임(910)을 참조하는 것을 나타내고 있다. 다른 참조 관계에 대해서도 마찬가지이다.

도 10은, 본 실시예 13의 화상 부호화 방법에 있어서의, B 프레임의 화상 신호를 구성하는 화소값 신호와 형상 신호에 대한 부호화 처리의 처리 순서를 나타내는 플로우차트이다. 이하에, 도 9의 (a)의 프레임(901)과 형상 신호(911)에 대한 처리를 도 10의 플로우차트에 따라 설명한다.

단계(101)에 있어서, 부호화 대상인 화상의 시각 T0와, 부호화 대상 화상을 구성하는 화소값 신호 B0와, 형상 신호 b0가 취득된다. 도 9에 있어서, T0는 t1, 화소값 신호 B0는 도 9의 (a)의 프레임(901), 형상 신호는 도 9의 (b)의 (911)이다. 단계(102)에 있어서는, 화소값 신호 B0에 대한 부호화 처리에 있어서, 참조 신호로서 이용되는 화소값 신호 P1 및 P2의 시각 T1 및 T2가 취득된다. 도 9의 (a)에 도시하는 바와 같이 프레임(901)은 프레임(900)과 프레임(903)을 참조하는 것이며, T1은 t0, T2는 t3으로 된다.

단계(103)에 있어서는, 단계(101)에 있어서 취득한 T0와, 단계(102)에 있어서 취득한 T1 및 T2와의 차가 구해져, 그 절대값의 대소가 비교된다. 그리고, 비교 결과에 따라 단계(104) 또는 단계(105)가 실행된다. 도 9에 있어서, t1과 t0의 시간 간격은 t0과 t3의 시간 간격보다 작은 것이기 때문에, 여기서는 단계(104)가 실행되게 된다.

단계(104)에서는, 시각 T1에 상당하는 형상 신호 p1을 참조하여, 부호화 대상인 형상 신호 b0가 부호화 처리된다. 도 9에 있어서, 시각 T1인 시각 t0에 상당하는 형상 신호는 신호(910)이기 때문에, 형상 신호(911)는 신호(910)를 참조하여 부호화 처리되게 된다. 그리고, 단계(106)에서 부호화 결과인 부호화 형상 신호가 출력된다.

그 후 단계(107)에서는, 화소값 신호 B0가, 화소값 신호 P1 및 P2를 참조하여 부호화 처리된다. 도 9의 (a)에 도시하는 바와 같이 프레임(901)은, 프레임(900)과 프레임(903)을 참조하여 부호화 처리된다. 그리고 단계(108)에서 부호화 결과로서 부호화 화소값 신호가 출력되어, 해당 프레임의 화상 신호에 대한 부호화 처리는 종료한다.

도 9의 (a)의 화소값 신호의 프레임(902)과, 대응하는 형상 신호(912)가 부호화 처리 대상인 경우에는, 단계(103)의 판정에 있어서, 단계(105)가 실행되게 된다. 이 경우, 형상 신호(912)는 신호(913)를 참조하여 부호화되게 된다.

도 10의 플로우차트에 나타내는 처리 순서에 있어서, 도 9의 (b)에 도시하는 바와 같이, B 프레임에 해당하는 형상 신호는, 시계열적으로 전후에 위치하는 신호중, 시간적으로 보다 근접하여 위치하는 어느 한쪽의 신호를 참조하여 부호화 처리되게 된다.

도 11은, 본 실시예 13에 의한 화상 부호화 장치의, 예측 전환기(110)(도 1)에 의한, 화상 부호화 처리 제어의 순서를 나타내는 플로우차트이다. 이하에, 도 11의 플로우차트에 따라, 본 실시예 13에 있어서의 제어를 설명한다.

1 프레임분의 화소값 신호와, 대응하는 형상 신호가 입력되었을 때, 도 11에 나타내는 처리 순서가 개시되며, 우선 단계(1101)에 있어서, 입력된 부호화 대상의 화상 데이터가 B 프레임인지 여부가 판정된다. 여기서 B 프레임이 아니었던 경우에는, 단계(1110)로 이행하고, 다음에는 P 프레임인지 여부가 판정되게 된다.

B 프레임이었던 경우에는 단계(1102) 이후의 처리가 실행된다. 우선, 단계(1102)에 있어서, 예측 전환기(110)는, 부호화 대상인 화상의 시각 T0과, 부호화 대상 화상을 구성하는 화소값 신호에 대한 부호화 처리에 있어서, 참조 신호로서 이용하는 화소값 신호 P1 및 P2의 시각 T1 및 T2를 취득한다. 그리고, 단계(1103)에서는, 시각 T0과 시각 T1과의 차의 절대값과, 시각 T0과 시각 T2의 차의 절대값이 비교되어, 비교의 결과에 따라 단계(1104) 또는 단계(1105)가 실행된다.

도 1에 있어서, 메모리(115) 및 메모리(116)에는, 그 한쪽에는 시각 T1에 상당하는 형상 신호에 근거하는 복호화 형상 신호가, 다른쪽에는 시각 T2에 상당하는 형상 신호에 근거하는 복호화 형상 신호가 기억되어 있다. 단계(1104) 또는 단계(1105)가 실행되는 것에 따라, 시각 T1 또는 시각 T2중, 어느 하나가 시각 T0과의 시간 간격이 작은 쪽의 시각에 상당하는 복호화 형상 신호가 선택되어, 형상 신호 부호화 처리에 이용되게 된다. 이것은, 도 1에 있어서, 예측 전환기(110)가, 참조 형상 전환 신호 S174를 출력하여, 제 1, 또는 제 2 기억 복호화 형상 신호를 참조 형상 신호 S166로서 선택하도록, 제 4 스위치 회로(114)를 제어하는 것에 의해 실행된다.

이어서 단계(1106)에 있어서, 예측 전환기(110)는, 화소값 신호의 부호화 처리에 이용되는 참조 신호 선택을 제어한다. 도 1의 메모리(107, 108)의 한쪽에는 시각 T1의 복호화 화소값 신호가, 다른쪽에는 시각 T2의 복호화 화소값 신호가 기억되어 있다. 그리고, 평균값 계산기(109)는, 메모리(107, 108)에 기억된 제 1 및 제 2 기억 복호화 화소값 신호의 평균으로서, 평균 복호화 화소값 신호를 취득하고 있다. 예측 전환기(110)는, 참조 화소값 전환 신호 S172를 제 2 스위치 회로(106)에 출력함으로써, 제 2 스위치 회로로부터, 평균 복호화 화소값 신호 S159가 참조 화소값 신호 S155로서 출력되도록 제어한다.

도 9에 도시한 바와 같이, B 프레임의 신호는 참조되는 일이 없기 때문에, 단계(1107)와 단계(1108)에 있어서 예측 전환기(110)는, 이들에 근거하는 복호화 신호가 메모리에 있어서 유지되지 않도록 제어한다. 도 1에 있어서, 제 1 스위치 회로(105)에는, 시각 T0의 입력 화소값 신호 S151에 근거하는 복호화 화소값 신호 S156이, 또한 제 3 스위치 회로(113)에는, 시각 T0에 상당하는 입력 형상 신호 S161에 근거하는 복호화 형상 신호 S163이 입력되어 있다. 예측 전환기(110)는, 제 1 스위치 회로(105)에 복호화 화소값 전환 신호 S171을, 또한 제 3 스위치 회로(113)에 복호화 형상 전환 신호 S173을 출력함으로써, 복호화 화소값 신호 S156 및 복호화 형상 신호 S163이, 모두 메모리에 입력되지 않도록 제어하여, 각각의 복호화 신호는 폐기된다.

계속해서 단계(1109)가 실행된다. 단계(1109)에서 예측 전환기(110)는, 형상 신호의 참조 부호화에 대한 정보를, 예측 선택 신호 S175로서 출력한다. 즉, 시각 P1 및 P2를 나타내는 정보를 부호화 처리하지 않고 예측 선택 신호에 포함시키는 것에 의해, 이러한 예측 선택 신호 S175를, 해당 화상 부호화 장치의 장치 출력으로서 출력하고, 부호화 결과를 복호화 처리할 때는, 시각을 나타내는 정보를 이용하여 복호화 처리가 정확하게 실행되도록 도모하는 것이다.

단계(1102) 내지 단계(1109)가 실행되면, B 프레임의 화상 데이터에 대한 화상 부호화 처리는 종료한다. 다음에, 단계(1101)의 판정에 있어서 B 프레임이 아닌 것으로 되어, 단계(1102∼1109)가 실행되지 않았는 경우의, 예측 전환기(110)에 의한 제어를 설명한다.

단계(1101)에 이어서 단계(1110)가 실행되어, 입력된 화상 데이터가 P 프레임인지 여부가 판정된다. 여기서 P 프레임이 아니었던 경우에는, 단계(1113)로 이행하여, I 프레임에 대한 처리의 제어가 실행되게 된다.

P 프레임이었던 경우에는 단계(1111∼1112)의 처리가 실행된다. 단계(1111)에서 예측 전환기(110)는, 제 4 스위치 회로(114)에 대하여 참조 형상 전환 신호 S174를 출력함으로써, 메모리(115), 또는 메모리(116)에 기억된 복호 형상 신호중 어느 하나를, 참조 형상 신호 S166으로서 출력하도록 지시한다. 제 4 스위치 회로(114)로부터는, 제 1 또는 제 2 기억 복호 형상 신호중, 부호화 대상인 형상 신호보다 시계열적으로 전에 위치하는 것이 선택되어 출력되게 된다. 단계(1112)에서 예측 전환기(110)는, 제 2 스위치 회로(106)에 대하여 참조 화소값 전환 신호 S172를 출력함으로써, 메모리(107), 또는 메모리(108)에 기억된 복호 화소값 신호중 어느 하나를, 참조 화소값 신호 S155로서 출력하도록 지시한다. 제 2 스위치 회로(106)로부터는, 제 1, 또는 제 2 기억 복호 화소값 신호중, 부호화 대상인 화소값 신호보다 시계열적으로 전에 위치하는 것이 선택되어 출력되게 된다.

한편, 단계(1110)의 판정에 있어서 P 프레임이 아닌 것으로 되었던 경우에는, 단계(1113)∼단계(1114)가 실행된다. 단계(1113)에서 예측 전환기(110)는, 제 4 스위치 회로(114)에 대하여 참조 형상 전환 신호 S174를 출력함으로써, 소정값을 참조 형상 신호 S166로서 출력하도록 지시한다. 제 4 스위치 회로(114)로부터는, 프레임내 부호화용의 고정값으로서 설정된 소정값이 선택되어 출력되게 된다. 단계(1114)에서 예측 전환기(110)는, 제 2 스위치 회로(106)에 대하여 참조 화소값 전환 신호 S172를 출력함으로써, 소정값을, 참조 화소값 신호 S155로서 출력하도록 지시한다. 제 2 스위치 회로(106)로부터는, 프레임내 부호화용의 고정값으로서 설정된 소정값이 선택되어 출력된다.

단계(1111∼1112), 또는 단계(1113∼1114)중 어느쪽이 실행된 경우에도, 단계(1112) 또는 단계(1114)에 후속하여 단계(1115∼1116)가 실행되어, 복호화 신호의 기억에 대한 제어가 실행된다.

도 9에 도시한 바와 같이, P 프레임 및 I 프레임의 신호는 참조되는 일이 있기 때문에, 단계(1115)와 단계(1116)에 있어서 예측 전환기(110)는, 이들에 근거하는 복호화 신호가 메모리에 있어서 유지되도록 제어한다. 도 1에 있어서, 제 1 스위치 회로(105)에는, 시각 T0의 입력 화소값 신호 S151에 근거하는 복호화 화소값 신호 S156이, 또한 제 3 스위치 회로(113)에는, 시각 T0에 상당하는 입력 형상 신호 S161에 근거하는 복호화 형상 신호 S163이 입력되어 있다. 예측 전환기(110)는, 제 1 스위치 회로(105)에 복호화 화소값 전환 신호 S171을, 또한 제 3 스위치 회로(113)에 복호화 형상 전환 신호 S173을 출력함으로써, 복호화 화소값 신호 S156 및 복호화 형상 신호 S163이, 직전에 복호화 신호가 입력되지 않은 쪽의 메모리에 입력되도록 제어하여, 각각의 복호화 신호는 지정된 메모리에 입력되어 유지된다. 단계(1115∼1116)를 실행하여, 복호화 신호가 어느 하나의 메모리에 기억되었으면, P 프레임 또는 I 프레임의 입력 화상 신호에 대한 처리는 종료한다.

이와 같이, 본 실시예 13에 의한 화상 부호화 장치에 의하면, 실시예 1의 화상 부호화 장치와 마찬가지의 구성에 있어서, 예측 전환기(110)가, 입력 화소값 신호의 부호화 처리와, 입력 형상 신호의 부호화 처리에, 각각 적절한 참조 방법이 실행되도록 제어하기 때문에, 실시예 1과 마찬가지로 각각의 입력 신호를 효율적으로 부호화하고, 해당 부호화시에 이용한 참조 처리를 나타내는 정보를 복호화 처리에 있어서 이용하여, 적절한 복호화 처리를 실행할 수 있도록 도모하는 것이 가능해진다.

(실시예 14)

본 발명의 실시예 14에 의한 화상 부호화 방법 및 화상 부호화 장치는, 실시예 13과 마찬가지로, 형상 신호의 부호화에 있어서, 화소값 신호와 상이한 참조 방법을 이용하는 것이며, 실시예 13과는 참조 신호의 선택 방법이 상이한 것이다.

본 실시예 14에 의한 화상 부호화 장치의 구성은 실시예 1과 마찬가지이고, 설명에는 도 1을 이용한다. 이하에 본 실시예 14에 의한 화상 부호화 장치에 있어서의 부호화 처리시의 동작을 설명한다.

본 실시예 14에 의한 화상 부호화 장치는, 실시예 13와 거의 마찬가지의 동작으로 되지만, 입력한 화상 신호가 B 프레임이었던 경우의 참조 방법이 실시예 13과는 다른 것으로 된다.

실시예 13에 있어서는, 도 9의 (b)에 도시한 바와 같이, B 프레임의 화소값 신호에 상당하는 형상 신호에 대해서는, 시계열적으로 전에 위치하는 형상 신호, 시계열적으로 후에 위치하는 형상 신호중 어느 하나를 선택하여 참조 신호로서 이용하는 것이다. 그리고, 그 선택에서는, 부호화 대상인 형상 신호와, 전후에 위치하는 형상 신호와의 시간적 간격을 비교하여, 보다 시간적 간격이 작은 것을 선택하는 것이다.

이와 대조적으로 본 실시예 14에서는, 항상 시계열적으로 전에 위치하는 형상 신호를 참조 신호로서 이용한다. 도 9의 (b)에 나타내는 실시예 13에서는, 형상 신호(911)의 부호화에서는 형상 신호(910)를 참조하고, 형상 신호(912)의 부호화에서는 형상 신호(913)를 참조하는 것이지만, 본 실시예 14에서는, 형상 신호(911) 및 형상 신호(912)중 어느 쪽의 부호화에 있어서도, 형상 신호(910)를 참조하는 것이다. 따라서, 실시예 13과 같이, 시간 간격을 구하여 비교 판정하는 처리를 요하지 않아서, 제어가 간단한 것으로 된다. 특히 도 9에 나타내는 프레임간의 시간 간격이 일정하든지, 또는 일정에 가까운 것인 경우에 있어서는 효과적인 방법이다.

이와 같이, 본 실시예 14에 의한 화상 부호화 장치에 의하면, 실시예 1의 화상 부호화 장치와 마찬가지의 구성에 있어서, 예측 전환기(110)가, 입력 화소값 신호의 부호화 처리와, 입력 형상 신호의 부호화 처리에, 각각 적절한 참조 방법이 실행되도록 제어하기 때문에, 실시예 1과 마찬가지로 각각의 입력 신호를 효율적으로 부호화하고, 해당 부호화시에 이용한 참조 처리를 나타내는 정보를 복호화 처리에 있어서 이용하여, 적절한 복호화 처리를 실행할 수 있도록 도모하는 것이, 간단한 제어로 가능해진다.

(실시예 15)

본 발명의 실시예 15에 의한 화상 부호화 방법 및 화상 부호화 장치는, 실시예 13과 마찬가지로, 형상 신호의 부호화에 있어서, 화소값 신호와 상이한 참조 방법을 이용하는 것이며, 실시예 13과는 참조 신호의 선택 방법이 상이한 것이다.

본 실시예 15에 의한 화상 부호화 장치의 구성은 실시예 1과 마찬가지이고, 설명에는 도 1을 이용한다. 이하에 본 실시예 15에 의한 화상 부호화 장치에 있어서의 부호화 처리시의 동작을 설명한다.

본 실시예 15에 의한 화상 부호화 장치는, 실시예 13과 거의 마찬가지의 동작으로 되지만, 입력한 화상 신호가 B 프레임이었던 경우의 참조 방법이 실시예 13, 또는 실시예 14와는 다른 것으로 된다.

실시예 13에 있어서는, 도 9의 (b)에 도시한 바와 같이, B 프레임의 화소값 신호에 상당하는 형상 신호에 대해서는, 시계열적으로 전에 위치하는 형상 신호, 시계열적으로 후에 위치하는 형상 신호중 어느 하나를 선택하여 참조 신호로서 이용하는 것이다. 그리고, 그 선택에서는, 부호화 대상인 형상 신호와, 전후에 위치하는 형상 신호와의 시간적 간격을 비교하여, 보다 시간적 간격이 작은 것을 선택하는 것이다. 또한, 실시예 14에서는, 항상 시계열적으로 전에 위치하는 형상 신호를 참조 신호로서 이용하는 것이다.

이와 대조적으로, 본 실시예 15에서는, 예측 전환기(110)(도 1)가, 형상 신호의 부호화 처리에 있어서, 실시예 13에 있어서의 처리와 같이, 비교 판정을 하여 참조 방법을 선택하는, 즉 비교 판정 선택으로 할 것인지, 실시예 14와 같이, 시계열적으로 전에 위치하는 형상 신호를 참조하는 것으로 하는, 즉 전방 고정 선택으로 할 것인지를 결정하여, 지시를 하는 것이다. 예측 전환기(110)에 의한 결정은, 입력되는 화상 신호의 성질이나, 부호화 처리의 상황 등에 따라 이루어지는 것으로 할 수 있다.

이와 같이, 본 실시예 15에 의한 화상 부호화 장치에 의하면, 실시예 1의 화상 부호화 장치와 마찬가지의 구성에 있어서, 예측 전환기(110)가, 입력 화소값 신호의 부호화 처리와, 입력 형상 신호의 부호화 처리에, 각각 적절한 참조 방법이 실행되도록 제어하기 때문에, 입력되는 화상 신호의 성질이나, 부호화 처리의 상황 등에 대응하여, 실시예 1과 마찬가지로 각각의 입력 신호를 효율적으로 부호화하고, 해당 부호화시에 이용한 참조 처리를 나타내는 정보를 복호화 처리에 있어서 이용하여, 적절한 복호화 처리를 실행할 수 있도록 도모하는 것이 가능해진다.

(실시예 16)

본 발명의 실시예 16에 의한 화상 복호화 방법 및 화상 복호화 장치는, 실시예 13에 의한 화상 부호화 처리에 의해 얻어진 부호화 결과를 적절히 복호화 처리하는 것이다.

본 실시예 16에 의한 화상 복호화 장치의 구성은 실시예 2와 마찬가지이고, 설명에는 도 3을 이용한다. 그리고, 본 실시예 6에 의한 화상 복호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 복호화 처리는 실시예 2와 거의 마찬가지로 실행되지만, 입력 부호화 신호가 B 프레임의 화상 신호를 부호화하여 얻어진 것이었던 경우의 처리가 실시예 2와 다른 것으로 된다.

도 12는, 본 실시예 16에 의한 화상 부호화 방법에 있어서의, B 프레임의 화상 신호를 부호화한 부호화 신호에 대한 처리 순서를 나타내는 플로우차트이다. 이하에 본 실시예 16의 화상 부호화 장치의 동작을 도 12의 플로우차트에 따라, 도 3을 참조하면서 설명한다.

실시예 13에 나타낸 화상 부호화 장치에 있어서, 장치 출력으로서 출력된 부호화 화소값 신호, 부호화 형상 신호, 및 예측 선택 신호가, 도 3에 나타내는 입력 부호화 화소값 신호 S353, 입력 부호화 형상 신호 S363, 및 입력 예측 선택 신호 S375를 포함하는 화상 부호화 신호로서 입력되어, 처리가 시작된다. 우선, 단계(1201)에 있어서, 예측 전환기(370)는, 복호화 대상인 입력 부호화 화소값 신호 B0와, 입력 부호화 형상 신호 b0의 시각 T0을 취득한다. 이어서, 단계(1202)에서는, 예측 전환기(370)가, B 프레임의 입력 부호화 화소값 신호의 처리에 있어서 참조하는 복호화 화소값 신호 P1 및 P2의 시각 T1 및 T2를 취득한다. 단계(1203)에 있어서, 입력 부호화 형상 신호 b0이 복호화기(312)에 입력된다.

예측 전환기(370)는, 단계(1204)에 있어서, 단계(1201∼1202)에서 취득한 시각을 이용하여, 판정 처리를 한다. 이 판정 처리에서는, 시각 T0과, 시각 T1, 및 T2와의 차의 절대값이 취득되어, 비교되는 것에 따라, 어느 것이 더 작은지가 판정된다. 그리고, 판정의 결과, T0과 T1과의 차의 절대값이 더 작으면 단계(1205)가, T0와 T2와의 차의 절대값이 더 작으면 단계(1206)가 실행되게 된다.

단계(1205)가 실행된 경우, 예측 전환기(370)는, 제 4 스위치 회로(314)에 참조 형상 전환 신호 S374를 출력함으로써, 메모리(315) 또는 메모리(316)에 기억된 복호화 형상 신호중, 시각 T1에 상당하는 신호 p1이, 제 4 스위치 회로(314)로부터 참조 형상 신호 S332로서 출력되도록 지시를 한다. 그리고, 복호화기(312)에는 제 4 스위치 회로(314)로부터 참조 형상 신호 S332가 입력되고, 복호화기(312)에 있어서는, 단계(1203)에서 입력된 입력 부호화 형상 신호 b0가, 참조 형상 신호 S332를 참조하여 복호화 처리된다.

단계(1206)가 실행되는 경우도 거의 마찬가지의 처리로 되며, 시각 T2에 상당하는 복호화 형상 신호 p2가 참조 형상 신호 S332로서 이용되어, 입력 부호화 형상 신호 b0가 복호화 처리된다.

단계(1205)나 단계(1206)중 어느 하나가 실행된 경우에도, 다음에는 단계(1207)가 실행되어, 복호화 처리에 의해 얻어진 복호화 형상 신호 S331이, 순차 배열용 메모리(362)에 출력된다.

그 후, 단계(1208)가 실행되어, 입력 화소값 신호 B0가 복호화기(303)에 입력된다. 다음 단계(1209)에 있어서, 예측 전환기(370)는, 입력 예측 선택 신호 S375로부터 취득하는 정보에 근거하여, 참조 화소값 전환 신호 S372를 제 2 스위치 회로(306)에 출력함으로써, 메모리(307) 또는 메모리(308)에 기억된, 시각 T1 또는 시각 T2의 복호화 화소값 신호나, 평균값 계산기(309)가 취득한 양자의 평균인 평균 복호화 화소값 신호가, 참조 화소값 신호 S323으로서 이용되도록 제어한다. 그리고, 복호화기(303)에서는, 단계(1208)에서 입력된 입력 화소값 신호 B0가, 참조 화소값 신호 S323을 참조하여 복호화 처리된다. 단계(1210)에서는, 생성된 복호화 화소값 신호 S322가 순차 배열용 메모리(361)에 출력되어, 입력된 부호화 화상 신호에 대한 처리는 종료한다.

이와 같이, 본 실시예 16의 화상 복호화 장치에 의하면, 실시예 2와 마찬가지의 구성에 있어서, 예측 전환기(370)가, 복호 형상 신호의 복호화 처리에, 적절한 참조 신호가 이용되도록 제어하기 때문에, 실시예 13에 의한 화상 부호화 장치에서 얻어진 부호화 결과를 적절히 복호화 처리하는 것이 가능해진다.

(실시예 17)

본 발명의 실시예 17에 의한 화상 복호화 방법 및 화상 복호화 장치는, 실시예 14에 의한 화상 부호화 처리에 의해 얻어진 부호화 결과를 적절히 복호화 처리하는 것이다.

본 실시예 17에 의한 화상 복호화 장치의 구성은 실시예 2와 마찬가지이고, 설명에는 도 3을 이용한다. 그리고, 본 실시예 17에 의한 화상 복호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 복호화 처리는 실시예 2와 거의 마찬가지로 실행되지만, 입력 부호화 신호가 B 프레임의 화상 신호를 부호화하여 얻어진 것이었던 경우의 처리가 실시예 2와 다른 것으로 된다.

이러한 경우에, 본 실시예 17에 의한 화상 복호화 장치는, 실시예 16의 장치와 마찬가지의 동작을 하지만, 입력 부호화 형상 신호의 복호화 처리에 이용하는 참조 신호의 선택 방법이 다르다. 실시예 16에 의한 화상 복호화 장치에 있어서는, 선택에 있어서, 시간 간격이 작은 복호화 형상 신호를 이용하도록 비교 판정을 하는 것이었지만, 본 실시예 17에서는, 이러한 비교 판정을 하지 않고, 복호화 대상인 입력 부호화 신호보다 시계열적으로 전에 위치하는 복호화 형상 신호를 참조 형상 신호로서 이용하는 것이다. 따라서, 같은 참조 처리를 한 실시예 14에 의한 화상 부호화 장치가 출력하는 부호화 결과를 적절히 복호화 처리할 수 있다.

이와 같이, 본 실시예 17의 화상 복호화 장치에 의하면, 실시예 2와 마찬가지의 구성에 있어서, 예측 전환기(370)가, 복호 형상 신호의 복호화 처리에, 적절한 참조 신호가 이용되도록 제어하기 때문에, 실시예 14에 의한 화상 부호화 장치에서 얻어진 부호화 결과를 적절히 복호화 처리하는 것이 가능해진다.

(실시예 18)

본 발명의 실시예 18에 의한 화상 복호화 방법 및 화상 복호화 장치는, 실시예 15에 의한 화상 부호화 처리에 의해 얻어진 부호화 결과를 적절히 복호화 처리하는 것이다.

본 실시예 18에 의한 화상 복호화 장치의 구성은 실시예 2와 마찬가지이고, 설명에는 도 3을 이용한다. 그리고, 본 실시예 18에 의한 화상 복호화 장치의 동작에 대해서도, 화소값 신호 및 형상 신호에 대한 복호화 처리는 실시예 2와 거의 마찬가지로 실행되지만, 입력 부호화 신호가 B 프레임인 화상 신호를 부호화하여 얻어진 것이었던 경우의 처리가 실시예 2와 다른 것으로 된다.

이러한 경우에, 본 실시예 18에 의한 화상 복호화 장치는, 실시예 16 및 실시예 17의 장치와 마찬가지의 동작을 하지만, 입력 부호화 형상 신호의 복호화 처리에 이용하는 참조 신호의 선택 방법이 다르다. 실시예 16에 의한 화상 복호화 장치에 있어서는, 선택에 있어서, 시간 간격이 작은 복호화 형상 신호를 이용하도록 비교 판정을 하는 것이며, 실시예 17에서는, 이러한 비교 판정을 하지 않고, 복호화 대상인 입력 부호화 신호보다 시계열적으로 전에 위치하는 복호화 형상 신호를 참조 형상 신호로서 이용하는 것이었다.

이와 대조적으로 본 실시예 18에 있어서는, 부호화 처리시에 비교 판정 선택이 행해졌는지, 전방 고정 선택이 행해졌는지가 판단되어, 비교 판정 선택이 행해진 것인 경우에는 실시예 16과 마찬가지로, 전방 고정 선택이 행해진 것인 경우에는 실시예 17과 마찬가지로 복호화 처리를 한다. 비교 판정 선택이 행해졌는지 여부는, 실시예 15에 의한 화상 부호화 장치가 출력한 예측 선택 신호에 포함되는 정보로부터 판단할 수 있다. 따라서, 같은 참조 처리를 행한 실시예 15에 의한 화상 부호화 장치가 출력하는 부호화 결과를 적절히 복호화 처리할 수 있다.

이와 같이, 본 실시예 18의 화상 복호화 장치에 의하면, 실시예 2와 마찬가지의 구성에 있어서, 예측 전환기(370)가, 복호 형상 신호의 복호화 처리에, 적절한 참조 신호가 이용되도록 제어하기 때문에, 실시예 15에 의한 화상 부호화 장치에서 얻어진 부호화 결과를 적절히 복호화 처리하는 것이 가능해진다.

(실시예 19)

본 발명의 실시예 19에 의한 화상 부호화 프로그램 기록 매체는, 본 발명의 화상 부호화 방법을 실행하는 화상 부호화 프로그램을 기록한 것이다.

도 13은, 프로그램 기록 매체의 일례인 플로피 디스크를 나타내는 것이다. 본 실시예 19에 의한 화상 부호화 프로그램 기록 매체는, 이러한 기록 매체에, 실시예 1, 실시예 3∼5, 실시예 9∼10, 실시예 13∼15중 어느 하나에 나타낸 화상 부호화 방법에 따라서 부호화 처리를 하는 화상 부호화 프로그램을 기록한 것이다. 따라서, 본 실시예 19에 의한 화상 부호화 프로그램 기록 매체는 이동, 보존 등을 하는 것이 가능하고, 기록된 화상 부호화 프로그램은, 기록 매체간에서의 복사 등이 가능한 것이다. 그리고, 해당 프로그램을, 컴퓨터 시스템 등에 있어서, CPU나 DSP 등의 제어하에서 실행시킴으로써, 각 실시예에 나타낸 화상 부호화 장치를 실현할 수 있다.

화상 부호화 프로그램 기록 매체로서는, 도시한 플로피 디스크 이외에, CD-ROM 등의 광디스크, IC 카드 등의 반도체 기억 장치, 카세트 테이프 등의 테이프 매체 등, 프로그램을 기록할 수 있는 것이면 사용가능하다.

이와 같이, 본 실시예 19에 의한 화상 부호화 프로그램 기록 매체는, 컴퓨터 시스템 등에 있어서, 기록한 화상 부호화 프로그램을 실행시킴으로써, 본 발명의 화상 부호화 방법 및 화상 부호화 장치를 실현할 수 있는 것으로서, 본 발명의 화상 부호화 방법을 용이하게 이용할 수 있는 것으로 하는 효과가 있다.

(실시예 20)

본 발명의 실시예 20에 의한 화상 복호화 프로그램 기록 매체는, 본 발명의 화상 복호화 방법을 실행하는 화상 복호화 프로그램을 기록한 것이다.

본 실시예 19에 의한 화상 부호화 프로그램 기록 매체는, 도 13에 나타내는 다른 플로피 디스크와 같은 기록 매체에, 실시예 2, 실시예 6∼8, 실시예 11∼12,실시예 16∼18중 어느 하나에 나타낸 화상 복호화 방법에 따라 복호화 처리를 하는 화상 복호화 프로그램을 기록한 것이다. 따라서, 본 실시예 20에 의한 화상 복호화 프로그램 기록 매체는 이동, 보존 등을 하는 것이 가능하고, 기록된 화상 복호화 프로그램은, 기록 매체간에서의 복사 등이 가능한 것이다. 그리고, 해당 프로그램을, 컴퓨터 시스템 등에 있어서, CPU나 DSP 등의 제어하에서 실행시킴으로써, 각 실시예에 나타낸 화상 복호화 장치를 실현할 수 있다.

화상 복호화 프로그램 기록 매체로서는, 도시한 플로피 디스크 이외에, CD-ROM 등의 광디스크, IC 카드 등의 반도체 기억 장치, 카세트 테이프 등의 테이프 매체 등, 프로그램을 기록할 수 있는 것이면 사용가능하다.

이와 같이, 본 실시예 20에 의한 화상 복호화 프로그램 기록 매체는, 컴퓨터 시스템 등에 있어서, 기록한 화상 복호화 프로그램을 실행시킴으로써, 본 발명의 화상 복호화 방법 및 화상 복호화 장치를 실현할 수 있는 것으로서, 본 발명의 화상 복호화 방법을 용이하게 이용할 수 있는 것으로 하는 효과가 있다.

또, 이상의 실시예 1∼20에서 설명한, 본 발명에 의한 화상 부호화 처리 및 화상 복호화 처리에 있어서는, 화상 신호가 형상 신호와, 화소값 신호를 포함하는 것으로 하여 설명하고 있지만, 반투명의 물체도 취급하는 경우에 있어서, 대상으로 하는 물체가 배경을 은폐하는 정도를 나타내는 다치 정보인 투과도 신호를, 형상 신호의 대체에 포함하는 경우나, 형상 신호에 덧붙여 포함하는 경우에도 응용은 가능하다. 화상 신호가 형상 신호의 대체에 투과도 신호를 포함하는 경우에는, 본 발명의 형상 신호의 대체에 투과도 신호를 대상으로 하는 것에 의해 응용 가능하다. 또한 화상 신호가, 형상 신호, 투과도 신호, 및 화소값 신호를 포함하는 경우에는, 투과도 신호를 형상 신호, 또는 화소값 신호중 어느 한쪽으로 종합하여 취급하는 것으로 응용할 수 있다. 혹은, 화소값 신호와 형상 신호를 별도 취급하는 구성을 응용 확장하고, 투과도 신호도 별도 취급하는 구성으로 하여 처리하는 것도 가능하다.

또한, 실시예 1∼20에서는, 화상 신호의 부호화에 있어서, 압축율이 높은 비가역 부호화를 이용하는 경우를 상정하여, 부호화 처리후에 복호화 처리를 한 신호를 참조 신호로서 이용하는 것으로 하고 있지만, 가역 부호화를 하는 경우에는, 부호화 대상인 화소값 신호 및 형상 신호를 참조 신호로서 이용하는 것이 가능하다. 이러한 경우에는, 부호화 처리에 있어서, 입력 신호를 참조 신호로서 이용하는 구성으로 하여, 복호화기를 생략할 수 있다.

본 발명은, 화소값 신호와, 형상 신호를 포함하는 화상 신호를 처리 대상으로 하여, 그 쌍방을 효율적으로 부호화 처리할 수 있는 부호화 장치 및 부호화 방법을 제공한다.

Claims (26)

1. 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 포함하는 입력 화상 신호를 부호화 처리하는 화상 부호화 방법에 있어서,

   상기 입력 화상 신호에 포함되는 화소값 신호(도 1의 S151)를 처리 대상으로 하여, 부호화 처리후에 복호화 처리하여 얻어진 복호화 화소값 신호(도 1의 S155)를 참조하여 부호화 처리하는 화소값 부호화 단계와,

   상기 입력 화상 신호에 포함되는 형상 신호(도 1의 S161)를 처리 대상으로 하여, 부호화 처리후에 복호화 처리하여 얻어진 복호화 형상 신호(도 1의 S166)를 참조하여 부호화 처리하는 형상 부호화 단계와,

   상기 화소값 부호화 단계에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호(도 1의 S172)와, 상기 형상 부호화 단계에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호(도 1의 S174)를 생성하고, 상기 생성한 신호에 근거하여, 부호화에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호(도 1의 S175)를 생성하는 부호화 참조 특정 신호 생성 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
2. 제 1 항에 있어서,

   상기 형상 부호화 단계는,

   상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호(도 1의 S164, 또는 S165)와,

   상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호(도 1의 S164, 또는 S165)를, 상기 참조하는 복호화 형상 신호로 하는 것을 특징으로 하는 화상 부호화 방법.
3. 제 2 항에 있어서,

   상기 화소값 부호화 단계는,

   상기 처리 대상으로 되는 화소값 신호에 대하여, 시계열적으로 전에 위치하는 화소값 신호로부터 얻어진 전시각 복호화 화소값 신호(도 1의 S157, 또는 S158)와,

   상기 처리 대상으로 되는 화소값 신호에 대하여, 시계열적으로 후에 위치하는 화소값 신호로부터 얻어진 후시각 복호화 화소값 신호(도 1의 S157, 또는 S158) 를, 상기 참조하는 복호화 화소값 신호로 하는 것을 특징으로 하는 화상 부호화 방법.
4. 제 1 항에 있어서,

   상기 부호화 참조 특정 신호 생성 단계는, 상기 예측 선택 신호(도 1의 S175)의 생성에 있어서, 상기 참조 화소값 지정 신호와, 상기 참조 형상 지정 신호를 통합하여 부호화 처리(도 5)하는 것을 특징으로 하는 화상 부호화 방법.
5. 제 1 항에 있어서,

   상기 부호화 참조 특정 신호 생성 단계는, 상기 예측 선택 신호의 생성에 있어서, 상기 참조하는 복호화 형상 신호의 지정을 나타내는 방법에 대응하여, 상기 참조하는 복호화 화소값 신호의 지정을 나타내는 방법을 결정하는(도 6) 것을 특징으로 하는 화상 부호화 방법.
6. 제 1 항에 있어서,

   상기 부호화 참조 특정 신호 생성 단계는, 상기 입력하는 화소값 신호의 단위인 화소값 전환 단위(도 7의 (a)) 마다, 상기 참조 복호화 화소값 신호의 지정을 하고, 상기 입력하는 형상 신호의 단위인 형상 전환 단위(도 7의 (b)) 마다, 상기 참조 형상 신호의 지정을 하는 것을 특징으로 하는 화상 부호화 방법.
7. 제 6 항에 있어서,

   상기 형상 전환 단위를, 상기 입력하는 형상 신호를 구성하는 프레임으로 하는(도 7의 (b)) 것을 특징으로 하는 화상 부호화 방법.
8. 제 6 항에 있어서,

   상기 전환 단위를, 상기 입력하는 형상 신호를 구성하는 대(大)블럭 단위(도 8의 (804∼807))와, 상기 대블럭 단위를 구성하는 소(小)블럭 단위(도 8의 (802, 803))를 포함하는 계층적 단위로 하는 것을 특징으로 하는 화상 부호화 방법.
9. 제 1 항에 있어서,

   상기 형상 부호화 단계는,

   상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호중, 상기 처리 대상으로 되는 형상 신호와, 보다 시간적으로 근접하는 것을 선택하는 비교 판정 단계(도 10의 S103)를 포함하고,

   상기 비교 판정 단계에 있어서 선택된 복호화 형상 신호를 참조하는(도 10의 S104, 또는 S105) 것을 특징으로 하는 화상 부호화 방법.
10. 제 1 항에 있어서,

    상기 형상 부호화 단계는,

    상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호를 참조하는 것을 특징으로 하는 화상 부호화 방법.
11. 제 1 항에 있어서,

    상기 형상 부호화 단계는,

    상기 처리 대상으로 되는 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호중, 상기 처리 대상으로 되는 형상 신호와, 보다 시간적으로 근접하는 것을 선택하는 비교 판정 단계와,

    상기 전시각 복호화 형상 신호를 선택하는 전방 고정 단계를 포함하며,

    상기 비교 판정 단계, 또는 상기 전방 고정 단계에 있어서, 선택된 복호화 형상 신호를 참조하는 것을 특징으로 하는 화상 부호화 방법.
12. 화상 신호에 포함되는, 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 부호화하여 얻어지는, 부호화 형상 신호와, 부호화 화소값 신호를 복호화 처리하는 화상 복호화 방법에 있어서,

    부호화 처리에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호(도 3의 S375)를 이용하여, 상기 예측 선택 신호로부터 취득하는 정보에 근거하여, 부호화 화소값 신호에 대한 복호화 처리에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호(도 3의 S372)와, 부호화 형상 신호에 대한 복호화 처리에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호(도 3의 S374)를 생성하는 복호화 참조 특정 신호 생성 단계와,

    상기 부호화 화소값 신호(도 3의 S353)를 처리 대상으로 하여, 상기 참조 특정 신호 복호화 단계에 있어서 특정된 복호화 화소값 신호(도 3의 S323)를 참조하여 복호화 처리하는 화소값 복호화 단계와,

    상기 부호화 형상 신호(도 3의 S363)를 처리 대상으로 하여, 상기 참조 특정 신호 복호화 단계에 있어서 특정된 복호화 형상 신호(도 3의 S332)를 참조하여 복호화 처리하는 형상 복호화 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.
13. 제 12 항에 있어서,

    상기 형상 복호화 단계는,

    상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호(도 3의 S333, 또는 S334)와,

    상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호(도 3의 S333, 또는 S334) 를, 상기 참조하는 복호화 형상 신호로 하는 것을 특징으로 하는 화상 복호화 방법.
14. 제 13 항에 있어서,

    상기 화소값 복호화 단계는,

    상기 처리 대상으로 되는 부호화 화소값 신호에 대하여, 시계열적으로 전에 위치하는 화소값 신호로부터 얻어진 전시각 복호화 화소값 신호(도 3의 S324, 또는 S325)와,

    상기 처리 대상으로 되는 부호화 화소값 신호에 대하여, 시계열적으로 후에 위치하는 화소값 신호로부터 얻어진 후시각 복호화 화소값 신호(도 3의 S324, 또는 S325)를, 상기 참조하는 복호화 화소값 신호로 하는 것을 특징으로 하는 화상 복호화 방법.
15. 제 12 항에 있어서,

    상기 복호화 참조 특정 신호 생성 단계는, 상기 예측 선택 신호를 복호화 처리하여, 통합하여 부호화 처리된(도 5) 상기 참조 화소값 지정 신호와, 상기 참조 형상 지정 신호를 취득하는 것을 특징으로 하는 화상 복호화 방법.
16. 제 12 항에 있어서,

    상기 복호화 참조 특정 신호 생성 단계는, 상기 예측 선택 신호의 복호화 처리에 있어서, 상기 참조하는 복호화 형상 신호의 지정을 나타내는 방법에 대응하여, 상기 참조하는 복호화 화소값 신호의 지정을 나타내는 방법을 결정하는(도 6) 것을 특징으로 하는 화상 복호화 방법.
17. 제 12 항에 있어서,

    상기 복호화 참조 특정 신호 생성 단계는, 상기 부호화 화소값 신호의 단위인 화소값 전환 단위(도 7의 (a)) 마다, 상기 참조 복호화 화소값 신호의 지정을 하고,

    상기 부호화 형상 신호의 단위인 형상 전환 단위(도 7의 (b)) 마다, 상기 참조 형상 신호의 지정을 하는 것을 특징으로 하는 화상 복호화 방법.
18. 제 16 항에 있어서,

    상기 형상 전환 단위를, 상기 부호화 형상 신호를 구성하는 프레임으로 하는 (도 7의 (b)) 것을 특징으로 하는 화상 복호화 방법.
19. 제 16 항에 있어서,

    상기 전환 단위를, 상기 부호화 형상 신호를 구성하는 대블럭 단위(도 8의 (804∼807))와, 상기 대블럭 단위를 구성하는 소블럭 단위(도 8의 (802, 803))를 포함하는 계층적 단위로 하는 것을 특징으로 하는 화상 복호화 방법.
20. 제 12 항에 있어서,

    상기 형상 복호화 단계는,

    상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호중, 상기 처리 대상으로 되는 부호화 형상 신호와, 보다 시간적으로 근접하는 것을 선택하는 비교 판정 단계(도 12의 S1204)를 포함하고,

    상기 비교 판정 단계에 있어서 선택된 복호화 형상 신호를 참조하는(도 12의 S1205, 또는 S1206) 것을 특징으로 하는 화상 복호화 방법.
21. 제 12 항에 있어서,

    상기 형상 복호화 단계는,

    상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호를 참조하는 것을 특징으로 하는 화상 복호화 방법.
22. 제 12 항에 있어서,

    상기 형상 복호화 단계는,

    상기 처리 대상으로 되는 부호화 형상 신호에 대하여, 시계열적으로 전에 위치하는 형상 신호로부터 얻어진 전시각 복호화 형상 신호와, 시계열적으로 후에 위치하는 형상 신호로부터 얻어진 후시각 복호화 형상 신호중, 상기 처리 대상으로 되는 부호화 형상 신호와, 보다 시간적으로 근접하는 것을 선택하는 비교 판정 단계와,

    상기 전시각 복호화 형상 신호를 선택하는 전방 고정 단계를 포함하며,

    상기 비교 판정 단계, 또는 상기 전방 고정 단계에 있어서, 선택된 복호화 형상 신호를 참조하는 것을 특징으로 하는 화상 복호화 방법.
23. 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 포함하는 입력 화상 신호를 부호화 처리하는 화상 부호화 장치에 있어서,

    상기 입력 화상 신호에 포함되는 화소값 신호를 처리 대상으로 하여, 부호화 처리후에 복호화 처리하여 얻어진 복호화 화소값 신호를 참조하여 부호화 처리하는 화소값 부호화 수단(도 1의 (101∼109))과,

    상기 입력 화상 신호에 포함되는 형상 신호를 처리 대상으로 하여, 부호화 처리후에 복호화 처리하여 얻어진 복호화 형상 신호를 참조하여 부호화 처리하는 형상 부호화 수단(도 1의 (111∼116))과,

    상기 화소값 부호화 수단이 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 상기 형상 부호화 수단이 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하고, 상기 생성한 신호에 근거하여, 부호화에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 생성하는 부호화 참조 특정 신호 생성 수단(도 1의 (110))을 포함한 것을 특징으로 하는 화상 부호화 장치.
24. 화상 신호에 포함되는, 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 부호화하여 얻어지는, 부호화 형상 신호와, 부호화 화소값 신호를 복호화 처리하는 화상 복호화 장치에 있어서,

    부호화 처리에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 이용하여, 상기 예측 선택 신호로부터 취득하는 정보에 근거하여, 부호화 화소값 신호에 대한 복호화 처리에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 부호화 형상 신호에 대한 복호화 처리에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하는 복호화 참조 특정 신호 생성 수단(도 3의 (370))과,

    상기 부호화 화소값 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 수단에 있어서 생성된 참조 화소값 지정 신호에 근거하여, 특정한 복호화 화소값 신호를 참조하여 복호화 처리하는 화소값 복호화 수단(도 3의 (303∼309))과,

    상기 부호화 형상 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 수단에 있어서 생성된 참조 형상 지정 신호에 근거하여, 특정한 복호화 형상 신호를 참조하여 복호화 처리하는 형상 복호화 수단(도 3의 (312∼316))을 포함한 것을 특징으로 하는 화상 부호화 장치.
25. 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 포함하는 입력 화상 신호를 부호화 처리하는 화상 부호화 프로그램을 기록한 화상 부호화 프로그램 기록 매체에 있어서,

    상기 입력 화상 신호에 포함되는 화소값 신호를 처리 대상으로 하여, 부호화 처리후 복호화 처리된 복호화 화소값 신호를 참조하여 부호화 처리하는 화소값 부호화 단계와,

    상기 입력 화상 신호에 포함되는 형상 신호를 처리 대상으로 하여, 부호화 처리후 복호화 처리된 복호화 형상 신호를 참조하여 부호화 처리하는 형상 부호화단계와,

    상기 화소값 부호화 단계에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 상기 형상 부호화 단계에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하고, 상기 생성한 신호에 근거하여, 부호화에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 생성하는 부호화 참조 특정 신호 생성 단계를 포함하는 화상 부호화 프로그램을 기록한 것을 특징으로 하는 화상 부호화 프로그램 기록 매체(도 13).
26. 화상 신호에 포함되는, 물체의 형상을 나타내는 형상 신호와, 상기 물체의 색과 휘도에 관한 정보를 갖는 화소값 신호를 부호화하여 얻어지는, 부호화 형상 신호와, 부호화 화소값 신호를 복호화 처리하는 화상 복호화 프로그램을 기록한 화상 복호화 프로그램 기록 매체에 있어서,

    부호화 처리에 있어서의 참조 방법을 나타내는 정보를 포함하는 예측 선택 신호를 이용하여, 상기 예측 선택 신호로부터 취득하는 정보에 근거하여, 부호화 화소값 신호에 대한 복호화 처리에 있어서 참조하는 복호화 화소값 신호를 지정하는 참조 화소값 지정 신호와, 부호화 형상 신호에 대한 복호화 처리에 있어서 참조하는 복호화 형상 신호를 지정하는 참조 형상 지정 신호를 생성하는 복호화 참조 특정 신호 생성 단계와,

    상기 부호화 화소값 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 단계에 있어서 생성된 참조 화소값 지정 신호에 근거하여, 특정한 복호화 화소값 신호를 참조하여 복호화 처리하는 화소값 복호화 단계와,

    상기 부호화 형상 신호를 처리 대상으로 하여, 상기 복호화 참조 특정 신호 생성 단계에 있어서 생성된 참조 형상 지정 신호에 근거하여, 특정한 복호화 형상 신호를 참조하여 복호화 처리하는 형상 복호화 단계를 포함하는 화상 복호화 프로그램을 기록한 것을 특징으로 하는 화상 복호화 프로그램 기록 매체(도 13).