KR100365555B1 - 화상부호화/복호화장치 - Google Patents

Abstract

시선방향의 전후로 분할된 층 화상들을 구성하는 휘도 및 불투과도의 화상들을 고효율로 부호화 및 복호화하기 위해, 본 발명의 장치는 휘도 평면과 불투과도를 표현하는 평면을 상관을 취하고, 아핀 변환과 블록이동에 의해 표현된 변형 파라미터를 추출하는 변형분석기와, 선행 프레임의 복호화 결과와 변형분석기의 결과에서 예측화상을 형성하는 변형 합성기를 구비하고, 상기 예측화상이 휘도 평면과 α평면으로 구성되고, 각각의 차이가 에러부호화를 받고 출력 비트스트림이 아핀 변환 파라미터, 블록이동 파라미터, 피도 평면 에러부호 및 α평면 에러부호로 구성된다.

Description

화상 부호화/복호화 장치

발명의 배경

( 발명의 분야 )

본 발명은 화상(image), 특히 물체의 투영 화상(projective image)의 점유 영역을 나타내는 영역 화상을 부호화시켜 전송하고 축적하는데 유용한 화상 부호화 방법, 화상 복호화 방법 및 화상 처리 방법과 그 장치들에 관한 것이다.

본 발명은 또한 화상 부호화와 프레임 주파수 변환과 같은 포맷 변환에 사용되는 운동 벡터(motion vector) 검출 장치, 적은 부호화 볼륨으로 화상을 전송 및 기록하는 화상 부호화 장치 및 화상 복호화 장치에 관한 것이다.

본 발명은 또한 더 작은 부호화 볼륨으로 화상을 전송 및 축적하는 화상 부호화 방법 및 그 장치에 관한 것이다.

( 종래 기술 )

종래, 컴퓨터 그래픽 등으로 화상들을 합성하는 경우에는, 물체의 휘도(luminance) 외에 "α 값"이라고 칭하는 물체의 불투과도(투과도)에 관련한 정보가 필요하였다.

모든 화소(pixel)에 대해서 α 값이 결정되는데, α 값이 1인 것은 투과(non-opacity)를 의미하고, α 값이 0인 것은 완전 불투과를 의미한다. 다시 말해, 특정 물체의 화상을 배경에 삽입할 때에는 α 값을 갖는 화상이 필요하다. 이후로는 이러한 값을 갖는 화상들을 "α 평면"이라고 칭한다. 첨언하면, α 값은 구름이나 서리가 긴 유리 등과 같은 물체의 경우 [0, 1]의 중간값을 갖지만, 많은 물체에 있어서는 {0, 1}의 2개 값을 갖는 경우가 많다.

α 평면의 부호화는 화소값의 직접 계수로 행해질 수도 있지만, α 평면이 {0, 1}의 2개 값으로 구성된 경우에는 CCITT에 따른 국제 표준으로서 종래 팩시밀리 등에 사용된 2진 화상 부호화 기술인 MH, MR 및 MMR 부호화가 사용될 수 있다. 이들기술은 통상적으로 "실행 길이 부호화(run-length coding)"라고 칭해진다.

실행 길이 부호화에서 수평 또는 수평/수직으로 연속한 0과 1의 화소수는 효율적으로 부호화를 실행하기 위해 엔트로피 부호화(entropy-coded)된다.

또한, 물체 경계의 윤곽에 주목하면서, 그 윤곽을 구성하는 각 화소의 위치 정보도 부호화필 수 있다. 본 명세서에서는 이하 물체 경계의 윤곽을 부호화하는 것을 윤곽 부호화(contour encoding)라고 칭한다.

통상적인 윤곽 부호화로서는 연쇄 부호화(chain encoding)(Computing Surveys, Vol, 6, no. 1, pp. 57-96, (1974), H. Freeman의 "Computer Processing of line drawing data"에 설명되어 있음)를 들 수가 있다.

대상 경계의 윤곽이 단순한 화상에서는 α 값 1을 갖는 영역의 윤곽을 구성하는 각 화소 그룹을 연쇄 부호화함으로써 α 평면의 값이 아주 효율적으로 부호화될수 있다.

α 평면의 복호화된 결과에 의해 영향을 받게되는 시각적 특성을 고려해보면, 상술한 실행 길이 부호화 및 연쇄 부호화법과 그 장치들에서는 부호화/복호화가 모든 화소에 대해 행해지기 때문에, {0, 1}의 패턴들이 인간의 시각특성의 관점에서 보아 {0, 1}의 패턴을 반드시 정확하게 복호화할 필요가 없는데도 필요 이상으로 정확하게 부호화/복호화되고, 따라서 부호화되는 볼륨이 커지는 결점이 있었다.

더욱 구체적으로 설명하자면, 일반적인 화상합성에서는 화상과 "안티 얼라이어싱(anti-aliasing)"이라고 하는 배경화상의 색도값을 혼합하는 처리가 합성될 화상의 경계부근에서 실행한다. 이것은 α 값을 균등하게 [0, 1]의 계조(grey scale)라고 생각하면 대상경계 부근에서 α 값을 평활시키는 것과 동일한 것이다. 즉, α 평면과 같은 화상에서는 공간해상도가 크게 요구되지는 않는다. 대신, 대상경계 부근에서 진폭해상도가 필요하게 된다.

종래의 실행 길이 부호화법과 연쇄 부호화법에서는 이들이 가역 부호화될 수 있기 때문에, 시각특성의 관점에서 보아 공간 해상도가 필요 이상으로 되어 부호화되는 볼륨이 커지는 문제점이 있었다.

또한, 종래에 J. Wang과 E. Adelson에 의해 동화상의 불투과도와 기록을 효율적으로 실행하기 위하여, 제 31도에 도시된 바와 같이, 동화상을 층(layer) 화상으로 분해하여 동화상을 부호화하는 방법이 제안되어 있다.

이 방법이 기재되어 있는 문헌 "Layered Representation for Image Sequence Coding"[J. Wang과 E. Adelson 공저, IEEE Int. Conf. Acoustic Speech Signal Processing '93, pp. V221-V224, 1993]과 "Layered Representation for Motion Analysis"[J. Wang과 E. Adelson 공저, Computer Vision and Pattern Recognition, pp. 361-365, 1993]에 따르면, 아래에 기술된 (1) 내지 (3)의 화상처리가 실행된다,

(1) 동일한 운동파라미터(종래 경우에서는 아핀(affine) 변환 파라미터)에 의해 설명된 영역은 동화상으로부터 추출된다.

(2) 층 화상은 동일 운동영역을 중첩시켜 구성된다, 각 층 화상은 이 중첩된 영역의 점유를 나타내는 모든 화소에 대해 불투과성과 휘도로써 표현된다.

(3) 층 화상들간에 시서의 전후 관계들이 검사되어 계열화된다.

여기서, 아편 변환 파라미터(affinc transformation Parameter)는 화상에서 수평/수직위치를 (x, y)라 하고, 운동벡터의 수평/수직성분을 (u, v)라 했을 때 아래 식 (1)에 나타내는 계수 a0-a5를 의미한다.

카메라로부터 충분한 거리만큼 떨어져 위치한 강체의 투영화상의 동작은 아핀 변환 파라미터에 의해 근사화될 수 있음이 알려져 있다. J. Wang과 E. Adelson은 이것을 한 프레임으로 구성된 몇 종류의 층 화상을 아편 변환에 의해 변환시키면서 수십 내지 수백 프레임의 동화상을 합성하는데 이용하였다. 이러한 동화상을 전송 및 기록하는데 필요한 정보들은 각 층 화상(이후 "템플릿(template)"이라 함)에 관련된 변형의 기초가 되는 화상과, 아핀 변환 파라미터와, 각 층 화상의 상하 관계들만이다. 그러므로, 동화상의 기록과 불투과도는 매우 높은 부호화 효율로 실행될 수 있다, 게다가, 템플릿은 화상합성에 있어서 영역의 점유를 나타내는 모든 화소에 대해서 불투과도와 휘도에 의해 표현된다.

J. Wang과 E. Adelson에 의한 동화상표면에서 투영화상은 아핀 변환에 의해 설명될 수 있는 강체 운동만을 다룬다. 그러므로, 그들의 동화상표현은 투영화상의 동작이 아편 변환에 의해 설명될 수 없는 경우에는 잘 적용되지 않는다. 예컨대, 제 31도에 도시된 인간이 비강체 운동을 행할 때에 카메라-물체 거리가 작고, 또 원근변환의 비선형 항을 무시할 수 없는 것이라고 하면, 상기 동화상 표현은 이 비강체 운동에 적용될 수가 없다. 더욱이, 투영화상의 동작을 아편 변환 파라미터로 결정하는 그들의 기법은 아래의 2단 처리로 이루어진다.

1. 휘도의 시간적 변화가 공간명암 기울기와 운동벡터의 내적(inner Product)에 의해 근사화될 수 있는 휘도의 공간-시간 기울기의 관계식에 기초한 방법에 의해 화면상의 각 위치에서 국부 운동벡터를 결정하는 것(B. Lucas와 T. Kanade의 "An Iterative Image Registration Technique with An application to Stereo Vision", Proc. Image Understanding Workshop, pp. 121-130, April 1981)

2. 구해진 운동벡터를 클러스터링(clustering)하여 아핀 변환 파라미터를 결정하는 것.

그러나, 상술한 기법은 휘도의 시간-공간 기울기의 관계를 표현할 수 없을 정도로 동화상에 큰 동작이 있을 경우에는 적용될 수 없다. 더욱이, 구해진 운동벡터로부터 아핀 변환 파라미터를 예측하는 상기 2단 방법에서는 변수예측의 기초가 되는 운동벡터가 틀렸을 경우에는 큰 예측에러가 생긴다. 운동벡터는 휘도 변화가 없는 영역, 또는 휘도 변화가 있더라도 일방향 휘도 변화로 구성된 영역에서는 일정하지가 않다. 상기 언급된 2단 예측기법에서는 이들 불특정 영역에서의 운동벡터에 대해서 특별한 처리가 필요하다, 집합적으로 다음의 문제 1과 2가 해소되지 않는다.

문제 1 : 변형이 불규칙적인 휘도와 불투과도를 갖는 화상들(템플릿)의 효율적인 부호화.

문제 2 : 아핀 변환 파라미터의 확고한 예측.

또한, 종래의 화상 부호화 방법과 그 장치 중에는, 예컨대, CCITT Recommendation H. 261에 설명된 방법이나 장치가 있다. 제 37 도는 이 H.261에 따른 화상 부호화 장치와 복호화장치의 구성을 나타낸 블록도이다. 이 블록도에서 도면부호 70은 예측화상 형성수단, 71은 운동벡터 검출수단, 72는 차동장치, 73은 파형부호화수단, 74는 파형복호화수단, 75는 가산기, 76은 프레임 지연수단, 77은 하프만(Haffman) 부호기, 78은 하프만 복호기, 79는 파형복호화수단, 80은 가산기, 81은 프레임 지연수단, 82는 예측화상 형성수단을 나타낸다.

이렇게 구성된 화상 부호화 장치와 화상 복호화 장치에 대해서 설명한다. 먼저, 운동벡터 검출수단(71)은 입력화상의 16 × 16 화소로 구성된 블록(이하 매크로블록이라 함)에 대해서 선행프레임의 복호화된 화상과의 차분 절대값의 최소합을 갖는 운동벡터를 검출한다. 예측화상 형성수단(70)은 이 운동벡터와 선행프레임의 복호화된 화상을 입력시켜 예측 화상을 형성한다. 차동장치(72)는 입력화상과 예측화상의 차분 화상(이하, "예측에러화상" 또는 "잔여차(residual difference)화상"이라 함)을 출력한다, 파형 부호화수단(73)은 이 차분 화상에 8 × 8 화소로 구성된 블록에 대해서 이산 코사인변환(DCT)을 시행하여 화상을 주파수에 대응하는 DCT 계수로 변환시킨다. 하프만 부호기(77)는 이것에 가변길이 부호화를 시행한다. 부호화측과 복호화측에서 형성된 예측 화상을 동일하게 만들기 위해서, 파형 복호화수단(75)은 복호화측에서의 파형 복호화수단(79)의 구성과 동일한 구성을 갖고서 역 이산 코사인변환(IDCT)을 시행하여 예측에러화상을 재구성한다. 가산기(75)는 이것을 현재 예측 화상에 가산하여 복호화측에서 재구성된 화상을 형성한다. 이 화상은 프레임 지연수단(76)에 의해 지연되어 다음 프레임의 예측에 사용된다. 복호화측에서 DCT 계수는 역하프만 부호기(78)에 의해 복호화된 다음에, 각 블록은 부호화측에서 동일한 이름을 갖는 블록들의 동작과 동일한 동작을 실행하여 화상이 재구성된다.

상술한 바와 같이, H.261에 따른 부호화 장치의 프레임들간의 부호화 방식에서 현행 프레임화상이 부호화되면, 현행 프레임의 예측 화상이 블록 상관법에 의해 선행프레임의 화상으로부터 운동보상 화상으로 만들어지고(이하, 이러한 처리를 "운동보상"이라 함), 이 운동보상 화상과 현행 프레임화상의 예측에러화상이 부호화된다. 이러한 부호화장치에서, 운동보상 화상이 선행프레임과 에러없이 일치하면, 전송될 정보의 볼륨은 단지 운동벡터에 대한 것이고, 따라서 화상은 작은 부호화 볼륨을 갖고서 전송될 수 있다, 더욱이, 동화상에서 임의의 이동이 있더라하더라도 그것이 단순한 또는 국부적인 동작인 경우에는 예측 화상과 입력화상간의 차가 작게되며, 따라서 동화상은 프레임들간의 상관을 이용하지 않고서 프레임내의 부호화를 실행하는 경우에 비해 더 작은 부호화 볼륨을 갖고서 부호화될 수 있다.

그런데, H.261은 적어도 144 × 176 화소의 길이와 폭 또는 약 64 킬로비트/초의 부호화 볼륨을 갖는 화상을 전송할 목적으로 권장된 화상 부호화 방법 및 장치의 명세이다. 동일 크기를 갖는 화상을 약 20 킬로비트/초의 부호화 속도로 부호화하려고 하면 DCT 계수는 개략적으로 양자화되어야 한다. 따라서, 강한 에지를 DCT 계수로 표현할 수 없기 때문에, 에지 부근에 생긴 모기(mosquito)잡음과 DCT 블록들의 평균 휘도 레벨간의 차에 기인하여 블록경계에서 발생된 블록잡음이 시각방해로서 인지된다.

H.261에서는, 운동보상의 운동에 대한 정밀도는 1화소 단위로 실행된다. 그리고, 최근의 동화상 부호화 기법에서는, 이것은 1/2 화소의 운동정밀도를 갖고서 실행된다. 물체의 운동이 화소의 정수값을 갖는다면, 예측 화상은 이상적으로 에러없이 입력화상과 일치한다. 그러나, 실제로는 운동이 화소의 정수값을 갖는다는 것이 일반적인 것은 아니며, 또 운동의 정밀도가 증가하더라도(예컨대, 1/2 화소 정밀도, 또는 1/4 화소 정밀도), 입력 화소값은 그 화소 부근에서의 화소값의보간(interpolation) 또는 외삽(extrapolation)에 의해 예측되므로, 동작예측이 옳다하더라도 임펄스 형태의 예측에러가 에지 부근에서 생긴다. 이것은 제 34 도에 도시되어 있다. 제 34(a) 도에서, 입력화상은 변형되면서 오른쪽으로 수평 이동한다. 제 34(b) 도에서, 예측 화상은 정사각형이며, 좌측 에지 상의 "B" 위치는 변형때문에 틀리게 예측된다. 반면에, 오른쪽 에지 상의 "A" 부분은 개략적으로 일치한다.

그러나, "A" 부분에서 비록 시각적으로 적합하게 예측된 화상이 운동보상에 의해 형성되지만 잔여차 부호화를 받아야하는 예측에러가 생기며, 이것은 부호화된 전체 볼륨을 크게 만드는 요인이 된다. 여기서, 상기 도면에서 (g), (h), (i)는 입력화상, 예측된 화상, 및 잔여차 화상을 A-B로 절단하는 휘도레벨을 표현한다. 이런 문제는 파형 부호화수단(73)을 서브밴드 부호화와 같은 다른 변환 부호화수단으로 대체해도 해소될 수 없다. 마지막으로, 실제로 잔여차 부호화를 받아야하는 부분이 아니더라도 시각적 열화를 일으키지 않는 부분을 선택하는 것은 문제가 된다. 이것은 H.261에만 국한된 문제가 아니며 특정화상에 따라 예측 화상을 형성하여 잔여차 화상을 부호화하는 방법과 장치에 공통된 문제이다. 제 34 도의 예에서 "B" 부분은 명백히 잔여차 부호화를 필요로 하지만, "A" 부분에서는 어떤 한정된 부호화 속도 하에서 잔여차 부호화가 필요치 않다.

따라서, 상기 부호화 볼륨에 대한 상기 종래의 문제점을 감안하여, 본 발명의 목적은 시각적 특성을 가산함으로써 시각적 열화를 억제하면서 종래의 방법과 장치에 비해 부호화된 볼륨을 감소시킬 수 있는 화상 부호화 방법, 화상 복호화 방법, 및 화상 처리 방법과 그들의 장치를 제공하는 것이다.

본 발명의 화상 부호화 방법은,

화상을 다수의 화소를 포함하는 블록으로 분할하는 단계와;

상기 분할된 각 블록들 중에서 상이한 값들을 갖는 화소들이 동일블록에 혼재하는 블록을 추출하는 단계와;

상기 추출된 블록 중에서 상기 화상 상의 위치를 식별하기 위한 위치정보를 구해서 이 위치정보에 윤곽 부호화를 시행하는 단계; 및

상기 윤곽 부호화가 시행된 블록의 화소패턴에 파형 부호화를 시행하는 단계로 이루어진다.

또한, 본 발명은 문제 1과 2를 해소하기 위하여, 시선축의 전후 관계의 방향으로 분리된 층 화상들을 이루는 휘도와 불투과도의 화상을 효율적으로 부호화 및 복호화하는 화상 부호화 장치, 복호화 장치, 및 운동벡터 검출장치를 제공한다.

상기 문제 1을 해소하기 위한 제 1 발명에 따른 화상 부호화 장치는,

휘도와 불투과도로 구성된 기준화상과 물체의 휘도와 불투과도로 구성된 입력 화상계열로부터 부분영역들간의 대응을 이용하여, 부호화될 물체의 화상에 대해서 휘도 및 불투과도의 화상을 예측하는 예측수단과,

상기 예측수단에서 부분영역들간의 대응을 예측부호로 부호화하는 예측부호화수단과,

상기 예측 화상과 부호화될 상기 화상간의 휘도 및 불투과도의 차를 에러화상으로 결정하는 에러연산수단, 및

상기 에러화상을 에러화상부호로 부호화하는 에러부호화수단을 포함하며,

상기 화상계열이 상기 기준화상에 대한 에러화상부호와 예측부호로서 전송되는 것을 특징으로 한다.

문제 1을 해소하기 위한 제 2 발명에 따른 화상 복호화 장치는 제 1 발명에 따른 화상 부호화 장치의 기준화상과 동일한 기준화상을 유지하며 상기 화상 부호화 장치의 출력을 복호화하는 것으로서,

예측부호로부터의 부분영역들간의 대응을 복호화하는 예측부호 복호화수단과,

상기 부분영역들간의 복호화된 대응을 이용하여 기준화상으로부터 예측 화상을 형성하는 예측화상 형성수단과,

에러화상부호로부터 에러화상을 복호화하는 에러화상 복호화수단, 및

상기 예측 화상과 상기 에러화상을 가산하여 휘도와 불투과도로 이루어진 화상을 얻는 가산수단을 포함하며,

휘도와 불투과도로 구성된 화상은 상기 예측화상 정보수단 또는 상기 가산수단의 출력으로서 복호화되는 것을 특징으로 한다.

문제 1을 해소하기 위한 제 3 발명의 화상 부호화 장치는,

물체의 휘도와 불투파도로 구성된 화상을 입력하여 그 화상의 영역을 투과영역과 불투과영역으로 분류하고, 물체의 휘도값은 불투과영역에 대한 것이고 휘도값 범위 외에 있는 값은 투과영역에 대한 것이 되는 방식으로 휘도정보와 불투과도정보가 중첩된 휘도 화상을 형성하는 중첩수단을 구비하며,

상기 휘도 및 불투과도 정보가 중첩된 휘도 화상이 부호화되는 것을 특징으로 한다.

문제 1을 해소하기 위한 제 4 발명의 화상 복호화 장치는,

휘도값이 범위 외의 값인 경우에는 투과영역을 만들고 휘도값이 범위내의 값인 경우에는 휘도값을 만듦으로써 휘도 화상을 불투과도 화상과 휘도 화상으로 분할하는 분할수단을 구비하며,

휘도 및 불투과도의 휘도 화상이 복호화되는 것을 특징으로 한다,

문제 1 을 해소하기 위하여 제 5 발명의 화상 부호화 장치는,

원화상이 시선축의 전후관계와 영역의 불투과도 및 휘도에 의해 적층되는 경우,

다수의 층 화상을 입력하여 모든 층 화상에 대해 휘도와 불투과도를 층 화상 부호로 부호화하는 층 화상 부호화수단과,

상기 층 화상 부호화수단의 출력으로부터 복호화된 층 화상을 구하는 층 화상 복호화수단과,

상기 복호화된 다수의 층 화상을 이들의 전후관계, 명암, 및 불투과도에 의해 합성하는 합성수단, 및

상기 원화상과 상기 합성된 화상간의 에러화상을 결정하여 그 에러화상을 부호화하는 에러화상 부호화수단을 포함하며,

상기 원화상이 다수의 층 화상부호와 상기 원화상과 상기 합성된 화상간의 에러부호로서 전송되는 것을 특징으로 한다.

문제 1을 해소하기 위한 제 6 발명의 화상 복호화 장치는,

원화상의 시선축의 전후관계와 영역의 휘도 및 불투과도에 의해 적층되는 경우에,

다수의 층 화상을 입력하여 모든 층 화상에 대해 휘도와 불투과도를 층 화상부호로 부호화하는 층 화상 부호화수단과,

다수의 층 화상부호를 이용하여 휘도, 불투과도 및 시선축의 전후관계를 포함하는 층 화상을 복호화하는 층 화상 복호화수단과,

상기 층 화상을 가지고 합성된 화상을 형성하는 합성수단, 및

에러부호로부터 에러화상을 복호화하고, 에러화상을 상기 합성된 화상에 가산함으로써 화상을 복호화하는 에러화상 복호화수단을 포함한다.

문제 1을 해소하기 위한 제 7 발명의 화상 부호화 장치는,

다수의 기준화상을 예비적으로 기록 및 전송하는 기준화상 부호화수단과,

휘도가 입력화상과 상기 다수의 기준화상들간에 대응하는 위치들의 편차를, 즉 변형을 화면상의 위치를 변수로 만드는 다항식함수(polynomial function)로서 근사하여 근사 에러를 결정하는 화상간의 대응 근사 수단, 및

상기 다수의 기준화상들 중에서 작은 근사 에러를 갖는 기준화상을 결정하여 선택된 기준화상에 대한 식별자와 상기 다항식함수의 계수를 출력하는 최소 왜곡 기준화상 선택수단을 포함하며,

다수의 기준화상이 상기 기준화상 부호화수단에 의해 부호화되고, 입력화상이 최소한 상기 선택된 기준화상에 대한 식별자와 상기 다항식함수의 계수로서 전송되는 것을 특징으로 한다.

문제 1을 해소하기 위한 제 8 발명의 화상 복호화 장치는,

다수의 기준화상을 미리 재구성하는 기준화상 복호화수단과,

상기 다수의 기준화상으로부터 출력에 포함된 기준화상의 식별자에 대응하는 기준화상을 선택하는 기준화상 선택수단, 및

출력에 포함된 다항식함수의 계수에 기초하여 화면상의 위치를 변수로 만드는 다항식함수를 결정하고 상기 다항식함수에 의해 상기 선택된 기준화상을 변형시키는 기준화상 변형수단을 구비하며,

상기 기준화상 변형수단에 의해 변형된 기준화상을 이용하여 화상을 복호화하는 것을 특징으로 한다.

문제 2를 해소하기 위한 제 9 발명의 운동벡터 검출장치는,

물체의 휘도와 불투과도로 구성된 다수의 화상을 입력하여 불투과도에 소정값의 가산/승산을 시행하여 값 범위를 변환하고, 변환된 값을 휘도에 가산하여 휘도와 불투과도의 정보가 중첩된 휘도 화상을 형성하는 중첩수단, 및

휘도의 상관에 의해 2개 화상의 부분영역의 대응을 구하는 화상분석수단을 포함하며,

휘도와 불투과도로 구성된 화상이 상기 중첩수단에 의해 휘도만으로 구성된 화상으로 변환되고, 변환된 다수의 화상들간에 상기 화상분석수단을 이용하여 부분영역의 대응을 구하는 것을 특징으로 한다.

문제 2를 해소하기 위한 제 10 발명의 운동벡터 검출장치는, 화면상의 선택적 위치에서의 운동벡터를 위치를 변수로 만드는 다항식함수로써 표현하는 장치로서,

화상을 분할하여 구한 다수의 부분영역에 대해서 2개의 상이한 화상의 부분 영역의 대응을 에러로서 계산하여 최소에러가 되는 상기 부분영역들간의 편차와 그 부근에서의 에러값을 결정하는 에러계산수단과,

상기 최소에러가 되는 상기 편차와 그 부근에서의 에러값으로부터 편차를 변수로 만드는 4차 에러함수를 결정하는 에러함수 계산수단, 및

다항식함수의 계수를 갖는 상기 4차 에러함수의 총합 또는 부분합을 변수로서 표현하여 상기 계수에 대한 총합 또는 부분합을 최소화하는 최적화 수단을 구비하며,

상이한 화상들간의 운동벡터를 다항식함수의 계수로서 발행하는 것을 특징으로 한다.

제 1 발명의 화상 부호화 장치는 기준화상(즉, 템플릿)에 대해 부호화될 화상의 부분영역을 예측수단으로 정합시켜 기준화상으로부터 부호화될 화상의 휘도와 불투과도를 예측하여 예측된 화상을 형성한다. 부분영역의 대응은 예측부호화수단에 의해 예측신호로서 출력된다. 예측 화상과 부호화될 화상간의 휘도와 불투과도의 차는 에러계산수단에 의해 결정되고, 이것은 에러부호화수단에 의해 부호화된다.

제 2 발명의 화상 복호화수단은 제 1 발명의 화상 부호화 장치의 기준화상과 동일한 기준화상을 보유하며, 기준화상으로부터 예측 화상을 형성하기 위하여 예측부호화/복호화수단과 예측화상형성수단에 의해 예측부호로부터 부분영역들간의 대응을 복호화한다. 반면에, 에러화상은 에러화상 복호화수단에 의해 에러화상부호로부터 복호화된다. 가산수단은 예측 화상과 에러화상을 가산하여 휘도와 불투과도를 포함하는 화상을 구한다.

상기 2개의 발명에서, 부호화측에서는, 예측 화상과 부호화될 화상간의 휘도와 불투과도의 차가 부호화되도록 결정된다. 반면에, 복호화측에서는, 불투과도와 휘도의 차가 복호화된다. 따라서, 템플릿의 불규칙인 변형을 허용하는 층 화상이 부호화될 수 있다.

물체의 휘도와 불투과도로 구성된 화상을 입력으로 하는 제 3 발명의 화상 부호화 장치에서는, 중첩수단은 영역을 2개의 영역, 즉 투과영역과 불투과영역으로 분류하고, 물체의 휘도가 불투과영역에서 취해지고, 휘도값 외의 소정값은 투과영역에서 취해지도록 휘도와 불투과도의 정보들이 중첩된 다음에 부호화되는 휘도 화상을 형성한다.

제 4 발명의 화상 복호화 장치에서, 분할수단은 복호화된 화상의 휘도값이 휘도값 외의 소정값인 경우에는 투과영역이고, 휘도값이 휘도값 이내에 있는 경우에는 휘도값이 되게끔 화상을 불투과도 화상과 휘도 화상으로 분할한다. 상기 2개의 발명에서는, 템플릿을 이루는 휘도와 불투과도의 2개 정보를 하나의 휘도 화상으로 변환함으로써 템플릿의 변형을 이 휘도 화상의 변화로서 취급할 수 있다.

제 5 발명의 화상 부호화 장치에서, 원화상은 시선축의 전후관계와 영역의 불투과도 및 휘도에 의해 적층된다. 화상 부호화 장치는 모든 층 화상에 대해서 층화상 부호화수단에 의해 휘도와 불투과도를 층 화상부호로 부호화하여 다수의 층 화상을 입력으로 한다. 반면에, 상기 복호화된 층 화상은 층 화상 복호화수단에 의해 층 화상 부호화수단의 결과로부터 결정되고, 합성수단에 의해 상기 전후관계, 휘도 및 불투과도로부터 다수의 복호화된 춤 화상들을 합성한다. 이에 따라, 복호화수단에 의해 층 화상의 합성된 결과가 예측된다. 에러화상 부호화수단은 원화상과 예측된 합성화상간의 에러화상을 결정하고 이 에러화상을 부호화한다.

제 6 발명의 화상 복호화 장치는 층 화상 복호화수단에 의해 다수의 층 화상으로부터 휘도, 불투과도 및 시선축의 전후관계를 포함하는 층 화상을 복호화하여 합성수단에 의해 층 화상으로부터 합성화상을 형성한다. 에러화상 복호화수단은 에러부호로부터 에러화상을 복호화한다. 마지막으로, 합성화상에 에러화상을 가산함으로써 화상이 복호화된다. 상기 2개의 발명은 층 화상의 합성을 최종 결과로서가 아닌 예측 화상으로 하고, 이 예측화상과 원화상간의 차를 전송 및 기록함으로써 템플릿이 불규칙적으로 변형된다하더라도 별로 큰 시각적 열화없이 화상을 전송 및 기록할 수 있다.

제 7 발명에서 템플릿은 기준화상 부호화수단에 의해 예비적으로 전송 및 기록된다. 입력화상과 다수의 템플릿간의 대응은 화상들간의 대응 근사 수단에 의해 화상 좌표의 다항식함수로서 근사된다. 최소왜곡 기준화상 선택수단은 시간 순서와 무관한 상기 다수의 기준화상으로부터 이 다수의 템플릿 중에서 작은 근사 에러를 갖는 기준화상을 결정하여 선택된 기준화상의 식별자와 다항식함수의 계수를 출력한다. 다수의 템플릿을 준비함으로써 상기 다항식함수에 의한 근사 정도가 개선될수 있다.

제 8 발명의 화상 복호화 장치에서 다수의 템플릿은 기준화상 복호화수단에 의해 예비적으로 구성된다. 기준화상 선택수단은 입력 템플릿의 식별자에 대응하는 템플릿을 선택하고, 기준화상 변형수단은 입력 다항식함수의 계수에 기초하여 화상을 변형시킨다. 상기 다항식함수에 의한 템플릿의 변형결과가 부호화 장치측에서의 입력화상과 유사한 것이 확실하기 때문에, 작은 부호화 볼륨으로 화상을 복호화시킬 수 있다.

제 9 발명의 운동벡터 검출장치는 물체의 휘도와 불투과도로 구성된 다수의 화상을 입력으로 만들어 불투과도에는 소정값의 가산/승산을 시행하고, 필요하다면 불투과도에 중첩수단으로 임계처리를 시행하여 그 범위를 변화시키고, 휘도에 변환된 값을 가산하여 휘도와 불투과도의 정보가 중첩된 휘도 화상을 형성한다. 화상분석수단은 휘도 상관에 의해 2개의 화상의 부분영역의 대응을 구한다. 이에 따라, 휘도 뿐만 아니라 불투과도의 상관을 이용한 운동벡터검출을 실행할 수 있다.

제 10 발명의 운동벡터 검출장치에서는, 화면상의 선택적 위치에서의 운동벡터가 화상 좌표의 다항식함수로서 표현되며, 에러계산수단은 화상을 분할하여 구한 다수의 부분영역에 대해서 2개의 상이한 화상의 부분영역의 대응을 에러로서 계산하여 상기 최소에러가 되는 편차와 그 부근의 에러값으로부터 편차를 변수로 만드는 2차 에러함수를 결정한다. 최적화수단은 상기 다항식함수의 계수를 변수로 이용하여 상기 2차 에러함수의 총합 또는 부분합을 표현하고 그 계수에 대하여 이 총합 또는 부분합을 최소화시킨다. 본 발명에서는, 화상좌표(아핀 변환이 그 한가지 예임)의 다항식함수의 계수가 총합 또는 부분합이 최소가 되도록 운동벡터로부터가 아니라 편차를 변수로 하는 2차 에러함수로부터 결정된다.

더욱이, 상기 잔여차 부호화 문제를 고려하여, 본 발명의 목적은 상이한 화상들간의 상관을 이용하는 예측화상 부호화에서 일반적으로 생기는 문제들을 해소하기 위한 화상 부호화 방법 및 그 장치를 제공하는 것으로, 본 방법에서는 잔여차 화상이 잔여차 부호화가 시행되는 부분과 잔여차 부호화가 시행되지 않는 부분으로 나누어지며, 제한된 부호화 속도에서도 약간의 시각적 장애만을 갖고서 화상 부호화를 시행할 수 있다.

본 발명의 화상 부호화 방법은, 여러 가지 화상들로부터 입력화상을 예측하는 단계와, 큰 예측에러를 갖는 영역을 예측에러의 임계처리에 의해 패턴정보로 표현하는 단계와, 상기 패턴정보에 영역이 수축된 후에 팽창하는 형태학적 처리 또는 이와 동등한 처리를 시행하여 마스크 패턴을 형성하는 단계, 및 상기 마스크 패턴에 기초하여 예측된 에러화상의 부호화를 시행하는 단계로 구성된다.

또한, 본 발명의 화상 부호화 장치는,

여러 가지 화상들로부터 입력화상을 예측하는 수단과,

큰 예측에러를 갖는 영역을 패턴정보로 표현하는 임계처리수단과,

상기 패턴정보에 영역이 수축된 후에 팽창하는 형태학적 처리 또는 이와 등가적인 처리를 시행하여 마스크 패턴을 형성하는 형태학적 수단, 및

상기 마스크 패턴에 기초하여 예측된 에러화상의 부호화를 시행하는 파형 부호화수단을 포함한다.

먼저, 수축후의 팽창처리를 포함하는 형태학적 처리에 대해서 설명한다. 형태학적 처리는 2진 화상의 형상 또는 계조 화상의 밀도의 평면형상에 대해서 시행되는 처리로써, 이것은 문헌 1, "Academic Press"(Henk J. A. M. Heijmans. MorPhologlcal Image Operators, Academic Press, Inc, 1994)와, 문헌 2, "IEEE Transaction on Pattern Analysis and Machine Intelligence"(R. M Harallick, S. R. Sternberg, and X. Zhuang: Image Analysis Using Mathematical Morphology, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. PAMMI-9, No. 4, pp. 532-550, July 1987)에 상세히 설명되어 있다. 여기서 본 발명의 동작은 문헌 3, Hua-Rong JIN and Idefumi KOBATAKE: "Extraction of Microcalcifications on Mammogram Using Morphological Filter with Multiple Structuring Elements", IEICE Transaction, D2, Vol, J75-D-11, No, 7, pp. 1170-1176, 1992-7에서 설명된 규정을 참조하여 설명하기로 한다.

《 형태학적 동작 》

(1) 2진 형태학적 동작

처리될 화상인 2진 화상을 X라 하고, 구성요소(2차원 위치벡터의 집합, 도메인)를 B라고 한다. B를 구성하는 1개의 화상은 화소벡터 b로 표현된다고 가정한다. 이때, B'(여기서, '는 편의를 위해 사용된다)는 "B의 대칭"이라고 하면, 다음 식이 성립된다.

또한, Bz는 z(z는 2차원 벡터임)만큼 평행 이동하는 B를 나타내며, 다음 식을 성립한다.

X-b는 -b만큼 평행 이동하는 X를 의미한다. 형태학적 동작의 기초가 되는 것은 민코우스키(Minkowski) 차와 합으로써, 이들은 기호 (-)와 (+)로 표현된다. 다음 식에 따른 정의가 주어진다.

즉, 민코우스키(Minkowski) 차는 모든 구성요소들이 X만큼 평행 이동되는 구성요소에 공통적인 영역(공집합)을 주는 반면에, 민코우스키 합은 그 합집합을 제공한다. 이러한 기본적인 동작에 기초하여 수축과 팽창은 다음 식으로 표현된다.

수축 :

팽창 :

그리고, 개방과 폐쇄는 다음과 같이 정의된다.

개방 :

폐쇄 :

제 35 도에서는 팽창처리와 수축처리의 예들이 도시되어 있다. 구성요소들은 중심화소와 그 수평 및 수직방향에서 4개의 근접화소로 구성된다.

(2) 계조 형태학적 동작(Grey-scale Morphology Operation)

f(x)를 휘도값, F를 정의영역, g를 구성요소의 함수(스칼라값), G를 그 정의영역(도메인)이라 했을 때, 다음과 같이 정의된다.

수축 :

팽창 :

개방 :

폐쇄 :

만일 처리될 화소가 2가지 값을 갖는 패턴이 있다면, 계조 형태학적 동작에 의한 팽창과 수축은 제 35도에 도시된 것과 동일한 작용을 할 것이다.

본 발명의 화상 부호화 방법에서는, 먼저 입력화상이 여러 가지 화상들로부터 예측되고 이어 임계처리가 시행된다. 큰 잔여차를 갖는 영역은 패턴정보로서 추출된다. 그 후에, 패턴정보에 상기 형태학적 동작의 수축처리 후에 팽창처리, 즉 변형될 개방처리가 시행된다. 이에 따라, 제 34 도에 도시된 종래예에서 (e)와 (k)에 형태학적 동작의 결과로써 도시된 바와 같이, 에지 부근의 임펄스 형태의 영역이 제거된다. 이것을 잔여차 화상을 부호화하기 위해 마스크 패턴으로 이용함으로써 잔여차 부호화를 필요치 않는 영역을 무시하게 되어 부호화를 아주 효율적으로 실행할 수 있다. 유사하게, 본 발명의 화상 부호화 장치에서, 예측수단은 여러 가지 화상으로부터 입력화상을 예측하고, 임계처리수단은 큰 잔여차를 갖는 영역을 패턴정보로서 출력한다. 상기 형태학적 수단은 이 패턴정보에 상기 개방처리와 등가적인 처리를 시행하여 임펄스 형태의 영역이 제거된 마스크 패턴을 출력한다. 파형 부호화수단은 잔여차 부호화가 시행되지 않더라도 큰 시각적 열화를 일으키지 않는 영역을 무시하면서 이 마스크 패턴에 기초하여 부호화한다.

도면부호의 설명

7은 화상 부호화 장치, 1과 12는 분할수단, 2는 평활수단, 3은 추출수단, 4는 윤곽 부호화수단, 5는 이산코사인 변환수단, 6은 파형 부호화수단, 10은 화상 복호화 장치, 11은 입력수단, 13은 식별수단, 14는 복호화수단, 16은 코드북(code book), 17은 선택수단, 18은 전송수단, 26은 수직에지 검출필터, 27은 수평에지 검출필터, 28은 사선에지 검출필터, 29는 저역통과필터, 30은 특이점 계산부, 31은 혼합기를 나타낸다.

101과 102는 층 화상 부호기, 103은 멀티플렉서, 104는 디멀티플렉서, 105와 106은 층 화상 복호기, 107은 층 화상 합성기, 201은 변형분석기, 202는 변형합성기, 203과 204는 차동장치, 205는 예측부호 부호기, 206은 휘도 평면 에러 부호기, 207은 α평면 에러 부호기, 208은 휘도 평면 에러 복호기, 209는 α평면 에러 복호기, 210은 멀티플렉서, 211과 212는 가산기, 313과 214는 프레임 지연장치, 301은 디멀티플렉서, 302는 휘도 평면 에러 복호기, 303은 α평면 에러 복호기, 304는 예측부호 복호기, 305는 변형합성기, 306과 307은 가산기, 308과 309는 프레임 지연 장치, 401과 402는 휘도 화상메모리, 403과 404는 α화상메모리, 405와 406은 휘도/α중첩부, 407은 아핀 변환부, 408은 아핀 변환계수 연산부, 409는 아핀 변환화상 메모리, 410은 블록상관 연산부, 411은 멀티플렉서, 501은 블록상관 연산부, 502는 SAD 표면 근사부, 503은 에러함수 파라미터 저장메모리, 504는 아핀 변환 파라미터 연산부, 601은 휘도 화상메모리, 602는 α화상메모리, 603은 디멀티플렉서, 604와 605는 아핀 변환부, 606과 607은 아핀 변환 화상메모리, 608과 609는 화상블록 변형부, 701은 DCT 연산부, 702는 양자화부, 703은 가변길이 부호화부, 801은 하르(Haar) 변환 연산부, 802는 양자화부, 803은 가변길이 부호화부, 901은 가변길이 복호화부, 902는 역양자화부, 903은 역 DCT 연산부, 1001은 가변길이 복호화부, 1002는 역양자화부, 1003은 역 하르 변환 연산부, 1301은 변형분석기, 1302는 변형합성기, 1303은 휘도/분할부, 1304는 휘도/α중첩부, 1305는 프레임 지연장치, 1306은 차동장치, 1307은 가산기, 1308은 휘도/α중첩 에러 부호기, 1309는 예측부호 부호기, 1310은 휘도/α중첩 에러 부호기, 1311은 멀티플렉서, 1401은 디멀티플렉서, 1402는 휘도/α중첩 에러 복호기, 1403은 예측부호 복호기, 1404는 가산기, 1405는 변형합성기, 1406은 프레임 지연장치, 1407은 휘도/α분할부, 1501은 휘도/α메모리, 1502는 디멀티플렉서, 1503은 아핀 변환부, 1504는 아핀 변환 화상메모리, 1505는 화상블록 변형부, 1506은 도메인 경계 판단부, 1602와 1609는 스위치, 1603은 DCT 연산부, 1604는 양자화부, 1605는 가변길이 부호화부, 1606은 하르 변환 연산부, 1607은 양자화부, 1608은 가변길이 부호화부, 1610은 멀티플렉서, 1701은 디멀티플렉서, 1702는 스위칭 제어부, 1703과 1710은 스위치, 1704는 가변길이 복호화부, 1705는 역양자화부, 1706은 역 DCT 연산부, 1707은 가변길이 복호화부, 1708은 역양자화부, 1709는 역 하르 변환 연산부, 1801은 전경메모리, 1802는 배경메모리, 1803은 전경분리기, 1804와 1805는 층 화상 부호기, 1806은 멀티플렉서, 1807은 디멀티플렉서, 1808과 1809는 층 화상 복호기, 1810은 층 화상합성기, 1811은 예측화상메모리, 1812는 차동장치, 1813은 휘도평면 에러 부호기, 1814는 멀티플렉서, 1911과 1912는 디멀티플렉서, 1913과 1914는 층 화상 복호기, 1915는 층 화상합성기, 1916은 예측화상메모리, 1917은 휘도 평면 에러 복호기, 1918은 가산기, 2001은 아핀 변환 계수 연산부, 2002는 휘도/α분할부, 2003은 템플릿 저장메모리, 2004는 아핀 최단거리 템플릿 결정부, 2005는 예측부호 부호기, 2006은 멀티플렉서, 2101은 디멀티플렉서, 2102는 예측부호 부호기, 2103은 템플릿 판독회로, 2104는 저장메모리, 2105는 아핀 변환부, 2106은 휘도/α중첩부를 나타낸다.

48과 64는 예측화상 형성수단, 49는 운동벡터 검출수단, 50은 감산기, 51은 임계처리수단, 52는 형태학적 연산부, 53은 평활필터, 54는 마스크 처리수단, 55는 파형 부호화수단, 56과 61은 파형 복호화수단, 57과 62는 가산기, 58과 63은 프레임지연수단, 59는 하프만 부호기, 60은 하프만 복호기를 나타낸다.

양호한 실시예의 설명

[I]

이하, 첨부도면들을 참조하여 본 발명에 의한 실시예들을 설명한다.

제 1 도는 본 발명 한 실시예에 의한 화상 부호화 장치 및 화상 복호화 장치의 구조를 도시하는 블록도이고, 이 도면을 참조하여 본 실시예의 구조를 설명한다.

제 1 도를 참조하면, 분할수단(1)은 부호화필 화상을 입력하고, 그 입력화상을 8×8의 화소수로 구성된 블록들로 분할한다. 평활수단(2)은 화소값으로서 α값1을 255로 그리고 α값 0을 0으로 변환하여 화상을 평활처리하고, 중간값을 갖는 국부화상(regional image)을 형성한다.

추출수단(3)은 분할수단(1)이 분할한 각각의 블록들 가운데 동일 블록 내에 상이한 α값을 갖는 화소들이 혼재하는 블록을 추출하는 수단이다.

윤곽 부호화수단(4)은 추출수단(3)이 추출한 블록의 원래 화상의 위치를 식별하는 위치정보를 얻어 그 위치정보를 연쇄부호화(chain encoding)하는 수단이다.

이산코사인 변환수단(5)은 추출수단(2)이 추출한 블록내 화소패턴에 대해 이산코사인변환(이하, DCT라 한다)을 실행함으로써 DCT 계수를 얻는 수단이고, 파형 부호화수단(6)은 이산코사인 변환수단(5)이 얻은 DCT 계수에 대해 가변길이 부호화를 행하는 수단이다. 화상 부호화 장치(7)는 상술한 각각의 수단으로 구성된다.

또한, 제 1 도에서, 입력수단(11)은 화상 부호화 장치(7)의 윤곽 부호화수단으로부터의 출력데이터인 윤곽 부호화데이터와, 파형 부호화수단(6)으로부터의 출력데이터인 가변길이 부호화데이터를 입력하고, 분할수단(12)은 복호화될 화상을 분할수단(1)에서와 같이 8 ×8의 화소수로 구성된 블록들로 분할한다. 식별수단(13)은 분할수단(12)이 분할한 블록들 가운데 입력수단(11)에 입력된 윤곽 부호화 데이터를 복호하고, 그 결과 상이한 칼을 갖는 화소들이 혼재한 블록들을 식별한다. 복호화수단(14)은 식별수단(13)이 식별한 블록내 화소패턴에 대응하여 가변길이 부호화데이터를 복호화하는 수단이다. 화상 복호화 장치(10)는 전술한 입력수단(11)에서 복호화수단(14)까지의 각각의 수단으로 구성된다.

전술한 바와 같이 구성된 이 실시예에 의한 화상 부호화 장치 및 화상 복호화 장치에서, 본 발명의 화상 부호화 방법 및 화상 복호화 방법의 한 실시예를 그 작용과 함께 제 1 도 및 제 2 도를 참조하여 설명한다, 제 2(a) 도∼제 2(c) 도는 인간의 화상이 배경화상에 삽입되어 있을 경우, 부호화 처리의 과정을 예시하는 도면들이다. 제 2(a) 도는 부호화될 화상을, 제 2(b) 도는 블록들로 분할된 화상을, 제 2(c) 도는 연쇄 부호화되고 파형 부호화될 대상으로서 추출된 블록들(도면에 흑색으로 칠해진 영역들)을 나타낸다.

여기서, 부호화될 화상은 0/1의 화상이다, 또한, α=1은 물체의 존재영역(이 실시예의 경우, 인간의 화상에 상당함)을 표현하는 것으로 가정되고, α=0은 어떤 물체도 존재하지 않는 불투과 영역(opacity region)을 표현하는 것으로 가정된다.

분할수단(1)은 화상입력을 얻어(제 2(a) 도 참조), 8 ×8의 화소수를 포함하는 블록들로 화상을 분할한다(제 2(b) 도 참조).

그 후에, α값 1은 255로 변환되고, α값 0은 화상을 평활처리하는 평활수단(2)에 의해 0으로 변환된다. 이에 따라, 중간값을 갖는 국부화상이 형성된다.

여기서, 블록들은 후술하는 추출수단(3)에 의해 3가지 형식으로 분할된다.

즉, 블록내의 모든 α값이 255로 구성된 블록들은 물체의 내부영역에 있는 블록들이다. 그리고, 블록 내에 0∼255의 α값이 혼재되어 있는 블록들은 물체의 경계영역에 있는 블록들이다. 그리고, 블록내의 모든 α값이 0으로 구성되어 있는 블록들은 물체의 외부영역에 있는 블록들이다.

전술한 바와 같이 분할된 블록 중에서, 추출수단(3)은 블록내의 모든 α값이 255로 구성되어 있는 블록들을 추출하기 위하여, 0에서 255까지의 α값이 블록 내에 혼재되어 있는 영역들을 시계방향으로 안쪽을 향해 검색하여 응용 가능한 블록들을 추출한다.

윤곽 부호화수단은 이와 같이 추출된 각 블록의 위치들을 식별하기 위한 위치정보들인 블록위치들 (x0, y0), (x1, y1), …, (xN-1, yN-1)을 곡률연쇄부호화(curvature chain coding)시킨다.

한편, 경계영역내의 블록들은 DCT(이산코사인변환)되고, DCT 계수는 파형 부호화수단(6)에 의해 가변길이 부호화된다.

이와 같이 얻어진 연쇄부호화의 결과와 DCT 계수는 화상 복호화 장치(10)에 출력된다. 시계방향으로 연쇄부호화를 실행함으로써, 내부영역의 블록과 외부영역의 블록이 식별될 수 있다. 부언하면, 제 2(a) 도∼제 2(c) 도는 처리순서가 전술한 설명과는 약간 다르고 평활처리 전에 소청 블록들을 추출하는 처리가 실행되는 경우를 나타내지만, 전술한 바와 같이 평활처리가 행해진 후에 소정 블록들이 추출될 수 있음은 물론이다(제 3 도 참조). 제 3 도는 물체의 경계부분들이 [0, 1]의 중간간, 즉 0∼255의 α값을 갖는 경우 평활처리된 화상을 보여주는 도면이다.

복호화처리의 작용은 전술한 작용과 반대이다.

즉, 화상 부호화 장치(7)측에서 출력된 데이터가 입력수단(11)에 입력되고, 분할수단(12)은 복호화될 화상을 8 ×8 화소수의 블록들로 분할한다. 식별수단(13)은 입력수단(11)으로 얻어진 연쇄부호화데이터를 복호화한다. 이로써, 식별수단(13)은 블록들을 3가지 타입으로 분류한다. 즉, 시계방향으로 회전되는 블록은 내부영역의 블록이고, 그렇게 회전되지 않는 영역은 외부영역의 블록이며, 경계영역의 블록들을 식별하기 위한 블록이 경계영역에 있다. 복호화수단(14)은 경계영역의 블록들에 대한 가변길이 부호화 데이터를 복호화하고, DCT 계수를 역변환하며, 제 3 도에 도시된 화상데이터를 출력한다.

전술한 바와 같이, 이 실시예는 입력화상, 특히 작은 부호화 볼륨을 갖는 물체의 투사영상의 불투과 영역을 나타내는 국부화상을 연쇄부호화 및 파형 부호화를 합성한 부호화 방법에 의해 송신하고 누적하는 화상 부호화 장치에 관한 것이다.

즉, 화상은 저해상도를 갖는 화상을 형성하도록 블록들로 분할되어 상이한 화소값을 갖는 블록들이 경계가 되고, 이 경계의 블록들이 윤곽 부호화된다. 그리고, 블록내의 화소패턴은 파형 부호화된다. 그러므로, 블록내의 파형 부호화가 비가역 부호화라고 가정할 때, 전혀 시각적으로 열화되지 않은 화상이 몇 개의 윤곽 부호로 부호화될 수 있는 효과가 얻어진다. 또한, 이러한 효과는 화상이 애니메이션 등인 경우에 특히 성공적이다.

따라서, α평면의 부호화가 비가역 부호화인 경우라도, 공간 해상도는 시각적 열화가 없는 범위에 적절하며, 반면에 국부 경계의 부근에서는 부호화에 비해 우수한 진폭해상도를 갖는 부호화 장치 및 복호화 장치와 이들을 사용한 부호화 방법 및 복호화 방법이 매우 효과적이다.

이어서, 제 4 도는 본 발명의 다른 실시예인 화상 부호화 장치 및 화상 복호화 장치의 구조를 도시하는 블록도이고, 제 4 도를 참조하여 이 실시예의 구조를 설명한다.

제 4 도에서, 분할수단(15)은 부호화될 화상을 입력하고, 입력화상을 4×4 화소수를 갖는 영역들로 분할하고, 이 분할로 얻어진 영역들내의 화소패턴을 출력한다. 그리고, 본 발명의 양자화 패턴형성수단인 평활수단(19)은 분할수단(15)에서 출력된 데이터를 평활하여 출력하는 수단이다. 여기시, 평활처리는 좀더 미세하게 양자화하기 위하여 부호화될 화상 중 화소패턴 {0, 1}의 2개의 값을 포함하는 각각의 화소값을 0∼255의 중간값으로 변환하는 처리과정이다. 따라서, 이 평활수단(19)은 부호화될 대상으로서 {0, 1}의 2진 화소값으로 된 화상에 기초하여 [0, 255]의 중간값을 갖는 국부화상을 형성한다.

코드북(16)은 후술하는 LBG 알고리듬에 의해, 화소값이 복수 종류의 화상을 이용하여 모든 영역에 대해 각 화상을 분할함으로써 얻어진 영역내의 화소패턴의 각 화소값에 비해 더 미세하게 양자화되어 있는 양자화 패턴들로부터 대표적인 패턴으로 선택된 양자화 패턴을 갖도록 형성된다. 선택수단(17)은 상술한 바와 같이 형성된 코드북(16)중에 화상내의 화소패턴을 가장 근사적으로 나타내는 양자화 패턴을 선택하고, 이 선택된 양자화 패턴에 대응하는 색인 정보를 출력하는 수단이고, 전송수단(18)은 선택수단(17)에서 출력된 색인정보를 전송하는 수단이다. 화상 부호화 장치(20)는 전술한 각각의 수단으로 구성된다.

더욱이, 제 4 도에서, 상술한 화상 부호화 장치(20)에서 코드북(16)이 사용되고, 부호화될 화상내의 화소패턴을 아주 근사적으로. 표현하는 것으로 선택된 양자화 패턴에 대응하는 색인정보가 전송될 때, 입력수단(21)은 상기 전송된 색인정보를 얻어 출력한다. 화상 복호화 장치(25)에도 전술한 코드북(16)과 동일한 코드북(22)이 마련된다. 판독수단(23)은 입력수단(21)에서 출력된 색인정보로부터 코드북(22)의 내용을 검사하고 대응하는 양자화 패턴을 판독하는 수단이고, 복호화수단(24)은 판독수단(23)이 판독한 양자화 패턴을 사용하여 상기 복호화될 화상을, 화소값이 상기 부호화될 화상에 비해 더 미세하게 양자화되는 화상으로 복호화하는 수단이다. 화상복호화수단(25)은 입력수단(21)에서 상술한복호화수단(24)까지의 각 수단으로 구성된다.

상술한 바와 같이 구성된 이 실시예의 화상 부호화 장치 및 화상 복호화 장치에서, 본 발명의 한 실시예에 따른 화상 부호화 방법 및 화상 복호화 방법이 그 작용과 함께 제 4 도 및 제 5 도를 참조하여 설명된다. 제 5 도는 인간의 화상이 배경화상에 삽입되어 있을 때 화상이 평활, 벡터 양자화 등의 처리를 순차로 받는 상태에서 화상의 변화를 화상도로 간단히 표현하는 도면이다.

여기서, 부호화될 화상은 0/1의 화상이다. 또한, α=1은 물체의 존재영역(이 실시예에서 인간의 화상에 상당함)을 표현한다고 가정하고, α=0은 어떤 물체도 존재하지 않는 불투과 영역을 표현하는 것으로 가정한다.

우선, 코드북의 형성을 설명한다.

즉, 복수 종류의 화상들을 사용함으로써 각 화상은 4 ×4 화소수로 된 블록들로 분할된다 그런데, α값 1은 255로 변환되고, α값 0은 0으로 변환되며, 화상은 평활처리된다. 이로써, 중간값을 갖는 국부화상이 구성된다.

이어서, 코드특이 LBG 알고리듬으로 디자인된다(Y. Linde, A. Buzo 및 R. B. Gray저: "An Algorithm for Vector Quantizer Design", IEEE Transaction on Communication, Vol COM-28, No. 8, pp. 957-971, 1988년 8월). 이로써, 코드북은 0/1의 값이 아닌 중간값을 가진 국부화상에 대해 설계된다. 코드북의 사이즈는 대표적인 패턴으로 선택되는 256으로 되어 있다. 이것은 4 ×4 화소수를 포함하는 블록이 갖는 0/1 패턴수(2¹⁶)에 비해 1/256이다.

다음에, 벡터양자화 처리를 설명한다(제 5도 참조).

제 4 도에서, 분할수단(15)은 부호화될 화상을 4 ×4의 화소수로 된 블록들로 분할하고, 평활수단(19)은 α값 1을 255로, 그리고 α값 0을 0으로 변환하여 화상이 평활처리를 받게 한다. 이로써, 중간값을 갖는 국부화상이 구성된다. 선택수단(17)은 코드북(16)을 검사하고, 평활처리를 받은 블록들로 분할된 화소패턴을 비교하여, 최소 제곱의 에러합을 갖는 패턴을 검색하고, 그 결과로서 가장 근사적으로 표현된 패턴에 대응하는 색인정보를 전송수단(18)에 출력한다. 따라서, 색인정보가 전송수단(18)에서 화상 복호화 장치(25)에 전송된다.

화상 복호화 장치(25)에서, 입력수단(21)이 상기 색인정보를 이용하고, 판독수단(23)은 상기 입력수단(21)이 얻은 색인정보에 대응하는 양자화 패턴을 코드북(22)에서 판독하며, 복호수단(24)은 상기 판독된 양자화 패턴을 사용하여, 복호될 화상을 복호될 원화상에 비해 화소값이 더 미세하게 앙자화되는 화상으로 복호한다.

상술한 바와 같이, 본 발명에 따르면, 거친 진폭해상도(양자화 정확도라고도 함)를 갖는 화소값(이 실시예에서 α값)의 패턴을 벡터 양자화시킴으로써, 이 화소값 패턴이 약간 열화된 공간해상도를 갖지만 더 미세한 진폭해상도(양자화 정확도)를 갖게 되므로, 고효율의 부호화와 고효율의 복호화가 실행되면서 시각적 열화를 억압할 수 있다는 효과가 있다. 더욱이, 화상이 애니메이션 등일 때 이러한 효과는 특히 성공적이다.

다음에, 제 4 도를 참조하여 설명한 화상 부호화 장치(20)의 평활수단(19)의구조를 더욱 상세히 설명하면서, 본 발명의 다른 실시예인 화상처리장치의 한 실시예로서 화상 부호화 장치를 설명한다.

제 6 도는 본 발명의 화상 부호화 장치의 특징부인 평활수단의 구조를 도시하는 블록도이고, 이 실시예의 구조가 제 6 도를 참조하여 설명된다. 또한, 제 4 도와 동일한 부분의 설명은 생략한다.

제 6 도에서, 수직에지 검출필터(26), 수평에지 검출필터(27), 사선에지 검출필터(28) 및 저역통과필터(29)는 각각 제 7(a) 도, 제 7(b) 도, 제 7(c) 도 및 제 7(d) 도에 도시된 특성을 갖는 필터들이고, 어떤 필터이든 입력화상의 원신호를 입력하여 소정응답을 출력한다. 특이점 계산부(30)는 수직에지 검출필터(26)의 응답 V, 수평에지 검출필터(27)의 응답 H, 및 사선에지 검출필터(28)의 응답 D를 입력하여 후술하는 식 (1)로 윤곽의 복잡성 C를 계산하고, 계산결과로서 C 값을 출력한다. 혼합기(31)는 특이점 계산부(30)의 출력 C, 저역통과필터(29)에서의 출력, 및 입력화상의 원신호를 입력하여 후술하는 식 (2)로 이들을 계산하여, 그 결과를 출력한다. 제 7(a) 도∼제 7(d) 도는 다양한 필터들의 특성을 도시하는 도면이다.

상기와 같이 구성된 본 실시예의 화상처리장치의 한 실시예인 화상 부호화 장치에서, 제 6 도 및 제 8 도를 참조하여 본 발명의 화상처리방법의 한 실시예와 그 작용이 설명된다.

제 6 도에서, 수직에지 검출필터(26), 수평에지 검출필터(27), 및 사선에지 검출필터(28)는 특이점 계산부(30)에 대한 입력화상출력의 신호 V, H 및 D를 각각의 필터특성에 대응하는 응답으로 얻는다. 특이점 계산부(30)는 다음 식 (201)에기초하는 이들 입력 V, H, D를 사용하며 윤곽의 복잡성 C의 값을 결정한다.

(여기서 *는 승산을 의미한다)

이렇게 얻어진 C 값은 0과 소정값 Cmax 사이에 있도록 클립핑(Clipping)된다.

이어서, 혼합기(31)는 다음 식 (202)에 기초하여 신호를 합성하고,

직선에지가 유지되지만(제 8(a) 도 참조) 복잡한 윤곽을 갖는 에지가 억압되는(제 8(b) 도 참조) 처리가 응용되는 화상신호를 출력한다. 제 8(a) 도와 제 8(b) 도는 이 실시예의 평활처리의 예들을 도시하는 도면이고, 제 8(a) 도는 직선에지에 대한 평활처리를 도시하며, 제 8(b) 도는 복잡한 윤곽을 갖는 에지에 대한 평활처리를 도시한다.

따라서, 이 실시예의 처리에 의하면, 입력화상을 형성하는 화소값의 패턴이 더 복잡할 때, 화소값에 적용되는 평활도는 화소값 패턴이 더 단순한 경우에 비해 강해지고, 상기 패턴이 더 단순할 때 화소값에 적용되는 평활도는 패턴이 더 복잡한 경우에 비해 약해지며, 전술한 여러 필터들은 윤곽의 편평부에서 작은 저역통과 특성을 갖고, 윤곽의 고르지 않은 부분에서 큰 저역통과 특성을 가지며, 이로써 이 실시예는 국부화상의 부호화에 있어서 시각특성이 우수한 효과를 나타낸다.

여기서, 예컨대, 이진 불투과도를 갖는 필터에서, 윤곽의 전체 곡률함수의 분산에 의해 윤곽의 복잡성 판정이 실행될 수 있다. 또한, 농도값(concentrationvalue)을 포함하는 더 일반적인 경우에, 이 농도값은 하다마르 변환계수, 푸리에 변환계수, DCT 계수 등에 의해 계산될 수 있다.

상술한 내용은 "국부화상이 컬러 화상보다 더 낮은 공간해상도와 0/1보다 더 높은 진폭해상도를 갖는다"는 원리에 기초하고 있다.

또한, 상기 실시예에서 입력화상이 0/1의 2개 값을 갖는 경우에 대해 설명되었지만, 여기에 제한되지 않으며, 에컨대, 입력화상이 다중값을 가질 수도 있다.

또한, 상기 실시예에서 연쇄부호화가 윤곽 부호화로 사용되는 경우에 대해 설명되었지만, 이 실시예는 이 경우에 제한되지 않으며, 예컨대, 베지르 곡선(Bezier Curve)과 스플라인 곡선(spline curve)이 사용될 수도 있다.

또한, 상기 실시예에서 평활수단이 양자화 패터닝 수단으로 사용되는 경우에 대해 설명되었지만, 이 경우에 제한되지 않으며, 부호화될 화상내의 화소패턴의 각 화소값이 양자화 패터닝을 받아 화소값이 더 미세하게 양자화되는 한 어떤 처리를 응용하는 수단이라도 사용될 수 있다.

또한, 상기 실시예에서 α값이 화소값으로 사용되는 경우에 대해 설명되었지만, 예컨대, 화상의 휘도 레벨을 이용하는 것이 사용될 수도 있다.

또한, 상기 실시예에서, 화상처리장치와 그 방법은 화상처리장치(20)의 전처리인 평활수단(19)으로서 이용되는 경우에 대해 설명되었지만 이 경우에 제한되지 않으며, 예컨대, 화상 부호화 장치(7)의 전처리, 화상 복호화 장치(10)의 후처리, 또는 화상 복호화 장치(25)의 후처리 수단으로 이용될 수 있다.

상술한 설명으로부터 명백해지는 바와 같이, 본 발명은 시각적 열화는 억압하면서 부호화 볼륨이 종래 장치에 비해 더욱 감소될 수 있는 이점을 갖는다.

또한, 본 발명은 국부화상의 부호화에 대해 시각적 특성이 우수한 성질을 얻을 수 있다는 이점이 있다.

[II]

본 발명의 각 실시예에서, 본 발명의 작용을 용이하게 이해하기 위하여 288×352 화소의 길이와 폭으로 화상이 구성되어 있고, 계층성이 그 일반성을 상실하지 않으며, 단지 두 부분 즉, 전경과 배경으로 구성되어 있다고 가정한다, 또한, 운동벡터를 검출하는 상관동작을 실행하는 블록은 길이 16화소 ×폭 16화소로 구성되어 있다고 가정한다.

이하, 본 발명의 실시예가 도면을 참조하여 설명된다.

본 발명의 제 1 실시예는 제 9 도∼제 20 도를 참조하여 설명된다. 여기서, 제 10 도는 제 1 발명의 구조예를 도시하는 도면이고, 제 11 도는 제 2 발명의 구조예를 도시하는 도면이며, 제 12 도는 제 9 발명의 구조예를 도시하는 도면이고, 제 13 도는 제 10 발명의 구조예를 도시하는 도면이다. 제 9 도는 화상 부호화 장치와 화상 복호화 장치의 작용을 도시하는 층 부호화시스템의 구성도이다. 이 층화상은 2개의 프레임, 즉 휘도와 불투과도로 구성된다. 여기서, 각각 휘도 평면과 α평면이라 한다. 층 화상합성기(107)에서, 식 (2)로 표현된 합성이 실행된다.

식 (2)에서, (x, y)는 수평/수직 위치를 나타내고, g_f및 g_b는 각 전경과 배경의 휘도값 [0, 255]을 나타내고, a는 전경의 불투과도[0, 1]를 나타낸다. g는 합성된 휘도값이다. 이 실시예에서 간결하게 하기 위해 계층성이 2라고 가정하므로, 배경의 모든 불투과도는 1로 되어 있다. 층 화상 부호기(101 및 102)는 전경과 배경에서 휘도 평면과 α평면의 각 동화상을 부호화하고, 멀티플렉서(103)에 의해 다중화된 비트스트림이 복호화 장치에 전송된다. 복호화 장치에서, 각각의 층 화상의 데이터가 디멀티플렉서(104)에 의해 분할되고, 이 층 화상이 층 화상 복호기(105 및 106)에 의해 재구성된다. 재구성된 층 화상이 층 화상합성기(107)에 의해 합성된다. 이제, 이 부호화시스템을 순차로 설명한다.

제 10 도는 제 9 도의 본 발명의 일 실시예에서의 층 화상 부호기(101 및 102)의 구조도이다. 제 10 도에서, 201은 변형분석기, 202는 변형합성기, 203 및 204는 차동장치, 205는 예측부호 부호기, 206은 휘도 평면 에러 부호기, 207은 α평면 에러 부호기, 208은 휘도 에러 부호기, 209는 α평면 에러 복호기, 210은 멀티플렉서, 211 및 212는 가산기, 213 및 214는 프레임 지연장치를 나타낸다. 이와 같이 구성된 층 화상 부호기를 이제 설명한다.

우선, 변형분석기(201)는 선행 프레임의 복호 결과인 휘도 평면 및 α평면의 어느 위치가 현재 입력된 휘도 평면 및 α평면의 각각의 위치에 대해 서로 대응하는지를 판정한다. 이 위치 대응성 정보는 예측부호 부호기(205)에 의해 아핀 변환파라미터 및 블록 평행이동성분으로서 부호화된다. 변형합성기(202)는 이 대응정보를 수신하고, 선행 프레임의 복호 결과인 휘도 평면 및 α평면을 변형하여 차동장치(203 및 204)에 의해 이 평면들을 차분 신호로 만든다. 휘도 평면에 한정될 때,이것은 CCITT Recommendation H, 261에 서술된 화상 부호화 장치 등에 "운동보상(motion compensation)"이라 하는 처리에 대응한다, 여기서, 다른 점은 에러 절대값의 합(SAD라 약칭함)이 16 ×16화소의 블록에서 최소가 되는 블록이동뿐 아니라 전체 화면의 아편 변형이 실행되는 운동보상이 조합되는 것이다. 이것을 제 14 도에서 설명한다.

제 14 도는 제 10 도의 변형합성기(202)의 구조를 나타낸다. 제 14 도에서, 601은 휘도 화상메모리, 602는 α화상메모리, 603은 디멀티플렉서, 604 및 605는 아편 변환부, 606 및 607은 아편 변환 화상메모리, 608 및 609는 화상블록 변형부를 나타낸다. 대응정보(변형 파라미터)는 길이 및 폭이 18 ×22로 분할된 블록들에 대한 평행이동성분(제 20 도)과 아핀 변환 파라미터(식 1 참조)로 구성된다. 운동보상의 단계들은 다음과 같다,

1. 휘도 평면과 α평면의 화소값이 휘도 화상메모리(601)와 α화상메모리(602)에서 취해진다. 동시에, 아핀 변환 파라미터와 블록 평행이동성분이 디멀티플렉서(603)에 의해 분리된다.

2. 화상은 아핀 변환 파라미터로 식 (1)에 도시된 이동량에 대해 아핀 변환부(604, 605)에 의해 시프트된다. 그 결과가 아편 변환 화상메모리(606, 607)에 저장된다.

3. 아편 변환 메모리(606, 607)에 저장된 화상은 화상블록 변형부(608, 609)에 의해 길이 및 폭이 18 ×22로 분할된 블록들에 대해 16 ×16 화소 크기를 갖는 블록단위로 평행이동을 한다.

제 10 도의 변형분석기(201)는 이런 처리를 실행하기 위해 아편 변환 파라미터와 블록이동성분을 추출한다. 제 12 도는 제 10 도의 변형분석기(201)의 구조도 이다. 제 12 도를 사용하여 변형분석기(201)의 작용을 설명한다. 부언하면, 제 12 도에 도시된 변형분석기(201)의 구조는 본 발명의 운동벡터 검출장치의 구조예이다.

제 12 도에서 401 및 402는 휘도 화상메모리, 403및 404는 α 화상메모리, 405 및 406은 휘도/α 중첩부, 408은 아핀 변환 화상메모리, 409는 아편 변환 화상메모리, 410은 블록상관 연산부, 411은 멀티플렉서를 나타낸다. 제 12 도에 도시된 변형분석기(201)에서 휘도 화상메모리(401)와 α 화상메모리(403)는 선행 프레임의 결과를 기준화상으로서 버퍼링한다. 휘도 화상메모리(402)와 α 화상메모리(404)는 부호화될 화상인 현재 입력프레임의 화상을 보유한다. 휘도/α 중첩부(405), (406)은 식(3)에 도시된 처리를 실행하여 하나의 피도 화상을 형성한다. 식 (3)에서 h(x, y)는 합성된 휘도 화상을, g는 휘도 평면의 휘도값 [0, 255]를, α는 화소의 수평/수직위치(x, y)에 대한 α 평면의 α값 [0, 1]을 나타낸다.

식 (3)에서 불투과영역에서 휘도값이 중첩되고 적절한 음의 값(-100)이 투과영역에서 α값과 중첩된다 이로써, 불투과도 정보와 중첩된 휘도가 형성된다. 제 19 도는 그러한 예시를 도시한다. 또한, 그러한 임계값 처리를 사용하지 않지만, 실험적으로 결정된 중첩계수 v를 곱함으로써, 식 (4)에 나타내는 바와 같이 중첩이실행될 수 있다.

이 실시예에서, 휘도/α값 중첩부가 후술하는 다른 실시예에서 다른 용도로 사용되므로, 휘도/α값 중첩부가 식 (3)에 나타내는 작용을 실행한다고 가정된다. 따라서, 식 (5)와 식 (6)으로 나타내는 상관동작은 휘도와 α값이 중첩되는 화상에 대해 실행된다.

식 (5)에서 h_t-1은 선행 프레임의 중첩된 화소값을 나타내고(제 12 도 기준 화상), h_t는 현재 프레임의 중첩된 화소값을 나타낸다(제 12도 대상 화상). R은 16×16화소 영역을 나타내고, (u, v)는 제 20 도에 도시한 대로, 대응 블록영역에 대한 편차를 나타낸다. 식 (6)에 의하면, SAD의 최소편차는 운동벡터로서 결정된다. 블록 상관부(410)는 아핀 변환된 기준 중첩화상과 대상 중첩화상에 관해 이런 연산을 수행한다. 또한, α 화상 메모리(404)의 출력이 블록 상관부(410)에 입력된다. 이것은 대상 화상의 α 평면이 모두 투과한 영역에 관해 운동벡터가 불명확해지기 때문이므로, 계산을 생략할 수 있다, 블록 상관부(410)는 18 ×22블록에 관한 최소편차(p, q)를 운동벡터로 출력한다. 아편 변환부(407)와 아핀 변환 화상메모리(409)는 제 14도에 설명된 동일 명칭의 블록과 동일한 동작을 실행한다.

다음에, 아핀 변환계수 연산부(408)를 설명한다. 제 13 도는 아핀 변환계수 연산부(408)의 구조도이고, 본 발명의 운동벡터 검출장치의 구조예를 나타낸다. 제13 도에서, 501은 블록상관 연산부, 502는 SAD 표면 근사부, 503은 에러함수 파라미터 저장메모리, 504는 아핀 변환 파라미터 연산부를 나타낸다. 블록상관 연산부(501)의 동작은 대충 제 12 도의 블록 상관부(410)와 동일하다. 다른점은 블록상관 연산부(501)가 18 ×22 블록에 대해 최소인 편차(p, q)를 출력한다는 것과 아울러, 위치의 최소값과 SAD값이 8의 부근에 있다는 것이다. 이것은 식 (7)에 도시되어 있다. 식 (7)에서 t는 행렬의 전치를 나타낸다.

SAD위상 근사부(502)는 이를 수신하여 식 (8)에서 식 (13)까지의 연산을 실행한다. 이 연산결과는 에러함수 파라미터 저장메모리(503)에 저장된다. 식 (8)에서 식 (13)까지의 연산은 SAD값을 편차(u, v)의 함수로 생각하면, 최소 편차(p, q)의 부근에서 2차 테일러 전개를 실행하는 것에 해당된다. 길이 및 폭 18 ×22의 블록위치가 i 및 j로 표현되면, 각각의 4차 에러함수들은 투과영역을 제외하고, 식(14)로 표현될 수 있다.

여기서, 식 (15) 및 (16)에 나타내는 바와 같이 운동벡터가 아편 변환 파라미터로서 설명되므로, 식 (17)에 나타내는 바와 같이 각각 SAD 에러함수의 총합을 변분원리(variational Principle)에 따라 최소로 만들기 위한 필요조건으로서, 아핀 변환 파라미터 α의 편미분이 제로벡터가 되어야 하는 오일러 공식이 유도될 수있다. 이는 식 (18)의 매트릭스로 표현될 수 있다, 우선 아핀 변환 연산부(504)는 식 (19)(6 ×6 행렬)와 식 (20)(6 ×1 행렬)을 결정하고, 식 (21)로 아핀 변환 파라미터를 계산한다.

또한, 식 (19)와 (20)에서 (x_j, y_i)는 블록 i 및 j의 중심위치를 나타낸다.

상술한 바와 같이 구성된 변형 분석기(201)( 제 4 도)에서, 휘도와 α가 중첩되는 화상과의 상관연산을 실행함으로써, 운동벡터가 두 정보로부터 결정될 수 있다. 투과 영역의 음의 값(-100)의 절대간이 식 (3)으로 결정되면, 불투과 영역의 윤곽정보가 더욱 강조되는 운동벡터가 얻어질 수 있다. 특히, 상기 영역 내에서 운동을 예측하는데 유효한 에지나 패턴 등의 단선이 없는 경우에 효과적이다. 아핀 변환 계수 연산부(408)는 국부 상관연산이 아니라 2차 함수 근사법을 실행하여 아편 변환 파라미터를 결정한다. 국부 상관연산에서 단조로운 윤락의 둘레에 접하는 윤곽방향으로 운동벡터가 자유도를 갖는 경우가 많다. 이런 경우에, 종래예에 도시된 2단계의 아핀 변환 파라미터 예측에서 큰 예측오차가 예상되지만, 이 실시예에 나타난 기술에서는 자유도가 2차 함수로 표현되고, 2차 함수의 총합이 최소화되므로, 파라미터를 더욱 안정적으로 예측할 것으로 기대된다.

또한, SAD 상관의 편차가 변수인 4차 함수 근사는 식 (17)로 표현된 오일러 공식이 미정 파라미터에 대해 선형으로 표현되므로, 미정 파라미터를 용이하게 유도할 수 있다는 이점을 갖는다. 이것은 보다 일반적인 다항식이 사용되는 경우에도 공통적으로 적용된다. 예컨대, 식 (22)와 식 (23)에 도시된 운동벡터 방정식은 평면물체의 투영화상에서 발생된 운동벡터를 원근 변환(perspective transformation)으로 표현할 수 있다.

이런 경우에, 아핀 변환으로서 식 (24)의 오일히 공식이 계산되고, 파라미터가 식 (19)∼(21)과 유사한 절차에 의해 용이하게 예측될 수 있다.

이제까지 층 화상 부호기(101, 102)의 변형분석기(201)와 변형합성기를 설명하였다. 동시에, 본 발명의 운동벡터 검출장치의 구조예를 도시하였다. 이하, 제 10 도의 나머지 블록들을 설명한다.

휘도 데이터와 불투과도 데이터의 차가 차동장치(203 및 204)에 의해 휘도 평면 에러 부호기(206)와 α 평면 에러 부호기(207)에 각각 전송되어 따로따로 부호화된다. 각 부호기는 제 15 도와 제 16 도에 각각 도시된 구조를 갖는다. 제 15 도는 휘도 평면 에러 부호기의 구조도이고, 701은 DCT 연산부, 702는 양자화부, 703은 가변길이 부호화부(1)를 나타낸다.

제 16도는 α 평면 에러 부호기의 구조도이고, 801은 하프 변환 연산부, 802는 양자화부, 803은 가변길이 부호화부(2)를 나타낸다. DCT 연산부(701)는 8 ×8 화소의 블록들에서 이산코사인 변환을 행하고, 이 변환된 DCT 계수가 양자화부(702)에 의해 양자화되며, 코사인 변환계수가 가변길이 부호화부(703)에의해 주사되어 제로계수길이 및 양자화 계수와 조합하여 2차원 하프만 부호화된다. 이런 처리는 CCITT Recommendation H. 261에 개시된 기술과 대략 동일하므로, 상세한 설명은 생략한다.

α 평면 에러 부호기(207)에서 이산코사인 변환 대신에 하르 변환이 8 ×8 화소의 블록에 사용된다. 여기서, 하르 변환은 8 ×1의 열벡터가 8 ×8화소 블록에 대해 종횡으로 식 (25)의 우측에서 곱해지는 1차원 하르 변환을 실행함으로써 실현된다.

휘도 평면 부호기(206)와의 차이점은 이산코사인 변환 대신에 하르 변환을 사용하기 때문에, 양자화 테이블과 하프만 테이블이 약간 변한다는 것이다. 그러나 기본 동작이 동일하므로 상세한 설명은 생략한다. 이제 다시 제 2 도로 돌아간다.

지금까지 설명한 휘도 평면 에러 부호기(206)와 α 평면 에러 부호기(207)의 출력이 멀티플렉서(210)에 의해 다중화되어 출력된다. 한편, 상술한 출력은 후속프레임의 예측화상을 형성하기 위하여 휘도 평면 에러 복호기(208)와 α 평면 에러 복호기(209)에 입력된다. 각 복호기는 제 17 도와 제 18 도에 각각 도시된 구조를 갖는다.

제 17 도는 휘도 평면 에러 복호기의 구조도이고, 901은 가변길이 복호부, 902는 역양자화부, 903은 역DCT 연산부를 나타낸다. 제 18 도는 α 평면 에러 복호기의 구조도이고, 1001은 가변길이 복호부, 1002는 역양자화부, 1003은 역하르 변환 연산부를 나타낸다, 가변길이 복호부(901)는 제로계수길이와 양자화 계수의 조합을 하프만 복호시키고, 이를 코사인변환계수로 되돌린다. 그리고, 역양자화부(902)는 양자화 색인을 대표값으로 바꾸고, 마지막으로 8 ×8 화소 블록의 화상이 역DCT 연산부(903)에 의해 재생된다. 이런 처리는 휘도 평면 에러 부호기(206)에서와 같이 CCITT Recommendation H. 261에 개시된 기술과 거의 같기 때문에 상세한 설명은 생략한다.

역하르 변환 연산부(906)는 8 ×8의 하르 계수에 대해 종횡으로 8 ×1의 열 벡터를 취하고 좌측에서 식 (26)에 도시된 행렬을 곱함으로써 실현된다. 가변길이 복호부(1001)와 역양자화부(1002)의 동작은 테이블의 내용에서만 α 평면 에러 부호기(207)에 대응하여 휘도 평면 복호기(209)의 상기 블록과 다르므로, 그 상세한 설명은 생략한다.

다음에, 제 12 도를 참조하여 제 9 도의 층 코딩시스템을 구성하는 층 화상복호기(105, 106)를 설명한다. 제 12 도는 본 발명의 화상 복호화 장치의 구조적인 예에 대응하는 층 화상 복호기(105, 106)의 구성도이다.

제 11 도에서, 301은 휘도 평면 에러 복호기를 나타내며, 303은 α 평면 에러 복호기를, 304는 예측부호 복호기(prediction code decoder)를, 그리고 305는 변형 합성기(deformation synthesizer)를 나타낸다. 또, 306과 307은 가산기를, 그리고 308과 309는 프레임 지연장치를 나타낸다. 디멀티플렉서(301)의 입력에는 길이와 폭이 18 ×22로 분할된 블록과 관련된 이동벡터 아편 변환 파라미터, α 에러 및 휘도 에러로 구성되는 다중화된 변형 변수가 있다. 이들은 분리되어, 각각 휘도 평면 에러 복호기(302), α 평면 에러 복호기(303) 및 예측부호 복호기(304)로 출력된다.

여기에서, 휘도 평면 에러 복호기(302), α 평면 에러 복호기(303) 및 변형 합성기(305)는 각각 제 10 도의 휘도 평면 에러 복호기(208), α 평면 에러 복호기(209) 및 변형 합성기(202)와 같은 기능을 수행한다. 제 9 도의 층 엔코딩을 이루는 층 부호기(101, 102) 및 층 복호기(105, 106)들의 구조가 제 10 도 및 제 11 도에 도시된 바와 같은 제 1 실시예에 대해 설명하였다. 본 실시예는 템플릿이 프레임간에 부호화하는 것과 같이 순차로 갱신된다는 특징이 있다, 템플릿 중의 불투과도의 차는 계조를 갖는 파형 정보에 따라 변환 부호화된다. α 평면을 독립적으로 부호화함으로써, 무광택 처리된 유리 등과 같은 반투과 물체의 동화상의 후술되는 제 2 실시예와는 다르게 취급할 수 있다. 화상이 계층화되어 있기 때문에, 전경과 배경이 아핀 변환 파라미터에 의해서만 묘사될 수 있는 경우가 증가한다.

이 경우, 아핀 변환 파라미터만이 전송되고, 블록 이동 성분, 다른 휘도 에러화상 및 α 평면 에러화상을 부호화할 필요가 없기 때문에, 부호화 효율이 현저히 개선된다. 더욱이, 그 물체가 변형되어 아편 변환 파라미터로 묘사될 수 없는 경우, 템플릿은 블록 이동 성분, 다른 휘도 에러화상 및 α 평면 에러화상에 의해 갱신되면, 이 때문에 그 화상은 크게 열화되지 않는다.

한편, 아핀 변환 연산부(504)에 의해 수행되는 식 19 내지 식 21의 연산을 전체 화상에서 수행할 필요가 없다. 예측된 아핀 변환 파라미터에서 식 14를 이용함으로써, 큰 에러값을 갖고 블록을 제외하고 예측을 수행함으로써, 18 ×22로 분할된 전체 블록조립체가 아닌 복수 블록들의 이동에 접합하는 아핀 변환 파라미터를 예측할 수 있다. 이로써, 템플릿들의 교정을 위하여 블록 이동 성분, 다른 휘도 성분, 다른 휘도 에러화상 및 α 평면 에러화상을 부호화하는 것을 국부적으로 수행하는 것이 가능해진다, 더욱이, 본 실시예에서는 비록 블록관계의 계산이 SAD에 의해서 수행되지는 않지만, 제곱 에러합(squared error sum : SSD) 및 연관 계수와 같은 다른 평가수단을 이용하는 것이 가능하다.

다음에, 제 9 도, 제 19 도, 제 21 도, 제 22도, 제 23 도, 제 24도 및 제 25 도를 참고로 본 발명의 제 2 실시예를 설명하기로 한다. 제 2 실시예에서, 층 화상 부호화시스템의 구조는 제 9 도와 같다. 제 9 도의 층 화상부호(101, 102)는 본 실시예에서는 제 21 도에 도시된 구조를 갖는다. 또한, 제 1 실시예와 다른 점을 층 화상 복호기(105, 106)의 구조가 제 22 도에 도시된 것이라는 점이다. 여기에서, 제 21 도는 제 3 실시예의 구조에 해당하고, 제 22 도는 제 4 실시예의 구조에 해당한다.

제 21 도에서, 1301은 변형 분석기를 나타내고, 1302는 변형 합성기, 1303은 휘도/α 분할부, 그리고 1304는 휘도/α 중첩부를 나타낸다. 1306은 차동장치를, 1307은 가산기를, 1308은 화상/α 중첩에러부호를 나타내며, 1309는 예측부호 부호기를 1310은 휘도/α 중첩 에러부호를, 그리고 1311은 멀티플렉서를 나타낸다. 제 21 도의 구조는 기본적으로 제 10도에 도시된 층 부호의 구조와 같다.

제 21 도를 구성하는 개별적인 블록에 있어서, 변형 분석기(1301), 프레임 지연장치(1305), 차동장치(1306), 가산기(1307), 예측부호 부호기(1309)의 기능은 제 2 도의 동일명칭을 갖는 블록의 기능과 같다. 제 1 실시예에 있어서, 비록 휘도 표면과 α 평면이 독립적으로 부호화되기는 하지만, 본 실시예에서는 제 19 도에 도시된 바와 같이, 휘도/α 중첩부(1304)에서, 휘도값이 불투과 영역에 중첩되고, 적절한 음의 값(-100)이 α값에 따라 투과 영역에 중첩된다. 이것은 식 (27)로 나타내고 있다.

따라서, 불투과 정보가 중첩된 제도 화상이 형성된다 반대로, 휘도 /α분할부에 있어서는 휘도와 α가 식(28) 및 (29)에 의해 중첩된 휘도 정보로부터 분리된다.

부호화/복호화와 관련한 양자화 에러에 따라 식 (28) 및 식 (29)에 의해 수행될 수 있도록 설정된 값이다. 변형 함성기(1302)의 기능은 취급될 화상이 휘도/α중첩화상이라는 점을 제외하고는 제 2 도의 변형 합성기(202)의 기능과 대략적으로 같다. 그 구조는 제 23 도에 도시되어 있다.

제 23 도는 변형 합성기(1302, 1405)의 구조도로서, 1501은 휘도/α 메모리를, 1502는 디멀티플렉서를, 그리고 1503은 아핀 변환부를 나타내며, 1504는 아핀 변환화상 메모리를, 그리고 1505는 화상블록 변형부를 나타낸다. 변형 합성기(1302)는 길이 및 폭이 18 ×22로 분할된 블록 및 아핀 변환 파라미터와 관련한 평행이동성분으로 구성되는 해당정부(변형 파라미터)를 입력한다. 휘도/α 메모리(1501)는 휘도/α 중첩화상을 기억하는 메모리이다. 제 23 도의 다른 블록의 기능은 동일명칭의 블록의 기능과 동일하므로 설명을 생략한다.

제 21 도의 휘도/α중첩 에러부호기(1308)는 후술하겠다. 제 24도는 휘도/α중첩 에러부호기(1308)의 구조도로서, 1601은 도메인 경계 판정부를 나타내며, 1602와 1609는 스위치를, 1603은 DCT 연산부를, 1604는 양자화부를, 그리고 1605는가변길이 부호화부를 나타내며, 1606은 하르 변환 연산부를, 1607은 양자화부를, 1608은 가변길이 부호화부를, 그리고 1610은 멀티플렉서를 나타낸다. 도메인 경계 판정부(1601)는 표 1 에 도시된 제어를 수행하여 스위칭 정보 비트를 출력한다.

[표 1]

8 ×8 블록내의 모든 α값이 1이 되는 물체내의 영역에서, 제 15 도를 참고로 설명한 휘도 평면 에러부호기(206)의 작용이 수행되며, 8 ×8블록내의 적어도 하나의 α값이 0으로 되는 윤곽 영역에서는 제 16 도를 참고로 하여 설명된 α 평면 에러 부호기(207)의 작용이 수행된다.

제 24 도, 제 15 도 및 제 16 도의 같은 이름을 갖는 블록의 작용은 같다. 휘도가 중첩된 윤락 주변 상에 다중치 패턴을 부호화하기 위하여, 양자화부(1607)와 가변길이 부호화부(1608)는, 양자화 테이블과 호프만 테이블이 약간 변화되어 있다는 점에서 양자화부(802) 및 가변길이 부호화부(803)와는 다르다. 상술된 구조를 이용하여 변환 부호와 스위칭정보 비트가 멀티플렉서(1610)에 의해 다중화되어 출력된다.

일반적으로 휘도 정보에 대해 DCT는 코딩효율에 있어서 하르 변환보다 우위에 있지만, 예리한 변을 포함하는 영역에서는 "모기잡음(mosquito noise)"이라 불리는 리플(ripple)이 초래된다. 이는 윤곽 주변의 α값 재생을 위해서는 바람직하지 못하다. 그러므로, 윤곽 주변에서는 이 모기잡음을 야기하지 않는 하르 변환이 이용된다.

다음에, 제 25 도를 참고로 하여 상술한 휘도/α 중첩에러 부호기(1308)에 대응하는 휘도/α 중첩에러 복호기(1310, 1420)의 구조를 설명한다. 제 25 도는 휘도/α 중첩에러 복호기(1310, 1402)의 구조도로서, 1701은 디멀티플렉서를 나타내고, 1702는 스위칭 제어부를, 1703 및 1710은 스위치를 나타내며, 1704는 가변길이 복호화부를 1705는 역양자화부를, 1706은 역DCT 연산부를, 1707은 가변길이 복호화부를 나타내고, 역양자화부를, 그리고 1709는 역하르 변환 연산부를 나타낸다. 스위칭 제어부(1702)는 비트가 1일 때, 디멀티플렉서(1701)에 의해 제산된 스위칭 정보에 의해 표 1에 대응하는 역DCT 연산부(1706)가 선택되도록, 스위치(1803, 1710)를 제어한다. 제 25 도, 제 17 도 및 제 18 도에 도시된 같은 명칭의 블록의 기능은 같다.

제 25 도의 가변길이 복호화부(1707)와 역양자화부(1708)는 각각 제 24도의 양자화부(1607) 및 가변길이 부호화부(1608)에 대응하는 역프로세싱을 수행한다.

제 22 도를 참조하여 제 9 도의 층 화상 복호기(105, 106)의 구조를 설명하기로 한다. 제 22 도에서, 1401은 디멀티플렉서를 나타내며, 1402는 휘도/α 중첩에러 복호기를, 1403은 예측부호 복호기를, 그리고 1404는 가산기를 나타내며, 1405는 변형 합성기를, 1406은 프레임 지연장치를, 그리고 1407은 휘도/α 분할부를 나타낸다.

멀티플렉서(1401)는 제 21 도에 도시된 구조의 층 화상 부호화기(101, 102)의 출력을 받아 변형 파라미터 및 휘도/α 에러화상의 비트 시리즈를 분할한다. 분할된 데이터는 각기 휘도/α 중첩에러 복호기(1402) 및 예측부호 복호기(1403)로 출력된다. 예측부호 복호기(1403)는 아핀 변환 파라미터와 길이 및 폭이 18 ×22인 블록의 이동벡터를 출력한다. 다른 블록의 기능을 제 21 도를 참조하여 설명된 동일 명칭의 블록의 기능과 같다.

제 2 실시예를 설명하였다. 제 2 실시예에서는 제 1 실시예와는 달리 α 평면의 정보는 [0, 1]의 복수의 값에서 2개의 값으로 변화한다. 대신에, α 평면의 정보를 휘도 평면에 중첩함으로써 템플릿의 변형을 휘도 정보의 차이로서 취급하는 것이 가능해진다. 본 실시예에서는 식 (27)로 나타내는 바와 같이 투과영역의 휘도값이 -10이 되지만, 불투과 영역의 휘도와 255에 근접한 경우, 물체의 윤곽에 큰 휘도를 갖는 불연속이 야기되고 부호화 볼륨이 증가할 것으로 예상된다. 이 경우에 있어서, 휘도/α 분할부(1303, 1407)의 작용이 식 (31) 및 식 (32)에 의해 변화되는 팽창도 또한 쉽다.

또한, 위도 평면에 α 평면 정보를 중첩하는 것이 본 실시예에 의해 처리되는 휘도를 벡터로 팽창함으로써, 벡터공간에서 실행된다는 것을 생각할 수 있다. 예를 들어, 3가지의 일차색상 또는 휘도와 색상차 신호로 구성되는 3차원 색상벡터 C를 생각해 보자.

이 색상벡터의 평균 C-와 분산 E를 계산하고, 식 (33)으로 나타내는 바와 같이 분산 E에 의해 식 (33)으로 나타내는 바와 같이 분산 E에 의해 정규화된 C-C-의 4차 형태로 범위 Th를 계산한다.

하나의 템플릿에 대하여 식 (33)의 Th가 결정되면, 분산데이터, 평균 벡터 및 범위 Th가 그것에 수반되며, 2차 형태의 값이 임계값보다 더 커지는 임의의 벡터를 사용함으로써 α 평면의 정보를 중첩시킬 수 있다.

이러한 분리는 식 (35) 및 식 (36)에 의해 수행될 수 있다.

이들 식에 따르면, 물체의 윤곽 근처에 야기되는 스텝 에지의 강도가 분리된 휘도 화상에 의해 감소된다,

다음에, 제 26도 및 제 27도를 참고로 본 발명의 제 3 실시예를 설명한다. 제 26 도는 본 발명의 실시예에 해당하는 화상 부호화 장치의 구조도로서, 1801은 전경 메모리를 나타내며, 1802는 배경 메모리를 1803은 배경 분리기를, 그리고 1804와 1805는 층 화상 부호기를 나타내고, 1806은 멀티플렉서를 나타내며, 1808과 1809는 층 화상 복호기를, 1810은 층 화상 합성기를, 1811은 예측화상 메모리를 1812는 차동장치를, 또 1813은 치도 평면에러 부호기를, 그리고 1814는 멀티플렉서를 나타낸다.

제 25 도는 본 발명의 실시예에 해당하는 화상 복호화 장치의 구조도로서, 1911과 1912는 디멀티플렉서를 나타내고, 1913과 1914는 층 화상 복호기를 나타내며, 1915는 층 화상 합성기를, 1916은 예측화상 메모리를, 1917은 휘도 평면에러 복호기를, 그리고 1918은 가산기를 나타낸다. 상기 블록에 있어서, 층 화상 부호기(1804, 1805), 멀티플렉서(1806), 디멀티플렉서(1807, 1912), 층 화상 복호기(1808, 1809, 1913, 1914) 및 층 화상 합성기(1810, 1915)에 대해서는 제 1 또는 제 2 실시예에서 제 1 도의 동일 명칭의 블록이 이용된다. 또한, 제 10 도의 휘도 평면에러 부호기(207)는 휘도 평면에러 부호기 대신에 사용되며, 제 10 도의 휘도 평면에러 복호기(208)가 휘도 평면에러 복호기(1917) 대신에 사용된다.

상술한 바와 같이 구성된 화상 부호화 장치와 화상 복호화 장치에 있어서, 배경화상이 예비적으로 촬영되어 배경화상 메모리(1802)에 저장된다. 전경 분리기(1803)에 있어서, α값은 전경을 분리시키도록 식 (37)에 의해 결정된다.

(37)

식 (37)에서, g는 카메라 입력의 휘도값을 나타내며, gb는 배경 메모리의 휘도값을 나타내고, T는 실험적으로 결정된 임계값 [0, 1]를 나타낸다. 그 결과는 전경 메모리(1801)에 입력된다. 그 후, 층 화상이 각기 제 1 실시예 또한 제 2 실시예에서 설명된 처리를 받으며, 처리결과는 예측화상 메모리(1811)로 출력된다.

상술된 2개의 실시예에서, 이는 재구성된 화상의 출력으로 되지만, 본 실시예에서는 예측화상 메모리(1811)의 출력 및 원화상과의 차이가 차동장치(1812)에 의해 판정되어 그 결과가 에러 부호화되고 부호화된 결과는 멀티플렉서(1814)에 의해 다중화되어 출력된다. 이 출력이 복호화된 하나가 디멀티플렉서(1911)를 통해디멀티플렉서(1912)로 보내져서 제 1 및 제 2 실시예에서와 같은 처리를 받는다. 다른 것은 휘도 평면에러 복호기(1917)를 통해서 가산기(1918)로 보내진다. 가산기(1918)에 있어서, 층 화상 합성기(1915)에 의해 재합성된 예측화상 및 상기 에러화상이 가산되어 화상 데이터를 출력한다. 본 실시예에 있어서, 전경분리가 성공적이고, 전경에 있는 물체가 아편 변환 파라미터로 표현될 수 있는 이동을 수행하는 경우, 제 1 및 제 2 실시예와 같이 높은 부호화 효율을 확보할 수 있다, 아울러, 층 화상의 합성된 결과를 에러 부호화함으로써, 심지어 전경분리 결과에 에러가 포함되거나, 부호화 볼륨의 제한때문에 템플릿의 갱신이 불충분한 경우, 작은 시각적 열화로서 화상의 전달을 기록할 수 있다.

다음에, 제 28 도, 제 29 도, 제 9 도, 제 13 도, 제 21 도 및 제 22 도를 참고로 하여, 본 발명의 제 4 발명을 설명한다. 제 2 실시예와 같이 본 실시예에서는 층 화상이 휘도와 불투과도가 중첩된 형태로 유지된다. 본 실시예에서는 복수의 템플릿 전달을 제 2 실시예에서 이용된 제 21 도 및 제 22 도의 층 화상 부호기 및 층 화상 복호기를 이용하여 예비적으로 기록한다.

제 30 도는 복수의 템플릿에 의한 층 화상 부호기를 도시하는 개념도이다. 제 30 도에서 템플릿 A와 템플릿 B로 도시된 화상은 제 2 실시예의 층 화상 부호기와 층 화상 복호기를 직접 연결함으로써 얻어진다. 템플릿들은 몇 개의 프레임 중 하나 또는 수십 개의 프레임 중 하나를 선택함으로써 전달된다. 결과적으로, 템플릿들을 부호화하는 것을 템플릿간의 관계를 이용하는 "템플릿 부호화"로서 실현되면, 따라서 효율적인 템플릿 전달이 수행될 수 있다.

제 28 도는 본 발명의 일 실시예의 화상 부호화 장치의 구조도로서, 2001은 아편 변환계수 연산부를 나타내며, 2002는 휘도/α 분할부를, 2003은 템플릿 저장메모리를, 그리고 2004는 아편 최단거리 템플릿 결정부를 나타내고, 2005는 부호기를, 그리고 2006은 멀티플렉서를 나타낸다.

제 29 도는 본 발명의 일 실시예의 화상 복호화 장치의 구조도로서, 2001은 디멀티플렉서를 나타내고, 2102는 예측부호 부호기를, 그리고 2103은 템플릿 판독 회로를 나타내며, 2104는 저장 메모리를, 2105는 아핀 변환부를, 그리고 휘도/α 중첩부를 나타낸다. 전경 및 배경의 템플릿 전달 후에, 제 28 도에 도시된 층 화상 부호기가 제 9 도의 층 화상 부호기(101, 102)처럼 사용되며, 제 29 도에 도시된 층 화상 복호기는 제 9도의 층 화상 복호기(105, 106)처럼 사용된다.

전달 후의 템플릿은 부호화측과 복호화측에서 각각 같은 식별자(identifier)를 부여함으로써 템플릿 메모리(2003, 2004)에 기억된다. 아핀 변환계수 연산부(2001)는, 제 13 도를 참고로 설명한 아편 변환계수 연산부(408)의 기능에 추가하여, 얻어진 아핀 변환계수로부터 식 (15)로 각각의 블록의 편차를 계산하고, 식 (14)로 각각의 블록의 편차를 교체하고 각각의 블록의 에러합을 결정하여 그 결과를 근사 에러로서 아핀 최단거리 템플릿 결정부(2004)는 얻어진 근사 에러 중 최소의 템플릿을 선택하여 그 식별자와 함께 변형 파라미터를 출력한다.

예측부호 부호기는 아핀 변환 파라미터를 부호화한다. 멀티플렉서(2006)는 부호화된 아핀 변환 파라미터 및 템플릿의 식별자를 다중화하여 층 화상 부호기의 출력 비트스트림을 형성한다. 복호화측에서 입력 비트스트림은 디멀티플렉서(2101)에 의해 분리되고, 그 아핀 변환 파라미터는 예측부호 복호기(2102)에 의해 복호화된다. 템플릿 판독회로(2103)는 입력 템플릿 식별자에 대응하는 템플릿을 판독하여, 그것을 아핀 변환부(2105)로 출력한다. 아핀 변환부(2105)의 처리는 제 12 도의 아핀 변환부(407)의 처리와 같다. 또한, 휘도/α 분할부(2002, 2106)의 기능은 제 21 도 및 제 22도의 휘도/α 분할부(1303, 1407)의 기능과 같다.

상술한 처리공정에 따르면, 제 30 도에 도시된 바와 같이, 화상이 아핀 변환에 의해 근사될 수 있는 템플릿을 기초로 전달될 수 있기 때문에, 그 화상은 매우 작은 부호화 볼륨을 이용하여 전달될 수 있다. 특히, 사용될 템플릿이 시간순서에 종속되지 않고 선택될 수 있기 때문에 높은 효율을 기대할 수 있다. 나아가, 종래의 예와 같이 화상을 합성하기 위해 단일의 템플릿을 이용하지 않고 복수의 템플릿을 선택적으로 이용하기 때문에, 그것은 화상이 불규칙하게 변형되는 경우에 대응할 수 있다. 덧붙여 말하면, 여기에서 이용되는 변환은 아핀 변환으로 제한되지 않으며, 식 (22)로 나타내는 평면물체의 변형과 같은 일반적인 다항식에 의한 변형표현을 이용할 수 있다, 더욱이, 템플릿을 취급하는 것은 제 2 실시예를 기초로 하지만, 제 1 실시예에서 이용된 템플릿으로 교체할 수 있다.

제 1 발명의 화상 부호화 장치 및 제 2 발명의 화상 복호화 장치에 따르면, 물체의 불투과도와 휘도로 구성된 기준화상(템플릿)의 변형은 템플릿간 관계에 의한 예측과 예측된 결과의 차이로서 취급될 수 있다.

제 3 발명의 화상 부호화 장치와, 제 4 발명의 화상 복호화 장치에 따르면, 휘도 화상으로서 화상을 취급하기 위해, 물체의 휘도와 불투과도를 중첩함으로써,통상적인 높은 효율의 부호화 기술을 템플릿의 변형을 취급하는 데 효과적으로 적용할 수 있다.

제 5 발명의 화상 부호화 장치와, 제 6 발명의 화상 복호화 장치에 따르면, 층 화상의 합성을 최종결과가 아닌 예측화상으로 하고, 이 예측화상과 원화상간의 차이를 전달 기록함으로써, 전경/배경 분리공정에 오차가 있다하더라도 큰 시각적 열화 없이 화상을 전달 기록할 수 있다.

제 7 발명의 화상 부호화 장치 및 제 8 발명의 화상 복호화 장치에 따르면, 복수의 템플릿들이 예비적으로 전달되어 시간순서에 관계없이 입력화상에 대한 최소한의 열화로서 템플릿을 순차적으로 선택하며, 화상열들은 선택된 템플릿을 변형함으로써 재생되는데, 따라서 그 화상은 매우 효율적으로 전달될 수 있다.

제 9 발명의 운동벡터검출장치는 휘도와 불투과도로 이루어지는 화상의 관련 문제를 휘도와 불투과도의 정보가 중첩된 휘도 화상의 관련문제로서 취급할 수 있다. 따라서, 휘도와 불투과도 양자 모두를 고려한 관련 결과, 즉 운동벡터를 얻을 수 있다.

제 10 발명의 운동벡터 검출장치는 화상간 관계가 상태가 가변적인 다항식으로 근사되는 경우, 운동벡터 결정후의 2단계 다항식 근사가 아닌 부분적 영역 관련 에러함수로부터 직접 화상간 관련성을 결정할 수 있으며, 따라서 잡음에 대해 강한 운동벡터를 예측할 수 있다.

전후관계에 의해 물체의 투사화상을 분리하여, 개별적으로 부호화하는 층 부호화는 다른 영역이나 잠복영역의 이동의 출현에 의해 발생된 부호화 볼륨을 감소시킬 수 있고, 매우 효율적인 부호화 특성을 기대할 수 있다. 층 부호화는 매우 높은 산업적 가치를 지니는데, 크로마 변조 키 아웃 시스템(chroma-modulated key out system) 및 컴퓨터 그래픽에 의해 형성된 층 화상이 최근 화상합성을 위해 사용되고 있기 때문이다. 상술한 본 발명에 따르면, 휘도와 불투과도가 층 화상 부호화에 필수적인 불규칙적인 변형을 하는 화상의 효율적 부호화 및 그것과 관련하여 운동벡터의 강력한 추정을 실행할 수 있고 효과가 크다.

[III]

본 발명에 따른 화상 부호화 장치의 또 다른 실시예를 제 32 도 내지 제 36 도를 참조하여 설명한다. 제 32 도는 본 실시예의 구조를 도시하는 블록도로서, 48은 예측화상 형성수단을 나타내며, 49는 운동벡터 검출수단을, 50은 가산기를, 그리고 51은 임계값 처리수단을 나타내고, 52는 형태 연산수단을, 53은 평활필터, 그리고 54는 마스크 처리수단을 나타낸다. 55는 파형 부호화수단을 나타내며, 56은 파형 복호화수단을 나타내고, 57은 가산기를, 58은 프레임 지연수단을, 그리고 59는 호프만 부호기를 나타내고, 60은 호프만 복호기를, 61은 파형 복호화수단을, 62는 가산기를, 63은 프레임 지연수단을, 그리고 64는 예측화상 형성수단을 나타낸다. 제 32 도에서, 48에서 58까지의 블록은 부호화측의 장치들을 구성하고, 60에서 64까지의 블록들은 복호화측의 장치들을 구성한다. 이 화상 부호화 장치의 실시예의 작용을 본 발명의 화상 부호화 방법의 일 실시예의 설명과 함께 설명한다. 그러나, 본 실시예를 구성하는 각각의 블록의 구조 및 작용은 51에서 54까지의 블록을 제외하고는 통상적인 예로서 제시된 H. 261을 기초로 한 화상 부호화 장치(제 37도)의 동일 명칭의 블록의 구조 및 작용과 같기 때문에, 중복부분의 설명은 생략하며, 단지 통상적인 예와 다른 점에 대해서만 강조하여 설명하기로 한다.

제 33 도는 제 32 도에 대응하는 본 발명의 화상 부호화 방법의 일 실시예의 흐름도이다. H, 261을 기초로 한 화상 부호화 방법과 같이, 잔여차 화상 e(x)(x는 화면상의 위치벡터)가 화상입력의 입력, 운동벡터의 검출 및 예측화상의 형성을 통해서 형성된다. 이 잔여차 화상은 f(x)로 될 선행 프레임의 부호화 시에 평균 휘도 양자화 폭 Q와 최소 양자화 폭을 Qmin에 의해 결정하는 임계처리를 받는다. 이 처리는 식 113에 나타내고 있다,

이 f(x)는 잔여차 부호화를 받을 영역을 나타내고, 0은 그 영역 이외의 영역을 나타낸다, 이는 제 34(d) 도 및 제 34(j) 도에 도시된 임계처리의 결과적인 상태에 해당된다. 여기서, 255가 영역내부의 화상이고 0은 영역 외부의 화상이라 가정하면, f(x) = { 255, 0 }에서, 식 (107)로 나타낸 개방연산이 수행된다. 구성요소들은 제 35 도의 아래 단계에 도시된 중앙 픽셀 + 4개의 주변요소들이다. 이로써, 제 35(e) 도 및 제 35(k) 도의 형태연산결과의 패턴을 얻을 수 있다. 본 실시예에서, 2진 패턴 f(x)는 평활처리를 받는다. 평활화는 y2로 정규화되는 1, 2, 6, 2 및 1의 5개의 계수를 포함하는 수평 및 수직의 1차원 필터링에 의해 수행된다. 제 32 도에서 이것은 평활필터(53)에 의해 수행된다, 결과적으로 [255, 0]의 다중치로서 마스크 패턴을 얻을 수 있다. 이는 h(x)라 가정된다. h(x)를 사용함으로써식 (114)로 나타낸 마스크 처리가 각각의 픽셀위치 x에 대해서 수행된다.

식 (114)의 e'(x)는 억제된 잔여차 화상이다. 제 32 도에서 이것은 마스크처리수단(54)에 의해 수행된다. 제 34 도에서 (f) 및 (1)의 평활화 처리결과를 얻을 수 있다. 임펄스 형태의 잔여차는 개방형태연산에 의한 마스크 처리로 억제될 수 있지만, 억제된 영역과 비억제 영역의 경계에서 복호화 결과에 불연속이 초래될 수 우려가 있다. 그러므로, 본 실시예에서는 2개 값의 마스크 패턴을 평활화 처리되게 함으로써 2개값 마스크 처리에서 야기될 수 있는 시각적 방해의 우려가 제거된다. 본 실시예의 처리공정은 잔여차 화상이 그러한 방법으로 차폐된다는 점을 제외하고는 H. 261을 기초로 한 처리공정과 같다. 사실상, 본 실시예에서 형성된 데이터는 제 37 도에 도시된 통상의 H. 261 복호화측에서 재생될 수 있다.

이제, 본 실시예의 형태연산수단에서 분기하여 형성되는 제 2 및 제 3 실시예에 대하여 설명한다. 하나는 식 (111)로 표현된 집중형태를 f(x) = { 255, 0 }이 다중치 화상인 것으로 생각함으로써 개방처리로서 실현된다 즉, 제 2 실시예는 제 32 도의 형태 연산수단(52)의 작용이 식 (7)에서 식 (111)로 바뀌는 것이다.

제 3 실시예는 형태 연산수단(52)의 작용을 f(x) = { 255, 0 }에 관하여 3×3의 중간값 필터링 처리로 대체함으로써 실현된다. 상술한 문자 1은 "아카데믹 프레스(Acadcmic Press)" (Henk J. A. M. Heijmans : Morphological Image operators, Academic Press, Inc. 1994) 477면에서 중간값 필터의 반복적 적용은개방처리와 대등하다고 설명되어 있다. 그러므로, 형태 연산수단이 중간값 필터에 의해 실현된다 하더라도, 제 1 및 제 2 실시예의 것들과 같은 작용효과를 얻을 수 있다.

제 36 도는 제 1 실시예에서 실제의 화상에 적용된 결과를 보여주는 바, 제 36(a) 도, 제 36(b) 도, 제 36(c) 도, 제 36(d) 도, 제 36(e) 도는 각각 입력화상, 예측화상 잔여차 화상, 마스크 패턴 및 화상 복호화이다. 비록 배경의 에지와 그림의 경계에서 야기되는 잔여차 성분은 부호화되지 않았지만, 시각적으로 적절한 결과가 얻어졌다.

추가로, H, 261에서는 출력버퍼의 상태에 따라 속도제어(rate contral)가 수행된다. 그것에 대응하여 본 실시예에서는 임계처리에 사용된 임계값이 매 프레임에 대해 선행 프레임의 평균 휘도 양자화 폭으로부터 변화한다. 출력버퍼에 여지가 있으면, 그 임계값은 잔여차 화상을 작게 억제하도록 작아진다. 특히, Q = Qmin인 경우, 형태연산 및 평활 처리에 관계없이 식 (113)에 나타낸 임계값은 0이 되고, 마스크는 모두 255가 되며, 따라서 잔여차 부호화 억제는 전혀 수행될 수 없다. 따라서, 출력버퍼의 상태에 따라 채택되는 화질이 유지될 수 있다.

상술한 바와 같이, 본 발명에 따르면, 잔여차 부호화가 수행되지 않더라도, 잔여차 화상 중에서 어떤 큰 시각적 열화가 야기되지 않는 영역에서의 부호화 볼륨이 절감될 수 있고, 따라서 부호화 효율이 향상될 수 있다. 더욱이, 같은 부호화 볼륨이 있으면, 잔여차 부호화될 영역에 따라 큰 부호화 볼륨이 할당되며, 이로써 화질이 개선될 수 있다.

제 1 도는 본 발명의 일 실시예의 화상 부호화 장치와 화상 복호화 장치의 구성을 나타낸 블록도.

제 2(a) 도는 상기 실시예의 부호화될 화상을 나타낸 도면.

제 2(b) 도는 상기 실시예의 블록들로 분할된 화상을 나타낸 도면.

제 2(c) 도는 상기 실시예의 연쇄 부호화 및 파형 부호화될 대상으로서 추출된 블록을 나타낸 도면.

제 3 도는 상기 실시예의 평활화된 화상을 나타낸 것으로써, 물체의 경계부분이 [0, 1]의 중간값, 즉 0 내지 255의 α 값을 갖는 경우를 나타낸 도면.

제 4 도는 본 발명의 다른 실시예의 화상 부호화 장치와 화상 복호화 장치의 구성을 나타낸 블록도.

제 5 도는 화상이 상기 다른 실시예의 평활화와 벡터 양자화와 같은 처리를 순차적으로 받은 상태에서 화상의 변화를 나타내는 화상도.

제 6 도는 상기 다른 실시예의 화상 부호화 장치의 평활 수단의 구성을 나타내는 블록도.

제 7(a) 도 ∼ 제 7(d) 도는 상기 다른 실시예의 각종 필터의 특성을 나타내는 도면.

제 8(a) 도는 상기 다른 실시예에서의 선형 에지에 대해서 평활 처리가 실행되는 경우를 나타낸 도면.

제 8(b) 도는 상기 다른 실시예에서의 복잡한 윤곽을 가진 에지에 대해서 평활화 처리가 실행되는 경우를 나타낸 도면.

제 9 도는 본 발명의 일 실시예에서의 계층 부호화 시스템의 구성도

제 10 도는 제 1실시예에서의 계층 화상 부호기의 구성도.

제 11 도는 제 1 실시예에서의 계층 화상 복호기의 구성도.

제 12 도는 본 실시예의 변형 분석기의 구성도.

제 13 도는 본 실시예의 아핀(affine) 변환 계수 계산부의 구성도.

제 14 도는 본 실시예의 변형 합성기의 구성도.

제 15 도는 본 실시예의 휘도 평면 에러 부호기의 구성도.

제 16 도는 본 실시예의 α 평면 에러 부호기의 구성도.

제 17 도는 본 실시예의 휘도 평면 에러 복호기의 구성도.

제 18 도는 본 실시예의 α 평면 에러 복호기의 구성도.

제 19 도는 본 실시예의 휘도/중첩부의 동작을 나타내는 도면.

제 20 도는 본 실시예의 블록 상관도.

제 21 도는 본 발명의 제 2 실시예에서의 계층 화상 부호기의 구성도.

제 22 도는 제 2 실시예에서의 계층 화상 복호기의 구성도.

제 23 도는 본 실시예의 변형 분석기의 구성도.

제 24 도는 본 실시예의 휘도/중첩 에러 부호기의 구성도.

제 25 도는 본 실시예의 휘도/중첩 에러 복호기의 구성도.

제 26 도는 제 3 실시예에서의 화상 부호화 장치의 구성도.

제 27 도는 제 3 실시예에서의 화상 복호화 장치의 구성도.

제 28도는 제 4실시예에서의 계층 화상 부호화 장치의 구성도.

제 29 도는 제 4 실시예에서의 계층 화상 복호화 장치의 구성도.

제 30 도는 본 실시예의 다중 템플릿(template)에 의한 계층 화상 부호화의 개념도.

제 31 도는 종래의 계층 화상 부호화의 개념도.

제 32도는 본 발명의 제 1 실시예에서의 화상 부호화 장치의 구성을 나타낸 블록도.

제 33도는 본 발명의 제 1 실시예에서의 화상 부호화를 나타낸 플로우차트.

제 34(a) 도 ∼ 제 34(i) 도는 본 발명의 운동 보상, 임계값 처리 및 형태학적 연산을 나타낸 도면.

제 35 도는 상기 형태학적 연산에서의 팽창과 수축 처리 및 구성요소를 나타낸 도면.

제 36(a) 도 ∼ 제 36(e) 도는 제 1 실시예에서의 처리 결과를 나타낸 도면.

제 37도는 종래의 화상 부호화 장치의 구성을 나타낸 블록도.

* 도면의 주요부분에 대한 부호의 설명 *

1, 12 : 분할 수단 2 : 평활 수단

3 : 추출 수단 4 : 윤곽 부호화 수단

5 : 이산 코사인 변환 수단 6 : 파형 부호화 수단

7 , 화상 부호화 장치 10 : 화상 복호화 장치

11 : 입력 수단 13 : 식별 수단

14 : 복호화 수단 16 : 코드북

17 : 선택 수단 18 : 전송 수단

26 : 수직 에지 검출 필터 27 : 수평 에지 검출 필터

28 : 사선 에지 검출 필터 29 : 저역 통과 필터

30 : 특이점 계산부 31 : 혼합기

Claims (1)

1. 동일한 화상부에 관련된 휘도 화상 블록 및 불투과도 화상 블록을 포함하는 복수의 블록으로 분할되는 화상을 재생하는 화상 복호화 장치에 있어서,

   복호화 불투과도 화상 블록을 얻도록 부호화 불투과도 화상 블록을 복호화하는 불투과도 복호기와,

   복호화 휘도 화상 블록을 얻도록 부호화 휘도 화상 블록을 복호화하는 휘도 복호기를 포함하고,

   상기 휘도 복호기는

   복호화될 화상 블록 및 참조 화상 블록 사이의 대응을 복호화하는 대응 복호기(304)와,

   복호화 대응을 사용하여 참조 화상 블록으로부터 예측 화상 블록을 형성하는 형성 복호기(305)와,

   예측 화상 블록 및 복호화될 화상 블록 사이의 부호화된 휘도차를 복호화하여 에러 화상 블록을 얻는 에러 화상 블록 복호기(302)와,

   복호화 휘도 화상 블록을 얻기 위해 형성 복호기(305)에 의해 형성된 예측 화상 블록 및 에러 화상 블록 복호기(302)로부터 수신된 에러 화상 블록을 가산하는 가산기(306)를 포함하는 것을 특징으로 하는 화상 복호화 장치.