JP4012267B2

JP4012267B2 - オブジェクト単位の処理が可能な動映像の符号化／復号化方法及び符号化／復号化装置

Info

Publication number: JP4012267B2
Application number: JP10945096A
Authority: JP
Inventors: 時和李; 在燮申
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1996-03-30
Filing date: 1996-04-30
Publication date: 2007-11-21
Anticipated expiration: 2016-04-30
Also published as: JPH09284775A

Description

【０００１】
【発明の属する技術分野】
本発明はオブジェクト単位の処理が可能な動映像の符号化／復号化方法及び符号化／復号化装置に係り、特に１フレーム分の映像データを前景領域及び背景領域に分けて符号化することにより選択的な再生を可能にする動映像の符号化／復号化方法及び符号化／復号化装置に関する。
【０００２】
【従来の技術】
現在、動映像関係の代表的な符号化標準案としてはディジタル貯蔵媒体用の圧縮規格であるＭＰＥＧ１、ディジタル放送用の圧縮規格であるＭＰＥＧ２、Ｈ．２６１などがあり、これらのいずれもＭＣ−ＤＣＴ（Motion Compensated-Discrete Cosine Transform）の構造を有しており、１６×１６または１６×８単位の動き評価及び補償を行う。また、８×８単位の離散余弦変換（ＤＣＴ）を通じて補償エラーに対する符号化を行う。
【０００３】
しかしながら、このような標準案は次のような問題点を持つ。第一、前記標準案は映像の内容に問わず映像を単純なる２次元の信号としてのみ処理する。したがって、視感的に敏感な前景と背景との境界部分が他の領域のように処理されるので画質の劣化が直ちに感じられる。即ち、ＤＣＴのような処理時はこのような境界が他の部分のように広く処理されて境界部分に劣化が発生する。第二、固定されたブロックの単位に動き評価を行うのでブロック内に他の動き成分のあるときは多い動き補償エラーが発生する。第三、前景と背景などの映像内のオブジェクトに対して全然考慮しないので符号化されたデータから特定領域のみを抽出して復元する能力はない。
【０００４】
【発明が解決しようとする課題】
したがって、本発明の目的は前述した問題点を解消するために１フレーム分の映像データを前景と背景とに分けて符号化するためのオブジェクト単位の処理が可能な動映像の符号化方法及び装置を提供するにある。
【０００５】
本発明の他の目的は前景と背景とに分けて符号化された１フレーム分の映像データから前景と背景を選択的に再生するのみならず、再生の際、背景でより視感的に敏感な前景で誤動作発生率を低減するためのオブジェクト単位の処理が可能な動映像の復号化方法及び装置を提供するにある。
【０００６】
【課題を解決するための手段】
前記目的を達成するために本発明によるオブジェクト単位の処理が可能な動映像の符号化方法は、符号化しようとする１フレーム分のソース映像をオブジェクトを示す前景領域とその他の領域を示す背景領域とに分割し、前記二つの領域の境界を示すマスク情報を生成するマスク生成過程と、前記分割された二つの領域に対して別途に動き評価を行って動き情報を生成し、復元フレーム映像に基づいて前記各領域に対して生成された動き情報を用いて動き補償を行って動き補償映像を生成する動き評価及び補償過程と、前記１フレーム分のソース映像から前記動き補償映像を減算して残差信号を求める残差信号生成過程と、前記残差信号を可変ブロックの単位に離散余弦変換した後、量子化及び可変長符号化を通じて符号化し、前記符号化された信号、前記マスク情報及び二つの領域に対する動き情報を多重化して出力する符号化過程と、前記１フレーム分のソース映像の背景領域の動き情報に応じて、前記背景領域に動きが発生しない場合は以前復元映像をそのまま、背景領域の動きが発生した場合は符号化された信号を復元した現在フレームの復元映像を選択的に出力して次のフレームのための前記以前フレームの復元映像として貯蔵する選択出力過程とを具備することを特徴とする。
【０００７】
また、前記動き評価及び補償過程では前記前景領域に対しては可変ブロックの単位に動き評価を行い、前記背景領域に対しては背景領域の複雑度に応じて可変ブロックの単位の動き評価またはアファイン動き評価を行うことが望ましい。
【０００８】
前記二つの領域の境界を示すマスク情報は４分割(quadtree)方式により符号化されることが望ましい。
【０００９】
前記目的を達成するために本発明によるオブジェクト単位の処理が可能な動き映像の符号化装置は、符号化しようとする１フレーム分のソース映像をオブジェクトを示す前景領域とその他の領域を示す背景領域とに分割し、前記二つの領域の境界を示すマスク情報を生成する前景／背景抽出器と、前記分割された二つの領域に対して別途に動き評価を行って動き情報を生成する前景／背景動き評価器と、以前フレームの復元映像に基づいて前記各領域に対して生成された動き情報を用いて動き補償を行って動き補償映像を生成する動き補償器と、前記１フレーム分のソース映像から前記動き補償映像を減算して残差信号を求める減算器と、前記残差信号を可変ブロックの単位に離散余弦変換した後、量子化及び可変長符号化を通じて符号化し、前記符号化された信号、前記マスク情報及び二つの領域に対する動き情報を多重化して出力する残差信号符号化手段と、前記１フレーム分のソース映像の背景領域の動き情報に応じて、前記背景領域に動きが発生しない場合は以前復元映像をそのまま、背景領域の動きが発生した場合は符号化された信号を復元した現在フレームの復元映像を選択的に出力して次のフレームのための前記以前フレームの復元映像として貯蔵する選択出力器と、を具備することを特徴とする。
【００１０】
前記他の目的を達成するために本発明によるオブジェクト単位の処理が可能な動映像の復号化方法は、１フレーム分のソース映像をオブジェクトを示す前景領域とその他の領域を示す背景領域とに分割し、残差信号を符号化して生成されたビットストリームを元の動映像に復元するためのオブジェクト単位の処理が可能な動映像の復号化方法において、前記ビットストリームから前記符号化された残差信号を抽出して可変長復号化し、当該可変長復号化された残差信号を逆量子化及び逆離散余弦変換して前記残差信号を復号化すると共に、前記二つの領域に対する動き情報と前記二つの領域を分割するマスク情報を復元する復号化過程と、貯蔵されている以前フレームの復元映像に基づいて前記マスク情報により分けられた二つの領域に対してそれぞれに動き補償を行って動き補償映像を生成し、前記復号化された残差信号と前記動き補償映像とを加算して現在フレームの復元映像を生成する動き補償過程と、前記１フレーム分のソース映像の背景領域の動き情報に応じて、前記背景領域に動きが発生しない場合は前記以前フレームの復元映像をそのまま、前記背景領域の動きが発生した場合は前記現在フレームの復元映像を選択的に出力して次のフレームのための復元フレーム映像として貯蔵する選択出力過程とを具備することを特徴とする。
【００１１】
前記他の目的を達成するために本発明によるオブジェクト単位の処理が可能な動き映像の復号化装置は、１フレーム分のソース映像をオブジェクトを示す前景領域とその他の領域を示す背景領域とに分割し、残差信号を符号化して生成されたビットストリームを元の動映像に復元するためのオブジェクト単位の処理が可能な動映像の復号化装置において、前記ビットストリームから前記符号化された残差信号を抽出して可変長復号化する可変長復号化器と、前記可変長復号化された残差信号を逆量子化及び逆離散余弦変換して前記残差信号を復号化する復号化器と、前記二つの領域に対する動き情報と前記二つの領域を分けるマスク情報を復元するマスク復元器と、貯蔵されている以前フレームの復元映像に基づいて前記マスク情報により分けられた二つの領域に対してそれぞれに動き補償を行って動き補償映像を生成する動き補償器と、前記復号化された残差信号と前記動き補償映像とを加算して現在フレームの復元映像を生成する加算器と、前記以前フレームの復元映像を貯蔵する復元フレーム貯蔵器と、前記１フレーム分のソース映像の背景領域の動き情報に応じて、前記背景領域に動きが発生しない場合は前記以前フレームの復元映像をそのまま、前記背景領域の動きが発生した場合は前記現在フレームの復元映像を前記復元フレーム貯蔵器に選択的に出力して次のフレームのための復元フレーム映像として貯蔵する選択出力器とを具備することを特徴とする。
【００１２】
【発明の実施の形態】
以下、添付した図面に基づき本発明を詳細に説明する。
【００１３】
図１は本発明によるオブジェクト単位の処理が可能な動き映像の符号化装置を示すブロック図であって、本発明による動映像の符号化装置はＭＣ−ＤＣＴの混合構造を有する。
【００１４】
図１に示した動映像の符号化装置は、ソース映像の動きを１ピクセルの解像度に分割する動き分割器１１、動き分割の結果を用いてそれぞれ最小ブロックの解像度に映像を前景と背景領域とに分けて各領域に対するマスクを生成する前景抽出器１２と背景抽出器１４、前景抽出器１２と背景抽出器１４から抽出された前景領域と背景領域に対して動き評価を行って動き情報を生成する前景動き評価器１３と背景動き評価器１５、以前フレームの復元映像（以下、以前の復元映像という）に基づいて前景動き評価器１３と背景動き評価器１５で評価された動き情報を用いて動き補償を行い動き映像を生成する動き補償器１６、ソース映像と動き補償器１６から出力される動き補償映像を減算して残差信号を出力する減算器２２、減算器２２から出力される残差信号を離散余弦変換及び量子化を通じて符号化する可変ブロック離散余弦変換器（ＤＣＴ）２３と量子化器２４、量子化器２４で量子化された残差信号と、前景抽出器１２及び背景抽出器１４から出力されるマスク情報と、前景動き評価器１２及び背景動き評価器１４から出力される動き情報とを用いてジグザグスキャンにより可変長符号化する可変長符号化器（ＶＬＣ）２５、量子化された残差信号に対して逆量子化及び逆離散余弦変換を行い復元された残差信号を出力する逆量子化器２１及び可変ブロック逆離散余弦変換器（ＩＤＣＴ）２０、動き補償器１６から出力される動き補償映像と可変ブロック（ＩＤＣＴ）２０から出力される復元された残差信号を加算して選択出力器（ＭＵＸ）１８に出力する加算器１９、背景動き評価器１５から出力される背景動き情報に応じて復元フレーム貯蔵器１７に貯蔵された以前の復元映像と加算器１９から出力される動き補償された復元残差信号のうち一つを選択的に出力して復元フレーム貯蔵器１７に貯蔵するＭＵＸ１８より構成される。
【００１５】
図２は本発明によるオブジェクト単位の処理が可能な動映像の復号化装置を示すブロック図であり、符号化ビットストリームから符号化された残差信号を抽出して可変長復号化する可変長復号化器（ＶＬＤ）５１、可変長復号化された残差信号を逆量子化及び逆離散余弦変換して前記残差信号を復号化する逆量子化器５４及び逆離散余弦変換器５５、二つの領域に対する動き情報と二つの領域を分けるマスク情報を復元するマスク復元器５２、以前の復元映像に基づいてマスク情報により分けられた二つの領域に対して別途に動き補償を行い動き補償映像を生成する動き補償器５３、復号化された残差信号と動き補償映像を加算して現在の復元映像を形成する加算器５６、以前の復元映像を貯蔵する復元フレーム貯蔵器５７、動きベクトルに応じて以前の復元映像または現在の復元映像を選択的に出力する選択出力器（ＭＵＸ）５８より構成される。
【００１６】
次に、前記の構成に基づき本発明の作用及び効果に対して説明すれば次の通りである。
【００１７】
図１において、動き分割器１１ではソースイメージシーケンス、即ち、１フレーム分のソース映像の動きを１ピクセルの解像度に分割し、前景抽出器１２と背景抽出器１４では動き分割の結果を用いてそれぞれ最小ブロックの解像度に映像を前景と背景領域に分けて各領域に対するマスクを生成する。ここで、背景は自ら動かない領域を示し、背景は前景を除く残り領域を示す。
【００１８】
前景動き評価器１３と背景動き評価器１５ではそれぞれ前景抽出器１２と背景抽出器１４から抽出された前景領域と背景領域に対して動き評価を行い動き情報を生成する。この際、前景動き評価器１３では可変ブロックの単位に動き評価が行われ、背景動き評価器１５では可変ブロックの単位の動き評価と共に評価された動き情報を用いてアファイン動き評価を行う。動き補償器１６では復元フレーム貯蔵器１７に貯蔵された復元された以前の映像に基づき前景動き評価器１３と背景動き評価器１５で評価された動き情報を用いて動き補償を行い動き補償映像を生成する。
【００１９】
減算器２２はソース映像と動き補償器１６から出力される動き補償映像を減算して残差信号を出力する。
【００２０】
可変ブロック離散余弦変換器（ＤＣＴ）２３と量子化器２４は減算器２２から出力される残差信号を離散余弦変換及び量子化を通じて符号化し、可変長符号化器（ＶＬＣ）２５は量子化器２４で量子化された残差信号をジグザグスキャンなどにより可変長符号化し、可変長符号化された信号と、前景抽出器１２及び背景抽出器１４から出力されるマスク情報と、前景動き評価器１２及び背景動き評価器１４から出力される動き情報とを多重化した後、ディコーダ（図示せず）に出力する。
【００２１】
一方、逆量子化器２１及び可変ブロック逆離散余弦変換器（ＩＤＣＴ）２０は量子化された残差信号に対して逆量子化及び逆離散余弦変換を行い復元された残差信号を出力する。この際、復元された残差信号には量子化及び逆量子化を通じて損失が発生されるので、元の残差信号と同一でない。加算器１９は動き補償器１６から出力される動き補償映像と可変ブロック（ＩＤＣＴ）２０から出力される復元された残差信号とを加算して現在フレームの復元映像（以下、現在の復元映像という）を生成して選択出力器（ＭＵＸ）１８に出力する。ＭＵＸ１８は背景動き評価器１５から出力される背景動き情報に応じて復元フレーム貯蔵器１７に貯蔵された以前の復元映像と加算器１９から出力される現在の復元映像のうち一つを選択的に出力して復元フレーム貯蔵器１７に貯蔵する。即ち、ＭＵＸ１８は背景領域に動きのない場合は、復元フレーム貯蔵器１７に貯蔵された以前の復元映像を再び復元フレーム貯蔵器１７に出力し、動きのある場合は加算器１９から出力される現在の復元映像を復元フレーム貯蔵器１７に出力する。
【００２２】
ここで、本発明による符号化過程をマスク生成段階、動き評価及び補償段階、残差信号の生成段階と残差信号の符号化段階に細分して説明する。
【００２３】
先ず、マスク生成段階に対して説明する。
【００２４】
本発明では映像を前景領域と背景領域とに分け、各特性に応じて動き及び残差を処理するために一つのフレームで各ピクセルが前景か背景かを示すマスクを導入し、マスクの符号化のために４分割方式を用いる。即ち、マスクは動き評価及び補償のための動きブロックと残差符号化のための残差ブロックの大きさ決めに用いられる。
【００２５】
マスクを生成するために解決すべき課題は先ず動き分割器１１における動き分割過程である。動き分割過程ではカメラの動きを抽出し、抽出されたアファイン動きモデルにより動き補償の行われる領域を背景領域として定義する。反面、背景を除く領域は前景領域として定義する。映像の全般にかけた局部的な動きによりカメラの動きが抽出しにくい場合には全ての映像を前景領域として定義する。編集やその他の特定目的のために別途の分割映像が提供される場合、各セグメントはアファイン動きモデルにより動きが補償されるかを判断し、アファイン動きモデルが適用しにくい場合には可変ブロックを単位とする遷移動きモデルを適用する。図３の（Ａ）は動き分割により生成されたセグメントの例を示す。
【００２６】
動き分割を通じて生成されたセグメントについては独立的に動き評価、補償及び残差符号化が行われて分けられたビットストリームを発生する。したがって、セグメントの輪郭線情報が符号化されているディコーダ（図示せず）に伝送されなければならない。
【００２７】
本発明においてセグメントの輪郭線情報、即ち、マスクを符号化するために図３の（Ｂ）のように４分割方式を採用する。この際、予め決めた最小大きさのブロックに前景と背景が同時にあるときは前景ブロックとして定義する。ブロックの最小大きさに応じてセグメントに対する解像度を決めることができる。即ち、ブロックの最小大きさを小さくすれば輪郭線をさらに正確に表現できるが情報量が増え、ブロックの最小大きさを大きくすれば情報量は減るが正確な輪郭線は表現できない。図３の（Ｃ）は最終的に生成されたマスクを示す。
【００２８】
次に、動き評価及び補償段階について説明する。
【００２９】
動き評価及び補償段階は映像圧縮において時間の重複性を用いる方法である。１フレームで動き評価及び補償は動きブロックの単位に行われるが、動き補償エラーのための離散余弦変換及びジグザグスキャンなどは残差ブロックの単位に行われる。ここで、動きブロックの大きさと構成要素はマスクと動き評価で可変ブロック単位のエラー分布分析により決められ、残差ブロックの大きさと構成要素はマスクにより決められる。
【００３０】
動き評価及び補償において動きブロックはブロック内に前景と背景ピクセルが混合されないように構成されており、動き補償エラーと動きベクトルとのビット発生量に鑑みて決められる。したがって、ブロック内の動きの相異なるオブジェクトが発生する動き補償エラーを効率よく減らせる。
【００３１】
本発明では動き評価及び補償を前景領域と背景領域とに分けて処理する。大部分の前景は多数の複合的な動きの結合により発生するので、一つの動きモデルを用いて前景の全ての動きは評価しにくい。したがって、前景領域では可変ブロックを単位として動きベクトルを生成する。反面、背景領域では大部分の動きはカメラによる動きなので、背景の全ての領域についてアファイン動きモデルを用いて動き評価及び補償を行う。しかしながら、背景領域の動きが極めて複雑であり多数のわずかな動きが任意に発生すれば、アファイン動きモデルが評価しにくい。この場合には前景でのように可変ブロックの単位に動きベクトルを生成する。即ち、背景領域については背景映像の種類に応じて背景に対する動き情報のモデルを選択的に符号化することができる。動き評価及び補償過程を前景領域と背景領域に分けて説明すれば次の通りである。
【００３２】
先ず、前景動き評価及び補償段階を説明する。
【００３３】
前景の動き評価では可変ブロックの単位に完全探索を通じて動きベクトルを生成する。可変ブロックの動き評価のために４分割方式を採択する。可変ブロックの動き評価は多数の動きが複雑的に存在する前景でより精巧な動き評価により残差信号の量を減らすことにより動き情報の増加を効率よく減らす。動き評価においては最終的にブロックの大きさを決めるために最初のブロックから始めて４分割方式でスプリットする。現在のｎ×ｎ大きさのブロックを（ｎ／２）×（ｎ／２）大きさの四つのサブブロックにスプリットするかの判断は次の処理過程により決める。
【００３４】

前記の過程においてＷ＝ＭＥ（ｘ，ｙ，ｚ）は動き評価のための関数を示すものであり、ｘはインデックスであって正方形を４分割方式により細分化したとき、上部左側の四角形を０、下部右側の四角形を１、下部左側の四角形を２、下部右側の四角形を３と設定する。ｙは動き評価時に用いられるブロックの大きさであり、ｚは動き評価により生成された動き情報、即ち、動きベクトルである。ここで、ｚは二つの動き成分、即ち、行軸成分、列軸成分であり、ｚ＝（ｍｖ_row，ｍｖ_col）のように表現できる。Ｗは動き評価の過程において動き成分ｚを生成するとき発生されたエラー値を示す。
【００３５】
Ｖ＝ＭＣ（ｘ，ｙ，ｚ）において、ｘ，ｙ，ｚはＭＥの場合と同様であり、Ｖは動き情報ｚにより動き補償されたブロックと元映像とのエラーを示す。
【００３６】
前記処理過程において、“エラー”はｎ×ｎブロックに対する動き評価を通じて動き情報“ｍｖ”を生成して発生されたエラーを示す。そして、ｓｕｂ＿ｅｒｒｏｒ０，ｓｕｂ＿ｅｒｒｏｒ１，ｓｕｂ＿ｅｒｒｏｒ２，ｓｕｂ＿ｅｒｒｏｒ３はｎ×ｎブロックを４分割方式により４等分した四つのｎ／２×ｎ／２ブロックのうちそれぞれ自分のインデックスに当たるブロックに対して動き評価を行って発生されたエラーを示す。そして、ｅｒｒｏｒ０，ｅｒｒｏｒ１，ｅｒｒｏｒ２，ｅｒｒｏｒ３はｎ×ｎブロックを４分割方式により４等分した四つのｎ／２×ｎ／２ブロックのうちそれぞれ自分のインデックスに当たるブロックに対してｎ×ｎブロックに対する動き評価を通じて生成された動き情報ｍｖを適用してそれぞれ生成されたエラーを示す。そして、ｓｕｂ＿ｅｒｒｏｒはｅｒｒｏｒ０，ｅｒｒｏｒ１，ｅｒｒｏｒ２，ｅｒｒｏｒ３をそれぞれｓｕｂ＿ｅｒｒｏｒ０，ｓｕｂ＿ｅｒｒｏｒ１，ｓｕｂ＿ｅｒｒｏｒ２，ｓｕｂ＿ｅｒｒｏｒ３との差を求めてから二乗して加算した値であり、この値が大きいほど４分割方式により四つの動き評価を行うことがエラーを最小化することである。したがって、この値が予め決めた値（ここではＴＨ）以上の値を有すると、ｎ×ｎブロックを四つのｎ／２×ｎ／２のブロックに分けて動き評価を行い、そうでない場合にはｎ×ｎブロックの動き評価のみを行う。
【００３７】
次に、背景動き評価及び補償段階について説明する。
【００３８】
背景領域の動きは大部分のカメラ動きにより発生される。背景領域に対する動き評価及び補償は次の式（１）のようにアファイン動きモデルを用いて動きに対する情報量を効率よくする。
【００３９】
【数１】

【００４０】
しかしながら、背景領域にカメラによる動き以外の任意の方向に多数のわずかな動き成分が発生する場合もある。このような背景領域は大部分の前景でのように一つの動きモデルを用いて全ての動きを補償することができない。したがって、このような場合には背景領域も前景のように可変ブロックに対する動き評価及び補償を行うことにより安定した符号化を行う。
【００４１】
背景領域に対するアファイン動きモデルを適用するために本発明では可変ブロックに対して生成した動きベクトルを用いる。一つの可変ブロックに対して完全探索を通じて差の和が所定のスレショルド値より小さいときの動きベクトルを候補動きベクトルとするとき、一つのブロックに対する動きベクトルは次のように三つの種類に分けられる。
タイプ１：候補動きベクトルの数が小さく、動き補償エラーも小さい場合、
タイプ２：候補動きベクトルの数が多い場合、
タイプ３：候補動きベクトルの数がない場合、
タイプ１の動きベクトルは正確な動き情報と言えるが、タイプ２とタイプ３の場合は正確な動き情報とは言えない。タイプ２は例え補償エラーは小さいが、実際の動きを示す動きベクトルが選択しにくい。よって、タイプ２の動き情報は上位ブロックの動きベクトルを適用して実際の動きを示す動きベクトルを選択する。タイプ３は動きが極めて複雑であり新たな物体の出現のような状況で発生する。したがって、タイプ３のブロックではイントラモードに符号化するかを判断する。
【００４２】
背景領域に対するアファイン動きモデルは可変ブロックの単位に生成された動きベクトルのうちタイプ１に分類された動きベクトルのみを用いることにより、アファイン動きモデルに対する解像度を高める。動き評価は次の式（２）〜（４）ような過程により処理される。
【００４３】
【数２】

【００４４】
一方、Ｅを最小化するためにＥをａ₀，ａ₁，ａ₂，ａ₃，ａ₄，ａ₅にそれぞれ偏微分して０にして整理すれば、次の式（５）〜（６）のようになる。
【００４５】
【数３】

【００４６】
この式（５）〜（６）により前記式（１）のアファイン動きモデルが決められる。
【００４７】
次の動き補償エラー、即ち残差信号生成段階では１フレームのソース映像から動き補償映像を減算して残差信号を求める。
【００４８】
次に、残差信号の符号化段階について説明する。
【００４９】
映像内の動くオブジェクトは動き評価及び補償を通じて実際の動きと類似な領域に移動する。しかしながら、動きモデルが実際の動きを完全に処理できないのみならず新たなオブジェクトが表れる場合もあるので、動き評価及び補償後は動き補償エラーを抽出してこれを符号化することが必要する。本発明では可変ブロックを単位とする離散余弦変換とジクザグスキャンを用いて動き補償エラーを符号化する。
【００５０】
可変ブロックを用いた補償エラーの符号化のために先ず可変ブロックに対する情報が符号化されなければならない。しかしながら、本発明では図３の（Ｂ）のように表現されるマスク情報をそのまま用いるので、可変ブロックによる別途のビット発生は不要である。離散余弦変換は８×８以下のブロックでのみ行われる。したがって、残差ブロックの大きさが１６×１６の場合は四つの８×８輝度ブロックとｃｂ，ｃｒ各々一つずつの８×８ブロックに対して離散余弦変換が行われる。図４はこのような多様な大きさの残差ブロックに対する離散余弦変換ブロックの例を示す。
【００５１】
一方、一番目のフレームや場面変化のあるフレームの場合には動き処理を用いることよりは直接元映像を符号化する。また、新たな領域が現れたり、複雑な動きが発生する場合、動き補償エラーにもその領域に対して大規模のエラーが多く発生することにより動き評価及び補償を通じた動き補償エラーの符号化より元映像を直接符号化することが画質とビット発生量面から有利な場合がある。本発明では次の式（７）により動き処理を行う場合、即ち、インタモード（inter mode）の場合とそうでない場合、即ち、イントラモード（intra mode）とを判断している。
【００５２】
【数４】

【００５３】
前記式（７）のＩi ，Ｐi はそれぞれ元映像ブロックと動き補償エラーブロックを示す。即ち、前記式４においてＩがＰより大きい場合はインタモード、ＩがＰより小さい場合にはイントラモードを示す。
【００５４】
次に、動き補償エラーの離散余弦変換について説明する。
【００５５】
二次元のＮ×Ｎ離散余弦変換は次の式（８）のように行われる。
【００５６】
【数５】

【００５７】
前記式（８）のｕ，ｖ，ｘ，ｙは０，１，２，．．，Ｎ−１の値を有し、ｘ，ｙはピクセル領域の空間座標、ｕ，ｖは変換領域の座標を示し、Ｃ（ｕ），Ｃ（ｖ）は次のようになる。
【００５８】

一方、逆離散余弦変換は次の式（９）のように定義される。
【００５９】
【数６】

【００６０】
次に、動き補償エラーの量子化及び逆量子化について説明する。
【００６１】
量子化は離散余弦変換（ＤＣＴ）ブロックの大きさがｎ×ｎであり、量子化ステップのサイズがｑの場合、イントラモードとインタモードに応じて次のように処理される。ここで、ｂｏａｒｄ［］［］はＤＣＴを通じて変換されたデータであり、ｑｂｏａｒｄ［］［］は量子化されたデータである。量子化でＤＣ値であるｂｏａｒｄ［０］［０］とＡＣ値である残りデータ、即ち、ｂｏａｒｄ［ｉ］［ｊ］（ここで、ｉ＝０，ｊ＝０の場合は除く）は相異なる方式で処理される。
【００６２】

次に逆量子化について説明する。ここで、ｑｂｏａｒｄ［］［］は量子化されたデータ、ｄｑｂｏａｒｄ［］［］は逆量子化されたデータを示す。
【００６３】

一方、離散余弦変換ブロックで可変ブロックに対するジグザグスキャンの順序は図５に示した通りである。
【００６４】
そして、図１に示した符号化装置により符号化された映像を復号化する装置は図２の通りであり、復号化過程は前記符号化過程の逆順なのでここでは詳細な説明は省く。
【００６５】
図６は本発明によりａｋｉｙｏ，ｃｏｎｔａｉｎｅｒｓｈｉｐ，ｈａｌｌｍｏｎｉｔｏｒ，ｍｏｔｈｅｒ＆ｄｏｕｇｈｔｅｒというテスト映像を符号化してから復元した結果である。
【００６６】
【発明の効果】
前述したように本発明によるオブジェクト単位の処理が可能な動映像の復号化／復号化方法及び符号化／復号化装置では、１フレーム分のソース映像を前景領域と背景領域に分離し、前景領域は可変ブロック単位で一般の動き評価を行い、背景領域は可変ブロック単位の一般の動き評価あるいは全体背景領域に対して一つのアファイン動きモデルを用いた動き評価を行うことによって、従来の１フレーム分のソース映像について同様に固定ブロック単位で動き評価を行う場合に比べて動き補償エラーを減らせ、ビット発生量を減らせる。
【００６７】
また、視感的に最も敏感な部分である前景と背景との境界を４分割方式による可変ブロックを用いて符号化することにより境界部分を明確に復元し得るのみならず、離散余弦変換の有するエラーのむら現象も減らすので復元映像の画質を向上させる。
【００６８】
かつ、現在標準化されたＭＣ−ＤＣＴ方式を採択することにより単なる構造を持ち、使用される応用分野に応じて画質とビット発生量を適切に調節し得るのみならず、符号化されたデータの構造を前景と背景の分離構造とすることによりいずれか一側のみを選択的に復元することができる。
【図面の簡単な説明】
【図１】本発明による客体単位の処理が可能な動映像の符号化装置を示すブロック図である。
【図２】本発明による客体単位の処理が可能な動映像の復号化装置を示すブロック図である。
【図３】客体単位の処理のためのマスクの生成と４分割方式を用いた符号化方法の例を示す図面である。
【図４】可変大きさのマクロブロックの例を示す図面である。
【図５】可変大きさのブロックでジクザグスキャンの順序を示す図面である。
【図６】本発明により映像信号を符号化及び復号化を行った場合、各テスト映像に対するＰＳＮＲを示す図面である。

Claims

符号化しようとする１フレーム分のソース映像をオブジェクトを示す前景領域とその他の領域を示す背景領域とに分割し、前記二つの領域の境界を示すマスク情報を生成するマスク生成過程と、
前記分割された二つの領域に対して別途に動き評価を行って動き情報を生成し、以前フレームの復元映像に基づいて前記各領域に対して生成された動き情報を用いて動き補償を行って動き補償映像を生成する動き評価及び補償過程と、
前記１フレーム分のソース映像から前記動き補償映像を減算して残差信号を求める残差信号生成過程と、
前記残差信号を可変ブロックの単位に離散余弦変換した後、量子化及び可変長符号化を通じて符号化し、前記符号化された信号、前記マスク情報及び二つの領域に対する動き情報を多重化して出力する符号化過程と、
前記１フレーム分のソース映像の背景領域の動き情報に応じて、前記背景領域に動きが発生しない場合は以前復元映像をそのまま、背景領域の動きが発生した場合は符号化された信号を復元した現在フレームの復元映像を選択的に出力して次のフレームのための前記以前フレームの復元映像として貯蔵する選択出力過程とを具備することを特徴とするオブジェクト単位の処理が可能な動映像の符号化方法。
前記動き評価及び補償過程では前記前景領域に対しては可変ブロック単位に一般の動き評価を行い、前記背景領域に対しては前記背景領域に存在する動きの程度により可変ブロック単位に一般の動き評価あるいは全体背景領域に対する一つのアファイン動きモデルを用いた動き評価を行うことを特徴とする請求項１に記載のオブジェクト単位の処理が可能な動映像の符号化方法。
前記二つの領域の境界を示すマスク情報は４分割方式により符号化されることを特徴とする請求項２に記載のオブジェクト単位の処理が可能な動映像の符号化方法。
符号化しようとする１フレーム分のソース映像をオブジェクトを示す前景領域とその他の領域を示す背景領域とに分割し、前記二つの領域の境界を示すマスク情報を生成する前景／背景抽出器と、
前記分割された二つの領域に対して別途に動き評価を行って動き情報を生成する前景／背景動き評価器と、
以前フレームの復元映像に基づいて前記各領域に対して生成された動き情報を用いて動き補償を行って動き補償映像を生成する動き補償器と、
前記１フレーム分のソース映像から前記動き補償映像を減算して残差信号を求める減算器と、
前記残差信号を可変ブロックの単位に離散余弦変換した後、量子化及び可変長符号化を通じて符号化し、前記符号化された信号、前記マスク情報及び二つの領域に対する動き情報を多重化して出力する残差信号符号化手段と、
前記１フレーム分のソース映像の背景領域の動き情報に応じて、前記背景領域に動きが発生しない場合は以前復元映像をそのまま、背景領域の動きが発生した場合は符号化された信号を復元した現在フレームの復元映像を選択的に出力して次のフレームのための前記以前フレームの復元映像として貯蔵する選択出力器と、
を具備することを特徴とするオブジェクト単位の処理が可能な動映像の符号化装置。
前記二つの領域の境界を示すマスク情報は４分割方式により符号化されることを特徴とする請求項４に記載のオブジェクト単位の処理が可能な動映像の符号化装置。
１フレーム分のソース映像をオブジェクトを示す前景領域とその他の領域を示す背景領域とに分割し、残差信号を符号化して生成されたビットストリームを元の動映像に復元するためのオブジェクト単位の処理が可能な動映像の復号化方法において、
前記ビットストリームから前記符号化された残差信号を抽出して可変長復号化し、当該可変長復号化された残差信号を逆量子化及び逆離散余弦変換して前記残差信号を復号化すると共に、前記二つの領域に対する動き情報と前記二つの領域を分割するマスク情報を復元する復号化過程と、
貯蔵されている以前フレームの復元映像に基づいて前記マスク情報により分けられた二つの領域に対してそれぞれに動き補償を行って動き補償映像を生成し、前記復号化された残差信号と前記動き補償映像とを加算して現在フレームの復元映像を生成する動き補償過程と、
前記１フレーム分のソース映像の背景領域の動き情報に応じて、前記背景領域に動きが発生しない場合は前記以前フレームの復元映像をそのまま、前記背景領域の動きが発生した場合は前記現在フレームの復元映像を選択的に出力して次のフレームのための復元フレーム映像として貯蔵する選択出力過程とを具備することを特徴とするオブジェクト単位の処理が可能な動映像の復号化方法。
１フレーム分のソース映像をオブジェクトを示す前景領域とその他の領域を示す背景領域とに分割し、残差信号を符号化して生成されたビットストリームを元の動映像に復元するためのオブジェクト単位の処理が可能な動映像の復号化装置において、
前記ビットストリームから前記符号化された残差信号を抽出して可変長復号化する可変長復号化器と、
前記可変長復号化された残差信号を逆量子化及び逆離散余弦変換して前記残差信号を復号化する復号化器と、
前記二つの領域に対する動き情報と前記二つの領域を分けるマスク情報を復元するマスク復元器と、
貯蔵されている以前フレームの復元映像に基づいて前記マスク情報により分けられた二つの領域に対してそれぞれに動き補償を行って動き補償映像を生成する動き補償器と、
前記復号化された残差信号と前記動き補償映像とを加算して現在フレームの復元映像を生成する加算器と、
前記以前フレームの復元映像を貯蔵する復元フレーム貯蔵器と、
前記１フレーム分のソース映像の背景領域の動き情報に応じて、前記背景領域に動きが発生しない場合は前記以前フレームの復元映像をそのまま、前記背景領域の動きが発生した場合は前記現在フレームの復元映像を前記復元フレーム貯蔵器に選択的に出力して次のフレームのための復元フレーム映像として貯蔵する選択出力器とを具備することを特徴とするオブジェクト単位の処理が可能な動映像の復号化装置。