JPH0595540A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は動画像符号化装置において、動画像を
符号化する際に高い符号化効率で符号化し得ると共に画
質を向上しようとするものである。 【構成】予め優先度を設定しておくことで、人間の視覚
特性にあった符号化を行なうことができ、画像の注目す
る部分に高い優先度を設定すれば、その部分を優先的に
高画質で符号化でき、またあらかじめ符号化するべき動
画像シーケンスの情報を収集することによって、１〜Ｎ
フレーム毎にフレーム内符号化および前方予測、後方予
測および両方向予測フレーム間符号化の組合せパターン
を最適に選択することができる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図８〜図１０） 発明が解決しようとする課題（図８〜図１０） 課題を解決するための手段（図１〜図７） 作用（図１〜図７） 実施例 （１）第１実施例（図１） （２）第２実施例 （２−１）第１の構成（図２） （２−２）第２の構成（図３） （２−３）第３の構成（図４） （２−４）第４の構成（図５） （２−５）第２実施例の効果 （３）第３実施例（図６及び図７） （４）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は動画符号化装置に関し、
例えばテレビ電話システム等の映像信号伝送装置で動画
映像信号を符号化する際に適用して好適なものである。

【０００３】

【従来の技術】従来、例えばテレビ会議システム、テレ
ビ電話システムなどのように動画映像でなる映像信号を
遠隔地に伝送するいわゆる映像信号伝送システムにおい
ては、伝送路を効率良く利用するため、映像信号のライ
ン相関やフレーム間相関を利用して映像信号を符号化
し、これにより有意情報の伝送効率を高めるようになさ
れている。

【０００４】例えばフレーム内符号化処理は映像信号の
ライン相関を利用するもので、図８に示すように、時点
ｔ＝ｔ1 、ｔ2 、ｔ3 ……において動画を構成する各画
像ＰＣ１、ＰＣ２、ＰＣ３……を伝送しようとする場
合、伝送処理すべき画像データを同一走査線内で一次元
符号化して伝送するものである。

【０００５】またフレーム間符号化処理は、映像信号の
フレーム間相関を利用して順次隣合う画像ＰＣ１及びＰ
Ｃ２、ＰＣ２及びＰＣ３……間の画素データの差分でな
る画像データＰＣ１２、ＰＣ２３……を求めることによ
り圧縮率を向上させるものである。

【０００６】これにより映像信号伝送システムは、画像
ＰＣ１、ＰＣ２、ＰＣ３……をその全ての画像データを
伝送する場合と比較して格段的にデータ量が少ないデイ
ジタルデータに高能率符号化して伝送路に送出し得るよ
うになされている。

【０００７】すなわち図９に示すように、動画像符号化
装置１は入力映像信号ＶＤを前処理回路２を介して輝度
信号及び色差信号に変換した後、アナログデイジタル変
換回路で８ビツトのデイジタル信号に変換し、入力画像
データＳ１として出力する。ここで入力画像データＳ１
として順次送出される画像データは、図１０に示すよう
な手法でフレーム画像データＦＲＭから抽出される。

【０００８】一枚のフレーム画像データＦＲＭは、図１
０（Ａ）に示すように２個（水平方向）×６個（垂直方
向）のブロツクグループＧＯＢに分割され、各ブロツク
グループＧＯＢが図１０（Ｂ）に示すように１１個（水
平方向）×３個（垂直方向）のマクロブロツクＭＢを含
むようになされ、各マクロブロツクＭＢは図１０（Ｃ）
に示すように８×８画素分の輝度信号データＹ1 〜Ｙ4
の全画素データに対応する色差信号データでなる色差信
号データＣb 及びＣr を含んでなる。

【０００９】このときブロツクグループＧＯＢ内の画像
データの配列は、マクロブロツクＭＢ単位で画像データ
が連続するようになされており、このマクロブロツクＭ
Ｂ内ではラスタ走査の順で微小ブロツク単位で画像デー
タが連続するようになされている。

【００１０】なおここでマクロブロツクＭＢは、輝度信
号に対して、水平及び垂直走査方向に連続する16×16画
素の画像データ（Ｙ1 〜Ｙ4 ）を１つの単位とするのに
対し、これに対応する２つの色差信号においては、デー
タ量が低減処理された後時間軸多重化処理され、それぞ
れ１つの微小ブロツクＣr 、Ｃb に16×16画素分のデー
タが割り当てられる。

【００１１】差データ生成回路３は、入力画像データＳ
１と共に前フレームメモリ４に格納されている前フレー
ムの前フレームデータＳ２を入力すると、入力画像デー
タＳ１との差分を求めてフレーム間符号化データを発生
し（以下これをフレーム間符号化モードという）、当該
差分データＳ３を切換回路５を介してデイスクリートコ
サイン変換（ＤＣＴ（discrete cosine transform ））
回路６及び切換制御回路７に出力するようになされてい
る。

【００１２】切換回路５は、切換制御回路７から出力さ
れる制御信号Ｓ４により制御され、フイールド内符号化
して伝送した方が少ないデータ量で伝送できる場合に
は、入力画像データＳ１をそのまま出力し、またフレー
ム間符号化して伝送した方が少ないデータ量で伝送でき
る場合には差分データＳ３を出力するようになされてい
る。ＤＣＴ回路６は映像信号の２次元相関を利用して、
入力画像データＳ１又は差分データＳ３を微小ブロツク
単位でデイスクリートコサイン変換し、その結果得られ
る変換データＳ５を量子化回路８に出力するようになさ
れている。

【００１３】量子化回路８は、ブロツクグループＧＯＢ
毎に定まる量子化ステツプサイズで変換データＳ５を量
子化し、その結果出力端に得られる量子化データＳ６を
可変長符号化（ＶＬＣ（variable length code））回路
９及び逆量子化回路１２に供給する。ここでＶＬＣ回路
９は、量子化データＳ６を可変長符号化処理し、伝送デ
ータＳ７として伝送バツフアメモリＢＭ１０に供給す
る。

【００１４】伝送バツフアメモリ１０は、伝送データＳ
７を一旦メモリに格納した後、所定のタイミングで出力
データＳ８として伝送路１１に出力すると共に、メモリ
に残留している残留データ量に応じてブロツクグループ
ＧＯＢ単位の量子化制御信号Ｓ９を量子化回路８にフイ
ードバツクして量子化ステツプサイズを制御するように
なされている。これにより伝送バツフアメモリ１０は、
出力データＳ８として発生されるデータ量を調整し、メ
モリ内に適正な残量（オーバーフロー又はアンダーフロ
ーを生じさせないようなデータ量）のデータを維持する
ようになされている。

【００１５】因に伝送バツフアメモリ１０のデータ残量
が許容上限にまで増量すると、伝送バツフアメモリ１０
は量子化制御信号Ｓ９によつて量子化回路８の量子化ス
テツプサイズＳＴＰＳ（図１１）のステツプサイズを大
きくすることにより、量子化データＳ６のデータ量を低
下させる。またこれとは逆に伝送バツフアメモリ１０の
データ残量が許容下限値まで減量すると、伝送バツフア
メモリ１０は量子化制御信号Ｓ９によつて量子化回路８
の量子化ステツプサイズＳＴＰＳのステツプサイズを小
さくすることにより、量子化データＳ６のデータ量を増
大させる。

【００１６】逆量子化回路１２は、量子化回路８から送
出される量子化データＳ６を代表値に逆量子化して逆量
子化データＳ１０に変換し、出力データＳ８の量子化回
路８における変換前の変換データを復号し、逆量子化デ
ータＳ１０をデイスクリートコサイン逆変換ＩＤＣＴ
（inverse discrete cosine trasform）回路１３に供給
するようになされている。

【００１７】デイスクリートコサイン逆変換回路１３
は、逆量子化回路１２で復号された逆量子化データＳ１
０をデイスクリートコサイン変換回路６とは逆の変換処
理で復号画像データＳ１１に変換し、前フレームデータ
生成回路１４及び切換回路１５に出力するようになされ
ている。

【００１８】これによりデイスクリートコサイン逆変換
回路１３は、伝送路１１を介して出力され、受信側で再
現される出力データＳ８のデイスクリートコサイン変換
回路６での変換前の入力画像データＳ１又は差分データ
Ｓ３を伝送側で復号することができるようになされてい
る。

【００１９】すなわちデイスクリートコサイン逆変換回
路１３は、映像信号ＶＤがフイールド内符号化処理され
て伝送される場合には入力画像データＳ１を再現するの
に対し、映像信号ＶＤがフレーム間符号化処理されて伝
送される場合には差分データＳ３を再現するようになさ
れている。

【００２０】前フレームデータ生成回路１４は、前フレ
ームメモリ４からフイードバツクされる前フレームデー
タＳ２と復号画像データＳ１１を加算して出力データＳ
８として出力された前フレームの画像データを再現し、
切換回路１５を介して前フレームメモリ４に出力するこ
とにより、前フレームメモリ４に受信側に伝送される画
像を順次再現して格納するようになされている。

【００２１】ここで切換回路１５は、遅延回路１６を介
することにより映像信号ＶＤがデイスクリートコサイン
変換されてからデイスクリートコサイン逆変換されるま
でに要する時間遅延された制御信号Ｓ４により切り換え
制御されるようになされている。

【００２２】

【発明が解決しようとする課題】ところがかかる構成の
動画像符号化装置においては、発生情報量（ビツト量）
を制御するため符号化方式を変更することは行なわれて
いるが、その制御は画像の内容や性質に依存していない
のが現状で、ある程度画像に依存した符号化方式は適応
処理によつて試みられているが、いろいろな種類の画像
に柔軟に対応することはできず、結局主観的な画質を高
めることは出来ない問題があつた。

【００２３】またかかる構成の動画像符号化装置におい
て、各フレームはフレーム内符号化および前方予測、後
方予測および両方向予測フレーム間符号化されるかは、
あるパターンで固定に決められている。このため動画像
の統計的な性質が変化しても、最適な符号化方式を選択
できず、結局高い符号化効率は望めない問題があつた。

【００２４】本発明は以上の点を考慮してなされたもの
で、動画像を符号化する際に高い符号化効率で符号化し
得ると共に画質を向上し得る動画符号化装置を提案しよ
うとするものである。

【００２５】

【課題を解決するための手段】かかる課題を解決するた
め第１の発明においては、動画像についてフレーム内符
号化及び又はフレーム間符号化する動画像符号化装置に
おいて、動画像を符号化する前に、その動画像を符号化
する所定の部分毎に優先度を設定し、符号化における動
き検出の際に、検出結果として得られる動き情報に応じ
て優先度を継承し、その優先度に基づいて動画像の所定
の部分毎に符号化の方式を変えるようにした。

【００２６】また第２の発明においては、動画像につい
てフレーム内符号化及び又はフレーム間符号化する動画
像符号化装置において、符号化すべき動画像シーケンス
の全体又は一部分を、フレーム内符号化及び又はフレー
ム間符号化で符号化し、その符号化情報に基づいてフレ
ーム毎に、フレーム内符号化方式及び又はフレーム間符
号化方式を選択するようにした。

【００２７】さらに第３の発明においては、前フレーム
で使われたステツプサイズを用いて、目的のフレームを
フレーム間符号化及びフレーム内符号化方式で符号化す
ると共に、各々発生情報量を求め、フレーム間符号化方
式で符号化して得られる発生情報量が、フレーム内符号
化方式で符号化して得られる発生情報量を上回る場合に
は、フレーム内符号化方式を選択するようにした。

【００２８】また第４の発明においては、前フレームで
使われたステツプサイズを用いて、フレーム間の差分値
を求めるとともに、フレーム内の低周波数成分を除いた
差分の絶対値の総和を求め、フレーム間の差分値と、フ
レーム内の低周波成分を除いた差分の絶対値の総和とを
比較し、フレーム間の差分値が相対的に大きい場合に
は、フレーム内符号化方式を選択するようにした。

【００２９】さらに第５の発明においては、前フレーム
で使われたステツプサイズを用いて、フレームにおける
フレーム間の差分値を求めるとともに、次に符号化すべ
きフレームについて、同様にフレーム間の差分値を求
め、その差分値がフレームの差分値より相対的に大きい
場合には、フレーム内符号化方式を選択するようにし
た。

【００３０】さらにまた第６の発明においては、動画像
についてフレーム内符号化、前方予測、後方予測及び両
方向予測フレーム間符号化する動画像符号化装置におい
て、あらかじめ符号化するべき動画像シーケンスの全体
もしくは一部分を、フレーム内符号化及びフレーム間符
号化のある組合せパターンで符号化し、符号化の情報に
基づいて所定数のフレーム毎に、フレーム内符号化及び
又はフレーム間符号化の組合せパターンを選択するよう
にした。

【００３１】

【作用】たとえば人間の視覚特性に沿つた優先度を設定
しておくことで、人間の視覚特性にあつた符号化を行な
うことができ、画像の注目する部分に高い優先度を設定
すれば、その部分を優先的に高画質で符号化できるな
ど、いろいろな種類の画像に柔軟に対応して、主観的な
画質を高めることができる。

【００３２】またあらかじめ符号化するべき動画像シー
ケンスの情報を収集することによつて、１〜Ｎフレーム
毎にフレーム内符号化および前方予測、後方予測および
両方向予測フレーム間符号化の組合せパターンを最適に
選択することができると共に、フレーム毎にフレーム内
またはフレーム間符号化を最適に選択することができの
で、符号化効率を一段と向上し得ると共に、例えばシー
ンチエンジに対応して、フレーム内符号化を選択した
り、シーンが変わらなくても、画面内の動き量が増えた
場合にフレーム内符号化を選択することで、ランダムア
クセス性と高い符号化効率が両立できる。

【００３３】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００３４】（１）第１実施例 この実施例においては、図９に示すような構成の動画像
符号化装置で、あるフレームに対して符号化の単位の小
領域ごとに又はそれより大きなある部分について、優先
度を設定する。すなわち、符号化をする前に、人間によ
つて注目される部分（人物像など）や画質の劣化が見え
やすい部分などを、符号化側の要請にしたがつて高い優
先度に設定する。

【００３５】このため符号化器は、優先度を設定するた
めの入力装置と符号化の単位の小領域に対応するメモリ
ーを持ち、各領域に設定された優先度を記憶する。すな
わち図１に示すように優先度を設定するべきフレームＦ
ＲＭ０を、ＣＲＴなどに表示し、これを見ながら符号化
側でマウスなどを用いて画面の位置を指定しながら、優
先度を設定する。

【００３６】ここでこの実施例の場合の具体的なアルゴ
リズムを示す。まず優先度を設定するフレームは、第１
ステツプにおいてあるフレームについて、符号化単位の
小領域ＡＳの優先度を設定し、メモリーに記憶する。続
いて第２ステツプにおいてそのフレームを、優先度に従
つて符号化する。具体的には優先度の高い領域に対して
は、そのフレームの標準の量子化幅よりも、優先度に応
じて小さな量子化幅を用いて量子化する。

【００３７】次に優先度を設定しないフレームは、第１
ステツプにおいて被符号化フレームがフレーム内／フレ
ーム間符号化いずれの場合でも、符号化するのに先だつ
て、優先度がつけられた前フレームと動き検出を行な
い、そこで得られた動き情報に基づいて優先度を継承す
る。

【００３８】ここで優先度を継承することの具体例とし
て、ポピユラーなブロツクマツチング法による動き検出
の場合を考える。ブロツクマツチング法では、被符号化
フレームＦＲＭ１のブロツクごとに、前フレームＦＲＭ
０との差分が最小になるブロツクに対応づけられるの
で、前フレームのブロツクとほぼ同じ画像である。

【００３９】このためあるブロツクＡＲ０、ＡＲ１、Ａ
Ｒ２に含まれる符号化される小領域ＡＳは、前フレーム
のブロツクＡＲ０、ＡＲ１、ＡＲ２に含まれる対応する
小領域ＡＳと同じ優先度を継承することにより、同じ画
像を同じ優先度で符号化するので、符号化側の要請に従
つた符号化をすることができる。

【００４０】またブロツクマツチング法以外の動き検出
の場合でも、フレーム間で対応づけられる領域毎に優先
度を継承すればよい。ここで問題となるのは、図１に示
すように動きベクトルによつて対応したブロツクＡＲ０
内で、小領域ＡＳが同じ位置にあるとは、一般には限ら
ないことである。

【００４１】この場合には、いろいろな方法がある。す
なわち対応する領域内で、もつとも大きい面積を占める
領域と同じ優先度を継承したり、対応する領域内のすべ
ての領域の優先度の平均を継承することであり、いずれ
の方法にしても、符号化される小領域は前フレームから
優先度を継承することになり、第２ステツプにおいて、
そのフレームを優先度に従つて符号化する。

【００４２】以上のアルゴリズムによつて、任意のフレ
ームで優先度を設定すれば、それ以降のフレームでは優
先度は継承されるので、自動的に適切な符号化方式にコ
ントロールでき、いろいろな種類の画像に柔軟に対応し
て主観的な画質を高めることができる。

【００４３】実際上このようなアルゴリズムでは、優先
度を継承するために動き検出が必要であるが、ハードウ
エアを追加する必要はない。すなわち被符号化フレーム
がフレーム内符号化される場合には、本来動き検出を行
なう必要はないが、フレーム間符号化を行なうために動
き検出を行なうハードウエアはあるので、それを用いて
動き検出を行なえばよく、また被符号化フレームがフレ
ーム間符号化される場合には、動き検出が行なわれるの
で、その結果をそのまま用いればよい。

【００４４】なお図１（Ａ）及び（Ｂ）はそれぞれ、連
続する２つのフレームＦＲＭ０及びＦＲＭ１の画像を示
し、図中においてＡＳは符号化単位の小領域として例え
ば８×８画素のブロツクを示し、またＡＲ０、ＡＲ１、
ＡＲ２はそれぞれ４つの小領域を組み合わせてなる領域
を示し、０、１、２の数字の順に優先度を表している。

【００４５】以上の構成によれば、例えば人間の視覚特
性に沿つた優先度を設定しておくことで、人間の視覚特
性にあつた符号化を行なうことができ、また、画像の注
目する部分に高い優先度を設定すれば、その部分を優先
的に高画質で符号化できるなど、いろいろな種類の画像
に柔軟に対応して、主観的な画質を高めることができる
動画符号化装置を実現できる。

【００４６】（２）第２実施例 （２−１）第１の構成 図９との対応部分に同一符号を付して示す図２は第２実
施例の第１の構成の動画符号化装置２０を示し、マイク
ロプロセツサ構成のフレーム内／フレーム間判別器２１
においてＶＬＣ回路９の発生情報量を検出し、発生情報
量が一定値以内で最も画質がよいという意味で、最適な
フレーム内符号化とフレーム間符号化の組合せパターン
を決定するようになされている。

【００４７】この場合フレーム内／フレーム間判別器２
１は、まず、あるフレームまで符号化が終わつたと仮定
し（なおこの仮定をしても、符号化は逐次的に処理が進
むため一般性は失われない。）、前フレームで使われた
ステツプサイズを用いて、目的のフレームをフレーム間
符号化で符号化し、そこでの発生情報量を、Ｂｉｎｔｅ
ｒとする。

【００４８】同様に前フレームで使われたステツプサイ
ズを用いて、目的のフレームをフレーム内符号化で符号
化し、そこでの発生情報量を、Ｂｉｎｔｒａとする。こ
のＢｉｎｔｅｒとＢｉｎｔｒａを比較すれば、ステツプ
サイズで定められるある画質を得るための情報量を比較
できるので、逆に発生情報量が一定値以内で、より画質
がよい符号化を選択できる。すなわち次式、

【数１】 が成り立てばフレーム内符号化を選択し、成り立たなけ
ればフレーム間符号化を選択する。

【００４９】このようにすれば比較する対象を発生情報
量としたので、画質一定の条件で発生情報量が少ないと
いう意味で、厳密に最適な選択ができる。ただし実際に
フレーム間符号化およびフレーム内符号化について符号
化を行ない、発生情報量を計算する必要があり、フレー
ム間およびフレーム内符号化について、それぞれ２パス
となるため符号化にかかる処理量は１パスに比べて２倍
以上となる。

【００５０】（２−２）第２の構成 図２との対応部分に同一符号を付して示す図３は第２実
施例の第２の構成の動画符号化装置３０を示し、フレー
ム内／フレーム間判別器３１においては、比較する対象
を第１の構成の発生情報量に代え、発生情報量を間接的
に表す指標を用いるようになされている。

【００５１】具体的には符号化されるフレームの画素値
の絶対値総和である。まず、目的のフレームを符号化す
るにあたり、フレーム間符号化の準備として必然的にフ
レーム間の差分が計算される。

【００５２】この差分は平均値分離回路３２及び絶対値
和回路３３と、絶対値和回路３４において算出された連
続するフレーム間の画素値に基づいて検出するようにな
され、これがフレーム間符号化の発生情報量を間接的に
表す指標として用いる。

【００５３】すなわちまずフレーム全体について絶対値
総和を求めＳｉｎｔｅｒとし、つぎに比較のためにフレ
ーム内符号化の発生情報量を間接的に表す指標として、
フレーム内のＤＣ成分を除いた差分を計算し、この差分
の絶対値総和をＳｉｎｔｒａとする。

【００５４】このときＳｉｎｔｅｒとＳｉｎｔｒａは、
それぞれフレーム間およびフレーム内符号化される画像
の発生情報量を間接的に表しているので、次式

【数２】 が成り立てば目的のフレームをフレーム内符号化し、成
り立たなければ目的のフレームをフレーム間符号化す
る。

【００５５】このようにすれば、比較する対象を符号化
される画像の絶対値の総和としたので、実際に符号化す
る必要がなく、このため余計な処理量は第２の実施例の
ように符号化する場合に比べ、格段に少ない処理量で済
む（正確には、フレーム内のＤＣ成分を除いたの差分の
絶対値総和）。もちろん厳密な意味で最適な選択はでき
ないが、実用上十分な精度で選択できる。

【００５６】（２−３）第３の構成 図３との対応部分に同一符号を付して示す図４は第２実
施例の第３の構成の動画符号化装置４０を示し、フレー
ム内／フレーム間判別器４１においては、上述の第２の
構成を発展させ、選択のために余計な処理が必要であつ
たがこれをなるべく小さくするため、絶対値和回路４２
と１フレームデイレイ回路４３で得られる、フレーム間
の差分の絶対値総和だけを用いてフレーム間／フレーム
内の選択を決定する。

【００５７】具体的には上述の第３実施例と同様に、フ
レーム間符号化の発生情報量を間接的に表す指標とし
て、フレーム間の差分の絶対値総和を求め、Ｓｉｎｔｅ
ｒとする。実際上動画像シーケンスをある順序で符号化
するときに、ｎ番目に処理するフレームのＳｉｎｔｅｒ
をＳｉｎｔｅｒ（ｎ）とする。

【００５８】そしてこのフレームがフレーム間符号化さ
れたとし、次に符号化するべき（ｎ＋１）番目のフレー
ムについてＳｉｎｔｅｒを求め、Ｓｉｎｔｅｒ（ｎ＋
１）とする。ここで、一般に動画像シーケンスでは、画
像の内容が変化しない場合、統計的性質も大きく変化し
ない。

【００５９】逆に統計的性質が大きく変化している場合
は、画像の内容が変化したと考えられる。この性質を用
いて統計量としてＳｉｎｔｅｒを採用して、Ｓｉｎｔｅ
ｒの時間的変化を調べることにより、画像の内容が変化
したフレームを検出でき、そしてそのフレームは、画像
の内容が変化しているので、フレーム間符号化よりもフ
レーム内符号化が選択されると符号化効率が高い。

【００６０】このためＳｉｎｔｅｒ（ｎ）とＳｉｎｔｅ
ｒ（ｎ＋１）を比較して、次式

【数３】 が成り立たてば目的のフレームをフレーム内符号化し、
成り立たなければ目的のフレームをフレーム間符号化す
る。ここでＭは、例えば３程度の任意の定数を表す。

【００６１】このようにすれば比較する対象を、フレー
ム間の差分の絶対値総和としたことにより、実際の符号
化時に計算される値で、新たに求める必要はなく、この
ため、この判定に必要な余計な処理量は（３）式の判定
だけである。これは第３実施例と比較しても少ない処理
量で済む。ただしＳｉｎｔｅｒを記憶しておくためのメ
モリーが必要であり、もちろん厳密な意味で最適な選択
はできないが、実用上十分な精度で選択できる。

【００６２】（２−４）第４の構成 図４との対応部分に同一符号を付して示す図５は第２実
施例の第４の構成の動画符号化装置５０を示し、フレー
ム内／フレーム間判別器５１においてはフレーム間符号
化を行ない、その結果を用いてフレーム間／フレーム内
の選択を行なう。

【００６３】すなわちまずあるフレームをフレーム間符
号化すると、各小領域毎にフレーム間符号化するかフレ
ーム内符号化が決定される。すると、画像の内容が変化
している等のフレーム内符号化するべきフレームでは、
大部分の小領域でフレーム内符号化が選択される。

【００６４】この性質を利用して、まずフレーム間符号
化を行ない大部分の小領域でフレーム内符号化が選択さ
れたフレームでは、フレーム内符号化を選択する。この
とき例えば、次式、

【数４】 のように、全体の中でフレーム内符号化された小領域
が、Ｎパーセント以上ならば目的のフレームをフレーム
内符号化し、逆にＮパーセント以下なら目的のフレーム
をフレーム間符号化する。

【００６５】このようにすれば、フレーム間符号化を行
ないその結果を用いて選択を行なうので、小領域でフレ
ーム内符号化が選択された数がしきい値よりも小さく、
そのフレームがフレーム間符号化された場合には、調査
のためのフレーム間符号化がそのまま結果となるので、
なんのオーバーヘツドもなく統計量も求める必要もない
ので処理量は全然増えない。

【００６６】その反面そのフレームがフレーム内符号化
と選択された場合には、そのフレームを改めてフレーム
内符号化するので、調査のためのフレーム間符号化の分
だけオーバーヘツドが生じる。ただし、フレーム内符号
化と選択される確率が少ない場合にはオーバーヘツドが
ごくわずかになる。

【００６７】（２−５）第２実施例の効果 以上の構成によれば、あらかじめ符号化するべき動画像
シーケンスの情報を収集することによつて、フレーム毎
にフレーム内またはフレーム間符号化を最適に選択する
ことができるので、例えばシーンチエンジに対応して、
フレーム内符号化を選択したり、シーンが変わらなくて
も、画面内の動き量が増えた場合にフレーム内符号化を
選択することで、ランダムアクセス性と高い符号化効率
が両立し得る動画符号化装置を実現できる。

【００６８】（３）第３実施例 図９との対応部分に同一符号を付して示す図６において
６０は第３実施例の動画符号化装置を示し、このような
構成の動画像符号化、復号化装置では、あるフレームを
フレーム内符号化または前方予測、後方予測および両方
向予測フレーム間符号化するかについては、自由であり
制限がない。

【００６９】このため、発生情報量が一定値以内で、も
っとも画質がよいという意味で、最適なフレーム内およ
びフレーム間符号化の組合せパターンを決定することが
問題となる。まず、あるフレームがフレーム内符号化ま
たは前方予測フレーム間符号化されたと仮定する。この
仮定をしても、符号化はフレーム内符号化または前方予
測フレーム間符号化を単位として処理が進むので、一般
性は失われない。

【００７０】このとき、次のフレーム以降を符号化する
パターンは、図７のように表すことができる。この図７
において、Ｘはフレーム内符号化または前方予測フレー
ム間符号化が終わつたフレームを表す。またＰは前方予
測フレーム間符号化されるフレームを表し、Ｂは両方向
予測フレーム間符号化を表す。また、Ｍは前方予測フレ
ームの間の距離を表す。

【００７１】このアルゴリズムとして、まずフレーム間
符号化方式の特徴として符号化方式を固定した場合、Ｍ
の値と発生情報量の関係は、Ｍの値が大きくなるにつれ
て発生情報量が減少し、あるＭの値で極小値を持ち、Ｍ
がその値より大きくなると発生情報量は増加する。

【００７２】これは動画像の動き情報に対して、フレー
ム間の距離Ｍが大きくない場合には、フレーム間の距離
が大きくないので相関が高く、フレーム間差分をとるこ
とによつて冗長性を取り去ることができるので、発生情
報量が抑えられ、その一方、フレーム間の距離が大きく
ないので、その間の両方向予測フレーム間符号化される
フレームの枚数が少なく効率が低い。

【００７３】またフレーム間の距離Ｍが大きい場合に
は、フレーム間の距離が大いので相関が低く、フレーム
間の冗長性があまりないので、発生情報量が抑えられな
い。その一方、フレーム間の距離が大きいので、その間
の両方向予測フレーム間符号化されるフレームの枚数が
多く効率が高い。

【００７４】このように、それぞれに相反する２つの性
質を持つているため、極端に大きなＭや小さなＭでは発
生情報量は極小にはならない。この極小の発生情報量を
あたえるＭの値を求めることにより、逆に、一定の情報
量のもとで最も画質の高い最適な符号化パターンを決定
することができる。

【００７５】このアルゴリズムを前方予測フレームの間
の距離が、１、２とＮの場合を説明することにより、一
般の場合に帰納的に拡張することができ、まずフレーム
間の距離が１の場合、第１フレームまでをＭ＝１のパタ
ーンで符号化して、発生情報量又はそれを推測できる統
計量を求める。第１フレームまでの発生情報量又はそれ
を推測できる統計量をＤ（１）とする。

【００７６】続いて、フレーム間の距離が２の場合、第
２フレームまでをＭ＝２のパターンで符号化して、発生
情報量又はそれを推測できる統計量を求める。第２フレ
ームまでの発生情報量又はそれを推測できる統計量をＤ
（２）とする。

【００７７】この判定は、Ｍ＝１のパターンかＭ＝２の
パターンかどちらが、効率が高いかを比較するために、
Ｄ（１）とＤ（２）を比較する。このとき、符号化した
フレームの枚数を合わせることが必要なので、Ｄ（２）
を１フレーム単位に変換する。

【００７８】すなわち、Ｄ（１）とＤ（２）／２を比較
し、まずＤ（１）が小さい場合には、Ｍ＝１のパターン
で符号化することが、Ｍ＝２のパターンよりも効率がよ
いので、第１フレームまでをＭ＝１のパターンで符号化
子、このようにして符号化パターンが決定されたので、
ここで終了し初期状態へ戻る。

【００７９】逆にＤ（２）／２が小さい場合には、Ｍ＝
２のパターンで符号化することが、Ｍ＝１のパターンよ
りも効率がよいので、さらに第３フレームまで調査範囲
を広げるために、第３ステツプへ進む。

【００８０】またフレーム間の距離がＮの場合、第Ｎフ
レームまでをＭ＝Ｎのパターンで符号化して、発生情報
量又はそれを推測できる統計量を求める。第Ｎフレーム
までの発生情報量又はそれを推測できる統計量をＤ
（Ｎ）とする。

【００８１】この判定はＭ＝（Ｎ−１）のパターンかＭ
＝Ｎのパターンかどちらが、効率が高いかを比較するた
めに、Ｄ（Ｎ−１）とＤ（Ｎ）を比較する。このとき、
符号化したフレームの枚数を合わせることが必要なの
で、１フレーム単位に変換する。

【００８２】すなわちＤ（Ｎ−１）／（Ｎ−１）とＤ
（Ｎ）／Ｎを比較し、まずＤ（Ｎ−１）／（Ｎ−１）が
小さい場合には、Ｍ＝Ｎ−１のパターンで符号化するこ
とが、Ｍ＝Ｎのパターンよりも効率がよいので、第（Ｎ
−１）フレームまでをＭ＝Ｎ−１のパターンで符号化す
る。このようにして符号化パターンが決定されたので、
ここで終了し初期状態へ戻る。

【００８３】逆にＤ（Ｎ）／Ｎが小さい場合には、Ｍ＝
Ｎのパターンで符号化することが、Ｍ＝Ｎ−１のパター
ンよりも効率がよいので、さらに、第（Ｎ＋１）フレー
ムまで調査範囲を広げるために、第（Ｎ＋１）ステツプ
へ進み、このような調査を繰り返しながら、帰納的に符
号化パターンを決定することができる。

【００８４】以上の構成によれば、あらかじめ符号化す
るべき動画像シーケンスの情報を収集することによつ
て、１〜Ｎフレーム毎に、フレーム内符号化および前方
予測、後方予測および両方向予測フレーム間符号化の組
合せパターンを最適に選択することができるので、符号
化効率を格段的に向上し得る動画符号化装置を実現でき
る。

【００８５】（４）他の実施例 なお上述の実施例においては、本発明をテレビ電話シス
テム等の映像信号伝送装置で動画映像信号を符号化する
際に適用した場合について述べたが、本発明はこれに限
らず、光デイスク装置等において動画映像信号を符号化
して記録する場合にも広く適用して好適なものである。

【００８６】

【発明の効果】上述のように本発明によれば、例えば人
間の視覚特性に沿つた優先度を設定しておくことで、人
間の視覚特性にあつた符号化を行なうことができ、画像
の注目する部分に高い優先度を設定すれば、その部分を
優先的に高画質で符号化できるなど、いろいろな種類の
画像に柔軟に対応して、主観的な画質を高めることがで
きる動画像符号化装置を実現できる。

【００８７】またあらかじめ符号化するべき動画像シー
ケンスの情報を収集することによつて、１〜Ｎフレーム
毎にフレーム内符号化および前方予測、後方予測および
両方向予測フレーム間符号化の組合せパターンを最適に
選択することができると共に、フレーム毎にフレーム内
またはフレーム間符号化を最適に選択することができの
で、符号化効率を一段と向上し得ると共に、例えばシー
ンチエンジに対応して、フレーム内符号化を選択した
り、シーンが変わらなくても、画面内の動き量が増えた
場合にフレーム内符号化を選択することで、ランダムア
クセス性と高い符号化効率が両立できる動画像符号化装
置を実現できる。

【図面の簡単な説明】

【図１】本発明による動画像符号化装置の第１実施例の
説明に供する略線図である。

【図２】本発明による動画像符号化装置の第２実施例の
第１の構成を示すブロツク図である。

【図３】本発明による動画像符号化装置の第２実施例の
第２の構成を示すブロツク図である。

【図４】本発明による動画像符号化装置の第２実施例の
第３の構成を示すブロツク図である。

【図５】本発明による動画像符号化装置の第２実施例の
第４の構成を示すブロツク図である。

【図６】本発明による動画像符号化装置の第３実施例を
示すブロツク図である。

【図７】その動作の説明に供する略線図である。

【図８】フレーム内／フレーム間符号化処理の説明に供
する略線図である。

【図９】従来の動画像符号化装置の説明に供するブロツ
ク図である。

【図１０】フレーム画像データの構成を示す略線図であ
る。

【図１１】量子化ステツプの説明に供する略線図であ
る。

【符号の説明】

１、２０、３０、４０、５０、６０……動画像符号化装
置、６……デイスクリートコサイン変換回路、８……量
子化回路、９……可変長符号化回路、１０……バツフア
メモリ、１２……逆量子化回路、１３……デイスクリー
トコサイン逆変換回路、２１、３１、４１、５１……フ
レーム内／フレーム間判定回路。

Claims (6)

【特許請求の範囲】
1. 【請求項１】動画像についてフレーム内符号化及び又は
   フレーム間符号化する動画像符号化装置において、 上記動画像を符号化する前に、当該動画像を符号化する
   所定の部分毎に優先度を設定し、 上記符号化における動き検出の際に、検出結果として得
   られる動き情報に応じて上記優先度を継承し、 当該優先度に基づいて上記動画像の上記所定の部分毎に
   符号化の方式を変えるようにしたことを特徴とする動画
   像符号化装置。
2. 【請求項２】動画像についてフレーム内符号化及び又は
   フレーム間符号化する動画像符号化装置において、 符号化すべき動画像シーケンスの全体又は一部分を、上
   記フレーム内符号化及び又はフレーム間符号化で符号化
   し、 当該符号化情報に基づいてフレーム毎に、フレーム内符
   号化方式及び又はフレーム間符号化方式を選択するよう
   にしたことを特徴とする動画像符号化装置。
3. 【請求項３】前フレームで使われたステツプサイズを用
   いて、目的のフレームをフレーム間符号化及びフレーム
   内符号化方式で符号化すると共に、各々発生情報量を求
   め、 上記フレーム間符号化方式で符号化して得られる上記発
   生情報量が、フレーム内符号化方式で符号化して得られ
   る上記発生情報量を上回る場合には、上記フレーム内符
   号化方式を選択するようにしたことを特徴とする請求項
   ２に記載の動画像符号化装置。
4. 【請求項４】上記前フレームで使われた上記ステツプサ
   イズを用いて、上記フレーム間の差分値を求めるととも
   に、 フレーム内の低周波数成分を除いた差分の絶対値の総和
   を求め、 上記フレーム間の差分値と、上記フレーム内の低周波成
   分を除いた差分の絶対値の総和とを比較し、 上記フレーム間の差分値が相対的に大きい場合には、フ
   レーム内符号化方式を選択するようにしたことを特徴と
   する請求項２に記載の動画像符号化装置。
5. 【請求項５】上記前フレームで使われた上記ステツプサ
   イズを用いて、上記フレームにおける上記フレーム間の
   差分値を求めるとともに、 次に符号化すべき上記フレームについて、同様に上記フ
   レーム間の差分値を求め、 当該差分値が上記フレームの差分値より相対的に大きい
   場合には、上記フレーム内符号化方式を選択するように
   したことを特徴とする請求項２に記載の動画像符号化装
   置。
6. 【請求項６】動画像についてフレーム内符号化、前方予
   測、後方予測及び両方向予測フレーム間符号化する動画
   像符号化装置において、 あらかじめ符号化するべき動画像シーケンスの全体もし
   くは一部分を、フレーム内符号化及びフレーム間符号化
   のある組合せパターンで符号化し、 上記符号化の情報に基づいて所定数のフレーム毎に、フ
   レーム内符号化及び又はフレーム間符号化の組合せパタ
   ーンを選択するようにしたことを特徴とする動画像符号
   化装置。