JPH0622301A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、画像符号化装置において、画像情報
のうち各ブロツクの符号化方式の情報やブロツク間の動
き量等、符号化の処理過程を示す局所的な情報を実時間
で取り出して表示する。 【構成】画像データＳ１を予測符号化する各信号処理段
３、４、５際で発生される複数の局所符号化情報Ｓ３、
Ｓ４、Ｓ５、Ｓ６、Ｓ７を符号化情報選択手段１３にお
いてそれぞれ抽出し、抽出された局所符号化情報Ｓ３、
Ｓ４、Ｓ５、Ｓ６、Ｓ７のうち選択信号Ｓ１２に該当す
る局所符号化情報のみを出力して画面上に表示する。こ
れにより各信号処理段３、４、５の処理状況を実時間で
確認でき、また伝送画像に応じた局所符号化情報の処理
状況を選択的に視覚情報として確認できるため画質の向
上やシステム構築の検討に要する時間を格段的に短縮す
ることができる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１） 作用（図３） 実施例（図１〜図３） （１−１）実施例の全体構成（図１） （１−２）局所情報抽出回路１３の構成（図２） （２）実施例の動作及び効果（図３） （３）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は画像符号化装置に関し、
特に発生情報量の多い画像を高能率符号化して伝送する
画像符号化装置に適用して好適なものである。

【０００３】

【従来の技術】従来、この種の画像符号化装置において
は、伝送画像を符号化する際に予め伝送画像の動きベク
トルを求め、当該動きベクトルに基づいて伝送される伝
送画像を符号化することにより伝送効率や圧縮効率を向
上するようになされている。

【０００４】ここで伝送画像には一般にシーンチエンジ
がない限り、連続する２つのフレームの画像信号に高い
相関性があると考えられるため、フレーム間の画素デー
タの差分を求めて順次符号化することにより情報量を圧
縮することがなされている。

【０００５】特に動画像部分については単にフレーム間
の差分を求めると却つて差分の情報量が増大するため、
前フレームの動きベクトルによつて上下左右に移動させ
ることにより、前フレームのブロツクを各方向にずら
し、各画素と現フレームの画素との間で発生する情報量
が小さくなるブロツクを求めて情報量を圧縮することが
一般的である。

【０００６】ここで画像符号化装置は前フレームを前ブ
ロツクの動きベクトルに基づいてｘ及びｙ方向に移動さ
せ、現ブロツクと各方向への移動ブロツクの画素につい
ての差分絶対値和が最も小さくなる移動ブロツクへのベ
クトルを現ブロツクの動きベクトルとするようになされ
ている。

【０００７】

【発明が解決しようとする課題】ところでこのような画
像符号化装置のシステムを構築する場合、予めシステム
の性能や効果を評価するために計算機によるシミユレー
シヨンが広く利用されている。ところが画像に対するシ
ミユレーシヨンには、多大な時間を要する場合が少なく
なく、特に処理対象である画像の画素数が多い高精細度
テレビジヨン放送（いわゆるハイビジヨンＨＤＴＶ（Hi
gh Definition TV））の画像の場合には、スーパーコン
ピユータを使用しても１秒間の処理画を完成させるのに
数時間かかり、処理手順を検討するには極めて不便であ
つた。

【０００８】そこでシミユレーシヨン専用のハードウエ
アを設計し、実時間で変化する画像情報を確認するとい
う方法が取られることが多いが、画像の持つ種々の情報
のなかから必要な情報だけを取りだして解析を実行する
のは難しい。従つてモニタで画像を見る場合と同じよう
に画像を符号化する際の局所的な情報をスイツチの切換
によつて視覚的に確認できるような回路が実現できれば
画質の向上やシステムの構築を検討する上で便利である
と考えられる。

【０００９】本発明は以上の点を考慮してなされたもの
で、画像情報のうち各ブロツクがいづれの符号化方式に
よつて符号化されるかを示す情報やブロツク間の動き量
等の画像の局所的な情報を実時間で取り出して表示する
ことができる画像符号化装置を提案しようとするもので
ある。

【００１０】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、画像データＳ１を単位ブロツクご
とに予測符号化して予測符号化データに変換し、当該予
測符号化データを直交変換した係数データＳ８を可変長
符号化することにより画像データを高能率符号化して出
力する画像符号化装置１において、画像データＳ１を予
測符号化する際の処理過程を示す複数の局部符号化情報
Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７を各信号処理段３、４、
５より抽出し、選択信号Ｓ１２に基づいて該当する局部
符号化情報を出力する符号化情報選択手段１３を備える
ようにする。

【００１１】

【作用】符号化情報選択手段１３は、画像データＳ１を
予測符号化する各信号処理段３、４、５で発生される複
数の局部符号化情報Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７をそ
れぞれ信号処理段３、４、５より抽出し、選択信号Ｓ１
２に該当する局所符号化情報のみを出力して画面上に表
示することにより、各部の処理状況を実時間で確認でき
ると共に、伝送画像に応じた局部符号化情報の処理状況
を選択的かつ視覚的に確認できるため画質の向上やシス
テム構築の検討に要する時間を格段的に短縮することが
できる。

【００１２】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１３】（１−１）実施例の全体構成 図１において、１は全体として画像符号化装置を示し、
前処理回路２はアナログ映像信号をＳ１を順次入力する
と、マトリクス回路及びアナログ／デイジタル変換回路
を介してデイジタルデータに変換するようになされてい
る。

【００１４】また前処理回路２は、画面の水平走査に対
応して入力されるデイジタルデータを画面を複数のブロ
ツクに分割するブロツクデータＳ２に変換し、ブロツク
平均値検出回路３に出力するようになされている。

【００１５】ここでブロツク平均値検出回路３は、各ブ
ロツクを構成する絵素の代表値としてブロツクデータＳ
２より各ブロツク内の直流レベルの平均値を求め、平均
値データＳ３として出力するようになされている。画像
符号化装置１は、ブロツク平均値検出回路３より動きベ
クトル予測回路４にブロツクデータＳ２を入力すると、
当該ブロツクデータＳ２に対応する１フレーム前のデー
タと比較することにより動きベクトルを求め、動きベク
トル信号Ｓ４として出力するようになされている。

【００１６】このときブロツク符号化切換回路５は動き
ベクトル予測回路４よりブロツクデータＳ２を入力する
と、１フレーム前のブロツクを動きベクトル分ずらした
画像データに対する現ブロツクの差分を求め、当該残差
ブロツクと現ブロツクについてブロツク内の平均値との
差分絶対値和が小さくなる方（すなわちブロツクパワー
が小さくなる方）を情報量が小さくなるものとして選択
し、画像データの符号化方式を選択するようになされて
いる。

【００１７】因に残差ブロツクを選択することはフレー
ム間符号化処理を選択することを意味し、現ブロツクを
選択することはフレーム内符号化処理を選択することを
意味する。ここでブロツク符号化切換回路５は、選択結
果及びそのときのブロツクパワーをフレーム間／フレー
ム内符号化選択フラグＳ５及びブロツクパワー信号Ｓ６
として出力する。

【００１８】またブロツク符号化切換回路５は、動きベ
クトル予測回路４で得られた動きベクトルＭＶを利用し
て動きの早さ（速い、遅い）を見積り、これをスピード
フラグＳ７として出力するようになされている。この
後、画像符号化装置１は直交変換回路６を介して選択さ
れたブロツクをデイスクリートコサイン変換によつて直
交変換して係数データに変換し、当該係数データＳ８を
量子化回路７において量子化して出力する。

【００１９】因に量子化回路７は、ブロツク符号化切換
回路５で求められたフレーム間／フレーム内符号化選択
フラグＳ５、ブロツクパワー信号Ｓ６及びスピードフラ
グＳ７に基づいて画像のもつ部分的な特性の違いに対応
した量子化ステツプサイズを決定するようになされてい
る。

【００２０】また画像符号化装置１は局部復号回路系を
有し、符号化側で伝送画像を確認できるようになされて
いる。すなわち画像符号化装置１は量子化回路７で量子
化された量子化データＳ９を逆量子化回路８に入力する
と、量子化回路７における適応量子化に使用されたフレ
ーム間／フレーム内符号化選択フラグＳ５、ブロツクパ
ワー信号Ｓ６及びスピードフラグＳ７に基づいて逆変換
し、続く逆直交変換回路９でデイスクリートコサイン変
換処理とは逆の処理によつて局部復号データＳ１０をフ
レームメモリ１０に供給する。

【００２１】このときフレームメモリ１０は、逆変換に
よつて復号された局部復号データＳ１０をフレームメモ
リ内に存在する前フレームのデータに加えるか否かをフ
レーム間／フレーム内符号化選択フラグＳ５によつて判
別する。

【００２２】ここで画像符号化装置１は、該当するブロ
ツクがフレーム間符号化されたデータである場合、フレ
ームメモリ１０より読み出したブロツクデータの読み出
しアドレスを動きベクトル信号Ｓ４に基づいて変更し、
当該動き補償された動き補償データＳ１１を局部復号デ
ータＳ１０（すなわち再生残差ブロツクデータ）に加算
し、切換回路１２及び局部情報抽出回路１３に供給す
る。

【００２３】この実施例の場合、局部情報抽出回路１３
にはブロツク平均値検出回路３、動きベクトル予測回路
４、ブロツク符号化切換回路５より平均値データＳ３、
動きベクトル信号Ｓ４、フレーム間／フレーム内符号化
選択フラグＳ５、ブロツクパワー信号Ｓ６及びスピード
フラグＳ７がそれぞれ入力されるようになされており、
選択信号Ｓ１２に基づいてユーザによつて選択された各
部の局部情報を選択的に取り出して後処理回路１４に出
力するようになされている。

【００２４】ここで後処理回路１４はブロツクごとに入
力されるフレームデータを線順次の査線線信号に変換す
ると、当該走査線信号をデイジタル／アナログ変換して
モニタへ復号アナログ映像信号Ｓ１５として出力するよ
うになされている。

【００２５】（１−２）局所情報抽出回路１３の構成 ここで局所情報抽出回路１３は、図２に示すように、各
信号処理部より入力される各種の適応化情報（フレーム
間／フレーム内符号化情報（ｉｎｔｒａ／ｉｎｔｅ
ｒ）、動きの早さ情報（ｆａｓｔ／ｓｌｏｗ）、ブロツ
クの残差情報（ｂｌｏｃｋ ｐｏｗｅｒ）、ブロツク平
均値情報（ｉｎｔｒａ ＤＣ）、動きベクトル情報（Ｍ
Ｖ））に対応するフレーム間／フレーム内符号化フラグ
Ｓ５、スピードフラグＳ７、ブロツクパワー信号Ｓ６、
平均値データＳ３、動きベクトル信号Ｓ４をブロツクパ
ルスＢＬＫＰのタイミングでラツチ回路２０Ａ、２０
Ｂ、２０Ｃ、２０Ｄ、２０Ｅに取り込んで保持し、出力
切換回路２１に順次出力するようになされている。

【００２６】このとき動きベクトル（ＭＶ）を保持する
ラツチ回路２０Ｅは、動きベクトルのｘ成分及びｙ成分
をラツチし、ブロツクサイズ（８画素×８画素）のテー
ブルが複数種類記憶されているリードオンリメモリ２２
に当該ｘ成分及びｙ成分を上位アドレスとして供給する
ようになされている。

【００２７】因にリードオンリメモリ２２はｘ成分及び
ｙ成分で与えられる上位アドレスがリードオンリメモリ
２２のアドレス範囲に対して大きくなる場合には当該ア
ドレス範囲に納まるように上限を設定するようになされ
ている。一方、リードオンリメモリ２２は、１ブロツク
に１回の割合でデータのラツチを許すブロツクパルスＢ
ＬＫＰの入力によつて８画素×８画素分のアドレスを発
生するアドレス発生カウンタ２３の出力を下位アドレス
として入力するようになされており、次のブロツクのベ
クトルが設定されるまでの間にカウンタによつて順次ベ
クトルの模様を読み出すようになされている。

【００２８】このときリードオンリメモリ２２より出力
されるデータは１ビツトのベクトルとしての線状の模様
であるため、局所情報抽出回路１３はマルチプレクサ２
５においてフレームメモリ１０より出力される８ビツト
の画像データのうち最上位ビツトを利用して画像データ
に重畳して出力切換回路２１に出力し、評価時に評価を
容易にできるようになされている。

【００２９】因にブロツクパルスＢＬＫＰは、ラツチ回
路２０Ａ〜２０Ｅ及びアドレス発生回路２４にも入力さ
れ、フレームメモリ１０に記憶されている画像データを
アドレス発生回路２４より入力されるアドレスに基づい
て読み出すようになされている。

【００３０】（２）実施例の動作及び効果 以上の構成において、画像符号化装置１はアナログ映像
信号Ｓ１を高能率符号化するため入力されるアナログ映
像信号Ｓ１を順次ブロツクデータに変換すると、変換さ
れたブロツクデータをさらに直交変換し、直交変換され
た係数データを量子化して出力する。また画像符号化装
置１は後段の処理回路に出力される伝送画像を符号化側
で確認するため、量子化データＳ９を局部復号系（すな
わち逆量子化回路８、逆直交変換回路９、フレームメモ
リ１０、後処理回路１４）を介してモニタ上に表示す
る。

【００３１】このような符号化処理の各部の処理状況を
確認したい場合、ユーザはスイツチを操作して選択信号
Ｓ１２を局所情報抽出回路１３に入力し、確認したい局
部情報を出力切換回路２１より選択して出力し、後処理
回路１４を介してモニタ上に表示する。

【００３２】例えば各ブロツクが予測符号化の際、フレ
ーム間／フレーム内符号化処理のいづれで符号化された
かを確認したい場合、局部情報抽出回路１３は選択信号
Ｓ１２に基づいてブロツク符号化切換回路５より入力さ
れるフレーム間／フレーム内符号化選択フラグＳ５を後
処理回路１４を介してモニタ上に図３（Ａ）に示すよう
に表示する。 これによりユーザは画像のどの部分が
フレーム間符号化され、またフレーム内符号化されたの
かを画面上で実時間において容易に確認することができ
る。

【００３３】同様に各ブロツクの動きの早さ（この実施
例の場合、動きの早いブロツクは黒で示す）や残差情
報、またブロツク平均値情報も図３（Ｂ）、図３（Ｃ）
及び図３（Ｄ）に示すように画面上に表示され、各ブロ
ツクの画像に対する処理状況を容易に確認できる。また
各ブロツクの動きベクトルＭＶを確認したい場合には、
局所情報抽出回路１３はリードオンリメモリ２２に残差
情報の送り順と一致するデータを構成し、図３（Ｅ）に
示すように画面上に表示する。

【００３４】この動きベクトルＭＶの向きと大きさを示
すベクトル線図を拡大すると、各ブロツクでは動きベク
トルＭＶの方向と大きさが図３（Ｆ）に示すように論理
「１」の方向と長さで表すことができ、ユーザは各ブロ
ツクの画像とその際のベクトルの向きとその大きさを視
覚的に容易に確認することができる。

【００３５】以上の構成によれば、画像符号化装置１は
局部復号系において画像を予測符号化する際における各
部の処理状況や処理画像の特性を示す平均値データＳ
３、動きベクトル信号Ｓ４、フレーム間／フレーム内符
号化選択フラグＳ５、ブロツクパワー信号Ｓ６及びスピ
ードフラグＳ７を選択して出力する局部情報抽出回路１
３を設け、当該局部情報抽出回路１３によつて各部の処
理状況を実時間で画面上に表示することにより、局所的
な絵柄に適した符号化処理を迅速に検討することがで
き、システムの構築や画質の向上に要する時間を格段的
に短縮することができる。

【００３６】（３）他の実施例 なお上述の実施例においては、局部情報としてフレーム
間／フレーム内符号化情報、動きの早さ情報、前ブロツ
クに対するブロツクの残差情報、ブロツク平均値及び動
きベクトルを選択する場合について述べたが、本発明は
これに限らず、絵柄の平坦度等、他の局部情報を選択す
るようにしても良い。

【００３７】また上述の実施例においては、ブロツクパ
ワーをブロツク内の平均値との差分絶対値和を求めるこ
とによつて得る場合について述べたが、本発明はこれに
限らず、２乗和によつて求めるようにしても良い。

【００３８】さらに上述の実施例においては、各ブロツ
クを水平及び垂直方向に８個の画素で構成する場合につ
いて述べたが、本発明はこれに限らず、他の画素数で構
成されるブロツクにも適用し得る。

【００３９】さらに上述の実施例においては、本発明を
画像の処理状況や処理画像の特性の確認に用いる場合に
ついて述べたが、本発明はこれに限らず、画像の処理状
況を信号処理に並行して取り出せるため静止画像や動画
像の画像認識処理に利用しても良い。

【００４０】

【発明の効果】上述のように本発明によれば、画像デー
タを予測符号化する各信号処理段で発生される複数の局
部符号化情報を符号化情報選択手段によつて抽出し、抽
出された局所符号化情報のうち選択された情報のみを出
力することにより、各信号処理段における処理状況を実
時間で確認でき、また伝送画像に応じた各部の処理状況
を選択的かつ視覚的に確認できるため画質の向上やシス
テム構築の検討に要する時間を格段的に短縮することが
できる。

【図面の簡単な説明】

【図１】本発明による画像符号化装置の一実施例を示す
ブロツク図である。

【図２】その局所情報抽出回路を示すブロツク図であ
る。

【図３】局部情報の表示画面の説明に共する略線図であ
る。

【符号の説明】

１……画像符号化装置、２……前処理回路、３……ブロ
ツク平均値検出回路、４……動きベクトル予測回路、５
……ブロツク符号化切換回路、６……直交変換回路、７
……量子化回路、８……逆量子化回路、９……逆直交変
換回路、１０……フレームメモリ、１１……動き補償回
路、１２……切換回路、１３……局所情報抽出回路、１
４……後処理回路、２０……ラツチ回路、２１……出力
切換回路、２２……リードオンリメモリ、２３、２４…
…アドレス発生回路。

Claims (2)

【特許請求の範囲】
1. 【請求項１】画像データを単位ブロツクごとに予測符号
   化して予測符号化データに変換し、当該予測符号化デー
   タを直交変換した係数データを可変長符号化することに
   より上記画像データを高能率符号化して出力する画像符
   号化装置において、 上記画像データを予測符号化する際の処理過程を示す複
   数の局部符号化情報を各信号処理段より抽出し、選択信
   号に基づいて該当する局部符号化情報を出力する符号化
   情報選択手段を具えることを特徴とする画像符号化装
   置。
2. 【請求項２】上記符号化情報選択手段は、上記局部符号
   化情報として符号化方式情報、局所代表値情報、動き情
   報、フレーム間差分情報及び動きベクトル情報を各ブロ
   ツクごとに入力することを特徴とする請求項１に記載の
   画像符号化装置。