JPH09238351A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 大幅なコスト増を伴うことなく、特殊な画像
が入力される際に発生する復号画質の劣化を少なくし、
画質の向上を図る。 【解決手段】 前方向の参照画像を蓄積する為の第１の
画像メモリ１６と、該第１の画像メモリの画像データを
読み出し、動きベクトルを検出する第１の動きベクトル
検出手段１９と、後方向の参照画像を蓄積する為の第２
の画像メモリ１７と、拡張した前方向の参照画像を蓄積
する為の第３の画像メモリ１８と、前記第２の画像メモ
リあるいは前記第３画像メモリの画像データを読み出
し、動きベクトルを検出する第２の動きベクトル検出手
段２０とを設け、前方向予測の場合は、第２の動きベク
トル検出手段は、第３の画像メモリの画像データを参照
することによって前方向の拡張された参照画像からの動
きベクトルを検出するようにしている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像信
号の伝送，記録等のために画像データの圧縮を行う画像
符号化装置の改良に関するものである。

【０００２】

【従来の技術】動画像の膨大なデータ量を符号化（デー
タ圧縮）するために用いられる方式として幾つかの方式
が実用化されているが、双方向予測符号化を行う代表的
な方式として、ＭＰＥＧ２（Moving Picture Expert Gr
oup-2)がある。このＭＰＥＧ２は、ＤＣＴ(Discrete Co
sine Transform) を用いた直交変換符号化技術，双方向
の動き補償予測符号化技術，可変長符号化技術などのデ
ータ圧縮技術等のデータ圧縮技術を組み合わせた方式で
ある。

【０００３】以下、ＭＰＥＧ２の符号化方式について説
明する。

【０００４】図３は、ＭＰＥＧ２の符号化方式を実現す
る為の基本構成を示すブロック図である。尚、ＭＰＥＧ
２の説明については、「中島他”ビデオ圧縮”ＴＶ学会
誌，Ｖｏｌ．４９，Ｎｏ．４ ｐｐ．４３５〜４６６」
を引用している。

【０００５】入力端子１から入力されたディジタル画像
信号は、画面並び換え回路２においてフレーム内符号化
を行うＩピクチャー，前方向予測符号化予測画面である
Ｐピクチャー，双方向予測符号化予測画面であるＢピク
チャーといった画面単位で予測参照画面が先に符号化さ
れるように並び換えられる。

【０００６】これらの画像データは、フレーム内符号化
モードの場合は、符号化対象マクロブロック（例えば、
１６画素×１６ライン）内のデータをＤＣＴブロック
（例えば、８画素×８ライン）単位で、第１のモード選
択スイッチ１０を経てＤＣＴ回路４に送られ、そのまま
ＤＣＴ変換される。

【０００７】一方、動き補償予測符号化モードの場合
は、入力された符号化対象画像データと画像メモリ３１
に蓄えられている参照画像から動きベクトルを動き検出
回路３２にて検出し、この動きベクトルをもとに符号化
対象画像の予測画像を動き補償予測回路３０で作り、得
られた予測画像データと符号化対象画像データの差分を
差分回路３で算出して予測誤差信号を得、この予測誤差
信号に対してＤＣＴ回路４にてＤＣＴ変換を行ってい
る。

【０００８】ＤＣＴ変換係数は、後述するバッファメモ
リ７の内部のデータ量を監視することによって制御を行
うレート制御回路９で決定される量子化係数をもとに量
子化回路５で量子化され、動きベクトルや符号化モード
情報とともに可変長符号化回路６に入力される。該可変
長符号化回路６は、入力されたデータの統計的な性質を
利用して伝送効率のよい符号を割り当てデータ圧縮を行
っている。可変長符号化されたデータは、バッファメモ
リ７に蓄積され、ＭＰＥＧフォーマットで出力される。

【０００９】また、Ｉピクチャー，Ｐピクチャーの場合
は、動き補償予測の参照画面として用いる必要があるた
め、量子化された情報は、逆量子化回路１１，逆ＤＣＴ
回路１２によってＤＣＴ回路４の入力前のデータに戻さ
れる。更にＰピクチャーの場合は、第２のモード選択ス
イッチ１５を経由した動き補償予測回路３０の出力デー
タである予測画像データが加算回路１３で加えられ、局
部的な復号化が行われ、画像メモリ３１に蓄えられる。

【００１０】各画面の符号化においては、マクロブロッ
ク（前記ＤＣＴブロックを複数集めたブロック）単位で
各種符号化モードを発生情報量からモード選択回路３３
で決定する。モードの種類は、各ピクチャーによって異
なるが、決定方式は、各モードによりマクロブロック内
での二乗平均誤差を比較して最小となるモードを選択す
るといった手法が用いられる。

【００１１】ここで、Ｂピクチャーの場合は、双方向予
測であるから前方向予測用と後方予測用の回路が必要
で、それぞれ参照する画像メモリも異なるので、Ｐピク
チャー、つまり前方向予測だけの場合と比較して２倍の
回路規模が必要になる。

【００１２】

【発明が解決しようとする課題】一般に双方向予測符号
化を行い、予測誤差を少なくすることによって符号化効
率は向上するが、スポーツ中継などの動きが激しい映
像，カメラの速いパンニングの頻度が高い映像などで
は、双方向予測符号化による符号化効率の向上はあまり
期待できず、復号画質の劣化は避けられなかった。

【００１３】この劣化を少なく抑える為には、速い動き
の画像に対しても予測誤差を小さくすることが必要で、
そのためには動き補償予測を行う際のサーチ範囲を拡大
し、動きベクトルの確度を上げることが符号化効率の向
上のためには有効である。

【００１４】しかしながら、動きベクトルの検出には、
ＭＰＥＧ２標準化過程で用いられたブロックマッチング
法のように、サーチ範囲にある参照画像の中で入力画像
との差分の累積和が最小となる画像を探索して求める方
法が一般的なようで、この方法でサーチ範囲を拡大する
と、動きベクトルの検出回路（図３の動き検出回路３
２）のハード量が大幅に増加してしまい、コストの高い
装置となってしまうといった問題点があった。

【００１５】（発明の目的）本発明の目的は、大幅なコ
スト増を伴うことなく、特殊な画像が入力される際に発
生する復号画質の劣化を少なくし、画質の向上を図るこ
とのできる画像符号化装置を提供することにある。

【００１６】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、前方向の参照画像を蓄積する為の第１の
画像メモリと、該第１の画像メモリの画像データを読み
出し、動きベクトルを検出する第１の動きベクトル検出
手段と、後方向の参照画像を蓄積する為の第２の画像メ
モリと、拡張した前方向の参照画像を蓄積する為の第３
の画像メモリと、前記第２の画像メモリあるいは前記第
３画像メモリの画像データを読み出し、動きベクトルを
検出する第２の動きベクトル検出手段とを設け、双方向
予測の場合は、第１の動きベクトル検出手段は、第１の
画像メモリの画像データを参照することによって前方向
の参照画像からの動きベクトルを検出し、第２の動きベ
クトル検出手段は、第２の画像メモリの画像データを参
照することによって後方向の参照画像からの動きベクト
ルを検出し、前方向予測の場合は、第１の動きベクトル
検出手段は、上記双方向予測時と同様に動作し、第２の
動きベクトル検出手段は、第３の画像メモリの画像デー
タを参照することによって前方向の拡張された参照画像
からの動きベクトルを検出するようにしている。

【００１７】つまり、拡張した前方向の参照画像を蓄積
する為の第３の画像メモリを備え、前方向予測におい
て、後方向予測時に用いられていた第２の動きベクトル
検出手段を、前記第３の画像メモリと共にサーチ範囲拡
大のために使うようにしている。

【００１８】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１９】図１は本発明の実施の第１の形態に係る画
像符号化装置の構成を示すブロック図である。

【００２０】図１において、１はディジタル画像信号が
入力される入力端子、２は予測参照画面が先に符号化さ
れるように画面単位で入力画像を並び換える画像並び換
え回路、３は前記画像並び換え回路２の出力信号と後述
する動き補償予測回路１４の出力である予測画面との誤
差信号を得るための差分回路、４は前記差分回路３で得
られた誤差信号または画像並び換え回路２の出力画像デ
ータを空間周波数領域に変換するためのＤＣＴ回路、５
は前記ＤＣＴ回路４による変換後の係数を量子化するた
めの量子化回路、６は量子化されたデータの統計的な性
質を利用して伝送効率の良い符号を割り当てるための可
変長符号化回路である。７はビットストリーム出力端子
８での出力データが一定レートになるようデータを蓄
え、発生符号量を監視するためのバッファメモリであ
り、又ここでは符号量をレート制御回路９に送り、該レ
ート制御回路９は前記量子化回路５の量子化係数を制御
することによって発生符号量を制御している。

【００２１】また、１１及び１２は前記ＤＣＴ回路４，
量子化回路５によってＤＣＴ，量子化された符号化デー
タ（画像データ）をＤＣＴ回路４の入力データの状態ま
で戻す逆変換回路であるところの逆量子化回路及び逆Ｄ
ＣＴ回路である。

【００２２】前記逆ＤＣＴ回路１２の出力は、スイッチ
１５が動き補償モードの場合、動き補償予測回路１４の
出力である予測画面と合成回路１３において合成され、
元の画像が復号され、１６〜１８の第１〜第３の画像メ
モリに送られ、参照画面として蓄積される。

【００２３】この様な主たる符号化方式は、従来例とし
て図３に示した方式と同様の構成をとる。

【００２４】以下、本発明の実施の一形態における核と
なる動き補償予測画面の作成方法、構成回路について詳
述する。

【００２５】参照画面となる画像は、符号化対象画像に
対する位置によって格納する画像メモリ（１６〜１８）
が異なる。図２にこの画像メモリに格納される画像デー
タの範囲を示す。

【００２６】双方向予測するＢピクチャーの場合、前方
向予測するための参照画面は、符号化対象画像マクロブ
ロック（図２の４１に示す範囲：１６画素×１６ライ
ン）のデータを中心とし、マクロブロックより広い範囲
（図２の４２に示す範囲：３２画素×３２ライン）の過
去のＩピクチャー、または、Ｐピクチャー画像データを
再生して参照画面として第１の画像メモリ１６に蓄えら
れる。

【００２７】第１の動きベクトル検出回路１９において
は、第１の画像メモリ１６に蓄えられた参照画面の画像
データと符号化対象画像マクロブロックの画像データを
比較し、動きベクトルＭＶ１を検出している。動きベク
トルＭＶ１の検出法としては、前述したブロックマッチ
ング法が用いられる。この動きベクトルＭＶ１は、動き
補償予測回路１４に送られる。

【００２８】一方、後方向予測するための未来の参照画
面は前方向予測の場合と同じサイズで別の第２の画像メ
モリ１７に蓄えられることになる。そして、前方向予測
の場合と同様、第２の動きベクトル検出回路２０によっ
て動きベクトルＭＶ２が得られ、動きベクトルＭＶ２は
動き補償予測回路１４に送られる。

【００２９】動き補償予測回路１４は、過去の再生画像
と動きベクトルＭＶ１及び未来の再生画像と動きベクト
ルＭＶ２から、予測動き補償予測画面を作成する。

【００３０】前方向／後方向／双方向のどのデータを用
いて予測画面を作るかは、各予測モードすべての場合に
ついて二乗予測誤差を求め、最小となるモードをモード
選択回路２１で選択し、その情報を動き補償予測回路１
４に送っている。

【００３１】また、第１及び第２の動きベクトル検出回
路１９，２０では、フレーム内または動き補償予測の符
号化モードを決定するために、符号化対象画像マクロブ
ロックデータの平均二乗偏差と動き予測時の平均二乗誤
差を求め、モード選択回路２１に送っている。モード選
択回路２１は、これらの情報から最適な符号化方法を選
択して、第１のモード選択スイッチ１０と第２のモード
選択スイッチ１５の切り替えを行う。該二つのモード選
択スイッチは連動し、図１中のＩｎはフレーム内符号化
モードを示し、ＭＣは動き補償予測符号化モードを示し
ている。

【００３２】前方向予測するＰピクチャーの場合、第１
の画像メモリ１６には、Ｂピクチャーの前方向予測の場
合と同様に過去の再生画像が蓄えられ、第１の動きベク
トル検出回路１９において、第１の画像メモリ１６に蓄
えられた参照画面の画像データと符号化対象画像マクロ
ブロックの画像データが比較され、動きベクトルＭＶ１
が検出される。又第３の画像メモリ１８には、第１の画
像メモリ１６に蓄えられた参照画面と同時刻の画面でよ
り広い範囲（図２の４３に示す範囲：４８画素×３２ラ
インで中心部を除く）の画像データが蓄えられる。第２
の動きベクトル検出回路２０では、第３の画像メモリ１
８に蓄えられている参照画面と符号化対象画像マクロブ
ロックの画像データが比較され、動きベクトルＭＶ２が
検出されりる。そして、これら動きベクトルＭＶ１，Ｍ
Ｖ２は動き補償予測回路１４に供給される。

【００３３】ここで、最適な動きベクトル並びに最適な
参照画面を得るために、どのデータを採用して動き補償
予測画像を作るかは、第１の動きベクトル検出回路１９
及び第２の動きベクトル検出回路２０において二乗予測
誤差を求め、小となる検出回路からのデータをモード選
択回路２１で選択し、その情報を動き補償予測回路１４
に送るようにすればよい。

【００３４】なお、本実施の形態の中では、ＭＰＥＧ２
にあるＰピクチャーあるいはＢピクチャーの各種の動き
予測方式のすべてについて言及してはいないが、動き予
測の方式が本発明の本質をかえるものではなく、請求す
る範囲を制限しないことは言うまでもない。

【００３５】以上の実施の形態によれば、前方向予測の
場合において、従来使用されていなかった後方向予測す
るための動きベクトル検出回路（図１の第２の動き検出
回路２０）を、拡大したサーチ範囲に対する前方向予測
のための動きベクトル検出回路として活用するようにす
るようにしている為、動きベクトルの確度を上げること
ができる。

【００３６】従って、動きが速い特殊な画像が入力され
る際に発生する復号画質の劣化を大幅なコスト増を伴う
ことなく抑えることができ、特に高画質が要求される番
組素材伝送用画像符号化装置に使用して益するところ大
である。

【００３７】（発明と実施の形態の対応）本実施の形態
において、第１の画像メモリ１６が本発明の第１の画像
メモリに相当し、第２の画像メモリ１７が本発明の第２
の画像メモリに相当し、第３の画像メモリ１８が本発明
の第３の画像メモリに相当する。また、第１の動きベク
トル検出回路１９が本発明の第１の動きベクトル検出手
段に相当し、第２の動きベクトル検出回路２０が本発明
の第２の動きベクトル検出手段に相当する。

【００３８】以上が実施の形態の各構成と本発明の各構
成の対応関係であるが、本発明は、これら実施の形態の
構成に限定されるものではなく、請求項で示した機能、
又は実施の形態がもつ機能が達成できる構成であればど
のようなものであってもよいことは言うまでもない。

【００３９】

【発明の効果】以上説明したように、本発明によれば、
双方向予測の場合は、第１の動きベクトル検出手段は、
第１の画像メモリの画像データを参照することによって
前方向の参照画像からの動きベクトルを検出し、第２の
動きベクトル検出手段は、第２の画像メモリの画像デー
タを参照することによって後方向の参照画像からの動き
ベクトルを検出し、前方向予測の場合は、第１の動きベ
クトル検出手段は、上記双方向予測時と同様に動作し、
第２の動きベクトル検出手段は、第３の画像メモリの画
像データを参照することによって前方向の拡張された参
照画像からの動きベクトルを検出するようにしている。

【００４０】よって、大幅なコスト増を伴うことなく、
特殊な画像が入力される際に発生する復号画質の劣化を
少なくし、画質の向上を図ることができる画像符号化装
置を提供可能になる。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態に係る画像符号化装
置の構成を示すブロック図である。

【図２】図１の各画像メモリに格納される画像データの
範囲を示す図である。

【図３】従来の画像符号化装置の構成を示すブロック図
である。

【符号の説明】 ２ 画面並び換え回路 ４ ＤＣＴ回路 ５ 量子化回路 １１ 逆量子化回路 １２ 逆ＤＣＴ回路 １４ 動き補償予測回路 １６〜１８ 画像メモリ １９，２０ 動き検出回路 ２１ モード選択回路

Claims (5)

【特許請求の範囲】
1. 【請求項１】 双方向予測符号化を用いて動画像を符号
   化する画像符号化装置において、 前方向の参照画像を蓄積する為の第１の画像メモリと、
   該第１の画像メモリの画像データを読み出し、動きベク
   トルを検出する第１の動きベクトル検出手段と、後方向
   の参照画像を蓄積する為の第２の画像メモリと、拡張し
   た前方向の参照画像を蓄積する為の第３の画像メモリ
   と、前記第２の画像メモリあるいは前記第３画像メモリ
   の画像データを読み出し、動きベクトルを検出する第２
   の動きベクトル検出手段とを設けたことを特徴とする画
   像符号化装置。
2. 【請求項２】 前記第２の動きベクトル検出手段は、双
   方向予測の場合は、前記第２の画像メモリの画像データ
   を読み出すことで動きベクトルを検出し、前方向予測の
   場合は、前記第３の画像メモリの画像データを読み出す
   ことで動きベクトルを検出することを特徴とする請求項
   １記載の画像符号化装置。
3. 【請求項３】 前記第１の動き検出手段によって検出さ
   れた動きベクトルと前記第２の動き検出手段によって検
   出された動きベクトルとを選択する選択手段を具備した
   ことを特徴とする請求項２記載の画像符号化装置。
4. 【請求項４】 前記選択手段によって選択された動きベ
   クトルを用いて入力された画像データを動き補償予測符
   号化する符号化手段を具備したことを特徴とする請求項
   ３記載の画像符号化装置。
5. 【請求項５】 前記選択手段は、前記第１の動き検出手
   段によって検出された動きベクトル及び第２の動き検出
   手段によって検出された動きベクトルに基づいて得られ
   る各予測誤差信号に応じて選択することを特徴とする請
   求項４記載の画像符号化装置。