JP2008092357A

JP2008092357A - 動画像符号化装置

Info

Publication number: JP2008092357A
Application number: JP2006272040A
Authority: JP
Inventors: Katsuyasu Sugiyama; 克保杉山; Kazuto Kobayashi; 和人小林
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-10-03
Filing date: 2006-10-03
Publication date: 2008-04-17

Abstract

【課題】動画像符号化装置において、符号化効率の低下及び符号量の増大を抑制しつつ演算処理の時間を短縮する
【解決手段】動画像符号化装置１が、現フレーム上の画素ブロックと前フレームについて動き補償した予測フレーム上の画素ブロックとの差分を取ることにより動き補償予測誤差を生成する動き補償符号化部４と、現フレーム上の画素ブロックと前フレーム上の同一座標位置にある画素ブロックとの差分を取ることによりフレーム間予測誤差を生成するフレーム間差分符号化部３と、フレーム間予測誤差から得られる符号化データの符号量に基づき、当該符号化データの出力の適否を判定する符号量判定部９と、符号量判定部の判定結果に基づき動き補償予測誤差とフレーム間予測誤差とのいずれかを処理対象として選択するセレクタ５とを備えた構成とし、フレーム間差分符号化及び動き補償予測符号化を適切に選択して適用可能とする。
【選択図】図１

Description

本発明は、動画像データを符号化する動画像符号化装置に関する。

従来、ＭＰＥＧ４(Moving Picture Experts Group 4)等に規定された圧縮方式を用いる動画像符号化装置では、符号化の対象となる現在のフレームと時間的に前のフレームとのフレーム間差分を符号化することで、時間的な冗長度を削減する手法が存在し、特に、フレーム内の物体の移動を考慮してより効率的な圧縮を行う動き補償フレーム間予測符号化が広く知られている。

この動き補償フレーム間予測符号化に関する技術として、例えば、動き補償付きフレーム間差分符号化処理を行った場合の差分値と動き補償なしフレーム間差分符号化処理を行った場合の差分値とをそれぞれ算出し、それらの差分値に基づき動き補償付きフレーム間差分符号化および動き補償なしフレーム間差分符号化のいずれの処理を行うかを判定するとともに、注目ブロックに対して動き補償を行った場合のフレーム間データの差分分散値と動き補償を行わない処理で符号化した場合の差分分散値とを算出し、それらの分散値に基づきフレーム間差分符号化およびフレーム内符号化のいずれの処理を行うかを判定する判定器を備えた動画像符号化装置が知られている（特許文献１参照）。

また、例えば、動き補償付きフレーム間差分符号化に用いる動きベクトル探索方式であって、符号化される画像信号と前に符号化された画像信号との差分を算出し、所定のブロック内で算出された差分が閾値よりも大きい画素の数に基づき動きの有無を判断する技術が知られている（特許文献２参照）。

また、例えば、発生させた動きベクトルを用いて動き補償を施した前フレームのマクロブロックと現フレームの符号化対象マクロブロックとの差分を閾値と比較し、その符号化対象マクロブロックが、閾値より大きい有意マクロブロックである場合は符号化を行い、閾値より小さい非有意マクロブロックである場合は上述の動きベクトルのみを伝送するようにした動画像符号化方法において、符号化対象マクロブロックが非有意と判別される範囲内で最小の大きさの動きベクトルを選択する技術が知られている（特許文献３参照）。
特開平６−７８２８７号公報特開平２−１０７０８６号公報特開平９−１６８１５４号公報

ところで、上記のような動画像符号化装置における動き補償フレーム間予測符号化の処理負荷は、動画像符号化装置全体の処理負荷において高い割合を占めており、動き補償フレーム間予測符号化の処理負荷を低減することが望まれている。

しかしながら、上記特許文献１に記載のような技術では、動き補償付きフレーム間差分符号化、動き補償なしフレーム間差分符号化、及びフレーム内符号化の中から適切な符号化を選択して実行するので、ＭＰＥＧ４等に規定される動画像符号化に比べて符号化の効率は向上するものの符号化ための処理負荷は大きくなるという課題があった。

また、上記特許文献２に記載のような技術は、動きがないと判断したブロックについて動き補償処理を行わないようにすることで処理量の低減を図るものであるが、単に所定のブロック内で算出された差分が閾値よりも大きい画素の数に基づき動きの有無を判断するものであるため、符号化方法の選択は必ずしも適切とは言えず、符号化データ量の抑制及び削減については十分な効果を期待できなかった。

また、上記特許文献３に記載のような技術は、動きベクトルのみを伝送する場合にその伝送される動きベクトル情報量を少なくして伝送情報量の低減化を図るものであるが、符号化効率は必ずしも適切でないという課題があった。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、フレーム間差分符号化及び動き補償予測符号化を適切に選択して適用することで、符号化効率の低下及び符号量の増大を抑制しつつ演算処理の時間を短縮することを可能とした動画像符号化装置を提供することを主目的とする。

本発明の動画像符号化装置は、動画像を構成する各フレーム画像を複数の画素ブロックに分割し、当該画素ブロックごとに符号化処理を実行する動画像符号化装置であって、現フレーム上の画素ブロックと前フレームについて動き補償した予測フレーム上の画素ブロックとの差分を取ることにより動き補償予測誤差を生成する動き補償予測手段と、前記現フレーム上の画素ブロックと前フレーム上の同一座標位置にある画素ブロックとの差分を取ることによりフレーム間予測誤差を生成するフレーム間差分手段と、前記フレーム間予測誤差から得られる符号化データの符号量に基づき、当該符号化データの出力の適否を判定する判定手段と、前記判定手段の判定結果に基づき前記動き補償予測誤差と前記フレーム間予測誤差とのいずれかを処理対象として選択する選択手段とを備えたことを特徴とする。

このように本発明によれば、フレーム間予測誤差から得られる符号化データの符号量に基づきフレーム間差分符号化及び動き補償予測符号化を適切に選択して適用することで、符号化効率の低下及び符号量の増大を抑制しつつ演算処理の時間を短縮することが可能となるという優れた効果を奏する。

上記課題を解決するためになされた第１の発明は、動画像を構成する各フレーム画像を複数の画素ブロックに分割し、当該画素ブロックごとに符号化処理を実行する動画像符号化装置であって、現フレーム上の画素ブロックと前フレームについて動き補償した予測フレーム上の画素ブロックとの差分を取ることにより動き補償予測誤差を生成する動き補償予測手段と、前記現フレーム上の画素ブロックと前フレーム上の同一座標位置にある画素ブロックとの差分を取ることによりフレーム間予測誤差を生成するフレーム間差分手段と、前記フレーム間予測誤差から得られる符号化データの符号量に基づき、当該符号化データの出力の適否を判定する判定手段と、前記判定手段の判定結果に基づき前記動き補償予測誤差と前記フレーム間予測誤差とのいずれかを処理対象として選択する選択手段とを備えた構成とする。

これによると、フレーム間予測誤差を符号化処理して得られた符号化データの符号量に基づきフレーム間差分符号化（動き補償を伴わない予測符号化）または動き補償予測符号化を適切に選択して適用するので、符号化効率の低下及び符号量の増大を抑制しつつ符号化の処理時間を短縮することが可能となる。特に、動きの少ない動画像（例えば、テレビ電話の画像）を対象とする場合には、通常時は比較的処理時間が短いフレーム間差分符号化を適用する一方、必要な場合にのみ動き補償予測符号化を適用することができるので、処理時間の短縮の効果はより顕著となる。

この場合、フレーム間予測誤差を処理して得られた符号化データの符号量が所定の閾値以下の場合、選択手段がフレーム間予測誤差を処理対象として選択する一方、符号量が閾値を越えた場合、選択手段が動き補償予測誤差を処理対象として選択するように構成することができる。

上記課題を解決するためになされた第２の発明は、前記動き補償予測手段は、前記判定手段が前記フレーム間予測誤差から得られる符号化データを出力すべきと判定した場合、前記動き補償予測誤差の生成を中止する構成とすることができる。

これによると、動き補償予測手段及びフレーム間差分手段をソフトウェアの処理（即ち、ＣＰＵやＤＳＰ等の処理）によって実現した場合に、不要となった動き補償予測に関わる処理を中止して処理負荷の軽減を図ることが可能となる。この場合、フレーム間差分手段が、現フレーム上の同一画素ブロックの処理について動き補償予測手段よりも先に実行する構成とすることができる。これにより、動きの少ない動画像を対象とする場合に処理時間の短縮及び処理負荷の軽減の効果をより一層高めることができる。

上記課題を解決するためになされた第３の発明は、動画像を構成する各フレーム画像を複数の画素ブロックに分割し、当該画素ブロックごとに符号化処理を実行する動画像符号化装置であって、現フレーム上の画素ブロックと前フレームについて動き補償した予測フレーム上の画素ブロックとの差分を取ることにより動き補償予測誤差を生成する動き補償予測手段と、前記動き補償予測手段の動作を制御する制御手段とを備え、前記動き補償予測手段は、前記動き補償予測誤差を生成する際に、前記現フレーム上の画素ブロックと前フレーム上の動きベクトルがゼロとなる座標位置の画素ブロックとの差分を取ることによりフレーム間予測誤差を生成し、前記制御手段は、前記フレーム間予測誤差から得られる符号化データの符号量に基づき当該符号化データの出力の適否を判定し、その符号化データを出力すべきと判定した場合、前記動き補償予測手段に前記動き補償予測誤差の生成を中止させる構成とする。

これによると、フレーム間予測誤差を符号化処理して得られた符号量に基づき動き補償予測符号化が必要か否かを適切に判断し、動き補償予測符号化が不要な場合には動き補償予測誤差を生成せずにフレーム間予測誤差を用いるので、符号化効率の低下及び符号量の増大を抑制しつつ符号化の処理時間の短縮及び処理負荷の軽減を達成することが可能となる。特に、動きの少ない動画像を処理対象とする場合には、通常時は比較的簡易な処理で得られるフレーム間予測誤差を用いる一方、必要な場合にのみ動き補償予測誤差を生成して用いることができるので、処理時間の短縮及び処理負荷の軽減の効果はより顕著となる。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の第１実施形態に係る動画像符号化装置の概略構成を示すブロック図である。この動画像符号化装置１は、動画像データを圧縮符号化するための装置であり、入力部２、フレーム間差分符号化部（フレーム間差分手段）３、動き補償符号化部（動き補償予測手段）４、セレクタ（選択手段）５、ＤＣＴ（Discrete Cosine Transform）部６、量子化部７、可変長符号化部８、符号量判定部（判定手段）９、ブロックメモリ１０、多重化部１１、出力部１２、逆符号化部１３、逆量子化部１４、逆ＤＣＴ部１５、及び画像メモリ部１６を主として備えている。

入力部２には、符号化処理の対象となる動画像を構成する画像フレームの信号が所定の画素ブロック（例えば、１６×１６画素）単位で入力されてフレーム間差分符号化部３及び動き補償符号化部４にそれぞれ供給される。

フレーム間差分符号化部３は、画素ブロック単位で動き補償を伴わない予測符号化を実行してフレーム間予測誤差を生成するものであり、フレーム間予測誤差を生成する差分ルート用差分回路２１と、その生成されたフレーム間予測誤差を一時的に記憶するブロックメモリ２２とを有する。

ここで、差分ルート用差分回路２１は、画像メモリ部１６から供給される前フレーム（時間的に前の再生画像フレーム）を予測フレームとして、現フレーム（入力された現在の画像フレーム）上において処理の対象となる画素ブロックと予測フレーム上の同一座標位置にある画素ブロックとの画素値の差分を取ることによりフレーム間予測誤差を生成する。

動き補償符号化部４は、ブロックマッチング法を用いた動き検出により画素ブロック単位で動き補償予測符号化を実行して動き補償予測誤差を生成するものであり、現フレーム上において処理の対象となる画素ブロックと前フレームについて動き補償した予測フレーム上の画素ブロックとの差分を取る動き予測ルート用差分回路２３と、そこで得られた差分データを一時的に記憶するブロックメモリ２４と、その差分データについて絶対値の和（以下、「差分絶対値和」という）を算出し、比較用絶対値和メモリ２５に記憶された比較用の差分絶対値和と比較する演算部２６と、処理の対象である画素ブロックの差分絶対値和が比較用絶対値和メモリ２５の値よりも小さい場合に、その差分データをＤＣＴ部６に対して出力するための候補データとして一時的に記憶する候補ブロックメモリ２７とを有している。

ここで、比較用絶対値和メモリ２５が記憶する比較用の差分絶対値和は、処理対象の画素ブロックの差分絶対値和のほうがより小さい場合には、その小さい値が上書きされることで適宜更新される。また、最終的に候補ブロックメモリ２７に記憶されている候補データは、動き補償予測誤差としてセレクタ５に対して出力され、ＤＣＴ部６、量子化部７、及び可変長符号化部８にて処理されることになる。なお、動き補償に用いる動きベクトルの情報も動き補償予測誤差と同様に出力されて可変長符号化部８にて処理される。

上記フレーム間差分符号化部３及び動き補償符号化部４は、処理の対象となる同一の画素ブロックに対してそれぞれ並列に処理を実行する。ただし、この並列の処理は、時間的に近接して少なくともフレーム間差分符号化部３の処理が先に実行されればよく、必ずしも同時に実行される必要はない。例えば、フレーム間差分符号化部３及び動き補償符号化部４をソフトウェアの処理（即ち、ＣＰＵやＤＳＰ等の処理）によって実現する場合、比較的処理時間が短いフレーム間差分符号化部３の処理を先に実行した後に、動き補償符号化部４の処理を実行することができる。

後述するように、動き補償符号化部４は、符号量判定部９から動き補償予測誤差の処理実行命令を受け取った場合には、同一の画素ブロックに対するフレーム間差分符号化部３の処理が終了した後も処理を継続して動き補償予測誤差を生成するが、符号量判定部９から処理停止命令を受け取った場合には、動き補償予測誤差の生成を中止する。これにより、処理負荷の軽減を図ることができ、動き補償符号化部４は次の画素ブロックの処理を開始可能な状態となる。

セレクタ５は、フレーム間差分符号化部３及び動き補償符号化部４にそれぞれ接続され、後述するように符号量判定部９からの出力切替命令に従ってフレーム間差分符号化部３からのフレーム間予測誤差と動き補償符号化部４からの動き補償予測誤差とをＤＣＴ部６に対して選択的に出力する。より詳細には、セレクタ５は、通常時はフレーム間予測誤差をＤＣＴ部６に出力する処理対象として選択する一方、符号量判定部９がフレーム間予測誤差から得られる圧縮符号化データを出力すべきでないと判定した場合には、動き補償予測誤差をＤＣＴ部６に出力する処理対象として選択する。

ＤＣＴ部６は、フレーム間差分符号化部３から出力されたフレーム間予測誤差または動き補償符号化部４から出力された動き補償予測誤差を、ＤＣＴ変換（離散コサイン変換）により空間周波数領域のデータに変換し、隣接画素との相関を利用して低域周波数領域にデータ値（ＤＣＴ係数）を偏らせてデータの圧縮を行う。

量子化部７は、所定の量子化制御情報に従って、ＤＣＴ部６から入力されるＤＣＴ係数の値を所定の量子化ステップ値（除算値）で除算することにより量子化データを出力する。

可変長符号化部８は、量子化部７から入力される量子化データにおける発生頻度に応じて符号化テーブルを作成し、出力データの情報量を最小化すべく可変長符号を割当てる処理（例えば、ハフマン符号化）を行う。これにより生成された圧縮符号化データは、ブロックメモリ１０に一時的に記憶されるとともに符号量判定部９に送出される。

符号量判定部９は、フレーム間予測誤差から得られた圧縮符号化データの符号量を算出し、当該符号量に基づき当該圧縮符号化データの出力の適否（即ち、動画像符号化装置１からストリームデータとして出力する対象とすべきか否か）を判定する。

その判定において、符号量判定部９は、圧縮符号化データを出力すべきと判定した場合には、セレクタ５に対してフレーム間差分符号化部３からのフレーム間予測誤差をＤＣＴ部６に出力させるための出力切替命令を送出し、また、動き補償符号化部４に対して動き補償予測誤差の生成を中止させるための処理停止命令を送出する。一方、符号量判定部９は、フレーム間予測誤差から得られた圧縮符号化データを出力すべきでないと判定した場合には、セレクタ５に対して動き補償符号化部４からの動き補償予測誤差をＤＣＴ部６に出力させるための出力切替命令を送出し、また、動き補償符号化部４に対して動き補償予測誤差を生成させるための処理実行命令を送出し、さらに、ブロックメモリ１０に対して既に記録されているフレーム間予測誤差の圧縮符号化データを消去するためのメモリクリア命令を送出する。

多重化部１１は、ブロックメモリ１０に記憶された圧縮符号化データにヘッダ情報、フッタ情報、符号化テーブルの情報、量子化制御情報及び動きベクトル情報等を付加し、ストリームデータを生成する。生成されたストリームデータは、出力部１２から図示しない通信路に送出される。

また、多重化部１１は、ブロックメモリ１０に記録されたストリームデータから圧縮符号化データを抽出して逆符号化部１３に入力する一方、量子化制御情報、コサイン変換情報を逆量子化部１４及び逆ＤＣＴ部１５にそれぞれ送出する。逆符号化部１３は、受け取った圧縮符号化データを符号化テーブルに基づき逆変換し、続いて、逆量子化部１４が量子化制御情報に基づき逆量子化を行って元のＤＣＴ係数と同等のデータを取得し、さらに、逆ＤＣＴ部１５がコサイン変換情報に基づきその係数情報の逆ＤＣＴ変換を行い、そこで得られた差分データに予測フレームのデータを加えて生成された再生画像データを新たな前フレームのデータとして画像メモリ部１６に記憶する。

ここで、符号量判定部９において、フレーム間予測誤差から得られる圧縮符号化データの符号量に基づき当該圧縮符号化データの出力の適否を判定する方法の一例について説明する。

まず、判定に用いる閾値Ｔ１（sec）を次式から求める。この閾値Ｔ１は、フレーム間予測誤差から得られる圧縮符号化データを出力部１２から通信路に送信するのにかかる時間に概ね相当する。
Ｔ１＝Ｄ／Ｖ
Ｄ（bit）：フレーム間予測誤差から得られる圧縮符号化データの符号量
Ｖ（bit/sec）：出力部１２に接続された通信路の回線速度

また、フレーム間予測誤差についての符号量が算出された時点において、動き補償符号化部４を介して動き補償予測誤差から圧縮符号化データを取得する場合の残りの処理時間Ｔ４を次式から求める。
Ｔ４＝（１−α／１００）×Ｔ３＋Ｔ２＋Ｋ
Ｔ２（sec）：ＤＣＴ部６、量子化部７及び可変長符号化部８の処理時間（固定値）の合計
Ｔ３（sec）：動き補償符号化部４が動き補償予測誤差を生成する処理時間（固定値）
α（％）：Ｔ１を算出した時点の動き補償符号化部４の処理の進行度
Ｋ：動き補償予測誤差から得られる圧縮符号化データを出力部１２から通信路に送信するのにかかる時間の推定値

符号量判定部９は、上記のように求めた処理時間Ｔ４を閾値Ｔ１と比較し、Ｔ４≧Ｔ１の場合には、フレーム間差分符号化部３を介した圧縮符号化がより処理時間が短いと判断して、フレーム間予測誤差から得られた圧縮符号化データを出力すべきと判定する。一方、Ｔ４＜Ｔ１の場合には、動き補償符号化部４を介した圧縮符号化がより処理時間が短いと判断して、動き補償予測誤差から得られた圧縮符号化データを出力すべきと判定する。なお、推定値Ｋは、予測差分がすべてゼロの時の送信時間を理想的な時間として処理の対象となる動画像等に応じて適切に設定することができる。

この場合、符号量Ｄの大きさを判定指標として、Ｄ≦Ｔ４×Ｖの場合にはフレーム間予測誤差から得られた圧縮符号化データを出力すべきと判定し、Ｄ＞Ｔ４×Ｖの場合には動き補償予測誤差から得られた圧縮符号化データを出力すべきと判定することもできる。

このように、フレーム間予測誤差を符号化処理して得られた符号化データの符号量に基づきフレーム間差分符号化（即ち、フレーム間差分符号化部３を用いた処理）または動き補償予測符号化（即ち、動き補償符号化部４を用いた処理）を適切に選択して適用するので、符号化効率の低下及び符号量の増大を抑制しつつ符号化の処理時間を短縮することが可能となる。

また、圧縮符号化データの符号量にもとづき出力の適否を判定するので、判定の精度が良好であり、さらに、フレーム間予測誤差を符号化処理して得られた符号化データを出力する場合には、判定した対象を出力対象として取り扱うことができるという利点がある。

図２及び図３は、図１に示した動画像符号化装置の動作手順を示すフロー図であり、それぞれフレーム間差分符号化部３を用いて符号化を行う場合の動作及び動き補償符号化部４を用いて符号化を行う場合の動作に相当する。ここでは、１フレーム分の画像の処理を行う場合を示している。

図２に示すように、フレーム間差分符号化部３を用いて符号化を行う場合、まず入力部２に処理対象となる画素ブロックの信号が入力されると（ＳＴ１０１）、差分ルート用差分回路２１がフレーム間予測誤差を生成し、その生成したデータをブロックメモリ２２に記憶する（ＳＴ１０２）。このとき、セレクタ５は、動き補償符号化部４からのデータを遮断してフレーム間差分符号化部３からのデータのみをＤＣＴ部６に出力可能な通常の状態にあり、１ブロック分のデータの入力が完了すると（ＳＴ１０３：ＹＥＳ）、フレーム間予測誤差をＤＣＴ部６に送出して、ＤＣＴ部６によりＤＣＴ変換が実行される（ＳＴ１０４）。続いて、量子化部７が、ＤＣＴ部６からのＤＣＴ係数を量子化して量子化データを出力し（ＳＴ１０５）、さらに、可変長符号化部８が、量子化データに対して符号割当を行い（ＳＴ１０６）、生成した圧縮符号化データをブロックメモリ１０に一時的に記憶するとともに符号量判定部９に送出する（ＳＴ１０７）。

次に、符号量判定部９は、可変長符号化部８からの圧縮符号化データに基づき符号量を算出し（ＳＴ１０８）、その算出した符号量Ｄが予め設定した基準値（Ｔ４×Ｖ）を超えているか否かを判定する（ＳＴ１０９）。このとき、符号量Ｄが基準値以下の場合、符号量判定部９は、動き補償符号化部４に対して処理停止命令を送出する（ＳＴ１１０）。続いて、多重化部１１がブロックメモリ１０に記憶されたデータに各種情報を付加してストリームデータを生成し、そのストリームデータを出力部１２から送信する（ＳＴ１１１）。そこで、１フレーム分の処理が終了したか否かが判定され（ＳＴ１１２）、１フレーム分の処理が終了していない場合には、次の画素ブロックの入力が開始され（ＳＴ１１３）、ＳＴ１０１に戻って上述と同様の動作が実行される。一方、１フレーム分の処理が終了すると、一連の動作は終了する。

また、ＳＴ１０９において符号量Ｄが基準値を越えている場合、符号量判定部９が、セレクタ５に対して動き補償符号化部４からのデータをＤＣＴ部６に出力させるための出力切替命令を送出し、また、動き補償符号化部４に対して動き補償予測誤差の処理実行命令を送出し、さらに、ブロックメモリ１０に対してメモリクリア命令を送出する（ＳＴ１１４）。これにより、セレクタ５は、通常時のフレーム間差分符号化部３側から動き補償符号化部４側に出力を切り替える。また、動き補償符号化部４は、候補ブロックメモリ２７に記憶された動き補償予測誤差を、セレクタを介してＤＣＴ部６に出力する。さらに、ブロックメモリ１０に既に記憶されているフレーム間予測誤差についての圧縮符号化データは、不要なデータとして削除される。

そこで、多重化部１１がストリームデータを生成すると、符号量判定部９に対して１ブロックの処理の終了を通知し（ＳＴ１１５：ＹＥＳ）、これにより、符号量判定部９がセレクタ５に対して出力切替命令を送出し、セレクタ５を再び通常の状態に戻す（ＳＴ１１６）。続いて、次の画素ブロックの入力が開始され（ＳＴ１１３）、ＳＴ１０１に戻って上述と同様の動作が実行される。

次に、図３に示すように、動き補償符号化部４を用いて符号化を行う場合、まず入力部２に所定の画素ブロックの信号が入力されると（ＳＴ２０１）、動き予測ルート用差分回路２３が、現フレーム上の画像と予測フレーム上の画素ブロックとの差分を取り、その差分データをブロックメモリ２４に記憶する（ＳＴ２０２）。そこで、１ブロック分のデータの入力が完了すると（ＳＴ２０３：ＹＥＳ）、演算部２６が差分絶対値和を算出し（ＳＴ２０４）、さらに、その算出値が比較用絶対値和メモリ２５に記憶されている値よりも小さいか否かを判定する（ＳＴ２０５）。そこで、差分絶対値和がメモリ２５に記憶された値以上の場合、再びＳＴ２０１に戻って上述と同様の動作を実行する。一方、差分絶対値和がメモリ２５に記憶された値よりも小さい場合、演算部２６は、当該差分データを当面の候補データとして候補ブロックメモリ２７に記憶し、メモリ２５の値をその算出した差分絶対値和の値に更新する（ＳＴ２０６）。

上記ＳＴ２０１〜ＳＴ２０６の動作は、候補データが確定するまで繰り返し実行される。最終的に候補データのサーチが終了すると（ＳＴ２０７：ＹＥＳ）、動き補償符号化部４はセレクタ５を介して動き補償予測誤差をＤＣＴ部６に出力し、ＤＣＴ部６がＤＣＴ変換を実行する（ＳＴ２０８）。続いて、量子化部７が、ＤＣＴ部６からのＤＣＴ係数を量子化して量子化データを出力し（ＳＴ２０９）、さらに、可変長符号化部８が、量子化データに対して符号割当を行い（ＳＴ２１０）、生成した圧縮符号化データをブロックメモリ１０に一時的に記憶する（ＳＴ２１１）。

次に、多重化部１１が、ブロックメモリ１０に記憶された圧縮符号化データに各種情報を付加してストリームデータを生成し、そのストリームデータを出力部１２から送信する（ＳＴ２１２）。そこで、符号量判定部９がセレクタ５に対して出力切替命令を送出し、これによりセレクタ５は、動き補償符号化部４側から再び通常時のフレーム間差分符号化部３側に出力を切り替える（ＳＴ２１３）。続いて、１フレーム分の処理が終了したか否かが判定され（ＳＴ２１４）、１フレーム分の処理が終了していない場合には、次の画素ブロックの入力が開始され（ＳＴ２１５）、ＳＴ２０１に戻って上述と同様の動作が実行される。一方、１フレーム分の処理が終了すると、一連の動作は終了する。

図３に示したＳＴ２０１〜ＳＴ２１５の何れかにおいて、図２のＳＴ１１０において符号量判定部９から送出される処理停止命令を動き補償符号化部４が受け取ると、実行中の処理が中断されて割込処理が開始される（ＳＴ２１６）。これにより、動き補償符号化部４は、現在の画素ブロックに対する処理を停止する（ＳＴ２１７）。そこで、多重化部１１がフレーム間予測誤差から得られた圧縮符号化データからストリームデータを生成して、現在処理対象となっている１ブロックの処理が終了すると（ＳＴ２１８：ＹＥＳ）、続いて、１フレーム分の処理が終了したか否かが判定されて（ＳＴ２１４）、その後は上述と同様のステップが実行される。

図４は、本発明の第２実施形態に係る動画像符号化装置の概略構成を示すブロック図である。この動画像符号化装置１０１は、図１に示した動画像符号化装置１と概ね同様の構成を有するが、フレーム間差分符号化部３を備えておらず、それと同様のフレーム間予測誤差を生成する処理を動き補償符号化部（動き補償予測手段）１０４が実行する点において異なる。図４の動画像符号化装置１０１において、図１の動画像符号化装置１と同様の構成については同一の符号を付し、以下で特に言及しない事項については、動画像符号化装置１の場合と同様とする。

動き補償符号化部１０４は、図１の動き補償符号化部４における動き予測ルート用差分回路２３と同様の機能を有する動き予測ルート用差分回路１２３、並びにブロックメモリ２４、演算部２６、比較用絶対値和メモリ２５及び候補ブロックメモリ２７を有する。ここで、動き予測ルート用差分回路１２３は、動き補償符号化部１０４が動き補償予測誤差を生成する際に、まず、現フレーム上の画素ブロックとそれに対応する座標位置からのずれを示す動きベクトルがゼロとなる前フレーム上の画像との差分を取り、その動きベクトルがゼロの位置から所定の予測領域内を順次走査して動き補償予測誤差及び動きベクトルを取得する。動き補償符号化部１０４は、この動きベクトルがゼロの場合に得られた差分データ（フレーム間予測誤差）をＤＣＴ部６に送出し、その差分データは、ＤＣＴ部６、量子化部７、及び可変長符号化部８にて処理された後、符号量判定部１０９での判定に用いられる。

符号量判定部（制御手段）１０９は、動き補償符号化部１０４から出力された差分データから得られた圧縮符号化データの符号量を算出し、当該符号量に基づき当該圧縮符号化データの出力の適否を判定する。そこで、符号量判定部１０９は、当該圧縮符号化データを出力すべきでないと判定した場合には、動き補償符号化部１０４に対して動き補償予測誤差を生成させるための処理実行命令を送出し、一方、当該圧縮符号化データを出力すべきと判定した場合には、動き補償符号化部１０４に対して動き補償予測誤差の生成を中止させるための処理停止命令を送出する。なお、符号量判定部１０９は、上述の動画像符号化装置１における符号量判定部９の場合と同様の方法で判定処理を実行することができる。

これにより、動き補償符号化部１０４は、符号量判定部１０９から処理実行命令を受け取とると、動き補償予測誤差の生成を行ってＤＣＴ部６対して出力し、一方、符号量判定部１０９から処理停止命令を受け取とると、動き補償予測誤差の生成を中止する。動き補償予測誤差の生成を中止した場合、差分データから得られた圧縮符号化データが多重化部１１に送られ、ストリームデータが生成される。

このように、動きベクトルがゼロの場合に得られた差分データを符号化処理して得られた符号化データの符号量に基づき動き補償予測符号化が必要か否かを適切に判断し、動き補償予測符号化が不要な場合には動き補償予測誤差を生成せずに差分データを用いるので、符号化効率の低下及び符号量の増大を抑制しつつ符号化の処理時間の短縮及び処理負荷の軽減を達成することが可能となる。

図５は、図４に示した動画像符号化装置の動作手順を示すフロー図である。図５に示すように、動き補償符号化部１０４を用いて符号化を行う場合、まず入力部２に所定の画素ブロックの信号が入力されると（ＳＴ３０１）、動き予測ルート用差分回路１２３が、現フレーム上の画素ブロックと予測フレーム上の画素ブロックとの差分を取り、その差分データをブロックメモリ２４に記憶する（ＳＴ３０２）。そこで、１ブロック分のデータの入力が完了すると（ＳＴ３０３：ＹＥＳ）、演算部２６が差分絶対値和を算出し（ＳＴ３０４）、さらに、その算出値が比較用絶対値和メモリ２５に記憶されている値よりも小さいか否かを判定する（ＳＴ３０５）。そこで、差分絶対値和がメモリ２５に記憶された値以上の場合、再びＳＴ３０１に戻って上述と同様の動作を実行する。一方、差分絶対値和がメモリ２５に記憶された値よりも小さい場合、演算部２６は、当該差分データを当面の候補データとして候補ブロックメモリ２７に記憶し、メモリ２５の値をその算出した差分絶対値和の値に更新する（ＳＴ３０６）。

次に、処理中の画素ブロックが所定のフレームにおける１ブロック目の場合（ＳＴ３０７：ＹＥＳ）、動き予測ルート用差分回路１２３は、候補ブロックメモリ１２７に記憶した差分データ（フレーム間予測誤差）をＤＣＴ部６に対して出力し、図２のＳＴ１０４〜ＳＴ１０９と同様の動作（符号量判定処理）を開始する（ＳＴ３０８）。ここで、符号量判定部１０９は、符号量が基準値以下の場合、動き補償符号化部１０４に対して処理停止命令を送出し、符号量が基準値を越えている場合、動き補償符号化部１０４に対して処理実行命令を送出する。この符号量判定処理と並行して動き補償符号化部１０４における動き補償予測誤差の生成は継続され、上記ＳＴ３０１〜ＳＴ３０６の動作が、候補データが確定するまで繰り返し実行される。

最終的に候補データのサーチが終了すると（ＳＴ３０９：ＹＥＳ）、動き補償符号化部１０４は動き補償予測誤差をＤＣＴ部６に対して出力し、ＤＣＴ部６が動き補償予測誤差の離散コサイン変換を実行する（ＳＴ３１０）。続いて、量子化部７が、ＤＣＴ部６からのＤＣＴ係数を量子化して量子化データを出力し（ＳＴ３１１）、さらに、可変長符号化部８が、量子化データに対して符号割当を行い（ＳＴ３１２）、生成した圧縮符号化データをブロックメモリ１０に一時的に記憶する（ＳＴ３１３）。

次に、多重化部１１が、ブロックメモリ１０に記憶された圧縮符号化データに各種情報を付加してストリームデータを生成し、そのストリームデータを出力部１２から送信する（ＳＴ３１４）。そこで、１フレーム分の処理が終了したか否かが判定され（ＳＴ３１５）、１フレーム分の処理が終了していない場合には、次の画素ブロックの入力が開始され（ＳＴ３１６）、ＳＴ３０１に戻って上述と同様の動作が実行される。一方、１フレーム分の処理が終了すると、一連の動作は終了する。

図３に示したＳＴ３０１〜ＳＴ３０７及びＳＴ３０９の何れかにおいて、ＳＴ３０８で符号量判定部１０９から送出される処理停止命令を動き補償符号化部１０４が受け取ると、実行中の処理が中断されて割込処理が開始される（ＳＴ３１７）。これにより、動き補償符号化部４は、現在の画素ブロックに対する処理を停止する（ＳＴ３１８）。そこで、多重化部１１が差分データから得られた圧縮符号化データからストリームデータを生成して、現在処理対象となっている１ブロックの処理が終了すると（ＳＴ３１９：ＹＥＳ）、続いて、１フレーム分の処理が終了したか否かが判定されて（ＳＴ３１５）、その後は上述と同様のステップが実行される。

図６は、本発明に係るテレビ電話装置の概略構成を示すブロック図である。このテレビ電話装置２０１は、インターネット等のネットワーク２０２を介して、相手側のテレビ電話装置２０３と音声及び動画の通信を相互に実行するものであり、デジタルカメラからの光の情報をデジタルデータに変換するＣＣＤ２１１と、ＣＣＤ２１１から出力されたデータを圧縮符号化する画信号圧縮符号化部２１２と、通話音声を音声データに変換するマイク２１３と、マイク２１３から出力されたデータを圧縮符号化する音声圧縮符号化部２１４と、相手側のテレビ電話装置２０３から受信した画信号を伸長復号化する画信号伸長復号化部２１５と、画信号伸長復号化部２１５からの出力に基づき画面表示を行うモニタ２１６と、相手側のテレビ電話装置２０３から受信した音声信号を伸長復号化する音声信号伸長復号化部２１７と、音声信号伸長復号化部２１７からの出力に基づき音声出力を行うスピーカ２１８と、画信号圧縮符号化部２１２及び音声圧縮符号化部２１４からそれぞれ出力される復号化された画信号及び音声信号を、ストリーム信号として相手側のテレビ電話装置２０３に対して送信するとともに、相手側のテレビ電話装置２０３から受信するストリーム信号から取得した画信号及び音声信号を、画信号伸長復号化部２１５及び音声信号伸長復号化部２１７に対してそれぞれ入力する多重化回線インタフェース２１９とを有している。

ここで、画信号圧縮符号化部２１２は、図１または図４に示した動画像符号化装置と同様の構成及び機能を有しており、動画像データを圧縮符号化することが可能である。このテレビ電話装置２０１が送信するような動きの少ない動画像を対象とする場合、通常時は比較的処理時間が短いフレーム間差分符号化を適用する一方、必要な場合にのみ動き補償予測符号化を適用することができるので、符号化の処理時間を効果的に短縮することができるという利点がある。

本発明に係る動画像符号化装置は、フレーム間差分符号化及び動き補償予測符号化を適切に選択して適用することで、符号化効率の低下及び符号量の増大を抑制しつつ演算処理の時間を短縮することを可能とするので、動画像データを符号化する動画像符号化装置として有用である。

本発明の第１実施形態に係る動画像符号化装置の概略構成を示すブロック図図１の動画像符号化装置の動作手順を示すフロー図図１の動画像符号化装置の動作手順を示すフロー図本発明の第２実施形態に係る動画像符号化装置の概略構成を示すブロック図図４の動画像符号化装置の動作手順を示すフロー図本発明に係るテレビ電話装置の概略構成を示すブロック図

符号の説明

１，１０１動画像符号化装置
３フレーム間差分符号化部
４，１０４動き補償符号化部
５セレクタ
９，１０９符号量判定部
２１差分ルート用差分回路
２３，１２３動き予測ルート用差分回路

Claims

動画像を構成する各フレーム画像を複数の画素ブロックに分割し、当該画素ブロックごとに符号化処理を実行する動画像符号化装置であって、
現フレーム上の画素ブロックと前フレームについて動き補償した予測フレーム上の画素ブロックとの差分を取ることにより動き補償予測誤差を生成する動き補償予測手段と、
前記現フレーム上の画素ブロックと前フレーム上の同一座標位置にある画素ブロックとの差分を取ることによりフレーム間予測誤差を生成するフレーム間差分手段と、
前記フレーム間予測誤差から得られる符号化データの符号量に基づき、当該符号化データの出力の適否を判定する判定手段と、
前記判定手段の判定結果に基づき前記動き補償予測誤差と前記フレーム間予測誤差とのいずれかを処理対象として選択する選択手段と
を備えたことを特徴とする動画像符号化装置。
前記動き補償予測手段は、前記判定手段が前記フレーム間予測誤差から得られる符号化データを出力すべきと判定した場合、前記動き補償予測誤差の生成を中止することを特徴とする請求項１に記載の動画像符号化装置。
動画像を構成する各フレーム画像を複数の画素ブロックに分割し、当該画素ブロックごとに符号化処理を実行する動画像符号化装置であって、
現フレーム上の画素ブロックと前フレームについて動き補償した予測フレーム上の画素ブロックとの差分を取ることにより動き補償予測誤差を生成する動き補償予測手段と、
前記動き補償予測手段の動作を制御する制御手段と
を備え、
前記動き補償予測手段は、前記動き補償予測誤差を生成する際に、前記現フレーム上の画素ブロックと前フレーム上の動きベクトルがゼロとなる座標位置の画素ブロックとの差分を取ることによりフレーム間予測誤差を生成し、
前記制御手段は、前記フレーム間予測誤差から得られる符号化データの符号量に基づき当該符号化データの出力の適否を判定し、その符号化データを出力すべきと判定した場合、前記動き補償予測手段に前記動き補償予測誤差の生成を中止させることを特徴とする動画像符号化装置。