JP6313614B2 - 動画像符号化装置及びその制御方法 - Google Patents

Description

本発明は動画像の符号化技術に関するものである。

現在、デジタルビデオカメラやハードディスクレコーダーなど、動画像を記録できるデジタル機器が普及している。これらのデジタル機器では情報量の多い動画像を容量の制限されたフラッシュメモリやハードディスクといった記録メディアに効率的に記録するため、動画像データの圧縮符号化を行っている。

動画像圧縮符号化方式にはさまざまな方式が提案され、標準化されている。代表的な動画像圧縮符号化方式として、MPEG-2符号化方式やH.264符号化方式が挙げられる。MPEG-2符号化方式はDVD（Digital Versatile Disc）などに用いられている符号化方式である。H.264符号化方式はビデオカメラのハイビジョン記録方式であるAVCHDや、地上デジタル放送のワンセグ放送に採用されている。どちらも一般に広く普及している動画像圧縮符号化方式である。

このような符号化方式では、入力信号として主にYCbCr信号が用いられている。YCbCr信号は、RGB信号から輝度信号Yと2つの色差信号Cb、Crに色空間変換して得られた信号である。

色差信号Cb、Crは輝度信号Yより視認性が低いため、解像度を落としても視覚的な影響が少ないという特徴がある。そのため色差信号をダウンサンプルさせることにより、情報量を抑えることが可能である。これらの情報量を抑えたフォーマットとしては、水平方向の色差信号の画素数を半減させたYCbCr 4:2:2フォーマットや、水平方向、垂直方向ともに画素数を半減させたYCbCr 4:2:0フォーマットなどがある。

画像符号化装置においては、これらのYCbCr 4:2:2フォーマットや、YCbCr 4:2:0フォーマットを用いることで、符号量を抑えたり、符号化時の様々な処理量を削減できるといったメリットが挙げられる。

一方、近年のディスプレイやビデオカメラの高解像度化、高諧調化に伴い、RGB信号を直接符号化し、より高品質な符号化画像を提供する符号化方式も規格化されている。RGB信号はRGBの各プレーンで全て同一の画素数を有しており、RGB 4:4:4フォーマットとも呼ばれている。RGB 4:4:4フォーマットを符号化する符号化装置として、特許文献１、特許文献２のような技術が挙げられる。

ところで、従来のMPEG方式における動画像記録において、画像の符号化に先立って入力された画像を用いて仮に符号化を行う（これ以降、この部分の符号化動作を仮符号化と呼ぶ）。そして、その仮符号化時の発生符号量等の結果を用いて、後続する記録対象のストリームの符号量制御を適切に制御するという技術が提案されている。例えば、特許文献３である。このような仮符号化の採用によって、符号化後の画像の画質向上が図られている。

特開2008-172599号公報 特開2010-110006号公報 特開2008-124937号公報

４：４：４フォーマットに対応した符号化方式の符号化処理においては、符号化シーケンスに係る各処理を各プレーンごとに処理する。そのため、処理量が膨大になってしまい、動画像の所定期間（例えば、垂直同期期間）内に、フレームの処理が終わらないような可能性が生じる。そこで、演算処理を軽減しつつ画質の維持又は向上を保つことが重要となっているが、係る要望に応える技術が未だ確立していないのが現状である。

本発明は係る問題点に鑑みなされたものである。そして、本明細書は、４：４：４フォーマットに対応した符号化を行う場合であっても、演算負荷の増大を招かず、且つ、或る程度の画質を維持して動画像記録を行うことを可能ならしめる技術を提供する。

この課題を解決するため、例えば本明細書における動画像符号化装置は以下の構成を備える。すなわち、
動画像を構成する各フレーム画像を、各色成分ごとに独立して符号化する動画像符号化装置であって、
符号化の開始指示が与えられた際の初期段階の予め設定された枚数分のフレーム画像については、１つの色成分の画像データについて互いに異なる複数の探索範囲に従って動きベクトルを求めて仮符号化を行う仮符号化手段と、
該仮符号化手段による各探索範囲について最も誤差の小さいベクトルとなった探索範囲を、前記仮符号化手段に後続して実行される本符号化処理における各色成分の動きベクトルの探索範囲として決定する決定手段とを有し、
前記動画像を構成する各フレームはＲ成分、Ｇ成分、Ｂ成分の３つの色成分のデータで構成され、
前記仮符号化手段は、前記３つの色成分のうちＧ成分の画像データに対して仮符号化を行うことを特徴とする。

本発明によれば、ＲＧＢ：４：４：４フォーマットに対応した符号化を行う場合でっても、演算負荷の増大を招かず、且つ、或る程度の画質を維持して動画像記録を行うことが可能になる。

第１の実施形態に係る動画像符号化装置の構成例を示すブロック図。 動き探索装置の構成の一例を示すブロック図。 動き探索装置の構成のもう一つの例を示すブロック図。 第１の実施形態におけるフレームメモリの領域分割の例を示す図。 実施形態に係る動画像符号化装置の動作タイミング図。 実施形態に係る動画像符号化装置の構成例を示すブロック図。 第２の実施形態におけるフレームメモリの領域分割の例を示す図。 第３の実施形態に係る動画像符号化装置の構成例を示すブロック図。 第１の実施形態に係る動画像符号化装置の動き探索方式決定方法の動作を説明するフローチャ−ト。 第４の実施形態の動画像符号化装置のブロック図。 第４の実施形態における符号化回路のブロック図。 第４の実施形態における符号化制御部のブロック図。 第４の実施形態における符号化処理タイミングを示す図。 第５の実施形態の動画像符号化装置のブロック図。 第５の実施形態における処理手順を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。以下に説明する各実施形態では、ビデオカメラに搭載された画像符号化装置について説明することとするが、搭載する対象装置はビデオデッキ等でも良く、その種類は問わない。

［第１の実施形態］
図１は、本実施形態に係る動画像符号化装置の構成例を示すブロック図である。

実施形態の装置は、フレームメモリ１０１、動き探索部１０２、イントラ予測部１０３、イントラ・インター判定部１０４、予測画像生成部１０５、減算器１０６、直交変換部１０７、量子化部１０８、エントロピー符号化部１０９を有する。更に、この装置は、逆量子化部１１０、逆直交変換部１１１、加算器１１２、ループ内フィルタ１１３、フレーム差分絶対値和演算部１１４、探索方式決定部１１５を備えている。

動き補償で用いられる動きベクトルを決定する動き探索では一般にブロックマッチング方式が用いられる。動き探索部１０２で行われる、ブロックマッチング処理について図２を用いて説明する。

図２は動き探索部１０２内のブロックマッチング方式を用いた動き探索処理部１０２ａを示すブロック図である。同図において、動き探索処理部１０２ａは、現在マクロブロック保存バッファ２１、サーチウィンドウ保存バッファ２２、動きベクトル探索部２３から成っている。現在マクロブロック保存バッファ２１はフレームメモリ１０１から読出した、現在の符号化しようとしているマクロブロックの画像を格納する。マクロブロックとは、複数の画素から成る符号化対象の画素ブロックを意味する。サーチウィンドウ保存バッファ２２は現在のマクロブロックの中心に探索領域の中心を設定し探索領域の範囲（以下、サーチウィンドウと呼ぶ）分だけの画像をフレームメモリ１０１から読み出し、格納する。動きベクトル探索部２３は、サーチウィンドウ内で探索を行い、現在のマクロブロックに近似するマクロブロックを探し、その近似するマクロブロックの位置を特定する情報を、最終的な動きベクトルとして決定する。なお、動きベクトルを決定するためには次のようなＭＳＥ(Mean Square Error)、ＭＡＥ(Mean Absolute Error)、あるいはＭＡＤ(Mean Absolute Difference)などの評価関数が用いられる。

ここで、Ｓ_refは参照フレーム画像内の参照ブロック、Ｓ_cur,kは現在のフレーム画像内のｋ番目のマクロブロックを示す。また、(x,y) は１６×１６画素サイズのマクロブロックにおける画素の座標である。(i,j)は現在フレームのｋ番目のマクロブロックに対する参照フレーム／フィールドの空間的な位置をそれぞれ示している。また、X,Yをサーチウィンドウの水平および、垂直の画素数とすると、(i,j)は−Ｘ≦ｉ≦Ｘ、−Ｙ≦ｊ≦Ｙの範囲を取る。この評価関数は画素の誤差に基づいたものであり、最も小さいMAE値やMSE値を有する(i,j)を現在マクロブロックにおける最終的な動きベクトルとして決定する（以下、この方式を原点探索方式、この方式の探索装置を原点探索装置と呼ぶ）。

また、図３は動き探索部１０２内のブロックマッチング方式を用いた動き探索処理部１０２ｂのブロック図である。同図において、参照符号３１乃至３３は、図２の参照符号２１乃至２２と同様である。ただし、動きベクトル探索部３３で決定された動きベクトルを保存する動きベクトル保存部３４を有する。そして、現在マクロブロック保存バッファ３１には、動きベクトル保存部３４に保存された一つ前のマクロブロックの動きベクトルで示される位置を中心とする探索範囲の画像が格納される。従って、動きベクトル探索部３３は、現在符号化しようとするマクロブロックに近似するマクロブロックを、直前のマクロブロックに対するベクトルにサーチした位置を中心とする探索範囲からサーチすることになる。以下、この方式を周辺ＭＢベクトル探索方式、装置を周辺ＭＢベクトル探索装置と呼ぶ。

これまで説明してきた動き探索方式は現在国際標準方式H.261、H.263、MPEG1、MPEG2、MPEG4で用いられており、最も広く採用されている動き探索方式である。

更には、入力フレームの縮小画像を生成し、縮小画像を用いて、予め画面全体の動きを示すグローバルベクトルを検出しておき、グローバルベクトル分だけ現在マクロブロックからずらした位置にサーチウィンドウの中心位置を設定する方式もある。以下、この方式をグローバルベクトル探索方式、装置をグローバルベクトル探索装置と呼ぶ。このグローバルベクトル探索方式は、カメラの向きを検出する加速度センサ等を搭載したビデオカメラに搭載した場合に都合が良い。すなわち、その加速度センサからの信号に基づき、サーチウィンドウの中心位置を設定できるからである。

図４は、フレームメモリ１０１の領域分割の例を示す図である。フレームメモリ１０１は、入力画像の領域と、後述する参照画像の領域が成分ごとに複数フレーム格納できるように分割されている。

フレームメモリ１０１には、不図示のＣＣＤ等の撮像素子で撮像して得られた４：４：４フォーマットの動画像ＲＧＢ信号が、色成分ごとに入力画像の領域に順次格納される。

探索方式決定部１１５は仮符号化時に決定した動き探索方式を動き探索部１０２に設定する。また、この仮符号化時の動き探索の決定方法の詳細については後述する。

動き探索部１０２はフレームメモリ１０１の入力画像の領域から現在マクロブロックの映像と複数の探索方式から、探索方式決定部１１５によって設定される探索方式を選択し、参照画像の領域から対応するサーチウィンドウの画像を読み出し、動き探索を行う。

なお、探索方式決定部１１５から設定される探索方式とは、例えば、先に説明した原点探索方式、周辺ＭＢ探索方式、あるいはグローバルベクトル探索方式などを指すがその方式は特に問わない。探索範囲の画像データ内で、前記符号化対象ブロックの画像データとのブロックマッチングにより、相関が高い場所を動きベクトルとして決定し、イントラ・インター判定部１０４へ通知する。また、同時に動きベクトルの位置での現在のマクロブロックの画素と参照画像の画素の差分絶対値和をイントラ・インター判定部１０４へ通知する。

イントラ予測部１０３はフレームメモリ１０１の入力画像の領域から、符号化対象ブロックの画像データを読み出す。そして、既に符号化済みの符号化対象ブロック周辺の画素データから生成される複数のイントラ予測画像データとの相関を基にイントラ予測方式を選択してイントラ・インター判定部１０４へ通知する。また、選択されたイントラ予測方式での予測画像の画素と現在のマクロブロックの画素の差分絶対値和をイントラ・インター判定部１０４へ通知する。

イントラ・インター判定部１０４は、動き探索部１０２の差分絶対値和とイントラ予測部１０３の差分絶対値和を入力し、小さい方の予測方法を選択して、予測画像生成部１０５へ通知する。予測画像生成部１０５は、入力された予測方法に従って予測画像を生成し、減算器１０６へ出力する。減算器１０６は、符号化対象の画像と予測画像との差分を計算し、差分画像データを生成し、直交変換部１０７に出力する。

直交変換部１０７は、入力した差分画像データに対し直交変換を施し、直交変換係数データを生成し、量子化部１０８に出力する。量子化部１０８は、直交変換部１０７により直交変換された直交変換係数データに対して量子化処理を行う。そして、エントロピー符号化部１０９は、量子化部１０８の量子化で得られた変換係数にCAVLC、CABACなどのエントロピー符号化を施して、符号化データとして出力する。なお、エントロピー符号化部１０９で生成された符号化データのストリームは、書込み可能なメモリカードやディスクに書込まれることになる。

また、量子化部１０８により量子化された変換係数データは、逆量子化部１１０にも供給される。逆量子化部１１０は、入力された変換係数を逆量子化する。逆直交変換部１１１は、逆量子化されたデータを対して逆直交変換処理を施し、差分画像データを生成する。加算器１１２には、逆直交変換されたデータと、予測画像生成部１０５により生成された予測画像データとが入力されて加算される。加算後のデータは復号された再構成画像データとなり、前述したイントラ予測部１０３、および、予測画像生成部１０５に入力されてイントラ予測画像データの生成に用いられる。

また、再構成画像データは、ループ内フィルタ１１３によって符号化歪の軽減処理が施され、インター符号化の際に用いる参照画像データとしてフレームメモリ１０１の参照画像の領域に格納される。

続いて本実施形態の特徴である動き探索方式決定が行われる仮符号化について図５を用いて説明する。実施形態は、ビデオカメラに適用した例を説明しているので、以下に説明する処理は不図示の操作部より録画開始ボタンが操作されたことをトリガーにして実行されるものとする。

図５は本発明の符号化装置の処理のタイミング図である。横軸は時間軸であり、１区間は画像フレームの１フレーム期間を示している。またT0からT11はそれぞれのフレーム期間を示している。Frame0〜Frame8はフレームメモリ１０１の入力画像領域に保存される入力フレームを表している。なお、Frame0は符号化開始時に最初に入力されるフレームを示している。本実施形態では１ＧＯＰ（Group Of Pictures)を９フレームとし、符号化ピクチャを符号化順に並べると「IBBPBBPBB」となり、入力順に並べると「BBIBBPBBP」となるものとする。図中の矢印は画像が入力される期間と読み出される期間を対応付けており画像フレームの流れを示している。破線の矢印は仮符号化を行うデータの流れを示している。録画開始ボタンが操作された際の初期段階の予め設定された枚数分（少なくとも２枚）のフレーム画像については仮符号化を行う。この仮符号化は動き探索方式を決定するためだけに実施されるため、ここで実施した符号化はストリームとして記録されない。また、動き探索方式決定はこの仮符号化時に実施される。実線は本符号化時のデータを示しており、ここでの符号化はストリームとして記録される。なお、本実施形態は１ＧＯＰを９フレームとしたが１５フレームなどその他のフレーム数であっても同様の方式をもって仮符号化は実現できる。これは単なる例であることに注意されたい。

次に、実施形態の特徴である動き探索方式決定方法について図１、図５を用いて説明する。

図５における期間T0においては符号化開始直後の１番目の画像フレームframe0がフレームメモリ１０１に書き込まれる。なお、この期間には符号化処理は行われない。

次に期間T1において画像フレームframe1をフレームメモリ１０１に書き込む。期間T1では、フレームメモリ１０１からframe0を読み出してＩピクチャによる仮符号化を行う。ここで、期間T1では、少なくともframe0のＧ成分について仮イントラ符号化を行えば良いが、期間T1内にframe0のＲ成分やＢ成分まで仮イントラ符号化しても良い。なお、仮符号化時の符号化処理は前述の符号化処理とほぼ同様であるがエントロピー符号化した結果はストリームとして出力しない。あるいはエントロピー符号化は行わない。次に期間T2において、frame2をフレームメモリ１０１に書き込む。期間T2では、フレームメモリ１０１からframe1を読み出して、仮イントラ符号化された後のframe0のＧ成分の参照画像を用いて、Pピクチャによる仮符号化を行う。

探索方式決定部１１５は動き探索部１０２に対して、まず原点探索方式を用いて動き探索を行うよう探索方式を設定する。

動き探索部１０２はフレームメモリ１０１からframe1のＧ成分の入力画像領域から現在マクロブロックの映像を読み出す。更に、当該Ｇ成分の参照画像領域からT1期間に符号化した参照画像の現在マクロブロック位置を中心とするサーチウィンドウの映像を読み出し、動き探索を行う。そして、動きベクトルの位置での現在のマクロブロックの画素と参照画像の画素の差分絶対値和（先に示したＭＡＥ）をフレーム差分絶対値和演算部１１４へ通知する。なお、動き探索以降の符号化処理については実施しても良いし、実施しなくても良い。エントロピー符号化まで実施した場合には符号化した結果はストリームとして出力しない。

フレーム差分絶対値和演算部１１４は動き探索部１０２から通知されるマクロブロック単位の差分絶対値和を受信し、Ｇ成分１フレーム分加算していく。そして、フレーム差分絶対値和演算部１１４は原点探索方式におけるＧ成分１フレーム分の差分絶対値和を演算し、探索方式決定部１１５に通知する。

探索方式決定部１１５は、フレーム差分絶対値和演算部１１４から通知される差分絶対値和を保持し、続いて動き探索部１０２に対して、周辺ＭＢベクトル探索方式を用いて動き探索を行うよう探索方式を設定する。

期間T2内の仮符号化では、次にframe1のＲ，Ｂ成分を仮符号化するのではなく、再度Ｇ成分のPピクチャによる仮符号化を行う。すなわち、Ｒ又はＢ成分の符号化可能時間を使って、Ｇ成分の２回目の仮符号化を行うのである（複数回の仮のインター符号化）。動き探索部１０２はフレームメモリ１０１からＲ，Ｂ成分ではなく再度Ｇ成分の入力画像領域から現在マクロブロックの映像を読み出す。また、同様にＧ成分の参照画像領域からT1期間に符号化した参照画像の一つ前のマクロブロックで求めた動きベクトル位置を中心とするサーチウィンドウの映像を読み出し、動き探索を行う。そして、動きベクトルの位置での現在のマクロブロックの画素と参照画像の画素の差分絶対値和をフレーム差分絶対値和演算部１１４へ通知する。なお、動き探索以降の符号化処理については実施しても良いし、実施しなくても良い。エントロピー符号化まで実施した場合には符号化した結果はストリームとして出力しない。

フレーム差分絶対値和演算部１１４は動き探索部１０２から通知されるマクロブロック単位の差分絶対値和を受信し、Ｇ成分１フレーム分加算していく。そして、フレーム差分絶対値和演算部１１４は、周辺ＭＢベクトル探索方式でのＧ成分１フレーム分の差分絶対値和を演算し、探索方式決定部１１５に通知する。

探索方式決定部１１５はフレーム差分絶対値和演算部１１４から通知される差分絶対値和を保持する。そして探索方式決定部１１５は、続いて動き探索部１０２に対して、グローバルベクトル探索方式を用いて動き探索を行うよう探索方式を設定する。

期間T2内の仮符号化では、再度Ｇ成分のＰピクチャによる仮符号化を行う。すなわち、Ｒ又はＢ成分の符号化可能時間を使って、Ｇ成分の３回目の仮符号化を行うのである。動き探索部１０２はフレームメモリ１０１から再度Ｇ成分の入力画像領域から現在マクロブロックの映像を読み出す。また、同様にＧ成分の参照画像領域からＴ１期間に符号化した参照画像のグローバルベクトル位置を中心とするサーチウィンドウの映像を読み出し、動き探索を行う。そして、動きベクトルの位置での現在のマクロブロックの画素と参照画像の画素の差分絶対値和をフレーム差分絶対値和演算部１１４へ通知する。なお、動き探索以降の符号化処理については実施しても良いし、実施しなくても良い。エントロピー符号化まで実施した場合には符号化した結果はストリームとして出力しない。

フレーム差分絶対値和演算部１１４は動き探索部１０２から通知されるマクロブロック単位の差分絶対値和を受信し、Ｇ成分１フレーム分加算していく。そして、フレーム差分絶対値和演算部１１４は、グローバルベクトル探索方式でのＧ成分１フレーム分の差分絶対値和を演算し、探索方式決定部１１５に通知する。

上記のようにして、仮符号化によって、期間T1では、frame0のＧ（さらにＲ，Ｂ）成分の仮イントラ符号化の結果が得られ、期間T2では、frame1のＧ成分について３種類のベクトル探索方式による差分絶対値和が算出される。ベクトル探索方式が３種類であっても、対象とする成分がＧ成分だけにしているので、その演算に係る負担は少なくて済む。探索方式決定部１１５は、この３つの原点探索方式の差分絶対値和、周辺MBベクトル探索方式での差分絶対値和、グローバルベクトル探索方式での差分絶対値和を比較する。そして、一番差分絶対値和が小さい結果を導出した探索範囲（探索方式）を、本符号化の際の探索方式として決定する。すなわち、期間Ｔ３以降では、本符号化及び記録処理を行うことになる。なお、本実施形態では探索方式の決定に差分絶対値和を用いたが差分二乗和（ＭＳＥ）を用いるなどフレーム間の画素差分を用いたものであれば特に方式を問わない。なお、期間Ｔ３以降の符号化処理は前述した仮符号化期間以外での符号化方法と同様のため、説明を省く。なお、動きベクトル探索方式は期間Ｔ２で決定した方式を用いる。

以上の処理の流れを図９のフローチャートを用いて要約する。

図９においてステップST901では最初の入力フレームのＧ成分をＩピクチャで仮符号化する。

ステップST902で複数の探索方式から一つの探索方式を設定する。そして、ステップST903ではST901で仮符号化したＩピクチャを参照フレームとして動き探索を実施する。ステップST904で1フレーム分の差分絶対値和を演算し、探索方式決定部１１５内の不図示のメモリに保持する。以上のST902〜ST904の処理をステップST902で以前に設定した方式とは異なる探索方式を設定し、３回繰り返す。

ST902〜ST904の処理を３度繰り返したらステップST905では実施した３探索方式から１フレーム分の差分絶対値が小さくなる探索方式を選択し、本符号化の際に用いる探索方式として決定する。

以上のように仮符号化時には通常の符号化時のように１フレームの符号化期間内にＲ，Ｇ，Ｂを順に符号化するのではなく、Ｇ成分のみを用いて異なる３つの探索方式で動き探索を行うことで、入力映像に対する適切な探索方式を決定できる。本実施形態では異なる探索方式として原点探索方式、周辺MBベクトル探索方式、グローバルベクトル探索方式を例として挙げたが探索方式はこれに限定されない。

なお１成分のみを用いて探索範囲を決定しているのは同一時刻のフレームにおける各色成分の画像の性質が多くの場合、似通っているためである。また、Ｒ，Ｂ成分ではなくＧ成分を用いるのはＲ，Ｇ，Ｂの３成分のうちＧ成分が最も視覚的に目立つ色成分だからである。なお、仮符号化期間は、本来は符号化をする必要が無い期間のため、仮符号化を行うことによる処理時間の増大や必要なフレーム領域の増大は発生しない。

［第２の実施形態］
本発明の第２の実施形態について、図５、図６、図７を用いて説明する。図６は、本第２の実施形態に係る動画像符号化装置の構成例を示すブロック図である。フレームメモリ１０１に保存する映像が異なる点と代表成分画像生成部６０１が追加された点以外は、第１の実施形態と同じである。それ故、第１の実施形態と同じ構成要素については同一参照符号を付した。

図７は第２の実施形態におけるフレームメモリ１０１の領域分割の例を示す図である。フレームメモリ１０１は、入力画像の領域と、後述する参照画像の領域が成分ごとに複数フレーム格納できるように分割されている。また、本第２の実施形態では更に後述する代表成分画像の領域が２フレーム格納できるように分割されている点が第１の実施形態とは異なる。

図５における符号化開始直後の期間T0、T1において撮像して得られた４：４：４フォーマットの動画像Ｒ，Ｇ，Ｂ信号は、成分ごとにフレームメモリ１０１の入力画像の領域に順次格納される。また、これらＲ，Ｇ、Ｂ信号は、代表成分画像生成部６０１へも入力される。代表成分画像生成部６０１は、Ｒ，Ｇ，Ｂ信号から輝度成分を算出し、輝度成分Ｙを代表成分信号として生成する。また、代表成分画像生成部６０１は、代表成分信号の画像をフレームメモリ１０１の代表成分画像の領域に順次格納する。

Ｒ成分,Ｇ成分,Ｂ成分の画素値をそれぞれ、Ｒ，Ｇ，Ｂとしたとき、代表成分信号の画素値（輝度）Ｙは次式により得られる。
Y = 0.2126×R + 0.7152×G + 0.0722×B
なお、代表成分信号を算出する計算式は、例えば、
Y = 0.25×R + 0.6875×G + 0.0625×B
など近似化したものでもよく、特にここに示したものに限られない。

本第２の実施形態では第１の実施形態で示した仮符号化で用いる代表色成分のＧ成分に代わって、代表成分Ｙに対して行う。

すなわち期間T1におけるＩピクチャによる仮符号化および期間T2における動き探索を代表成分Ｙで実施する。なお、仮符号化で用いる色成分が変更される点以外は第１の実施形態と同様のため以降の説明は省く。

以上のように仮符号化時に用いる色成分をＧ成分に代わってより視覚的に目立つ輝度成分を動き探索に用いることでより適切な探索方式を選択することができる。また、被写体が人物の場合は肌色を用いるなど主要被写体に占める色成分をＧ成分に代えて使用する色成分にしても良い。なお、その場合の被写体認識の手法については特に問わない。

［第３の実施形態］
第３の実施形態について、図５、図８を用いて説明する。図８は、本第３の実施形態に係る動画像符号化装置の構成例を示すブロック図である。フレームメモリ１０１に保存する代表成分画像が異なる点と代表成分決定部８０１が追加された点以外の部分は、上記の第２の実施形態と同じである。

代表成分決定部８０１は、撮像して得られた４：４：４フォーマットの動画像Ｒ，Ｇ，Ｂ信号から、各成分のフレームにおける分散値を算出し、最も分散値が大きい成分を代表成分として決定し、代表成分画像生成部６０１へ通知する。代表成分画像生成部６０１は、通知された代表成分に従って代表成分を生成し、フレームメモリ１０１の代表成分画像の領域に格納する。

なお、ここでは、代表画像として１つの成分を選択した。ただし、これに限定されない。すなわち、代表成分画像生成部６０１が、Ｒ成分,Ｇ成分,Ｂ成分の画素値をそれぞれ、Ｒ、Ｇ、Ｂとし、代表成分信号の画素値をＹとして、
Y = Kr×R + Kg×G + Kb×B
の計算により算出する場合の、Kr、Kg、Kbを決定するようにしてもよい。この場合、各成分の分散値の大きさの割合に応じて、前記Kr、Kg、Kbを決定する。

本第３の実施形態では第１の実施形態で示した仮符号化で用いる色成分として、以上の演算で求めた代表成分Ｙで行う。

すなわち期間T1におけるIピクチャによる仮符号化および期間T2における動き探索を代表成分Yで実施する。なお、仮符号化で用いる色成分が変更される点以外は第１、第２実施形態と同様のため以降の説明は省く。

分散値が高い色成分は同一量子化値で符号化した際に発生符号量が多くなってしまうことが多い。そこで本第３の実施形態のように分散値が高い色成分を重視した動き探索をすることで全体としての発生符号量を抑制し、符号化効率を高めることが期待できる。

なお、本第３の実施形態の手法は、特にＲ，Ｇ，Ｂそれぞれの分散値がバラついた場合に有効である。多くの場合、Ｒ，Ｇ，Ｂの分散値が近くなるため、Ｒ，Ｇ，Ｂの分散値のばらつきが、予め設定した閾値の範囲に収まる通常時は第１、第２の実施形態の方式を用いる。Ｒ、Ｇ，Ｂのばらつきが閾値の範囲に収まらない場合のみ本第３の実施形態の方式を用いるなど、第１、第２の実施形態と組み合わせてもよい。

[第４の実施形態］
上記第１乃至第３の実施形態では、仮符号化を行ない、その過程で本符号化で採用する動きベクトルの探索方式を決定した。

一般に、符号化処理における符号量制御に着目すると、ある決められた初期値を用いる。そのため仮符号化時の符号化パラメータが、入力されてくる画像によっては適切ではなかったという問題が発生する可能性がある。適切ではない量子化パラメータを用いて符号化を行うと、発生符号量や複雑度等の符号化結果の信頼性が落ちるという問題が発生する。そこで、本第４の実施形態では、RGB 4:4:4フォーマットに対応した符号化において、仮符号化における符号化パラメータの信頼性を向上させる。その結果、本符号化開始後の画質を向上させることを可能にする。

図１０は本第４の実施形態によるビデオカメラに搭載される動画像符号化装置のブロック図である。ここでは、RGB4:4:4フォーマットの画像をH.264符号化方式を用いて実現する符号化装置を例に示している。

まず、通常の本符号化動作（本符号化処理）について説明する。符号化対象の画像データはフレームバッファ１１０１に格納される。フレームバッファ１１０１に格納されたＲ成分、Ｇ成分、Ｂ成分それぞれの画像は、符号化回路１１０２、符号化回路１１０３、符号化回路１１０４に独立に出力することが可能である。例えば、符号化回路１１０２にＲ成分、符号化回路１１０３にＧ成分、符号化回路１１０４にＢ成分を出力することも可能である。また、場合によっては、符号化回路１１０２、符号化回路１１０３、符号化回路１１０４の全てにＧ成分を出力することも可能である。本符号化動作時には、符号化回路１１０２にＲ成分、符号化回路１１０３にＧ成分、符号化回路１１０４にＢ成分を供給し、それぞれが入力された色成分に対して符号化動作を行う。

符号化回路１１０２、符号化回路１１０３、符号化回路１１０４は、それぞれ一つの色成分の符号化を行う回路であり、同じ構成を取る。符号化した結果の符号化ストリームはストリームバッファ１１０５にそれぞれ出力される。また、符号化を行った際の情報を符号化制御部１１０６に出力する。この情報とは、発生符号量、平均量子化ステップサイズなどである。

符号化回路１１０２、符号化回路１１０３、符号化回路１１０４から出力された各色成分の符号化ストリームは、ストリームバッファ１１０５にて、まとめて１本の符号化ストリームとして格納され、出力される。

符号化制御部１１０６は、受け取った符号化情報から、目標符号量や、量子化ステップサイズ等の符号化パラメータを決定し、符号化回路１１０２、符号化回路１１０３、符号化回路１１０４へ出力する。

符号化回路１１０２の内部構成を図１１に示し、以下、その構成と処理内容を説明する。他の符号化回路１１０３、１１０４は同じであるものとし、その説明は省略する。なお、符号化フレームバッファ１２０１、および参照フレームバッファ１２１１は、図１０のフレームバッファ１１０１で構成されることになる。

符号化対象の画像データ（１つの色成分の画像データ）は符号化フレームバッファ１２０１に入力される。動き予測部１２０２では、符号化フレームバッファ１２０１に格納されている符号化対象画像と、参照フレームバッファ１２１１に格納されている参照画像との間で、ブロックマッチングをとり、動きベクトル検出を行う。そして、動き予測部１２０２は、符号化対象の画像と、検出された動きベクトル位置の予測画像との間で画素の差分をとり、その差分画像を直交変換部１２０３に出力する。またローカルデコード画像作成用に、動きベクトル検出位置の予測画像を動き補償部１２０９にも出力する。

直交変換部１２０３では、送られてきた差分画像に対して離散コサイン変換を行い、変換係数データを生成し、量子化部１２０４に出力する。量子化部１２０４では、直交変換部１２０３から送られてきた変換係数データに対して、量子化制御部１２０５が出力する量子化ステップサイズに従い、量子化を行う。量子化された変換係数データは符号化ストリーム作成のためエントロピー符号化部１２０６、ならびにローカルデコード画像作成のため逆量子化部１２０７に出力される。

エントロピー符号化部１２０６は、量子化後の変換係数に対してジグザグスキャン、オルタネートスキャン等を行い、可変長符号化を行なう。エントロピー符号化部１２０６は、更に動きベクトルや量子化ステップサイズ、符号化対象ブロックの分割情報などの符号化方式情報を可変長符号化されたものを付加し、符号化ストリームを生成する。また符号化の際に符号化対象ブロックごとの発生符号量を算出し、量子化制御部１２０５に出力する。

量子化制御部１２０５は、量子化ステップサイズを決定する。量子化ステップサイズの決定方法には、目標符号量による符号量制御方法と、固定量子化ステップサイズを用いる制御方法がある。目標符号量による符号量制御方法では、エントロピー符号化部１２０６から送られてくる発生符号量を用いて、目標とする符号量になるように量子化ステップサイズを決定し、量子化部１２０４に出力する。本符号化時には、この目標符号量による符号量制御方法が用いられる。

固定量子化ステップサイズを用いる制御方法では、ピクチャごとに符号化開始時に符号化制御部１１０６から与えられた量子化ステップサイズを常に量子化部１２０４に出力する。

逆量子化部１２０７は、量子化部１２０４から送られてきた量子化後の変換係数に対して逆量子化を行い、ローカルデコード用の変換係数を生成する。この変換係数は逆直交変換部１２０８に出力される。逆直交変換部１２０８は、送られてきた変換係数に対して逆離散コサイン変換を行い差分画像を生成する。生成された差分画像は動き補償部１２０９に出力される。動き補償部１２０９は、動き予測部１２０２から送られてきた動きベクトル位置の予測画像と、逆直交変換部１２０８から送られてきた差分画像を加算することにより、ローカルデコード用の画像データを生成する。生成された画像データはデブロッキングフィルタ部１２１０に出力される。

デブロッキングフィルタ部１２１０は、送られてきた画像データに対してデブロッキングフィルタをかける。デブロッキングフィルタ後の画像が、ローカルデコード画像として参照フレームバッファ１２１１に格納される。このような動作により、符号化ストリーム、ローカルデコード画像が作成される。

以上、符号化回路１１０２について説明したが、符号化回路１１０３、符号化回路１１０４も同様の構成と処理を行う。

次に符号化制御部１１０６の動作について説明する。実施形態における符号化制御部１１０６は、ユーザが不図示の操作部より録画開始指示の入力を検出すると、１つの色成分に対し仮符号化を行ない、その仮符号化の処理にて符号化パラメータを決定する。そして、それ以降は符号化パラメータに従って、本符号化を行ない、記録を行う。仮符号化に係る処理は、後述するように２つのフレーム分の期間の微少時間であるので、ユーザに違和感を与えることはない。

図１２は、本第４の実施形態における符号化制御部１１０６の構成を示している。

複雑度演算部１３０１は、符号化結果の情報から符号化対象となった画像の複雑度を演算する。代表的な画面複雑度の演算方法は、発生符号量と平均量子化ステップサイズの積である。演算された画面複雑度は、符号化パラメータ制御部１３０３に渡される。

信頼性評価部１３０２は、画面複雑度の信頼性を算出する。信頼性の評価方法としては様々なものが考えられる。例えば、量子化ステップサイズを一定にして符号化を行った場合では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの発生符号量の比率があらかじめ決められた比率に近いものを信頼性が高いと評価することができる。また、目標符号量を定めて符号量制御を行った場合では、ＳＮ比の良いものを信頼性が高いと評価することができる。ここでは、画面複雑度の信頼性の算出方法は、どのようなものを用いても良いとする。

算出された画面複雑度の信頼性評価値は符号化パラメータ制御部１３０３に出力される。

符号化パラメータ制御部１３０３では、画面複雑度を用いて符号量制御用の目標符号量の算出を行う。

符号量制御方法の代表的な方式としてTestModel方式というものがある。これは、１ＧＯＰ単位でほぼ同じ符号量になるように以下のように制御を行う。

目標ビットレートをBitRate，１秒当たりのフレーム数をPictureRate、1GOPのフレーム数をNとすると、1GOPに割り当てられる符号量Rは以下の式で与えられる。
R=（BitRate/PictureRate）×N …（１）
式（１）で求められた1GOPの符号量Rを1GOP内のピクチャ毎に配分を行う。各ピクチャへの配分は、符号化を行うフレーム毎に次のように行われる。まず、Iピクチャ、Pピクチャ、Bピクチャの画面複雑度を既に符号化された同タイプのピクチャの符号化結果より求め、それぞれXi、Xp、Xbとする。

次にGOP内の符号化していないPピクチャ、Bピクチャのフレーム数をNp、Nbとし、Iピクチャに対するPピクチャ、Bピクチャの量子化ステップサイズの設定比率をそれぞれKp、Kbとする。

各ピクチャの目標符号量をTi、Tp、Tbは次の式（２）乃至（４）で求められる。

なお、符号量Ｒは１フレームの符号化が終了するごとに、そのフレームで実際に発生した発生符号量を減算する。また、ＧＯＰの先頭で符号化を開始するときに、式（１）の値を加算する。

以上のようにして、符号化パラメータ制御部１３０３では、ピクチャの目標符号量を算出している。

次に、仮符号化の処理について図１３を用いて説明する。図１３はピクチャごとの符号化処理のタイミングを示したものである。横軸は時間軸であり、１区間は画像フレームの１フレーム期間を示している。またＴ０からＴ７はそれぞれのフレーム期間を示している。

Ｆ０〜Ｆ７は符号化フレームバッファ１２０１に保存される入力画像を表している。なお、Ｆ０は記録開始の指示を受けた際の最初に入力されるフレームを示している。

本第４の実施形態でのＧＯＰ構造は、符号化ピクチャを符号化順に並べると「IBBPBBPBB」となり、入力順に並べると「BBIBBPBBP」となるものとする。図中の矢印は画像が入力される期間と符号化が行われる期間を対応付けており、画像の流れを示している。特に破線の矢印は仮符号化されるフレームと期間の対応関係を示している。

仮符号化処理は符号化結果の情報を得るためだけに行われるため、ここで得られた符号化ストリームは記録されない。また、仮符号化処理は、所定の値を用いた固定量子化ステップサイズによる制御方法を用いるものとする。そして、仮符号化に後続して本符号化処理が行われ、ここで得られた符号化ストリームが記録されることになる。

まず、Ｔ０期間に符号化開始直後の最初の画像であるＦ０が符号化フレームバッファ１２０１に入力される。

次に、Ｔ１期間に画像Ｆ１が符号化フレームバッファ１２０１に入力される。このとき、先に入力されている画像Ｆ０をＩピクチャとして仮符号化を行う。仮符号化の結果である発生符号量を符号化制御部１１０６に出力する。

続いて、Ｔ２期間に画像Ｆ２が符号化フレームバッファ１２０１に入力される。このとき、先に入力されている画像Ｆ１をＰピクチャとして仮符号化を行う。仮符号化の結果である発生符号量を符号化制御部１１０６に出力する。このＴ１期間とＴ２期間が仮符号化処理の期間となる。

符号化制御部１１０６では画像Ｆ０と画像Ｆ１の発生符号量、平均量子化ステップサイズを用いて、Iピクチャの画面複雑度Xi、Pピクチャの画面複雑度Xpを算出する。固定量子化ステップサイズによる制御方法なので、仮符号化時に指定した量子化ステップサイズがそのまま平均量子化ステップサイズとなる。Bピクチャの画面複雑度Xbは、Xpに所定の係数を乗じて算出する。

このようにして算出されたXi、Xp、Xbを用いて、本符号化処理用の目標符号量を算出する。Ｔ３期間以降、算出された目標符号量を用いて本符号化処理が行われる。

次に、本実施形態の仮符号化の方式について説明する。本実施形態の特徴は、Ｒ成分、Ｇ成分、Ｂ成分に対してそれぞれ別々に仮符号化処理を行わない。その変わり、３つの色成分から代表成分を１つ選択し、その代表成分に対して３つの符号化回路１１０２乃至１１０４により３種類の符号化パラメータを用いて仮符号化処理を行う。各成分は相関が強いと考えられるので、各成分でそれぞれ1種類の符号化パラメータを用いて仮符号化を行うより、１つの色成分に対して３種類の符号化パラメータを用いて仮符号化を行うことで、仮符号化の精度向上を図っている。

仮符号化処理期間である、Ｔ１期間とＴ２期間では、フレームメモリ１０１は、代表成分としてＧ成分を符号化回路１１０２、符号化回路１１０３、符号化回路１１０４の全てに出力する。

各符号化回路で同じ入力画像に対して、異なる量子化ステップサイズを用いて仮符号化を行う。例えば、符号化回路１１０２には、符号化パラメータ１としてＩピクチャの量子化ステップサイズとしてのＱi0、Ｐピクチャの量子化ステップサイズとしてのＱp0を設定する。符号化回路１１０３には、符号化パラメータ２としてＩピクチャの量子化ステップサイズとしてのＱi1、Ｐピクチャの量子化ステップサイズとしてのQp1とする。符号化回路１１０４には、符号化パラメータ３としてＩピクチャの量子化ステップサイズとしてのＱi2、Ｐピクチャの量子化ステップサイズとしてのＱp2を設定する。

Ｑi0、Ｑi1、Ｑi2は全て異なる値であり、Ｑp0、Ｑp1、Ｑp2も全て異なる値である。例えば、それらの値は次式（５）、（６）の関係とする。
Qi0 ＜ Qi1 ＜ Qi2 … （５）
Qp0 ＜ Qp1 ＜ Qp2 … （６）
このようにして期間Ｔ１、Ｔ２にて仮符号化を行い、その結果である発生符号量が符号化制御部１１０６に出力される。

符号化制御部１１０６では、各符号化回路から発生符号量を受け取り、複雑度演算部１３０１で発生符号量、および仮符号化時の量子化ステップサイズから画面複雑度を算出する。また、信頼性評価部１３０２で、各複雑度に対する信頼度を算出する。

算出された各符号化パラメータに対する画面複雑度、および信頼度は符号化パラメータ制御部１３０３に供給される。

符号化パラメータ制御部１３０３は、各画面複雑度に対する信頼度から、最も信頼度の高い画面複雑度を選択する。その画面複雑度を用いて本符号化処理用の目標符号量を算出する。

具体的には、仮符号化処理の期間Ｔ１にて符号化回路１１０２、１１０３、１１０４が生成したＧ成分のＩピクチャの符号量をＡi1,Ａi2,Ａi3と表わす。また、期間Ｔ２にて符号化回路１１０２、１１０３、１１０４が生成したＧ成分のＰピクチャの符号量をＡp1,Ａp2,Ａp3と表わす。このとき、それぞれの回路におけるＩピクチャとＰピクチャの符号量の比Ｒ１乃至Ｒ３を求める。
Ｒ１＝Ａi1／Ａp1
Ｒ２＝Ａi2／Ａp2
Ｒ３＝Ａi3／Ａp3
そして、この３つの中から、予め設定されたＩピクチャとＰピクチャとの符号量の理想とする比Ｒ０に最も近い比率がいずれであるのかを判定する。例えば、Ｒ０／Ｒｉ（ｉ＝１，２，３のいずれか）の中で最も“１．００”に近い「ｉ」を求める。

ここで、仮にｉ＝２、すなわち、Ｒ２が理想比率Ｒ０に最も近かったとする。この場合、符号化パラメータ制御部１３０３は、複雑度演算部１３０１が算出した中で、２つ目の符号化回路１１０３から得られた符号化データ量に基づいて求めた複雑度Ｘi,Ｘp,Ｘbを先に示した式（２）乃至（４）に当てはめる。そして、Ｉ，Ｐ，Ｂピクチャそれぞれの目標符号量Ｔｉ、Ｔｐ，Ｔｂを決定する。この後、本符号化処理では、この目標符号量Ｔｉ，Ｔｐ，Ｔｂに従い、本符号化処理を実行することになる。

以上説明したように、本第４の実施形態によれば、仮符号化時に３つの色成分から１つの代表成分を選択し、その代表成分に対して３種類の異なる符号化パラメータを用いて仮符号化を行い、仮符号化結果の精度を向上することができる。精度の高い仮符号化結果を用いて本符号化処理用の目標符号量算出を行うことにより、目標符号量の精度が向上し、発生符号量と画質とのバランスが良好な符号化データを生成することができる。

なお、本第４の実施形態においては、仮符号化時に固定量子化ステップサイズによる制御方法を用いたが、目標符号量による符号量制御方法を用いてもよい。また、本第４の実施形態においては３つの符号化回路を用いて並列に動作する場合について説明したが、構成はこれに限ったものではなく、1つの符号化回路を用いて色成分ごとに3回処理をするような構成を取ってもよい。

［第５の実施形態］
本第５の実施形態における符号化装置のシステム構成を図１４に示す。ここでは、第４の実施形態との差異についてのみ詳細に説明する。第４の実施形態との違いは、あらかじめ各色成分の相関を検出し、各色成分の相関が強いかどうかによって仮符号化の方式を選択することにある。そのため、本第５の実施形態では、相関検出部１５０１を設けた。

相関検出部１５０１には、符号化対象画像と同じ画像が入力される。入力された画像のうち、仮符号化を行う先頭の画像を対象にＲ成分、Ｇ成分、Ｂ成分の各色成分間で相関度が強いかどうかの検出を行う。

また、これに伴い、図１３におけるＴ０期間に画像Ｆ０が相関検出部１５０１に入力され、Ｒ成分、Ｇ成分、Ｂ成分の各色成分間で相関が強いかどうかの検出を行い、検出結果を符号化制御部１１０６に出力する。相関度の検出方法には、さまざまなものが考えられる。例えば、Ｒ，Ｇ，Ｂの各成分の標準偏差σr,σg,σbを求め、予め設定された閾値Ｔ１と関係が、次式を満たす場合に相関度が高いと判定する。
｜σr−σg｜≦Ｔｈ１
｜σr−σb｜≦Ｔｈ１
｜σg−σb｜≦Ｔｈ１
また、決められたブロック単位で、画素値の分差値を取得し、その画面全体の合計値を比較することにより相関が強いかどうか検出することができる。ここでは、相関性の検出方法はどんな方法を用いてもよいとする。

符号化制御部１１０６では、各色成分間の相関性の検出結果によって、仮符号化の方式を選択する。各色成分間の相関が強い場合は、第４の実施形態で説明したように３つの色成分から代表成分を選択し、３種類の異なる符号化パラメータを用いて仮符号化を行う。各色成分の相関が強いため、代表成分を用いた仮符号化の結果を各色成分の本符号化処理で用いることができる。

各色成分の相関が強くない場合は、各色成分ごとにあらかじめ決められた符号化パラメータを用いて仮符号化を行い、その結果を各色成分ごとの本符号化処理に用いる。各色成分の相関が強くないため、代表成分を用いて仮符号化を行うよりも、各色成分ごとに仮符号化を行う方が良い結果が得られる。

以上の動作を図１５のフローチャートに示し、説明する。

まず、入力画像の先頭の画像を用いて、Ｒ成分、Ｇ成分、Ｂ成分の各色成分間で相関が強いかどうかの検出を行う（Ｓ６０１）。各色成分間の相関が強い場合（Ｓ６０２）、Ｇ成分を代表成分として３種類の符号化パラメータを用いて仮符号化を行う（Ｓ６０３）。その仮符号化のうち、最も信頼度の高い仮符号化結果を用いて複雑度を算出する。それをＲ成分、Ｇ成分、Ｂ成分の複雑度として適用する（Ｓ６０４）。

各色成分の相関が強くない場合、Ｒ成分、Ｇ成分、Ｂ成分でそれぞれ独立に仮符号化を行う（Ｓ６０５）。Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの仮符号化の結果から、それぞれ独立に複雑度を算出する（Ｓ６０６）。

そして、算出された複雑度を用いて、本符号化用の目標符号量を算出し、本符号化を行う（Ｓ６０７）。

以上のように、画像の各色成分の相関の強さに応じて仮符号化の方式を選択することにより、入力画像に対して適した仮符号化を行うことができる。仮符号化を適切に行うことにより、本符号化の目標符号量算出の精度が高くなり、良好な画像を得ることができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. 動画像を構成する各フレーム画像を、各色成分ごとに独立して符号化する動画像符号化装置であって、
   符号化の開始指示が与えられた際の初期段階の予め設定された枚数分のフレーム画像については、１つの色成分の画像データについて互いに異なる複数の探索範囲に従って動きベクトルを求めて仮符号化を行う仮符号化手段と、
   該仮符号化手段による各探索範囲について最も誤差の小さいベクトルとなった探索範囲を、前記仮符号化手段に後続して実行される本符号化処理における各色成分の動きベクトルの探索範囲として決定する決定手段とを有し、
   前記動画像を構成する各フレームはＲ成分、Ｇ成分、Ｂ成分の３つの色成分のデータで構成され、
   前記仮符号化手段は、前記３つの色成分のうちＧ成分の画像データに対して仮符号化を行うことを特徴とする動画像符号化装置。
2. 動画像を構成する各フレーム画像を、各色成分ごとに独立して符号化する動画像符号化装置であって、
   符号化の開始指示が与えられた際の初期段階の予め設定された枚数分のフレーム画像については、１つの色成分の画像データについて互いに異なる複数の探索範囲に従って動きベクトルを求めて仮符号化を行う仮符号化手段と、
   該仮符号化手段による各探索範囲について最も誤差の小さいベクトルとなった探索範囲を、前記仮符号化手段に後続して実行される本符号化処理における各色成分の動きベクトルの探索範囲として決定する決定手段とを有し、
   前記動画像を構成する各フレームはＲ成分、Ｇ成分、Ｂ成分の３つの色成分のデータで構成され、
   前記仮符号化手段は、Ｒ成分、Ｇ成分、Ｂ成分のデータのそれぞれについて、予め設定された評価関数に従って評価して代表成分を決定する代表成分決定手段を有し、該代表成分決定手段で決定した色成分のデータについて仮符号化を行うことを特徴とする動画像符号化装置。
3. 前記決定手段は、符号化対象の画素ブロックの画素値と、各探索範囲より得られた参照ブロックの画素値との差分二乗和又は差分絶対値和を算出し、もっとも小さい値となった参照ブロックを導出した探索範囲を、本符号化処理における各色成分の動きベクトルの探索範囲として決定することを特徴とする請求項１または２に記載の動画像符号化装置。
4. 動画像を構成する各フレーム画像を、各色成分ごとに独立して符号化する動画像符号化装置であって、
   符号化の開始指示が与えられた際の初期段階の予め設定された枚数分のフレーム画像については、１つの色成分の画像データについて互いに異なる量子化パラメータに従って仮符号化を行う仮符号化手段と、
   該仮符号化手段による仮符号化で得られた符号化データに基づき、各量子化パラメータにおける画像の複雑度、及び、各複雑度に対する信頼度を算出する算出手段と、
   該算出手段で算出した最も信頼度の高い複雑度に基づき、動画像の符号化する際の符号化パラメータを決定する決定手段とを有し、
   前記仮符号化手段は、各色成分の画像データの相関度を求め、予め設定した閾値と比較することで、相関度が高いか否かを判定する判定手段を有し、該判定手段で相関度が高いと判定した場合に１つの色成分について仮符号化を実行することを特徴とする動画像符号化装置。
5. 前記量子化パラメータは、量子化ステップのサイズであることを特徴とする請求項４に記載の動画像符号化装置。
6. 前記決定手段は、Ｉ，Ｐ，Ｂピクチャの目標符号量を決定することを特徴とする請求項４又は５に記載の動画像符号化装置。
7. 動画像を構成する各フレーム画像を、各色成分ごとに独立して符号化する動画像符号化装置であって、
   前記各フレーム画像をイントラ符号化又はインター符号化によって符号化する符号化手段と、
   前記符号化手段による符号化の初期段階の少なくとも２枚のフレーム画像について、第１の期間において第１のフレーム画像を前記イントラ符号化によって仮符号化し、前記第１の期間に続く第２の期間において前記第１のフレーム画像とは異なる第２のフレーム画像を前記第１のフレーム画像に基づく参照画像を参照して前記インター符号化によって仮符号化する仮符号化手段と、
   前記仮符号化手段による前記インター符号化による仮符号化の結果に応じて、前記第２の期間に後続する第３の期間で行われる本符号化における方式を決定する決定手段と、を有し、
   前記動画像を構成する各フレームはＲ成分、Ｇ成分、Ｂ成分の３つの色成分のデータで構成され、
   前記仮符号化手段は、前記第２の期間内で、前記第２のフレーム画像の前記３つの色成分のうちＧ成分の画像データに対して複数回のインター符号化による仮符号化を行うことを特徴とする動画像符号化装置。
8. 動画像を構成する各フレーム画像を、各色成分ごとに独立して符号化する動画像符号化装置であって、
   前記各フレーム画像をイントラ符号化又はインター符号化によって符号化する符号化手段と、
   前記符号化手段による符号化の初期段階の少なくとも２枚のフレーム画像について、第１の期間において第１のフレーム画像を前記イントラ符号化によって仮符号化し、前記第１の期間に続く第２の期間において前記第１のフレーム画像とは異なる第２のフレーム画像を前記第１のフレーム画像に基づく参照画像を参照して前記インター符号化によって仮符号化する仮符号化手段と、
   前記仮符号化手段による前記インター符号化による仮符号化の結果に応じて、前記第２の期間に後続する第３の期間で行われる本符号化における方式を決定する決定手段と、を有し、
   前記動画像を構成する各フレームはＲ成分、Ｇ成分、Ｂ成分の３つの色成分のデータで構成され、
   前記仮符号化手段は、Ｒ成分、Ｇ成分、Ｂ成分のデータのそれぞれについて、予め設定された評価関数に従って評価して代表成分を決定する代表成分決定手段を有し、前記第２の期間内で、前記第２のフレーム画像の該代表成分決定手段で決定した色成分のデータについて複数回のインター符号化による仮符号化を行うことを特徴とする動画像符号化装置。
9. 前記決定手段は、前記本符号化の際の動きベクトルの探索方式を決定することを特徴とする請求項７または８に記載の動画像符号化装置。
10. 動画像を構成する各フレーム画像を、各色成分ごとに独立して符号化する動画像符号化装置の制御方法であって、
    符号化の開始指示が与えられた際の初期段階の予め設定された枚数分のフレーム画像については、１つの色成分の画像データについて互いに異なる複数の探索範囲に従って動きベクトルを求めて仮符号化を行う仮符号化工程と、
    該仮符号化工程による各探索範囲について最も誤差の小さいベクトルとなった探索範囲を、前記仮符号化工程に後続して実行される本符号化処理における各色成分の動きベクトルの探索範囲として決定する決定工程とを有し、
    前記動画像を構成する各フレームはＲ成分、Ｇ成分、Ｂ成分の３つの色成分のデータで構成され、
    前記仮符号化工程は、前記３つの色成分のうちＧ成分の画像データに対して仮符号化を行うことを特徴とする動画像符号化装置の制御方法。
11. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項１０に記載の動画像符号化装置の制御方法の各工程を実行させるためのプログラム。
12. 動画像を構成する各フレーム画像を、各色成分ごとに独立して符号化する動画像符号化装置の制御方法であって、
    符号化の開始指示が与えられた際の初期段階の予め設定された枚数分のフレーム画像については、１つの色成分の画像データについて互いに異なる量子化パラメータに従って仮符号化を行う仮符号化工程と、
    該仮符号化工程による仮符号化で得られた符号化データに基づき、各量子化パラメータにおける画像の複雑度、及び、各複雑度に対する信頼度を算出する算出工程と、
    該算出工程で算出した最も信頼度の高い複雑度に基づき、動画像の符号化する際の符号化パラメータを決定する決定工程とを有し、
    前記仮符号化工程は、各色成分の画像データの相関度を求め、予め設定した閾値と比較することで、相関度が高いか否かを判定する判定工程を有し、該判定工程で相関度が高いと判定した場合に１つの色成分について仮符号化を実行することを特徴とする動画像符号化装置の制御方法。
13. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項１２に記載の動画像符号化装置の制御方法の各工程を実行させるためのプログラム。
14. 動画像を構成する各フレーム画像を、各色成分ごとに独立して符号化する動画像符号化装置の制御方法であって、
    前記各フレーム画像をイントラ符号化又はインター符号化によって符号化する符号化工程と、
    前記符号化工程による符号化の初期段階の少なくとも２枚のフレーム画像について、第１の期間において第１のフレーム画像を前記イントラ符号化によって仮符号化し、前記第１の期間に続く第２の期間において前記第１のフレーム画像とは異なる第２のフレーム画像を前記第１のフレーム画像に基づく参照画像を参照して前記インター符号化によって仮符号化する仮符号化工程と、
    前記仮符号化工程による前記インター符号化による仮符号化の結果に応じて、前記第２の期間に後続する第３の期間で行われる本符号化における方式を決定する決定工程と、を有し、
    前記動画像を構成する各フレームはＲ成分、Ｇ成分、Ｂ成分の３つの色成分のデータで構成され、
    前記仮符号化工程は、前記第２の期間内で、前記第２のフレーム画像の前記３つの色成分のうちＧ成分の画像データに対して複数回のインター符号化による仮符号化を行うことを特徴とする動画像符号化装置の制御方法。
15. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項１４に記載の動画像符号化装置の制御方法の各工程を実行させるためのプログラム。

Images