JP4034180B2 - Moving picture compression coding apparatus and motion vector detection method - Google Patents

Description

【００１６】
次に、アドレス発生回路２０４は、第１フレームにおける水平方向１画素隣のｍ×ｎブロックすなわち中心座標(x+1,y,1) の二次元ブロックS(x+1,y,1)のアドレスを発生する。誤差計算回路２０２では、同様にσ(x,y)(+1,0) を計算し、誤差比較回路２０３に送る。誤差比較回路２０３では、σ(x,y)(0,0)とσ(x,y)(+1,0) を比較し、小さい方を選択する。以下同様に、−ｈ＜ｘｈ＜ｈ、−ｖ＜ｙｖ＜ｖの範囲でアドレスを逐次変更しながら２次元ブロックの画像データを読み出し、σ(x,y)(xh,yv)を計算する。
【００１７】
誤差比較回路２０３は、以上で計算された誤差σ(x,y)(xh,yv)から最小値をとる誤差σ(x,y)(mx,my)を選択し、同時にアドレスmx，myを出力する。したがって、２次元ブロックS(x,y,2)における動きベクトル２１３はmv(mx, my)となる。以下、第２フレーム内において、複数に分割された２次元ブロックの全てについて上記した動作を繰り返すことにより、第２フレーム内の全ての２次元ブロックの動きベクトルが求まる。
【００１８】
動き補償フレーム間予測回路３０６は、第２フレームについて各２次元ブロック毎に検出した動きベクトルを用いて、第２フレームの動き補償した予測値を２次元ブロック単位で生成する。第２フレームの画像は、まず第１フレームの画像データと第２フレームの動きベクトルから上述した方法で生成した予測値との差分、すなわち予測誤差を計算する。その後、前述した予測誤差をフレーム毎に、第１フレームと同様の方法で符号化する。
【００１９】
以上のような構成により、現フレームを分割した２次元ブロックの位置を中心とする前フレームの所定の動きベクトル検出範囲内で、現フレームを分割した２次元ブロックと同じ大きさの２次元ブロックの画像データを逐次位置を変更しながら抽出し、前フレームの所定の動きベクトル検出範囲内の各２次元ブロックの画像データと現フレームの分割した２次元ブロックの画像データとの誤差計算および前フレームの所定の動きベクトル検出範囲内の位置の異なる２次元ブロックについての誤差比較を行うことにより、現フレームを分割した２次元ブロックに対して画像データの誤差がもっとも最も少ない前フレームの所定の動きベクトル検出範囲内の２次元ブロックの位置を探索し、現フレームを分割した２次元ブロックの位置と現フレームを分割した２次元ブロックに対して画像データの誤差がもっとも最も少ない前フレームの所定の動きベクトル検出範囲内の２次元ブロックの位置とから現フレームを分割した２次元ブロックの前フレームからの画面上の動きを示す動きベクトルを計算することになる。
【００２０】
以上の方法によれば、予測誤差を符号化することになるので、フレーム内符号化のように、画像データを直接符号化する場合に比べ、エネルギーが減少し、さらに高効率な符号化が可能となる。
【００２１】
次に第３フレーム以降の動作について説明する。第３フレーム以降の各フレームの動きベクトルを計算する際に、前フレーム（第３フレームの場合には、第２フレーム）の動きベクトルを、画像の動きの大きさを示す時間的に前に検出された動きベクトル検出範囲決定用情報としてＣＰＵ２０５に入力し、以下に示すような演算処理を行って、アドレス発生回路２０４を制御することにより動きベクトル検出範囲を変更する。
【００２２】
図１３はＣＰＵ５の処理動作を示すフローチャートである。図１３について説明すると、ステップ２１で前フレーム（例えば、第２フレーム）の全２次元ブロックの動きベクトルを読み込み、ステップ２２で通常時の動きベクトル検出範囲の水平方向の最大値ｈを示す動きベクトルの個数をカウントする。ステップ２３で個数が全ブロックの５０以上かどうかを判定し、個数が全ブロックの５０％以上である場合には画像の動きが大きいものとして水平方向の動きベクトル検出範囲を例えば２ｈに拡大する。動きベクトル検出範囲を２倍に拡大するためには、ステップ２４に示したように誤差計算回路２への入力を１サンプル毎に間引いて、すなわち１／２にサブサンプルして入力するようにアドレス発生回路４を制御する。このようにすることにより、各２次元ブロック当たりの計算量は１／２になるので、動きベクトル検出範囲が２倍になっても、総計算量は動きベクトル検出範囲を広げない場合と等しくなる。また、ステップ２５に示すようにｈ／２を超える動きベクトルの個数も同時にカウントしておき、ステップ２６でｈ／２を超える動きベクトルの個数が１０％以下であるか判定し、１０％以下であるときは、動きが少ないものとして動きベクトル検出範囲をｈ／２とする。この場合には、誤差計算回路２へは間引かずに入力する（ステップ２７）。なお、ｈを超える動きベクトルが５０％未満で、かつｈ／２を超える動きベクトルの個数が１０％を超えている場合は、動きベクトル検出範囲の変更を行わず、サブサンプリングは行わない。
【００２３】
上記動作により、画像の動きが大きいときには計算量を増加させることなく動きベクトル検出範囲を広げることが可能となる。一般的に、サブサンプルした画像から動き検出を行うと、動きの検出精度が低下するため画質劣化につながる。しかしながら動きの大きな場合は、動きが追従しないことに起因する画質劣化の方が影響が大きいため、サブサンプルした画像であっても動きベクトル検出範囲を拡大した方が画質は向上する。また、動きの少ないときはサブサンプルしない画像で動き検出を行うので、画質劣化を生ずることはなく、さらに動きベクトル検出範囲を狭めているので、探索に要する処理時間を短くできる。
【００２４】
このように、画像の動きに応じて動きベクトル検出範囲を変えることができ、大きな動きに対応することができてフレーム間差分を小さくすることができ、画質を劣化させない。しかも、動きベクトルの計算のための演算量が増えないので、動きベクトル演算のためのハードウェア量が増えることはない。
【００２５】
【特許文献１】
特開平９−２２４２４９号公報
【特許文献２】
特開平１０−２３４２０号公報
【００２６】
【発明が解決しようとする課題】
しかしながら図１１で説明した従来の動画像圧縮符号化装置では、動きの大きな画像に対しては、適正な動きベクトルを検出することが出来ず、さらに適正な動きベクトル検出範囲を設定することが困難である。
【００２７】
すなわち、図１１で説明した従来の動画像圧縮符号化装置では、図１４に示すように動きベクトル検出範囲３２０に対して、動きベクトル検出範囲３２０の最外周に乗っている動きベクトルＰの個数が全ブロック数の５０％以上になった場合に動きベクトル検出範囲３２０を拡大していた。すなわち、動きベクトル検出範囲３２０の最外周上に乗っている動きベクトルＰのみを検出していた。ところが、動きベクトル検出範囲３２０の最外周に乗っている動きベクトルＰよりも適正な動きベクトルが動きベクトル検出範囲３２０の外部に存在する可能性がある。このような場合であっても、図１１で説明した従来の動画像圧縮符号化装置では、適正な動きベクトルを検出する代わりに動きベクトルＰを検出して用いていた。
【００２８】
すなわち、従来の動画像圧縮符号化装置では、動きの大きな画像に対しては、適正な動きベクトルを検出することが出来ず、さらに適正な動きベクトル検出範囲を設定することは困難であるという課題がある。
【００２９】
本発明は、上記課題を考慮し、動きの大きな画像であっても適正な動きベクトルを検出することが出来、また、適正な動きベクトル検出範囲を設定することが出来る動画像圧縮符号化装置、動きベクトル検出方法、記録媒体、及びプログラムを提供することを目的とするものである。
【００３０】
【課題を解決するための手段】
上述した課題を解決するために、第１の本発明は、入力動画像映像を１フレームに付きＮ（但し、Ｎは２以上の自然数）個に細分化したマクロブロック動画像信号を生成するマクロブロック生成手段（２）と、
前記マクロブロック動画像信号を圧縮符号化した後に復号化して復号化動画像信号を生成する符号復号化手段（１８、１７、３、４、９、１０、１９、２０、１１）と、
前記復号化動画像信号と前記マクロブロック動画像信号とから第１の動きベクトル検出範囲内で動きベクトルを検出する動きベクトル検出手段（１２）と、
検出された前記動きベクトルのうち、前記第１の動きベクトル検出範囲の最外線である第１の最外線と、前記第１の動きベクトル検出範囲の内側にある第２の動きベクトル検出範囲の最外線である第２の最外線との間にある動きベクトルの数を第１の動きベクトルの数としてカウントする動きベクトルカウント手段（１４、１５、１６）と、
カウントされた前記第１の動きベクトルの数に基づいて前記第１の動きベクトル検出範囲を拡大する動きベクトル検出範囲決定手段（１３）とを備えた動画像圧縮符号化装置である。
【００３１】
また、第２の本発明は、前記動きベクトルカウント手段（１４、１５、１６）は、前記第２の動きベクトル検出範囲の内側にある第３の動きベクトル検出範囲内にある動きベクトルの数を第２の動きベクトルの数としてカウントし、
前記動きベクトル検出範囲決定手段（１３）は、カウントされた前記第２の動きベクトルの数に基づいて前記第１の動きベクトル検出範囲を縮小する第１の本発明の動画像圧縮符号化装置である。
【００３２】
また、第３の本発明は、前記動きベクトル検出範囲決定手段（１３）は、カウントされた前記第１の動きベクトルの数が所定の閾値より多い場合、前記第１の動きベクトル検出範囲を拡大し、前記所定の閾値より小さい場合、前記第１の動きベクトル検出範囲を拡大しないまたは前記第１の動きベクトル検出範囲を変更しない第１の本発明の動画像圧縮符号化装置である。
【００３３】
また、第４の本発明は、前記動きベクトル検出範囲決定手段（１３）は、カウントされた前記第１の動きベクトルの数が多いほど前記第１の動きベクトル検出範囲の拡大率を大きくする第１の本発明の動画像圧縮符号化装置である。
【００３４】
また、第５の本発明は、前記動きベクトル検出範囲決定手段（１３）は、カウントされた前記第２の動きベクトルの数が多いほど前記第１の動きベクトル検出範囲の縮小率を大きくする第２の本発明の動画像圧縮符号化装置である。
【００３５】
また、第６の本発明は、前記動きベクトル検出範囲決定手段（１３）は、予め複数種類の動きベクトル検出範囲を有しており、
その複数種類の動きベクトル検出範囲から、カウントされた前記第１の動きベクトルの数が多いほど大きな動きベクトル検出範囲を選択して、前記第１の動きベクトル検出範囲とする第１の本発明の動画像圧縮符号化装置である。
【００３６】
また、第７の本発明は、前記動きベクトル検出範囲決定手段（１３）は、予め複数種類の動きベクトル検出範囲を有しており、
その複数種類の動きベクトル検出範囲から、カウントされた前記第２の動きベクトルの数が多いほど小さな動きベクトル検出範囲を選択して、前記第１の動きベクトル検出範囲とする第２の本発明の動画像圧縮符号化装置である。
【００３７】
また、第８の本発明は、前記動きベクトル検出範囲決定手段（１３）は、前記第１の動きベクトル検出範囲の更新を、Ｐフレーム毎に行う、またはＰフレームをｎ個（但し、ｎ≦Ｎの自然数）に分割した分割単位毎に行い、
前記第１の動きベクトル検出範囲が更新される際、前記動きベクトル検出範囲決定手段は、前記Ｐフレームのまたは前記分割単位のカウントされた前記第１の動きベクトルの数を、前記Ｐフレームにまたは前記分割単位に存在するマクロブロック動画像信号の数で割った数が、所定の閾値以上になった場合に、前記第１の動きベクトル検出範囲を拡大する第１の本発明の動画像圧縮符号化装置であるまた、第９の本発明は、前記動きベクトル検出範囲決定手段（１３）は、前記第１の動きベクトル検出範囲の更新を、Ｐフレーム毎に行う、またはＰフレームをｎ個（但し、ｎ≦Ｎの自然数）に分割した分割単位毎に行い、
前記第１の動きベクトル検出範囲が更新される際、前記動きベクトル検出範囲決定手段は、前記Ｐフレームのまたは前記分割単位のカウントされた前記第２の動きベクトルの数を、前記Ｐフレームにまたは前記分割単位に存在するマクロブロック動画像信号の数で割った数が、所定の閾値以上になった場合に、前記第１の動きベクトル検出範囲を縮小する第１の本発明の動画像圧縮符号化装置である。
【００３８】
また、第１０の本発明は、前記動きベクトル検出手段は、前記第１の動きベクトル検出範囲を拡大する際、前記第２の動きベクトル検出範囲をも拡大する第１、３、４、６、８の本発明のいずれかの動画像圧縮符号化装置である。
【００３９】
また、第１１の本発明は、前記動きベクトル検出手段は、前記第１の動きベクトル検出範囲を縮小する際、前記第３の動きベクトル検出範囲をも縮小する第２、４、７、９の本発明のいずれかの動画像圧縮符号化装置である。
【００４０】
また、第１２の本発明は、入力動画像映像を１フレームに付きＮ（但し、Ｎは２以上の自然数）個に細分化して生成されたマクロブロック動画像信号を圧縮符号化した後に復号化して生成された復号化動画像信号と、前記マクロブロック動画像信号とから第１の動きベクトル検出範囲内で動きベクトルを検出する動きベクトル検出ステップと、
検出された前記動きベクトルのうち、前記第１の動きベクトル検出範囲の最外線である第１の最外線と、前記第１の動きベクトル検出範囲の内側にある第２の動きベクトル検出範囲の最外線である第２の最外線との間にある動きベクトルの数を第１の動きベクトルの数としてカウントする動きベクトルカウントステップと、
前記第１の動きベクトル検出範囲の最外線である第１の最外線と、前記第１の動きベクトル検出範囲の内側にある第２の動きベクトル検出範囲の最外線である第２の最外線であって、前記第１の最外線に隣接する１本もしくは複数本の第２の最外線との上にある動きベクトルの数である第１の動きベクトルの数をカウントする動きベクトルカウントステップと、
カウントされた前記第１の動きベクトルの数に基づいて前記第１の動きベクトル検出範囲を拡大する動きベクトル検出範囲決定ステップとを備えた動きベクトル検出方法である。
【００４１】
また、第１３の本発明は、第１２の本発明の動きベクトル検出方法の、入力動画像映像を１フレームに付きＮ（但し、Ｎは２以上の自然数）個に細分化して生成されたマクロブロック動画像信号を圧縮符号化した後に復号化して生成された復号化動画像信号と、前記マクロブロック動画像信号とから第１の動きベクトル検出範囲内で動きベクトルを検出する動きベクトル検出ステップと、
検出された前記動きベクトルのうち、前記第１の動きベクトル検出範囲の最外線である第１の最外線と、前記第１の動きベクトル検出範囲の内側にある第２の動きベクトル検出範囲の最外線である第２の最外線との間にある動きベクトルの数を第１の動きベクトルの数としてカウントする動きベクトルカウントステップと、
カウントされた前記第１の動きベクトルの数に基づいて前記第１の動きベクトル検出範囲を拡大する動きベクトル検出範囲決定ステップとをコンピュータに実行させるためのプログラムである。
【００４２】
また、第１４の本発明は、第１３の本発明のプログラムを担持した記録媒体であって、コンピュータにより処理可能な記録媒体である。
【００４３】
【発明の実施の形態】
以下に本発明の実施の形態を図面を参照して説明する。
【００４４】
本発明の実施の形態によれば、例えば動きベクトル検出部（手段）で検出した動きベクトルに基づき適応的に求めた動きベクトル検出範囲を、当該動きベクトル検出部（手段）に帰還する構成を備えるため、動きベクトル検出部（手段）による動きベクトルを検出する動きベクトル検出範囲を、入力動画像映像の動きに合わせて設定することができ、より適正な動きベクトルを検出するため動きベクトル検出範囲数（すなわち、モード数）が複数存在する場合であっても回路規模を増大することなく、かつ動きベクトルの検出に際しての精度を向上することができる。
【００４５】
また、本発明の実施の形態によれば、例えば入力動画像映像を細分化した単位で動きベクトル検出範囲を動きベクトル検出部に帰還する構成を備えるため、例えば１フレーム等の入力動画像映像のまとまった単位で入力動画像映像の動きに合わせた動きベクトル検出範囲を動きベクトル検出部に適切に設定でき、精度の高い動きベクトル検出範囲の設定を簡略化することができる。
【００４６】
また、本発明の実施の形態によれば、例えば、適応的に求めた動きベクトル検出範囲の結果を参照し、予め複数種類備えた動きベクトル検出範囲から実際に適用する動きベクトル検出範囲を選択する構成を備えるため、動きベクトル検出部に設定する動きベクトル検出範囲の更新を入力動画像に応じて当該複数種類から自由に合わせることができ、例えば好み等の使用者の意図に合わせた動きベクトル検出が達成できる。また、動きベクトル検出部に設定する動きベクトル検出範囲を、入力動画像映像の動きに合わせた例えば使用者の意図に合わせた動きベクトル検出が達成できる。
【００４７】
また、本発明の実施の形態によれば、例えば、帰還手段が動きベクトル検出範囲決定手段で決定した動きベクトル検出範囲を、動きベクトル検出手段及び切換領域生成手段に帰還する構成を備えるため、動きベクトル検出範囲の設定をより入力動画像映像の動きの速さに追従して決定でき、入力動画像映像の動きに合わせた動きベクトル検出範囲の即時性を高めることができる。
【００４８】
また、本発明の実施の形態によれば、例えば、（動きベクトルが動きベクトル切換領域に存在する数）／（ｎ個の期間に存在するマクロブロック数）が所定の閾値以上になった時、動きベクトル検出範囲を切り換え、切り換えた動きベクトル検出範囲を動きベクトル検出手段と切換領域生成手段とに帰還する構成を備えるため、入力動画像映像の符号化に際して発生符号量の削減ができ、入力動画像映像の動きに合わせた動きベクトルの検出をより高速化できる。
【００４９】
（第１の実施の形態）
図１は本発明の第１の実施の形態における動画像圧縮符号化装置の構成を示すブロック図であり、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式の場合を示した例である。１は入力端子であり、２はフレーム並べ替え器であり、３は離散コサイン変換（以下、ＤＣＴと称す）器であり、４は量子化器であり、５は可変長符号化器であり、６はバッファメモリであり、７は出力端子であり、８はレート制御器であり、９は逆量子化器であり、１０は逆ＤＣＴ器であり、１１はフレームメモリであり、１２は予測器であり、１３は検出範囲決定器であり、１４は切換領域決定器であり、１５は比較器であり、１６はカウンタであり、１７は減算器であり、１８は切換スイッチであり、１９は加算器であり、２０はスイッチである。
【００５０】
なお、本実施の形態のフレーム並べ替え器２は本発明のマクロブロック生成手段の例であり、本実施の形態の切替スイッチ１８、減算器１７、ＤＣＴ器３、量子化器４、逆量子化器９、逆ＤＣＴ器１０、加算器１９、スイッチ２０、及びフレーム目盛り１１は本発明の符号復号手段の例であり、本実施の形態の予測器１２は本発明の動きベクトル検出手段の例であり、本実施の形態の切換領域決定器１４、比較器１５、及びカウンタ１６は本発明の動きベクトルカウント手段の例であり、本実施の形態の検出範囲決定器１３は本発明の動きベクトル検出範囲決定手段の例である。
【００５１】
以上のように構成した各ブロックの動作を説明する。入力端子１から入力する原画信号は、映像音声信号の内予め音声信号と映像信号とに分離した映像信号である。映像信号は、フレーム並べ替え器２で一旦フレームに並べ替えた後、フレームを所定の画素数で細分化した単位（以下、マクロブロック単位と称す）の原画映像信号を、フレーム並べ替え器２で並べ替えた順番（以下、デコード順と称す）に切換スイッチ１８に出力する。切換スイッチ１８は、マクロブロック単位の原画映像信号（以下、マクロブロック動画像信号と称す）をそのまま出力するか、または、マクロブロック動画像信号から動き補償予測映像信号等で減算器１７により減算するかを選択する。
【００５２】
先ず、切換スイッチ１８がマクロブロック動画像信号そのままを選択する場合について説明する。切換スイッチ１８から出力するマクロブロック動画像信号がＩピクチャの場合、ＤＣＴ器３で離散コサイン変換したＤＣＴ信号を量子化器４に出力する。量子化器４では、レート制御器８から帰還する所定の量子化値で量子化を行うことで、情報量を削減した量子化信号を可変長符号化器５及び逆量子化器９に出力する。
【００５３】
可変長符号化器５に入力した量子化信号は、可変長符号化器５で符号化を施した符号化信号としてバッファメモリ６に出力し、バッファメモリ６では出力端子７から引き抜かれるまで符号化信号を格納すると共に、発生符号量をレート制御器８に出力する。レート制御器８では、発生符号量に基づく量子化値を量子化器４に帰還する。出力端子７から引き抜かれた符号化信号は、不図示のシステムエンコーダで音声信号と多重化される。
【００５４】
一方、逆量子化器９に入力した量子化信号は、所定の量子化値で逆量子化した逆量子化信号を逆ＤＣＴ器１０に出力する。逆ＤＣＴ器１０では入力した量子化信号を逆離散コサイン処理を施した逆ＤＣＴ信号を出力する。Ｉピクチャのように、切換スイッチ１８がマクロブロック動画像信号そのままを選択している場合は、切換スイッチ１８に連動してスイッチ２０はＯＦＦ状態となり、加算器１９で逆ＤＣＴ信号に加算することなく、フレームメモリ１１に１フレームになるまでマクロブロック単位の参照映像信号（以下、マクロブロック参照信号と称す）を格納する。Ｐピクチャでは、フレームメモリ１１に１フレーム分格納したフレーム単位の参照映像信号（以下、フレーム参照信号と称す）とフレーム並べ替え器２からのマクロブロック動画像信号との差分が最小となる動きベクトルを予測器１２で予測し、動きベクトル検出範囲を検出すると共に、動きベクトルと動き補償予測後の映像信号（以下、予測映像信号と称す）とを出力する。
【００５５】
切換スイッチ１８が減算器１７でマクロブロック動画像信号と予測映像信号との差分信号を選択するＰピクチャまたはＢピクチャの場合を説明する。Ｐピクチャの場合は、直前のＩピクチャまたはＰピクチャに基づく予測映像信号をマクロブロック動画像信号から減算した差分信号をＤＣＴ器３に出力し、ＤＣＴ信号を量子化器４に出力する。量子化器４から出力する量子化信号の一方は、可変長符号化器５、バッファメモリ６を経て出力端子７から引き抜かれるまでバッファメモリ７に格納されると共に、発生符号量をレート制御器８に入力し量子化器４に量子化値を帰還する。バッファメモリ６に格納された符号化信号は、前述と同様にして出力端子７からシステムエンコーダに出力される。
【００５６】
量子化信号の他方は、逆量子化器９、逆ＤＣＴ器１０を経て、加算器１９に入力する。切換スイッチ１８に連動してスイッチ２０はＯＮ状態となり、減算器１７で減算した直前のＩピクチャまたはＰピクチャを逆ＤＣＴ器１０から出力する逆ＤＣＴ信号に加算し、マクロブロック参照信号を得る。加算器１９で加算したマクロブロック参照信号を１フレームとなるまでフレームメモリ１１に格納し、予測器１２では、フレームメモリ１１からのフレーム参照信号及びマクロブロック動画像信号から差分信号が最小となる動きベクトルを動きベクトル検出範囲内で検出し、例えば図２に示すような動きベクトルと予測映像信号とを出力する。
【００５７】
なお、マクロブロック動画像信号がＢピクチャの場合は、前後のＩピクチャまたはＰピクチャに基づく予測映像信号とマクロブロック動画像信号との差分を減算器１７でとる以外はＰピクチャと同様である。但し、Ｂピクチャも考慮すると前述したようにＢピクチャは前後のピクチャを参照するため、動きベクトル検出範囲をフレーム単位等で更新するアルゴリズムが複雑化する割には精度の向上は少ないため、本実施の形態ではＢピクチャであれば次のＰピクチャを選択するまで無視するアルゴリズムを採用した。
【００５８】
こうして得た予測器１２から出力する信号の一方は、次のマクロブロック動画像信号を減算器１７で減算するための予測映像信号として供し、他方は、例えば図３に示すように動きベクトルが動きベクトル検出範囲内に存在するかを比較検証するため、マクロブロック単位の動きベクトルを比較器１５に出力する。図３における領域Ｄは動きベクトル検出範囲を狭める領域を示し、領域Ｕは動きベクトル検出範囲を広げる領域を示す。すなわち、図２に示した予測器１２で検出したマクロブロックＣ_ijに対応する動きベクトルＶ_ijを、切換領域決定器１４から出力される動きベクトル切換領域ＤまたはＵの何れの範囲内に存在するかを比較器１５で比較検証し、マクロブロック切替信号を適応的に求め、カウンタ１６に出力する。
【００５９】
図３に示した動きベクトル検出範囲をさらに詳細に説明する。図４は、図３に示した動きベクトル検出範囲をさらに詳細に説明した図である。図４（ａ）は、動きベクトル検出範囲の候補を示すものであり、本実施の形態では、５個の動きベクトル検出範囲の候補Ａ１、Ａ２、Ａ３、Ａ４、Ａ５がある。これらの動きベクトル検出範囲の候補は、検出範囲決定器１３に格納されている。そして、予測器１２で動きベクトルを検出する際や、切換領域決定器１４で動きベクトル切換領域を決定する際に使われる動きベクトル検出範囲は、これら５個の動きベクトル検出範囲の候補Ａ１、Ａ２、Ａ３、Ａ４、Ａ５のうちのいずれか一つが選択して使われる。
【００６０】
今、動きベクトル検出範囲の候補Ａ１、Ａ２、Ａ３、Ａ４、Ａ５のうち、Ａ３が動きベクトル検出範囲として実際に用いられていているとする。
【００６１】
図４（ｂ）に示すように、動きベクトル検出範囲Ａ３の最外線である最外線ｌ３と、動きベクトル検出範囲Ａ３の内側にある動きベクトル検出範囲Ａ３’の最外線である最外線ｌ３’との間にある領域が図３で説明した領域Ｕに対応する。図３の領域Ｕは、切換領域決定器１４で決定される。そして、後述するように領域Ｕに動きベクトルが乗っている場合が所定の条件を満たす場合には、動きベクトル検出範囲Ａ３を拡大するよう処理される。この時、同時に動きベクトル検出範囲Ａ３’、Ａ３’’も拡大するよう処理される。
【００６２】
同様に、図４（ｂ）に示すように、動きベクトル検出範囲Ａ３’の内側にある動きベクトル検出範囲Ａ３’’の最外線である最外線ｌ３’’の内側の領域が図３で説明した領域Ｄに対応する。図３の領域Ｄは、切換領域決定器１４で決定される、そして、後述するように領域Ｄに動きベクトルが乗っている場合が所定の条件を満たす場合には、動きベクトル検出範囲Ａ３を縮小するように処理される。この時、同時に動きベクトル検出範囲Ａ３’、Ａ３’’も縮小するように処理される。
【００６３】
また、切換領域決定器１４は、動きベクトル検出範囲に応じて図３の領域Ｕ及び領域Ｄを決定する。
【００６４】
なお、本実施の形態では動きベクトル検出範囲の切換には、Ｐピクチャに基づく動きベクトルのみを対象としているため、比較器１５はＰピクチャの符号化時のみ動作するが、Ｂピクチャも考慮する場合にはＢピクチャの符号化時も動作すること当然である。
【００６５】
比較器１５は、マクロブロックＣ_ijに対応する動きベクトルＶ_ijが図３の領域Ｕに乗っているかどうか、また、領域Ｄに乗っているかどうかを判定し、その判定結果をマクロブロック切換信号としてカウンタ１６に出力する。
【００６６】
カウンタ１６は、マクロブロック切換信号が入力されると、マクロブロック切換信号がマクロブロックＣ_ijに対応する動きベクトルＶ_ijが図３の領域Ｕに乗っていることを示す場合には領域Ｕに対応するカウント値を１だけ増加させ、また、マクロブロック切換信号がマクロブロックＣ_ijに対応する動きベクトルＶ_ijが図３の領域Ｄに乗っていることを示す場合には、領域Ｄに対応するカウント値を１だけ増加させる。
【００６７】
このようにしてカウンタ１６は、領域Ｄに対応するカウント値及び領域Ｕに対応するカウント値を１フレーム分カウントし、カウンタ１６はカウント結果をフレーム単位の切換信号（以下、フレーム切換信号と称す）として検出範囲決定器１３に出力する。フレーム切換信号が入力されると、検出範囲決定器１３は、動きベクトル検出範囲をフレーム単位で適応的に決定する。
【００６８】
すなわち、検出範囲決定器１３は、図４（ａ）に示す動きベクトル検出範囲の候補Ａ１、Ａ２、Ａ３、Ａ４、Ａ５から実際に用いる動きベクトル検出範囲を選択することにより決定する。
【００６９】
検出範囲決定器１３は、図５（ａ）に示すように、動きベクトルＱが領域Ｄに乗っている場合には、図５（ｂ）に示すように動きベクトル検出範囲Ａ４を選択することにより動きベクトル検出範囲を縮小する。さらに、詳細に説明すると、検出範囲決定器１３は、カウンタ１６から入力されたフレーム切換信号に基づいて、（動きベクトルが動きベクトル切換領域Ｄに存在する数）を（１フレームの期間に存在するマクロブロック数）で除した値が所定の閾値以上になったとき、動きベクトル検出範囲を動きベクトル切換領域Ａ４に切り換える。この時、同時に動きベクトル検出範囲Ａ３’、Ａ３’’をそれぞれＡ４’、Ａ４’’に切り換える。このように検出範囲決定器１３は、各動きベクトル検出範囲を縮小する。そして、検出範囲決定器１３が動きベクトル検出範囲を動きベクトル検出範囲Ａ４に決定すると、決定した動きベクトル検出範囲を切換領域決定器１４及び予測器１２に帰還する。切換領域決定器１４は、その決定に応じて、図５（ｂ）に示すように動きベクトル切換領域Ｄ及びＵを決定する。
【００７０】
また、検出範囲決定器１３は、図６（ｂ）に示すように、動きベクトルＲが領域Ｕに乗っている場合には、図６（ｂ）に示すように動きベクトル検出範囲Ａ２を選択することにより動きベクトル検出範囲を拡大する。さらに、詳細に説明すると、検出範囲決定器１３は、カウンタ１６から入力されたフレーム切換信号に基づいて、（動きベクトルが動きベクトル切換領域Ｕに存在する数）を（１フレームの期間に存在するマクロブロック数）で除した値が所定の閾値以上になったとき、動きベクトル検出範囲を動きベクトル検出範囲Ａ２に切り換える。この時、同時に動きベクトル検出範囲Ａ３’、Ａ３’’をそれぞれＡ２’、Ａ２’’に切り換える。このように検出範囲決定器１３は、各動きベクトル検出範囲を拡大する。そして、検出範囲決定器１３が動きベクトル検出範囲を動きベクトル検出範囲Ａ２に決定すると、決定した動きベクトル検出範囲を切換領域決定器１４及び予測器１２に帰還する。切換領域決定器１４は、その決定に応じて、図６（ｂ）に示すように動きベクトル切換領域Ｄ及びＵを決定する。
【００７１】
また、検出範囲決定器１３は、（動きベクトルが動きベクトル切換領域Ｄに存在する数）を（１フレームの期間に存在するマクロブロック数）で除した値が所定の閾値より小さく、かつ、（動きベクトルが動きベクトル切換領域Ｕに存在する数）を（１フレームの期間に存在するマクロブロック数）で除した値が所定の閾値より小さいときは、動きベクトル検出範囲を拡大も縮小もしない。すなわち、動きベクトル検出範囲を変更しない。
【００７２】
予測器１２に帰還された動きベクトル検出範囲は、フレーム単位で最適な動きベクトル検出範囲として、次のフレーム単位で予測器１２において動きベクトルを予測する際に、動きベクトル検出範囲として用いられる。
【００７３】
例えば、検出範囲決定器１３が図５（ｂ）に示すように動きベクトル検出範囲を動きベクトルＡ４に決定した場合には、次のフレーム単位で予測器１２は、動きベクトルを予測する際に、動きベクトル検出範囲Ａ４を用いる。
【００７４】
同様に、検出範囲決定器１３が図６（ｂ）に示すように動きベクトル検出範囲を動きベクトルＡ２に決定した場合には、次のフレーム単位で予測器１２は、動きベクトルを予測する際に、動きベクトル検出範囲Ａ２を用いる。
【００７５】
次のフレーム単位でも上記と同様の動作を行い、適応的に予測器１２で用いられる動きベクトル検出範囲が次々と更新されていく。本実施の形態では、上記のような動作をＰフレーム毎に行う。すなわち、図７に動きベクトル検出範囲更新のタイミングを示す。Ｐフレーム２０で検出された動きベクトルは、検出範囲決定器１３が次のＰフレーム２１の動きベクトル検出範囲を決定するのに用いられる。このように本実施の形態の動画像圧縮符号化装置は、Ｐフレーム毎に動きベクトル検出範囲を切り換えていくものである。
【００７６】
特に大きな動きを有する入力動画像映像の場合には、図１１で説明した従来の動画像圧縮符号化装置では、動きベクトル検出範囲３２０の最外周上に乗っている動きベクトルＰのみを検出していたので、動きベクトル検出範囲３２０の最外周に乗っている動きベクトルＰよりも適正な動きベクトルが動きベクトル検出範囲３２０の外部に存在してもそのような動きベクトルを検出して用いることができなかった。このような場合であっても、図１１で説明した従来の動画像圧縮符号化装置では、適正な動きベクトルを検出する代わりに動きベクトルＰを検出して用いていた。
【００７７】
これに対して本実施の形態の動画像圧縮符号化装置では、動きベクトル検出範囲を拡大する際には、図３、図４、図５、図６などにそれぞれ示した領域Ｕに乗っている動きベクトルを考慮の対象とする。従って、従来の技術で動きベクトル検出範囲の外側により適正な動きベクトルが存在し、そのような適正な動きベクトルが検出出来ない場合であっても、本実施の形態のように領域Ｕを動きベクトルの考慮の対象とすることにより、従来の技術では検出できなかった適正な動きベクトルを検出することが出来るようになる。
【００７８】
このように、本実施の形態によれば、動きの大きな入力動画像映像であっても適正な動きベクトルを検出することが出来、また、適正な動きベクトル検出範囲を設定することが出来るようになる。
【００７９】
以上のように、本実施の形態の動画像圧縮符号化装置は、圧縮符号化することにより動画像信号の動きベクトルを検出する動きベクトル検出手段２１の処理動作に並行して、動きベクトルを検出する動きベクトル検出範囲を最前のフレーム単位で最適化した範囲に置き換える構成であるため、動きベクトル検出手段２１に供する回路等のハードウェア規模を増大することなく、動きベクトルの検出を最適化できる効果がある。また、動きの大きな画像であっても適正な動きベクトルを検出することが出来、また、適正な動きベクトル検出範囲を設定することが出来るようになる。
【００８０】
なお、本実施の形態では、検出範囲決定器１３が５個の動きベクトル検出範囲の候補から実際に用いる動きベクトル検出範囲を選択するとして説明したが、これに限らない。３個の動きベクトル検出範囲の候補から実際の動きベクトル検出範囲を選択してもよく、また７個の動きベクトル検出範囲の候補から実際の動きベクトル検出範囲を選択しても構わない。本実施の形態の検出範囲決定器１３は、複数個の動きベクトル検出範囲の候補を格納しており、その中から実際に用いる動きベクトル検出範囲を選択することにより決定しさえすればよい。
【００８１】
さらに、本実施の形態では、検出範囲決定器１３が５個の動きベクトル検出範囲から実際に用いる動きベクトル検出範囲を選択するとして説明したが、これに限らない。検出範囲決定器１３は、動きベクトルが動きベクトル切換領域Ｕに存在する数が多いほど動きベクトル検出範囲の拡大率を大きくしても構わない。
【００８２】
また、この場合、検出範囲決定器１３は、予め保持している動きベクトル検出範囲から動きベクトルが動きベクトル切換領域Ｕに存在する数が多いほど大きな動きベクトル検出範囲を選択しても構わないし、また、検出範囲決定器１３が予め動きベクトル検出範囲を保持せず、動きベクトルが動きベクトル切換領域Ｕに存在する数が多いほど大きな動きベクトル検出範囲を生成しても構わない。
【００８３】
また、検出範囲決定器１３は、動きベクトルが動きベクトル切換領域Ｄに存在する数が多いほど動きベクトル検出範囲の縮小率を大きくしても構わない。
【００８４】
また、この場合、検出範囲決定器１３は、予め保持している動きベクトル検出範囲から動きベクトルが動きベクトル切換領域Ｄに存在する数が多いほど小さな動きベクトル検出範囲を選択しても構わないし、また、検出範囲決定器１３が予め動きベクトル検出範囲を保持せず、動きベクトルが動きベクトル切換領域Ｄに存在する数が多いほど小さな動きベクトル検出範囲を生成しても構わない。
【００８５】
なお、本実施の形態の動画像圧縮符号化装置は、図８（ａ）、図８（ｂ）、図８（ｃ）に示すように、動きベクトル検出範囲が狭い場合には画素単位に近付いた動きベクトルの検出となり、逆に広い場合には広くなった分だけ検出する動きベクトルは間引かれた検出となる。すなわち、図８（ａ）のように動きベクトル検出範囲Ａ１のように検出範囲が広い場合には、黒印で示すように間引かれた画素に関する動きベクトルが検出され、逆に図８（ｃ）のように動きベクトル検出範囲Ａ５のように検出範囲が狭い場合には、黒印で示すように、画素単位で動きベクトルが検出される。従って、動きベクトル検出範囲が広くなってもその広さに応じて動きベクトルを求める画素が間引かれるので、動きベクトル検出のための演算量が増加することはない。
【００８６】
そして、図４に示したように、動きベクトル検出範囲を複数種類備え、当該複数種類の動きベクトル検出範囲から動きベクトル検出範囲を選択する構成を備えると、動きベクトル検出範囲を入力映像の動きの大きさに応じて適宜拡大・縮小することで最適化を図れ、動きベクトル検出精度の向上及びそれによる発生符号量の削減ができ、復号化後の動画像の高画質化が達成できる。
【００８７】
また、動きベクトル検出に要する記憶手段等の回路を、当該動きベクトル検出範囲の内最も狭い範囲に対応する規模とすることができ、動きベクトル検出精度向上に起因して高画質の復号画像を実現できる装置を安価にすることもできる。
【００８８】
上記実施の形態における動きベクトル検出範囲１３から、動きベクトル検出範囲に応じて動きベクトル検出範囲切換領域を生成する切換領域決定器１４と、当該動きベクトル検出範囲切換領域と検出された動きベクトルとを比較し当該動きベクトルが動きベクトル切換領域内の存在を判定する比較器１５とを備え、カウンター１６が当該動きベクトル切換領域と比較器１５の出力信号の判定信号とを格納し、カウンター１６に格納した判定信号を基に動きベクトル検出範囲を決定する構成を備えると、動きベクトル検出手段２１で検出する動きベクトルの動きベクトル検出範囲の設定を、入力動画像映像の動きに追従することができ、入力動画像映像の動きに合わせた動きベクトル検出範囲の即時性を向上できる。
【００８９】
なお、本実施の形態では、検出範囲決定器１３から予測器１２に出力する動きベクトル検出範囲をフレーム単位で更新するとして説明したが、これに限らない。フレーム単位で動きベクトル検出範囲を適応的に決定するとして説明したが、これに限らない。
【００９０】
検出範囲決定器１３から予測器１２に出力する動きベクトル検出範囲の更新を、ｎ（ｎはｎ≦Ｎを満たす自然数）個の期間で行っても構わない。ただし、Ｎを１フレームに存在するマクロブロックの総数とし、１フレームを複数個に分割した場合の一つの分割単位のマクロブロックの総数をｎ個とする。この場合、カウンター１６は、ｎ個の期間での動きベクトルが動きベクトル切換領域中に存在する数も記憶する構成であり、（動きベクトルが動きベクトル切換領域に存在する数）を（ｎ個の期間に存在するマクロブロック数）で除した値が所定の閾値以上になったとき、動きベクトル検出範囲を切り換え、当該切り換えた動きベクトル検出範囲を動きベクトル検出手段２１と切換領域決定器１４とに帰還する。
【００９１】
例えば、（動きベクトルが領域Ｄに存在する数）を（ｎ個の期間に存在するマクロブロック数）で除した値が所定の閾値以上になったとき、動きベクトル検出範囲を例えば図５（ａ）、図５（ｂ）に示すように動きベクトル検出範囲Ａ３から動きベクトル検出範囲Ａ４に切り換える。すなわち、動きベクトル検出範囲を縮小するまた、例えば（動きベクトルが領域Ｕに存在する数）を（ｎ個の期間に存在するマクロブロック数）で除した値が所定の閾値以上になったとき、動きベクトル検出範囲を例えば図６（ａ）、図６（ｂ）に示すように動きベクトル検出範囲Ａ３から動きベクトル検出範囲Ａ２に切り換える。すなわち動きベクトル検出範囲を拡大する。
【００９２】
このような構成を採用すると、入力動画像映像の動きに合わせた動きベクトルの検出精度の向上と発生符号量の削減とが実現出来る。
【００９３】
次に、上述した一連の処理の流れを図１に示したブロック図を参照しながら、図９を用いて説明する。
【００９４】
先ず、入力端子１から入力された入力動画像映像は、デコード順にフレーム並べ替え器２で並べ替えられ、ステップ３１で１フレームに付きＮ個（ただしＮは２以上の自然数）に細分化したマクロブロック動画像信号となる。
【００９５】
フレーム並べ替え器２からデコード順に抜き取ったマクロブロック動画像信号は、ステップ３２でＩピクチャかＩピクチャ以外かを切替スイッチ１８で判定する。切替スイッチ１８でマクロブロック動画像信号がＩピクチャであると判定されると、スイッチ２０をＯＦＦ状態にする。
【００９６】
Ｉピクチャと判定されたマクロブロック動画像信号は、ステップ３３でＤＣＴ器３、量子化器４、逆量子化器９、逆ＤＣＴ器１０、加算器１９を経てフレームメモリ１１にＩピクチャのマクロブロック動画像の復号化信号を格納する。
【００９７】
次に、ステップ３４で１フレーム分のマクロブロック動画像信号の圧縮復号の終了を判断し、１フレームに達していないときはステップ３２に戻る。
【００９８】
並び替え器２から抽出したマクロブロック動画像信号がＩピクチャかをステップ３２で判断し、Ｉピクチャでない場合はステップ３５でＰピクチャかＢピクチャかを切替スイッチ１８にて判定する。
【００９９】
マクロブロック動画像信号がＰピクチャと判定されると、ステップ３６で当該マクロブロック動画像信号と予測器１２から出力される予測映像信号とを減算器１７にて減算し差分信号を出力すると共に、スイッチ２０をＯＮ状態にする。
【０１００】
ステップ３６で減算した差分信号は、ステップ３７でＤＣＴ器３、量子化器４、逆量子化器９、逆ＤＣＴ器１０を経て、加算器１９でＰピクチャの逆ＤＣＴ信号と予測器１２から出力される予測映像信号（本例の場合は直前のＩピクチャからの予測映像信号であるが、Ｐピクチャが続く場合では直前のＰピクチャからの予測映像信号となる）とを加算し、マクロブロック参照信号をフレームメモリ１１に１フレームとなるまで格納する。それと共に、予測器１２にてフレーム参照信号とフレーム並べ替え器２からのマクロブロック動画像信号との差分が最小となる動きベクトルを用いて予測映像信号を生成する。
【０１０１】
ステップ３７で生成した予測映像信号は、ステップ３８で比較器１５に入力され、比較器１５で当該予測映像信号と切換領域決定器１４から出力される動きベクトル切換領域とを比較することでマクロブロック切換信号をカウンタ１６に出力する。カウンタ１６は、１フレームになるまでマクロブロック切換信号を格納する。
【０１０２】
次にステップ３４で、１フレーム分のマクロブロック動画像信号の圧縮復号の終了を判断し、１フレームに達していないときはステップ３２に戻る。なお、上述の例ではスイッチ２０をＯＮ状態にするステップをステップ３６としたが、加算器１９で加算を行う前であれば何れであっても良く、ステップ３５またはステップ３７であっても良いこと勿論である。
【０１０３】
並び替え器２から抽出されたマクロブロック動画像信号がＩピクチャかをステップ３２で判断し、Ｉピクチャでない場合はステップ３５でＰピクチャかＢピクチャかを切替スイッチ１８にて判定する。
【０１０４】
マクロブロック動画像信号がＢピクチャと判定されると、ステップ３９で当該マクロブロック動画像信号と比較器１２から出力する予測映像信号とを減算器１７にて減算し差分信号を出力する。ステップ３９で減算した差分信号は、ステップ４０でＤＣＴ器３及び量子化器４を経て量子化信号を生成し、ステップ３４で、１フレーム分のマクロブロック動画像信号の圧縮復号の終了を判断し、１フレームに達していないときはステップ３２に戻る。
【０１０５】
なお、ステップ３４で１フレームに達していると判断した場合には、ステップ４１でカウンタ１６からフレーム切換信号を検出範囲決定器１３に出力し、検出範囲決定器１３はフレーム単位の動きベクトル検出範囲を予測器１２に帰還すると共に、切換領域決定器１４にも出力し、切換領域決定器１４で動きベクトル切換領域を生成し、比較器１５に出力する。
【０１０６】
ステップ４１でフレーム単位の動きベクトル検出範囲を生成し予測器１２に出力した後、ステップ４２で動画像映像信号が終了し次のフレームの有無を判定し、次のフレームがある場合はフレーム並べ替え器２に戻り、次のフレームがない場合は処理を終了する。
【０１０７】
なお、上述の実施の形態では動きベクトル検出範囲の更新をフレーム単位で行う場合を説明したが、画面単位、フレーム単位、グループオブピクチャ（ＧＯＰ）単位等入力動画像信号の所定のまとまり単位で行うこともできる。但し、まとまり単位に応じて、動きベクトル検出範囲決定器１３及びフレームメモリ１１等を変化させる必要がある。
【０１０８】
また、上述の実施の形態ではＭＰＥＧ圧縮を例に採り説明したが、圧縮復号化方法はＭＰＥＧに限定されるものではなく、例えばＨ．２６１またはＨ．２６３等の時間方向の冗長度を削減するフレーム間予測を行う圧縮方式であれば何れでも適応できる。
【０１０９】
本実施の形態によれば、動きベクトル検出のための検出範囲が複数存在しても、ハードウェア規模を増大させることなく、動画像圧縮符号化を行う際に、入力映像の動きの速さに応じて、最適な動きベクトル検出範囲を選択出来るという作用を有し、その結果、高画質が実現できるという、優れた効果が得られる。また、動きの大きな画像であっても適正な動きベクトルを検出することが出来、また、適正な動きベクトル検出範囲を設定することが出来る。
【０１１０】
又、本発明のプログラムは、上述した本発明の動きベクトル検出方法の全部又は一部のステップ（又は、工程、動作、作用等）の動作をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。
【０１１１】
又、本発明の記録媒体は、上述した本発明の動きベクトル検出方法の全部又は一部のステップ（又は、工程、動作、作用等）の全部又は一部の動作をコンピュータにより実行させるためのプログラムを担持した記録媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記動作を実行する記録媒体である。
【０１１２】
尚、本発明の上記「一部の手段（又は、装置、素子等）」とは、それらの複数の手段の内の、一つ又は幾つかの手段を意味し、本発明の上記「一部のステップ（又は、工程、動作、作用等）」とは、それらの複数のステップの内の、一つ又は幾つかのステップを意味する。
【０１１３】
又、本発明の上記「手段（又は、装置、素子等）の機能」とは、前記手段の全部又は一部の機能を意味し、本発明の上記「ステップ（又は、工程、動作、作用等）の動作」とは、前記ステップの全部又は一部の動作を意味する。
【０１１４】
又、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。
【０１１５】
又、本発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。
【０１１６】
又、本発明のデータ構造としては、データベース、データフォーマット、データテーブル、データリスト、データの種類などを含む。
【０１１７】
又、記録媒体としては、ＲＯＭ等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。
【０１１８】
又、上述した本発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。
【０１１９】
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。
【０１２０】
【発明の効果】
以上説明したところから明らかなように、本発明は、動きの大きな画像であっても適正な動きベクトルを検出することが出来、また、適正な動きベクトル検出範囲を設定することが出来る動画像圧縮符号化装置、動きベクトル検出方法、記録媒体、及びプログラムを提供することが出来る。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における動画像圧縮符号化装置のブロック図
【図２】本発明の第１の実施の形態におけるマクロブロックの動きベクトルの一例を示す図
【図３】本発明の第１の実施の形態における動きベクトルと動きベクトル切換領域との一例を示す図
【図４】（ａ）本発明の第１の実施の形態における動きベクトル検出範囲の候補を示す図
（ｂ）本発明の第１の実施の形態における動きベクトル検出範囲を示す図
【図５】（ａ）本発明の第１の実施の形態における現在の動きベクトル検出範囲の例を示す図
（ｂ）本発明の第１の実施の形態における更新後の動きベクトル検出範囲の例を示す図
【図６】（ａ）本発明の第１の実施の形態における現在の動きベクトル検出範囲の例を示す図
（ｂ）本発明の第１の実施の形態における更新後の動きベクトル検出範囲の例を示す図
【図７】本発明の第１の実施の形態における動きベクトル検出範囲の更新のタイミングを示す図
【図８】（ａ）本発明の第１の実施の形態における動きベクトル検出範囲が大きい場合の動きベクトルを検出する際の画素のサンプリングの概要を示す図
（ｂ）本発明の第１の実施の形態における動きベクトル検出範囲が中程度の場合の動きベクトルを検出する際の画素のサンプリングの概要を示す図
（ｃ）本発明の第１の実施の形態における動きベクトル検出範囲が小さい場合の動きベクトルを検出する際の画素のサンプリングの概要を示す図
【図９】本発明の第１の実施の形態における動きベクトル切換領域決定の流れ図
【図１０】従来の動きベクトル検出装置の構成を示すブロック図
【図１１】従来の動画像圧縮符号化装置の構成を示すブロック図
【図１２】従来の動画像圧縮符号化装置を構成する動き検出装置３０７Ａの動作を示す説明図
【図１３】従来の動画像圧縮符号化装置を構成するＣＰＵ５の処理動作を示すフローチャート図
【図１４】従来の動画像圧縮符号化装置の動きベクトル検出範囲と動きベクトルの一例を示す図
【符号の説明】
１ 入力端子
２ フレーム並べ替え器
３ ＤＣＴ器
４ 量子化器
５ 可変長符号化器
６ バッファメモリ
７ 出力端子
８ レート制御器
９ 逆量子化器
１０ 逆ＤＣＴ器
１１ フレームメモリ
１２ 予測器
１３ 動きベクトル検出範囲決定器
１４ 切換領域決定器
１５ 比較器
１６ カウンター
１７ 減算器
１８ 切替スイッチ
１９ 加算器
２０ スイッチ
２１ 動きベクトル検出手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image compression encoding apparatus for compressing and encoding a moving image, a motion vector detection method thereof, a recording medium, and a program.
[0002]
[Prior art]
In the moving image compression coding apparatus, the motion vector detection apparatus is forced to have a large hardware scale in order to increase the detection accuracy of the motion vector. Therefore, motion vector detection is performed in a mode in which the detection range is narrow but the detection accuracy is high, or in a mode in which the detection range is wide but the detection accuracy is low.
[0003]
A conventional motion vector detection apparatus is shown in FIG. 10 (see, for example, Patent Document 1) 101 is a reference frame signal input terminal for inputting a reference frame signal which is a current frame signal to a moving image compression encoder, and 102 is a reference frame signal input terminal. This is a prediction frame signal input terminal for inputting a prediction frame signal, which is the previous frame signal, to the moving image compression encoder. 103 is a wide-area motion vector detector that performs motion vector detection in a mode with a wide detection range but low detection accuracy, and 104 is a narrow-area motion vector detector that performs motion vector detection in a mode with a narrow detection range but high detection accuracy. 105 is a comparator for comparing and evaluating the motion vector detection results obtained by the wide area motion vector detector 103 and the narrow area motion vector detector 104, and 106 is a wide area motion based on the comparison result of the comparator 105. A switch that outputs either the result of motion vector detection from the vector detector 103 or the narrow area motion vector detector 104, and 107 is an output terminal that outputs the motion vector detected by the wide area motion vector detector.
[0004]
The operation of the conventional motion vector detection apparatus configured as described above will be described. First, the reference frame signal input from the reference frame signal input terminal 101 is input to the wide area motion vector detector 103 through the low-pass filter 108 and the downsampling circuit 109. At the same time, the reference frame signal input from the reference frame signal input terminal 101 is also input to the narrow area motion vector detector 104. Similarly, the prediction frame signal input from the prediction frame signal input terminal 102 is input to the wide area motion vector detector 103 via the low-pass filter 110 and the downsampling circuit 111. At the same time, the predicted frame signal input from the predicted frame signal input terminal 102 is also input to the narrow motion vector detector 104. The motion vectors detected by the respective motion vector detectors 103 and 104 are compared and evaluated by the comparator 105, and the motion vector having the higher evaluation is output from the switch 106 to the output terminal 107.
[0005]
However, in the configuration of the motion vector detection device in FIG. 10, when the number of motion vector detection ranges (hereinafter referred to as the number of modes) is set to two, for example, in order to detect a more appropriate motion vector, the number of modes is one. Compared to the hardware scale.
[0006]
That is, if the number of motion vector detection ranges is, for example, a motion vector detection range with a narrow detection range but high detection accuracy and a motion vector detection range with a wide detection range but low detection accuracy, the detection range is narrow. However, two types of hardware are required: the narrow motion vector detector 104 with high detection accuracy and the wide motion vector detector 103 with a wide detection range but low detection accuracy. For each motion vector detector, it is necessary to execute motion vector detection at the same time, and an independent motion vector detection circuit is required for each of the two motion vector detectors 103 and 104, and hardware such as a motion vector detection circuit is required. There was a problem of increasing the scale.
[0007]
In order to solve the problem of the conventional motion vector detection device described in FIG. 10, a moving image compression encoding device shown in FIG. 11 is known (see, for example, Patent Document 2).
[0008]
That is, FIG. 11 is a block diagram of a conventional moving image compression coding apparatus. In FIG. 11, 301 is a DCT circuit, 302 is a quantizer, 303 is an inverse quantizer, 304 is an inverse DCT circuit, 305 is a frame memory, and 306 is a motion compensated interframe prediction. 307A is a motion detection device, and 308 is an intra-frame / inter-frame switching signal. The motion detection device 307A includes a buffer memory 201, an error calculation circuit 202, an error comparison circuit 203, and an address generation circuit 204.
[0009]
The operation of the conventional image encoding apparatus configured as described above will be described below. The first frame of encoding, that is, the first frame is switched to intra-frame encoding by an intra-frame / inter-frame switching signal 308, and intra-frame encoding is performed for each frame without taking a difference. That is, image data is converted into transform coefficients by the DCT circuit 301 in two-dimensional block units, quantized by the quantizer 302, and then sent to the transmission path. Generally, since an image has high correlation, when DCT is performed, energy concentrates on a transform coefficient corresponding to a low frequency component. Therefore, by coarsely quantizing the high frequency components that are not visually conspicuous and finely quantizing the low frequency components that are important components, it is possible to minimize image quality degradation and reduce the amount of data. The quantized transform coefficients sent to the transmission path are simultaneously returned to real-time data via the inverse quantizer 303 and the inverse DCT transform circuit 304, and stored in the frame memory 305.
[0010]
On the other hand, images after the second frame are switched to inter-frame coding by an intra-frame / inter-frame switching signal 308, and after motion compensation, a difference from the image of the previous frame is taken, and the inter-frame coding is performed for each frame. The difference between the image signals is encoded. That is, based on the image data of the previous frame stored in the frame memory 305 and the motion vector of the two-dimensional block unit detected by the motion detection device 307A, the predicted values of the second and subsequent frames are converted by the motion compensation inter-frame prediction circuit 306. The prediction error that is the difference between the generated image after the second frame and the prediction value after the second frame generated by the motion compensation inter-frame prediction circuit 306 is converted into a conversion coefficient by the DCT circuit 301 in units of two-dimensional blocks. Then, after the transform coefficient is quantized by the quantizer 302, it is sent to the transmission line. The quantized transform coefficients sent to the transmission line are simultaneously returned to real-time data via the inverse quantizer 303 and the inverse DCT transform circuit 304, and stored in the frame memory 305.
[0011]
Next, the motion detection device 307A will be described in detail. This motion detection device 307A is configured to obtain a motion vector between frames in units of two-dimensional blocks using, for example, a well-known full search method. FIG. 12 is an explanatory diagram showing the operation of the motion detection device 307A. Hereinafter, the motion detection operation will be described with reference to FIG. In FIG. 12, reference numeral 311 denotes a two-dimensional block having a second frame, which is a rectangular block of m pixels (horizontal direction) × n pixels (vertical direction). 312A and 312B are two-dimensional blocks of the first frame for performing error calculation, and the size is the same as that of the two-dimensional block 311. Reference numeral 313 denotes a motion vector obtained by motion detection, which connects the center coordinates of the two-dimensional block 311 and the center coordinates of the two-dimensional block 312B.
[0012]
A two-dimensional block 311 in FIG. 12 is a two-dimensional block having center coordinates (x, y, 2) in the second frame, and the two-dimensional block is represented by a symbol S (x, y, 2) corresponding to the center coordinates. . The two-dimensional blocks 312A and 312B are two-dimensional blocks having center coordinates (x, y, 1) and (x + mx, y + my, 1) in the first frame, respectively. Symbols S (x, y, 2) and S (x + mx, y + my, 1) corresponding to the coordinates are used. Here, x indicates the pixel coordinates in the horizontal direction with the center of the frame as the origin, y indicates the pixel coordinates in the vertical direction with the center of the frame as the origin, and the numbers 1 and 2 after x and y are the frame numbers. Indicates. Reference numeral 314 is a rectangular (horizontal direction 2h, vertical direction 2v) motion vector detection range indicating a two-dimensional block for calculating a motion vector, and xh is the center of the motion vector detection range (in the figure, coordinates (x, y, 1) Indicates the local pixel coordinates in the horizontal direction with) as the origin, and yv indicates the local pixel coordinates in the vertical direction with the center of the motion vector detection range (coordinates (x, y, 1) in the figure) as the origin. Yes.
[0013]
The image data of the second frame is input to the buffer memory 201 at the same time when it is inter-frame encoded. Note that the image data of the first frame is already stored in the buffer memory 201. Now, the reference is the two-dimensional block 311 of the second frame (current frame), and the motion vector 313 between the two-dimensional block 312B of the first frame (previous frame) and the two-dimensional block 311 of the second frame (current frame) is To detect. The first and second frame images input to the buffer memory 201 are read in units of two-dimensional blocks of m × n pixels, and motion vectors are detected in units of two-dimensional blocks.
[0014]
Hereinafter, a procedure for detecting a motion vector using coordinates will be specifically described. The address generation circuit 204 reads the image data of the two-dimensional block S (x, y, 2) having the center coordinates (x, y, 2) in the second frame, and this two-dimensional block S (x, y, 2). And a motion between the reference block and the first frame is detected by the following procedure. The buffer memory 201 also stores the image data of the first frame as described above, and then stores the two-dimensional block S (x, y, 1) having the center coordinates (x, y, 1) in the first frame. Read each image data. In the error calculation circuit 202, the sum of square errors of the amplitude of the image data in the two two-dimensional blocks S (x, y, 2) and S (x, y, 1) (hereinafter simply referred to as error) σ (x , y) (0, 0) is calculated by [Equation 1] and sent to the error comparison circuit 203.
[0015]
[Expression 1]

[0016]
Next, the address generation circuit 204 generates an m × n block adjacent to one pixel in the horizontal direction in the first frame, that is, a two-dimensional block S (x + 1, y, 1) having a center coordinate (x + 1, y, 1). Generate an address. Similarly, the error calculation circuit 202 calculates σ (x, y) (+ 1,0) and sends it to the error comparison circuit 203. The error comparison circuit 203 compares σ (x, y) (0,0) and σ (x, y) (+ 1,0) and selects the smaller one. Similarly, the image data of the two-dimensional block is read while sequentially changing the address in the range of −h <xh <h and −v <yv <v, and σ (x, y) (xh, yv) is calculated.
[0017]
The error comparison circuit 203 selects the error σ (x, y) (mx, my) that takes the minimum value from the error σ (x, y) (xh, yv) calculated as described above, and simultaneously sets the addresses mx and my. Output. Therefore, the motion vector 213 in the two-dimensional block S (x, y, 2) is mv (mx, my). Thereafter, the above-described operation is repeated for all of the two-dimensional blocks divided into a plurality in the second frame, whereby the motion vectors of all the two-dimensional blocks in the second frame are obtained.
[0018]
The motion compensation inter-frame prediction circuit 306 generates a motion-compensated prediction value of the second frame in units of two-dimensional blocks using the motion vector detected for each two-dimensional block of the second frame. For the second frame image, first, a difference between the image data of the first frame and the predicted value generated by the above-described method from the motion vector of the second frame, that is, a prediction error is calculated. Thereafter, the above-described prediction error is encoded for each frame in the same manner as in the first frame.
[0019]
With the above configuration, a two-dimensional block having the same size as the two-dimensional block obtained by dividing the current frame within the predetermined motion vector detection range of the previous frame centered on the position of the two-dimensional block obtained by dividing the current frame. Image data is extracted while sequentially changing the position, error calculation between the image data of each two-dimensional block within the predetermined motion vector detection range of the previous frame and the image data of the divided two-dimensional block of the current frame, and the previous frame By performing error comparison for two-dimensional blocks with different positions within a predetermined motion vector detection range, a predetermined motion vector detection for the previous frame with the smallest image data error relative to the two-dimensional block obtained by dividing the current frame is performed. Searches the position of the 2D block within the range and divides the current frame to the position of the 2D block and the current frame. On the screen from the previous frame of the two-dimensional block obtained by dividing the current frame from the position of the two-dimensional block within the predetermined motion vector detection range of the previous frame having the smallest image data error with respect to the two-dimensional block obtained by dividing That is, a motion vector indicating the motion of is calculated.
[0020]
According to the above method, since the prediction error is encoded, the energy is reduced as compared with the case where the image data is directly encoded as in the case of intra-frame encoding, and more efficient encoding is possible. It becomes.
[0021]
Next, the operation after the third frame will be described. When calculating the motion vector of each frame after the third frame, the motion vector of the previous frame (in the case of the third frame, the second frame) is detected before in time indicating the magnitude of the motion of the image. The motion vector detection range determination information is input to the CPU 205, and the following arithmetic processing is performed to control the address generation circuit 204 to change the motion vector detection range.
[0022]
FIG. 13 is a flowchart showing the processing operation of the CPU 5. Referring to FIG. 13, in step 21, the motion vectors of all two-dimensional blocks of the previous frame (for example, the second frame) are read, and in step 22, the motion vector indicating the maximum horizontal value h in the normal motion vector detection range. Count the number of. In step 23, it is determined whether the number is 50 or more of all blocks. If the number is 50% or more of all blocks, the motion vector detection range in the horizontal direction is expanded to 2h, for example, assuming that the motion of the image is large. In order to expand the motion vector detection range by two times, as shown in step 24, the input to the error calculation circuit 2 is thinned out every sample, that is, the address is inputted so as to be subsampled to 1/2. The generation circuit 4 is controlled. By doing so, the calculation amount per each two-dimensional block is halved, so even if the motion vector detection range is doubled, the total calculation amount is equal to the case where the motion vector detection range is not expanded. . Further, as shown in step 25, the number of motion vectors exceeding h / 2 is also counted at the same time, and in step 26, it is determined whether the number of motion vectors exceeding h / 2 is 10% or less. In some cases, the motion vector detection range is assumed to be h / 2 assuming that there is little motion. In this case, the data is input to the error calculation circuit 2 without being thinned (step 27). If the number of motion vectors exceeding h is less than 50% and the number of motion vectors exceeding h / 2 exceeds 10%, the motion vector detection range is not changed and sub-sampling is not performed.
[0023]
With the above operation, when the motion of the image is large, the motion vector detection range can be expanded without increasing the amount of calculation. In general, when motion detection is performed from a subsampled image, the motion detection accuracy decreases, leading to image quality degradation. However, when the motion is large, the image quality deterioration due to the fact that the motion does not follow has a larger effect, and therefore the image quality improves when the motion vector detection range is expanded even for the subsampled image. In addition, when motion is small, motion detection is performed on an image that is not subsampled, so that image quality does not deteriorate and the motion vector detection range is further narrowed, so that the processing time required for search can be shortened.
[0024]
In this way, the motion vector detection range can be changed according to the motion of the image, the motion can be accommodated, the inter-frame difference can be reduced, and the image quality is not deteriorated. Moreover, since the amount of calculation for calculating the motion vector does not increase, the amount of hardware for calculating the motion vector does not increase.
[0025]
[Patent Document 1]
JP-A-9-224249
[Patent Document 2]
Japanese Patent Laid-Open No. 10-23420
[0026]
[Problems to be solved by the invention]
However, the conventional moving image compression coding apparatus described with reference to FIG. 11 cannot detect an appropriate motion vector for an image with a large motion, and it is difficult to set an appropriate motion vector detection range. It is.
[0027]
That is, in the conventional moving image compression encoding apparatus described in FIG. 11, the number of motion vectors P riding on the outermost periphery of the motion vector detection range 320 is smaller than the motion vector detection range 320 as shown in FIG. The motion vector detection range 320 was expanded when the number of blocks reached 50% or more. That is, only the motion vector P riding on the outermost periphery of the motion vector detection range 320 is detected. However, there is a possibility that a motion vector more appropriate than the motion vector P riding on the outermost periphery of the motion vector detection range 320 exists outside the motion vector detection range 320. Even in such a case, the conventional moving image compression encoding apparatus described with reference to FIG. 11 detects and uses the motion vector P instead of detecting an appropriate motion vector.
[0028]
That is, in the conventional moving image compression coding apparatus, it is difficult to detect an appropriate motion vector for an image with a large motion, and it is difficult to set an appropriate motion vector detection range. There is.
[0029]
In consideration of the above problems, the present invention can detect an appropriate motion vector even for an image with a large motion, and can also set an appropriate motion vector detection range. It is an object of the present invention to provide a motion vector detection method, a recording medium, and a program.
[0030]
[Means for Solving the Problems]
In order to solve the above-described problem, the first aspect of the present invention is a macro that generates a macroblock moving image signal obtained by subdividing an input moving image image into N (where N is a natural number of 2 or more) per frame. Block generation means (2);
Coding / decoding means (18, 17, 3, 4, 9, 10, 19, 20, 11) for generating a decoded moving image signal by compressing and encoding the macroblock moving image signal;
Motion vector detecting means (12) for detecting a motion vector within a first motion vector detection range from the decoded moving image signal and the macroblock moving image signal;
Among the detected motion vectors, the first outermost line that is the outermost line of the first motion vector detection range and the outermost of the second motion vector detection range that is inside the first motion vector detection range. Motion vector counting means (14, 15, 16) for counting the number of motion vectors between the outermost second outermost line as the number of first motion vectors;
It is a moving picture compression encoding apparatus provided with the motion vector detection range determination means (13) which expands the said 1st motion vector detection range based on the counted number of said 1st motion vectors.
[0031]
In the second aspect of the present invention, the motion vector counting means (14, 15, 16) calculates the number of motion vectors in a third motion vector detection range inside the second motion vector detection range. Counting as the number of second motion vectors,
The motion vector detection range determining means (13) is the moving image compression encoding apparatus according to the first aspect of the present invention, which reduces the first motion vector detection range based on the counted number of the second motion vectors. is there.
[0032]
In the third aspect of the present invention, the motion vector detection range determining means (13) expands the first motion vector detection range when the counted number of the first motion vectors is larger than a predetermined threshold. If it is smaller than the predetermined threshold value, the moving image compression coding apparatus according to the first aspect of the present invention does not expand the first motion vector detection range or does not change the first motion vector detection range.
[0033]
According to a fourth aspect of the present invention, the motion vector detection range determining means (13) increases the expansion rate of the first motion vector detection range as the number of counted first motion vectors increases. 1 is a moving image compression encoding apparatus according to the present invention.
[0034]
According to a fifth aspect of the present invention, the motion vector detection range determining means (13) increases the reduction rate of the first motion vector detection range as the number of counted second motion vectors increases. 2 is a moving picture compression encoding apparatus according to the present invention.
[0035]
According to a sixth aspect of the present invention, the motion vector detection range determining means (13) has a plurality of types of motion vector detection ranges in advance,
From the plurality of types of motion vector detection ranges, the larger the number of counted first motion vectors, the larger the motion vector detection range is selected to be the first motion vector detection range. It is a moving image compression encoding apparatus.
[0036]
In the seventh aspect of the present invention, the motion vector detection range determining means (13) has a plurality of types of motion vector detection ranges in advance,
From the plurality of types of motion vector detection ranges, a smaller motion vector detection range is selected as the number of counted second motion vectors is larger, and the first motion vector detection range is used as the first motion vector detection range. It is a moving image compression encoding apparatus.
[0037]
According to an eighth aspect of the present invention, the motion vector detection range determining means (13) updates the first motion vector detection range every P frames, or n P frames (where n ≦ N natural numbers) for each division unit
When the first motion vector detection range is updated, the motion vector detection range determination means sets the number of the first motion vectors counted in the P frame or the division unit to the P frame or The moving image compression code of the first aspect of the present invention that expands the first motion vector detection range when the number divided by the number of macroblock moving image signals existing in the division unit exceeds a predetermined threshold. Further, according to a ninth aspect of the present invention, the motion vector detection range determining means (13) updates the first motion vector detection range every P frames, or n P frames ( However, it is performed for each division unit divided into n ≦ N natural numbers)
When the first motion vector detection range is updated, the motion vector detection range determination means sets the number of the second motion vectors counted in the P frame or the division unit to the P frame or The moving image compression code of the first aspect of the present invention that reduces the first motion vector detection range when the number divided by the number of macroblock moving image signals existing in the division unit exceeds a predetermined threshold. Device.
[0038]
In the tenth aspect of the present invention, the motion vector detection means expands the second motion vector detection range when expanding the first motion vector detection range. 8 is a moving picture compression encoding apparatus according to any one of the present invention.
[0039]
In the eleventh aspect of the present invention, when the motion vector detection means reduces the first motion vector detection range, the second motion vector detection range also reduces the third motion vector detection range. 1 is a moving image compression encoding apparatus according to the present invention.
[0040]
In the twelfth aspect of the present invention, a macroblock moving image signal generated by subdividing an input moving image image into N (where N is a natural number of 2 or more) per frame is compressed and decoded. A motion vector detecting step for detecting a motion vector within a first motion vector detection range from the decoded moving image signal generated in the above and the macroblock moving image signal;
Among the detected motion vectors, the first outermost line that is the outermost line of the first motion vector detection range and the outermost of the second motion vector detection range that is inside the first motion vector detection range. A motion vector counting step for counting the number of motion vectors between the outermost second outermost line as the number of first motion vectors;
A first outermost line that is the outermost line of the first motion vector detection range, and a second outermost line that is the outermost line of the second motion vector detection range located inside the first motion vector detection range. A motion vector counting step for counting the number of first motion vectors, which is the number of motion vectors above one or more second outermost lines adjacent to the first outermost line;
A motion vector detection method comprising: a motion vector detection range determination step for expanding the first motion vector detection range based on the counted number of the first motion vectors.
[0041]
The thirteenth aspect of the present invention is the macro generated by subdividing the input moving image video into N (where N is a natural number of 2 or more) per frame in the motion vector detection method of the twelfth aspect of the present invention. A motion vector detecting step for detecting a motion vector within a first motion vector detection range from the decoded moving image signal generated by compressing and encoding the block moving image signal and decoding the macro block moving image signal; ,
Among the detected motion vectors, the first outermost line that is the outermost line of the first motion vector detection range and the outermost of the second motion vector detection range that is inside the first motion vector detection range. A motion vector counting step for counting the number of motion vectors between the outermost second outermost line as the number of first motion vectors;
A program for causing a computer to execute a motion vector detection range determination step for expanding the first motion vector detection range based on the counted number of the first motion vectors.
[0042]
The fourteenth aspect of the present invention is a recording medium carrying the program of the thirteenth aspect of the present invention, which can be processed by a computer.
[0043]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0044]
According to the embodiment of the present invention, for example, a configuration is provided in which a motion vector detection range adaptively obtained based on a motion vector detected by a motion vector detection unit (means) is fed back to the motion vector detection unit (means). Therefore, the motion vector detection range for detecting the motion vector by the motion vector detection unit (means) can be set according to the motion of the input moving image video, and the number of motion vector detection ranges for detecting a more appropriate motion vector Even when there are a plurality of modes (that is, the number of modes), the accuracy in detecting a motion vector can be improved without increasing the circuit scale.
[0045]
In addition, according to the embodiment of the present invention, for example, since the motion vector detection range is fed back to the motion vector detection unit in units obtained by subdividing the input video image, for example, the input video image of one frame or the like is provided. A motion vector detection range that matches the motion of the input moving image video in a unit can be appropriately set in the motion vector detection unit, and the setting of a highly accurate motion vector detection range can be simplified.
[0046]
Further, according to the embodiment of the present invention, for example, referring to the result of the motion vector detection range obtained adaptively, the motion vector detection range to be actually applied is selected from a plurality of motion vector detection ranges provided in advance. Since the structure is provided, the update of the motion vector detection range set in the motion vector detection unit can be freely adjusted from the plurality of types according to the input moving image, for example, motion vector detection according to the user's intention such as preference Can be achieved. In addition, the motion vector detection range set in the motion vector detection unit in accordance with the motion of the input moving image video, for example, in accordance with the user's intention can be achieved.
[0047]
Further, according to the embodiment of the present invention, for example, since the feedback unit has a configuration that feeds back the motion vector detection range determined by the motion vector detection range determination unit to the motion vector detection unit and the switching region generation unit, The setting of the vector detection range can be determined by following the speed of the motion of the input moving image video, and the immediacy of the motion vector detection range in accordance with the motion of the input moving image video can be enhanced.
[0048]
Further, according to the embodiment of the present invention, for example, when (the number of motion vectors present in the motion vector switching region) / (number of macroblocks present in n periods) is equal to or greater than a predetermined threshold value, Since it has a configuration in which the motion vector detection range is switched and the switched motion vector detection range is fed back to the motion vector detection means and the switching area generation means, the amount of generated code can be reduced when encoding the input video image. The speed of motion vector detection in accordance with the motion of the image can be increased.
[0049]
(First embodiment)
FIG. 1 is a block diagram showing the configuration of a moving picture compression coding apparatus according to the first embodiment of the present invention, and is an example showing a case of an MPEG (Moving Pictures Experts Group) system. 1 is an input terminal, 2 is a frame rearranger, 3 is a discrete cosine transform (hereinafter referred to as DCT) unit, 4 is a quantizer, and 5 is a variable length encoder. 6 is a buffer memory, 7 is an output terminal, 8 is a rate controller, 9 is an inverse quantizer, 10 is an inverse DCT device, 11 is a frame memory, and 12 is a predictor. 13 is a detection range determiner, 14 is a switching region determiner, 15 is a comparator, 16 is a counter, 17 is a subtractor, 18 is a changeover switch, and 19 is An adder, 20 is a switch.
[0050]
The frame rearranger 2 according to the present embodiment is an example of the macroblock generation unit according to the present invention. The changeover switch 18, the subtractor 17, the DCT unit 3, the quantizer 4, and the inverse quantizer according to the present embodiment. The unit 9, the inverse DCT unit 10, the adder 19, the switch 20, and the frame scale 11 are examples of the code decoding means of the present invention, and the predictor 12 of the present embodiment is an example of the motion vector detecting means of the present invention. The switching area determiner 14, the comparator 15, and the counter 16 of the present embodiment are examples of the motion vector counting means of the present invention, and the detection range determiner 13 of the present embodiment is the motion vector detection of the present invention. It is an example of a range determination means.
[0051]
The operation of each block configured as described above will be described. The original picture signal input from the input terminal 1 is a video signal that is separated into an audio signal and a video signal in advance among the video and audio signals. The video signal is rearranged into frames by the frame rearranger 2, and then the original image video signal in a unit (hereinafter referred to as a macroblock unit) obtained by subdividing the frame by a predetermined number of pixels is The data are output to the changeover switch 18 in the rearranged order (hereinafter referred to as the decoding order). The changeover switch 18 outputs an original picture video signal (hereinafter referred to as a macroblock moving picture signal) in units of macroblocks as it is, or subtracts it from the macroblock moving picture signal by a motion compensated predicted video signal or the like. Select.
[0052]
First, the case where the changeover switch 18 selects the macroblock moving image signal as it is will be described. When the macroblock moving image signal output from the changeover switch 18 is an I picture, a DCT signal obtained by discrete cosine transform by the DCT unit 3 is output to the quantizer 4. The quantizer 4 performs quantization with a predetermined quantization value fed back from the rate controller 8 to output a quantized signal with a reduced amount of information to the variable length encoder 5 and the inverse quantizer 9. .
[0053]
The quantized signal input to the variable length encoder 5 is output to the buffer memory 6 as an encoded signal that has been encoded by the variable length encoder 5, and is encoded until it is extracted from the output terminal 7 in the buffer memory 6. The signal is stored and the generated code amount is output to the rate controller 8. The rate controller 8 feeds back the quantized value based on the generated code amount to the quantizer 4. The encoded signal extracted from the output terminal 7 is multiplexed with the audio signal by a system encoder (not shown).
[0054]
On the other hand, the quantized signal input to the inverse quantizer 9 outputs an inverse quantized signal obtained by inverse quantization with a predetermined quantization value to the inverse DCT device 10. The inverse DCT unit 10 outputs an inverse DCT signal obtained by performing inverse discrete cosine processing on the input quantized signal. When the changeover switch 18 selects the macro block moving image signal as it is like an I picture, the switch 20 is turned off in conjunction with the changeover switch 18 and is not added to the inverse DCT signal by the adder 19. The frame memory 11 stores a reference video signal in units of macro blocks (hereinafter referred to as a macro block reference signal) until one frame is reached. In a P picture, a motion vector that minimizes the difference between a reference video signal in frame units (hereinafter referred to as a frame reference signal) stored in the frame memory 11 for one frame and a macroblock moving image signal from the frame rearranger 2. Is predicted by the predictor 12, and a motion vector detection range is detected, and a motion vector and a video signal after motion compensation prediction (hereinafter referred to as a predicted video signal) are output.
[0055]
The case where the changeover switch 18 is a P picture or a B picture in which the subtracter 17 selects a difference signal between the macroblock moving image signal and the predicted video signal will be described. In the case of a P picture, a difference signal obtained by subtracting a predicted video signal based on the immediately preceding I picture or P picture from the macroblock moving image signal is output to the DCT unit 3, and the DCT signal is output to the quantizer 4. One of the quantized signals output from the quantizer 4 is stored in the buffer memory 7 until it is extracted from the output terminal 7 via the variable length encoder 5 and the buffer memory 6, and the generated code amount is controlled by the rate controller 8 The quantized value is fed back to the quantizer 4. The encoded signal stored in the buffer memory 6 is output from the output terminal 7 to the system encoder in the same manner as described above.
[0056]
The other of the quantized signals is input to the adder 19 via the inverse quantizer 9 and the inverse DCT device 10. In conjunction with the changeover switch 18, the switch 20 is turned on, and the I picture or P picture immediately before being subtracted by the subtracter 17 is added to the inverse DCT signal output from the inverse DCT unit 10 to obtain a macroblock reference signal. The macroblock reference signal added by the adder 19 is stored in the frame memory 11 until one frame is obtained, and the predictor 12 performs a motion that minimizes the difference signal from the frame reference signal and the macroblock moving image signal from the frame memory 11. A vector is detected within a motion vector detection range, and for example, a motion vector and a predicted video signal as shown in FIG. 2 are output.
[0057]
When the macroblock moving picture signal is a B picture, the macroblock moving picture signal is the same as the P picture except that the subtracter 17 takes the difference between the predicted video signal based on the preceding and following I pictures or the P picture and the macroblock moving picture signal. However, considering the B picture, as described above, the B picture refers to the previous and subsequent pictures, so that the accuracy improvement is small for the complexity of the algorithm for updating the motion vector detection range in units of frames. In the embodiment, an algorithm that ignores a B picture until the next P picture is selected is adopted.
[0058]
One of the signals output from the predictor 12 obtained in this way is used as a predicted video signal for subtracting the next macroblock moving image signal by the subtractor 17, and the other is a motion vector that moves as shown in FIG. In order to compare and verify whether it exists within the vector detection range, a motion vector in units of macroblocks is output to the comparator 15. A region D in FIG. 3 indicates a region where the motion vector detection range is narrowed, and a region U indicates a region where the motion vector detection range is expanded. That is, the macroblock C detected by the predictor 12 shown in FIG. _ij Motion vector V corresponding to _ij Is compared in the motion vector switching region D or U output from the switching region determiner 14 by the comparator 15 to find the macroblock switching signal adaptively and output it to the counter 16 To do.
[0059]
The motion vector detection range shown in FIG. 3 will be described in more detail. FIG. 4 is a diagram illustrating the motion vector detection range shown in FIG. 3 in more detail. FIG. 4A shows motion vector detection range candidates. In this embodiment, there are five motion vector detection range candidates A1, A2, A3, A4, and A5. These motion vector detection range candidates are stored in the detection range determiner 13. The motion vector detection ranges used when the motion vector is detected by the predictor 12 or when the motion vector switching region is determined by the switching region determiner 14 are candidates for the five motion vector detection ranges A1 and A2. , A3, A4, A5 are selected and used.
[0060]
Assume that A3 is actually used as a motion vector detection range among the motion vector detection range candidates A1, A2, A3, A4, and A5.
[0061]
As shown in FIG. 4B, the outermost line l3 that is the outermost line of the motion vector detection range A3, and the outermost line l3 ′ that is the outermost line of the motion vector detection range A3 ′ that is inside the motion vector detection range A3. A region between the regions corresponds to the region U described in FIG. The region U in FIG. 3 is determined by the switching region determiner 14. Then, as will be described later, when a predetermined condition is satisfied when a motion vector is on the area U, the motion vector detection range A3 is processed to be expanded. At this time, the motion vector detection ranges A3 ′ and A3 ″ are processed to expand at the same time.
[0062]
Similarly, as shown in FIG. 4B, the region inside the outermost line l3 ″ that is the outermost line of the motion vector detection range A3 ″ inside the motion vector detection range A3 ′ has been described with reference to FIG. Corresponds to region D. The region D in FIG. 3 is determined by the switching region determiner 14, and the motion vector detection range A3 is reduced when a predetermined condition is satisfied when a motion vector is on the region D as will be described later. To be processed. At this time, the motion vector detection ranges A3 ′ and A3 ″ are processed to be reduced at the same time.
[0063]
Further, the switching area determiner 14 determines the area U and the area D in FIG. 3 according to the motion vector detection range.
[0064]
In this embodiment, since the motion vector detection range is switched only for motion vectors based on P pictures, the comparator 15 operates only when P pictures are encoded. Naturally, it operates even when encoding a B picture.
[0065]
Comparator 15 uses macroblock C _ij Motion vector V corresponding to _ij 3 is determined whether or not the vehicle is on the region U in FIG. 3 and whether it is on the region D, and the determination result is output to the counter 16 as a macroblock switching signal.
[0066]
When the macro block switching signal is input to the counter 16, the macro block switching signal is sent to the macro block C. _ij Motion vector V corresponding to _ij Indicates that the vehicle is on the area U in FIG. 3, the count value corresponding to the area U is increased by 1, and the macroblock switching signal is changed to the macroblock C. _ij Motion vector V corresponding to _ij Indicates that the vehicle is on the region D in FIG. 3, the count value corresponding to the region D is increased by 1.
[0067]
In this way, the counter 16 counts the count value corresponding to the region D and the count value corresponding to the region U for one frame, and the counter 16 uses the count result as a frame unit switching signal (hereinafter referred to as a frame switching signal). To the detection range determiner 13. When the frame switching signal is input, the detection range determiner 13 adaptively determines the motion vector detection range in units of frames.
[0068]
That is, the detection range determiner 13 determines the motion vector detection range actually used from the motion vector detection range candidates A1, A2, A3, A4, and A5 shown in FIG.
[0069]
As shown in FIG. 5A, the detection range determiner 13 selects the motion vector detection range A4 as shown in FIG. 5B when the motion vector Q is on the region D. Reduce the motion vector detection range. More specifically, the detection range determiner 13 calculates (the number of motion vectors existing in the motion vector switching area D) (the number of motion vectors in the period of one frame) based on the frame switching signal input from the counter 16. When the value divided by the number of macroblocks) exceeds a predetermined threshold, the motion vector detection range is switched to the motion vector switching area A4. At this time, the motion vector detection ranges A3 ′ and A3 ″ are simultaneously switched to A4 ′ and A4 ″, respectively. Thus, the detection range determiner 13 reduces each motion vector detection range. When the detection range determiner 13 determines the motion vector detection range as the motion vector detection range A4, the determined motion vector detection range is fed back to the switching region determiner 14 and the predictor 12. In response to the determination, the switching area determiner 14 determines the motion vector switching areas D and U as shown in FIG.
[0070]
Further, when the motion vector R is on the region U as shown in FIG. 6B, the detection range determiner 13 selects the motion vector detection range A2 as shown in FIG. 6B. As a result, the motion vector detection range is expanded. More specifically, based on the frame switching signal input from the counter 16, the detection range determiner 13 calculates (the number of motion vectors existing in the motion vector switching region U) (in the period of one frame). When the value divided by the number of macroblocks) exceeds a predetermined threshold, the motion vector detection range is switched to the motion vector detection range A2. At this time, the motion vector detection ranges A3 ′ and A3 ″ are switched to A2 ′ and A2 ″ respectively. In this way, the detection range determiner 13 expands each motion vector detection range. When the detection range determiner 13 determines the motion vector detection range as the motion vector detection range A2, the determined motion vector detection range is fed back to the switching region determiner 14 and the predictor 12. In response to the determination, the switching area determiner 14 determines the motion vector switching areas D and U as shown in FIG.
[0071]
Further, the detection range determiner 13 has a value obtained by dividing (the number of motion vectors existing in the motion vector switching region D) by (the number of macroblocks existing in one frame period) smaller than a predetermined threshold, and ( When the value obtained by dividing (the number of motion vectors existing in the motion vector switching region U) by (the number of macroblocks existing in one frame period) is smaller than a predetermined threshold, the motion vector detection range is neither enlarged nor reduced. That is, the motion vector detection range is not changed.
[0072]
The motion vector detection range fed back to the predictor 12 is used as a motion vector detection range when predicting a motion vector in the predictor 12 in the next frame unit as an optimal motion vector detection range in frame units.
[0073]
For example, when the detection range determiner 13 determines the motion vector detection range as the motion vector A4 as shown in FIG. 5B, the predictor 12 predicts the motion vector in units of the next frame. A motion vector detection range A4 is used.
[0074]
Similarly, when the detection range determiner 13 determines the motion vector detection range as the motion vector A2 as shown in FIG. 6B, the predictor 12 predicts the motion vector in units of the next frame. The motion vector detection range A2 is used.
[0075]
The same operation as described above is performed in the next frame unit, and the motion vector detection range used in the predictor 12 is adaptively updated one after another. In the present embodiment, the above operation is performed for each P frame. That is, FIG. 7 shows the timing for updating the motion vector detection range. The motion vector detected in the P frame 20 is used by the detection range determiner 13 to determine the motion vector detection range of the next P frame 21. As described above, the moving image compression coding apparatus according to the present embodiment switches the motion vector detection range for each P frame.
[0076]
In particular, in the case of an input video image having a large motion, the conventional video compression encoding apparatus described with reference to FIG. 11 detects only the motion vector P riding on the outermost periphery of the motion vector detection range 320. Therefore, even if a motion vector more appropriate than the motion vector P on the outermost periphery of the motion vector detection range 320 exists outside the motion vector detection range 320, such a motion vector can be detected and used. There wasn't. Even in such a case, the conventional moving image compression encoding apparatus described with reference to FIG. 11 detects and uses the motion vector P instead of detecting an appropriate motion vector.
[0077]
On the other hand, in the moving picture compression encoding apparatus of the present embodiment, when the motion vector detection range is expanded, it rides on the area U shown in FIG. 3, FIG. 4, FIG. 5, FIG. Consider motion vectors. Therefore, even when a proper motion vector exists outside the motion vector detection range in the conventional technique and such a proper motion vector cannot be detected, the region U is moved as a motion vector as in the present embodiment. This makes it possible to detect an appropriate motion vector that could not be detected by the conventional technique.
[0078]
As described above, according to the present embodiment, it is possible to detect an appropriate motion vector even for an input video image with a large motion, and to set an appropriate motion vector detection range. Become.
[0079]
As described above, the moving image compression coding apparatus according to the present embodiment detects a motion vector in parallel with the processing operation of the motion vector detection means 21 that detects a motion vector of a moving image signal by compression coding. Since the motion vector detection range to be performed is replaced with a range optimized for each frame, the effect of optimizing motion vector detection without increasing the hardware scale of a circuit or the like provided for the motion vector detection means 21 There is. In addition, an appropriate motion vector can be detected even for an image having a large motion, and an appropriate motion vector detection range can be set.
[0080]
In the present embodiment, the detection range determiner 13 selects the motion vector detection range that is actually used from the five motion vector detection range candidates. However, the present invention is not limited to this. An actual motion vector detection range may be selected from three motion vector detection range candidates, or an actual motion vector detection range may be selected from seven motion vector detection range candidates. The detection range determiner 13 of the present embodiment stores a plurality of motion vector detection range candidates, and only needs to be determined by selecting a motion vector detection range to be actually used.
[0081]
Furthermore, in the present embodiment, the detection range determiner 13 has been described as selecting a motion vector detection range that is actually used from the five motion vector detection ranges, but the present invention is not limited to this. The detection range determiner 13 may increase the expansion ratio of the motion vector detection range as the number of motion vectors existing in the motion vector switching region U increases.
[0082]
In this case, the detection range determiner 13 may select a larger motion vector detection range as the number of motion vectors existing in the motion vector switching region U increases from the motion vector detection ranges held in advance. Alternatively, the detection range determiner 13 may not generate the motion vector detection range in advance, and may generate a larger motion vector detection range as the number of motion vectors existing in the motion vector switching region U increases.
[0083]
The detection range determiner 13 may increase the reduction rate of the motion vector detection range as the number of motion vectors existing in the motion vector switching region D increases.
[0084]
Further, in this case, the detection range determiner 13 may select a smaller motion vector detection range as the number of motion vectors present in the motion vector switching region D from the previously stored motion vector detection ranges increases. Alternatively, the detection range determiner 13 may not generate the motion vector detection range in advance, and may generate a smaller motion vector detection range as the number of motion vectors existing in the motion vector switching region D increases.
[0085]
Note that the moving image compression encoding apparatus of this embodiment approaches a pixel unit when the motion vector detection range is narrow as shown in FIGS. 8A, 8B, and 8C. On the other hand, if it is wide, the motion vector to be detected by the widened portion is thinned out. That is, when the detection range is wide as in the motion vector detection range A1 as shown in FIG. 8A, the motion vector relating to the thinned pixels is detected as indicated by black marks, and conversely in FIG. ), When the detection range is narrow as in the motion vector detection range A5, the motion vector is detected in pixel units as indicated by black marks. Therefore, even if the motion vector detection range is widened, pixels for obtaining motion vectors are thinned out according to the width, so that the amount of calculation for motion vector detection does not increase.
[0086]
As shown in FIG. 4, when a plurality of types of motion vector detection ranges are provided, and a configuration for selecting a motion vector detection range from the plurality of types of motion vector detection ranges is provided, the motion vector detection range is set as the motion of the input video. Optimization can be achieved by appropriately enlarging / reducing according to the size, the motion vector detection accuracy can be improved and the amount of generated codes can be reduced, and the quality of the moving image after decoding can be improved.
[0087]
In addition, a circuit such as a storage means required for motion vector detection can be scaled to correspond to the narrowest range of the motion vector detection range, thereby realizing a high-quality decoded image due to improved motion vector detection accuracy. The device that can be made can also be made inexpensive.
[0088]
From the motion vector detection range 13 in the above embodiment, a switching region determiner 14 that generates a motion vector detection range switching region according to the motion vector detection range, and the motion vector detection range switching region and the detected motion vector And a comparator 15 for comparing the motion vector to determine whether the motion vector is present in the motion vector switching region, and the counter 16 stores the motion vector switching region and the determination signal of the output signal of the comparator 15 and stores it in the counter 16. With the configuration for determining the motion vector detection range based on the determination signal, the setting of the motion vector detection range of the motion vector detected by the motion vector detection means 21 can follow the motion of the input video image, Immediateness of the motion vector detection range according to the motion of the input video image can be improved.
[0089]
In the present embodiment, the motion vector detection range output from the detection range determiner 13 to the predictor 12 has been described as being updated in units of frames. However, the present invention is not limited to this. Although it has been described that the motion vector detection range is adaptively determined for each frame, the present invention is not limited to this.
[0090]
The motion vector detection range output from the detection range determiner 13 to the predictor 12 may be updated during n (n is a natural number satisfying n ≦ N) periods. However, N is the total number of macroblocks existing in one frame, and the total number of macroblocks in one division unit when one frame is divided into a plurality is n. In this case, the counter 16 is also configured to store the number of motion vectors in n motion vectors existing in the motion vector switching region, and (the number of motion vectors existing in the motion vector switching region) is set to (n When the value divided by the number of macroblocks existing in the period becomes equal to or greater than a predetermined threshold value, the motion vector detection range is switched, and the switched motion vector detection range is transferred to the motion vector detection means 21 and the switching region determiner 14. Return.
[0091]
For example, when a value obtained by dividing (the number of motion vectors existing in the region D) by (the number of macroblocks existing in n periods) is equal to or greater than a predetermined threshold, the motion vector detection range is set to, for example, FIG. 5), the motion vector detection range A3 is switched to the motion vector detection range A4 as shown in FIG. That is, the motion vector detection range is reduced. For example, when the value obtained by dividing (the number of motion vectors existing in the region U) by (the number of macroblocks existing in n periods) is equal to or greater than a predetermined threshold value, For example, the motion vector detection range is switched from the motion vector detection range A3 to the motion vector detection range A2 as shown in FIGS. 6 (a) and 6 (b). That is, the motion vector detection range is expanded.
[0092]
By adopting such a configuration, it is possible to improve the detection accuracy of the motion vector in accordance with the motion of the input moving image video and reduce the amount of generated code.
[0093]
Next, the flow of a series of processes described above will be described using FIG. 9 with reference to the block diagram shown in FIG.
[0094]
First, the input video image input from the input terminal 1 is rearranged by the frame rearranger 2 in the order of decoding, and is subdivided into N pieces (where N is a natural number of 2 or more) per frame in step 31. It becomes a block moving image signal.
[0095]
In step 32, the changeover switch 18 determines whether the macroblock moving image signal extracted from the frame rearranger 2 in the decoding order is an I picture or a non-I picture. If the changeover switch 18 determines that the macroblock moving image signal is an I picture, the switch 20 is turned off.
[0096]
The macroblock moving image signal determined to be an I picture is passed through a DCT unit 3, a quantizer 4, an inverse quantizer 9, an inverse DCT unit 10, and an adder 19 in step 33, and is then sent to the frame memory 11 as an I picture macroblock Stores a decoded video signal.
[0097]
Next, in step 34, the end of compression decoding of the macroblock moving image signal for one frame is determined. If one frame has not been reached, the process returns to step 32.
[0098]
In step 32, it is determined whether the macroblock moving image signal extracted from the rearranger 2 is an I picture. If it is not an I picture, it is determined in step 35 by the changeover switch 18 whether it is a P picture or a B picture.
[0099]
When the macroblock moving image signal is determined to be a P picture, the subtracter 17 subtracts the macroblock moving image signal and the predicted video signal output from the predictor 12 in step 36, and outputs a difference signal. Switch 20 is turned on.
[0100]
The difference signal subtracted in step 36 passes through the DCT unit 3, the quantizer 4, the inverse quantizer 9, and the inverse DCT unit 10 in step 37, and is output from the inverse DCT signal of the P picture and the predictor 12 in the adder 19. The predicted video signal (in this example, the predicted video signal from the immediately preceding I picture, but when the P picture continues, the predicted video signal from the immediately preceding P picture) is added, and the macro block is referenced The signal is stored in the frame memory 11 until one frame is reached. At the same time, the predictor 12 generates a predicted video signal using a motion vector that minimizes the difference between the frame reference signal and the macroblock moving image signal from the frame rearranger 2.
[0101]
The predicted video signal generated in step 37 is input to the comparator 15 in step 38, and the comparator 15 compares the predicted video signal with the motion vector switching region output from the switching region determiner 14, thereby making a macroblock. A switching signal is output to the counter 16. The counter 16 stores the macroblock switching signal until one frame is reached.
[0102]
Next, in step 34, the end of compression decoding of the macroblock moving image signal for one frame is determined. If one frame has not been reached, the process returns to step 32. In the above example, the step of turning on the switch 20 is set to step 36. However, it may be any step before addition by the adder 19, and may be step 35 or step 37. Of course.
[0103]
In step 32, it is determined whether the macroblock moving image signal extracted from the rearranger 2 is an I picture. If it is not an I picture, the switch 18 determines whether it is a P picture or a B picture in step 35.
[0104]
If the macroblock moving image signal is determined to be a B picture, the subtracter 17 subtracts the macroblock moving image signal and the predicted video signal output from the comparator 12 in step 39 to output a difference signal. The difference signal subtracted in step 39 generates a quantized signal in step 40 through the DCT unit 3 and the quantizer 4, and in step 34 determines the end of compression decoding of the macroblock moving image signal for one frame. If one frame has not been reached, the process returns to step 32.
[0105]
If it is determined in step 34 that one frame has been reached, a frame switching signal is output from the counter 16 to the detection range determiner 13 in step 41, and the detection range determiner 13 detects the motion vector detection range in units of frames. Is fed back to the predictor 12 and also output to the switching region determiner 14, and a motion vector switching region is generated by the switching region determiner 14 and output to the comparator 15.
[0106]
In step 41, a motion vector detection range in units of frames is generated and output to the predictor 12. After that, in step 42, the moving image video signal is finished and it is determined whether there is a next frame. Returning to the device 2, if there is no next frame, the process is terminated.
[0107]
In the above-described embodiment, the case where the motion vector detection range is updated in units of frames has been described. However, it is performed in units of predetermined units of input moving image signals such as screen units, frame units, and group of pictures (GOP) units. You can also. However, it is necessary to change the motion vector detection range determiner 13, the frame memory 11 and the like according to the unit.
[0108]
In the above-described embodiment, MPEG compression has been described as an example, but the compression / decoding method is not limited to MPEG. 261 or H.264. Any compression scheme that performs inter-frame prediction that reduces redundancy in the time direction, such as H.263, can be applied.
[0109]
According to the present embodiment, even when there are a plurality of detection ranges for motion vector detection, the speed of input video motion can be reduced when moving image compression encoding is performed without increasing the hardware scale. Accordingly, there is an effect that the optimum motion vector detection range can be selected, and as a result, an excellent effect that high image quality can be realized is obtained. Further, an appropriate motion vector can be detected even for an image with a large motion, and an appropriate motion vector detection range can be set.
[0110]
The program of the present invention is a program for causing a computer to execute all or some of the steps (or processes, operations, actions, etc.) of the above-described motion vector detection method of the present invention. It is a program that works in cooperation.
[0111]
The recording medium of the present invention is a program for causing a computer to execute all or a part of all or some of the steps (or processes, operations, actions, etc.) of the motion vector detection method of the present invention described above. Is a recording medium that can be read by a computer and that the read program executes the operation in cooperation with the computer.
[0112]
The “part of means (or apparatus, element, etc.)” of the present invention means one or several means out of the plurality of means. The “step (or process, operation, action, etc.)” means one or several of the plurality of steps.
[0113]
Further, the above-mentioned “means (or device, element, etc.) function” of the present invention means the function of all or a part of the above means, and the above “step (or process, operation, action, etc.) ) "Means the operation of all or part of the above steps.
[0114]
Further, one usage form of the program of the present invention may be an aspect in which the program is recorded on a computer-readable recording medium and operates in cooperation with the computer.
[0115]
Further, one usage form of the program of the present invention may be an aspect in which the program is transmitted through a transmission medium, read by a computer, and operated in cooperation with the computer.
[0116]
The data structure of the present invention includes a database, data format, data table, data list, data type, and the like.
[0117]
The recording medium includes a ROM and the like, and the transmission medium includes a transmission medium such as the Internet, light, radio waves, sound waves, and the like.
[0118]
The computer of the present invention described above is not limited to pure hardware such as a CPU, but may include firmware, an OS, and peripheral devices.
[0119]
As described above, the configuration of the present invention may be realized by software or hardware.
[0120]
【The invention's effect】
As is apparent from the above description, the present invention is capable of detecting an appropriate motion vector even for an image having a large motion, and a moving image compression capable of setting an appropriate motion vector detection range. An encoding device, a motion vector detection method, a recording medium, and a program can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram of a moving image compression coding apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a macroblock motion vector according to the first embodiment of the present invention;
FIG. 3 is a diagram showing an example of a motion vector and a motion vector switching area in the first embodiment of the present invention.
FIG. 4A is a diagram showing motion vector detection range candidates according to the first embodiment of the present invention.
(B) The figure which shows the motion vector detection range in the 1st Embodiment of this invention.
FIG. 5A is a diagram showing an example of a current motion vector detection range in the first embodiment of the present invention.
(B) The figure which shows the example of the motion vector detection range after the update in the 1st Embodiment of this invention
FIG. 6A is a diagram showing an example of a current motion vector detection range in the first embodiment of the present invention.
(B) The figure which shows the example of the motion vector detection range after the update in the 1st Embodiment of this invention
FIG. 7 is a diagram showing the update timing of the motion vector detection range in the first embodiment of the present invention.
FIG. 8A is a diagram showing an outline of pixel sampling when detecting a motion vector when a motion vector detection range is large in the first embodiment of the present invention;
(B) The figure which shows the outline | summary of the sampling of the pixel at the time of detecting the motion vector in case the motion vector detection range is medium in the 1st Embodiment of this invention
(C) The figure which shows the outline | summary of the sampling of the pixel at the time of detecting the motion vector in case the motion vector detection range in the 1st Embodiment of this invention is small
FIG. 9 is a flowchart of motion vector switching area determination in the first embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of a conventional motion vector detection device.
FIG. 11 is a block diagram showing a configuration of a conventional moving image compression encoding apparatus.
FIG. 12 is an explanatory diagram showing an operation of a motion detection device 307A constituting a conventional moving image compression encoding device.
FIG. 13 is a flowchart showing the processing operation of the CPU 5 constituting the conventional moving image compression encoding apparatus.
FIG. 14 is a diagram showing an example of a motion vector detection range and a motion vector of a conventional moving image compression encoding apparatus.
[Explanation of symbols]
1 Input terminal
2 Frame sorter
3 DCT unit
4 Quantizer
5 Variable length encoder
6 Buffer memory
7 Output terminal
8 Rate controller
9 Inverse quantizer
10 Inverse DCT device
11 frame memory
12 Predictor
13 Motion vector detection range determiner
14 Switching area determiner
15 comparator
16 counter
17 Subtractor
18 changeover switch
19 Adder
20 switches
21 Motion vector detection means

Claims (14)

Macroblock generating means for generating a macroblock moving image signal obtained by subdividing an input video image into N (where N is a natural number of 2 or more) per frame;
Coding / decoding means for generating a decoded moving image signal by compressing and encoding the macroblock moving image signal;
Motion vector detection means for detecting a motion vector within a first motion vector detection range from the decoded video signal and the macroblock video signal;
Among the detected motion vectors, the first outermost line that is the outermost line of the first motion vector detection range and the outermost of the second motion vector detection range that is inside the first motion vector detection range. Motion vector counting means for counting the number of motion vectors between the second outermost line, which is an outer line, as the number of first motion vectors;
A moving image compression encoding apparatus comprising: a motion vector detection range determining unit that expands the first motion vector detection range based on the counted number of the first motion vectors. The motion vector counting means counts the number of motion vectors within the third motion vector detection range inside the second motion vector detection range as the number of second motion vectors,
2. The moving image compression encoding apparatus according to claim 1, wherein the motion vector detection range determination means reduces the first motion vector detection range based on the counted number of the second motion vectors. The motion vector detection range determining means expands the first motion vector detection range when the counted number of the first motion vectors is larger than a predetermined threshold, and when the number of the first motion vectors is smaller than the predetermined threshold, The moving picture compression encoding apparatus according to claim 1, wherein one motion vector detection range is not expanded or the first motion vector detection range is not changed. 2. The moving image compression coding apparatus according to claim 1, wherein the motion vector detection range determination means increases the expansion rate of the first motion vector detection range as the number of counted first motion vectors increases. 3. The moving image compression encoding apparatus according to claim 2, wherein the motion vector detection range determining means increases the reduction ratio of the first motion vector detection range as the number of counted second motion vectors increases. The motion vector detection range determining means has a plurality of types of motion vector detection ranges in advance,
2. The moving image according to claim 1, wherein a larger motion vector detection range is selected from the plurality of types of motion vector detection ranges as the number of counted first motion vectors is larger, and is used as the first motion vector detection range. Image compression coding apparatus. The motion vector detection range determining means has a plurality of types of motion vector detection ranges in advance,
3. The moving image according to claim 2, wherein from the plurality of types of motion vector detection ranges, a smaller motion vector detection range is selected as the number of the counted second motion vectors is larger, and is used as the first motion vector detection range. Image compression coding apparatus. The motion vector detection range determination means updates the first motion vector detection range for each P frame or for each division unit obtained by dividing the P frame into n pieces (where n ≦ N is a natural number). ,
When the first motion vector detection range is updated, the motion vector detection range determination means sets the number of the first motion vectors counted in the P frame or the division unit to the P frame or The moving image compression coding according to claim 1, wherein the first motion vector detection range is expanded when the number divided by the number of macroblock moving image signals existing in the division unit is equal to or greater than a predetermined threshold. apparatus. The motion vector detection range determination means updates the first motion vector detection range for each P frame or for each division unit obtained by dividing the P frame into n pieces (where n ≦ N is a natural number). ,
When the first motion vector detection range is updated, the motion vector detection range determination means sets the number of the second motion vectors counted in the P frame or the division unit to the P frame or The moving image compression coding according to claim 1, wherein the first motion vector detection range is reduced when the number divided by the number of macroblock moving image signals existing in the division unit exceeds a predetermined threshold. apparatus. 9. The moving image according to claim 1, wherein the motion vector detection means expands the second motion vector detection range when expanding the first motion vector detection range. Image compression coding apparatus. 10. The moving image compression coding apparatus according to claim 2, 4, 7, or 9, wherein the motion vector detection means also reduces the third motion vector detection range when reducing the first motion vector detection range. A decoded moving image signal generated by compressing and encoding a macroblock moving image signal generated by subdividing an input moving image image into N (where N is a natural number of 2 or more) per frame. A motion vector detection step for detecting a motion vector within a first motion vector detection range from the macroblock moving image signal;
Among the detected motion vectors, the first outermost line that is the outermost line of the first motion vector detection range and the outermost of the second motion vector detection range that is inside the first motion vector detection range. A motion vector counting step for counting the number of motion vectors between the outermost second outermost line as the number of first motion vectors;
A first outermost line that is the outermost line of the first motion vector detection range, and a second outermost line that is the outermost line of the second motion vector detection range located inside the first motion vector detection range. A motion vector counting step for counting the number of first motion vectors, which is the number of motion vectors above one or more second outermost lines adjacent to the first outermost line;
A motion vector detection method comprising: a motion vector detection range determination step for expanding the first motion vector detection range based on the counted number of the first motion vectors. 13. The motion vector detection method according to claim 12, after compressing and encoding a macroblock moving image signal generated by dividing an input moving image image into N (where N is a natural number of 2 or more) per frame. A motion vector detection step of detecting a motion vector within a first motion vector detection range from the decoded video signal generated by decoding and the macroblock video signal;
Among the detected motion vectors, the first outermost line that is the outermost line of the first motion vector detection range and the outermost of the second motion vector detection range that is inside the first motion vector detection range. A motion vector counting step for counting the number of motion vectors between the outermost second outermost line as the number of first motion vectors;
A program for causing a computer to execute a motion vector detection range determination step of expanding the first motion vector detection range based on the counted number of the first motion vectors. 14. A recording medium carrying the program according to claim 13, which can be processed by a computer.

Images