JP4102970B2 - 動画像符号列変換方法 - Google Patents
動画像符号列変換方法 Download PDFInfo
- Publication number
- JP4102970B2 JP4102970B2 JP2002011078A JP2002011078A JP4102970B2 JP 4102970 B2 JP4102970 B2 JP 4102970B2 JP 2002011078 A JP2002011078 A JP 2002011078A JP 2002011078 A JP2002011078 A JP 2002011078A JP 4102970 B2 JP4102970 B2 JP 4102970B2
- Authority
- JP
- Japan
- Prior art keywords
- motion information
- image frame
- moving image
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号列を使用用途に応じて再符号化する動画像符号列変換方法に関し、特に再符号化時おける処理量を低減するための動きベクトル予測方法に関する。
【０００２】
【従来の技術】
高品位に符号化された動画像符号列をより劣悪な伝送環境で利用するような場合、輻輳などを避けるべく符号列をより低品位なものへと変換することが行われている。具体的には、輻輳への対応として、ビットレートを低減することの他に、空間及び／又は時間解像度を下げることや、符号化方法自体を変更するなどの処理が行われている。
【０００３】
この符号列の変換方法には、大別して、符号語レベルで変換を行ってしまう手法と、一旦復号して得られた画像を再符号化する手法とがある。このうち、前者の手法は、変換前の符号列と変換後の符号列における参照フレームが異なるような場合には適切に符号列を変換できないなどの制限があることから、汎用性の高いのは後者の手法である。以下、この後者の手法、即ち、一旦復号して得られた画像を再符号化する符号列変換方法について、図面を参照して簡単に説明する。
【０００４】
図２２を参照すると、入力される動画像符号列（以下、元動画像符号列という）に対応する原動画像と、元動画像符号列を復号して得られる復号動画像とが示されている。図２２において、復号動画像を再符号化するにあたっても、原動画像を符号化した際と同様に、動き補償予測が行われ情報量の削減が図られる。この動き補償予測を行うにあたり、復号動画像内の画像フレームのみを利用して一から動きベクトル探索を行うのではなく、原動画像の圧縮符号化に際して既に算出されている動きベクトルを利用して、再符号化時における演算処理量を低減するのがここで取り扱う符号列変換方法の特徴である。
【０００５】
ここで、従来の符号列変換方法について説明するにあたり、内容を明瞭なものとするため、その説明において用いられる用語について簡単に触れておく。なお、これらの用語は、図２２にも記載されている。
【０００６】
まず、復号動画像における現画像フレームを新対象画像フレームＦＯ１とし、その新対象画像フレームＦＯ１内において符号化対象となっているブロックを新符号化対象ブロックＢＣ１とする。また、原動画像において、復号動画像内の新対象画像フレームＦＯ１及び新対象画像フレームＦＯ１内の新符号化対象ブロックＢＣ１に対応する画像フレーム及びブロックを、夫々、元対象画像フレームＦＯ２及び元符号化対象ブロックＢＣ２とする。更に、復号動画像内において新符号化対象ブロックＢＣ１の再符号化に際して参照される画像フレームを第１画像フレームＦＲ１とする一方、原動画像内において元符号化対象ブロックＢＣ２の符号化に際して参照された画像フレームを第２画像フレームＦＲ２とする。また、新対象画像フレームＦＯ１と第１画像フレームＦＲ１とのフレーム関距離を第１のフレーム関距離ＦＤ１とし、元対象画像フレームＦＯ２と第２画像フレームＦＲ２とのフレーム関距離を第２のフレーム関距離ＦＤ２とする。加えて、原動画像を動き補償予測符号化して得られる元動画像符号列には、元符号化対象ブロックＢＣ２に関する情報として、第２画像フレームＦＲ２上のブロックである参照ブロックＢＲについての情報、元符号化対象ブロックＢＣ２の参照ブロックＢＲに対する変位（動きベクトル）である第２の動きベクトルＭＶ２、元符号化対象ブロックＢＣ２と参照ブロックＢＲとの差分情報などが含まれている。
【０００７】
従来の動画像符号列変換方法においては、新符号化対象ブロックＢＣ１の再符号化に必要となる第１の動きベクトルＭＶ１を算出するために、元動画像符号列に含まれている第２の動きベクトルＭＶ２のみを利用していた。具体的には、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比（ＦＤ１／ＦＤ２）に応じて第２の動きベクトルＭＶ２をスケーリングして、第１の動きベクトルＭＶ１を算出していた。すなわち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２とが等しい場合には、第１の動きベクトルＭＶ１は第２の動きベクトルＭＶ２に等しく、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２よりも大きい場合には、第１の動きベクトルＭＶ１は第２の動きベクトルＭＶ２よりも長いベクトルになり、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２よりも小さい場合には、第１の動きベクトルＭＶ１は第２の動きベクトルＭＶ２よりも短いベクトルになっていた。
【０００８】
この図２２に示される手順は、空間及び／又は時間解像度変換を含む符号列変換処理においても基本的に同じである。但し、例えば、垂直方向及び水平方向の夫々において１／２とするような空間解像度変換を行う場合にあっては、新符号化対象ブロックＢＣ１に対応するブロックは、元対象画像フレームＦ０２内に４つ（ＢＣ２１，ＢＣ２２，ＢＣ２３，ＢＣ２４）あることになり、また、各ブロックＢＣ２１，ＢＣ２２，ＢＣ２３，ＢＣ２４について動きベクトルが存在することから、図２２における第２の動きベクトルＭＶ２に対応する動きベクトルも４本あることになる。そこで、空間解像度変換を含むような場合にあっては、その４本の動きベクトルを統合して１本の動きベクトルを生成する処理が必要となる。以下においては、この処理を統合処理と呼び、その結果生成される動きベクトルを統合ベクトルという。
【０００９】
ここで統合処理とは、図２３に示される例で言うと、例えば、４つのブロックＢＣ２１，ＢＣ２２，ＢＣ２３，ＢＣ２４からなるブロック群を一つのブロックと捉えた場合の当該ブロックの動きベクトルを求める処理と考えても良いし、それら４つのブロックＢＣ２１，ＢＣ２２，ＢＣ２３，ＢＣ２４の中から適切な一つを選択し、その選択されたブロックに関する動きベクトルを求める処理と考えても良い。即ち、簡単な例を挙げると、例えば、４本の動きベクトル（ＭＶ２１，ＭＶ２２，ＭＶ２３，ＭＶ２４）の平均をとるような処理が統合処理の一例である。
【００１０】
また、統合処理によって得られる統合ベクトルは、原動画像内での空間解像度に従っているものなので、空間解像度変換後の新対象画像フレームＦＯ１内の動きベクトルとするためには、空間解像度変換率に従って統合ベクトルのスケーリングを行う必要がある。例えば、垂直方向及び水平方向の夫々において１／２とするような空間解像度変換を行う場合には、垂直方向において１／２にスケーリングすると共に水平方向において１／２にスケーリングする、即ち、全体としてみれば、統合ベクトルを１／４にスケーリング処理が必要となる。
【００１１】
このような統合処理及び解像度変換率に従ったスケーリングを伴うような動画像符号列変換方法においても、従来、複数の第２の動きベクトルのみに基づいた統合ベクトルを第１及び第２のフレーム間距離ＦＤ１及びＦＤ２の比に従ってスケーリングするという手法が採用されていた。ここで、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２の比に従ったスケーリングは、統合ベクトル算出の前に行っても良いし、統合ベクトル算出の後に行っても良い。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した従来の動画像符号列変換方法によっては、符号化効率が大きく低下する場合があった。
【００１３】
上述した従来の動画像符号列変換方法は、新符号化対象ブロックＢＣ１の参照ブロックが第１画像フレームＦＲ１内に点線で示されるブロックＢＡ１であるとの前提に立って行われるものである。即ち、元符号化対象ブロックＢＣ２の参照ブロックＢＲに対する動きの延長線上に、新符号化対象ブロックＢＣ１の参照ブロックに対する動きが重なるとの前提に立つものである。
【００１４】
一方、一般的には、動画像において画像内領域の動きはフレーム毎に異なるものであるので、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が異なる場合、新符号化対象ブロックＢＣ１の参照ブロックは、図２４に示されるように、ブロックＢＡ１ではなくブロックＢＡ２である場合もある。このような場合には、本来、動きベクトルＭＶ１’を予測動きベクトルとして算出しなければならないのであるが、前述した従来の動画像符号列変換方法においては、対応することができず、従って、符号化効率が大きく低下することとなっていた。
【００１５】
また、このような第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が異なる場合における符号化効率低下の問題は、前述した空間解像度変換を伴う場合においても同様に生じる虞がある。
【００１６】
かかる問題点に着目し、本発明においては、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が異なる場合であっても、符号化効率の低下を抑えることのできる動画像符号列変換方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
前述したように、一般的には、フレームが異なればそのフレーム間における動きも異なる場合があることから、動き補償において参照フレームが変化した場合には参照領域を追従する形で前後フレームの動き情報を考慮する必要がある。
【００１８】
これに対して、従来の動画像符号列変換方法においては、第１の動きベクトルＭＶ１の算出のために第２の動きベクトルＭＶ２のみを用いることとし、その一方で、元動画像符号列に含まれる動きベクトル（総称して「元動きベクトル」という。）のうちの第２の動きベクトルＭＶ２以外の元動きベクトルであって、一旦、動きベクトル予測を行ってしまったものは、破棄されていた。
【００１９】
本発明の発明者は、ここに着目し、従来は破棄されていた元動き情報（元動きベクトルを含む）を保持しておき、第１及び第２のフレーム間距離が異なる場合には、第２の動き情報（第２の動きベクトルＭＶ２を含む）のみならず、他の元動き情報をも利用して、第１の動き情報（第１の動きベクトルを含む）を算出することとした。
【００２０】
具体的には、本発明によれば、以下に掲げるような動画像符号列変換方法が得られる。
【００２１】
即ち、本発明によれば、第１の動画像符号列変換方法として、原動画像をブロック単位で動き補償予測符号化してなる元動画像符号列を一旦復号して復号動画像を生成すると共に、前記元動画像符号列に含まれる複数の元動き情報から再符号化時における複数の動き情報を複数の予測動き情報として予測し、該複数の予測動き情報を利用して前記復号動画像をブロック単位で再符号化し新動画像符号列を生成することにより、前記元動画像符号列を前記新動画像符号列に変換する動画像符号列変換方法において、
一のブロックに関する予測動き情報を予測するにあたり、参照先となる画像フレームが前記原動画像と前記復号動画像とで異なる場合には、当該一のブロックに直接関係する元動き情報に加え、該直接関係する元動き情報以外の前記元動き情報をも利用して、前記一のブロックに関する前記予測動き情報を予測する、ことを特徴とする動画像符号列変換方法が得られる。
【００２２】
また、本発明によれば、第２の動画像符号列変換方法として、複数の画像フレームからなる原動画像に対して動き補償予測符号化を行って得られる元動画像符号列を受けて、該元動画像符号列を復号して復号動画像を生成した後、当該復号動画像の再符号化を行うことにより、前記元動画像符号列を新動画像符号列に変換する動画像符号列変換方法であって、
前記復号動画像は新対象画像フレーム及び第１画像フレームを含む複数の画像フレームからなるものであり、前記新対象画像フレームは新符号化対象ブロックを含むものであり、前記第１画像フレームは前記新符号化対象ブロックの再符号化に際して参照されることとなる第１ブロックを含むものであり、前記新符号化対象ブロックの再符号化時に用いられる動き情報は該新符号化対象ブロックの前記第１ブロックに対する動き情報である第１の動き情報であり、前記原動画像を構成する複数の画像フレームは元対象画像フレーム及び第２画像フレームを含むものであり、前記元対象画像フレームは前記新対象画像フレームに対応するものであると共に前記新符号化対象ブロックに対応する元符号化対象ブロックを含むものであり、前記第２画像フレームは前記元符号化対象ブロックの符号化に際して参照された第２ブロックを含むものであり、前記元動画像符号列は前記第２ブロックに関する情報と前記元符号化対象ブロックの前記第２ブロックに対する動き情報である第２の動き情報とを含むものである、動画像符号列変換方法において、
前記元動画像符号列から前記第２の動き情報を含む複数の元動き情報を抽出すると共に、前記元動画像符号列を復号して前記復号動画像を生成する動画像復号処理と、
前記動画像復号処理において抽出された複数の元動き情報を用いて、前記第１の動き情報を含む複数の予測動き情報を算出する動き情報算出処理を含む動きベクトル予測処理と、
前記新符号化対象ブロックを前記第１ブロックと前記第１の動き情報とに基づいて再符号化する手順を含み、前記復号動画像から前記新動画像符号列を生成する動画像再符号化処理とを備えており、
前記動きベクトル予測処理における動き情報算出処理は、前記新対象画像フレームと前記第１画像フレームとの間のフレーム間距離を第１のフレーム間距離とし且つ前記元対象画像フレームと前記第２画像フレームとの間のフレーム間距離を第２のフレーム間距離とした場合において、前記第１のフレーム間距離と前記第２のフレーム間距離との大小関係に応じて、前記第２の動き情報のみを利用して前記第１の動き情報を算出するか、前記第２の動き情報以外の前記元動き情報と前記第２の動き情報とを利用して前記第１の動き情報を算出するかを切り替えるものである
ことを特徴とする動画像符号列変換方法が得られる。
【００２３】
更に、本発明によれば、第３の動画像符号列変換方法として、前記第２の動画像符号列変換方法において、前記動きベクトル予測処理は、前記新対象画像フレーム内のブロックの夫々についてイントラブロックであるか否かを判断し、イントラブロックであった場合には、当該イントラブロックに関しては当該イントラブロックを前記新符号化対象ブロックとした前記動き情報算出処理を行わない、ことを特徴とする動画像符号列変換方法が得られる。
【００２４】
また、本発明によれば、第４の動画像符号列変換方法として、前記第２の動画像符号列変換方法において、前記動き情報算出処理は、前記第１及び第２のフレーム間距離が等しい場合には、前記第２の動き情報をそのまま前記第１の動き情報とし、前記第１及び第２のフレーム間距離が等しくない場合には前記第２の動き情報以外の前記元動き情報と前記第２の動き情報との動きベクトル演算処理を行って前記第１の動き情報を算出するものである、ことを特徴とする動画像符号列変換方法が得られる。
【００２５】
また、本発明によれば、第５の動画像符号列変換方法として、前記第４の動画像符号列変換方法であって、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記復号動画像における前記第１画像フレームに対応する画像フレームを第３画像フレームとし、該第３画像フレーム内のブロックであって前記第１フレーム内の第１ブロックに対応するブロックを第３ブロックとし、前記元符号化対象ブロックの前記第３ブロックに対する動き情報であって前記第１の動き情報と等価な動き情報を第３の動き情報とし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第３画像フレームの第３ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内のブロックを夫々第４画像フレーム及び第４ブロックとし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第２画像フレームの第２ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内のブロックを夫々第５画像フレーム及び第５ブロックとした場合において、
前記動画像復号処理において抽出された前記複数の元動き情報には、前記第３ブロックの前記第４ブロックに対する動き情報である第４の動き情報と、前記第２ブロックの前記第５ブロックに対する動き情報である第５の動き情報とが含まれており、
前記動きベクトル演算処理は、
前記第１のフレーム間距離が前記第２のフレーム間距離より大きいか小さいかを判定する第１のステップと、
該第１のステップにおいて小さいと判定した場合に、前記第２画像フレームと前記第４画像フレームとが一致するか否かを判断する第２のステップと、
該第２のステップにおいて一致すると判断した場合に、前記第４画像フレーム内に含まれるブロックから前記第４ブロックを特定すると共に前記第４の動き情報を取得する第３のステップと、
前記第２の動き情報から前記第４の動き情報を減算して前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得る第４のステップと、
前記第１のステップにおいて大きいと判定した場合に、前記第３画像フレームと前記第５画像フレームとが一致するか否かを判断する第５のステップと、
前記第５のステップにおいて一致すると判断した場合に、前記第５画像フレーム内に含まれるブロックから前記第５ブロックを特定すると共に前記第５の動き情報を取得する第６のステップと、
前記第２の動き情報に対して前記第５の動き情報を加算して前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得る第７のステップと
を備える、ことを特徴とする動画像符号列変換方法が得られる。
【００２６】
また、本発明によれば、第６の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、
前記第１のステップの実行前に前記第４画像フレームと前記元対象画像フレームとが一致するか否かを判断する第８のステップと、
該第８のステップにおいて一致すると判断した場合、前記第４の動き情報を取得し、該第４の動き情報の正負を反転したものを前記第３の動き情報とすることにより等価的に前記第１の動き情報を得る第９のステップと
を更に有し、前記第８のステップにおいて一致しないと判断した場合には前記第１のステップを行うことを特徴とする動画像符号列変換方法が得られる。
【００２７】
また、本発明によれば、第７の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、前記第２のステップにおいて一致しないと判断した場合に、前記第２画像フレームと前記第４画像フレームとが一致するように、前記第２の動き情報及び／又は前記第４の動き情報をスケーリングし、その後、前記第４のステップと同様にして減算を行って前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得るステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００２８】
また、本発明によれば、第８の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、前記第２のステップにおいて一致しないと判断した場合に、前記第１のフレーム間距離と前記第２のフレーム間距離との比に従って前記第２の動き情報をスケーリングして前記第１の動き情報を算出するステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００２９】
また、本発明によれば、第９の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、前記第５のステップにおいて一致しないと判断した場合に、前記第３画像フレームと前記第５画像フレームとが一致するように、前記第２の動き情報及び／又は前記第５の動き情報をスケーリングし、その後、前記第６のステップと同様にして加算を行って前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得るステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３０】
更に、本発明によれば、第１０の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、前記第５のステップにおいて一致しないと判断した場合に、前記第１のフレーム間距離と前記第２のフレーム間距離との比に従って前記第２の動き情報をスケーリングして前記第１の動き情報を算出するステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３１】
また、本発明によれば、第１１の動画像符号列変換方法として、複数の画像フレームからなる原動画像に対して動き補償予測符号化を行って得られる元動画像符号列を受けて、該元動画像符号列を復号して復号動画像を生成した後、当該復号動画像を所定の解像度変換率に従って変換して得られた変換後復号動画像を再符号化することにより、前記元動画像符号列を新動画像符号列に変換する動画像符号列変換方法であって、
前記復号動画像は新対象画像フレーム及び第１画像フレームを含む複数の画像フレームからなるものであり、前記新対象画像フレームは新符号化対象ブロックを含むものであり、前記第１画像フレームは前記新符号化対象ブロックの再符号化に際して参照されることとなる第１ブロックを含むものであり、前記新符号化対象ブロックの再符号化時に用いられる動き情報は該新符号化対象ブロックの前記第１ブロックに対する動き情報である第１の動き情報であり、前記原動画像を構成する複数の画像フレームは元対象画像フレーム及び第２画像フレームを含むものであり、前記元対象画像フレームは前記新対象画像フレームに対応するものであると共に前記新符号化対象ブロックに対応する複数の元符号化対象ブロックを含むものであり、前記第２画像フレームは前記複数の元符号化対象ブロックの符号化に際して参照された複数の第２ブロックを含むものであり、前記元動画像符号列は前記複数の第２ブロックに関する情報と前記複数の元符号化対象ブロックの前記複数の第２ブロックに対する複数の動き情報である複数の第２の動き情報とを含むものである、動画像符号列変換方法において、
前記元動画像符号列から前記複数の第２の動き情報を含む複数の元動き情報を抽出すると共に、前記元動画像符号列を復号して前記復号動画像を生成する動画像復号処理と、
前記復号動画像を前記所定の解像度変換率に従って解像度変換して前記変換後復号動画像を生成する解像度変換処理と、
前記動画像復号処理において抽出された複数の元動き情報を用いて、前記第１の動き情報を含む複数の予測動き情報を算出する動き情報算出処理を含む動きベクトル予測処理と、
前記新符号化対象ブロックを前記第１ブロックと前記第１の動き情報とに基づいて再符号化する手順を含み、前記変換後復号動画像から前記新動画像符号列を生成する動画像再符号化処理とを備えており、
前記動きベクトル予測処理における動き情報算出処理は、前記新対象画像フレームと前記第１画像フレームとの間のフレーム間距離を第１のフレーム間距離とし且つ前記元対象画像フレームと前記第２画像フレームとの間のフレーム間距離を第２のフレーム間距離とした場合において、前記第１のフレーム間距離と前記第２のフレーム間距離との大小関係に応じて、前記複数の第２の動き情報のみを利用して前記第１の動き情報を算出するか、前記複数の第２の動き情報以外の前記元動き情報と前記複数の第２の動き情報とを利用して前記第１の動き情報を算出するかを切り替えるものである
ことを特徴とする動画像符号列変換方法が得られる。
【００３２】
また、本発明によれば、第１２の動画像符号列変換方法として、前記第１１の動画像符号列変換方法において、前記動きベクトル予測処理は、前記新対象画像フレーム内のブロックの夫々についてイントラブロックであるか否かを判断し、イントラブロックであった場合には、当該イントラブロックに関しては当該イントラブロックを前記新符号化対象ブロックとした前記動き情報算出処理を行わない、ことを特徴とする動画像符号列変換方法が得られる。
【００３３】
更に、本発明によれば、第１３動画像符号列変換方法として、前記第１１の動画像符号列変換方法において、前記動き情報算出処理は、前記第１及び第２のフレーム間距離が等しい場合には、前記複数の第２の動き情報に対して統合処理を行って一時的動き情報を生成する一方、前記第１及び第２のフレーム間距離が等しくない場合には前記複数の第２の動き情報以外の前記元動き情報と前記複数の第２の動き情報との動きベクトル演算処理を行って一時的動き情報を生成し、前記一時的動き情報を前記所定の解像度変換率に従ってスケーリングして前記第１の動き情報を算出するものである、ことを特徴とする動画像符号列変換方法が得られる。
【００３４】
また、本発明によれば、第１４の動画像符号列変換方法として、前記第１３の動画像符号列変換方法であって、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記復号動画像における前記第１画像フレームに対応する画像フレームを第３画像フレームとし、該第３画像フレーム内のブロックであって前記第１フレーム内の第１ブロックに対応するものと仮定される複数のブロックを複数の第３ブロックとし、前記複数の元符号化対象ブロックの前記複数の第３ブロックに対する複数の動き情報を複数の第３の動き情報とし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第３画像フレームの前記複数の第３ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内の複数のブロックを夫々第４画像フレーム及び複数の第４ブロックとし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第２画像フレームの前記複数の第２ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内の複数のブロックを夫々第５画像フレーム及び複数の第５ブロックとした場合において、
前記動画像復号処理において抽出された前記複数の元動き情報には、前記複数の第３ブロックの前記複数の第４ブロックに対する複数の動き情報である複数の第４の動き情報と、前記複数の第２ブロックの前記複数の第５ブロックに対する複数の動き情報である複数の第５の動き情報とが含まれており、
前記動きベクトル演算処理は、
前記複数の第２の動き情報に対して統合処理を行って第１統合情報を生成する第１のステップと、
前記第１のフレーム間距離が前記第２のフレーム間距離より大きいか小さいかを判定する第２のステップと、
該第２のステップにおいて小さいと判定した場合に、前記第４画像フレーム内に含まれるブロックから前記複数の第４ブロックを特定して前記複数の第４の動き情報を取得し、該複数の第４の動き情報に対して前記統合処理を行って第２統合情報を生成する第３のステップと、
前記第２画像フレームと前記第４画像フレームとが一致するか否かを判断する第４のステップと、
該第４のステップにおいて一致すると判断した場合、前記第１統合情報から前記第２統合情報を減算することにより、前記第３の動き情報を前記統合処理した場合に得られる統合情報と実質的に等価な第３統合情報を求めて該第３統合情報を前記一時的動き情報とする第５のステップと、
前記第２のステップにおいて大きいと判定した場合に、前記第５画像フレーム内に含まれるブロックから前記複数の第５ブロックを特定して前記複数の第５の動き情報を取得し、該複数の第５の動き情報に対して前記統合処理を行って第４統合情報を生成する第６のステップと、
前記第３画像フレームと前記第５画像フレームとが一致するか否かを判断する第７のステップと、
前記第７のステップにおいて一致すると判断した場合に、前記第１統合情報に対して前記第４統合情報を加算して前記第３統合情報を求めて該第３統合情報を前記一時的動き情報とする第８のステップと
を備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３５】
また、本発明によれば、第１５の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、
前記第２のステップの実行前に前記第４画像フレームと前記元対象画像フレームとが一致するか否かを判断する第９のステップと、
該第９のステップにおいて一致すると判断した場合に、前記複数の第４の動き情報に対して前記統合処理を行って前記第２統合情報を生成し、該第２統合情報の正負を反転することにより前記第３統合情報を求めて、該第３統合情報を前記一時的動き情報とする第１０のステップと
を更に有し、前記第９のステップにおいて一致しないと判断した場合には前記第２のステップを行うことを特徴とする動画像符号列変換方法が得られる。
【００３６】
また、本発明によれば、第１６の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、前記第４のステップにおいて一致しないと判断した場合に、前記第２画像フレームと前記第４画像フレームとが一致するように、前記第１統合情報及び／又は前記第２統合情報をスケーリングし、その後、前記第５のステップと同様にして減算を行って前記第３統合情報を求めて、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３７】
また、本発明によれば、第１７の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、前記第４のステップにおいて一致しないと判断した場合に、前記第１のフレーム間距離と前記第２のフレーム間距離との比に従って前記第１統合情報をスケーリングして前記第３統合情報を算出し、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３８】
また、本発明によれば、第１８の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、前記第７のステップにおいて一致しないと判断した場合に、前記第３画像フレームと前記第５画像フレームとが一致するように、前記第１統合情報及び／又は前記複数の第４統合情報をスケーリングし、その後、前記第８のステップと同様にして加算を行って前記第３統合情報を求めて、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３９】
更に、本発明によれば、第１９の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、前記第７のステップにおいて一致しないと判断した場合に、前記第１のフレーム間距離と前記第２のフレーム間距離との比に従って前記第１統合情報をスケーリングして前記第３統合情報を算出し、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００４０】
また、本発明によれば、第２０の動画像符号列変換方法として、前記第１３又は第１４の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックと当該ブロックの参照先となるブロックとのブロック対から合致度が高いブロック対を選択し、当該選択されたブロック対に対応する動き情報を統合情報とするものである、ことを特徴とする動画像符号列変換方法が得られる。
【００４１】
また、本発明によれば、第２１の動画像符号列変換方法として、前記第１３又は第１４の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックから画素値複雑度が大きなブロックを選択し、当該選択されたブロックに対応した動き情報を統合情報とするものである、ことを特徴とする動画像符号列変換方法が得られる。
【００４２】
また、本発明によれば、第２２の動画像符号列変換方法として、前記第１３又は第１４の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックの画素値複雑度に従って、該複数の動き情報に対して重み付け平均した結果を統合情報とするものである、ことを特徴とする動画像符号列変換方法が得られる。
【００４３】
更に、本発明によれば、第２３の動画像符号列変換方法として、前記第２１又は第２２の動画像符号列変換方法において、前記画素値複雑度は各ブロックの符号量である、ことを特徴とする動画像符号列変換方法が得られる。
【００４４】
また、本発明によれば、第２４の動画像符号列変換方法として、前記第１３又は第１４の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報を平均した結果を統合情報とするものである、ことを特徴とする動画像符号列変換方法が得られる。
【００４５】
更に、本発明によれば、第２５の動画像符号列変換方法として、前記第２０乃至２４のいずれかに記載の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報の平均値との誤差が所定の閾値を超えるような動き情報を処理対象から除いた後に行われる、ことを特徴とする動画像符号列変換方法が得られる。
【００４６】
なお、これらの動画像符号列変換方法は、例えば、プロセッサと記憶手段とを備えたコンピュータシステム上においてプロセッサにより実行されることによりコンピュータシステムを動画像符号列変換装置として動作させるようなコンピュータプログラムの形式にて実現することができ、また、当該コンピュータプログラムを予め記憶手段に格納したようなコンピュータシステムからなる動画像符号列変換装置としても実現することができる。更には、動画像符号列変換方法における各ステップを実行する回路ブロック（手段）からなる動画像符号列変換装置としても実現することができる。
【００４７】
【発明の実施の形態】
以下、本発明の実施の形態による動画像符号列変換方法及びそれを実現した動画像符号列変換装置について図面を用いて詳細に説明する。
【００４８】
（第１の実施の形態）
本発明の第１の実施の形態による動画像符号列変換装置は、図１に示されるように、プロセッサ、記憶部、Ｉ／Ｏインタフェースを備えており、それらはバスを介して互いに接続されている。ここで、記憶部は、プロセッサが実行すべき動画像変換プログラムを格納していると共に、プロセッサが動画像変換プログラムを実行中の一時記憶としての役割も果たす。なお、この「記憶部」という語は、本明細書において、ＲＡＭなどの主記憶の他、現在販売されているＣＰＵ（ＭＰＵ）に含まれるキャッシュメモリやプロセッサに含まれるレジスタ、更には、ハードディスク装置など、あらゆる記憶装置を示すものとして用いられる。また、本実施の形態において、Ｉ／Ｏインタフェースは、プロセッサの制御に応じて元動画像符号列を入力したり新動画像符号列を出力したりするための媒介手段である。但し、このＩ／Ｏインタフェースの存在は、他のプログラムにより求められた元動画像符号列を一旦記憶部に格納し、それを記憶部から読み出すことで、本実施の形態による動画像符号列変換方法を実行することを妨げるものではない。
【００４９】
以下、本実施の形態による動画像符号列変換方法、即ち動画像符号列変換装置の動作について説明する。なお、本実施の形態による動画像符号列変換装置の動作は、プロセッサが記憶部に格納された動画像変換プログラムを実行することにより、実現されるものであるので、以下においては、説明を明瞭なものとするため、動作主体については逐一言及することなく、その動作のみに着目して説明することとする。
【００５０】
図２を参照すると、本実施の形態による動画像符号列変換方法は、動画像復号処理（ステップＳ１００）、動きベクトル予測処理（ステップＳ２００）、動画像符号化処理（ステップＳ３００）からなる。すなわち、まず、原動画像をブロック単位で動き補償予測符号化してなる元動画像符号列を入力されると、動画像復号処理において、その元動画像符号列を一旦復号して復号動画像を生成すると共に、元動画像符号列に含まれる複数の元動きベクトルを抽出する（ステップＳ１００）。動画像復号処理において複数の元動きベクトルが抽出されると、動きベクトル予測処理において、複数の元動き情報から再符号化時における複数の動き情報（以下「予測動きベクトル」という）を予測推定する（ステップＳ２００）。その後、動画像符号化処理において、複数の予測動きベクトルを利用して復号動画像をブロック単位で再符号化し新動画像符号列を生成する（ステップＳ３００）。これにより、元動画像符号列を新動画像符号列に変換する。
【００５１】
より詳細には、動画像復号処理は、図３に示されるように、符号化の単位となるブロック毎に、動き補償予測の種別を示す符号化モード、元動きベクトル、係数符号情報を含む符号列が解釈された後（ステップＳ１０１）、元動きベクトルと符号化モードは動きベクトル予測処理において参照されるため記憶部に格納される（ステップＳ１０２）。一方、係数符号情報は、逆量子化の後（ステップＳ１０３）、逆変換符号化処理を受ける（ステップＳ１０４）。また、符号化モードと元動きベクトルより動き補償予測（ステップＳ１０５）を行って、１フレーム分のデータの処理を終えることにより（ステップＳ１０６）予測画像が得られ、逆変換符号化後の係数情報と加算されて復号画像が得られる。
【００５２】
また、動画像符号化処理においては、図４に示されるように、まず、動画像復号処理によって得られた復号画像において、ブロック単位に動きベクトル予測処理によって得られた予測動きベクトルの近傍で再探索を行う（ステップＳ３０１）。なお、このステップＳ３０１は省略されることもある。得られた動きベクトルを用いて動き補償予測を行い（ステップＳ３０２）、復号画像と得られた予測画像との差分信号について変換符号化の後（ステップＳ３０３）、量子化を行う（ステップＳ３０４）。動きベクトルおよび量子化後係数情報は可変長符号化され、符号化モード等の情報とあわせて符号列として出力される（ステップＳ３０５）。また、量子化後係数情報はあらためて逆量子化の後逆変換符号化処理を受け（ステップＳ３０６）、予測画像と加算することで再構成された復号画像がフレームメモリに関する情報が格納される（ステップＳ３０７）。この処理を１フレーム分のデータの全てについて行うと（ステップＳ３０８）、次のフレームの処理を行い、それを繰り返すことにより、復号動画像を新動画像符号列へと変換していく。
【００５３】
本実施の形態による動きベクトル予測処理は、図５に示されるように、ブロック単位に行われる。詳しくは、まず、新対象画像フレーム内の総ブロック数をｎとする一方、動きベクトル予測処理の直接的な対象となる新符号化対象ブロックを示すｉの初期値を１に設定する（ステップＳ２０１）。次いで、全てのブロックについて動きベクトル予測処理を終えたか否かについて判定する（ステップＳ２０２）。処理の初めのころは当然ながら、このステップＳ２０２においてＮｏ判定だけがなされるので、次いで、ステップＳ２０３において、記憶部に格納された符号化モードを参照し、処理対象となっているブロックがイントラブロックであるか否かについて判断する。ステップＳ２０３において、対象となっているブロックがイントラブロックであった場合には、動きベクトルの算出を要しないので、次のブロックを処理すべく、未処理のブロックを新しい処理対象ブロックとする（ステップＳ２０４）一方、ステップＳ２０３において、対象となっているブロックがイントラブロックでなかった場合には、ステップＳ２０５に進み、動き情報の算出を行ってから、未処理のブロックを新しい処理対象ブロックとする（ステップＳ２０４）。これらの処理は、全てのブロックについて処理されるまで繰り返される（ステップＳ２０２）。
【００５４】
以下、上記した動き情報算出処理（ステップＳ２０４）について詳細に説明するが、その前に、動き情報算出の動作説明を明瞭なものとするため、図６乃至図１０を用いて、当該処理において現われる画像フレームなどについて言及する。
【００５５】
復号動画像には、新対象画像フレームＦＯ１及び第１画像フレームＦＲ１が含まれている（図６）。新対象画像フレームＦＯ１は、新符号化対象ブロックＢＣ１を含んでおり、第１画像フレームＦＲ１は、新符号化対象ブロックＢＲ１の再符号化に際して参照されることとなる第１ブロックＢＲ１を含んでいる（図７）。新対象画像フレームＦＯ１と第１画像フレームＦＲ１との間のフレーム間距離は第１のフレーム間距離と呼ぶこととする（図６）。ここで、新符号化対象ブロックＢＣ１の第１ブロックＢＲ１に対する動き情報が第１の動きベクトルＭＶ１であり（図７）、この第１の動きベクトルＭＶ１が、動き情報算出処理における算出対象である。
【００５６】
一方、原動画像には、元対象画像フレームＦＯ２、第２乃至第５画像フレームＦＲ２〜ＦＲ５が含まれている（図６）。元対象画像フレームＦＯ２は、新対象画像フレームＦＯ１に対応するものであり、新符号化対象ブロックＢＣ１に対応する元符号化対象ブロックＢＣ２を含んでいる（図６、図８）。第２画像フレームＦＲ２は、元符号化対象ブロックＢＣ２の符号化に際して参照された第２ブロックＢＲ２を含んでいる（図６、図８）。なお、元対象画像フレームＦＯ２と第２画像フレームＦＲ２との間のフレーム間距離は第２のフレーム間距離ＦＤ２として参照することとする（図６）。また、第３画像フレームＦＲ３は、復号動画像における第１画像フレームＦＲ１に対応する画像フレームであり、第１画像フレームＦＲ１における第１ブロックＢＲ１に対応するブロックとして、第３ブロックＢＲ３を含んでいる（図６、図９）。第４画像フレームＦＲ４は、第３画像フレームＦＲ３を符号化する際に参照された画像フレームであり、第３ブロックＢＲ３と合致度の高いブロックとして第４ブロックＢＲ４を含んでいる（図６、図９）。第５画像フレームＦＲ５は、第２画像フレームＦＲ２を符号化する際に参照した画像フレームであり、第２ブロックＢＲ２と合致度の高いブロックとして第５ブロックＢＲ５を含んでいる（図６、図１０）。更に、元符号化対象ブロックＢＣ２の第２ブロックＢＲ２に対する動きベクトルを第２の動きベクトルＭＶ２とし（図８）、第３ブロックＢＲ３の第４ブロックＢＲ４に対する動きベクトルを第４の動きベクトルＭＶ４とし（図９）、第２ブロックＢＲ２の第５ブロックＢＲ５に対する動きベクトルを第５の動きベクトルＭＶ５とすると（図１０）、それらは、原動画像の符号化時において元符号化対象ブロックＢＣ２、第３ブロックＢＲ３及び第２ブロックＢＲ２の動き予測を行った際に算出されているものであるので（図６）、元動画像符号列に含まれている。同様に、元動画像符号列には、第２ブロックＢＲ２、第４ブロックＢＲ４及び第５ブロックＢＲ５に関する情報も含まれている。
【００５７】
ここで、元符号化対象ブロックＢＣ２の第３ブロックＢＲ３に対する動きベクトルである第３の動きベクトルＭＶ３（図９）は、元対象画像フレームＦＯ２が第３画像フレームＦＲ３を参照していない限り、直接的には、元動画像符号列には含まれていない。この第３の動きベクトルＭＶ３は、図６、７及び図９を参照すれば明らかなように、第１の動きベクトルＭＶ１と等価な動きベクトルである。従って、第３の動きベクトルＭＶ３を求めることは、等価的に第１の動きベクトルＭＶ１を求めることとなる。本実施の形態においては、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２とが異なる場合には、第１の動きベクトルＭＶ１を直接求めるのではなく、元動画像符号列に含まれる元動きベクトルを用いてベクトル演算を行い第３の動きベクトルＭＶ３を算出して、等価的に、第１の動きベクトルＭＶ１を算出する。
【００５８】
これらの諸関係を踏まえた上で、図１１乃至図１５を用いて、動き情報算出処理（Ｓ２０５）について詳細に説明する。
【００５９】
図１１を参照すると、動き情報算出処理（Ｓ２０５）においては、まず、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しいか否かについて判定を行い（ステップＳ２１０）、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しい場合には、第２の動きベクトルＭＶ２をそのまま第１の動きベクトルＭＶ１とする一方（ステップＳ２１１）、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しくない場合には、第２の動きベクトルＭＶ２だけでなく、第２の動きベクトルＭＶ２以外の元動きベクトル（例えば、第４の動きベクトルＭＶ４や第５の動きベクトルＭＶ５）をも利用して動きベクトル演算処理（ステップＳ２２０）を行って第１の動きベクトルＭＶ１を算出する。
【００６０】
図１２は、図１１におけるステップＳ２２０の内容を示すフローチャートである。
【００６１】
図１２を参照すると、まず、ステップＳ２３０において、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致するか否かを判断する。これは換言すれば、第３画像フレームＦＲ３の参照先となる画像フレームが元対象画像フレームＦＯ２であるか否かを判断するものである。特に、本実施の形態においては、第３画像フレームＦＲ３がＢピクチャであるか否かを判断すると共にＢピクチャであった場合には、その参照先の一つに元対象画像フレームＦＯ２が含まれているか否かを判断する。その結果、Ｂピクチャである第３画像フレームＦＲ３の参照先の一つが元対象画像フレームＦＯ２であった場合（すなわち、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致する場合）には、第４の動きベクトルＭＶ４を記憶部から取得する（ステップＳ２３１）。図１３に示されるように、このような場合における第４の動きベクトルＭＶ４は、第３の動きベクトルＭＶ３（即ち、第１の動きベクトルＭＶ１）の逆方向ベクトルである。従って、第４の動きベクトルＭＶ４の正負を反転させることで、第３の動きベクトルＭＶ３（即ち、第１の動きベクトルＭＶ１）を得ることができる（ステップＳ２３２）。
【００６２】
一方、ステップＳ２３０において、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致しないと判断した場合には、次に、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さい否かを判定する（ステップＳ２３３）。その結果、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さいと判断した場合には、続いて、第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致するか否かを判断する（ステップＳ２３４）。
【００６３】
ステップＳ２３４において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致すると判断した場合には、図１４に示されるような状態にあることを意味する。図１４を参照すれば明らかなように、このような場合、第３の動きベクトルＭＶ３は、第２の動きベクトルＭＶ２から第４の動きベクトルＭＶ４を減算すれば得られる。
【００６４】
この減算処理を行うために、ステップＳ２３４において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致すると判断した場合、まず第４画像フレームＦＲ４内に含まれるブロックから第４ブロックＢＲ４を特定し、特定された第４ブロックＢＲ４に関する第４の動きベクトルＭＶ４を記憶部から取得する（ステップＳ２３５）。その後、上述したように、第２の動きベクトルＭＶ２から第４の動きベクトルＭＶ４を減算して第３の動きベクトルＭＶ３を求め、それによって、等価的に第１の動きベクトルＭＶ１を得る（ステップＳ２３６）。
【００６５】
ステップＳ２３４において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致しないと判断した場合は、ステップＳ２３７において第１例外処理を行う。
【００６６】
この第１例外処理は、例えば、実際には一致していなかった第２画像フレームＦＲ２及び第４画像フレームＦＲ４を仮想的に一致させ、図１４に示される状態となるように、第２の動きベクトルＭＶ２及び／又は第４の動きベクトルＭＶ４をスケーリングする手順を有するものである。スケーリングした結果、図１４に示される状態と同じ状態であると考えられる場合には、ステップＳ２３６と同様にして減算処理を行えば、第３の動きベクトルＭＶ３を算出することができ、それにより等価的に第１の動きベクトルＭＶ１を得ることができる。
【００６７】
この第１例外処理は、上記したものの他に、例えば、従来の動画像符号列変換方法において採用されていた手法を利用するものであっても良い。即ち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比に従って第２の動きベクトルＭＶ２をスケーリングして第１の動きベクトルＭＶ１を算出するものとしても良い。
【００６８】
ステップＳ２３３において、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さくないと判断した場合、即ち第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より大きい場合には、続いて、第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致するか否かを判断する（ステップＳ２３８）。その結果、第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致すると判断した場合には、図１５に示されるような状態にあることを意味する。図１５を参照すれば明らかなように、このような場合、第３の動きベクトルＭＶ３は、第２の動きベクトルＭＶ２と第５の動きベクトルＭＶ５とを加算すれば得られる。
【００６９】
この加算処理を行うために、ステップＳ２３８において第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致すると判断した場合、まず第５画像フレームＦＲ５内に含まれるブロックから第５ブロックＢＲ５を特定し、特定された第５ブロックＢＲ５に関する第５の動きベクトルＭＶ５を記憶部から取得する（ステップＳ２３９）。その後、上述したように、第２の動きベクトルＭＶ２と第５の動きベクトルＭＶ５を加算して第３の動きベクトルＭＶ３を求め、それによって、等価的に第１の動きベクトルＭＶ１を得る（ステップＳ２４０）。
【００７０】
ステップＳ２３８において第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致しないと判断した場合は、ステップＳ２４１において第２例外処理を行う。
【００７１】
この第２例外処理は、例えば、実際には一致していなかった第３画像フレームＦＲ３及び第５画像フレームＦＲ５を仮想的に一致させ、図１５に示される状態となるように、第２の動きベクトルＭＶ２及び／又は第５の動きベクトルＭＶ５をスケーリングする手順を有するものである。スケーリングした結果、図１５に示される状態と同じ状態であると考えられる場合には、ステップＳ２４０と同様にして減算処理を行えば、第３の動きベクトルＭＶ３を算出することができ、それにより等価的に第１の動きベクトルＭＶ１を得ることができる。
【００７２】
この第２例外処理は、上記したものの他に、例えば、従来の動画像符号列変換方法において採用されていた手法を利用するものであっても良い。即ち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比に従って第２の動きベクトルＭＶ２をスケーリングして第１の動きベクトルＭＶ１を算出するものとしても良い。
【００７３】
なお、上述した動画像符号列変換方法において、第１参照フレームＦＲ１内の第１ブロックＢＲ１が既知ではないことから、第３画像フレームＦＲ３内の第３ブロックＢＲ３も既知ではなく、従って、第３画像フレームＦＲ３内のブロックから特定する必要がある。これに伴い、第４画像フレームＦＲ４内の第４ブロックＢＲ４も必要に応じて特定する必要がある。これらのブロックの特定を行うにあたっては、夫々のフレーム内から一のブロックを選択するわけであるが、その選択範囲は、符号化時に許容されるベクトル最大長によって決まる。また、選択手法は、通常の動きベクトル探索の手法を利用することができる。すなわち、選択範囲に含まれるブロックのうち、実際に動き補償予測を行い誤差信号パワーの最も小さいもの、もしくは、動き補償によって射影した領域が符号化対象ブロックと最も大きな共通部分を持つものを、特定したブロックとすることができる。
【００７４】
以上説明した動画像符号列変換装置は、例えば、図１６に示されるような構成を備えていても良い。従来構成の動画像符号列変換装置と異なるところは、動画像復号化手段から動きベクトル予測部への入力に符号化モードが含まれていることと、動きベクトル予測部内には記憶手段が設けられており、動画像復号化手段から入力された元動きベクトルを一度動きベクトル予測に用いた後も保持しておき他の動きベクトル予測を行う際に参照することができることである。なお、動きベクトル予測部の動作は、上述したものと同じである。
【００７５】
（第２の実施の形態）
本発明の第２の実施の形態による動画像符号列変換装置は、第１の実施の形態による動画像符号列変換装置を空間・時間解像度変換にも対応できるように変形したものである。本実施の形態において、ハードウェア構成は図１に示される第１の実施の形態と同じであり、記憶部に格納される動画像変換プログラムのみに変更が加えられている。
【００７６】
ここで、原動画像に含まれる画像フレームと復号動画像を空間解像度縮小変換して得られる変換後復号動画像に含まれる画像フレームとでは解像度が異なるのであるから、変換後復号動画像の画像フレームに含まれるブロックに対応するブロックは、原動画像の画像フレーム内において複数存在することになる。そこで、従来の技術に関連して説明したように、統合処理を行う必要がある。
【００７７】
この統合処理の例としては、概略、次の４つを挙げられる。
【００７８】
第１の統合処理方法は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックと当該ブロックの参照先となるブロックとのブロック対から合致度が最も高いブロック対を選択し、当該選択されたブロック対に対応する動き情報を統合情報とするものである。例えば、ブロック対の合致度の計算には差分絶対値和を用いる手順や差分二乗和を用いる手順を採用することができる。
【００７９】
第２の統合処理方法は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックから画素値複雑度が最も大きなブロックを選択し、当該選択されたブロックに対応した動き情報を統合情報とするものである。第３の統合処理方法は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックの画素値複雑度に従って、該複数の動き情報に対して重み付け平均した結果を統合情報とするものである。これら第２又は第３の統合処理方法においては、各ブロックの符号量を画素値複雑度としても良いし、各ブロックに関する変換符号化係数のうちの非ゼロ係数の数を画素値複雑度としても良いし、各ブロックに関する画素値の分散を画素値複雑度としても良い。
【００８０】
第４の統合処理方法は、当該統合処理の対象となっている複数の動き情報を平均した結果を統合情報とするものである。
【００８１】
これら第１乃至第４の統合処理方法は、当該統合処理の対象となっている複数の動き情報の平均値との誤差が所定の閾値を超えるような動き情報を処理対象から除いた後に行われることとしても良い。
【００８２】
以下、本実施の形態による動画像符号列変換方法、即ち動画像符号列変換装置の動作について説明する。なお、以下においても、第１の実施の形態の場合と同様に、動作主体については省略し、動作のみに着目して説明することとする。また、本実施の形態において、説明に現われる画像フレーム等は第１の実施の形態と同様の関係を持っていることから、以下の説明においては、第１の実施の形態の説明において定義した用語を用いることとする。但し、本実施の形態において、第１の実施の形態における復号動画像に対応するものは変換後復号動画像であり、従って、新対象画像フレームＦＯ１及び第１画像フレームＦＲ１と、元対象画像フレームＦＯ２並びに第２乃至第５画像フレームＦＲ２〜ＦＲ５とは解像度が異なるものであり、元符号化対象ブロックＢＣ２並びに第２乃至第５ブロックＢＲ２〜ＢＲ５は空間解像度率に応じて夫々複数個ある。また、それに応じて、第２乃至第５の動きベクトルＭＶ２〜ＭＶ５も複数本ある。
【００８３】
図１７を参照すると、本実施の形態による動画像符号列変換方法は、動画像復号処理（ステップＳ１００）、空間・時間解像度変換処理（ステップＳ４００）、動きベクトル予測処理（ステップＳ５００）、動画像符号化処理（ステップＳ３００）からなる。すなわち、まず、原動画像をブロック単位で動き補償予測符号化してなる元動画像符号列を入力されると、動画像復号処理において、その元動画像符号列を一旦復号して復号動画像を生成すると共に、元動画像符号列に含まれる複数の元動きベクトルを抽出する（ステップＳ１００）。ステップＳ１００において復号された復号動画像は、所定の空間解像度変換率および時間解像度変化率に従って空間・時間解像度変換され、変換後復号動画像として出力される（ステップＳ４００）。ここで、時間解像度の変化とは、フレームスキップによる参照フレームの変化を意味するものであり、上述した第１の実施の形態の概念を適用できるものである。それに対し、空間解像度の変化とは、特に本実施の形態においては、個々のフレームを縮小することを意味し、動きベクトル予測においても上述したように統合処理を行ったり空間解像度変換率に応じてベクトルを縮小する等の処理を新たに必要とするものである。
【００８４】
一方、動きベクトル予測処理においては、動画像復号処理において抽出された複数の元動き情報から再符号化時における複数の予測動きベクトルを予測する（ステップＳ５００）。その後、複数の予測動きベクトルを利用して変換後復号動画像をブロック単位で再符号化し新動画像符号列を生成する（ステップＳ３００）。これにより、元動画像符号列を新動画像符号列に変換する。
【００８５】
本実施の形態による動きベクトル予測処理は、図１８に示されるように、ブロック単位に行われる。詳しくは、まず、新対象画像フレーム内の総ブロック数をｎとする一方、動きベクトル予測処理の直接的な対象となる新符号化対象ブロックを示すｉの初期値を１に設定する（ステップＳ５０１）。次いで、全てのブロックについて動きベクトル予測処理を終えたか否かについて判定する（ステップＳ５０２）。処理の初めのころは当然ながら、このステップＳ５０２においてＮｏ判定だけがなされるので、次いで、ステップＳ５０３において、記憶部に格納された符号化モードを参照し、処理対象となっているブロックがイントラブロックであるか否かについて判断する。ステップＳ５０３において、対象となっているブロックがイントラブロックであった場合には、動きベクトルの算出を要しないので、次のブロックの処理を行うべく、未処理のブロックを新しい処理対象ブロックとする（ステップＳ５０４）一方、ステップＳ５０３において、対象となっているブロックがイントラブロックでなかった場合には、ステップＳ５０５に進み、動き情報の算出を行ってから、未処理のブロックを新しい処理対象ブロックとする（ステップＳ５０４）。これらの処理は、全てのブロックについて処理されるまで繰り返される（ステップＳ５０２）。
【００８６】
以下、上記した動き情報算出処理（ステップＳ５０５）について詳細に説明する。
【００８７】
図１９を参照すると、動き情報算出処理（Ｓ５０５）においては、まず、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しいか否かについて判定を行い（ステップＳ５１０）、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しい場合には、複数の第２の動きベクトルＭＶ２に対して統合処理を行って一時的動きベクトルを生成する一方（ステップＳ５１１）、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しくない場合には、複数の第２の動きベクトルＭＶ２だけでなく、複数の第２の動きベクトルＭＶ２以外の元動きベクトル（例えば、複数の第４の動きベクトルＭＶ４や複数の第５の動きベクトルＭＶ５）をも利用して動きベクトル演算処理を行って一時的動きベクトルを生成し（ステップＳ５１２）、その後、一時的動き情報を所定の解像度変換率に従ってスケーリングして第１の動きベクトルＭＶ１を算出する（ステップＳ５１３）。
【００８８】
図２０は、図１９におけるステップＳ５１２の内容を示すフローチャートである。
【００８９】
図２０を参照すると、まず、ステップＳ５２０において、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致するか否かを判断する。これは換言すれば、第３画像フレームＦＲ３の参照先となる画像フレームが元対象画像フレームＦＯ２であるか否かを判断するものである。特に、本実施の形態においては、第１の実施の形態と同様に、第３画像フレームＦＲ３がＢピクチャであるか否かを判断すると共にＢピクチャであった場合には、その参照先の一つに元対象画像フレームＦＯ２が含まれているか否かを判断する。その結果、Ｂピクチャである第３画像フレームＦＲ３の参照先の一つが元対象画像フレームＦＯ２であった場合（すなわち、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致する場合）には、第４画像フレームＦＲ４に含まれるブロックから複数の第４ブロックＢＲ４を特定して、その複数の第４ブロックＢＲ４に基づいて複数の第４の動きベクトルＭＶ４を記憶部から読み出し、それら複数の第４の動きベクトルＭＶ４に対して統合処理を行うことで、第２統合ベクトルを生成する（ステップＳ５２１）。
【００９０】
このような条件を満たす第２統合ベクトルは、複数の第３の動きベクトルＭＶ３に統合処理を行った場合に得られる統合ベクトルと実質的に等価な第３統合ベクトルの逆方向ベクトルである。従って、第２統合ベクトルの正負を反転させることで、第３統合ベクトルを得ることができる（ステップＳ２３２）。この第３統合ベクトルは、ステップＳ５１３に対して、前述した一時的統合ベクトルとして渡され、解像度変換率に従ったスケーリングを受けて、第１の動きベクトルＭＶ１となる。
【００９１】
一方、ステップＳ５２０において、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致しないと判断した場合には、複数の第２の動きベクトルＭＶ２に対して統合処理を行って第１統合ベクトルを生成する（ステップＳ５２３）。
【００９２】
次に、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さい否かを判定する（ステップＳ５２４）。その結果、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さいと判断した場合には、第４画像フレームＦＲ４に含まれるブロックから複数の第４ブロックＢＲ４を特定して、その複数の第４ブロックＢＲ４に基づいて複数の第４の動きベクトルＭＶ４を記憶部から読み出し、それら複数の第４の動きベクトルＭＶ４に対して統合処理を行うことで、第２統合ベクトルを生成する（ステップＳ５２５）。
【００９３】
続いて、第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致するか否かを判断する（ステップＳ５２６）。
【００９４】
ステップＳ５２６において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致すると判断した場合には、図１４に示されるような状態にあることを意味する。図１４を参照すれば明らかなように、このような場合、第３統合ベクトルは、第１統合ベクトルから第２統合ベクトルを減算すれば得られる（ステップＳ５２７）。この第３統合ベクトルは、一時的動きベクトルとして、ステップＳ５１３に渡される。
【００９５】
ステップＳ５２６において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致しないと判断した場合は、ステップＳ５２８において第１例外処理を行う。
【００９６】
この第１例外処理は、例えば、実際には一致していなかった第２画像フレームＦＲ２及び第４画像フレームＦＲ４を仮想的に一致させ、図１４に示される状態となるように、第１統合ベクトル及び又は第２統合ベクトルをスケーリングするか、複数の第２の動きベクトルＭＶ２及び／又は複数の第４の動きベクトルＭＶ４をスケーリングする手順を有するものである。スケーリングした結果、図１４に示される状態と同じ状態であると考えられる場合には、ステップＳ５２７と同様にして減算処理を行えば、第３統合ベクトルを算出することができる。この第３統合ベクトルは、ステップＳ５２２の場合と同様に、一時的動きベクトルとして、ステップＳ５１３に渡される。
【００９７】
なお、第１例外処理（ステップＳ５２８）は、上記したものの他に、例えば、従来の動画像符号列変換方法において採用されていた手法を利用するものであっても良い。即ち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比に従って第１統合ベクトルをスケーリングして一時的動きベクトル（第３統合ベクトル）を算出するものとしても良い。
【００９８】
ステップＳ５２４において、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さくないと判断した場合、即ち第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より大きい場合には、第５画像フレームＦＲ５内に含まれるブロックから複数の第５ブロックＢＲ５を特定すると共にその複数の第５ブロックＢＲ５に基づいて複数の第５の動きベクトルＭＶ５を記憶部から取得し、その後、取得した複数の第５の動きベクトルＭＶ５に対して統合処理を行って、第４統合情報を算出する（ステップＳ５２９）。
【００９９】
続いて、第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致するか否かを判断する（ステップＳ５３０）。その結果、第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致すると判断した場合には、図１５に示されるような状態にあることを意味する。図１５を参照すれば明らかなように、このような場合、第３統合ベクトルは、第１統合ベクトルと第４統合ベクトルとを加算すれば得られる（ステップＳ５３１）。この第３統合ベクトルは、一時的動きベクトルとして、ステップＳ５１３に渡される。
【０１００】
ステップＳ５３０において第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致しないと判断した場合は、ステップＳ５３２において第２例外処理を行う。
【０１０１】
この第２例外処理は、例えば、実際には一致していなかった第３画像フレームＦＲ３及び第５画像フレームＦＲ５を仮想的に一致させ、図１５に示される状態となるように、第１統合ベクトル及び又は第４統合ベクトルをスケーリングするか、複数の第２の動きベクトルＭＶ２及び／又は複数の第５の動きベクトルＭＶ５をスケーリングする手順を有するものである。スケーリングした結果、図１５に示される状態と同じ状態であると考えられる場合には、ステップＳ５３１と同様にして減算処理を行えば、第３統合ベクトルを算出することができる。この第３統合ベクトルは、ステップＳ５２２、Ｓ５２８の場合と同様に、一時的動きベクトルとして、ステップＳ５１３に渡される。
【０１０２】
なお、第２例外処理（ステップＳ５３２）は、上記したものの他に、例えば、従来の動画像符号列変換方法において採用されていた手法を利用するものであっても良い。即ち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比に従って第１統合ベクトルをスケーリングして一時的動きベクトル（第３統合ベクトル）を算出するものとしても良い。
【０１０３】
なお、上述した動画像符号列変換方法においても、第１参照フレームＦＲ１内の第１ブロックＢＲ１が既知ではないことに起因して、複数の第３ブロックＢＲ３や複数の第４ブロックＢＲ４を必要に応じて特定する必要がある。これらのブロックの特定を行うにあたっては、夫々のフレーム内から一のブロックを選択するわけであるが、その選択範囲は、符号化時に許容されるベクトル最大長によって決まる。また、選択手法は、通常の動きベクトル探索の手法を利用することができる。すなわち、選択範囲に含まれるブロックのうち、実際に動き補償予測を行い誤差信号パワーの最も小さいもの、もしくは、動き補償によって射影した領域が符号化対象ブロックと最も大きな共通部分を持つものを、特定したブロックとすることができる。
【０１０４】
以上説明した動画像符号列変換装置は、例えば、図２１に示されるような構成を備えていても良い。従来構成の動画像符号列変換装置と異なるところは、動画像復号化手段から動きベクトル予測部への入力に符号化モードが含まれていることと、動きベクトル予測部内には記憶手段が設けられており、動画像復号化手段から入力された元動きベクトルを一度動きベクトル予測に用いた後も保持しておき他の動きベクトル予測を行う際に参照することができることである。なお、動きベクトル予測部の動作は、上述したものと同じである。
【０１０５】
上述した第１及び第２の実施の形態においては、元動画像符号列（原動画像）にＢピクチャが含まれている場合を考慮した処理が含まれていたが（図１２におけるステップＳ２３０〜Ｓ２３２、図２０におけるステップＳ５２０〜５２２）、本発明はＢピクチャを含まないような場合、すなわち、フレーム内符号化および前方向へのフレーム間予測のいずれか一方のみが用いられているような動画像符号列にも適用可能である。その場合には、上記した図１２におけるステップＳ２３０〜Ｓ２３２及び図２０におけるステップＳ５２０〜５２２を取り除いた手順に従って動きベクトル予測処理が行われる。
【０１０６】
【発明の効果】
本発明によれば、従来破棄されていた元動きベクトルを記憶部に格納して随時参照できることとし、第１及び第２フレーム間距離が異なる場合には、符号化対象ブロックに直接関係する元動きベクトル（ＭＶ２）以外の元動きベクトル（ＭＶ４，ＭＶ５）を用いて再符号化時に用いる動きベクトルを推定し動画像を再符号化することとしたことから、動画像復号装置と動画像符号化装置を単純に直列に接続した場合に比べて符号化効率を損なうことなく処理に要する演算量を大幅に削減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による動画像符号列変換装置の講制を示す概略図である。
【図２】図１に示される記憶部に格納された本発明の第１の実施の形態による動画像符号列変換プログラムの処理を示すフローチャートである。
【図３】図２における動画像復号処理の詳細を示すフローチャートである。
【図４】図２における動画像符号化処理の詳細を示すフローチャートである。
【図５】図２における動きベクトル予測処理の詳細を示すフローチャートである。
【図６】画像フレームの関係を説明するための図である。
【図７】新対象画像フレームと第１画像フレームとの関係を説明するための図である。
【図８】元対象画像フレームと第２画像フレームとの関係を説明するための図である。
【図９】第３画像フレームと第４画像フレームとの関係を説明するための図である。
【図１０】第２画像フレームと第５画像フレームとの関係を説明するための図である。
【図１１】図５における動き情報算出処理の詳細を示すフローチャートである。
【図１２】図１１における動きベクトル演算処理の詳細を示すフローチャートである。
【図１３】図１２のステップＳ２３０においてＹｅｓであった場合の状態を示す図である。
【図１４】図１２のステップＳ２３４においてＹｅｓであった場合の状態を示す図である。
【図１５】図１２のステップＳ２３８においてＹｅｓであった場合の状態を示す図である。
【図１６】本発明の第１の実施の形態による動画像符号列変換装置の他の構成を示す図である。
【図１７】本発明の第２の実施の形態による動画像符号列変換プログラムの処理を示すフローチャートである。
【図１８】図１７における動きベクトル予測処理の詳細を示すフローチャートである。
【図１９】図１８における動き情報算出処理の詳細を示すフローチャートである。
【図２０】図１９における動きベクトル演算処理の詳細を示すフローチャートである。
【図２１】本発明の第２の実施の形態による動画像符号列変換装置の他の構成を示す図である。
【図２２】従来の動画像符号列変換方法の説明に用いられる画像フレーム関係図である。
【図２３】空間及び／又は時間解像度変換を含む場合におけるベクトルの統合処理を説明するための図である。
【図２４】従来の動画像符号列変換方法における問題点の説明に用いられる画像フレーム関係図である。
【発明の属する技術分野】
本発明は、動画像符号列を使用用途に応じて再符号化する動画像符号列変換方法に関し、特に再符号化時おける処理量を低減するための動きベクトル予測方法に関する。
【０００２】
【従来の技術】
高品位に符号化された動画像符号列をより劣悪な伝送環境で利用するような場合、輻輳などを避けるべく符号列をより低品位なものへと変換することが行われている。具体的には、輻輳への対応として、ビットレートを低減することの他に、空間及び／又は時間解像度を下げることや、符号化方法自体を変更するなどの処理が行われている。
【０００３】
この符号列の変換方法には、大別して、符号語レベルで変換を行ってしまう手法と、一旦復号して得られた画像を再符号化する手法とがある。このうち、前者の手法は、変換前の符号列と変換後の符号列における参照フレームが異なるような場合には適切に符号列を変換できないなどの制限があることから、汎用性の高いのは後者の手法である。以下、この後者の手法、即ち、一旦復号して得られた画像を再符号化する符号列変換方法について、図面を参照して簡単に説明する。
【０００４】
図２２を参照すると、入力される動画像符号列（以下、元動画像符号列という）に対応する原動画像と、元動画像符号列を復号して得られる復号動画像とが示されている。図２２において、復号動画像を再符号化するにあたっても、原動画像を符号化した際と同様に、動き補償予測が行われ情報量の削減が図られる。この動き補償予測を行うにあたり、復号動画像内の画像フレームのみを利用して一から動きベクトル探索を行うのではなく、原動画像の圧縮符号化に際して既に算出されている動きベクトルを利用して、再符号化時における演算処理量を低減するのがここで取り扱う符号列変換方法の特徴である。
【０００５】
ここで、従来の符号列変換方法について説明するにあたり、内容を明瞭なものとするため、その説明において用いられる用語について簡単に触れておく。なお、これらの用語は、図２２にも記載されている。
【０００６】
まず、復号動画像における現画像フレームを新対象画像フレームＦＯ１とし、その新対象画像フレームＦＯ１内において符号化対象となっているブロックを新符号化対象ブロックＢＣ１とする。また、原動画像において、復号動画像内の新対象画像フレームＦＯ１及び新対象画像フレームＦＯ１内の新符号化対象ブロックＢＣ１に対応する画像フレーム及びブロックを、夫々、元対象画像フレームＦＯ２及び元符号化対象ブロックＢＣ２とする。更に、復号動画像内において新符号化対象ブロックＢＣ１の再符号化に際して参照される画像フレームを第１画像フレームＦＲ１とする一方、原動画像内において元符号化対象ブロックＢＣ２の符号化に際して参照された画像フレームを第２画像フレームＦＲ２とする。また、新対象画像フレームＦＯ１と第１画像フレームＦＲ１とのフレーム関距離を第１のフレーム関距離ＦＤ１とし、元対象画像フレームＦＯ２と第２画像フレームＦＲ２とのフレーム関距離を第２のフレーム関距離ＦＤ２とする。加えて、原動画像を動き補償予測符号化して得られる元動画像符号列には、元符号化対象ブロックＢＣ２に関する情報として、第２画像フレームＦＲ２上のブロックである参照ブロックＢＲについての情報、元符号化対象ブロックＢＣ２の参照ブロックＢＲに対する変位（動きベクトル）である第２の動きベクトルＭＶ２、元符号化対象ブロックＢＣ２と参照ブロックＢＲとの差分情報などが含まれている。
【０００７】
従来の動画像符号列変換方法においては、新符号化対象ブロックＢＣ１の再符号化に必要となる第１の動きベクトルＭＶ１を算出するために、元動画像符号列に含まれている第２の動きベクトルＭＶ２のみを利用していた。具体的には、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比（ＦＤ１／ＦＤ２）に応じて第２の動きベクトルＭＶ２をスケーリングして、第１の動きベクトルＭＶ１を算出していた。すなわち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２とが等しい場合には、第１の動きベクトルＭＶ１は第２の動きベクトルＭＶ２に等しく、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２よりも大きい場合には、第１の動きベクトルＭＶ１は第２の動きベクトルＭＶ２よりも長いベクトルになり、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２よりも小さい場合には、第１の動きベクトルＭＶ１は第２の動きベクトルＭＶ２よりも短いベクトルになっていた。
【０００８】
この図２２に示される手順は、空間及び／又は時間解像度変換を含む符号列変換処理においても基本的に同じである。但し、例えば、垂直方向及び水平方向の夫々において１／２とするような空間解像度変換を行う場合にあっては、新符号化対象ブロックＢＣ１に対応するブロックは、元対象画像フレームＦ０２内に４つ（ＢＣ２１，ＢＣ２２，ＢＣ２３，ＢＣ２４）あることになり、また、各ブロックＢＣ２１，ＢＣ２２，ＢＣ２３，ＢＣ２４について動きベクトルが存在することから、図２２における第２の動きベクトルＭＶ２に対応する動きベクトルも４本あることになる。そこで、空間解像度変換を含むような場合にあっては、その４本の動きベクトルを統合して１本の動きベクトルを生成する処理が必要となる。以下においては、この処理を統合処理と呼び、その結果生成される動きベクトルを統合ベクトルという。
【０００９】
ここで統合処理とは、図２３に示される例で言うと、例えば、４つのブロックＢＣ２１，ＢＣ２２，ＢＣ２３，ＢＣ２４からなるブロック群を一つのブロックと捉えた場合の当該ブロックの動きベクトルを求める処理と考えても良いし、それら４つのブロックＢＣ２１，ＢＣ２２，ＢＣ２３，ＢＣ２４の中から適切な一つを選択し、その選択されたブロックに関する動きベクトルを求める処理と考えても良い。即ち、簡単な例を挙げると、例えば、４本の動きベクトル（ＭＶ２１，ＭＶ２２，ＭＶ２３，ＭＶ２４）の平均をとるような処理が統合処理の一例である。
【００１０】
また、統合処理によって得られる統合ベクトルは、原動画像内での空間解像度に従っているものなので、空間解像度変換後の新対象画像フレームＦＯ１内の動きベクトルとするためには、空間解像度変換率に従って統合ベクトルのスケーリングを行う必要がある。例えば、垂直方向及び水平方向の夫々において１／２とするような空間解像度変換を行う場合には、垂直方向において１／２にスケーリングすると共に水平方向において１／２にスケーリングする、即ち、全体としてみれば、統合ベクトルを１／４にスケーリング処理が必要となる。
【００１１】
このような統合処理及び解像度変換率に従ったスケーリングを伴うような動画像符号列変換方法においても、従来、複数の第２の動きベクトルのみに基づいた統合ベクトルを第１及び第２のフレーム間距離ＦＤ１及びＦＤ２の比に従ってスケーリングするという手法が採用されていた。ここで、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２の比に従ったスケーリングは、統合ベクトル算出の前に行っても良いし、統合ベクトル算出の後に行っても良い。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した従来の動画像符号列変換方法によっては、符号化効率が大きく低下する場合があった。
【００１３】
上述した従来の動画像符号列変換方法は、新符号化対象ブロックＢＣ１の参照ブロックが第１画像フレームＦＲ１内に点線で示されるブロックＢＡ１であるとの前提に立って行われるものである。即ち、元符号化対象ブロックＢＣ２の参照ブロックＢＲに対する動きの延長線上に、新符号化対象ブロックＢＣ１の参照ブロックに対する動きが重なるとの前提に立つものである。
【００１４】
一方、一般的には、動画像において画像内領域の動きはフレーム毎に異なるものであるので、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が異なる場合、新符号化対象ブロックＢＣ１の参照ブロックは、図２４に示されるように、ブロックＢＡ１ではなくブロックＢＡ２である場合もある。このような場合には、本来、動きベクトルＭＶ１’を予測動きベクトルとして算出しなければならないのであるが、前述した従来の動画像符号列変換方法においては、対応することができず、従って、符号化効率が大きく低下することとなっていた。
【００１５】
また、このような第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が異なる場合における符号化効率低下の問題は、前述した空間解像度変換を伴う場合においても同様に生じる虞がある。
【００１６】
かかる問題点に着目し、本発明においては、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が異なる場合であっても、符号化効率の低下を抑えることのできる動画像符号列変換方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
前述したように、一般的には、フレームが異なればそのフレーム間における動きも異なる場合があることから、動き補償において参照フレームが変化した場合には参照領域を追従する形で前後フレームの動き情報を考慮する必要がある。
【００１８】
これに対して、従来の動画像符号列変換方法においては、第１の動きベクトルＭＶ１の算出のために第２の動きベクトルＭＶ２のみを用いることとし、その一方で、元動画像符号列に含まれる動きベクトル（総称して「元動きベクトル」という。）のうちの第２の動きベクトルＭＶ２以外の元動きベクトルであって、一旦、動きベクトル予測を行ってしまったものは、破棄されていた。
【００１９】
本発明の発明者は、ここに着目し、従来は破棄されていた元動き情報（元動きベクトルを含む）を保持しておき、第１及び第２のフレーム間距離が異なる場合には、第２の動き情報（第２の動きベクトルＭＶ２を含む）のみならず、他の元動き情報をも利用して、第１の動き情報（第１の動きベクトルを含む）を算出することとした。
【００２０】
具体的には、本発明によれば、以下に掲げるような動画像符号列変換方法が得られる。
【００２１】
即ち、本発明によれば、第１の動画像符号列変換方法として、原動画像をブロック単位で動き補償予測符号化してなる元動画像符号列を一旦復号して復号動画像を生成すると共に、前記元動画像符号列に含まれる複数の元動き情報から再符号化時における複数の動き情報を複数の予測動き情報として予測し、該複数の予測動き情報を利用して前記復号動画像をブロック単位で再符号化し新動画像符号列を生成することにより、前記元動画像符号列を前記新動画像符号列に変換する動画像符号列変換方法において、
一のブロックに関する予測動き情報を予測するにあたり、参照先となる画像フレームが前記原動画像と前記復号動画像とで異なる場合には、当該一のブロックに直接関係する元動き情報に加え、該直接関係する元動き情報以外の前記元動き情報をも利用して、前記一のブロックに関する前記予測動き情報を予測する、ことを特徴とする動画像符号列変換方法が得られる。
【００２２】
また、本発明によれば、第２の動画像符号列変換方法として、複数の画像フレームからなる原動画像に対して動き補償予測符号化を行って得られる元動画像符号列を受けて、該元動画像符号列を復号して復号動画像を生成した後、当該復号動画像の再符号化を行うことにより、前記元動画像符号列を新動画像符号列に変換する動画像符号列変換方法であって、
前記復号動画像は新対象画像フレーム及び第１画像フレームを含む複数の画像フレームからなるものであり、前記新対象画像フレームは新符号化対象ブロックを含むものであり、前記第１画像フレームは前記新符号化対象ブロックの再符号化に際して参照されることとなる第１ブロックを含むものであり、前記新符号化対象ブロックの再符号化時に用いられる動き情報は該新符号化対象ブロックの前記第１ブロックに対する動き情報である第１の動き情報であり、前記原動画像を構成する複数の画像フレームは元対象画像フレーム及び第２画像フレームを含むものであり、前記元対象画像フレームは前記新対象画像フレームに対応するものであると共に前記新符号化対象ブロックに対応する元符号化対象ブロックを含むものであり、前記第２画像フレームは前記元符号化対象ブロックの符号化に際して参照された第２ブロックを含むものであり、前記元動画像符号列は前記第２ブロックに関する情報と前記元符号化対象ブロックの前記第２ブロックに対する動き情報である第２の動き情報とを含むものである、動画像符号列変換方法において、
前記元動画像符号列から前記第２の動き情報を含む複数の元動き情報を抽出すると共に、前記元動画像符号列を復号して前記復号動画像を生成する動画像復号処理と、
前記動画像復号処理において抽出された複数の元動き情報を用いて、前記第１の動き情報を含む複数の予測動き情報を算出する動き情報算出処理を含む動きベクトル予測処理と、
前記新符号化対象ブロックを前記第１ブロックと前記第１の動き情報とに基づいて再符号化する手順を含み、前記復号動画像から前記新動画像符号列を生成する動画像再符号化処理とを備えており、
前記動きベクトル予測処理における動き情報算出処理は、前記新対象画像フレームと前記第１画像フレームとの間のフレーム間距離を第１のフレーム間距離とし且つ前記元対象画像フレームと前記第２画像フレームとの間のフレーム間距離を第２のフレーム間距離とした場合において、前記第１のフレーム間距離と前記第２のフレーム間距離との大小関係に応じて、前記第２の動き情報のみを利用して前記第１の動き情報を算出するか、前記第２の動き情報以外の前記元動き情報と前記第２の動き情報とを利用して前記第１の動き情報を算出するかを切り替えるものである
ことを特徴とする動画像符号列変換方法が得られる。
【００２３】
更に、本発明によれば、第３の動画像符号列変換方法として、前記第２の動画像符号列変換方法において、前記動きベクトル予測処理は、前記新対象画像フレーム内のブロックの夫々についてイントラブロックであるか否かを判断し、イントラブロックであった場合には、当該イントラブロックに関しては当該イントラブロックを前記新符号化対象ブロックとした前記動き情報算出処理を行わない、ことを特徴とする動画像符号列変換方法が得られる。
【００２４】
また、本発明によれば、第４の動画像符号列変換方法として、前記第２の動画像符号列変換方法において、前記動き情報算出処理は、前記第１及び第２のフレーム間距離が等しい場合には、前記第２の動き情報をそのまま前記第１の動き情報とし、前記第１及び第２のフレーム間距離が等しくない場合には前記第２の動き情報以外の前記元動き情報と前記第２の動き情報との動きベクトル演算処理を行って前記第１の動き情報を算出するものである、ことを特徴とする動画像符号列変換方法が得られる。
【００２５】
また、本発明によれば、第５の動画像符号列変換方法として、前記第４の動画像符号列変換方法であって、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記復号動画像における前記第１画像フレームに対応する画像フレームを第３画像フレームとし、該第３画像フレーム内のブロックであって前記第１フレーム内の第１ブロックに対応するブロックを第３ブロックとし、前記元符号化対象ブロックの前記第３ブロックに対する動き情報であって前記第１の動き情報と等価な動き情報を第３の動き情報とし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第３画像フレームの第３ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内のブロックを夫々第４画像フレーム及び第４ブロックとし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第２画像フレームの第２ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内のブロックを夫々第５画像フレーム及び第５ブロックとした場合において、
前記動画像復号処理において抽出された前記複数の元動き情報には、前記第３ブロックの前記第４ブロックに対する動き情報である第４の動き情報と、前記第２ブロックの前記第５ブロックに対する動き情報である第５の動き情報とが含まれており、
前記動きベクトル演算処理は、
前記第１のフレーム間距離が前記第２のフレーム間距離より大きいか小さいかを判定する第１のステップと、
該第１のステップにおいて小さいと判定した場合に、前記第２画像フレームと前記第４画像フレームとが一致するか否かを判断する第２のステップと、
該第２のステップにおいて一致すると判断した場合に、前記第４画像フレーム内に含まれるブロックから前記第４ブロックを特定すると共に前記第４の動き情報を取得する第３のステップと、
前記第２の動き情報から前記第４の動き情報を減算して前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得る第４のステップと、
前記第１のステップにおいて大きいと判定した場合に、前記第３画像フレームと前記第５画像フレームとが一致するか否かを判断する第５のステップと、
前記第５のステップにおいて一致すると判断した場合に、前記第５画像フレーム内に含まれるブロックから前記第５ブロックを特定すると共に前記第５の動き情報を取得する第６のステップと、
前記第２の動き情報に対して前記第５の動き情報を加算して前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得る第７のステップと
を備える、ことを特徴とする動画像符号列変換方法が得られる。
【００２６】
また、本発明によれば、第６の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、
前記第１のステップの実行前に前記第４画像フレームと前記元対象画像フレームとが一致するか否かを判断する第８のステップと、
該第８のステップにおいて一致すると判断した場合、前記第４の動き情報を取得し、該第４の動き情報の正負を反転したものを前記第３の動き情報とすることにより等価的に前記第１の動き情報を得る第９のステップと
を更に有し、前記第８のステップにおいて一致しないと判断した場合には前記第１のステップを行うことを特徴とする動画像符号列変換方法が得られる。
【００２７】
また、本発明によれば、第７の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、前記第２のステップにおいて一致しないと判断した場合に、前記第２画像フレームと前記第４画像フレームとが一致するように、前記第２の動き情報及び／又は前記第４の動き情報をスケーリングし、その後、前記第４のステップと同様にして減算を行って前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得るステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００２８】
また、本発明によれば、第８の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、前記第２のステップにおいて一致しないと判断した場合に、前記第１のフレーム間距離と前記第２のフレーム間距離との比に従って前記第２の動き情報をスケーリングして前記第１の動き情報を算出するステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００２９】
また、本発明によれば、第９の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、前記第５のステップにおいて一致しないと判断した場合に、前記第３画像フレームと前記第５画像フレームとが一致するように、前記第２の動き情報及び／又は前記第５の動き情報をスケーリングし、その後、前記第６のステップと同様にして加算を行って前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得るステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３０】
更に、本発明によれば、第１０の動画像符号列変換方法として、前記第５の動画像符号列変換方法において、前記第５のステップにおいて一致しないと判断した場合に、前記第１のフレーム間距離と前記第２のフレーム間距離との比に従って前記第２の動き情報をスケーリングして前記第１の動き情報を算出するステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３１】
また、本発明によれば、第１１の動画像符号列変換方法として、複数の画像フレームからなる原動画像に対して動き補償予測符号化を行って得られる元動画像符号列を受けて、該元動画像符号列を復号して復号動画像を生成した後、当該復号動画像を所定の解像度変換率に従って変換して得られた変換後復号動画像を再符号化することにより、前記元動画像符号列を新動画像符号列に変換する動画像符号列変換方法であって、
前記復号動画像は新対象画像フレーム及び第１画像フレームを含む複数の画像フレームからなるものであり、前記新対象画像フレームは新符号化対象ブロックを含むものであり、前記第１画像フレームは前記新符号化対象ブロックの再符号化に際して参照されることとなる第１ブロックを含むものであり、前記新符号化対象ブロックの再符号化時に用いられる動き情報は該新符号化対象ブロックの前記第１ブロックに対する動き情報である第１の動き情報であり、前記原動画像を構成する複数の画像フレームは元対象画像フレーム及び第２画像フレームを含むものであり、前記元対象画像フレームは前記新対象画像フレームに対応するものであると共に前記新符号化対象ブロックに対応する複数の元符号化対象ブロックを含むものであり、前記第２画像フレームは前記複数の元符号化対象ブロックの符号化に際して参照された複数の第２ブロックを含むものであり、前記元動画像符号列は前記複数の第２ブロックに関する情報と前記複数の元符号化対象ブロックの前記複数の第２ブロックに対する複数の動き情報である複数の第２の動き情報とを含むものである、動画像符号列変換方法において、
前記元動画像符号列から前記複数の第２の動き情報を含む複数の元動き情報を抽出すると共に、前記元動画像符号列を復号して前記復号動画像を生成する動画像復号処理と、
前記復号動画像を前記所定の解像度変換率に従って解像度変換して前記変換後復号動画像を生成する解像度変換処理と、
前記動画像復号処理において抽出された複数の元動き情報を用いて、前記第１の動き情報を含む複数の予測動き情報を算出する動き情報算出処理を含む動きベクトル予測処理と、
前記新符号化対象ブロックを前記第１ブロックと前記第１の動き情報とに基づいて再符号化する手順を含み、前記変換後復号動画像から前記新動画像符号列を生成する動画像再符号化処理とを備えており、
前記動きベクトル予測処理における動き情報算出処理は、前記新対象画像フレームと前記第１画像フレームとの間のフレーム間距離を第１のフレーム間距離とし且つ前記元対象画像フレームと前記第２画像フレームとの間のフレーム間距離を第２のフレーム間距離とした場合において、前記第１のフレーム間距離と前記第２のフレーム間距離との大小関係に応じて、前記複数の第２の動き情報のみを利用して前記第１の動き情報を算出するか、前記複数の第２の動き情報以外の前記元動き情報と前記複数の第２の動き情報とを利用して前記第１の動き情報を算出するかを切り替えるものである
ことを特徴とする動画像符号列変換方法が得られる。
【００３２】
また、本発明によれば、第１２の動画像符号列変換方法として、前記第１１の動画像符号列変換方法において、前記動きベクトル予測処理は、前記新対象画像フレーム内のブロックの夫々についてイントラブロックであるか否かを判断し、イントラブロックであった場合には、当該イントラブロックに関しては当該イントラブロックを前記新符号化対象ブロックとした前記動き情報算出処理を行わない、ことを特徴とする動画像符号列変換方法が得られる。
【００３３】
更に、本発明によれば、第１３動画像符号列変換方法として、前記第１１の動画像符号列変換方法において、前記動き情報算出処理は、前記第１及び第２のフレーム間距離が等しい場合には、前記複数の第２の動き情報に対して統合処理を行って一時的動き情報を生成する一方、前記第１及び第２のフレーム間距離が等しくない場合には前記複数の第２の動き情報以外の前記元動き情報と前記複数の第２の動き情報との動きベクトル演算処理を行って一時的動き情報を生成し、前記一時的動き情報を前記所定の解像度変換率に従ってスケーリングして前記第１の動き情報を算出するものである、ことを特徴とする動画像符号列変換方法が得られる。
【００３４】
また、本発明によれば、第１４の動画像符号列変換方法として、前記第１３の動画像符号列変換方法であって、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記復号動画像における前記第１画像フレームに対応する画像フレームを第３画像フレームとし、該第３画像フレーム内のブロックであって前記第１フレーム内の第１ブロックに対応するものと仮定される複数のブロックを複数の第３ブロックとし、前記複数の元符号化対象ブロックの前記複数の第３ブロックに対する複数の動き情報を複数の第３の動き情報とし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第３画像フレームの前記複数の第３ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内の複数のブロックを夫々第４画像フレーム及び複数の第４ブロックとし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第２画像フレームの前記複数の第２ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内の複数のブロックを夫々第５画像フレーム及び複数の第５ブロックとした場合において、
前記動画像復号処理において抽出された前記複数の元動き情報には、前記複数の第３ブロックの前記複数の第４ブロックに対する複数の動き情報である複数の第４の動き情報と、前記複数の第２ブロックの前記複数の第５ブロックに対する複数の動き情報である複数の第５の動き情報とが含まれており、
前記動きベクトル演算処理は、
前記複数の第２の動き情報に対して統合処理を行って第１統合情報を生成する第１のステップと、
前記第１のフレーム間距離が前記第２のフレーム間距離より大きいか小さいかを判定する第２のステップと、
該第２のステップにおいて小さいと判定した場合に、前記第４画像フレーム内に含まれるブロックから前記複数の第４ブロックを特定して前記複数の第４の動き情報を取得し、該複数の第４の動き情報に対して前記統合処理を行って第２統合情報を生成する第３のステップと、
前記第２画像フレームと前記第４画像フレームとが一致するか否かを判断する第４のステップと、
該第４のステップにおいて一致すると判断した場合、前記第１統合情報から前記第２統合情報を減算することにより、前記第３の動き情報を前記統合処理した場合に得られる統合情報と実質的に等価な第３統合情報を求めて該第３統合情報を前記一時的動き情報とする第５のステップと、
前記第２のステップにおいて大きいと判定した場合に、前記第５画像フレーム内に含まれるブロックから前記複数の第５ブロックを特定して前記複数の第５の動き情報を取得し、該複数の第５の動き情報に対して前記統合処理を行って第４統合情報を生成する第６のステップと、
前記第３画像フレームと前記第５画像フレームとが一致するか否かを判断する第７のステップと、
前記第７のステップにおいて一致すると判断した場合に、前記第１統合情報に対して前記第４統合情報を加算して前記第３統合情報を求めて該第３統合情報を前記一時的動き情報とする第８のステップと
を備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３５】
また、本発明によれば、第１５の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、
前記第２のステップの実行前に前記第４画像フレームと前記元対象画像フレームとが一致するか否かを判断する第９のステップと、
該第９のステップにおいて一致すると判断した場合に、前記複数の第４の動き情報に対して前記統合処理を行って前記第２統合情報を生成し、該第２統合情報の正負を反転することにより前記第３統合情報を求めて、該第３統合情報を前記一時的動き情報とする第１０のステップと
を更に有し、前記第９のステップにおいて一致しないと判断した場合には前記第２のステップを行うことを特徴とする動画像符号列変換方法が得られる。
【００３６】
また、本発明によれば、第１６の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、前記第４のステップにおいて一致しないと判断した場合に、前記第２画像フレームと前記第４画像フレームとが一致するように、前記第１統合情報及び／又は前記第２統合情報をスケーリングし、その後、前記第５のステップと同様にして減算を行って前記第３統合情報を求めて、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３７】
また、本発明によれば、第１７の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、前記第４のステップにおいて一致しないと判断した場合に、前記第１のフレーム間距離と前記第２のフレーム間距離との比に従って前記第１統合情報をスケーリングして前記第３統合情報を算出し、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３８】
また、本発明によれば、第１８の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、前記第７のステップにおいて一致しないと判断した場合に、前記第３画像フレームと前記第５画像フレームとが一致するように、前記第１統合情報及び／又は前記複数の第４統合情報をスケーリングし、その後、前記第８のステップと同様にして加算を行って前記第３統合情報を求めて、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００３９】
更に、本発明によれば、第１９の動画像符号列変換方法として、前記第１４の動画像符号列変換方法において、前記第７のステップにおいて一致しないと判断した場合に、前記第１のフレーム間距離と前記第２のフレーム間距離との比に従って前記第１統合情報をスケーリングして前記第３統合情報を算出し、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法が得られる。
【００４０】
また、本発明によれば、第２０の動画像符号列変換方法として、前記第１３又は第１４の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックと当該ブロックの参照先となるブロックとのブロック対から合致度が高いブロック対を選択し、当該選択されたブロック対に対応する動き情報を統合情報とするものである、ことを特徴とする動画像符号列変換方法が得られる。
【００４１】
また、本発明によれば、第２１の動画像符号列変換方法として、前記第１３又は第１４の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックから画素値複雑度が大きなブロックを選択し、当該選択されたブロックに対応した動き情報を統合情報とするものである、ことを特徴とする動画像符号列変換方法が得られる。
【００４２】
また、本発明によれば、第２２の動画像符号列変換方法として、前記第１３又は第１４の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックの画素値複雑度に従って、該複数の動き情報に対して重み付け平均した結果を統合情報とするものである、ことを特徴とする動画像符号列変換方法が得られる。
【００４３】
更に、本発明によれば、第２３の動画像符号列変換方法として、前記第２１又は第２２の動画像符号列変換方法において、前記画素値複雑度は各ブロックの符号量である、ことを特徴とする動画像符号列変換方法が得られる。
【００４４】
また、本発明によれば、第２４の動画像符号列変換方法として、前記第１３又は第１４の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報を平均した結果を統合情報とするものである、ことを特徴とする動画像符号列変換方法が得られる。
【００４５】
更に、本発明によれば、第２５の動画像符号列変換方法として、前記第２０乃至２４のいずれかに記載の動画像符号列変換方法において、前記統合処理は、当該統合処理の対象となっている複数の動き情報の平均値との誤差が所定の閾値を超えるような動き情報を処理対象から除いた後に行われる、ことを特徴とする動画像符号列変換方法が得られる。
【００４６】
なお、これらの動画像符号列変換方法は、例えば、プロセッサと記憶手段とを備えたコンピュータシステム上においてプロセッサにより実行されることによりコンピュータシステムを動画像符号列変換装置として動作させるようなコンピュータプログラムの形式にて実現することができ、また、当該コンピュータプログラムを予め記憶手段に格納したようなコンピュータシステムからなる動画像符号列変換装置としても実現することができる。更には、動画像符号列変換方法における各ステップを実行する回路ブロック（手段）からなる動画像符号列変換装置としても実現することができる。
【００４７】
【発明の実施の形態】
以下、本発明の実施の形態による動画像符号列変換方法及びそれを実現した動画像符号列変換装置について図面を用いて詳細に説明する。
【００４８】
（第１の実施の形態）
本発明の第１の実施の形態による動画像符号列変換装置は、図１に示されるように、プロセッサ、記憶部、Ｉ／Ｏインタフェースを備えており、それらはバスを介して互いに接続されている。ここで、記憶部は、プロセッサが実行すべき動画像変換プログラムを格納していると共に、プロセッサが動画像変換プログラムを実行中の一時記憶としての役割も果たす。なお、この「記憶部」という語は、本明細書において、ＲＡＭなどの主記憶の他、現在販売されているＣＰＵ（ＭＰＵ）に含まれるキャッシュメモリやプロセッサに含まれるレジスタ、更には、ハードディスク装置など、あらゆる記憶装置を示すものとして用いられる。また、本実施の形態において、Ｉ／Ｏインタフェースは、プロセッサの制御に応じて元動画像符号列を入力したり新動画像符号列を出力したりするための媒介手段である。但し、このＩ／Ｏインタフェースの存在は、他のプログラムにより求められた元動画像符号列を一旦記憶部に格納し、それを記憶部から読み出すことで、本実施の形態による動画像符号列変換方法を実行することを妨げるものではない。
【００４９】
以下、本実施の形態による動画像符号列変換方法、即ち動画像符号列変換装置の動作について説明する。なお、本実施の形態による動画像符号列変換装置の動作は、プロセッサが記憶部に格納された動画像変換プログラムを実行することにより、実現されるものであるので、以下においては、説明を明瞭なものとするため、動作主体については逐一言及することなく、その動作のみに着目して説明することとする。
【００５０】
図２を参照すると、本実施の形態による動画像符号列変換方法は、動画像復号処理（ステップＳ１００）、動きベクトル予測処理（ステップＳ２００）、動画像符号化処理（ステップＳ３００）からなる。すなわち、まず、原動画像をブロック単位で動き補償予測符号化してなる元動画像符号列を入力されると、動画像復号処理において、その元動画像符号列を一旦復号して復号動画像を生成すると共に、元動画像符号列に含まれる複数の元動きベクトルを抽出する（ステップＳ１００）。動画像復号処理において複数の元動きベクトルが抽出されると、動きベクトル予測処理において、複数の元動き情報から再符号化時における複数の動き情報（以下「予測動きベクトル」という）を予測推定する（ステップＳ２００）。その後、動画像符号化処理において、複数の予測動きベクトルを利用して復号動画像をブロック単位で再符号化し新動画像符号列を生成する（ステップＳ３００）。これにより、元動画像符号列を新動画像符号列に変換する。
【００５１】
より詳細には、動画像復号処理は、図３に示されるように、符号化の単位となるブロック毎に、動き補償予測の種別を示す符号化モード、元動きベクトル、係数符号情報を含む符号列が解釈された後（ステップＳ１０１）、元動きベクトルと符号化モードは動きベクトル予測処理において参照されるため記憶部に格納される（ステップＳ１０２）。一方、係数符号情報は、逆量子化の後（ステップＳ１０３）、逆変換符号化処理を受ける（ステップＳ１０４）。また、符号化モードと元動きベクトルより動き補償予測（ステップＳ１０５）を行って、１フレーム分のデータの処理を終えることにより（ステップＳ１０６）予測画像が得られ、逆変換符号化後の係数情報と加算されて復号画像が得られる。
【００５２】
また、動画像符号化処理においては、図４に示されるように、まず、動画像復号処理によって得られた復号画像において、ブロック単位に動きベクトル予測処理によって得られた予測動きベクトルの近傍で再探索を行う（ステップＳ３０１）。なお、このステップＳ３０１は省略されることもある。得られた動きベクトルを用いて動き補償予測を行い（ステップＳ３０２）、復号画像と得られた予測画像との差分信号について変換符号化の後（ステップＳ３０３）、量子化を行う（ステップＳ３０４）。動きベクトルおよび量子化後係数情報は可変長符号化され、符号化モード等の情報とあわせて符号列として出力される（ステップＳ３０５）。また、量子化後係数情報はあらためて逆量子化の後逆変換符号化処理を受け（ステップＳ３０６）、予測画像と加算することで再構成された復号画像がフレームメモリに関する情報が格納される（ステップＳ３０７）。この処理を１フレーム分のデータの全てについて行うと（ステップＳ３０８）、次のフレームの処理を行い、それを繰り返すことにより、復号動画像を新動画像符号列へと変換していく。
【００５３】
本実施の形態による動きベクトル予測処理は、図５に示されるように、ブロック単位に行われる。詳しくは、まず、新対象画像フレーム内の総ブロック数をｎとする一方、動きベクトル予測処理の直接的な対象となる新符号化対象ブロックを示すｉの初期値を１に設定する（ステップＳ２０１）。次いで、全てのブロックについて動きベクトル予測処理を終えたか否かについて判定する（ステップＳ２０２）。処理の初めのころは当然ながら、このステップＳ２０２においてＮｏ判定だけがなされるので、次いで、ステップＳ２０３において、記憶部に格納された符号化モードを参照し、処理対象となっているブロックがイントラブロックであるか否かについて判断する。ステップＳ２０３において、対象となっているブロックがイントラブロックであった場合には、動きベクトルの算出を要しないので、次のブロックを処理すべく、未処理のブロックを新しい処理対象ブロックとする（ステップＳ２０４）一方、ステップＳ２０３において、対象となっているブロックがイントラブロックでなかった場合には、ステップＳ２０５に進み、動き情報の算出を行ってから、未処理のブロックを新しい処理対象ブロックとする（ステップＳ２０４）。これらの処理は、全てのブロックについて処理されるまで繰り返される（ステップＳ２０２）。
【００５４】
以下、上記した動き情報算出処理（ステップＳ２０４）について詳細に説明するが、その前に、動き情報算出の動作説明を明瞭なものとするため、図６乃至図１０を用いて、当該処理において現われる画像フレームなどについて言及する。
【００５５】
復号動画像には、新対象画像フレームＦＯ１及び第１画像フレームＦＲ１が含まれている（図６）。新対象画像フレームＦＯ１は、新符号化対象ブロックＢＣ１を含んでおり、第１画像フレームＦＲ１は、新符号化対象ブロックＢＲ１の再符号化に際して参照されることとなる第１ブロックＢＲ１を含んでいる（図７）。新対象画像フレームＦＯ１と第１画像フレームＦＲ１との間のフレーム間距離は第１のフレーム間距離と呼ぶこととする（図６）。ここで、新符号化対象ブロックＢＣ１の第１ブロックＢＲ１に対する動き情報が第１の動きベクトルＭＶ１であり（図７）、この第１の動きベクトルＭＶ１が、動き情報算出処理における算出対象である。
【００５６】
一方、原動画像には、元対象画像フレームＦＯ２、第２乃至第５画像フレームＦＲ２〜ＦＲ５が含まれている（図６）。元対象画像フレームＦＯ２は、新対象画像フレームＦＯ１に対応するものであり、新符号化対象ブロックＢＣ１に対応する元符号化対象ブロックＢＣ２を含んでいる（図６、図８）。第２画像フレームＦＲ２は、元符号化対象ブロックＢＣ２の符号化に際して参照された第２ブロックＢＲ２を含んでいる（図６、図８）。なお、元対象画像フレームＦＯ２と第２画像フレームＦＲ２との間のフレーム間距離は第２のフレーム間距離ＦＤ２として参照することとする（図６）。また、第３画像フレームＦＲ３は、復号動画像における第１画像フレームＦＲ１に対応する画像フレームであり、第１画像フレームＦＲ１における第１ブロックＢＲ１に対応するブロックとして、第３ブロックＢＲ３を含んでいる（図６、図９）。第４画像フレームＦＲ４は、第３画像フレームＦＲ３を符号化する際に参照された画像フレームであり、第３ブロックＢＲ３と合致度の高いブロックとして第４ブロックＢＲ４を含んでいる（図６、図９）。第５画像フレームＦＲ５は、第２画像フレームＦＲ２を符号化する際に参照した画像フレームであり、第２ブロックＢＲ２と合致度の高いブロックとして第５ブロックＢＲ５を含んでいる（図６、図１０）。更に、元符号化対象ブロックＢＣ２の第２ブロックＢＲ２に対する動きベクトルを第２の動きベクトルＭＶ２とし（図８）、第３ブロックＢＲ３の第４ブロックＢＲ４に対する動きベクトルを第４の動きベクトルＭＶ４とし（図９）、第２ブロックＢＲ２の第５ブロックＢＲ５に対する動きベクトルを第５の動きベクトルＭＶ５とすると（図１０）、それらは、原動画像の符号化時において元符号化対象ブロックＢＣ２、第３ブロックＢＲ３及び第２ブロックＢＲ２の動き予測を行った際に算出されているものであるので（図６）、元動画像符号列に含まれている。同様に、元動画像符号列には、第２ブロックＢＲ２、第４ブロックＢＲ４及び第５ブロックＢＲ５に関する情報も含まれている。
【００５７】
ここで、元符号化対象ブロックＢＣ２の第３ブロックＢＲ３に対する動きベクトルである第３の動きベクトルＭＶ３（図９）は、元対象画像フレームＦＯ２が第３画像フレームＦＲ３を参照していない限り、直接的には、元動画像符号列には含まれていない。この第３の動きベクトルＭＶ３は、図６、７及び図９を参照すれば明らかなように、第１の動きベクトルＭＶ１と等価な動きベクトルである。従って、第３の動きベクトルＭＶ３を求めることは、等価的に第１の動きベクトルＭＶ１を求めることとなる。本実施の形態においては、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２とが異なる場合には、第１の動きベクトルＭＶ１を直接求めるのではなく、元動画像符号列に含まれる元動きベクトルを用いてベクトル演算を行い第３の動きベクトルＭＶ３を算出して、等価的に、第１の動きベクトルＭＶ１を算出する。
【００５８】
これらの諸関係を踏まえた上で、図１１乃至図１５を用いて、動き情報算出処理（Ｓ２０５）について詳細に説明する。
【００５９】
図１１を参照すると、動き情報算出処理（Ｓ２０５）においては、まず、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しいか否かについて判定を行い（ステップＳ２１０）、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しい場合には、第２の動きベクトルＭＶ２をそのまま第１の動きベクトルＭＶ１とする一方（ステップＳ２１１）、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しくない場合には、第２の動きベクトルＭＶ２だけでなく、第２の動きベクトルＭＶ２以外の元動きベクトル（例えば、第４の動きベクトルＭＶ４や第５の動きベクトルＭＶ５）をも利用して動きベクトル演算処理（ステップＳ２２０）を行って第１の動きベクトルＭＶ１を算出する。
【００６０】
図１２は、図１１におけるステップＳ２２０の内容を示すフローチャートである。
【００６１】
図１２を参照すると、まず、ステップＳ２３０において、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致するか否かを判断する。これは換言すれば、第３画像フレームＦＲ３の参照先となる画像フレームが元対象画像フレームＦＯ２であるか否かを判断するものである。特に、本実施の形態においては、第３画像フレームＦＲ３がＢピクチャであるか否かを判断すると共にＢピクチャであった場合には、その参照先の一つに元対象画像フレームＦＯ２が含まれているか否かを判断する。その結果、Ｂピクチャである第３画像フレームＦＲ３の参照先の一つが元対象画像フレームＦＯ２であった場合（すなわち、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致する場合）には、第４の動きベクトルＭＶ４を記憶部から取得する（ステップＳ２３１）。図１３に示されるように、このような場合における第４の動きベクトルＭＶ４は、第３の動きベクトルＭＶ３（即ち、第１の動きベクトルＭＶ１）の逆方向ベクトルである。従って、第４の動きベクトルＭＶ４の正負を反転させることで、第３の動きベクトルＭＶ３（即ち、第１の動きベクトルＭＶ１）を得ることができる（ステップＳ２３２）。
【００６２】
一方、ステップＳ２３０において、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致しないと判断した場合には、次に、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さい否かを判定する（ステップＳ２３３）。その結果、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さいと判断した場合には、続いて、第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致するか否かを判断する（ステップＳ２３４）。
【００６３】
ステップＳ２３４において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致すると判断した場合には、図１４に示されるような状態にあることを意味する。図１４を参照すれば明らかなように、このような場合、第３の動きベクトルＭＶ３は、第２の動きベクトルＭＶ２から第４の動きベクトルＭＶ４を減算すれば得られる。
【００６４】
この減算処理を行うために、ステップＳ２３４において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致すると判断した場合、まず第４画像フレームＦＲ４内に含まれるブロックから第４ブロックＢＲ４を特定し、特定された第４ブロックＢＲ４に関する第４の動きベクトルＭＶ４を記憶部から取得する（ステップＳ２３５）。その後、上述したように、第２の動きベクトルＭＶ２から第４の動きベクトルＭＶ４を減算して第３の動きベクトルＭＶ３を求め、それによって、等価的に第１の動きベクトルＭＶ１を得る（ステップＳ２３６）。
【００６５】
ステップＳ２３４において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致しないと判断した場合は、ステップＳ２３７において第１例外処理を行う。
【００６６】
この第１例外処理は、例えば、実際には一致していなかった第２画像フレームＦＲ２及び第４画像フレームＦＲ４を仮想的に一致させ、図１４に示される状態となるように、第２の動きベクトルＭＶ２及び／又は第４の動きベクトルＭＶ４をスケーリングする手順を有するものである。スケーリングした結果、図１４に示される状態と同じ状態であると考えられる場合には、ステップＳ２３６と同様にして減算処理を行えば、第３の動きベクトルＭＶ３を算出することができ、それにより等価的に第１の動きベクトルＭＶ１を得ることができる。
【００６７】
この第１例外処理は、上記したものの他に、例えば、従来の動画像符号列変換方法において採用されていた手法を利用するものであっても良い。即ち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比に従って第２の動きベクトルＭＶ２をスケーリングして第１の動きベクトルＭＶ１を算出するものとしても良い。
【００６８】
ステップＳ２３３において、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さくないと判断した場合、即ち第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より大きい場合には、続いて、第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致するか否かを判断する（ステップＳ２３８）。その結果、第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致すると判断した場合には、図１５に示されるような状態にあることを意味する。図１５を参照すれば明らかなように、このような場合、第３の動きベクトルＭＶ３は、第２の動きベクトルＭＶ２と第５の動きベクトルＭＶ５とを加算すれば得られる。
【００６９】
この加算処理を行うために、ステップＳ２３８において第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致すると判断した場合、まず第５画像フレームＦＲ５内に含まれるブロックから第５ブロックＢＲ５を特定し、特定された第５ブロックＢＲ５に関する第５の動きベクトルＭＶ５を記憶部から取得する（ステップＳ２３９）。その後、上述したように、第２の動きベクトルＭＶ２と第５の動きベクトルＭＶ５を加算して第３の動きベクトルＭＶ３を求め、それによって、等価的に第１の動きベクトルＭＶ１を得る（ステップＳ２４０）。
【００７０】
ステップＳ２３８において第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致しないと判断した場合は、ステップＳ２４１において第２例外処理を行う。
【００７１】
この第２例外処理は、例えば、実際には一致していなかった第３画像フレームＦＲ３及び第５画像フレームＦＲ５を仮想的に一致させ、図１５に示される状態となるように、第２の動きベクトルＭＶ２及び／又は第５の動きベクトルＭＶ５をスケーリングする手順を有するものである。スケーリングした結果、図１５に示される状態と同じ状態であると考えられる場合には、ステップＳ２４０と同様にして減算処理を行えば、第３の動きベクトルＭＶ３を算出することができ、それにより等価的に第１の動きベクトルＭＶ１を得ることができる。
【００７２】
この第２例外処理は、上記したものの他に、例えば、従来の動画像符号列変換方法において採用されていた手法を利用するものであっても良い。即ち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比に従って第２の動きベクトルＭＶ２をスケーリングして第１の動きベクトルＭＶ１を算出するものとしても良い。
【００７３】
なお、上述した動画像符号列変換方法において、第１参照フレームＦＲ１内の第１ブロックＢＲ１が既知ではないことから、第３画像フレームＦＲ３内の第３ブロックＢＲ３も既知ではなく、従って、第３画像フレームＦＲ３内のブロックから特定する必要がある。これに伴い、第４画像フレームＦＲ４内の第４ブロックＢＲ４も必要に応じて特定する必要がある。これらのブロックの特定を行うにあたっては、夫々のフレーム内から一のブロックを選択するわけであるが、その選択範囲は、符号化時に許容されるベクトル最大長によって決まる。また、選択手法は、通常の動きベクトル探索の手法を利用することができる。すなわち、選択範囲に含まれるブロックのうち、実際に動き補償予測を行い誤差信号パワーの最も小さいもの、もしくは、動き補償によって射影した領域が符号化対象ブロックと最も大きな共通部分を持つものを、特定したブロックとすることができる。
【００７４】
以上説明した動画像符号列変換装置は、例えば、図１６に示されるような構成を備えていても良い。従来構成の動画像符号列変換装置と異なるところは、動画像復号化手段から動きベクトル予測部への入力に符号化モードが含まれていることと、動きベクトル予測部内には記憶手段が設けられており、動画像復号化手段から入力された元動きベクトルを一度動きベクトル予測に用いた後も保持しておき他の動きベクトル予測を行う際に参照することができることである。なお、動きベクトル予測部の動作は、上述したものと同じである。
【００７５】
（第２の実施の形態）
本発明の第２の実施の形態による動画像符号列変換装置は、第１の実施の形態による動画像符号列変換装置を空間・時間解像度変換にも対応できるように変形したものである。本実施の形態において、ハードウェア構成は図１に示される第１の実施の形態と同じであり、記憶部に格納される動画像変換プログラムのみに変更が加えられている。
【００７６】
ここで、原動画像に含まれる画像フレームと復号動画像を空間解像度縮小変換して得られる変換後復号動画像に含まれる画像フレームとでは解像度が異なるのであるから、変換後復号動画像の画像フレームに含まれるブロックに対応するブロックは、原動画像の画像フレーム内において複数存在することになる。そこで、従来の技術に関連して説明したように、統合処理を行う必要がある。
【００７７】
この統合処理の例としては、概略、次の４つを挙げられる。
【００７８】
第１の統合処理方法は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックと当該ブロックの参照先となるブロックとのブロック対から合致度が最も高いブロック対を選択し、当該選択されたブロック対に対応する動き情報を統合情報とするものである。例えば、ブロック対の合致度の計算には差分絶対値和を用いる手順や差分二乗和を用いる手順を採用することができる。
【００７９】
第２の統合処理方法は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックから画素値複雑度が最も大きなブロックを選択し、当該選択されたブロックに対応した動き情報を統合情報とするものである。第３の統合処理方法は、当該統合処理の対象となっている複数の動き情報の夫々に対応するブロックの画素値複雑度に従って、該複数の動き情報に対して重み付け平均した結果を統合情報とするものである。これら第２又は第３の統合処理方法においては、各ブロックの符号量を画素値複雑度としても良いし、各ブロックに関する変換符号化係数のうちの非ゼロ係数の数を画素値複雑度としても良いし、各ブロックに関する画素値の分散を画素値複雑度としても良い。
【００８０】
第４の統合処理方法は、当該統合処理の対象となっている複数の動き情報を平均した結果を統合情報とするものである。
【００８１】
これら第１乃至第４の統合処理方法は、当該統合処理の対象となっている複数の動き情報の平均値との誤差が所定の閾値を超えるような動き情報を処理対象から除いた後に行われることとしても良い。
【００８２】
以下、本実施の形態による動画像符号列変換方法、即ち動画像符号列変換装置の動作について説明する。なお、以下においても、第１の実施の形態の場合と同様に、動作主体については省略し、動作のみに着目して説明することとする。また、本実施の形態において、説明に現われる画像フレーム等は第１の実施の形態と同様の関係を持っていることから、以下の説明においては、第１の実施の形態の説明において定義した用語を用いることとする。但し、本実施の形態において、第１の実施の形態における復号動画像に対応するものは変換後復号動画像であり、従って、新対象画像フレームＦＯ１及び第１画像フレームＦＲ１と、元対象画像フレームＦＯ２並びに第２乃至第５画像フレームＦＲ２〜ＦＲ５とは解像度が異なるものであり、元符号化対象ブロックＢＣ２並びに第２乃至第５ブロックＢＲ２〜ＢＲ５は空間解像度率に応じて夫々複数個ある。また、それに応じて、第２乃至第５の動きベクトルＭＶ２〜ＭＶ５も複数本ある。
【００８３】
図１７を参照すると、本実施の形態による動画像符号列変換方法は、動画像復号処理（ステップＳ１００）、空間・時間解像度変換処理（ステップＳ４００）、動きベクトル予測処理（ステップＳ５００）、動画像符号化処理（ステップＳ３００）からなる。すなわち、まず、原動画像をブロック単位で動き補償予測符号化してなる元動画像符号列を入力されると、動画像復号処理において、その元動画像符号列を一旦復号して復号動画像を生成すると共に、元動画像符号列に含まれる複数の元動きベクトルを抽出する（ステップＳ１００）。ステップＳ１００において復号された復号動画像は、所定の空間解像度変換率および時間解像度変化率に従って空間・時間解像度変換され、変換後復号動画像として出力される（ステップＳ４００）。ここで、時間解像度の変化とは、フレームスキップによる参照フレームの変化を意味するものであり、上述した第１の実施の形態の概念を適用できるものである。それに対し、空間解像度の変化とは、特に本実施の形態においては、個々のフレームを縮小することを意味し、動きベクトル予測においても上述したように統合処理を行ったり空間解像度変換率に応じてベクトルを縮小する等の処理を新たに必要とするものである。
【００８４】
一方、動きベクトル予測処理においては、動画像復号処理において抽出された複数の元動き情報から再符号化時における複数の予測動きベクトルを予測する（ステップＳ５００）。その後、複数の予測動きベクトルを利用して変換後復号動画像をブロック単位で再符号化し新動画像符号列を生成する（ステップＳ３００）。これにより、元動画像符号列を新動画像符号列に変換する。
【００８５】
本実施の形態による動きベクトル予測処理は、図１８に示されるように、ブロック単位に行われる。詳しくは、まず、新対象画像フレーム内の総ブロック数をｎとする一方、動きベクトル予測処理の直接的な対象となる新符号化対象ブロックを示すｉの初期値を１に設定する（ステップＳ５０１）。次いで、全てのブロックについて動きベクトル予測処理を終えたか否かについて判定する（ステップＳ５０２）。処理の初めのころは当然ながら、このステップＳ５０２においてＮｏ判定だけがなされるので、次いで、ステップＳ５０３において、記憶部に格納された符号化モードを参照し、処理対象となっているブロックがイントラブロックであるか否かについて判断する。ステップＳ５０３において、対象となっているブロックがイントラブロックであった場合には、動きベクトルの算出を要しないので、次のブロックの処理を行うべく、未処理のブロックを新しい処理対象ブロックとする（ステップＳ５０４）一方、ステップＳ５０３において、対象となっているブロックがイントラブロックでなかった場合には、ステップＳ５０５に進み、動き情報の算出を行ってから、未処理のブロックを新しい処理対象ブロックとする（ステップＳ５０４）。これらの処理は、全てのブロックについて処理されるまで繰り返される（ステップＳ５０２）。
【００８６】
以下、上記した動き情報算出処理（ステップＳ５０５）について詳細に説明する。
【００８７】
図１９を参照すると、動き情報算出処理（Ｓ５０５）においては、まず、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しいか否かについて判定を行い（ステップＳ５１０）、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しい場合には、複数の第２の動きベクトルＭＶ２に対して統合処理を行って一時的動きベクトルを生成する一方（ステップＳ５１１）、第１及び第２のフレーム間距離ＦＤ１及びＦＤ２が等しくない場合には、複数の第２の動きベクトルＭＶ２だけでなく、複数の第２の動きベクトルＭＶ２以外の元動きベクトル（例えば、複数の第４の動きベクトルＭＶ４や複数の第５の動きベクトルＭＶ５）をも利用して動きベクトル演算処理を行って一時的動きベクトルを生成し（ステップＳ５１２）、その後、一時的動き情報を所定の解像度変換率に従ってスケーリングして第１の動きベクトルＭＶ１を算出する（ステップＳ５１３）。
【００８８】
図２０は、図１９におけるステップＳ５１２の内容を示すフローチャートである。
【００８９】
図２０を参照すると、まず、ステップＳ５２０において、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致するか否かを判断する。これは換言すれば、第３画像フレームＦＲ３の参照先となる画像フレームが元対象画像フレームＦＯ２であるか否かを判断するものである。特に、本実施の形態においては、第１の実施の形態と同様に、第３画像フレームＦＲ３がＢピクチャであるか否かを判断すると共にＢピクチャであった場合には、その参照先の一つに元対象画像フレームＦＯ２が含まれているか否かを判断する。その結果、Ｂピクチャである第３画像フレームＦＲ３の参照先の一つが元対象画像フレームＦＯ２であった場合（すなわち、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致する場合）には、第４画像フレームＦＲ４に含まれるブロックから複数の第４ブロックＢＲ４を特定して、その複数の第４ブロックＢＲ４に基づいて複数の第４の動きベクトルＭＶ４を記憶部から読み出し、それら複数の第４の動きベクトルＭＶ４に対して統合処理を行うことで、第２統合ベクトルを生成する（ステップＳ５２１）。
【００９０】
このような条件を満たす第２統合ベクトルは、複数の第３の動きベクトルＭＶ３に統合処理を行った場合に得られる統合ベクトルと実質的に等価な第３統合ベクトルの逆方向ベクトルである。従って、第２統合ベクトルの正負を反転させることで、第３統合ベクトルを得ることができる（ステップＳ２３２）。この第３統合ベクトルは、ステップＳ５１３に対して、前述した一時的統合ベクトルとして渡され、解像度変換率に従ったスケーリングを受けて、第１の動きベクトルＭＶ１となる。
【００９１】
一方、ステップＳ５２０において、第４画像フレームＦＲ４と元対象画像フレームＦＯ２とが一致しないと判断した場合には、複数の第２の動きベクトルＭＶ２に対して統合処理を行って第１統合ベクトルを生成する（ステップＳ５２３）。
【００９２】
次に、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さい否かを判定する（ステップＳ５２４）。その結果、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さいと判断した場合には、第４画像フレームＦＲ４に含まれるブロックから複数の第４ブロックＢＲ４を特定して、その複数の第４ブロックＢＲ４に基づいて複数の第４の動きベクトルＭＶ４を記憶部から読み出し、それら複数の第４の動きベクトルＭＶ４に対して統合処理を行うことで、第２統合ベクトルを生成する（ステップＳ５２５）。
【００９３】
続いて、第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致するか否かを判断する（ステップＳ５２６）。
【００９４】
ステップＳ５２６において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致すると判断した場合には、図１４に示されるような状態にあることを意味する。図１４を参照すれば明らかなように、このような場合、第３統合ベクトルは、第１統合ベクトルから第２統合ベクトルを減算すれば得られる（ステップＳ５２７）。この第３統合ベクトルは、一時的動きベクトルとして、ステップＳ５１３に渡される。
【００９５】
ステップＳ５２６において第２画像フレームＦＲ２と第４画像フレームＦＲ４とが一致しないと判断した場合は、ステップＳ５２８において第１例外処理を行う。
【００９６】
この第１例外処理は、例えば、実際には一致していなかった第２画像フレームＦＲ２及び第４画像フレームＦＲ４を仮想的に一致させ、図１４に示される状態となるように、第１統合ベクトル及び又は第２統合ベクトルをスケーリングするか、複数の第２の動きベクトルＭＶ２及び／又は複数の第４の動きベクトルＭＶ４をスケーリングする手順を有するものである。スケーリングした結果、図１４に示される状態と同じ状態であると考えられる場合には、ステップＳ５２７と同様にして減算処理を行えば、第３統合ベクトルを算出することができる。この第３統合ベクトルは、ステップＳ５２２の場合と同様に、一時的動きベクトルとして、ステップＳ５１３に渡される。
【００９７】
なお、第１例外処理（ステップＳ５２８）は、上記したものの他に、例えば、従来の動画像符号列変換方法において採用されていた手法を利用するものであっても良い。即ち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比に従って第１統合ベクトルをスケーリングして一時的動きベクトル（第３統合ベクトル）を算出するものとしても良い。
【００９８】
ステップＳ５２４において、第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より小さくないと判断した場合、即ち第１のフレーム間距離ＦＤ１が第２のフレーム間距離ＦＤ２より大きい場合には、第５画像フレームＦＲ５内に含まれるブロックから複数の第５ブロックＢＲ５を特定すると共にその複数の第５ブロックＢＲ５に基づいて複数の第５の動きベクトルＭＶ５を記憶部から取得し、その後、取得した複数の第５の動きベクトルＭＶ５に対して統合処理を行って、第４統合情報を算出する（ステップＳ５２９）。
【００９９】
続いて、第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致するか否かを判断する（ステップＳ５３０）。その結果、第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致すると判断した場合には、図１５に示されるような状態にあることを意味する。図１５を参照すれば明らかなように、このような場合、第３統合ベクトルは、第１統合ベクトルと第４統合ベクトルとを加算すれば得られる（ステップＳ５３１）。この第３統合ベクトルは、一時的動きベクトルとして、ステップＳ５１３に渡される。
【０１００】
ステップＳ５３０において第３画像フレームＦＲ３と第５画像フレームＦＲ５とが一致しないと判断した場合は、ステップＳ５３２において第２例外処理を行う。
【０１０１】
この第２例外処理は、例えば、実際には一致していなかった第３画像フレームＦＲ３及び第５画像フレームＦＲ５を仮想的に一致させ、図１５に示される状態となるように、第１統合ベクトル及び又は第４統合ベクトルをスケーリングするか、複数の第２の動きベクトルＭＶ２及び／又は複数の第５の動きベクトルＭＶ５をスケーリングする手順を有するものである。スケーリングした結果、図１５に示される状態と同じ状態であると考えられる場合には、ステップＳ５３１と同様にして減算処理を行えば、第３統合ベクトルを算出することができる。この第３統合ベクトルは、ステップＳ５２２、Ｓ５２８の場合と同様に、一時的動きベクトルとして、ステップＳ５１３に渡される。
【０１０２】
なお、第２例外処理（ステップＳ５３２）は、上記したものの他に、例えば、従来の動画像符号列変換方法において採用されていた手法を利用するものであっても良い。即ち、第１のフレーム間距離ＦＤ１と第２のフレーム間距離ＦＤ２との比に従って第１統合ベクトルをスケーリングして一時的動きベクトル（第３統合ベクトル）を算出するものとしても良い。
【０１０３】
なお、上述した動画像符号列変換方法においても、第１参照フレームＦＲ１内の第１ブロックＢＲ１が既知ではないことに起因して、複数の第３ブロックＢＲ３や複数の第４ブロックＢＲ４を必要に応じて特定する必要がある。これらのブロックの特定を行うにあたっては、夫々のフレーム内から一のブロックを選択するわけであるが、その選択範囲は、符号化時に許容されるベクトル最大長によって決まる。また、選択手法は、通常の動きベクトル探索の手法を利用することができる。すなわち、選択範囲に含まれるブロックのうち、実際に動き補償予測を行い誤差信号パワーの最も小さいもの、もしくは、動き補償によって射影した領域が符号化対象ブロックと最も大きな共通部分を持つものを、特定したブロックとすることができる。
【０１０４】
以上説明した動画像符号列変換装置は、例えば、図２１に示されるような構成を備えていても良い。従来構成の動画像符号列変換装置と異なるところは、動画像復号化手段から動きベクトル予測部への入力に符号化モードが含まれていることと、動きベクトル予測部内には記憶手段が設けられており、動画像復号化手段から入力された元動きベクトルを一度動きベクトル予測に用いた後も保持しておき他の動きベクトル予測を行う際に参照することができることである。なお、動きベクトル予測部の動作は、上述したものと同じである。
【０１０５】
上述した第１及び第２の実施の形態においては、元動画像符号列（原動画像）にＢピクチャが含まれている場合を考慮した処理が含まれていたが（図１２におけるステップＳ２３０〜Ｓ２３２、図２０におけるステップＳ５２０〜５２２）、本発明はＢピクチャを含まないような場合、すなわち、フレーム内符号化および前方向へのフレーム間予測のいずれか一方のみが用いられているような動画像符号列にも適用可能である。その場合には、上記した図１２におけるステップＳ２３０〜Ｓ２３２及び図２０におけるステップＳ５２０〜５２２を取り除いた手順に従って動きベクトル予測処理が行われる。
【０１０６】
【発明の効果】
本発明によれば、従来破棄されていた元動きベクトルを記憶部に格納して随時参照できることとし、第１及び第２フレーム間距離が異なる場合には、符号化対象ブロックに直接関係する元動きベクトル（ＭＶ２）以外の元動きベクトル（ＭＶ４，ＭＶ５）を用いて再符号化時に用いる動きベクトルを推定し動画像を再符号化することとしたことから、動画像復号装置と動画像符号化装置を単純に直列に接続した場合に比べて符号化効率を損なうことなく処理に要する演算量を大幅に削減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による動画像符号列変換装置の講制を示す概略図である。
【図２】図１に示される記憶部に格納された本発明の第１の実施の形態による動画像符号列変換プログラムの処理を示すフローチャートである。
【図３】図２における動画像復号処理の詳細を示すフローチャートである。
【図４】図２における動画像符号化処理の詳細を示すフローチャートである。
【図５】図２における動きベクトル予測処理の詳細を示すフローチャートである。
【図６】画像フレームの関係を説明するための図である。
【図７】新対象画像フレームと第１画像フレームとの関係を説明するための図である。
【図８】元対象画像フレームと第２画像フレームとの関係を説明するための図である。
【図９】第３画像フレームと第４画像フレームとの関係を説明するための図である。
【図１０】第２画像フレームと第５画像フレームとの関係を説明するための図である。
【図１１】図５における動き情報算出処理の詳細を示すフローチャートである。
【図１２】図１１における動きベクトル演算処理の詳細を示すフローチャートである。
【図１３】図１２のステップＳ２３０においてＹｅｓであった場合の状態を示す図である。
【図１４】図１２のステップＳ２３４においてＹｅｓであった場合の状態を示す図である。
【図１５】図１２のステップＳ２３８においてＹｅｓであった場合の状態を示す図である。
【図１６】本発明の第１の実施の形態による動画像符号列変換装置の他の構成を示す図である。
【図１７】本発明の第２の実施の形態による動画像符号列変換プログラムの処理を示すフローチャートである。
【図１８】図１７における動きベクトル予測処理の詳細を示すフローチャートである。
【図１９】図１８における動き情報算出処理の詳細を示すフローチャートである。
【図２０】図１９における動きベクトル演算処理の詳細を示すフローチャートである。
【図２１】本発明の第２の実施の形態による動画像符号列変換装置の他の構成を示す図である。
【図２２】従来の動画像符号列変換方法の説明に用いられる画像フレーム関係図である。
【図２３】空間及び／又は時間解像度変換を含む場合におけるベクトルの統合処理を説明するための図である。
【図２４】従来の動画像符号列変換方法における問題点の説明に用いられる画像フレーム関係図である。
Claims (4)
- 複数の画像フレームからなる原動画像に対して動き補償予測符号化を行って得られる元動画像符号列を受けて、該元動画像符号列を復号して復号動画像を生成した後、当該復号動画像の再符号化を行うことにより、前記元動画像符号列を新動画像符号列に変換する動画像符号列変換方法であって、
前記復号動画像は新対象画像フレーム及び第１画像フレームを含む複数の画像フレームからなるものであり、前記新対象画像フレームは新符号化対象ブロックを含むものであり、前記第１画像フレームは前記新符号化対象ブロックの再符号化に際して参照されることとなる第１ブロックを含むものであり、前記新符号化対象ブロックの再符号化時に用いられる動き情報は該新符号化対象ブロックの前記第１ブロックに対する動き情報である第１の動き情報であり、前記原動画像を構成する複数の画像フレームは元対象画像フレーム及び第２画像フレームを含むものであり、前記元対象画像フレームは前記新対象画像フレームに対応するものであると共に前記新符号化対象ブロックに対応する元符号化対象ブロックを含むものであり、前記第２画像フレームは前記元符号化対象ブロックの符号化に際して参照された第２ブロックを含むものであり、前記元動画像符号列は前記第２ブロックに関する情報と前記元符号化対象ブロックの前記第２ブロックに対する動き情報である第２の動き情報とを含むものである、動画像符号列変換方法において、
前記元動画像符号列から前記第２の動き情報を含む複数の元動き情報を抽出すると共に、前記元動画像符号列を復号して前記復号動画像を生成する動画像復号処理と、
前記動画像復号処理において抽出された複数の元動き情報を用いて、前記第１の動き情報を含む複数の予測動き情報を算出する動き情報算出処理を含む動きベクトル予測処理と、
前記新符号化対象ブロックを前記第１ブロックと前記第１の動き情報とに基づいて再符号化する手順を含み、前記復号動画像から前記新動画像符号列を生成する動画像再符号化処理とを備えており、
前記動きベクトル予測処理における動き情報算出処理は、前記新対象画像フレームと前記第１画像フレームとの間のフレーム間距離を第１のフレーム間距離とし且つ前記元対象画像フレームと前記第２画像フレームとの間のフレーム間距離を第２のフレーム間距離とした場合において、前記第１のフレーム間距離と前記第２のフレーム間距離との大小関係に応じて、前記第２の動き情報のみを利用して前記第１の動き情報を算出するか、前記第２の動き情報以外の前記元動き情報と前記第２の動き情報とを利用して前記第１の動き情報を算出するかを切り替えるものであり、
前記動き情報算出処理は、前記第１及び第２のフレーム間距離が等しい場合には、前記第２の動き情報をそのまま前記第１の動き情報とし、前記第１及び第２のフレーム間距離が等しくない場合には前記第２の動き情報以外の前記元動き情報と前記第２の動き情報との動きベクトル演算処理を行って前記第１の動き情報を算出するものであり、
前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記復号動画像における前記第１画像フレームに対応する画像フレームを第３画像フレームとし、該第３画像フレーム内のブロックであって前記第１フレーム内の第１ブロックに対応するブロックを第３ブロックとし、前記元符号化対象ブロックの前記第３ブロックに対する動き情報であって前記第１の動き情報と等価な動き情報を第３の動き情報とし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第３画像フレームの第３ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内のブロックを夫々第４画像フレーム及び第４ブロックとし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第２画像フレームの第２ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内のブロックを夫々第５画像フレーム及び第５ブロックとした場合において、
前記動画像復号処理において抽出された前記複数の元動き情報には、前記第３ブロックの前記第４ブロックに対する動き情報である第４の動き情報と、前記第２ブロックの前記第５ブロックに対する動き情報である第５の動き情報とが含まれており、
前記動きベクトル演算処理は、
前記第１のフレーム間距離が前記第２のフレーム間距離より大きいか小さいかを判定する第１のステップと、
該第１のステップにおいて小さいと判定した場合に、前記第２画像フレームと前記第４画像フレームとが一致するか否かを判断する第２のステップと、
該第２のステップにおいて一致すると判断した場合に、前記第４画像フレーム内に含まれるブロックから前記第４ブロックを特定すると共に前記第４の動き情報を取得する第３のステップと、
前記第２の動き情報から前記第４の動き情報を減算して前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得る第４のステップと、
前記第１のステップにおいて大きいと判定した場合に、前記第３画像フレームと前記第５画像フレームとが一致するか否かを判断する第５のステップと、
前記第５のステップにおいて一致すると判断した場合に、前記第５画像フレーム内に含まれるブロックから前記第５ブロックを特定すると共に前記第５の動き情報を取得する第６のステップと、
前記第２の動き情報に対して前記第５の動き情報を加算して前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得る第７のステップとを備え、
前記第２のステップにおいて一致しないと判断した場合に、前記第２画像フレームと前記第４画像フレームとが一致するように、前記第２の動き情報及び／又は前記第４の動き情報をスケーリングし、その後、前記第４のステップと同様にして減算を行って前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得るステップを更に備える、ことを特徴とする動画像符号列変換方法。 - 複数の画像フレームからなる原動画像に対して動き補償予測符号化を行って得られる元動画像符号列を受けて、該元動画像符号列を復号して復号動画像を生成した後、当該復号動画像の再符号化を行うことにより、前記元動画像符号列を新動画像符号列に変換する動画像符号列変換方法であって、
前記復号動画像は新対象画像フレーム及び第１画像フレームを含む複数の画像フレームからなるものであり、前記新対象画像フレームは新符号化対象ブロックを含むものであり、前記第１画像フレームは前記新符号化対象ブロックの再符号化に際して参照されることとなる第１ブロックを含むものであり、前記新符号化対象ブロックの再符号化時に用いられる動き情報は該新符号化対象ブロックの前記第１ブロックに対する動き情報である第１の動き情報であり、前記原動画像を構成する複数の画像フレームは元対象画像フレーム及び第２画像フレームを含むものであり、前記元対象画像フレームは前記新対象画像フレームに対応するものであると共に前記新符号化対象ブロックに対応する元符号化対象ブロックを含むものであり、前記第２画像フレームは前記元符号化対象ブロックの符号化に際して参照された第２ブロックを含むものであり、前記元動画像符号列は前記第２ブロックに関する情報と前記元符号化対象ブロックの前記第２ブロックに対する動き情報である第２の動き情報とを含むものである、動画像符号列変換方法において、
前記元動画像符号列から前記第２の動き情報を含む複数の元動き情報を抽出すると共に、前記元動画像符号列を復号して前記復号動画像を生成する動画像復号処理と、
前記動画像復号処理において抽出された複数の元動き情報を用いて、前記第１の動き情報を含む複数の予測動き情報を算出する動き情報算出処理を含む動きベクトル予測処理と、
前記新符号化対象ブロックを前記第１ブロックと前記第１の動き情報とに基づいて再符号化する手順を含み、前記復号動画像から前記新動画像符号列を生成する動画像再符号化処理とを備えており、
前記動きベクトル予測処理における動き情報算出処理は、前記新対象画像フレームと前記第１画像フレームとの間のフレーム間距離を第１のフレーム間距離とし且つ前記元対象画像フレームと前記第２画像フレームとの間のフレーム間距離を第２のフレーム間距離とした場合において、前記第１のフレーム間距離と前記第２のフレーム間距離との大小関係 に応じて、前記第２の動き情報のみを利用して前記第１の動き情報を算出するか、前記第２の動き情報以外の前記元動き情報と前記第２の動き情報とを利用して前記第１の動き情報を算出するかを切り替えるものであり、
前記動き情報算出処理は、前記第１及び第２のフレーム間距離が等しい場合には、前記第２の動き情報をそのまま前記第１の動き情報とし、前記第１及び第２のフレーム間距離が等しくない場合には前記第２の動き情報以外の前記元動き情報と前記第２の動き情報との動きベクトル演算処理を行って前記第１の動き情報を算出するものであり、
前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記復号動画像における前記第１画像フレームに対応する画像フレームを第３画像フレームとし、該第３画像フレーム内のブロックであって前記第１フレーム内の第１ブロックに対応するブロックを第３ブロックとし、前記元符号化対象ブロックの前記第３ブロックに対する動き情報であって前記第１の動き情報と等価な動き情報を第３の動き情報とし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第３画像フレームの第３ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内のブロックを夫々第４画像フレーム及び第４ブロックとし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第２画像フレームの第２ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内のブロックを夫々第５画像フレーム及び第５ブロックとした場合において、
前記動画像復号処理において抽出された前記複数の元動き情報には、前記第３ブロックの前記第４ブロックに対する動き情報である第４の動き情報と、前記第２ブロックの前記第５ブロックに対する動き情報である第５の動き情報とが含まれており、
前記動きベクトル演算処理は、
前記第１のフレーム間距離が前記第２のフレーム間距離より大きいか小さいかを判定する第１のステップと、
該第１のステップにおいて小さいと判定した場合に、前記第２画像フレームと前記第４画像フレームとが一致するか否かを判断する第２のステップと、
該第２のステップにおいて一致すると判断した場合に、前記第４画像フレーム内に含まれるブロックから前記第４ブロックを特定すると共に前記第４の動き情報を取得する第３のステップと、
前記第２の動き情報から前記第４の動き情報を減算して前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得る第４のステップと、
前記第１のステップにおいて大きいと判定した場合に、前記第３画像フレームと前記第５画像フレームとが一致するか否かを判断する第５のステップと、
前記第５のステップにおいて一致すると判断した場合に、前記第５画像フレーム内に含まれるブロックから前記第５ブロックを特定すると共に前記第５の動き情報を取得する第６のステップと、
前記第２の動き情報に対して前記第５の動き情報を加算して前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得る第７のステップとを備え、
前記第５のステップにおいて一致しないと判断した場合に、前記第３画像フレームと前記第５画像フレームとが一致するように、前記第２の動き情報及び／又は前記第５の動き情報をスケーリングし、その後、前記第６のステップと同様にして加算を行って前記第３の動き情報を求め、それにより等価的に前記第１の動き情報を得るステップを更に備える、ことを特徴とする動画像符号列変換方法。 - 複数の画像フレームからなる原動画像に対して動き補償予測符号化を行って得られる元動画像符号列を受けて、該元動画像符号列を復号して復号動画像を生成した後、当該復号動画像を所定の解像度変換率に従って変換して得られた変換後復号動画像を再符号化することにより、前記元動画像符号列を新動画像符号列に変換する動画像符号列変換方法であって、
前記復号動画像は新対象画像フレーム及び第１画像フレームを含む複数の画像フレームからなるものであり、前記新対象画像フレームは新符号化対象ブロックを含むものであり 、前記第１画像フレームは前記新符号化対象ブロックの再符号化に際して参照されることとなる第１ブロックを含むものであり、前記新符号化対象ブロックの再符号化時に用いられる動き情報は該新符号化対象ブロックの前記第１ブロックに対する動き情報である第１の動き情報であり、前記原動画像を構成する複数の画像フレームは元対象画像フレーム及び第２画像フレームを含むものであり、前記元対象画像フレームは前記新対象画像フレームに対応するものであると共に前記新符号化対象ブロックに対応する複数の元符号化対象ブロックを含むものであり、前記第２画像フレームは前記複数の元符号化対象ブロックの符号化に際して参照された複数の第２ブロックを含むものであり、前記元動画像符号列は前記複数の第２ブロックに関する情報と前記複数の元符号化対象ブロックの前記複数の第２ブロックに対する複数の動き情報である複数の第２の動き情報とを含むものである、動画像符号列変換方法において、
前記元動画像符号列から前記複数の第２の動き情報を含む複数の元動き情報を抽出すると共に、前記元動画像符号列を復号して前記復号動画像を生成する動画像復号処理と、
前記復号動画像を前記所定の解像度変換率に従って解像度変換して前記変換後復号動画像を生成する解像度変換処理と、
前記動画像復号処理において抽出された複数の元動き情報を用いて、前記第１の動き情報を含む複数の予測動き情報を算出する動き情報算出処理を含む動きベクトル予測処理と、
前記新符号化対象ブロックを前記第１ブロックと前記第１の動き情報とに基づいて再符号化する手順を含み、前記変換後復号動画像から前記新動画像符号列を生成する動画像再符号化処理とを備えており、
前記動きベクトル予測処理における動き情報算出処理は、前記新対象画像フレームと前記第１画像フレームとの間のフレーム間距離を第１のフレーム間距離とし且つ前記元対象画像フレームと前記第２画像フレームとの間のフレーム間距離を第２のフレーム間距離とした場合において、前記第１のフレーム間距離と前記第２のフレーム間距離との大小関係に応じて、前記複数の第２の動き情報のみを利用して前記第１の動き情報を算出するか、前記複数の第２の動き情報以外の前記元動き情報と前記複数の第２の動き情報とを利用して前記第１の動き情報を算出するかを切り替えるものであり、
前記動き情報算出処理は、前記第１及び第２のフレーム間距離が等しい場合には、前記複数の第２の動き情報に対して統合処理を行って一時的動き情報を生成する一方、前記第１及び第２のフレーム間距離が等しくない場合には前記複数の第２の動き情報以外の前記元動き情報と前記複数の第２の動き情報との動きベクトル演算処理を行って一時的動き情報を生成し、前記一時的動き情報を前記所定の解像度変換率に従ってスケーリングして前記第１の動き情報を算出するものであり、
前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記復号動画像における前記第１画像フレームに対応する画像フレームを第３画像フレームとし、該第３画像フレーム内のブロックであって前記第１フレーム内の第１ブロックに対応するものと仮定される複数のブロックを複数の第３ブロックとし、前記複数の元符号化対象ブロックの前記複数の第３ブロックに対する複数の動き情報を複数の第３の動き情報とし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第３画像フレームの前記複数の第３ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内の複数のブロックを夫々第４画像フレーム及び複数の第４ブロックとし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第２画像フレームの前記複数の第２ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内の複数のブロックを夫々第５画像フレーム及び複数の第５ブロックとした場合において、
前記動画像復号処理において抽出された前記複数の元動き情報には、前記複数の第３ブロックの前記複数の第４ブロックに対する複数の動き情報である複数の第４の動き情報と、前記複数の第２ブロックの前記複数の第５ブロックに対する複数の動き情報である複数の第５の動き情報とが含まれており、
前記動きベクトル演算処理は、
前記複数の第２の動き情報に対して統合処理を行って第１統合情報を生成する第１のステップと、
前記第１のフレーム間距離が前記第２のフレーム間距離より大きいか小さいかを判定する第２のステップと、
該第２のステップにおいて小さいと判定した場合に、前記第４画像フレーム内に含まれるブロックから前記複数の第４ブロックを特定して前記複数の第４の動き情報を取得し、該複数の第４の動き情報に対して前記統合処理を行って第２統合情報を生成する第３のステップと、
前記第２画像フレームと前記第４画像フレームとが一致するか否かを判断する第４のステップと、
該第４のステップにおいて一致すると判断した場合、前記第１統合情報から前記第２統合情報を減算することにより、前記第３の動き情報を前記統合処理した場合に得られる統合情報と実質的に等価な第３統合情報を求めて該第３統合情報を前記一時的動き情報とする第５のステップと、
前記第２のステップにおいて大きいと判定した場合に、前記第５画像フレーム内に含まれるブロックから前記複数の第５ブロックを特定して前記複数の第５の動き情報を取得し、該複数の第５の動き情報に対して前記統合処理を行って第４統合情報を生成する第６のステップと、
前記第３画像フレームと前記第５画像フレームとが一致するか否かを判断する第７のステップと、
前記第７のステップにおいて一致すると判断した場合に、前記第１統合情報に対して前記第４統合情報を加算して前記第３統合情報を求めて該第３統合情報を前記一時的動き情報とする第８のステップとを備え、
前記第４のステップにおいて一致しないと判断した場合に、前記第２画像フレームと前記第４画像フレームとが一致するように、前記第１統合情報及び／又は前記第２統合情報をスケーリングし、その後、前記第５のステップと同様にして減算を行って前記第３統合情報を求めて、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法。 - 複数の画像フレームからなる原動画像に対して動き補償予測符号化を行って得られる元動画像符号列を受けて、該元動画像符号列を復号して復号動画像を生成した後、当該復号動画像を所定の解像度変換率に従って変換して得られた変換後復号動画像を再符号化することにより、前記元動画像符号列を新動画像符号列に変換する動画像符号列変換方法であって、
前記復号動画像は新対象画像フレーム及び第１画像フレームを含む複数の画像フレームからなるものであり、前記新対象画像フレームは新符号化対象ブロックを含むものであり、前記第１画像フレームは前記新符号化対象ブロックの再符号化に際して参照されることとなる第１ブロックを含むものであり、前記新符号化対象ブロックの再符号化時に用いられる動き情報は該新符号化対象ブロックの前記第１ブロックに対する動き情報である第１の動き情報であり、前記原動画像を構成する複数の画像フレームは元対象画像フレーム及び第２画像フレームを含むものであり、前記元対象画像フレームは前記新対象画像フレームに対応するものであると共に前記新符号化対象ブロックに対応する複数の元符号化対象ブロックを含むものであり、前記第２画像フレームは前記複数の元符号化対象ブロックの符号化に際して参照された複数の第２ブロックを含むものであり、前記元動画像符号列は前記複数の第２ブロックに関する情報と前記複数の元符号化対象ブロックの前記複数の第２ブロックに対する複数の動き情報である複数の第２の動き情報とを含むものである、動画像符号列変換方法において、
前記元動画像符号列から前記複数の第２の動き情報を含む複数の元動き情報を抽出すると共に、前記元動画像符号列を復号して前記復号動画像を生成する動画像復号処理と、
前記復号動画像を前記所定の解像度変換率に従って解像度変換して前記変換後復号動画 像を生成する解像度変換処理と、
前記動画像復号処理において抽出された複数の元動き情報を用いて、前記第１の動き情報を含む複数の予測動き情報を算出する動き情報算出処理を含む動きベクトル予測処理と、
前記新符号化対象ブロックを前記第１ブロックと前記第１の動き情報とに基づいて再符号化する手順を含み、前記変換後復号動画像から前記新動画像符号列を生成する動画像再符号化処理とを備えており、
前記動きベクトル予測処理における動き情報算出処理は、前記新対象画像フレームと前記第１画像フレームとの間のフレーム間距離を第１のフレーム間距離とし且つ前記元対象画像フレームと前記第２画像フレームとの間のフレーム間距離を第２のフレーム間距離とした場合において、前記第１のフレーム間距離と前記第２のフレーム間距離との大小関係に応じて、前記複数の第２の動き情報のみを利用して前記第１の動き情報を算出するか、前記複数の第２の動き情報以外の前記元動き情報と前記複数の第２の動き情報とを利用して前記第１の動き情報を算出するかを切り替えるものであり、
前記動き情報算出処理は、前記第１及び第２のフレーム間距離が等しい場合には、前記複数の第２の動き情報に対して統合処理を行って一時的動き情報を生成する一方、前記第１及び第２のフレーム間距離が等しくない場合には前記複数の第２の動き情報以外の前記元動き情報と前記複数の第２の動き情報との動きベクトル演算処理を行って一時的動き情報を生成し、前記一時的動き情報を前記所定の解像度変換率に従ってスケーリングして前記第１の動き情報を算出するものであり、
前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記復号動画像における前記第１画像フレームに対応する画像フレームを第３画像フレームとし、該第３画像フレーム内のブロックであって前記第１フレーム内の第１ブロックに対応するものと仮定される複数のブロックを複数の第３ブロックとし、前記複数の元符号化対象ブロックの前記複数の第３ブロックに対する複数の動き情報を複数の第３の動き情報とし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第３画像フレームの前記複数の第３ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内の複数のブロックを夫々第４画像フレーム及び複数の第４ブロックとし、前記原動画像を構成する複数の画像フレームに含まれた画像フレームであって前記第２画像フレームの前記複数の第２ブロックを符号化する際に参照した画像フレーム及び該画像フレーム内の複数のブロックを夫々第５画像フレーム及び複数の第５ブロックとした場合において、
前記動画像復号処理において抽出された前記複数の元動き情報には、前記複数の第３ブロックの前記複数の第４ブロックに対する複数の動き情報である複数の第４の動き情報と、前記複数の第２ブロックの前記複数の第５ブロックに対する複数の動き情報である複数の第５の動き情報とが含まれており、
前記動きベクトル演算処理は、
前記複数の第２の動き情報に対して統合処理を行って第１統合情報を生成する第１のステップと、
前記第１のフレーム間距離が前記第２のフレーム間距離より大きいか小さいかを判定する第２のステップと、
該第２のステップにおいて小さいと判定した場合に、前記第４画像フレーム内に含まれるブロックから前記複数の第４ブロックを特定して前記複数の第４の動き情報を取得し、該複数の第４の動き情報に対して前記統合処理を行って第２統合情報を生成する第３のステップと、
前記第２画像フレームと前記第４画像フレームとが一致するか否かを判断する第４のステップと、
該第４のステップにおいて一致すると判断した場合、前記第１統合情報から前記第２統合情報を減算することにより、前記第３の動き情報を前記統合処理した場合に得られる統合情報と実質的に等価な第３統合情報を求めて該第３統合情報を前記一時的動き情報とす る第５のステップと、
前記第２のステップにおいて大きいと判定した場合に、前記第５画像フレーム内に含まれるブロックから前記複数の第５ブロックを特定して前記複数の第５の動き情報を取得し、該複数の第５の動き情報に対して前記統合処理を行って第４統合情報を生成する第６のステップと、
前記第３画像フレームと前記第５画像フレームとが一致するか否かを判断する第７のステップと、
前記第７のステップにおいて一致すると判断した場合に、前記第１統合情報に対して前記第４統合情報を加算して前記第３統合情報を求めて該第３統合情報を前記一時的動き情報とする第８のステップとを備え、
前記第７のステップにおいて一致しないと判断した場合に、前記第３画像フレームと前記第５画像フレームとが一致するように、前記第１統合情報及び／又は前記複数の第４統合情報をスケーリングし、その後、前記第８のステップと同様にして加算を行って前記第３統合情報を求めて、該第３統合情報を前記一時的動き情報とするステップを更に備える、ことを特徴とする動画像符号列変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002011078A JP4102970B2 (ja) | 2002-01-21 | 2002-01-21 | 動画像符号列変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002011078A JP4102970B2 (ja) | 2002-01-21 | 2002-01-21 | 動画像符号列変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003219423A JP2003219423A (ja) | 2003-07-31 |
| JP4102970B2 true JP4102970B2 (ja) | 2008-06-18 |
Family
ID=27648639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002011078A Expired - Fee Related JP4102970B2 (ja) | 2002-01-21 | 2002-01-21 | 動画像符号列変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4102970B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2574590C (en) | 2004-07-20 | 2013-02-19 | Qualcomm Incorporated | Method and apparatus for motion vector prediction in temporal video compression |
| JP5267542B2 (ja) * | 2010-11-12 | 2013-08-21 | 株式会社日立製作所 | 符号化映像信号変換方法及び装置 |
-
2002
- 2002-01-21 JP JP2002011078A patent/JP4102970B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003219423A (ja) | 2003-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10097826B2 (en) | Method and device for generating a predicted value of an image using interpolation and motion vectors | |
| US9699459B2 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
| CN101534440B (zh) | 视频信号编码方法 | |
| JP5669278B2 (ja) | 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法 | |
| JP5406222B2 (ja) | 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置 | |
| RU2721004C1 (ru) | Способ и устройство для компенсации движения с предсказанием | |
| WO2010064396A1 (ja) | 動画像復号化方法および動画像符号化方法 | |
| WO2015010319A1 (zh) | 一种基于p帧的多假设运动补偿编码方法 | |
| JP4494803B2 (ja) | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 | |
| JP6171627B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム | |
| TWI225372B (en) | Method of detecting motion vector | |
| JP4102970B2 (ja) | 動画像符号列変換方法 | |
| JP4445463B2 (ja) | 動画像再符号化方法及び装置 | |
| WO2019150411A1 (ja) | 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム | |
| JPH0879759A (ja) | 画像符号化装置及び画像復号装置 | |
| WO2018184411A1 (zh) | 一种预测模式的判决方法、装置及存储介质 | |
| JPH10112865A (ja) | 復号信号の符号化方法 | |
| JP2007228400A (ja) | 動画像変換装置 | |
| JP4034180B2 (ja) | 動画像圧縮符号化装置、及び動きベクトル検出方法 | |
| JP5637010B2 (ja) | 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム | |
| JP5276957B2 (ja) | 動画像符号化方法及び装置 | |
| TW201330623A (zh) | 圖元區塊之寫碼方法和裝置及其重建方法和串流解碼裝置 | |
| JP2006191175A (ja) | 画像符号化装置及び方法 | |
| JP2013016899A (ja) | 画像変換装置 | |
| JP2009232163A (ja) | 補間フレーム作成装置、補間フレーム作成方法及び補間フレーム作成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041216 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071024 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080311 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |