JP4064604B2

JP4064604B2 - 画像処理方法及び装置

Info

Publication number: JP4064604B2
Application number: JP2000200302A
Authority: JP
Inventors: 貴章澤田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-06-30
Filing date: 2000-06-30
Publication date: 2008-03-19
Anticipated expiration: 2020-06-30
Also published as: JP2002027362A

Description

【０００１】
【発明の属する技術分野】
本発明は、フレーム間予測を用いた動画像圧縮方式により符号化された動画像データを固定レート或いは可変レートにより送出する画像処理方法及び装置に係り、特に早送りや逆早送り（巻き戻し）再生などのトリックプレイを実現するのに好適な画像処理方法及び装置に関する。
【０００２】
【従来の技術】
現在、フレーム間予測を用いた動画像圧縮方式により符号化を行う技術の主流となっているものにＭＰＥＧ（Moving Picture Experts Group）国際標準規格がある。通常、ＭＰＥＧによる動画像処理システムでは、アナログＶＴＲテープ等に記録されている動画像、またはビデオカメラ等を使用したリアルタイムなアナログの動画像を、専用のエンコーダにより符号化（エンコード）し、動画像ファイルとして外部記憶装置へ格納する。そして、格納した動画像ファイルは専用のデコーダにより復号化を行い、再生する。ファイルからデコーダへのデータ送出は、固定レートまたは可変レートの２通りが存在する。従来、このＭＰＥＧのシステムにおいて、アナログＶＴＲのような早送り／逆早送り再生（以下トリックプレイと称する）を実現するために、トリックプレイ専用の動画像データを作成するという方法がある。
【０００３】
ＭＰＥＧで圧縮された動画像において、我々は、トリックプレイが必ずしも高画質である必要がないという観点から、倍速率と再生時のビットレート（再生レート）を調整できるような、トリックプレイ用動画像データの作成方式を提案してきた（特願平９−１４７８４６号）。この方式は、ある特定の倍速率と再生レートを持つトリックプレイ用動画像データを容易に作成することができるという優れた特徴を有している。しかしながら、この方式には、次のような事象が発生した場合に、トリックプレイ用動画像データの作成が不可能となる問題が存在する。
【０００４】
上記方式では、通常再生用の動画像データから取り出したフレーム内符号化画像（Ｉピクチャ）情報を、指定の再生レートを満たすように計算されたサイズ値以下となるまで削減している。この際、可能な限り画像情報を削減しても目標のサイズ値以下とならない場合がある。ところが、上記方式では、このような事象の発生については考慮されていない。このため、画像情報が目標のサイズ値以下とならないような事象が発生した場合、指定の再生レートでのトリックプレイ用動画像データの作成が不可能となる。
【０００５】
【発明が解決しようとする課題】
上述したように、フレーム間予測を用いた動画像圧縮方式により符号化を行う技術において、現在提案されているトリックプレイ用の動画像データ作成方式では、フレーム内符号化画像データを可能な限り削減しても、目標とするサイズ値以下にならない場合には、動画像データの作成が不可能になるという問題があった。
【０００６】
本発明は上記事情を考慮してなされたものでその目的は、フレーム間予測を用いた動画像圧縮方式により符号化された通常再生の動画像データを用いてトリックプレイ用動画像データを作成するのに、トリックプレイ再生時の倍速率や再生レートを柔軟に設定可能で、且つ作成不可能になるケースを減らすことができる画像処理方法及び装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は、フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レート或いは可変レートにより送出する画像処理方法において、上記動画像データの先頭または末尾のうち再生方向で決まる側から順にフレーム内符号化画像データを抽出するステップと、この抽出したフレーム内符号化画像データが指定された再生時のビットレートを満足する目標サイズ以下になるように当該フレーム内符号化画像データから所定の情報を削減するステップと、上記情報を削減したフレーム内符号化画像データのうち目標サイズ以下になったもののみを抽出するステップと、上記抽出した目標サイズ以下のフレーム内符号化画像データが指定された再生時のビットレートを満足するように、パディング符号を当該フレーム内符号化画像データに挿入するステップと、このパディング符号が挿入された動画像データのヘッダに対し、指定された再生時のビットレートを反映したビットレートを当該動画像データのヘッダに対し設定するステップと、上記パディング符号が挿入された動画像データを再生する際に再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を設定するステップとを備えたことを特徴とする。ここで、フレーム内符号化画像データから削減する所定の情報として、ＤＣＴ（Ｄiscrete Ｃosine Ｔransform）係数、好ましくはＤＣＴ係数のうちのＡＣ成分、特に画質を左右する高周波成分（ＡＣ成分）の係数を対象とするとよい。
【０００８】
このように本発明の特徴は、動画像データ（一般には通常再生用動画像データ）より抽出したフレーム内符号化画像データ（Ｉピクチャ）のうち、所定の情報（例えばＤＣＴ係数）を削減しても目標とするサイズ（目標サイズ）以下にならないＩピクチャはトリックプレイでは表示せず間引いてしまうという手法を適用した点にある。これにより、トリックプレイ時に表示されるピクチャ数が減る場合には倍速率に若干揺らぎが生じるものの、より低い再生レートのままでトリックプレイが実現できる。しかも、倍速率の若干の揺らぎは、高速のトリックプレイでは視覚的にあまり気になるものではなく、むしろ、ネットワーク上のストリームとして動画像データを流すことを考えた場合に低い再生レートでトリックプレイ用動画像データを送出できるというメリットが大きい。
【０００９】
ここで、Ｉピクチャのみを抽出したことにより、ピクチャ数は減少し、ＧＯＰ（Group of Pictures）内フレーム数も変化する。そこで、動き予測に関するデータを持たないフレーム間順方向予測画像データ（Ｐピクチャ）をＩピクチャ間に挿入するとよい。このＩピクチャ間に挿入するＰピクチャ（特殊Ｐピクチャ）の数は、好ましくは、指定倍速率をＮ、元の動画像のＧＯＰ内フレーム数をＭ（Ｎ，Ｍは整数、Ｎ≦Ｍ）とすると、（Ｍ／Ｎ）−１にするとよい。
【００１０】
また本発明は、情報削減によっても目標サイズ以下にならなかったＩピクチャを間引くだけでなく、その代わりに、動画像データ内の当該Ｉピクチャの近傍にあるＰピクチャの中から、目標サイズ以下になるものを抽出して、当該Ｉピクチャに代えて動画像データに挿入するようにし、これに伴い目標サイズ以下のＩピクチャだけでなく、このＰピクチャについても、パディング符号を挿入するようにしたことを特徴とする。ここで、該当するＰピクチャが存在しない場合、特殊Ｐピクチャを用いるとよい。
【００１１】
これにより、指定された再生時のビットレートや倍速率での条件を満たせないようなＩピクチャがある場合に、それを間引くだけでなく、その代用として間引いたＩピクチャと画像的に近い可能性のあるＰピクチャを挿入することで、倍速率の揺れを減らし、より視覚的な違和感（飛び飛び感）を抑えることができる。また低い再生レートのトリックプレイ用動画像データが作成できる。
【００１２】
また本発明は、情報削減によっても目標サイズ以下にならなかったＩピクチャを間引かずに、その代わりに、動画像データ内の当該Ｉピクチャの近傍にあるＰピクチャの中から、当該Ｉピクチャのサイズが目標サイズを超えた分を補うサイズのものを抽出して、当該Ｉピクチャの直後に挿入するようにし、これに伴い目標サイズ以下のＩピクチャだけでなく、このＰピクチャについても、パディング符号を挿入するようにしたことを特徴とする。ここで、上記目標サイズを超えた分を補うサイズの上限を、目標サイズの２倍のサイズから目標サイズ以下とならなかったＩピクチャのサイズを減じた値とするとよい。また、該当するＰピクチャが存在しない場合、特殊Ｐピクチャを用いるとよい。
【００１３】
これにより、指定された再生時のビットレートや倍速率での条件を満たせないようなＩピクチャがある場合に、それを間引く代わりに、当該Ｉピクチャがオーバーしたサイズを補う（補償できる）Ｐピクチャを当該Ｉピクチャの直後に挿入することで、倍速率は若干揺れる場合があるものの、視覚的違和感（飛び飛びの感覚）は解消され、より滑らかで、低再生レートのトリックプレイ用動画像データが作成できる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態につき図面を参照して説明する。
【００１５】
［第１の実施形態］
まず、本発明の第１の実施形態に係る画像処理装置で適用される画像データ、即ちフレーム間予測を用いて動画像圧縮をすることにより符号化された動画像データを得る画像圧縮方式の原理を、ＭＰＥＧ２による画像圧縮を例に、図２を参照して説明する。
【００１６】
ＭＰＥＧ２による画像圧縮では、画像データに対しＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を施し、量子化を行う。即ち、図２に示すように、ＭＰＥＧ２に準拠したエンコーダ（符号器）２００への入力画像（原画像）２１０は、まず８×８画素のブロックに分割される。このブロック単位にエンコーダ２００内のＤＣＴ回路２０１によりＤＣＴ演算を行い、得られたＤＣＴ係数をＤＣ成分（直流成分）及びＡＣ成分（交流成分）で独立して量子化回路２０２により量子化する。量子化に用いる量子化テーブル２２０は輝度信号用量子化テーブルと色差信号用量子化テーブルとで構成される。量子化したＤＣＴ係数のうち、ＤＣ係数は、直前のブロックのＤＣ係数を予測値とした差分値をエントロピー符号化回路２０３により符号化する。残りのＡＣ成分は、ブロック内でジグザグスキャンによって並び替えた後、回路２０３により符号化する。上記ＤＣＴにより変換前にランダムに分布していた画素値（例えば輝度）が、ＤＣＴ変換後は低周波項に大きな値が集中する。したがって、高周波項を落とす（取り除く）操作をすれば画像データを圧縮することができる。以上が、ＭＰＥＧ２による画像圧縮の原理である。
【００１７】
さて、図２のエンコーダ２００を用いてＭＰＥＧ２による画像圧縮を行うことで得られる符号化された動画像データ、つまりフレーム間予測を用いて動画像圧縮をすることにより符号化された動画像データを再生する形態の１つに、従来の技術の欄でも述べたようにトリックプレイ（早送り／逆早送り再生）がある。
【００１８】
本実施形態に係る画像処理装置は、このＭＰＥＧ２の動画像再生において、トリックプレイ時の画質をどの程度重視すべきかという点に着目してなされている。
【００１９】
高速なトリックプレイは、主に、映像の特定のシーンを検索し、必要な部分へ素早くジャンプしたい場合や映像の内容を早く理解したい場合等で利用することが多い。このようなときトリックプレイの映像は必ずしも通常再生時と同レベルの画質でなく、少々画質を落としても特に支障はないと考えられる。このような観点から、１つの方策として、特願平９−１４７８４６号にて倍速率と再生時のビットレート（再生レート）を調整できるような、トリックプレイ用動画像データの作成方式を提案した。
【００２０】
この方式では、ＭＰＥＧの動画像データよりフレーム内符号化画像（Ｉピクチャ）のみを抽出し、抽出したＩピクチャのマクロブロック内のＤＣＴ係数のうち、画質を左右する高周波成分の係数を削減し、各Ｉピクチャのサイズを小さくすることで、再生レートを低く抑えることを可能とした。
【００２１】
また、ＩピクチャとＩピクチャの間に（動き予測に関するデータを持たない）特別なフレーム間順方向予測画像（Ｐピクチャ）を挿入し、その挿入数で倍速率を可変にしたり、Ｉピクチャの削減するＤＣＴ係数の数を調節することで、指定の再生レートとなるようなトリックプレイ用動画像を作成することを可能とした。ここで、特殊Ｐピクチャの挿入数の計算式は、指定倍速率がＮ、元の動画像のＧＯＰ（Group of Pictures）内フレーム数がＭ（Ｎ，Ｍは整数、Ｎ≦Ｍ）であるものとすると、次式（１）
Ｐピクチャ挿入数＝（Ｍ／Ｎ）−１ …（１）
により表される。
【００２２】
しかしながら、この方法では、指定の再生レート（ビットレート）Ｒの値によっては、Ｉピクチャ内のＤＣＴ係数を可能な限り削減しても、その再生レートＲとなる条件を満たすようなピクチャサイズ（Ｉピクチャサイズ）ＴＳにまで小さくできない場合が生じる。このＩピクチャサイズＴＳ、即ち指定の再生レートＲを実現するための条件となるＩピクチャサイズ（目標ピクチャサイズ）ＴＳの計算式は、次式（２）
ＩピクチャのサイズＴＳ
＝Ｒ×(Ｐ_num＋１)／Ｆrame−（Ｐ_sz×Ｐ_num＋Ｈdr_sz）…（２）
Ｒ：指定再生レート（ｂｐｓ）
Ｐ_sz ：Ｐピクチャのサイズ（ビット）
Ｈdr_sz ：ヘッダのサイズ（ビット）（シーケンスヘッダやＧＯＰヘッダがあるときのみ）
Ｐ_num ：挿入するＰピクチャ数（倍速率を決める）
Ｆrame ：１秒あたりの表示ピクチャ数
で表される。
【００２３】
もし、上記式（２）で示されるＩピクチャサイズＴＳにまで小さくできない場合には、指定の再生レートＲでのトリックプレイ用動画像データの作成は事実上不可能となる。元の動画像データにもよるが、通常、倍速率を上げ、再生レートを低くしようとすると、この問題が起こる可能性が高くなる。
【００２４】
そこで本実施形態では、上記問題に関して、次に説明する画像処理装置を用いて解決するようにしている。
【００２５】
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
図１の画像処理装置１００は、抽出部１０１、フレーム内符号化情報削除部１０２、フレーム再構成部１０３、及び動画像属性情報設定部１０４から構成される。
【００２６】
抽出部１０１は、図２に示したようなＭＰＥＧ２準拠のエンコーダ（２００）によりエンコードされた通常再生用動画像データ１１０を入力し、当該動画像データ１１０からフレーム内符号化画像（Ｉピクチャ）を抽出する。ここで、通常再生用動画像データのエンコード形式は固定レート（ＣＢＲ）、可変レート（ＶＢＲ）のどちらでもよい。
フレーム内符号化情報削除部１０２は、抽出部１０１により抽出された各Ｉピクチャのサイズが再生レートＲとなる条件を満足するようなサイズになるように当該Ｉピクチャから情報を削減する。
【００２７】
フレーム再構成部１０３は、フレーム内符号化情報削除部１０２による情報削減の結果、再生レートＲとなる条件を満足するようなサイズ以下となったＩピクチャに対し、当該条件を満足するサイズになるようにパディング符号を挿入するパディング部１０３ａと、Ｉピクチャ間に動き予測に関するデータを持たない特別なフレーム間順方向予測画像（Ｐピクチャ）を挿入するフレーム間順方向予測画像挿入部１０３ｂから構成されている。
【００２８】
動画像属性情報設定部１０４は、フレーム再構成部１０３によりパディング符号が挿入されたＩピクチャを含む動画像データをデコーダにより再生する際に、再生のスタート及びランダムアクセスが適切に行われるようにするための動画像属性情報を設定することで、トリックプレイ用（早送りまたは逆早送り再生用）動画像データ１２０を作成する。
【００２９】
動画像属性情報設定部１０４は、再生レートを算出して動画像データのヘッダ（シーケンスヘッダ）に設定する再生レート設定部１０４ａと、各ピクチャ毎にバッファ制御情報としての後述するvbv-delay（vbv:video buffering verifier）の値を計算して対応するピクチャ層のヘッダに設定するバッファ制御情報設定部１０４ｂとから構成されている。
【００３０】
次に、以上のように構成された画像処理装置の動作を説明する。なお、トリックプレイ用動画像の再生レート及び倍速率は外部からパラメータとして指定される（与えられる）ものとする。
【００３１】
まず、画像処理装置１００内の抽出部１０１は、通常再生用動画像データ１１０からフレーム内符号化画像（Ｉピクチャ）を抽出する。このＩピクチャの抽出方向は、早送り再生用または逆早送り再生用のいずれのトリックプレイ用動画像データ１２０を作成するかで異なる。抽出部１０１は、早送り再生用ならば動画像データの先頭側から抽出を開始し、逆早送り再生用ならば動画像データの末尾側から抽出を開始する。
【００３２】
フレーム内符号化情報削除部１０２は、抽出部１０１により抽出された各Ｉピクチャを対象に当該Ｉピクチャの情報を削減することで、当該Ｉピクチャのサイズを小さくする。Ｉピクチャの情報の削減は、ＭＰＥＧ２の例では、前述したＤＣＴ演算を行った際に得られるＤＣＴ係数を削減することにより実現される。
【００３３】
ここで、フレーム内符号化情報削除部１０２によるＤＣＴ係数削減方法について説明する。
ＭＰＥＧ２では、ＤＣＴ係数はマクロブロック毎に存在する。そして、この係数は、ＤＣ成分とＡＣ成分とに分けられ、それぞれ独立して量子化される。削除対象とするのはＡＣ成分である。ここではＡＣ成分のうち低周波に相当する係数の一部を残し、高周波に相当する係数は削除する。削除のアルゴリズムについては、各種考えられる。例えば、ピクチャを構成する全マクロブロックから均等に削除するとか、或いはマクロブロック毎に削除する数を変えるなどが適用可能である。また、ヒューリスティックな方法を取ることも可能である。いずれにしても、ＡＣ成分のうち高周波成分を削除する方法であれば、どのようなアルゴリズムを用いても構わない。
【００３４】
さて、フレーム内符号化情報削除部１０２は、上記したＩピクチャの情報の削減処理を、前記式（２）により求められるＩピクチャサイズＴＳ以内になるまで実施する。もし情報削減に失敗した場合には、その旨をフレーム再構成部１０３に通知する。
【００３５】
これによりフレーム再構成部１０３内のパディング部１０３ａは、フレーム内符号化情報削除部１０２により削減に成功したＩピクチャのみ、即ちＩピクチャサイズＴＳ以内になるまで情報が削減されたＩピクチャのみを対象に、次式（３）
パディングするサイズ＝ＴＳ−Ｉ’…（３）
ＴＳ：式（２）で求めたＩピクチャサイズ
Ｉ’：削減後のＩピクチャサイズ
に従って、パディングを施す。即ち式（３）で算出されるサイズ分のパディング符号を挿入する。
【００３６】
このように、ＩピクチャサイズＴＳ以内になるまで情報が削減されたＩピクチャに対してパディング符号を挿入する理由は次の通りである。まず、Ｉピクチャのサイズはもともと固定ではなく、しかもサイズＴＳ以内になるまで情報が削減されているので、そのままでは、動画像データを指定のビットレート（再生レート）で再生する際にデコード処理量にばらつきが生じ、デコーダ（画像出力）側のバッファのオーバーフロー及びアンダーフローが起こりやすい状態となる。そこで、指定のビットレートで再生した場合に正常なデコード動作が行われるように、Ｉピクチャのサイズを前記式（２）で算出されるサイズＴＳに合わせ、パケットデータ長を一定にするために、パディング符号を挿入する。この理由は、前記特願平９−１４７８４６号の願書に最初に添付された明細書の詳細な説明の欄の段落００２６〜００２９に記載されている理由と同様である。
【００３７】
さて、パディング部１０３ａによるＩピクチャに対するパディング符号の挿入（パディング処理）は、次のように行われる。
まず、前記式（３）で算出されるサイズ（ＴＳ−Ｉ’）のパディング符号は、一種のダミーデータ（例えば「０」データ）である。このパディング符号（ダミーデータ）がサイズＩ’（Ｉ’＜ＴＳ）の（情報削減後の）Ｉピクチャに挿入される（埋め込まれる）。図３はＭＰＥＧ２画像データの階層構成を示す。同図に示すようにＭＰＥＧ２画像データはシーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、及びブロック層から構成される。ＭＰＥＧ２のＥＳ(Elementary Stream)の仕様では、スライス層の始まりを示す開始コードの前に任意の数の０の挿入が許されている。そこで、Ｉピクチャのこの部分に、前記式（３）で算出されるサイズ（ＴＳ−Ｉ’）のパディング符号、即ち指定されたビットレートに適合したパディング符号ＰＡＤを埋め込む。このパディング符号ＰＡＤが埋め込まれた動画像データのシーケンスを図４に示す。
【００３８】
さて、パディング部１０３ａによるパディングが施された動画像データは、早送りまたは逆早送りに係わるトリックプレイ用の動画像データのフレーム構造を有する。この動画像データは、通常再生用動画像データ１１０から抽出されたＩピクチャのうち、フレーム内符号化情報削除部１０２によってサイズがＴＳ以下まで削減されたＩピクチャのみを対象にパディング処理を施し、サイズを一定に揃えることによりデコード処理量が一定化することを狙ったものである。
【００３９】
しかし、これだけでは必ずしも十分でない。即ち、通常再生用動画像データ１１０からＩピクチャのみを抽出したことにより、ピクチャ数は減少し、ＧＯＰ（ＩピクチャとＩピクチャとの間）も変化しているためである。そこでフレーム再構成部１０３内のフレーム間順方向予測画像挿入部１０３ｂは、動き予測に関するデータを持たないＰピクチャ（特殊Ｐピクチャ）をＩピクチャ間に挿入する。この特殊Ｐピクチャは動き予測に関するデータを何ら有さないものなので、Ｐピクチャの再生画像としては例えば直前のＩピクチャと同じものが用いられる。挿入する特殊Ｐピクチャの数は、指定の倍速率Ｎに応じて決定される。挿入する特殊Ｐピクチャの数を変えることで、Ｉピクチャの処理される時間間隔が変わり、倍速率を変えることができる。
【００４０】
ここで、倍速率（トリックプレイの倍率）Ｎと挿入するＰピクチャの数の関係について以下に述べる。
上述したように、ＭＰＥＧ２では、Ｉピクチャと次のＩピクチャとの間のピクチャ数、つまりＧＯＰのサイズが固定であれば、そのサイズの比率がそのままトリックプレイの倍率となる。このため、ストリームＧＯＰの大きさ（ＧＯＰ内フレーム数）をＭとすると、倍速率Ｎ、即ちＮ倍速の早送り動画像データを作成するために挿入するＰピクチャ数は、前記式（１）により（Ｍ／Ｎ）−１で求められる。
【００４１】
フレーム間順方向予測画像挿入部１０３ｂは、Ｉピクチャ間に、前記式（１）で算出される数の特殊Ｐピクチャを挿入すると、その挿入後の動画像データを動画像属性情報設定部１０４に渡す。
【００４２】
動画像属性情報設定部１０４は、Ｐピクチャ挿入後の動画像データに対し、デコーダ側のバッファ内のデータ量を安定させるために、再生レート（ｂｐｓ）を次式（４）
再生レート＝(Ｉ_sz＋Ｐ_sz×Ｐ_num＋Ｈdr_sz)
÷(Ｐ_num＋１)／Ｆrame …（４）
Ｉ_sz：Ｉピクチャのサイズ（ビット）
Ｐ_sz：Ｐピクチャのサイズ（ビット）
Ｐ_num ：挿入するＰピクチャ数
Ｈdr_sz ：ヘッダのサイズ（ビット）
Ｆrame ：１秒あたりの表示ピクチャ数
により計算する。この式（４）に従って算出される再生レートは、指定された再生レートを反映したものであるが、必ずしも当該指定再生レートに一致するとは限らず、Ｐピクチャ挿入を含むサイズ調整がなされた後の動画像データに適したものとなっている。
【００４３】
そこで動画像属性情報設定部１０４は、式（４）に従って算出した再生レートを指定の再生レートに代えて用い、当該算出した再生レートを動画像データのシーケンスヘッダＳＨ（図４参照）に再設定する。これによりシーケンスヘッダＳＨ中の再生レート（通常再生用の再生レート）が、上記算出した再生レートに更新される。このように再生レートは、フレーム再構成後に正常にデコード（復号）処理ができるように再設定を要する情報である。
【００４４】
また動画像属性情報設定部１０４は、Ｐピクチャ挿入後の動画像データの各ピクチャ毎にvbv-delay（vbv:video buffering verifier）の値を再計算し、対応するピクチャ層のヘッダに設定する。このようにvbv-delayも再生レートと同様に、フレーム再構成後に正常にデコード処理ができるように再設定を要する情報である。このvbv-delayは、ランダムアクセス時にデコーダ側のバッファ（デコーダバッファ）内のデータ量を調節するために必要とされる一種のバッファ制御情報である。ＭＰＥＧの規格によれば、このvbv delayは以下の如くに規定されている。
【００４５】
vbv_delay：１６ビットの符号なし整数。ビットレートが固定の動作の場合、vbv_delayを用いてピクチャのデコードの開始時にデコーダバッファがオーバーフロー或いはアンダーフローを起こさないようにデコーダバッファの初期占有率を設定する。vbv_delayは初期の空の状態から目標とするビットレートＲで現在のピクチャがデコーダバッファから除去される直前の正しいレベルまで当該デコーダバッファ（ＶＢＶバッファ）を満たすのに必要な時間を計測する。
【００４６】
vbv_delayの値はＶＢＶバッファがピクチャ開始コードの最終バイトを受け取った後待たなければならない９０ＫＨｚシステムクロックの期間の数である。ＧＯＰ内のｎ番目（ｎ＞０）のピクチャ（ピクチャｎ）のvbv_delayの値をvbv_delay_nとすると、当該vbv_delay_nは次式（５）
vbv_delay_n＝９００００＊Ｂ_n ^*／Ｒ …（５）
により算出される。
【００４７】
なお、Ｂ_n ^*はピクチャｎをバッファから除去する直前であってＧＯＰ層データと、シーケンスヘッダＳＨのデータと、ピクチャｎのデータエレメントの直前のpicture_start_code（ピクチャ層の開始コード）を除去した後のビットで測定されたＶＢＶ占有率である。
【００４８】
Ｒは１秒間当たりのビット数で表わされるビットレート（再生レート）である。シーケンスヘッダＳＨ内のbit_rateフィールドより符号化された丸め値よりもむしろ完全に正確なビットレートがＶＢＶモデルのエンコーダにより使用される。固定でないビットレート動作の場合、vbv_delayは１６進でＦＦＦＦの値を有する。
【００４９】
例えばある動画像において途中から再生しようとした場合を考える。最初は、出力側のバッファには何のデータも入っていない状態であるので、そのままでは再生できない。したがって、適度な量のデータがバッファ内に溜まるまでデコーダはデコード処理を待たなければならない。その待ち時間に直接関係する値がvbv_delayである。vbv_delayの値の計算は、ピクチャの流れ及び再生レートに依存しているので、Ｉピクチャのみを抽出したトリックプレイ動画像データの場合、以前の値のままでは、ランダムアクセス時に正常に動作しない（バッファのアンダーフローあるいはオーバーフローが起きる）。したがって、ピクチャ毎にvbv delayを再計算し、新たに設定を行う。これにより、トリックプレイ動画像データをランダムアクセスする際にバッファ内のデータ量を正しく調節でき、正常動作が可能となる。
【００５０】
上記のようにしてトリックプレイ用（早送りまたは逆早送り再生用）動画像データ１２０が作成される。このトリックプレイ用動画像データ１２０を、デコーダシステムによりデコードし再生することにより、例えばテレビジョン受像機に早送りまたは逆早送り再生された動画像が表示される。このとき、上記式（４）により求められた再生レートによる再生が行われる結果、同一のデータ量の各フレーム（Ｉピクチャ及びＰピクチャ）が同一の再生レートにより再生され、バッファ内のデータ量を安定化することができる。
【００５１】
以上に述べたように第１の実施形態の特徴は、通常再生用動画像データより抽出したＩピクチャのうち、ＤＣＴ係数を削減しても目標とするサイズ以下にならないＩピクチャはトリックプレイでは表示せず間引いてしまうという手法を適用した点にある。これにより、トリックプレイ時に表示されるピクチャ数が減る場合があり、その際は倍速率に若干揺らぎが生じる。しかし、一方において、より低い再生レートのままでトリックプレイが実現できるようになるという利点がある。しかも、倍速率の若干の揺らぎは、高速のトリックプレイでは視覚的にあまり気になるものではなく、むしろ、ネットワーク上のストリームとして動画像データを流すことを考えた場合に低い再生レートでトリックプレイ用動画像データを送出できるというメリットが大きい。
【００５２】
次に第１の実施形態の具体例について図５を参照して説明する。
今、倍速率３倍（Ｎ＝３）で、再生レートＲが指定され、目標ＩピクチャサイズをＴＳとし、抽出後のＩピクチャをＩi、ＤＣＴ係数削減後のＩピクチャをＩi’、挿入する特殊ＰピクチャをＰｓとする。また、元のシーケンスがＧＯＰサイズ「６」で構成されるものとする。
【００５３】
通常再生用動画像データ１１０のシーケンスが図５（ａ）に示すように
Ｉ1ＢＢＰＢＢＩ2ＢＢＰＢＢＩ3ＢＢＰＢＢＩ4ＢＢＰＢＢＩ5…
の場合、Ｉピクチャ抽出後は、図５（ｂ）に示すように
Ｉ1 Ｉ2 Ｉ3 Ｉ4 Ｉ5 Ｉ6 Ｉ7…
となる。
【００５４】
したがって、ＤＣＴ係数削減後のシーケンスは、図５（ｃ）に示すように
Ｉ1’Ｉ2’Ｉ3’Ｉ4’Ｉ5’Ｉ6’Ｉ7’…
となる。
【００５５】
ここで、Ｉ3’，Ｉ6’＞ＴＳであるものとすると、フレーム再構成部１０３内のフレーム間順方向予測画像挿入部１０３ｂでは、図５（ｄ）に示すように
Ｉ1’Ｉ2’Ｉ4’Ｉ5’Ｉ7’…
が特殊ＰピクチャＰｓの挿入の対象として抽出され、最終的には当該ＰピクチャＰｓの挿入により、図５（ｅ）に示すように
Ｉ１’ＰｓＩ2’ＰｓＩ4’ＰｓＩ5’ＰｓＩ7’…
というシーケンスが生成される。
【００５６】
［第２の実施形態］
前記第１の実施形態では、ＤＣＴ係数を削減しても目標とするサイズ以下にならないＩピクチャは間引いている。このため、Ｉピクチャの間引く頻度が高すぎる動画像の場合、シーンが飛びすぎてしまい、視覚的に違和感が生じる可能性がある。
【００５７】
そこで、間引いたＩピクチャに対し近傍のＰピクチャを代用するようにした本発明の第２の実施形態について図面を参照して説明する。
【００５８】
図６は本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。
図６の画像処理装置６００は、抽出部６０１、フレーム内符号化情報削除部６０２、フレーム再構成部６０３、動画像属性情報設定部６０４、及びピクチャ挿入部６０５から構成される。抽出部６０１、フレーム内符号化情報削除部６０２、フレーム再構成部６０３、動画像属性情報設定部６０４は、図１の画像処理装置１００における抽出部１０１、フレーム内符号化情報削除部１０２、フレーム再構成部１０３、動画像属性情報設定部１０４に相当し、その機能もほぼ同様である。
【００５９】
図６の画像処理装置６００が図１の構成の画像処理装置１００と異なる点は、ピクチャ挿入部６０５が追加されていることである。このピクチャ挿入部６０５はフレーム内符号化情報削除部６０２とフレーム再構成部６０３の間に設けられ、次に述べるアルゴリズムに従うピクチャ挿入処理を行う。即ちピクチャ挿入部６０５は、フレーム内符号化情報削除部６０２よるＩピクチャの情報削減に失敗した場合、そのＩピクチャの代わりに近傍のＰピクチャで適したものがあればそれを挿入する。
【００６０】
本実施形態は、ＭＰＥＧの特性上、Ｉピクチャの近傍のＰピクチャならば、画像としてはＩピクチャに近い表示効果を得られる可能性が高いことに着目したものである。このとき近傍のＰピクチャの定義と選択対象については幾つかの手法が考えられる。例えば、カレントのＧＯＰ内でシーケンス上次のＰピクチャを近傍とする第１の定義、或いはカレントのＧＯＰ内のＰピクチャ全てを近傍のＰピクチャとする第２の定義、或いは直前のＧＯＰ内（早送り再生の場合）または直後のＧＯＰ内（逆早送り再生の場合）とカレントのＧＯＰ内のＰピクチャを全て近傍とする第３の定義などが考えられる。この第３の定義例を図７に示す。
【００６１】
また、近傍のＰピクチャが複数ある場合、そのうちのいずれを挿入対象とするか決める（選択する）手法としては、例えば、前記式（２）で求めた目標のサイズＴＳ以下であるＰピクチャのうち表示時刻的に（情報削減に失敗したＩピクチャに）最も近いものを選ぶ第１の手法、或いは目標のサイズＴＳ以下のＰピクチャのうちピクチャサイズの最大のものを選ぶ第２の手法などが適用できる。
【００６２】
上記のように近傍のＰピクチャの定義と選択を実施した後、もしも条件に見合うＰピクチャが全く存在しなかった場合には、近傍のＰピクチャはあきらめ、代わりに特殊Ｐピクチャを挿入するという手法を適用することもできる。但し、この場合、近傍のＰピクチャが利用できる場合と比較して映像の違和感は多少大きくなる。
【００６３】
以上の手法を用いてピクチャ挿入部６０５によるＰピクチャの挿入処理を実施した後、情報の削減されたＩピクチャ、または情報削減に失敗したＩピクチャに代えて挿入されたＰピクチャに対し、フレーム再構成部６０３中のパディング部６０３ａがパディングを施し、同じくフレーム間順方向予測画像挿入部６０３ｂが指定の倍速率に従い各ピクチャ間に特殊Ｐピクチャを挿入する。そして、動画像属性情報設定部６０４が、再生レートを動画像データのシーケンスヘッダへ格納し、各ピクチャ毎にvbv-delayの値を設定する。この一連の処理によりトリックプレイ用（早送りまたは逆早送り再生用）動画像データ６２０を作成する。
【００６４】
以上に述べた第２の実施形態では、指定の再生レートや倍速率での条件を満たせないようなＩピクチャがある場合に、それを間引くだけでなく、その代用として間引いたＩピクチャと画像的に近い可能性のあるＰピクチャを挿入することで、倍速率の揺れを減らし、より視覚的な違和感（飛び飛び感）を抑えることができ、また低い再生レートのトリックプレイ用動画像データを作成できる。
【００６５】
次に第２の実施形態の具体例について図８を参照して説明する。
今、倍速率３倍（Ｎ＝３）で、再生レートＲが指定され、目標ピクチャサイズをＴＳとし、抽出後のＩピクチャをＩi、ＤＣＴ係数削減後のＩピクチャをＩi’、挿入する特殊ＰピクチャをＰｓとする。また、元のシーケンスがＧＯＰサイズ「９」で構成されるものとする。
【００６６】
通常再生用動画像データ６１０のシーケンスが
ＩiＢＢＰi,1ＢＢＰi,2ＢＢＩi+1ＢＢＰi+1,1ＢＢＰi+1,2ＢＢＩi+2…の並びで、Ｉiの近傍のＰをＰi,k（ｋ≦２）と定義する。
【００６７】
ピクチャ挿入部６０５は、Ｉi’＞ＴＳのときＩi’を間引き、Ｐi,k≦ＴＳを満たすＰピクチャがあれば、それを挿入する。なければ特殊ＰピクチャＰｓ（Ｐｓ≦ＴＳ）を挿入する。
【００６８】
例えば、ソース映像としての通常再生用動画像データ６１０のシーケンスが図８（ａ）に示すように
Ｉ1ＢＢＰ1,1ＢＢＰ1,2ＢＢＩ2ＢＢＰ2,1ＢＢＰ2,2ＢＢＩ3ＢＢＰ3,1ＢＢＰ3,2ＢＢＩ4ＢＢＰ4,1…
の場合、Ｉピクチャ抽出後は、
Ｉ1 Ｉ2 Ｉ3 Ｉ4 Ｉ5…
となる。
【００６９】
したがって、ＤＣＴ係数削減後のシーケンスは、図８（ｂ）に示すように
Ｉ1’Ｉ2’Ｉ3’Ｉ4’Ｉ5’…
となる。
【００７０】
ここで、Ｉ2’，Ｉ4’＞ＴＳで、Ｐ2,1≦ＴＳで、Ｐ4,1，Ｐ4,2＞ＴＳであるものとすると、削減に失敗したＩ2’，Ｉ4’に代えてＰ2,1，Ｐｓがピクチャ挿入部６０５により挿入される。したがって、フレーム再構成部６０３（内のフレーム間順方向予測画像挿入部６０３ｂ）による特殊ＰピクチャＰｓ挿入後には、図８（ｃ）に示すように
Ｉ1’ＰｓＰｓＰ2,2ＰｓＰｓＩ3’ＰｓＰｓＰｓＰｓＰｓＩ５’…
というシーケンスが生成される。
【００７１】
［第３の実施形態］
前記第２の実施形態では、間引かれるＩピクチャが多く、近傍のＰピクチャが全くない動画像データの場合や、条件を満たさないＰピクチャしか存在しないケースが連続する動画像データの場合には、前記第１の実施形態と同様の視覚的違和感が生じる可能性が残る。
【００７２】
そこで、Ｉピクチャを間引かず、更に近傍のＰピクチャも挿入して再生レートを調整する手法を適用した、本発明の第３の実施形態について説明する。なお、本実施形態で適用される画像処理装置の基本構成は前記第２の実施形態で適用された図６の構成の画像処理装置と同様である。このため以下の説明では、便宜的に図６の構成を援用する。
【００７３】
抽出部６０１は、通常再生用動画像データ６１０からＩピクチャを抽出する。フレーム内符号化情報削除部６０２は、通常再生用動画像データ６１０により抽出された各Ｉピクチャから、当該Ｉピクチャのサイズが前記式（２）で求めた目標ピクチャサイズＴＳ以下になるようにＤＣＴ係数を削減する。このＤＣＴ係数削減（情報削減）によってもＴＳ以下にならない場合、フレーム内符号化情報削除部６０２はオーバーしたサイズのままそのＩピクチャを残し、その旨をピクチャ挿入部６０５に通知する。
【００７４】
ピクチャ挿入部６０５は、ＴＳを超えたサイズのＩピクチャに対しては、次のシーケンスとして近傍のＰピクチャで適切なものがあればそれを挿入する。近傍のＰピクチャの定義や選択手法（選択アルゴリズム）は前記第２の実施形態と同様である。但し、条件となるＰピクチャのサイズは、ＴＳではなく次式（６）
挿入条件となるＰピクチャのサイズ
＝ＴＳ−（Ｉ’−ＴＳ）＝２×ＴＳ−Ｉ’ …（６）
ＴＳ：式（２）で求めたＩピクチャサイズ
Ｉ’ ：情報削減後のＩピクチャサイズ
により求めた値を使用する。
【００７５】
上記式（６）でわかるように、ＴＳを超えたＩピクチャをそのまま残したことへの調整を次のＰピクチャを用いて行う。近傍のＰピクチャを利用する有効性は既に第２の実施形態で述べている。もし、近傍のＰピクチャで適切なものがなかった場合は、第２の実施形態と同様に、特殊ＰピクチャＰｓを代わりに挿入する。
【００７６】
フレーム再構成部６０３内のパディング部６０３ａは、上記のようにしてピクチャ挿入部６０５により挿入されたＰピクチャ、及びＴＳ以下に情報削減されたＩピクチャに対して前記式（３）に従うパディングを行う。なお、Ｐピクチャに対するパディングでは、式（３）中のＩ’を当該Ｐピクチャのサイズに置き換えればよい。またフレーム再構成部６０３内のフレーム間順方向予測画像挿入部６０３ｂは、指定の倍速率Ｎに応じて決定される数の特殊ＰピクチャＰｓを各ピクチャ間に挿入していく。
【００７７】
そして動画像属性情報設定部６０４が、前記式（４）で求められる再生レートを動画像データのシーケンスヘッダＳＨ（図４参照）へ格納し、各ピクチャ毎に前記式（５）で求められるvbv-delayの値を対応するピクチャ層のヘッダに設定する。
以上の一連の処理により、トリックプレイ用動画像データ６２０が作成される。
【００７８】
上記したように本実施形態では、指定した再生レートで要求されるピクチャサイズを満たすことができないＩピクチャはＤＣＴ係数を削減後の状態で、間引かずそのまま挿入する。そして、再生レートを調整するために、前のＩピクチャがオーバーしたサイズを考慮し、条件を満たすような近傍のＰピクチャがあれば挿入する。なければ、特殊Ｐピクチャで調整する。これにより、Ｐピクチャが挿入された場合、倍速率は若干揺れる場合があるが、視覚的違和感（飛び飛びの感覚）は解消され、より滑らかで、低再生レートのトリックプレイ用動画像データが作成できる。
【００７９】
次に第３の実施形態の具体例について図９を参照して説明する。
今、倍速率３倍で、再生レートＲが指定され、目標ピクチャサイズをＴＳとし、抽出後のＩピクチャをＩi、元のＰピクチャをＰi,j、ＤＣＴ係数削減後のＩピクチャをＩi’、挿入する特殊ＰピクチャをＰｓとする。元のシーケンスがＧＯＰサイズ「９」で構成されるものとする。
【００８０】
通常再生用動画像データ６１０のシーケンスが
ＩiＢＢＰi,1ＢＢＰi,2ＢＢＩi+1ＢＢＰi+1,1ＢＢＰi+1,2ＢＢＩi+2…の並びで、Ｉiの近傍のＰをＰi,k（ｋ≦２）と定義する。
【００８１】
ピクチャ挿入部６０５は、Ｉi’＞ＴＳのとき、Ｐi,k≦（２×ＴＳ−Ｉi’）を満たすＰピクチャがあれば、それを挿入する。なければ特殊ＰピクチャＰｓ（Ｐｓ≦（２×ＴＳ−Ｉ’））を挿入する。
【００８２】
例えば、ソース映像としての通常再生用動画像データ６１０のシーケンス（ソース画像）が図９（ａ）に示すように
Ｉ1ＢＢＰ1,1ＢＢＰ1,2ＢＢＩ2ＢＢＰ2,1ＢＢＰ2,2ＢＢＩ3ＢＢＰ3,1ＢＢＰ3,2ＢＢＩ4ＢＢＰ4,1…
の場合、Ｉピクチャ抽出後は、
Ｉ1 Ｉ2 Ｉ3 Ｉ4 Ｉ5…
となる。
【００８３】
したがって、ＤＣＴ係数削減後のシーケンスは、図８（ｂ）に示すように
Ｉ1’Ｉ2’Ｉ3’Ｉ4’Ｉ5’…
となる。
【００８４】
ここで、Ｉ2’，Ｉ4’＞ＴＳで、Ｐ2,2≦（２×ＴＳ−Ｉ2’）で、Ｐ4,1，Ｐ4,2＞（２×ＴＳ−Ｉ4’）であるものとすると、削減に失敗したＩ2’，Ｉ4’を間引かず、ピクチャ挿入部６０５により、次のシーケンスとしてＰ2,2，Ｐｓが挿入される。したがって、フレーム再構成部６０３（内のフレーム間順方向予測画像挿入部６０３ｂ）による特殊ＰピクチャＰｓ挿入後には、図９（ｃ）に示すように
Ｉ1’ＰｓＰｓＩ2’ＰｓＰｓＰ2,2ＰｓＰｓＩ3’ＰｓＰｓＩ4’ＰｓＰｓＰｓＰｓＰｓＩ5’…
となる。
【００８５】
以上に述べた各実施形態では、トリックプレイ用動画像データ作成を例にとり説明してきたが、これに限るものではない。例えば本発明は、ＭＰＥＧの動画像情報をディスクへ格納し、ネットワークへストリーム配信するビデオサーバにも適用が可能である。この場合、トリックプレイ用動画像データをディスクへそのまま格納しておき、ビデオサーバが配信するという方法、或いは、ディスクへ格納された通常再生用動画像データからリアルタイムにトリックプレイ用動画像情報を作成しつつ、ネットワークへ配信するという方法のいずれも適用可能である。
【００８６】
一般的に、帯域に制限のあるネットワークへ配信する際には、再生レートは低く且つ高画質であることが、資源の有効利用と映像品質の保証という観点から最も望まれることである。本方式によるトリックプレイの実現がこのような用途に対し効果的であることがわかる。
【００８７】
なお、本発明は、上記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果（の少なくとも１つ）が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００８８】
【発明の効果】
以上詳述したように本発明によれば、フレーム間予測を用いた動画像圧縮方式により符号化された固定レート或いは可変レートの動画像データを扱うものにおいて、通常再生の動画像データを用いて、様々な倍速率や再生レートでのトリックプレイ用動画像データを作成でき、しかもネットワーク送出時に有利となる低ビットレートでのトリックプレイ再生を実現できる。
【００８９】
また本発明によれば、画質的にもできる限り元の映像を劣化させない品質を実現し、高速なトリックプレイをより滑らかに見せることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】ＭＰＥＧ２による画像圧縮の原理を示すブロック図。
【図３】ＭＰＥＧ２画像データの階層構成を示す図。
【図４】同第１の実施形態にてパディングされた動画像データの構成を示す図。
【図５】同第１の実施形態の具体例を説明するための図。
【図６】本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図。
【図７】同第２の実施形態における、情報削減に失敗したＩピクチャの近傍のＰピクチャの定義例を示す図。
【図８】同第２の実施形態の具体例を説明するための図。
【図９】本発明の第３の実施形態の具体例を説明するための図。
【符号の説明】
１００，６００…画像処理装置
１０１，６０１…抽出部
１０２，６０２…フレーム内符号化情報削除部（削除手段）
１０３，６０３…フレーム再構成部
１０３ａ，６０３ａ…パディング部
１０３ｂ，６０３ｂ…フレーム間順方向予測画像挿入部
１０４，６０４…動画像属性情報設定部
１０４ａ，６０４ａ…再生レート設定部
１０４ｂ，６０４ｂ…バッファ制御情報設定部
１１０，６１０…通常再生用動画像データ
１２０，６２０…トリックプレイ用動画像データ
６０５…ピクチャ挿入部（挿入手段）

Claims

フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レート或いは可変レートにより送出する画像処理方法において、
前記動画像データの先頭または末尾のうち再生方向で決まる側から順にフレーム内符号化画像データを抽出するステップと、
前記抽出したフレーム内符号化画像データが指定された再生時のビットレートを満足する目標サイズ以下になるように当該フレーム内符号化画像データからＤＣＴ係数のＡＣ成分を削減するステップと、
前記情報を削減されたフレーム内符号化画像データが前記目標サイズ以下にならなかった場合、前記動画像データ内の当該フレーム内符号化画像データの近傍にあるフレーム間順方向予測画像データの中から、当該フレーム内符号化画像データのサイズが前記目標サイズを超えた分を補うサイズのフレーム間順方向予測画像データであって、前記目標サイズの２倍のサイズから当該フレーム内符号化画像データのサイズを減じた値を上限とするサイズのフレーム間順方向予測画像データを抽出し、当該フレーム内符号化画像データの直後に挿入するステップと、
前記情報を削減されたフレーム内符号化画像データと、前記挿入されたフレーム間順方向予測画像データとが、前記指定された再生時のビットレートを満足するように、それぞれパディング符号を当該画像データに挿入するステップと、
前記パディング符号が挿入された動画像データのヘッダに対し、前記指定された再生時のビットレートを反映したビットレートを設定するステップと、
前記パディング符号が挿入された動画像データを再生する際に再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を当該動画像データに含まれている各画像データのピクチャ層のヘッダに設定するステップとを具備することを特徴とする画像処理方法。
前記パディング符号が挿入された動画像データにおける前記フレーム内符号化画像データ、或いは前記挿入されたフレーム間順方向予測画像データ間に、動き予測に関するデータを持たないフレーム間順方向予測画像データを挿入するステップを更に具備することを特徴とする請求項１記載の画像処理方法。
フレーム間予測を用いて動画像圧縮を行うことにより符号化された動画像データを固定レート或いは可変レートにより送出する画像処理装置において、
前記動画像データの先頭または末尾のうち再生方向で決まる側から順にフレーム内符号化画像データを抽出する抽出手段と、
前記抽出手段により抽出されたフレーム内符号化画像データが指定された再生時のビットレートを満足する目標サイズ以下になるように当該フレーム内符号化画像データからＤＣＴ係数のＡＣ成分を削減する削減手段と、
前記削減手段により情報が削減されたフレーム内符号化画像データが前記目標サイズ以下にならなかった場合、前記動画像データ内の当該フレーム内符号化画像データの近傍にあるフレーム間順方向予測画像データの中から、当該フレーム内符号化画像データのサイズが前記目標サイズを超えた分を補うサイズのフレーム間順方向予測画像データであって、前記目標サイズの２倍のサイズから当該フレーム内符号化画像データのサイズを減じた値を上限とするサイズのフレーム間順方向予測画像データを抽出し、当該フレーム内符号化画像データの直後に挿入する挿入手段と、
前記削減手段により情報が削減されたフレーム内符号化画像データと、前記挿入手段により挿入されたフレーム間順方向予測画像データとが、前記指定された再生時のビットレートを満足するように、それぞれパディング符号を当該画像データに挿入するパディング手段と、
前記パディング手段によりパディング符号が挿入された動画像データのヘッダに対し、前記指定された再生時のビットレートを反映したビットレートを設定する再生レート設定手段と、
前記パディング手段によりパディング符号が挿入された動画像データを再生する際に再生のスタート及びランダムアクセスが適切に行われるようにするためのバッファ制御情報を当該動画像データに含まれている各画像データのピクチャ層のヘッダに設定するバッファ制御情報設定手段とを具備することを特徴とする画像処理装置。