JP4079530B2 - バリアブル・ビットレートによる動画像の符号化方法と装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画を圧縮符号化する符号化方法とそれを実施する装置に関し、特に、圧縮率を時間的に変えるバリアブル・ビットレート（ＶＢＲ）での符号化をリアルタイムで実施できるようにしたものである。
【０００２】
【従来の技術】
動画像を、ネットワークを通じて伝送したり、記録媒体に記録する場合、そのデータ量を削減するために、動画像データの圧縮符号化が行なわれる。
【０００３】
動画像の代表的な圧縮符号化方式であるＭＰＥＧ方式では、図４に示すエンコーダで圧縮符号化が行なわれる。
【０００４】
このエンコーダは、入力した画像フレームデータと画像メモリ17に蓄積された前の画像フレームデータとの差分を出力する減算部11と、この差分にＤＣＴ変換を施すＤＣＴ変換部12と、ＤＣＴ変換で得られたＤＣＴ係数を量子化する量子化部13と、データを可変長符号化する可変長符号化部19と、可変長符号化されたデータを一時蓄積するバッファ20と、量子化された値を逆量子化する逆量子化部14と、逆量子化部14の出力に逆ＤＣＴ変換を施す逆ＤＣＴ変換部15と、画像メモリ17に蓄積された前の画像フレームデータと逆ＤＣＴ変換部15の出力とを加算して、入力した画像フレームデータを再現する加算部16と、このフレームデータを蓄積する画像メモリ17と、入力画像と前のフレームの画像とを比較して動きベクトル（ＭＶ）を算出する動きベクトル検出部18とを備えている。
【０００５】
このエンコーダでは、画像データが入力すると、動きベクトル検出部18が、入力画像データと画像メモリ17に蓄積された前フレームの画像データとを比較して、動きベクトル（ＭＶ）を算出し、画像メモリ17及び可変長符号化部19に出力する。
【０００６】
入力画像データが入力した減算部11には、画像メモリ17から動きを補償した前フレームの画像データが読み出され、減算部11は、入力画像データと、画像メモリ17から読み出された前フレームの画像データとの差分を出力する。
【０００７】
この差分データはＤＣＴ変換部12に出力され、ＤＣＴ変換部12は、差分データにＤＣＴ変換を施し、そのＤＣＴ係数を量子化部13に出力し、ＤＣＴ変換のタイプを可変長符号化部19に伝える。
【０００８】
量子化部13は、バッファ20からの量子化特性情報（Ｑuant）で指定された量子化ステップでＤＣＴ係数の量子化を行なう。量子化された結果とＱuantとは可変長符号化部19に出力され、また、量子化された結果は、逆量子化部14Ｑuantにも出力される。
【０００９】
可変長符号化部19は、入力する動きベクトル、ＤＣＴタイプ、Ｑuant及び量子化部13の出力を可変長符号化する。符号化されたデータは、バッファ20に一時記録された後、ストリームとして出力される。
【００１０】
一方、量子化部13の出力は、逆量子化部14で逆量子化され、逆ＤＣＴ変換部15で逆ＤＣＴ変換され、加算部16で、画像メモリ17に蓄積された前の画像データと加算されて、入力画像データが再生され、この画像データが新たに画像メモリ17に蓄積され、次に入力する画像データを減算するために使用される。
【００１１】
このＱuantが細かい量子化ステップを指定している場合には、符号化の圧縮率は低下し、データ量は多くなるが、画像の質は向上する。逆に、Ｑuantが粗い量子化ステップを指定している場合には、符号化の圧縮率は高まり、データ量は少なくなるが、画像の質は低下する。
【００１２】
動きの激しいシーンや複雑な絵柄の画像を符号化する場合には、動きの少ない単純な絵柄の画像と同程度の画質を維持しようとすると、圧縮率が低下し、データ量が多くなる。
【００１３】
ＤＶＤのパッケージメディアでは、記録時間を所定時間に収めながら、画質の向上を図るために、動きの激しいシーンや複雑な絵柄の画像を符号化する場合には符号化の圧縮率を下げ、一方、動きの少ない単純な絵柄の画像の場合には符号化の圧縮率を高める、ＶＢＲによる符号化が行なわれている。
【００１４】
そのため、記録に際しては、一旦、記録する動画像を最後までエンコードし、圧縮率を下げる必要がある複雑な絵柄の画像と、圧縮率を上げることができる動きの少ない単純な絵柄の画像との分布を調べ、次いで、記録媒体の記録容量を記録時間で割って平均ビットレートを求め、複雑な絵柄の画像に対して平均ビットレートを超えるビットレートを割り当て（圧縮率を下げる）、この平均ビットレートを超えるビット数を相殺するように、動きの少ない単純な絵柄の画像に平均ビットレート以下のビットレートを割り当て（圧縮率を上げる）た後、ＶＢＲによる符号化を再実施している。
【００１５】
なお、圧縮率の低下が必要な動きの激しいシーンは、動きベクトルから、また、複雑な絵柄の画像は、ＤＣＴ係数の分散の度合いから求めることができる。
【００１６】
【発明が解決しようとする課題】
しかし、この符号化方法は、入力する動画像をリアルタイムで符号化する場合には適用することができない。
【００１７】
また、入力動画像をリアルタイムで符号化する場合に、例えば、図３（ａ）に示すように、入力する動画像が複雑な絵柄の画像であれば、圧縮率を平均レベルよりも下げ（ビットレートを上げ）、逆に、動きの少ない単純な絵柄の画像であれば、圧縮率を平均レベルよりも上げる（ビットレートを下げる）ようなビットレート制御方法が考えられる。しかし、この制御を続けて行くと、図３（ｂ）に示すように、記録時間の終了時点t1では、平均レベルを超えるビット数の累積値（点線）を最終的に０にする必要があるから、複雑な絵柄が頻繁に出現する動画像では、記録後半（t2→t1）に複雑な絵柄の画像が続く場合でも、圧縮率を平均レベルより大幅に上げることが余儀なくされ（図３（ａ）の一点鎖線）、その結果、ＶＢＲを導入したことにより、却って固定レートの場合より画質が劣化してしまうという問題点が生じる。
【００１８】
本発明は、こうした問題点を解決するものであり、入力する動画像に対してＶＢＲによる符号化をリアルタイムで実施することができる符号化方法及び符号化装置を提供することを目的としている。
【００１９】
【課題を解決するための手段】
そこで、本発明のＶＢＲ符号化では、固定ビットレートで符号化する場合の平均ビットレートより僅かに低い基準ビットレートを設定し、平均ビットレートと基準ビットレートとの差分に時間成分を乗算して予備容量を求め、基準ビットレートより高いビットレートで符号化するときには、この予備容量を減じ、基準ビットレートより低いビットレートで符号化するときには、予備容量を増やし、予備容量が０になったときには、符号化のビットレートを基準ビットレートを超えないように設定している。
【００２０】
そのため、入力動画像データをリアルタイムで符号化する場合に、複雑な絵柄が頻繁に出現して予備容量が０になったときでも、基準ビットレートでの符号化は保証されるため、画質の劣化を避けることができる。
【００２１】
【発明の実施の形態】
本発明の請求項１に記載の発明は、動画像をバリアブル・ビットレートで符号化する符号化方法において、固定ビットレートで符号化する場合の平均ビットレートより僅かに低い基準ビットレートを設定し、平均ビットレートと基準ビットレートとの差分に時間成分を乗算して予備容量を求め、基準ビットレートより高いビットレートで符号化するときには、この予備容量を減じ、基準ビットレートより低いビットレートで符号化するときには、予備容量を増やし、予備容量が０になったときには、符号化のビットレートを基準ビットレートを超えないように設定するようにしたものであり、予備容量が０になっても、基準ビットレートで符号化することができるから、画質の劣化を回避することができる。
【００２２】
請求項２に記載の発明は、動きの激しいシーンや複雑な絵柄の画像は、予備容量が０でないときに、基準ビットレートより高いビットレートで符号化し、予備容量が０のときに、基準ビットレートで符号化するようにしたものであり、動きの激しいシーンや複雑な絵柄の画像は、予備容量が０になっても、基準ビットレートで符号化することができるため、画質の劣化を回避することができる。
【００２３】
請求項３に記載の発明は、単純な絵柄の画像は、予備容量の多寡に関わらず、基準ビットレートより低いビットレートで符号化するようにしたものであり、予備容量を増やして、動きの激しいシーンや複雑な絵柄の画像に対するビットレートの割り当てを増やすことができる。
【００２４】
請求項４に記載の発明は、時間成分として記録媒体への記録時間を設定し、符号化した動画像データを記録媒体に蓄積するようにしたものであり、入力する動画像データをリアルタイムでＶＢＲにより符号化し、記録媒体に蓄積することができる。
【００２５】
請求項５に記載の発明は、時間成分として伝送路への伝送時間を設定し、符号化した動画像データを伝送路に伝送するようにしたものであり、入力する動画像データをリアルタイムでＶＢＲにより符号化し、ネットワークを通じて伝送することができる。
【００２６】
請求項６に記載の発明は、符号化した動画像データを、伝送路より固定ビットレートで伝送するようにしたものであり、ＶＢＲで符号化した動画像データを固定ビットレートで所定の伝送時間内に伝送することができる。
【００２７】
請求項７に記載の発明は、符号化した動画像データを、伝送路より可変ビットレートで伝送するようにしたものであり、ＶＢＲで符号化した動画像データをＡＴＭのＶＢＲサービスを利用して伝送することができる。
【００２８】
請求項８に記載の発明は、動画像をバリアブル・ビットレートで符号化する符号化装置において、動画像を符号化する符号化手段と、符号化手段の符号化のビットレートを設定するＶＢＲ設定手段と、固定ビットレートで符号化する場合の平均ビットレートより僅かに低い基準ビットレートを設定する基準ビットレート設定手段と、平均ビットレートと基準ビットレートとの差分に時間成分を乗算して予備容量を求め、基準ビットレートより高いビットレートで符号化したときには、予備容量を減じ、基準ビットレートより低いビットレートで符号化したときには、予備容量を増やす予備容量管理手段とを設け、ＶＢＲ設定手段が、予備容量が０になったときに、符号化のビットレートを基準ビットレートを超えないように設定するようにしたものであり、予備容量が０になっても、基準ビットレートで符号化することができるから、画質の劣化を回避することができる。
【００２９】
請求項９に記載の発明は、ＶＢＲ設定手段が、動きの激しいシーンや複雑な絵柄の画像を符号化するビットレートとして、予備容量が０でないときには、基準ビットレートより高いビットレートを設定し、予備容量が０のときには、基準ビットレートを設定するようにしたものであり、動きの激しいシーンや複雑な絵柄の画像は、予備容量が０になっても、基準ビットレートで符号化することができるため、画質の劣化を回避することができる。
【００３０】
請求項１０に記載の発明は、ＶＢＲ設定手段が、単純な絵柄の画像を符号化するビットレートとして、予備容量の多寡に関わらず、基準ビットレートより低いビットレートを設定するようにしたものであり、予備容量を増やして、動きの激しいシーンや複雑な絵柄の画像に対するビットレートの割り当てを増やすことができる。
【００３１】
請求項１１に記載の発明は、予備容量管理手段が、平均ビットレートと基準ビットレートとの差分に記録媒体への記録時間を乗算して当初の予備容量を算出するようにしたものであり、入力する動画像データをリアルタイムでＶＢＲにより符号化し、記録媒体に蓄積することができる。
【００３２】
請求項１２に記載の発明は、予備容量管理手段が、平均ビットレートと基準ビットレートとの差分に伝送路への伝送時間を乗算して当初の予備容量を算出するようにしたものであり、入力する動画像データをリアルタイムでＶＢＲにより符号化し、ネットワークを通じて伝送することができる。
【００３３】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３４】
この実施形態では、入力する動画像データをリアルタイムでＶＢＲにより符号化し、記録媒体に記録する場合について説明する。
【００３５】
この符号化方法を実施する符号化装置は、図２に示すように、記録媒体や記録する動画像に基づいて平均ビットレート及び記録時間を設定する平均ビットレート／記録時間設定部31と、ＶＢＲの基準ビットレートを設定する基準ビットレート設定部32と、予備容量を管理する予備容量管理部34と、ＶＢＲを設定するＶＢＲ設定部33と、動画像データの符号化を実行する符号化部35とを備えている。この符号化部35は、図４の内部構成を具備している。
【００３６】
この符号化装置の基準ビットレート設定部32は、図１（ａ）に示すように、平均ビットレートr0より僅かに低い（従って、圧縮率が僅かに高い）基準ビットレートr1を設定する。
【００３７】
平均ビットレートr0は、固定レートで記録する場合のビットレートであり、平均ビットレート／記録時間設定部31は、記録媒体の記録容量を記録時間t1で割って、この値r0を算出する。例えば、４．７Ｇバイトの記録容量を持つ記録媒体に記録時間が１３３分の動画を記録する場合では、平均ビットレートr0が凡そ５Ｍｂｐｓとなる。基準ビットレートr1は、このr0より僅かに低い値、例えば４．９Ｍｂｐｓに設定する。
【００３８】
予備容量管理部34は、この「（平均ビットレートr0−基準ビットレートr1）×記録時間t1」を当初の予備容量として管理する。
【００３９】
ＶＢＲ設定部33は、符号化部35から入力する動きベクトルやＤＣＴ係数の情報から、動画像の状態を識別し、入力する動画像が通常の絵柄である場合には、その画像の符号化のビットレートを基準レートr1に設定するとともに、動きの激しいシーンや複雑な絵柄の画像が入力した場合には、予備容量を使って、ビットレートを基準レートr1より高く（圧縮率を下げるように）設定する。
【００４０】
また、動きが少ない単純な絵柄の画像が入力した場合には、そのビットレートを基準レートr1より低く（圧縮率を上げるように）設定する。
【００４１】
符号化部35は、ＶＢＲ設定部33が指定したビットレートで符号化を実行し、符号化で使用したビット数を予備容量管理部34に伝える。
【００４２】
予備容量管理部34は、基準ビットレートより高いビットレートで符号化が行なわれた場合には、基準レートr1との差分のビット数を予備容量から減じ、また、基準ビットレートより低いビットレートで符号化が行なわれた場合には、基準レートr1との差分のビット数を予備容量に組み入れる。
【００４３】
予備容量管理部34は、予備容量が０になった場合に、それをＶＢＲ設定部33に伝える。ＶＢＲ設定部33は、予備容量が０のときは、動きの激しいシーンや複雑な絵柄の画像が入力した場合でも、符号化を基準レートr1に設定する。
【００４４】
また、記録時間の終了間際になっても予備容量が残っている場合には、予備容量を使い切るように、入力する画像が単純な絵柄であっても、圧縮率を下げて符号化を行なわせる。
【００４５】
図１（ｂ）では、図１（ａ）のようにビットレートを制御した場合の予備容量の時間的変化を示している。この例では、時刻t2において予備容量が０に達しており、そのため、時刻t2→t1にわたって複雑な絵柄の画像（図１（ａ）の点線）が入力しても、基準レートr1での符号化が行なわれる。
【００４６】
基準レートr1は、平均レートr0より僅かに低いだけであるから、基準レートr1で符号化した場合の画質は、平均レートr0で符号化したときの画質と、見た目では殆ど変わらない。
【００４７】
一方、予備容量は、このr1とr0との差分に記録時間が乗算されるため、可成りの量を確保することができる。記録時間が１３３分の記録媒体の場合、r0−r1＝０．１Ｍｂｐｓとすると、当初の予備容量は７９８Ｍｂｉｔとなる。
【００４８】
そのため、多くの複雑な絵柄の画像に対して、基準レートより高いビットレートで符号化することができる。また、予備容量が仮に０になったとしても、基準レートr1での符号化は保証されるため、画質の劣化を招来する虞れが無い。
【００４９】
このように、この符号化方法では、入力する動画像データに対して、リアルタイムでＶＢＲにより符号化を実行することができ、固定レートでの符号化よりも、画質を向上させることができる。
【００５０】
なお、この実施形態では、符号化したデータを、ディスクや磁気テープなどの記録媒体に蓄積する場合について説明したが、符号化したデータは、伝送路を通じて伝送するようにしても良い。この伝送を固定ビットレートで行なう場合には、平均レートが固定レートに等しいとき、記録時間は、伝送時間となり、記録容量は、固定ビットレートと伝送時間との積となる。
【００５１】
また、この符号化された動画像データを、ＡＴＭの可変速度（ＶＢＲ）サービスにより伝送することもできる。このＶＢＲサービスでは、送信側から情報発生量のピーク値と平均値とを申告して伝送が開始されるが、伝送時間が予め決められている場合には、送信する動画像データの平均値を維持するために、この符号化方法が適用される。
【００５２】
この場合、先の説明と同様に、平均値より僅かに低い基準ビットレートを設定し、基準ビットレートと平均値との差分に伝送時間を乗算して予備容量を求め、この予備容量に余裕がある間は、複雑な絵柄の画像を基準ビットレートより高いビットレートで符号化し、そのビットレートで伝送する。また、単純な絵柄の画像は、予備容量を増やすために、基準ビットレートより低いビットレートで符号化し、そのビットレートで伝送する。予備容量が無くなった場合には、複雑な絵柄の画像であっても、基準ビットレートで符号化し、基準ビットレートで伝送する。
【００５３】
こうすることにより、入力する動画像データをリアルタイムで、可変圧縮率により符号化し、ＶＢＲで伝送することができる。
【００５４】
【発明の効果】
以上の説明から明らかなように、本発明の動画像の符号化方法及び装置は、入力する動画像データを、画質の劣化を伴うこと無く、リアルタイムで可変圧縮率により符号化することを可能にする。
【図面の簡単な説明】
【図１】本発明の実施形態におけるＶＢＲ符号化方法を説明する図、
【図２】本発明の実施形態におけるＶＢＲ符号化装置の構成を示すブロック図、
【図３】従来の符号化方法を説明する図、
【図４】ＭＰＥＧ方式のエンコーダを示すブロック図である。
【符号の説明】
11 減算部
12 ＤＣＴ変換部
13 量子化部
14 逆量子化部
15 逆ＤＣＴ変換部
16 加算部
17 画像メモリ
18 動きベクトル検出部
19 可変長符号化部
20 バッファ
31 平均ビットレート／記録時間設定部
32 基準ビットレート設定部
33 ＶＢＲ設定部
34 予備容量管理部

Claims (12)

1. 動画像をバリアブル・ビットレートで符号化する符号化方法において、
   固定ビットレートで符号化する場合の平均ビットレートより僅かに低い基準ビットレートを設定し、平均ビットレートと基準ビットレートとの差分に時間成分を乗算して予備容量を求め、基準ビットレートより高いビットレートで符号化するときには、前記予備容量を減じ、基準ビットレートより低いビットレートで符号化するときには、前記予備容量を増やし、前記予備容量が０になったときには、符号化のビットレートを基準ビットレートを超えないように設定することを特徴とする動画像の符号化方法。
2. 動きの激しいシーンや複雑な絵柄の画像は、前記予備容量が０でないときに、基準ビットレートより高いビットレートで符号化し、前記予備容量が０のときに、基準ビットレートで符号化することを特徴とする請求項１に記載の動画像の符号化方法。
3. 単純な絵柄の画像は、前記予備容量の多寡に関わらず、基準ビットレートより低いビットレートで符号化することを特徴とする請求項１に記載の動画像の符号化方法。
4. 前記時間成分として記録媒体への記録時間を設定し、符号化した前記動画像データを前記記録媒体に蓄積することを特徴とする請求項１に記載の動画像の符号化方法。
5. 前記時間成分として伝送路への伝送時間を設定し、符号化した前記動画像データを前記伝送路に伝送することを特徴とする請求項１に記載の動画像の符号化方法。
6. 符号化した前記動画像データを、前記伝送路より固定ビットレートで伝送することを特徴とする請求項５に記載の動画像の符号化方法。
7. 符号化した前記動画像データを、前記伝送路より可変ビットレートで伝送することを特徴とする請求項５に記載の動画像の符号化方法。
8. 動画像をバリアブル・ビットレートで符号化する符号化装置において、
   動画像を符号化する符号化手段と、
   前記符号化手段の符号化のビットレートを設定するバリアブル・ビットレート設定手段と、
   固定ビットレートで符号化する場合の平均ビットレートより僅かに低い基準ビットレートを設定する基準ビットレート設定手段と、
   平均ビットレートと基準ビットレートとの差分に時間成分を乗算して予備容量を求め、基準ビットレートより高いビットレートで符号化が行なわれたときには、前記予備容量を減じ、基準ビットレートより低いビットレートで符号化が行なわれたときには、前記予備容量を増やす予備容量管理手段と
   を備え、前記バリアブル・ビットレート設定手段が、前記予備容量が０になったときに、符号化のビットレートを基準ビットレートを超えないように設定することを特徴とする動画像の符号化装置。
9. 前記バリアブル・ビットレート設定手段が、動きの激しいシーンや複雑な絵柄の画像を符号化するビットレートとして、前記予備容量が０でないときには、基準ビットレートより高いビットレートを設定し、前記予備容量が０のときには、基準ビットレートを設定することを特徴とする請求項８に記載の動画像の符号化装置。
10. 前記バリアブル・ビットレート設定手段が、単純な絵柄の画像を符号化するビットレートとして、前記予備容量の多寡に関わらず、基準ビットレートより低いビットレートを設定することを特徴とする請求項８に記載の動画像の符号化装置。
11. 前記予備容量管理手段が、平均ビットレートと基準ビットレートとの差分に記録媒体への記録時間を乗算して当初の予備容量を算出することを特徴とする請求項８に記載の動画像の符号化装置。
12. 前記予備容量管理手段が、平均ビットレートと基準ビットレートとの差分に伝送路への伝送時間を乗算して当初の予備容量を算出することを特徴とする請求項８に記載の動画像の符号化装置。

Images