JP2001028753A - 動画像符号化装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 動画像の高能率符号化に係り、特に、可変ビ
ットレート符号化を行う際に好適な符号量制御装置に関
する。 【解決手段】 動画像の符号化を行う動画像符号化装置
において、前記動画像の発生符号量を検出する手段２３
と、前記動画像の平均量子化スケールを検出する手段２
２と、前記動画像及び前記動き補償予測手段によって生
成される動き補償予測画像のうち少なくとも前記動画像
の符号化画像特性を検出する手段２５と、前記発生符号
量、平均量子化スケールから、次に符号化する画像の第
１の割当符号量を算出する第１の符号量制御手段５１
と、前記第１の割当符号量に制限を加える第２の割当符
号量を算出する第２の符号量制御手段５２と、前記第１
及び第２の割当符号量から前記次に符号化する画像の量
子化スケールを決定する手段５１とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】動画像の高能率符号化に係
り、特に、可変ビットレート符号化を行う際に好適な符
号量制御装置及びその方法に関する。

【０００２】

【従来の技術】ＴＶ信号などの動画像を高能率に符号化
する技術の国際標準として既にMPEG2が規定されてい
る。MPEG2は、動画像を構成する「フレーム」画像を「マク
ロブロック」と呼ばれる16×16画素のブロックに分割
し、各マクロブロック単位に、時間的に前または後に所
定の数フレーム離れた参照画像と符号化画像の間で「動
きベクトル」と呼ばれる動き量を求め、この動き量を基
に参照画像から符号化画像を構成する「動き補償予測」
技術と、動き補償予測の誤差信号または符号化画像その
ものに対して、直交変換の一種であるＤＣＴ(離散コサ
イン変換)を用いて情報量を圧縮する「変換符号化」技
術の2つの画像符号化の要素技術をベースに規定されて
いる。

【０００３】従来のMPEG2の動画像符号化装置の一構成
例を図７に、また、符号化ピクチャ構造の一例を図６に
示す。動き補償予測では、図７に示した符号化ピクチャ
構造のように、 Iピクチャ(フレーム内符号化)、Ｐピク
チャ(順方向予測符号化)、Ｂピクチャ(双方向予測符号
化)と呼ばれる、予測方法の異なる３種類のピクチャの
組合せによって構成される。図７に示されるように、変
換符号化では、Ｉピクチャでは符号化画像そのものに対
し、Ｐ,Ｂピクチャでは動き補償予測器７７による動き
補償予測の誤差信号である減算器７１の出力に対して、
ＤＣＴがＤＣＴ器７２で施される。

【０００４】このＤＣＴ器７２で得られたＤＣＴ係数に
対して量子化が、符号量制御部９０の出力により制御し
て量子化器７３によってなされた後に、動きベクトル等
のその他の付帯情報と共に可変長符号化が可変長符号化
器７５でなされ、符号列が「ビットストリーム」として
バッファ７６に記憶された後に出力される。この際、バ
ッファ７６の充足度に応じて符号量制御部９０で量子化
スケールが制御される。一方、量子化器７３の出力係数
は、逆量子化器７７、ＩＤＣＴ器７８に供給さて、局部
復号されてブロック毎にフレームメモリ８１に貯えられ
る。

【０００５】MPEG2は可変長符号化であるため、単位時
間当りの発生符号量(ビットレート)は一定ではない。そ
こで、量子化器７３での量子化の際の量子化スケールを
マクロブロック単位に適宜変更することにより、所要の
ビットレートに制御することが可能になっている。MPEG
2 Test Model 5では、GOP単位で発生符号量を一定にす
る固定ビットレート制御方法が提案されている。

【０００６】Test Model 5ではピクチャタイプによって
異なる符号量割当が行われる。フレーム内符号化が行わ
れるＩピクチャに対しては最も多くの符号量を割り当て
る一方、復号画像が再度予測に使われることのないＢピ
クチャの量子化スケールをI及びＰピクチャの1.4倍にし
て、割り当てる符号量を一層少なくすることによって、
Ｂピクチャに対する符号量を削減し、その分を復号画像
が予測に使われるＩ及びＰピクチャに多く割り当てて、
復号画像の画質がピクチャタイプ間で一定になるよう
に、ピクチャタイプによる符号量割当の最適化を図って
いる。

【０００７】このTest Model 5における固定ビットレー
ト制御方法は、一定の転送レートが要求される用途に対
しては有効な方法である。しかし、動画像シーケンスの
どの部分に対してもほぼ同じ符号量が割り当てられるた
め、情報量を多く含む複雑なシーンに対しては十分な符
号量が与えられずに画質劣化が生じてしまう。これに対
して、情報量が少ない単純なシーンの場合には符号量が
余剰になって無駄が生じ、DVD-Videoのように可変転送
レートが可能な用途に対しては、適切なレート制御方法
とは言えなかった。

【０００８】以上のような問題を解決するレート制御方
法が可変ビットレート制御方法である。特開平6−１４
１２９８号公報には、可変ビットレート制御による符号
化装置が開示されている。この装置では、最初に、入力
動画像に対して固定量子化スケールによって仮符号化を
行い、単位時間毎に発生符号量がカウントされる。つぎ
に、入力動画像全体の発生符号量が所要値になるよう
に、仮符号化時の発生符号量に基づいて各部分の目標転
送レートを設定する。そしてこの目標転送レートに合致
するように制御を行いながら、入力動画像に対して２回
目の符号化、言い換えると実符号化が行われる。

【０００９】しかし、上記従来例では、出力ビットスト
リームを得るためには少なくとも２回の符号化を行わな
ければならず、リアルタイム性を要求されるような用途
ではこの装置のような２パス方式の可変ビットレート制
御は使用出来ない。

【００１０】これに対し、動画像をほぼリアルタイムで
符号化するための可変ビットレート制御方法、すなわち
１パス方式の可変ビットレート制御方法も存在する。特
開平１０−１６４５７７号公報には、１パス方式の可変
ビットレート制御方法による符号化装置が前記公報の図
６等に開示されている。

【００１１】この従来例における動画像符号化装置の一
構成例を図８に示す。なお、図７と同一構成部に対して
は同一符号を付してその説明は省略する。この従来例の
装置では、バッファ７６に記憶した符号量を発生符号量
検出器８３に供給し、この発生符号量検出器８３による
発生符号量と、量子化器７３からの量子化スケールを平
均量子化スケール検出器８２に供給し、この平均量子化
スケール検出器８２による画面内の量子化スケールの平
均値との積を「画面複雑度」として画面複雑度算出器８
４で求め、過去の画面複雑度の平均値に対する現在の画
面複雑度の割合を基に、画面の目標発生符号量または目
標量子化スケールを決定することにより、可変ビットレ
ート制御を符号量制御器７４で実現している。

【００１２】

【発明が解決しようとする課題】しかしながら可変ビッ
トレート制御の場合、多くの場合は最大転送レートによ
る制限を受ける。目標平均ビットレートが最大転送レー
トより充分に小さい場合は、Test Model 5のようにＢピ
クチャに対する符号量割当をＩ及びＰピクチャよりも小
さくして、ピクチャタイプ間の符号量割当を最適化する
ことが可能である。

【００１３】目標平均ビットレートが最大転送レートに
近くなると、Ｉ及びＰピクチャの割当符号量が最大転送
レートによる制限を受けるようになり、Ｂピクチャとの
割当符号量の差が縮小し、時には割当符号量がピクチャ
タイプ間でほとんど同じになってしまう。割当符号量の
差が小さくなってしまうと、Ｂピクチャに比べ、Ｉ及び
Ｐピクチャの画質が相対的に悪くなり、目標平均ビット
レートが高いにもかかわらず、不適切な符号量配分に起
因する画質の差によって画質劣化が知覚されてしまうと
いった問題があった。

【００１４】そこで本発明は、動画像符号化装置におけ
る１パス及び２パス方式の可変ビットレート制御方法に
おいて、目標平均ビットレートが最大転送レートに近い
場合においても、ピクチャタイプ間でより適切な符号量
割当を実現する方法を提供することを目的とする。

【００１５】

【課題を解決するための手段】本発明では、MPEG２等の
動き補償予測、直交変換、量子化、及び可変長符号化の
各手段を備えた動画像符号化装置において、各画像の発
生符号量と平均量子化スケールを検出する手段、得られ
た発生符号量と平均量子化スケールから次に符号化する
画像の割当符号量を決定する第１の符号量制御手段と、
ピクチャタイプ毎に第１の符号量制御手段で得られる割
当符号量に制限を加えるための第２の符号量制御手段を
有することを特徴とする。例えば、可変ビットレート制
御による符号量割当を行う場合、第１の符号量制御手段
では可変ビットレート制御による割当符号量を求め、第
２の符号量制御手段では最高転送レートの固定ビットレ
ート制御による割当符号量の上限を求める。実際に各画
像に割当てる符号量は、第１の符号量制御手段で得られ
た割当符号量が第２の符号量制御手段で得られる割当符
号量の上限を上回った場合のみ、その上限を実際の割当
符号量とし、それ以外の場合は第１の符号量制御手段で
得られた割当符号量を実際の割当符号量とする。これに
よって、目標平均ビットレートが最大転送レートに近い
場合においても、Ｂピクチャに不必要に多くの符号量を
与えることもなく、ピクチャタイプ間の符号量割当を最
適に保持することが可能になる。

【００１６】また、上記の動画像符号化装置で、各画像
の発生符号量と平均量子化スケールの積に所定の操作を
施して得られる画面複雑度を用いて、１パス方式の可変
ビットレート制御を行う場合、画面複雑度を因数とする
所定の関数を設定し、この関数を前記の第２の符号量制
御手段で得られる割当符号量の上限に乗じて割当符号量
の上限を変更することにより、割当符号量の上限に近い
部分における符号量の増大を抑制すると共に、割当符号
量の上限を超えた点での画質変動を緩和することが可能
になる。

【００１７】また、上記の動画像符号化装置を応用し
て、１つの符号化ビットストリームを２つの復号系で共
用する場合、例えばビットストリーム全体ではＩ, Ｐ,
Ｂピクチャ全て使った通常の符号化で、１つの復号系は
ビットストリーム全体を復号し、もう１つの復号系では
ＩとＰピクチャのみを復号する時、第１の符号量制御手
段ではビットストリーム全体の符号量を制御し、第２の
符号量制御手段ではＩとＰピクチャのみのビットストリ
ーム部分の符号量を制御して、Ｉ,Ｐピクチャの符号量
を第２の符号量制御手段で得られる割当符号量に制限し
ながら、第１の符号量制御手段の符号量割当を行うこと
により、１つの符号化装置で２つの復号系において復号
可能な符号化を行うことが可能である。

【００１８】

【発明の実施の形態】本発明の動画像符号化装置の第1
の実施例について、図１と共に以下に説明する。図１に
示したように、本発明の動画像符号化装置及びその方法
の第1の実施例は、減算器１１、ＤＣＴ器１２、量子化
器１３、可変長符号化器１５、バッファ１６、逆量子化
器１７、ＩＤＣＴ器１８、動き補償予測器１９、加算器
２０、フレームメモリ２１、平均量子化スケール検出器
２２、発生符号量検出器２３、画面複雑度算出器２４、
画像特性検出器２５、ＶＢＲ符号量制御器５１、及びＣ
ＢＲ符号量制御器５２より構成されている。

【００１９】原動画像は画像ブロック分割器（図示せ
ず）によって、予めマクロブロック単位に分割されてい
るものとする。分割された原動画像は、Ｉピクチャにつ
いては動き補償予測が行われず、原動画像ブロックその
ものが減算器１１を介して直交変換器の一種であるＤＣ
Ｔ器１２に送られ、ＤＣＴされた後に量子化器１３で符
号量制御器１４から送られる量子化スケールによって量
子化される。

【００２０】その量子化された信号は、可変長符号化器
１５で符号に変換されて、つぎのバッファ１６で調整さ
れた後に符号が出力される。一方、量子化器１３の出力
係数は、逆量子化器１７、ＩＤＣＴ器１８で局部復号さ
れて、動き補償予測器１９の出力が加算器２０で加算さ
れることなく、ブロック毎にフレームメモリ２１に貯え
られる。

【００２１】Ｐ及びＢピクチャについては、分割された
原動画像とフレームメモリ２１に貯えられた所定の局部
復号画像ブロックが動き補償予測器１９に供給され、こ
こで動きベクトル検出及び動き補償が行われて、予測画
像ブロックが減算器１１で原画像ブロックとの間で画素
間差分が取られ、差分値である誤差画像ブロックがＤＣ
Ｔ器１２に送られる。

【００２２】この後はＩピクチャと同様にして、ＤＣＴ
器１２で差分値がＤＣＴされ、量子化器１３で符号量制
御器１４から送られる量子化スケールによって量子化さ
れた後に、可変長符号化器１５で符号に変換されて、つ
ぎのバッファ１６で調整された後に符号が出力される。

【００２３】量子化器１３の出力係数は、逆量子化器１
７とＩＤＣＴ器１８とで局部復号された後に、動き補償
予測器１９からの前記予測画像ブロックが加算器２０に
よって画素毎に加算され、ブロック毎にフレームメモリ
２１に貯えられる。また、各ピクチャについて、量子化
器１３からマクロブロック毎の量子化スケールが平均量
子化スケール検出器２２に送られ、そこで1フレーム分
の量子化スケールが加算され、1フレームの平均量子化
スケールが算出される。

【００２４】一方、バッファ１６においては、発生符号
量が監視され、その値が発生符号量検出器２３に送られ
る。この発生符号量検出器２３において、発生符号量が
フレーム単位に加算され、1フレームの発生符号量が検
出される。フレーム毎について検出された平均量子化ス
ケール、発生符号量は画面複雑度算出器２４とＣＢＲ符
号量制御器５２に夫々送られる。

【００２５】一方、画像特性検出器２５では、分割され
た原画像が入力され、原画像の各フレームについてマク
ロブロック単位に画像特性を示すパラメータ、すなわち
アクティビティが検出され、フレーム単位に加算されて
その結果が画面複雑度算出器２４に送られる。

【００２６】すなわち、画像特性検出器２５への入力
は、Ｉピクチャの場合は動き補償予測が行われないた
め、マクロブロック単位に分割された原動画像のみが入
力され、マクロブロック単位に画像特性を示すパラメー
タであるアクティビティ(ACTcur)が検出され、フレーム
単位に加算され、ＩピクチャのアクティビティACTiとし
て画面複雑度算出器２４に送られる。

【００２７】アクティビティ(ACTcur)としては輝度値の
分散、画素間差分値などが考えられるが、画像特性を示
すものであればその他のパラメータでも良い。

【００２８】一方、図１に示す画像特性検出器２５への
入力は、Ｐ及びＢピクチャの場合は、分割された原動画
像の他に、マクロブロック単位の動き補償予測における
誤差画像または動きベクトル検出における符号化画像と
参照画像との差分画像と、動き補償予測で使用した動き
ベクトルが動き補償予測器１９から入力される。分割さ
れた原動画像からはIピクチャの場合と同様にマクロブ
ロック単位に(原画像)アクティビティACTcurが検出され
る。

【００２９】一方、マクロブロック単位の動き補償予測
における誤差画像または動きベクトル検出における符号
化画像と参照画像との差分画像は、その中で絶対値和ま
たは２乗誤差和がとられ、予測アクティビティACTpred
として検出される。さらに、動き補償予測で使用した動
きベクトルの方は、隣接マクロブロックとの間で各成分
毎に差分の絶対値がとられ、ACTmvとして検出される。

【００３０】そして、各マクロブロック毎に次式(1)の
演算により、ACTmbが算出され、それが１フレーム分加算
されて、Ｐ及びＢピクチャのアクティビティACTp及びAC
Tbとして画面複雑度算出器２４に送られる。

【００３１】 ACTmb＝ａ・ACTcur＋ｂ・ACTpred ＋ｃ・ACTmv (1)

【００３２】なお、各定数ａ、ｂ、ｃの値はピクチャ
別、マクロブロックの予測モード別(イントラか片方向
予測か双方向予測か)などで変化させる。例えば、イン
トラの場合はＩピクチャと同様に予測を行わないので、
ｂ＝ｃ＝０となり、予測を行うブロックに比べて発生符
号量が多くなると考えられるので、ａの値を大きくす
る。

【００３３】このように、予測モード等に即したアクテ
ィビティ検出を行うことにより、より符号化特性に即し
た画面複雑度の推定が可能になる。

【００３４】画面複雑度算出器２４では供給された各フ
レームの平均量子化スケールと発生符号量が乗算された
後に乗算結果に所定の変換が施されて、各フレームの
(過去の)画面複雑度として求められる。画面複雑度は符
号化ピクチャタイプ別に一定期間内の値が加算された後
にその期間内の同じピクチャタイプのフレーム数で除算
されて、各ピクチャタイプの平均画面複雑度 Xi-ave, X
p-ave, Xb-ave が算出される。

【００３５】ここで言う一定期間内は、符号化の終了し
たばかりの画像から時間的に前に予め定めるフレーム
数、例えば１５フレームとか、３００フレームといった
一定のフレーム数の場合もあり、符号化開始フレームか
ら符号化の終了したばかりの画像までのように、順次フ
レーム数が増加する場合もある。なお、前者の一定フレ
ーム数の場合でも、符号化したフレーム数が定めた一定
期間を満たさない場合は後者と同様に順次フレーム数が
増加していくことになる。

【００３６】これから符号化する現在の画像の画面複雑
度Xk-c (k＝ i, p, b) は、現在の画像のアクティビテ
ィをACTk (k＝ i, p, b)、直前に符号化した同じピクチ
ャタイプの画像の画面複雑度 Xk-p (k＝ i, p, b)、ア
クティビティACTk-p (k＝ i,p, b)より下記の式(2)で推
定出来る。

【００３７】 Xk-c＝ Xk-p・ACTk／ACTk-p (2)

【００３８】なお、初期状態において、同じピクチャタ
イプの符号化の終了したフレームが存在しない場合は予
めいくつかの画像で各ピクチャタイプの画像の画面複雑
度とアクティビティを求めておき、それを平均的な動画
像の発生頻度に合わせて統計的に平均してそれを初期値
とすればよい。

【００３９】各ピクチャタイプの平均画面複雑度 Xi-av
e, Xp-ave, Xb-aveと、これから符号化する現在の画像
の推定画面複雑度 Xi-c, Xp-c, Xb-c はVBR符号量制御
器５１に送られ、ここで可変ビットレート制御のための
量子化スケールの設定が行われる。目標平均ビットレー
トをBitRate、１秒当りのフレーム数をPictureRate、1
つの符号化単位である1GOP(通常はIピクチャの間隔)の
フレーム数をNとすると、1GOPの平均割当符号量Raveは
次式(3)で与えられる。

【００４０】 Rave ＝ (BitRate／PictureRate)・N (3)

【００４１】上式のRaveは平均画面複雑度の時の1GOPの
必要割当符号量とすると、これから符号化する現在の画
像を含む1GOPの画像が一様に前記画面複雑度算出器２４
で求めた現在の画像の推定画面複雑度に等しいと仮定す
ると、画質を一定に保持す場合に必要な1GOPの必要割当
符号量Rck (k＝ i, p, b) は次式(4)で与えられる。

【００４２】 Rck＝ Rave・Xk-c／Xk-ave (4)

【００４３】上式のRck (k＝ i, p, b)を1GOPの各ピク
チャに適切に割り振ることにより、これから符号化する
現在の画像の第１の符号量制御手段における目標符号量
を算出する。例としてMPEG2 Test Model 5の目標符号量
割当方法を以下に挙げるが、これ以外の方法を用いても
よい。

【００４４】1GOPに含まれるP、Bピクチャのフレーム数
をNp、Nb、Ｉピクチャに対するＰ、Ｂピクチャの量子化
スケールの設定比率をKp、Kbとする。この時、各ピクチ
ャタイプの目標割当符号量Ti, Tp, Tbは次式(5)(6)(7)
で与えられる。なお、MAX[a, b]はａとｂのいずれか大
きい方を選択する動作を示す。また、Xi, Xp, Xbはここ
では直前に符号化したピクチャの画面複雑度(当該ピク
チャの平均量子化スケールと発生符号量の積)である。

【００４５】 (Ｉピクチャ) Ti= MAX[ A , B ] A = Rc / ( 1+Np・Xp/(Xi・Kp)+Nb・Xb/(Xi・Kb) ) B = BitRate /（8・PictureRate） (5)

【００４６】 (Ｐピクチャ) Tp= MAX[ C ,D ] C = Rc / ( Np+Nb・Kp・Xb / (Kb・Xp) ) D = BitRate /（8・PictureRate） (6)

【００４７】 (Ｂピクチャ) Tb= MAX[ E , F ] E = Rc /( Np+Np・Kb・Xp/(Kp・Kb) ) F = BitRate /（8・PictureRate） (7)

【００４８】一方、CBR符号量制御器５２ではフレーム
単位の平均量子化スケール、発生符号量が入力され、両
者の積から直前に符号化したピクチャの画面複雑度Xi,
Xp,Xbを求めて、BitRateが最高転送レート(BitRateMax)
の時の各ピクチャタイプの目標割当符号量Ti-max, Tp-m
ax, Tb-maxを第１の符号量制御手段における目標割当符
号量Ti, Tp, Tbと同様に求める。ここで、1GOPの平均割
当符号量Rav-maxは各ピクチャ共通で、次式(8)で与えら
れる。

【００４９】 Rav-max＝ (BitRateMax／PictureRate)・N (8) よって、

【００５０】 (Ｉピクチャ) Ti-max= MAX[ A , B ] A = Rav-max / ( 1+Np・Xp/(Xi・Kp)+Nb・Xb/(Xi・Kb) ) B = BitRateMax /（8・PictureRate） (9)

【００５１】 (Ｐピクチャ) Tp-max = MAX[ C ,D ] C = Rav-max / ( Np+Nb・Kp・Xb / (Kb・Xp) ) D = BitRateMax /（8・PictureRate） (10)

【００５２】 (Ｂピクチャ) Tb-max = MAX[ E , F ] E = Rav-max /( Np+Np・Kb・Xp/(Kp・Kb) ) F = BitRateMax /（8・PictureRate） (11)

【００５３】上式のTi-max, Tp-max, Tb-maxは、すなわ
ち、第２の符号量制御手段における目標割当符号量の上
限であり、これらの値はVBR符号量制御器５１に送られ
て、前記した符号化する現在の画像の当該ピクチャタイ
プについて、前記したTi, Tp, Tbの値はTi-max, Tp-ma
x, Tb-maxの値でリミッタがかけられ、現在の画像の目
標割当符号量が決定する。

【００５４】上のようにして決定した目標割当符号量
と、バッファ１６で検出される各マクロブロックの発生
符号量をもとに、MPEG2 Test Model 5の方法を用いて各
マクロブロックの量子化スケールを決定する。

【００５５】なお、画像特性検出器２５からは符号量制
御器５１へも各マクロブロックのアクティビティACTcur
が送られ、MPEG2 Test Model 5におけるアクティビティ
に基づいて各マクロブロックの量子化スケールを変更す
る適応量子化制御に使用されるが、この適応量子化制御
は行わなくてもよい。またこれとは全く異なる方法で各
マクロブロックの量子化スケールを決定してもよい。

【００５６】符号量制御器５１から出力される各マクロ
ブロックの量子化スケールが量子化器１３に送られ、現
在の画像(ＤＣＴ後の分割された原画像または動き補償
予測の誤差画像ブロック)がこの量子化スケールで量子
化され、可変長符号化されてバッファ１６で調整された
後に符号が出力される。

【００５７】マクロブロック毎の量子化スケール、バッ
ファ１６で監視される発生符号量がそれぞれ、平均量子
化スケール検出器２２、発生符号量検出器２３に送ら
れ、次のピクチャの符号量制御に使用される。

【００５８】なお、上の説明では、CBR符号量制御器５２
における1GOPの平均割当符号量Rav-maxを、単純に最高
転送レート(BitRateMax)の時に1GOPに割当てられる符号
量として計算していた。これに対して、これから符号化
する現在の画像の推定画面複雑度Xk-c (k＝ i,p, b)を
因数とする、図2 (a)のような所定の関数、例えば、現
在の画像の推定画面複雑度Xk-cが増大するとその値が限
りなく１に近付く関数ｆ(Xk-c)を設定する。

【００５９】ピクチャタイプ毎にこの関数を乗算した次
式(12)のRav-max'をRav-maxの代りに使用することによ
り、図２(b)に示されるように、各ピクチャタイプの最
高転送レートに近い場合の発生符号量を徐々に押さえる
と共に、最高転送レートを超えた点で画面複雑度と割当
符号量の関係が不連続になることから生ずる、当該ピク
チャタイプの画質劣化が顕著になる問題を押えることも
可能となる。

【００６０】 Rav-max' ＝ｆ(Xk-c)・(BitRateMax／PictureRate)・N ここでｆ(Xk-c)は図２(a)に示す関数（k＝i, p, b） (12)

【００６１】つぎに、本発明の動画像符号化装置の第２
の実施例について、以下に図３と共に説明する。第２の
実施例では、２パス方式の可変ビットレート符号量制御
に本発明を適用した場合である。原画像入力〜可変長符
号化器１５で符号に変換されるまでの基本的な符号化部
分は第１の実施例と同一である。大きく異なるのは1つ
の画像について、符号化動作が２回(またはそれ以上)行
われ、最初に仮符号化が行われ、その発生符号量の結果
を基に２回目の符号化が行われるため、両者の符号化動
作に異なる部分があることである。

【００６２】1回目の符号化では、量子化器１３に送ら
れる量子化スケールはVBR符号量制御器５１から送られ
るのではなく、スイッチSW1を介して仮符号化量子化ス
ケール設定器５６から一定の値(６とか８といった値)が
送られ、これにより固定値の量子化が行われる。そして
可変長符号化器１５において可変長符号化が行われた後
のビットストリームはそれを外部に出力するためのバッ
ファ１６に送られず、スイッチSW2を介して仮符号化発
生符号量検出器５３に送られて、１回目の符号化におけ
る各画像の発生符号量が検出される。

【００６３】発生符号量は順次仮符号化発生符号量検出
器５３から仮転送レートメモリ５４に送られ、所定期間
毎に加算されて、仮転送レートが算出される。この操作
が１つの画像シーケンスの符号化が終了するまで行わ
れ、仮転送レートメモリ５４には所定期間毎の仮転送レ
ートが蓄積される。

【００６４】１回目の符号化が終了すると、画像シーケ
ンス全体の仮発生符号量または平均仮転送レートが算出
され、この値と所定期間毎の仮転送レートが目標転送レ
ート算出器５５に送られ、２回目の符号化(実符号化)に
おける所定期間毎の目標転送レートが算出される。

【００６５】なお、１回目の符号化における所定期間毎
の仮転送レートRtと２回目の符号化の目標転送レートＲ
との関係は、予め所定の関数を設定しておく。例えば次
の(13)のような関数が考えられる。

【００６６】 Ｒ＝ａ・(Rt)^b ( a, bは定数, a＞0, 0＜b＜1 ) (13)

【００６７】１回目の仮符号化が終了し、２回目の符号
化の目標転送レートが決定するとその目標転送レートに
従って２回目の符号化(実符号化)が開始される。２回目
の符号化では、量子化器１３に送られる量子化スケール
はVBR符号量制御器５１で得られた値が送られる。

【００６８】ここで、VBR符号量制御器５１では、平均
量子化スケール検出器２２、発生符号量検出器２３で検
出された各フレームの平均量子化スケール、発生符号量
と、目標転送レート算出器５５で仮符号化結果から算出
された所定期間毎の目標転送レートから、これから符号
化する画像の目標割当符号量が求められる。

【００６９】一方、CBR符号量制御器５２で算出された
(第２の符号量制御手段における)目標割当符号量の上限
もVBR符号量制御器５１に入力され、前記目標割当符号
量にリミッタがかけられ、目標割当符号量が決定する。
CBR符号量制御器５２における目標割当符号量の上限は
第1の実施例における (Rav-maxによる) Ti-max, Tp-ma
x, Tb-maxと同一である。

【００７０】以上のようにして決定した目標割当符号量
と、バッファ１６で検出される各マクロブロックの発生
符号量をもとに、第１の実施例と同様にMPEG2 Test Mod
el 5等の方法を用いて各マクロブロックの量子化スケー
ルを決定する。

【００７１】このようにして決定された各マクロブロッ
クの量子化スケールが量子化器１３に送られ、これから
符号化する画像(ＤＣＴ後の分割された原画像または動
き補償予測の誤差画像ブロック)がこの量子化スケール
で量子化され、可変長符号化される。

【００７２】ここで発生するビットストリームは、２回
目の符号化ではバッファ１６に供給され、ここで目標転
送レート算出器５５で算出された所定期間毎の目標転送
レートによって調整された後に符号が出力される。マク
ロブロック毎の量子化スケール、バッファ１６で監視さ
れる発生符号量がそれぞれ、平均量子化スケール検出器
２２、発生符号量検出器２３に送られ、次のピクチャの
符号量制御に使用される。

【００７３】更に、本発明の動画像符号化装置の第３の
実施例について、以下に図４、図５と共に説明する。以
上の第１及び第２の実施例は可変ビットレート符号量制
御に本発明を適用した場合であるが、本発明はそれに限
定されず、幅広い応用が可能である。図４に示される動
画像符号化装置のように、バッファ１６の出力の符号化
ビットストリームをストリーム分割器５９で２つに分け
る。その一方の出力は図５のようなＩ,Ｐ,Ｂピクチャ全
てを使用した符号化ビットストリーム全体を出力し、も
う一方はそのうちＩとＰピクチャのみを使用した符号化
ビットストリームを出力する。

【００７４】Ｉ，Ｐピクチャのみの出力は、ここでは図
示していないヘッダ変換器で、ヘッダ部分のパラメータ
等が適切な値に書き換えられているものとする。図4の
符号量制御器１（５１Ａ）はビットストリーム全体の符
号量を制御し、符号量制御器２（５２Ａ）はＩとＰピク
チャのみのビットストリームの符号量を制御する。

【００７５】ここで、符号量制御器１（５１Ａ）と符号
量制御器２（５２Ａ）で各ピクチャタイプの平均割当符
号量が比較的近い値となるように、両者の平均ビットレ
ートが設定されているものとする。２つのビットストリ
ームの符号量制御を同時に満足するために、符号量制御
器２（５２Ａ）におけるＩ,Ｐピクチャの符号量割当結
果を符号量制御器１（５１Ａ）に送り、符号量制御器１
（５１Ａ）ではＩ,Ｐピクチャについては符号量制御器
２（５２Ａ）の結果のＩ,Ｐピクチャの符号量割当をそ
のまま適用し、Ｂピクチャについては新たに符号量割当
を行って、符号量制御器１（５１Ａ）の制御を実現す
る。

【００７６】これによりビットストリーム全体では符号
量制御器１（５１Ａ）による制御が行われると同時に、
ストリーム分割器５９でビットストリームのＩ,Ｐピク
チャ部分を取り出した場合は符号量制御器２（５２Ａ）
で制御されたビットストリームを得ることが出来る。

【００７７】なお、ストリーム分割器５９でＩとＰピク
チャのみのビットストリームを出力する必要のない場合
は、符号量制御器２（５２Ａ）による符号量割当は行わ
ずに、符号量制御器１（５１Ａ）において、Ｉ、Ｐ、Ｂ
ピクチャ各々について、通常の符号量割当を行う。符号
量制御器２（５２Ａ）による符号量割当は行わない場合
は、それを示す信号をストリーム分割器５９に送り、そ
こでＩとＰピクチャのみのビットストリームを出力を止
める。

【００７８】図４の実施例に限らず、本発明は２つの符
号量制御器を有する符号量制御形態において、主たる方
の符号量制御器５１Ａに対して、従なる方の符号量制御
器５２Ａの各ピクチャタイプ毎の符号量割当結果によっ
て制限を加えることによって、各ピクチャタイプの符号
量割当の適正化を図り、もしくは１つの符号化ビットス
トリームに対して２つの復号系に対応した、動画像符号
化装置を実現することが出来る。

【００７９】

【発明の効果】以上のように本発明によると、符号化画
像の割当符号量を決定する第１の符号量制御手段と、第
１の符号量制御手段の符号量割当に制限を加える第２の
符号量制御手段を有し、例えば可変ビットレート制御の
場合、第１の符号量制御手段では可変ビットレート制
御、第２の符号量制御手段では最高転送レートの固定ビ
ットレート制御により割当符号量を求め、実際の割当符
号量は、第１の符号量制御手段で得られる割当符号量が
第２の符号量制御手段で得られる割当符号量を上回った
場合のみ、第２の符号量制御手段で得られる割当符号量
を適用し、それ以外の場合は第１の符号量制御手段で得
られる割当符号量を適用する。これによって、目標平均
ビットレートが最大転送レートに近い場合においても、
Ｂピクチャに不必要に多くの符号量を与えることもな
く、ピクチャタイプ間の符号量割当を最適に保持するこ
とが可能になる。

【００８０】また、１パス方式の可変ビットレート制御
で、各画像の発生符号量と平均量子化スケールの積に所
定の操作を施して得られる画面複雑度を用いた制御を行
う場合、画面複雑度を因数とする所定の関数を設定し、
この関数を前記の第２の符号量制御手段で得られる割当
符号量の上限に乗じて割当符号量の上限を変更すること
により、割当符号量の上限に近い部分における符号量の
増大を抑制すると共に、割当符号量の上限を超えた点で
の画質変動を緩和することが可能になる。

【００８１】また、上記の動画像符号化装置を応用し
て、１つの符号化ビットストリームを２つの復号系で共
用する場合においても、第２の符号量制御手段で得られ
る符号量割当によって第１の符号量制御手段の符号量割
当を制限することにより、１つの符号化装置で２つの復
号系において復号可能な符号化を行うことが可能とな
る。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置及びその方法の第１
の実施例を示したブロック構成図である。

【図２】本発明の第１の実施例のRav-max'算出の際の関
数及びXk-cと割当符号量の関係を示した図である。

【図３】本発明の動画像符号化装置及びその方法の第２
の実施例を示したブロック構成図である。

【図４】本発明の動画像符号化装置及びその方法の第３
の実施例を示したブロック構成図である。

【図５】本発明の第３の実施例のストリーム分割手段に
よるビットストリーム分割の様子を示した図である。

【図６】符号化ピクチャ構造の一例を示した図である。

【図７】一般的な動画像符号化装置の一構成例を示した
図である。

【図８】従来の動画像符号化装置の一構成例を示した図
である。

【符号の説明】

１１ 減算器 １２ ＤＣＴ器（直交変換器） １３ 量子化器 １４ 符号量制御器 １５ 可変長符号化器 １６ バッファ １７ 逆量子化器 １８ ＩＤＣＴ器 １９ 動き補償予測器 ２０ 加算器 ２１ フレームメモリ ２２ 平均量子化スケール検出器 ２３ 発生符号量検出器 ２４ 画面複雑度算出器 ２５ 画像特性検出器 ５１ ＶＢＲ符号量制御器 ５２ ＣＢＲ符号量制御器 ５１Ａ 符号量制御器１ ５２Ａ 符号量制御器２ ５３ 仮符号化発生符号量検出器 ５４ 仮転送レートメモリ ５５ 目標転送レート算出器 ５６ 仮符号化量子化スケール設定器 ５９ ストリーム分割器 Rav-max BitRateが最高転送レート(BitRateMax)の時
の1GOPの平均割当符号量 Rck 1GOPの必要割当符号量(k＝ i, p, b) SW1,SW2 スイッチ Tk 各ピクチャタイプの目標割当符号量(k＝ i, p, b) Tk-max BitRateが最高転送レート(BitRateMax)の時の
各ピクチャタイプの目標割当符号量(k＝ i, p, b) Xk 現在の画像の画面複雑度(k＝ i, p, b) Xk-c 現在の画像の推定画面複雑度(k＝ i, p, b)

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK01 KK22 MA00 MA23 MC11 MC38 ME01 NN01 NN28 PP05 PP06 PP07 SS11 TA60 TC02 TC10 TC18 UA02 UA33

Claims (9)

【特許請求の範囲】
1. 【請求項１】入力動画像を、動き補償予測手段、直交変
   換手段、量子化手段、及び可変長符号化手段によって符
   号化を行う動画像符号化装置において、 前記入力動画像の各画像の発生符号量を検出する手段
   と、 前記入力動画像の各画像の平均量子化スケールを検出す
   る手段と、 前記入力動画像及び前記動き補償予測手段によって生成
   される動き補償予測画像のうち少なくとも前記入力動画
   像の符号化画像特性を検出する手段と、 前記発生符号量を検出する手段によって検出された発生
   符号量、前記平均量子化スケールを検出する手段によっ
   て検出された平均量子化スケールから、次に符号化する
   画像の第１の割当符号量を算出する第１の符号量制御手
   段と、 前記第１の割当符号量に制限を加えるための第２の割当
   符号量を算出する第２の符号量制御手段と、 前記第１及び第２の符号量制御手段で算出した割当符号
   量から、前記次に符号化する画像の量子化スケールを決
   定する手段とを備えたことを特徴とする動画像符号化装
   置。
2. 【請求項２】請求項１に記載された動画像符号化装置に
   おいて、 前記第２の割当符号量は、ピクチャタイプ(Ｉピクチ
   ャ、Ｐピクチャ、Ｂピクチャ)別に割当符号量の上限が
   算出され、前記第１の符号量制御手段において実際の割
   当符号量を決定する際に、 算出された前記第１の割当符号量が、前記第２の割当符
   号量で設定された割当符号量の上限を超えた場合は第２
   の割当符号量を、それ以外の場合は前記第１の割当符号
   量を実際の割当符号量として決定することを特徴とする
   動画像符号化装置。
3. 【請求項３】請求項１または請求項２に記載された動画
   像符号化装置において、 前記第２の符号量制御手段は固定ビットレートの符号量
   制御方法であり、 前記第１の符号量制御手段は可変ビットレートの符号量
   制御方法であることを特徴とする動画像符号化装置。
4. 【請求項４】請求項１乃至請求項３のいずれかに記載さ
   れた動画像符号化装置において、 前記検出された各画像の発生符号量、平均量子化スケー
   ル、及び符号化画像特性を検出する手段で検出される画
   像特性パラメータから画面複雑度を算出する手段を有
   し、 前記画面複雑度を因数とする所定の関数によって、前記
   第２の割当符号量を変更することを特徴とする動画像符
   号化装置。
5. 【請求項５】請求項１乃至請求項４のいずれかに記載さ
   れた動画像符号化装置において、 前記可変長符号化手段によって符号化された出力符号列
   の一部を取り出すストリーム分割手段を有し、 前記第１の符号量制御手段は前記出力符号列全体の符号
   量を制御し、 前記第２の符号量制御手段では前記ストリーム分割手段
   から取り出した前記出力符号列の一部の符号量を制御す
   ることを特徴とする動画像符号化装置。
6. 【請求項６】入力動画像を、動き補償予測ステップ、直
   交変換ステップ、量子化ステップ、及び可変長符号化ス
   テップによって符号化を行う動画像符号化方法におい
   て、 前記入力動画像の各画像の発生符号量を検出するステッ
   プと、 前記入力動画像の各画像の平均量子化スケールを検出す
   るステップと、 前記入力動画像及び前記動き補償予測ステップによって
   生成される動き補償予測画像のうち少なくとも前記入力
   動画像の符号化画像特性を検出するステップと、 前記発生符号量を検出するステップによって検出された
   発生符号量、前記量子化スケールを検出するステップに
   よって検出された平均量子化スケールから、次に符号化
   する画像の割当符号量を算出する第１の符号量制御ステ
   ップと、 前記第１の割当符号量に制限を加えるための第２の割当
   符号量を算出する第２の符号量制御ステップと、 前記第１及び第２の符号量制御ステップで算出した割当
   符号量から、前記次に符号化する画像の量子化スケール
   を決定するステップとを備えたことを特徴とする動画像
   符号化方法。
7. 【請求項７】請求項６に記載された動画像符号化方法に
   おいて、 前記第２の割当符号量は、ピクチャタイプ(Ｉピクチ
   ャ、Ｐピクチャ、Ｂピクチャ)別に割当符号量の上限が
   算出され、前記第１の符号量制御ステップにおいて実際
   の割当符号量を決定する際に、 算出された前記第１の割当符号量が、前記第２の割当符
   号量で設定された割当符号量の上限を超えた場合は第２
   の割当符号量を、それ以外の場合は前記第１の割当符号
   量を実際の割当符号量として決定することを特徴とする
   動画像符号化方法。
8. 【請求項８】請求項６または請求項７に記載された動画
   像符号化方法において、 前記検出された各画像の発生符号量、平均量子化スケー
   ル、及び符号化画像特性を検出するステップで検出され
   る画像特性パラメータから画面複雑度を算出するステッ
   プを有し、 前記画面複雑度を因数とする所定の関数によって、前記
   第２の割当符号量を変更することを特徴とする動画像符
   号化方法。
9. 【請求項９】請求項６乃至請求項８のいずれかに記載さ
   れた動画像符号化方法において、 前記可変長符号化ステップによって符号化された出力符
   号列の一部を取り出すストリーム分割ステップを有し、 前記第１の符号量制御ステップは前記出力符号列全体の
   符号量を制御し、 前記第２の符号量制御ステップでは前記ストリーム分割
   手段から取り出した前記出力符号列の一部の符号量を制
   御することを特徴とする動画像符号化方法。