JPH0744686B2

JPH0744686B2 - 可変伝送速度画像符号化装置

Info

Publication number: JPH0744686B2
Application number: JP1127133A
Authority: JP
Inventors: 正実西田; 篤道村上
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1989-05-19
Filing date: 1989-05-19
Publication date: 1995-05-15
Anticipated expiration: 2010-05-15
Also published as: JPH02305284A

Description

【発明の詳細な説明】［産業上の利用分野］この発明は、可変伝送速度画像符号化装置、特に発生情
報量のフィードバック制御を行う可変伝送速度符号化装
置に関するものである。

［従来の技術］第７図は例えば信学技法IT85−61,1−８（1985）村上篤
道「ベクトル量子化による画像効能率符号化」に示され
た従来の画像符号化装置の符号化制御系を示すブロック
図であり、図において、（１）は符号化の対象となる画
像の入力ビデオ信号、（２）は入力ビデオ信号を符号化
する符号化部である。

（３）は符号化部（２）より出力される符号化データ、
（４）は符号化された１フレーム分の符号化データの情
報量を算出する１フレーム発生情報量計算手段である。

（５）は１フレーム発生情報量計算手段（４）より出力
される１フレーム発生情報量、（８）は１フレーム発生
情報量の発生値と目標値との比較を行ってその結果に応
じて制御量（９）を出力する目標値／発生値比較手段で
ある。

（10）は制御量に応じて符号化部（２）における次フレ
ームの符号化による発生情報量を制御する符号化制御部
である。

また、第８図（ａ）および（ｂ）は前記目標値／発生値
比較手段（８）の例を示した図であり、図中（18）は目
標値、（19）は減算器、（20）は発生情報量（５）と目
標値（18）から制御量（９）を求めて出力する制御テー
ブルである。

更に、第９図は前記符号化部（２）の構成例を示すブロ
ック図であり、（22）は入力ビデオ信号（１）と予測信
号（35）との差分を求めて画像のフレーム間信号を得る
減算器である。

（23）はフレーム間差分信号の大小により着目した領域
の量子化の要否を決定する有効／無効ブロック識別判定
部、（24）は量子化エンコーダ、（25）は量子化デコー
ダである。

（26）は量子化複号信号（33）と予測信号（35）とを加
算する加算器、（27）は複号画像を記憶して予測信号
（35）を生成するフレームメモリである。

（28）は量子化エンコーダ（24）からの量子化データ
（32）と有効／無効ブロック識別情報（30）と符号化制
御情報等を多重化して符号化データ（３）を得る多重化
部、（29）は発生情報量を制御する有効／無効ブロック
識別閾値である。

（31）は量子化エンコーダ（24）において発生情報量を
制御する量子化制御信号、（34）はフレーム間複号信号
である。

次ぎに動作について説明する。

第７図において、動画像が連続する入力ビデオ信号
（１）は符号化部（２）において１フレーム（映像フレ
ーム）毎に符号化が行われ、符号化データ（３）が出力
され、符号化データ（３）は固定伝送速度回線へ出力ま
たは記録される。

なお、符号化部（２）の符号化アルゴリズムに対応する
複号化部によって符号化データ（３）から動画像を複号
することができる。

通常、画像符号化装置の符号化データの伝送速度は一定
であるため、符号化部（２）における発生情報量を一定
に保つような符号化制御が必要である。このため、所定
の１フレームを符号化する場合、そのフレームの１つ前
に符号化された１フレームの符号化データの発生情報量
（発生値）と目標とする情報量（目標値）とを比較して
その結果により、現在のフレームの符号化による発生情
報量をできるかぎり目標値に近づけるような制御を行っ
ている。

一方、１フレーム発生情報量計算手段（４）はすでに符
号化された１フレームの符号化データ（３）の発生情報
量を計算する。

そして、求められた１フレーム発生情報量（５）は目標
値／発生値比較手段（８）で目標値（18）と比較され
る。

ここで、目標値は、通常の固定伝送速度の動画像符号化
において、回線速度をｖ（bit/sec）、１秒あたりの目
標フレーム数をＮ（frame/sec）、とすると、目標発生
情報量Ｐ（bit/frame）は、Ｐ＝v/N（bit/frame）となる。

そして、第８図（ａ）の構成では、制御量（９）は単純
に発生値（７）と目標値（18）との差で求められる。

また、第８図（ｂ）の構成では、制御テーブル（20）を
ROM等で構成しているので、第８図（ａ）の構成よりも
制御特性を工夫することができる。

それから、符号化制御部（10）は、符号化部（２）にお
ける発生情報量を所定の情報量制御方法（例えば有効／
無効ブロック識別閾値の増減制御）で制御する。

すなわち、入力ビデオ信号（１）は、減算器（22）で前
フレームの複号結果である予測値（35）を減算され、フ
レーム間差分信号となる。さらに、フレーム間差分信号
は有効／無効ブロック識別判定部（23）により有効／無
効ブロック識別判定すなわち所定の大きさにブロック化
されたフレーム間差分信号において、フレーム間差分に
信号が多く残留しているブロックのみを有効と判定して
量子化エンコーダ（24）で量子化し、量子化データ（3
2）を出力するが、無効と判定されたブロックについて
は無効を示す有効／無効ブロック識別判定情報（30）の
みを符号化データとして出力する。

なお、有効／無効の判定は、符号化制御部（10）からの
有効／無効ブロック識別閾値（29）とフレーム間差分信
号ブロックの信号の絶対値平均、標準偏差、平均値等と
の比較により行われる。

そして、有効ブロックは量子化エンコーダ（24）で量子
化され、量子化データ（32）として多重化部（28）に送
られる。なお、量子化エンコーダ（24）では符号化制御
部（10）からの量子化制御信号（31）により量子化ステ
ップ幅などの量子化特性を変えることで量子化エンコー
ダ（24）における発生情報量を制御することができる。

それから、有効／無効ブロック識別判定情報（30）、量
子化制御信号（31）等の情報は多重化部（28）により多
重化され、符号化データ（３）として符号化部（２）よ
り固定伝送速度回線へ出力される。

一方、フレーム間符号化における次の予測信号（35）を
得るため、量子化デコーダ（25）は量子化データ（32）
を複号化し、加算器（26）では量子化複号信号（33）と
予測信号（35）が加算されてフレーム間複号信号（34）
に変えられる。

さらに、フレーム間複号信号（34）はフレームメモリ
（27）に蓄えられた後に次の予測信号（35）として参照
される。

また、符号化制御部（10）においては、第10図に示すよ
うに、制御量に対応して有効／無効ブロック識別閾値Δ
Thの増減制御を行っている。例えば、制御量として「2
5」が入力された場合、前閾値を「２」だけ増加した値
を有効／無効ブロック識別閾値とする。

この様にして、前フレームの発生量が低かった場合、次
フレームでは情報発生量を高くし、前フレームの発生量
が高かった場合、次フレームでは情報発生量を低くす
る。

なお、上述した制御の他にフレームコマ落しの方法を併
用して発生情報量の制御を行うことも多く行われてい
る。

また、上述した制御は、ソフトウエアで実現することも
可能である。

［発明が解決しようとする課題］ところで、近年、動画像伝送の分野において、可変伝送
速度の伝送が実用化されようとしている。

動画像信号の情報量は、現在一般的に用いられているフ
レーム間予測符号化等を用いるかぎり、画面の中の動き
量に依存する性質がある。このため、固定伝送速度符号
化では、画面の中の動き量が多くなってくると、必然的
に有効／無効ブロック識別閾値をあげたり、量子化ステ
ップ幅を広げたり、コマ落としを入れたり、画像を劣化
させて情報量を均一化せざるをえない。

しかし、可変伝送速度符号化では、動画像情報の増大と
共に回線速度が増大するため、画質を落とす必要がなく
動画像伝送には有利である事が知られている。

ところが、第７図に示す符号化制御を可変伝送速度に適
用しても前記のように１フレーム毎の発生情報量を均一
化しようとする制御であるため、発生情報量は第３図
（ａ）のようになり、可変伝送速度による画質向上のメ
リットは生じなくなってしまうという問題点があった。

また、第７図の構成にて、制御周期を１フレーム毎より
長くしてｎフレーム周期またはｔ秒周期とすると、発生
情報量の変動は大きくなるが、制御が遅れ気味となり、
画質の向上につながらないばかりか、目標とする情報量
への収束性も失ってしまうという問題点があった。

さらに、可変伝送速度の効果を利用した画質一定の制御
として、第11図に示す例が考えられる。しかし、この場
合の発生情報量は第３図（ｂ）に示すようになり、発生
情報量は画像の動きのみに依存し、情報量のフィードバ
ック制御はかからないという問題点があった。なお、第
11図中（36）は固定制御部を示す。

この発明は上記のような問題点を解消するために成され
たもので、可変伝送速度の回線を使用することにより、
固定伝送速度の回線を用いた従来の制御に比較して画質
が向上し、かつ目標発生情報量を定めることで回線の効
率的な運用が可能な画像符号化制御方式を得ることを目
的とする。

［課題を解決するための手段］この発明に係わる可変伝送速度画像符号化装置は、信号
を符号化する符号化部と、該符号化部により符号化され
た符号化データのうち１フレーム分の発生情報量を計算
する計算手段と、計算手段が計算した発生情報量のうち
所定時間内の発生情報量のみの積算量を求める積算手段
と、積算手段が求めた発生情報量の積算量と該積算量に
応じて予め設定された目標発生情報量とを比較して制御
量を決定する比較手段と、該制御量により符号化を行う
フレームの発生情報量を増減するように符号化部を制御
する制御部とを備えている。そして、符号化部により信
号を１フレームずつ符号化を行うごとに、制御部により
所定時間内の発生情報量が目標発生情報量に近づく様に
フィードバック制御することを特徴とするものである。

［作用］この発明における可変伝送速度画像符号化装置は、符号
化部による１フレームごとの符号化による発生情報量を
積算手段により所定時間にわたって積算し、その積算量
を比較手段により目標値と比較する事によって得た制御
量に基づき制御部がフィードバック制御をかけて次フレ
ームの発生情報を制御する。

［実施例］以下、この発明の一実施例を図にして説明する。

第１図はこの発明の一実施例における画像符号化装置の
構成を示すブロック図である。

第１図において、（１）は符号化の対象となる画像の入
力ビデオ信号、（２）は入力ビデオ信号（１）を符号化
する符号化部である。

（３）は符号化部（２）より出力される符号化データ、
（４）符号化された１フレーム分の符号化データ（３）
の情報量を算出する計算手段としての１フレーム発生情
報量計算手段である。

（５）は１フレーム発生情報計算手段（４）より出力さ
れる１フレーム発生情報量、（６）は過去所定時間（ｔ
秒間）の発生情報量（７）を積算する積算手段のしての
ｔ秒間発生情報量積算手段である。

（８）はｔ秒間発生情報量（７）とｔ秒間目標発生情報
量との比較を行ってその結果に応じて制御量（９）を出
力する比較手段としての目標値／発生値比較手段であ
り、（10）は制御量に応じて符号化部（２）における次
フレームの発生情報量を制御する制御部のしての符号化
制御部である。

また、第２図は本発明のおけるｔ秒間発生情報量積算手
段（６）構成を示す図であり、（11）は１フレームごと
に発生情報量を記憶するシフトレジスタ、（12）はシフ
トレジスタに記憶された１フレーム発生情報量をｔ秒間
分だけ加算する加算器である。

ついで、本実施例の作用について説明する。

第１図において、動画像が連続する入力ビデオ信号
（１）は符号化部（２）において１フレーム（映像フレ
ーム）毎に符号化が行われ、符号化データ（３）が出力
され、符号化データ（３）は伝送または記録される。

一方、１フレーム発生情報量計算手段（４）はすでに符
号化された１フレームの符号化データ（３）の発生情報
量（５）を計算する。

そして、ｔ秒間発生情報量積算手段（６）では、１フレ
ーム発生情報量（５）はシフトレジスタ（11）に入力さ
れ、１フレーム符号化が行われるたびに内容がシフトさ
れる。

更に、シフトレジスタ（11）の内容は、符号化のたびに
加算器（12）で積算量が求められる。そして、シフトレ
ジスタ（11）の容量はｔ秒間に符号化されたフレームの
数だけとし、それ以前のデータは順次忘却していく。

それから、求められたｔ秒間発生情報量（７）は、目標
値／発生値比較手段（８）において、ｔ秒間目標発生情
報量と比較され、制御量（９）が出力される。

さらに、求めた制御量（９）により符号化制御部（10）
は符号化部（２）における発生情報量の制御を行う。

例えば、時刻Ｔに入力されたビデオ信号を符号化する場
合、ｔ秒間発生情報量を積算するフレームと、積算され
たｔ秒間発生情報量から得られた制御量により決まる符
号化制御で符号化される制御対象フレームの関係を表す
第４図に示すように、時刻Ｔ−ｔから時刻Ｔまでの間に
発生した符号化データの発生情報量を積算して制御量を
求める。

そして、求められた制御量に応じた符号化制御により、
時刻Ｔに入力されたビデオ信号の符号化を行う。この際
の発生情報量の変化を第３図（ｃ）に示す。

ついで、本発明の他の実施例を第５図により説明する。

第５図は、ｔ秒間発生情報量積算手段（６）の構成を示
すブロック図であり、図において（５）は１フレーム発
生情報量、（11）はｔ秒間に符号化されるフレーム数の
容量を持つシフトレジスタである。

（13）はシフトレジスタ（11）から読み出される１フレ
ーム発生情報量、（14）は減算器である。

（15）は加算器、（16）はレジスタである。

そして、１フレーム発生情報量（５）はｔ秒間に符号化
されるフレーム数の容量を持つシフトレジスタ（11）に
記憶される。それから、シフトレジスタ（11）からは最
も古いデータとしてｔ秒前の符号化フレームの１フレー
ム発生情報量（13）が読み出され、減算器（14）にて最
新の１フレーム発生情報量（５）から減算される。

更に、減算された結果は、加算器（15）において、前フ
レーム符号化の時点で求めたｔ秒間発生情報量と加算さ
れ、現在のｔ秒間発生情報量（７）を得る。そして、求
めたｔ秒間発生情報量（７）は目標値／発生値比較手段
（８）に送られると共に、レジスタ（16）に記憶され、
次フレーム符号化のときに、前フレーム符号化の時点で
求めたｔ秒間発生情報量（17）として使用される。

なお、上述した実施例では、ｔ秒間発生情報量積算手段
（６）からはｔ秒間発生情報量を出力したが、ｔ秒間発
生情報量を時間ｔで除算した結果をｔ秒間の平均発生情
報量（単位時間）として出力することも可能である。こ
のようにした場合、目標値／発生値比較手段（８）にお
ける目標値は、１秒あたりの目標発生情報量となる。

また、上述した実施例においては、ハードウエアで符号
化制御実現していたが、これい限らず、ソフトウエアで
実現することも可能である。このようにした場合の作用
を第６図のフローチャートに示す。なお、その動作は、
第１図および第５図の動作と同じである。

更に、上述した実施例においては、目標発生情報量は固
定を想定して記述したが、これに限らず、回線における
他のメディアの使用状況等により変化させることも可能
である。

［発生の効果］以上のように、この発明によれば、１フレームずつ符号
化を行うごとに、所定時間内の発生情報量の積算量を求
め、発生情報量の積算量と該積算量に応じて予め設定さ
れた目標発生情報量とを比較して得た制御量に基づき、
所定時間内の発生情報量が目標発生情報量に近づく様に
フィードバック制御するように構成したので、短期的な
情報量の増減に制御が影響を受けることが少なく、可変
伝送速度の回線の特性を生かした画質の向上が実現でき
ると共に、目標発生情報量を定めた制御が可能となり、
これにより回線の効率的な運用が可能となる。

【図面の簡単な説明】

第１図はこの発明の一実施例による画像符号化装置の構
成を示すブロック図、第２図はｔ秒間発生情報量積算手
段の構成を示すブロック図、第３図は発生情報量と時刻
との関係を示す説明図、第４図はこの発明の一実施例に
おける画像符号化装置の符号化制御動作を説明する図、
第５図および第６図は本発明の他の実施例を示す図、第
７図は従来の画像符号化装置の構成を示すブロック図、
第８図は目標値／発生値比較手段を示すブロック図、第
９図は符号化部の構成を示すブロック図、第10図は符号
化制御部の動作を説明する図、第11図は第７図の画像符
号化装置を可変伝送速度の回線へ適用する場合の一例を
示したブロック図である。図中、（２）は符号化部、（３）は符号化データ、
（４）は計算手段、（５）は１フレーム分の発生情報
量、（６）は積算手段、（７）は所定時間内の発生情報
量の積算量、（８）は比較手段、（９）は制御量、（1
0）は制御部である。なお、図中同一符号は同一または相当部分を示す。

Claims

【特許請求の範囲】

【請求項１】信号を符号化する符号化部と、該符号化部
により符号化された符号化データのうち１フレーム分の
発生情報量を計算する計算手段と、計算手段が計算した
発生情報量のうち所定時間内の発生情報量のみの積算量
を求める積算手段と、積算手段が求めた発生情報量の積
算量と該積算量に応じて予め設定された目標発生情報量
とを比較して制御量を決定する比較手段と、該制御量に
より符号化を行うフレームの発生情報量を増減するよう
に符号化部を制御する制御部とを備え、前記符号化部に
より信号を１フレームずつ符号化を行うごとに、制御部
により所定時間内の発生情報量が目標発生情報量に近づ
く様にフィードバック制御することを特徴とする可変伝
送速度画像符号化装置。