JP2710135B2 - フレーム間／フレーム内適応符号化方式 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 直交変換後の係数領域の係数データを符号化して伝送
するにあたり、フレーム間符号化とフレーム内符号化と
を切り替えるためのフレーム間／フレーム内適応符号化
方式に関し、 直交変換領域の交流係数をいくつかの周波数バンドに
対応してグループ化し、それぞれのグループについてフ
レーム内符号化とフレーム間符号化との選択を行うこと
を目的とし、 フレーム間符号化とフレーム内符号化とを切り替えて
該２符号化方式のいずれかにより入力画像データの直交
変換後の係数領域における係数を符号化するフレーム間
／フレーム内適応符号化方式において、前記直交変換後
の係数領域における直流から高周波までの周波数成分を
表す係数のうちで直流成分を表す係数を除いた複数の係
数を複数の周波数帯域に対応する複数のグループにグル
ープ化し、該複数の各グループに対して、自グループ内
の交流成分の係数に対する全てのフレーム間係数信号と
フレーム内係数信号とが入力され、該全フレーム間係数
信号の２乗和が該全フレーム内係数信号の２乗和より小
さい時に該フレーム間係数信号を出力し、逆に該全フレ
ーム内係数信号の２乗和が該全フレーム間係数信号の２
乗和より小さい時には該フレーム内係数信号を出力する
フレーム間／フレーム内係数信号選択手段と、該フレー
ム間／フレーム内係数信号選択手段からの制御信号に応
じて、該フレーム間／フレーム内係数信号選択手段の出
力がフレーム間係数信号の時には該出力を可変長符号化
し、該出力がフレーム内係数信号の時には該出力を固定
長符号化して出力する可変長符号化手段とをそれぞれ備
えるように構成する。

〔産業上の利用分野〕

本発明は画像データのディジタル伝送方式に係り、さ
らに詳しくは直交変換後の係数領域の係数データを符号
化して伝送するにあたり、フレーム間符号化とフレーム
内符号化とを切り替えるためのフレーム間／フレーム内
適応符号化方式に関する。

〔従来の技術〕

最近画像機器のディジタル化、画像ディジタル信号の
伝送方式などが、テレビ電話など多くの応用分野で広く
開発、研究されている。一般に画像データはその情報量
が非常に多い。例えば現在のテレビをそのままディジタ
ル化すると100Mb/sの伝送容量が必要であり、画像デー
タは音声の1500倍の情報量を持っている。テレビでは１
秒間に画面が30回切り替わり、1/30秒でフレームが切り
替えられる。１枚のフレームに対応する１画面上に画素
は一般的に２次元的に配置されており、１画素のレベル
を例えば８ビットで表すとしても、１フレームに対する
画像データはその情報量が非常に多くなる。

しかしながらテレビで1/30秒でフレームが切り替えら
れる場合にも、各フレームの絵の内容はあまり大きく変
化しないことが多い。すなわち画像は空や背景などのよ
うに全体的に止まっている部分が多く、フレーム毎に変
化する部分が少ない。そこで画像データを圧縮して符号
化する１つの方式としてフレーム間符号化方式がある。

フレーム間符号化方式では時間的に連続する２つのフ
レームの間で例えば対応する画素毎に、レベルデータの
差がとられ、その差が例えばハフマン符号化されて伝送
路上に送出される。大部分の画素に対するレベルが変化
しないとすると、それらの画素に対する差は０となり、
その差は１ビットで表すことができる。レベル差の大き
い画素に対する符号は８ビット以上必要となるが、これ
らの差分だけを符号化することにより、結果として伝送
すべき情報量が大きく圧縮されることになる。これに対
して１フレーム内のデータをそのまま符号化する方式は
フレーム内符号化方式と呼ばれる。

フレーム間符号化、フレーム内符号化のいずれを用い
るとしても、画像信号のディジタル表現には標本化およ
び量子化の２つの操作が基本的に必要になる。画像の標
本化には２つの方式があり、その第１の画像をフレーム
内の画素に対応する離散的な点配列に対するレベル値で
表すことである。第２の方法はフレーム面に対応するXY
平面で定義されたレベル値関数（画像関数）を正規直交
展開し、その展開係数を標本値とすることである。

第８図は第２の方式である正規直交変換を用いた画像
伝送システムの全体ブロック図である。第８図において
入力画像は１でブロック化され、２で直交変換された
後、３で量子化され、４で例えばハフマン符号化されて
送り側から伝送路５に送り出される。そして、受信側で
は伝送路５からの信号を６で復号化し、７で逆直交変換
し、８で逆ブロック化して画像データとして出力する。
ここで１つのブロック化は２次元のＫ×Ｋ個（１画面
分）の画素のデータを一まとめにして直交変換するので
なく、４×４〜16×16個程度の画素を１ブロックとして
ブロック単位に変換係数を求めることにより、変換時間
を短縮するために行われる。２つの直交変換の種類とし
ては、例えばアダマール変換、コサイン変換、カルーネ
ン、レーベ変換などがあるが、近年ではコサイン変換の
離散表現であり、後述するディスクリートコサイン変換
（DCT）がよく用いられている。

第８図で用いられている直交変換符号化方式では画面
内の小領域の相関が着目され、小領域の画素を数値列と
して直交変換が行われる。その結果得られる変換係数は
周波数成分に相当し、低周波から高周波までの各成分を
表している。画像信号では一般に低周波成分が電力的に
大きく高周波成分は電力的に小さいため、低周波成分に
は多くのビット数、高周波成分には少ないビット数を割
り当てる量子化を行うことにより、伝送すべき情報量が
削減される。

第９図は４×４個の画素によって構成される１ブロッ
ク内の画素データに直交変換を施した後の変換係数領域
を示す図である。この変換係数領域において、一般に最
も左上の領域９は信号の直流成分を表し、またその他の
領域の係数は全て交流成分を表している。交流成分はそ
れぞれ低周波から高周波までの各周波数に対応し、右下
方向にいくほどその周波数は高くなる。

第10図は直交変換を用いた画像データ符号化システム
の従来例のブロック図である。同図において符号化シス
テムは入力画像データに対して、例えばディスクリート
コサイン変換などの直交変換を行う直交変換部10、直交
変換部10の出力であるフレーム内係数信号と後述する減
算器14の出力としてのフレーム間係数信号とが入力さ
れ、どちらの入力信号を出力するかを判定するフレーム
間／フレーム内判定部11、フレーム間／フレーム内判定
部11の出力を量子化する量子化器12、量子化器12の出力
を可変長符号化する可変長符号化部13、直交変換部10の
出力である現在のフレーム内係数信号とフレームメモリ
（FM）15の出力、すなわち現在のフレームより１フレー
ム前のフレーム内の対応する領域の係数との差をとる演
算器14、フレーム間係数信号を作るために前のフレーム
内係数信号の値を各係数領域に対して格納するフレーム
メモリ15、量子化器12の出力を再び量子化前の信号、す
なわちフレーム間／フレーム内判定部11の出力形式に戻
す逆量子化器16、加算器17、および０挿入部18から成っ
ている。

第10図のような直交変換を用いる符号化方式において
フレーム間信号とフレーム内信号とのどちらを符号化す
るかを選択する場合には、従来一般的に各ブロックのそ
れぞれについてブロックの直流成分を除いた交流成分に
相当する係数の２乗和、すなわちパワーの和とフレーム
間係数、すなわち予測誤差の２乗和であるパワーの和と
が比較され、２乗和の小さい方が選択されていた。これ
は直交変換係数を可変長符号化する場合に、雑音の源と
なる高周波成分による符号量の増量が問題になるためで
ある。

第10図において現在のフレーム内の各ブロックの係数
から直流成分を除いた交流成分を表すフレーム内係数信
号と、これらのフレーム内係数とそれぞれ前のフレーム
内で対応する係数との差、すなわちフレーム間係数信号
とがフレーム間／フレーム内判定部11に入力され２つの
信号に対するパワーの和が比較される。そしてフレーム
間係数の２乗和がフレーム内係数の２乗和より小さい場
合には、フレーム間係数信号が量子化器12に出力される
と共にフレーム間係数信号の符号化を行うことを示す制
御信号が可変長符号化部13に出力される。逆にフレーム
内係数信号の２乗和の方が小さい場合には、フレーム内
係数信号が量子化器12に出力されると共にフレーム内係
数信号の符号化を示すための制御信号が可変長符号化部
13に出力される。

第10図におけるフレームメモリ15、逆量子化器16、加
算器17および０挿入部18は、現在の量子化器12の出力を
用いて次のフレームに対するフレーム間係数信号を作成
するために、現在のフレーム内係数信号をフレームメモ
リ15に格納するためのものである。すなわち量子化器12
の出力がフレーム内係数信号である場合には、その信号
が逆量子化器16を介して加算器17によって０挿入部18の
出力と加算される。

この時０挿入部18に対してフレームメモリ15の出力、
すなわち前のフレームに対するフレーム内信号が入力さ
れているが、フレーム間／フレーム内判定部11からのフ
レーム内係数信号の出力を示す制御信号によって、０挿
入部18はその出力を全て０として加算器17に出力する。
従って加算器17の加算結果は現在のフレーム内係数その
ものとなり、これが次のフレームに対するフレーム間係
数信号の作成に備えてフレームメモリ15に格納される。

これに対して量子化器12の出力がフレーム間係数信号
である場合には、０挿入部18はフレームメモリ15の出
力、すなわち前のフレームに対するフレーム内係数をそ
のまま加算器17に出力し、その結果加算器17の出力は現
在のフレーム内係数となる。

〔発明が解決しようとする課題〕

以上のように、直交変換を用いる符号化方式における
フレーム内符号化とフレーム間符号化の選択は、フレー
ム内の各ブロックの係数のうち直流成分を除いた全ての
各周波数成分のパワーの和の比較によって行われてい
た。しかしながら実際には各周波成分では周波数の値に
よってその性質が異なり、耐データ全体に与える影響も
異なるために、全ての交流成分に対する係数を一まとめ
にしてフレーム間符号化とフレーム内符号化の選択を行
うことは必ずしも適切でないという問題点があった。

本発明は、直交交換領域の交流係数をいくつかの周波
数帯域に対応してグループ化し、それぞれのグループに
ついてフレーム内符号化とフレーム間符号化との選択を
行うことを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理ブロック図である。同図はフレ
ーム間符号化とフレーム内符号化とを切り替えて、これ
らの２つの符号化方式のいずれかによって入力画像デー
タの直交交換後の係数領域の係数を、符号化するフレー
ム間／フレーム内適応符号化方式の原理ブロック図であ
る。

第１図において、入力画像データの直交変換後の係数
領域における直流から高周波までの周波数成分を表す係
数のうち直流分を除く複数の交流係数が複数の周波数帯
域に対応する複数のグループにグループ化され、それぞ
れのグループに対してフレーム間／フレーム内係数信号
選択手段（20a,20b,・・・）と可変長符号化手段（21a,
21b,・・・）とがそれぞれ１つ設けられる。

フレーム間／フレーム内係数信号選択手段（20a,20b,
・・・）は、入力される自グループ内の交流成分の係数
に対する全てのフレーム間係数信号とフレーム内係数信
号とについてそれぞれ２乗和をとり、フレーム間係数信
号の２乗和がフレーム内係数信号の２乗和より小さい時
にはフレーム間係数信号を、逆にフレーム内係数信号の
２乗和の方が小さい時にはフレーム内係数信号を自グル
ープに対応する可変長符号化手段21a,21b,・・・に出力
すると共に、フレーム間係数信号とフレーム内係数信号
とのいずれを選択したかを示す制御信号を同時に可変長
符号化手段21a,21b,・・・に出力する。

可変長符号化手段21a,21b,・・・は、それぞれ自グル
ープに対するフレーム間／フレーム内係数信号選択手段
20a,20b,・・・からの制御信号に応じて、フレーム間／
フレーム内係数信号選択手段20a,20b,・・・の出力がフ
レーム間係数信号の時にはその出力を可変長符号化し、
またその出力がフレーム内係数信号の時にはその出力
を、例えば８ビットの固定長符号化して伝送路に出力す
る。

ここでフレーム内の各ブロックの交流係数のグループ
化に対応する周波数帯域の区分は任意であり、例えば比
較的低周波の帯域、中間周波数の帯域、高周波の帯域の
３つに区分することもできる。

〔作用〕

本発明においては、例えば第９図に示した直交変換係
数領域のうち直流係数を除いた部分が複数の周波数帯域
に対応して複数のグループに分割される。第９図におい
て最も左上の係数は直流成分を表し、右下方向に進むに
従って周波数が高い交流成分を表す係数となる。そこで
この係数領域を例えば右上から左下に向かう折れ線によ
って区分することによって周波数帯域に応じた係数のグ
ループ化が行われる。

そしてそれぞれの係数のグループに対して設けられる
フレーム間／フレーム内係数信号選択手段20a,20b,・・
・と、可変長符号化手段21a,21b,・・・とによって、フ
レーム間係数信号またはフレーム内係数信号のいずれか
が、符号化されて伝送路に出力される。以上のように本
発明によれば、周波数帯域毎にフレーム間係数を符号化
するか、フレーム内係数を符号化するかを選択すること
ができる。

〔実施例〕

第２図は本発明における直交変換係数領域の分割法の
実施例である。同図において８×８の画素に対応するグ
ループ内の交流係数が、右上から左下に向かう３本の折
れ線によって低周波側からAC₁,AC₂,AC₃およびAC₄の４つ
の周波数バンドに分割されている。

第３図は本発明のフレーム間／フレーム内適応符号化
方式を用いる画像データ符号化システムの実施例の全体
構成ブロック図である。同図において、直交変換の１種
であるディスクリートコサイン変換を行うDCT部22の出
力としての係数領域が，第４図に示すように、直流分の
み（DC）と低周波数帯域AC₁および高周波帯域AC₂の３つ
のグループに分けられているものとする。ここでディス
クリートコサイン変換（DCT）はコサイン関数から作ら
れた変換行列を用いるものであり、演算に乗算器が必要
で高速演算に難点があったが、高速な信号処理プロセッ
サの開発に伴い、静止画伝送やテレビ会議、信号などの
準動画伝送に盛んに使われるようになっている。

第３図において直流分、低周波バンド、および高周波
バンドのグループの係数を符号化する部分は類似の構成
を持っており、例えば直流分（DC）を符号化する部分は
第10図の従来例におけるフレーム間／フレーム内判定部
11に対応するフレーム内／フレーム間判定部（Ａ）23、
13に対応する可変長符号化部24、12に対応する量子化器
25、15に対応するフレームメモリ（FM）26、14に対応す
る減算器27、16に対応する逆量子化器28、17に対応する
加算器29および18に対応する０挿入部30から成ってい
る。

また低周波バンドAC₁および高周波バンドAC₂のグルー
プ内の係数を符号化する部分の構成も直流分を符号化す
る部分の構成とほぼ同じであり、第10図のフレーム間／
フレーム内判定部11に対応するフレーム内／フレーム間
判定部（Ｂ）31と41、12に対応する量子化器32と42、13
に対応する可変長符号化部33と43、14に対応する減算器
34と44、15に対応するフレームメモリ35と45、16に対応
する逆量子化器36と46、17に対応する加算器37と47およ
び18に対応する０挿入部38と48によって構成される。

低周波バンドAC₁および高周波バンドAC₂に対するフレ
ーム内／フレーム間判定部（Ｂ）31,41は第１のフレー
ム間／フレーム内係数信号選択手段20a,20b・・・に対
応し、第10図の従来例におけると同様にフレーム内係数
信号とフレーム間係数信号との、それぞれグループ内の
全交流係数に対する２乗和を比較して、２乗和が小さい
方の係数信号の量子化器32,42に出力すると同時に、フ
レーム間信号とフレーム内信号とのいずれを出力するか
を示す制御信号をそれぞれ可変長符号化部33,43に出力
する。

そして可変長符号化部33,43は、フレーム内／フレー
ム間判定部（Ｂ）31,41からの制御信号に応じて、量子
化器32,42の出力を、その出力がフレーム間信号の時に
は可変長符号化し、また出力がフレーム内信号の時に
は、例えば８ビットの固定長符号化して伝送路上に出力
する。また例えば低周波バンドAC₁に対する減算器34、
フレームメモリ35、逆量子化器36、加算器37および０挿
入部38の作用は従来例の第10図におけると同様である。

本実施例では、第３図における直流分に対するフレー
ム内／フレーム間判定部（Ａ）23によるフレーム間係数
とフレーム内係数との選択の判定は、交流分に対するフ
レーム内／フレーム間判定部（Ｂ）31,41とは全く別の
基準を用いて行うことにする。すなわちフレーム内信号
に対しては８ビットの固定長符号化を行うものとし、フ
レーム間信号すなわち係数の差分については、その差分
の絶対値が４より小さい場合にはそれを可変長符号化
し、５より大きい場合にはフレーム間信号でなくフレー
ム内信号を８ビット固定長符号化するものとする。

一般に時間的に連続する２つのフレームの画像データ
の間に相関が大きい場合には、その画像データを直交交
換した係数は２つのフレーム間で差が少ないために、差
分の絶対値は小さくなる。従ってその絶対値を短い符号
長の可変長符号として伝送することが可能になり、情報
量が圧縮される。しかしながら、その場合には符号が可
変長であるために、データの区切りを受信側で判読可能
とするためには差分の絶対値の増大と共に必要な符号長
が急速に増大するという問題がある。

このためフレーム間信号、すなわち差分の絶対値に対
する符号長がフレーム内信号の符号長よりも長くなる場
合には、フレーム間信号を用いるメリットは失われるこ
とになるので、その場合にはフレーム内信号を符号化す
るものとする。

第５図は以上の直流成分に対する符号化方式を示す符
号化テーブルの実施例である。すなわちフレーム内信号
に対しては８ビットの固定長符号化がなされ、フレーム
間信号に対しては差分の絶対値が４より小さく符号長が
７ビット以下となる時にはフレーム間係数の可変長符号
化が、また差分の絶対値が５以上で対応する符号長が８
ビット以上の場合にはフレーム内信号の符号化が行われ
る。

第６図は第３図におけるフレーム内／フレーム間判定
部（Ａ）23の構成ブロック図である。同図において、フ
レーム内／フレーム間判定部（Ａ）はリードオンリーメ
モリ（ROM）49およびセレクタ50によって構成され、ROM
49には、フレーム間係数信号が入力され、またセレクタ
50のａ端子にはフレーム内係数信号が、ｂ端子にはフレ
ーム間係数信号が入力され、セレクタ50の出力は量子化
器25に出力されている。

同図においてROM49にはフレーム間係数信号、すなわ
ち差分の絶対値が４以下で１、５以上で０となる制御信
号を出力するためのデータが記憶されており、その制御
信号はセレクタ50、可変長符号化部24、０挿入部30にそ
れぞれ出力される。セレクタ50はROM49からの制御信号
が０の時ａ端子に入力するフレーム内信号を、また制御
信号が１の時ｂ端子に入力されるフレーム間信号を量子
化器25に出力する。また制御信号が０の時、０挿入部30
の出力は０となり、制御信号が１の時にはその出力はフ
レームメモリ26に格納されている前のフレームに対する
直流係数値となる。

第７図はフレーム内／フレーム間判定部（Ｂ）31,41
の判定処理の実施例のフローチャートである。同図にお
いて判定処理がスタートすると、まずステップ51でフレ
ーム内のグループに対する係数領域の係数をそまま２乗
和したΣ_１が求められ、次にステップ52でフレーム間の
係数の差分を２乗和したΣ_２が求められる。そしてステ
ップ53でΣ_１とΣ_２とが比較され、Σ_２がΣ_１より大き
い時にはフレーム内信号が用いられることになるので、
ステップ54で０挿入部38,48へ０挿入、すなわちその出
力を全て０にすることが指示された後にステップ55に至
る。ステップ53でΣ_１がΣ_２より大きい場合には、フレ
ーム間信号が用いられることになるので、０挿入部38,4
8への０挿入指示が行われることなくステップ55に移行
する。そしてステップ55でどちらの信号を選択したかが
可変長符号化部33,43に通知されて処理が終了する。

以上の説明では画像データに対する直交変換としてデ
ィスクリートコサイン変換を用いた実施例を説明した
が、直交変換の種類がこれに限定されないことは当然で
ある。

〔発明の効果〕

以上詳細に説明したように、本発明によれば、フレー
ム内符号化とフレーム間符号化との選択が周波数バンド
別に行われることになり、周波数成分別にきめ細かな判
定が可能となる。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、 第２図は画像データの直交変換後の直交変換係数領域の
グループ化の実施例を示す図、 第３図は本発明のフレーム間／フレーム内適応符号化方
式を用いる画像データ符号化システムの実施例の全体構
成を示すブロック図、 第４図は第３図の画像データ符号化システムに対する直
交変換係数領域の分割を示す図、 第５図は直流成分に対する符号化テーブルの実施例を示
す図、 第６図は直流成分に対するフレーム内／フレーム間判定
部の実施例の構成を示すブロック図、 第７図は交流の低周波バンドおよび高周波バンドに対す
るフレーム間／フレーム内判定部の判定処理実施例のフ
ローチャートを示す図、 第８図は正規直交変換を用いる画像データ伝送システム
の全体構成を示すブロック図、 第９図は画像データの直交変換後の変換係数領域を示す
図、 第10図は直交変換を用いる画像データ符号化システムの
従来例の構成を示すブロック図である。 22……ディスクリートコサイン変換（DCT）部、 23……フレーム内／フレーム間判定部（Ａ）、 24,33,43……可変長符号化部、 26,35,45……フレームメモリ（FM）、 31,41……フレーム内／フレーム間判定部（Ｂ）、 30,38,48……０挿入部．

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−213085（ＪＰ，Ａ) 特開 昭63−232691（ＪＰ，Ａ) 特開 昭62−25577（ＪＰ，Ａ) 特開 昭62−222783（ＪＰ，Ａ) 特開 昭63−111791（ＪＰ，Ａ) 特開 昭62−247687（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】フレーム間符号化とフレーム内符号化とを
   切り替えて該２符号化方式のいずれかにより入力画像デ
   ータの直交変換後の係数領域における係数を符号化する
   フレーム間／フレーム内適応符号化方式において、 前記直交変換後の係数領域における直流から高周波まで
   の周波数成分を表す係数のうちで直流成分を表す係数を
   除いた複数の係数を複数の周波数帯域に対応する複数の
   グループにグループ化し、 該複数の各グループに対して、自グループ内の交流成分
   の係数に対する全てのフレーム間係数信号とフレーム内
   係数信号とが入力され、該全フレーム間係数信号の２乗
   和が該全フレーム内係数信号の２乗和より小さい時に該
   フレーム間係数信号を出力し、逆に該全フレーム内係数
   信号の２乗和が該全フレーム間係数信号の２乗和より小
   さい時には該フレーム内係数信号を出力するフレーム間
   ／フレーム内係数信号選択手段（20a,20b,・・・）と、 該フレーム間／フレーム内係数信号選択手段（20a,20b,
   ・・・）からの制御信号に応じて、該フレーム間／フレ
   ーム内係数信号選択手段（20a,20b,・・・）の出力がフ
   レーム間係数信号の時には該出力を可変長符号化し、該
   出力がフレーム内係数信号の時には該出力を固定長符号
   化して出力する可変長符号化手段（21a,21b,・・・）と
   をそれぞれ備えることを特徴とするフレーム間／フレー
   ム内適応符号化方式。