JP3082957B2

JP3082957B2 - 画像処理方法

Info

Publication number: JP3082957B2
Application number: JP8240291A
Authority: JP
Inventors: 伸宏星
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1991-04-15
Filing date: 1991-04-15
Publication date: 2000-09-04
Anticipated expiration: 2015-09-04
Also published as: JPH04315370A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理方法に関し、よ
り具体的には、画像データを符号化することによりその
データ量を圧縮し、伝送媒体や記録媒体などに対し、符
号化データを出力する画像処理方法に関する。

【０００２】

【従来の技術】図６は、従来の画像符号化装置で、端子
１０１より入力した画像Ａ／Ｄ変換器１０２においてア
ナログ−ディジタル変換（以下、Ａ／Ｄと記す。）され
た後、符号化部１０３において可変長圧縮符号化され
る。そして送信バッファメモリ１０４に一旦可変長圧縮
符号化データが蓄えられ、伝送路１０６へ送出される。
このとき１０４のバッファメモリの占有量と、伝送路１
０６の伝送レートにより、１０３符号化部の可変長圧縮
符号のデータ生成量を制御する制御係数を発生し、フィ
ルタ１０５を通し符号化部１０３へフィードバックさせ
る。これにより、平均的に伝送路のレートで画像圧縮デ
ータを送出することができる。伝送路１０６から受信し
たデータは受信バッファメモリ１０７に一旦蓄えられ、
送られてきた制御係数とともに復号化部１０８へ送り、
これによって可変長圧縮符号化データを伸長復号し、Ｄ
／Ａ変換器１０９でディジタル−アナログ変換し、端子
１１０より画像を出力する。

【０００３】この図６中符号化部１０３のカラー画像の
圧縮方式は数々の方式が提案されているが、カラー画像
符号化方式の代表的なものとして、所謂ＡＤＣＴ方式が
提案されている。

【０００４】図７に該ＡＤＣＴ方式を用いた画像符号化
装置の構成概念図を示した。入力画像としては、図６の
Ａ／Ｄ変換器１０２により８ビット、すなわち２５６階
調／色に変換されたデータとし、色数についてはＲＧ
Ｂ、ＹＵＶ、ＹＰｂＰｒ、ＹＭＣＫ等の、３色もしくは
４色とする。入力画像は直ちに８×８画素のサブブロッ
ク単位で２次元の離散コサイン変換（以下、ＤＣＴと記
す。）を行なった後、変換係数の線形量子化を行なう。
量子化ステップサイズは各変換係数毎に異なり、各変換
係数に対する量子化ステップサイズは、量子化雑音に対
する視感度の変換係数毎の相違を考慮した８×８の量子
化マトリックス要素をＫ倍した値とする。ここでＫは制
御係数と呼ばれる。このＫの値により、画質と発生する
圧縮データのデータ量が制御される。表１に量子化マト
リックス要素の１例を示す。

【０００５】

【表１】

【０００６】量子化後、直流変換成分（以下ＤＣ成分と
記す。）については、近傍サブブロック間で１次元予測
され、予測誤差をハフマン符号化する。

【０００７】そして、予測誤差の量子化出力をグループ
に分け、まず予測誤差の所属するグループの識別番号を
ハフマン符号化し、続いてグループ内のいずれの値であ
るかを等長符号で表わす。

【０００８】ＤＣ成分以外の交流変換成分（以下、ＡＣ
成分と記す。）はこの量子化出力を図８に示す様に低周
波成分から高周波成分へとジグザグ走査しながら符号化
する。すなわち、量子化出力が０でない変換係数（以
下、有意係数と記す。）はその値により、グループに分
類し、そのグループ識別番号と、直前の有意変換係数と
の間にはさまれた量子化出力が０の変換係数（以下、無
効係数と記す。）の個数とを組にしてハフマン符号化
し、続いてグループ内のいずれの値であるかを等長符号
で表わす。

【０００９】

【発明が解決しようとしている課題】しかしながら、こ
うした従来の画像符号化装置では画像１枚１枚における
圧縮生成情報量は一定ではないため、図７におけるバッ
ファメモリ量の見積もりが難しく、少なすぎると画像に
よって破綻を生じ、それを防ぐためにバッファメモリ量
を増やすと、コスト高につながっていた。また、制御係
数をフィードバックしているので、同じ画像に対して
も、その前の画像によって制御係数が異なり、画像品質
が時間的に変化し、見苦しい画像が出現することがあっ
た。さらに、伝送路を磁気テープや、光ディスクのよう
な記録媒体を考えると、つなぎどりや、サーチ、編集
等、画像の切れ目と、記録データの管理領域が一致しな
いため、このような機能を実現するのが極めて困難であ
った。

【００１０】また、この技術をバッファメモリを持た
ず、制御係数を一定とし、フィードバックしない静止画
像システムに応用した場合、一枚の画像を伝送するのに
かかる時間が特定できなかったり、記録するのに一枚当
たりどれくらいの容量を必要とするのか分からないとい
う欠点があった。

【００１１】そこで本発明は圧縮データのデータ量の制
御を良好におこなうことができる画像処理方法を提供す
ることを目的とする。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に、本発明の画像処理方法は、画像データを周波数成分
に変換して符号化し、その符号化データのデータ量を可
変ならしめる制御係数によって、符号化データのデータ
量を制御する画像処理方法であって、第１の制御係数に
より生成される第１のデータ量と、前記第１の制御係数
とは異なる第２の制御係数により生成される第２のデー
タ量とを算出し、前記第１及び第２の制御係数と前記第
１のデータ量及び第２のデータ量との関係を一次近似す
ることにより、所望のデータ量に対する前記制御係数を
決定する画像処理方法であって、前記一次近似を求める
際に、一次近似式の０次の項と１次の項の少なくとも一
方を補正することを特徴とする。

【００１３】

【実施例】以下に説明する本発明の実施例は一枚の画像
データ毎に圧縮して、目的とする情報量を得る制御係数
に対し、Ｎを複数の連続する整数とし、第Ｎの制御係数
は小、第Ｎ＋１の制御係数は大になるよう、複数の試行
を行ない、目的とする情報量を第Ｎの制御係数により試
行生成された情報量と、第Ｎ＋１の制御係数により試行
生成された情報量によって一次近似して求める手段を有
することを特徴とする。

【００１４】更に、求めた一次近似式に対し、一次の項
または０次の項もしくは０次と１次の項を変形する手段
を有することを特徴とする。

【００１５】上記手段により、画像１枚１枚における圧
縮生成情報を一定とすることによって、バッファメモリ
量を最小とし、どんな画像によっても破綻を生じること
のない安定したシステムの設計を容易にし、また、制御
係数をフィードバックすることなく、同じ画像に対して
は画像品質が一定で、さらに、伝送路を磁気テープや光
ディスクの様な記録媒体を考えた場合、つなぎどりやサ
ーチ、編集等の機能を実現するのを容易にし、また、こ
の技術をバッファメモリを持たず、制御係数をフィード
バックしない静止画像システムに応用した場合、一枚の
画像を伝送するのにかかる時間を一定にし、記録する際
に一枚当たりに必要とする容量を一定とする画像処理装
置を提供することができる。

【００１６】以下、図面を参照して手本発明の実施例を
説明する。図１は本発明による画像処理装置の構成ブロ
ック図を示すもので、端子１より入力した画像は２にお
いてＡ／Ｄ変換され、３の符号化部（１）により前記の
所謂ＡＤＣＴ方式により可変長符号化される。このと
き、制御係数Ｋは画像１フレームについて一定のＱ₁と
して圧縮し、これにより圧縮情報量Ｂ₁を得て、５の演
算部へ送る。

【００１７】これと同時に４の符号化部（２）により同
じく所謂ＡＤＣＴ方式により可変長符号化される。この
とき、制御係数Ｋは画像１フレームについて一定のＱ₂
として圧縮し、これにより圧縮情報量Ｂ₂を得て、演算
部５へ送る。また、６は画像データ遅延部でＡ／Ｄ変換
された画像を約画像１フレーム分遅延させる。

【００１８】７の符号化部（０）は演算部５でＱ₁、
Ｑ₂、Ｂ₁、Ｂ₂、の直線近似により演算された最適制御
係数Ｋ＝Ｑ₀として、圧縮符号化し、圧縮符号化データ
を８の送信バッファメモリに蓄える。

【００１９】９は伝送路で、即時伝送であれば光ファイ
バ・衛星・マイクロ波等の地上電波・光空間等の伝送媒
体であるし、蓄積伝送であれば、ディジタルＶＴＲやＤ
ＡＴ等のテープ状の媒体・フロッピーディスクや光ディ
スク等の円盤状の媒体・半導体メモリ等の固体の媒体等
の記憶媒体である。

【００２０】また伝送レートについては、元の画像の情
報量と圧縮率と要求する伝送時間とにより決定され、数
十キロビット／秒から数十メガビット／秒まで様々であ
る。

【００２１】一方、伝送路９から受信したデータは１０
の受信バッファメモリに一旦に蓄え、１０の受信バッフ
ァメモリから読み出された圧縮符号化データは１１にお
いて同時に受信された最適制御係数Ｑ₀により伸長復号
し、１２でディジタル−アナログ変換し、端子１３より
画像を出力する。

【００２２】図２、図３、を使って本発明をさらに詳し
く説明する。図２は伝送対象の画像の一例で、１枚の画
像横１２８０画素、縦１０８８画素、各８ビットでＡ／
Ｄ変換された画像とする。ここでの１枚あたりのデータ
容量は１、２８０×１、０８８×８＝１１、１４１、１
２０ビットとなり、これを１秒間に３０枚の動画として
伝送すると、１１、１４１、１２０×３０＝３３４、２
３３、６００ビット／秒もの高速な伝送路が必要とな
る。

【００２３】一方伝送路は通常伝送レートは固定の場合
がほとんどであり、この伝送レートを越えた情報量は破
綻をきたし、伝送できない。いま、３６．００００Ｍビ
ット／秒の伝送路を仮定すると、シンクコード、ＩＤコ
ード、バリティ等の画像情報以外の冗長分を５％とする
と、画像情報が伝送可能な伝送レートは３４．２０００
Ｍビット／秒となり、画像１枚（１フレーム）の圧縮情
報量は、１．１４００Ｍビット／フレームになる。そこ
で１フレームの画像を各々１０．２３％以下に圧縮すれ
ばよく、残りの１、１４０、０００−（１１、１４１、
１２０×０．１０２３）＝２６３．４２４ビット／フレ
ームすなわち、２６３．４２４×３０＝７、９０２．７
２ビット／秒のダミーデータを挿入すればよい。

【００２４】仮に制御係数がある値で、この結果、ある
画像の圧縮情報量が１０％だったとすると、画像情報容
量は、３３４、２３３、６００×０．１＝３３、４２
３、３６０ビット／秒で、３４、２００、０００−（３
３４、２３３、６００×０．１）＝７７６、６４０ビッ
ト／秒のダミーデータを挿入すればよい。

【００２５】仮に制御係数がある値で、この結果、ある
画像の圧縮情報量が１１％だったとすると、画像情報容
量は、３３４、２３３、６００×０．１１＝３６、７６
５、６９６ビット／秒で３４、２００、０００−（３３
４、２３３、６００×０．１１）＝−２、５６５、６９
６ビット／秒となり、伝送路の伝送レートを越えてしま
い、破綻を生じる。

【００２６】そこで圧縮率の目標を１０．２３％とし、
これを越えずに近い値が得られるように図１中、７の符
号化（０）に対し、最適制御係数Ｑ₀を与えればよい。

【００２７】図３にこの最適制御係数Ｑ₀を決定するた
めの説明図を示した。ここではいま、所謂ＡＤＣＴ方式
により、約１／１０に圧縮符号化して伝送する場合を説
明する。

【００２８】符号化の方式は図８に示したものと同様
で、いま横８画素×縦８画素をＤＣＴサブブロックと
し、ＤＣＴサブブロック単位でＤＣＴ変換を行った後、
変換係数の線形量子化を行う。量子化ステップサイズは
各変換係数毎に異なり、各変換係数に対する量子化ステ
ップサイズは、量子化雑音に対する視感度の変換係数毎
の相違を考慮した表１に示した８×８の量子化マトリッ
クス要素に制御係数Ｋを乗じた値とする。このＫの値に
より、画質や発生データ量を制御し、約１／１０とす
る。量子化後、ＤＣ成分については、最初のＤＣＴサブ
ブロックでは０からの差分値として隣のサブブロック間
で１次元予測し、予測誤差をハフマン符号化する。そし
て、予測誤差の量子出力をグループに分け、まず予測誤
差の所属するグループの識別番号をハフマン符号化し、
続いてグループ内のいずれかの値であるかを等長符号で
表わす。ＡＣ成分はこの量子化出力を低周波成分から高
周波成分へとジグザク走査しながら符号化する。すなわ
ち、有意係数はその値により、グループに分類し、その
グループ識別番号と、直前の有意変換係数との間にはさ
まれた無効係数の個数とを組にしてハフマン符号化す
る。今２つの制御係数Ｑ₁、Ｑ₂を選び、Ｑ₁＜Ｑ₀、Ｑ₀
＜Ｑ₂の条件を満たすものとする。

【００２９】図３に一般的な画像１フレームにおける制
御係数Ｋと、圧縮情報量Ｙの関係を示した。このＹとＫ
の関係は、関数ｇ、すなわちＹ＝ｇ（ｋ）で表わされ、
この関数ｇは、Ｙ＝ｇ（Ｋ）＝ｐｌｏｇＫ＋ｑ（ｐ，ｑは常数）・・・（１）に近いｌｏｇ曲線に極めて近いとされている。

【００３０】そこで、制御係数Ｑ₁に対して図１中３の
符号化部（１）で符号化を行ない、圧縮情報量Ｂ₁を得
る。

【００３１】制御係数Ｑ₂に対して図１中３の符号化部
（１）で符号化を行ない、圧縮情報量Ｂ₂を得る。

【００３２】図１中５の演算部において（Ｑ₁、Ｂ₁）
（Ｑ₂、Ｂ₂）の２点の結ぶ直線、Ｙ＝ａＫ＋ｂ（ａ、ｂ
は常数）を算出する。結果、（数１）

【００３３】

【外１】

【００３４】変形して（数２）

【００３５】

【外２】

【００３６】そこで図３中、Ｂ₀を前記、目標とする圧
縮率（１０．２３％）とすると数２においてＹにＢ₀を
代入し最適制御係数Ｑ₀を得る。（数３）

【００３７】

【外３】

【００３８】実際には最適制御係数Ｑ₀により発生する
圧縮情報量はＹ＝ｇ（Ｋ）上にのるので、Ｂ₀となる。
（１）式は１ｏｇ曲線であり、下に凸の曲線で、この下
に凸の曲線上の２点を結ぶ直線は図３に示す如く、必ず
上に位置する。このことは常に、Ｂ₀＞Ｂ₀′であること
を示し、いかなる場合においても目標とする圧縮率を上
まわることがなく伝送路において、破綻を生じることが
ない。

【００３９】数３のうち、Ｑ₁、Ｑ₂、Ｂ₀は装置におい
て一定の既知の値であり、常数で、Ｂ₁、Ｂ₂のみを符号
化の試行で得られれば良い。従って図１中３、４の符号
化部（１）、（２）は圧縮情報量のみを発生すれば良
い。

【００４０】また、図１中、５の演算部においては上記
数３を演算するが、演算にはＣＰＵ等を用いても構わな
いし、ＲＯＭやＲＡＭ等を使った。ルックアップテーブ
ルを用いても構わない。

【００４１】なお上述の例では制御係数と圧縮情報量と
の関係はｌｏｇ曲線として、説明したが、実際にはこれ
とは異なる場合があり、例えば２次曲線や３次曲線で近
似されるような曲線の場合もある。これは符号化部にお
ける量子化の仕方、符号化の種類等によって異なる。但
しいずれの場合も曲線は下に凸（接線が常に曲線より下
に存在する）である点で共通しており、かかる特性に基
づいて上述のような制御係数の決定方法が有効となる。

【００４２】図４は制御係数Ｋに対し制御係数Ｋと情報
量Ｙとの関係が特殊な場合を示した図である。

【００４３】制御係数Ｑ₁とＱ₂で量子化した時の情報量
がそれぞれＢ₁，Ｂ₂であって本来所望の情報量がＢ₀で
ある場合、図４に示す様に直線近似式Ｙ＝ａＫ＋ｂで求
めた時の、制御係数はＱ₀となる。そして制御計数Ｑ₀で
量子化した時の実際の情報量Ｂ₀′はＢ₀′＞Ｂ₀となり
破綻が生じる。

【００４４】そこで情報量Ｂ₁，Ｂ₂で求めた近似式Ｙ＝
ａＫ＋ｂに所定の情報量β（定数）を加算することによ
り、近似式Ｙ′＝ａＫ＋ｂ＋βを求め、所望の情報量Ｂ
₀で求めた制御係数Ｑ_0βで、量子化すれば実際の情報量
はＢ₀″となる。するとＢ₀″＜Ｂ₀となり所望の情報量
Ｂ₀以下となるので、波綻を生じることなく量子化圧縮
し、伝送することが可能になる。

【００４５】なお、図４において、Ｙ＝ｇ（Ｋ）は一般
に下に凸となる関数であるから、上記定数βは、β＞０
であることが望ましい。かかるβを加えることにより、
破綻を生じる可能性が生じなくなる。βは、例えば、入
力する画像に応じて、マニュアルで演算部５にセットし
てもよく、また、画像の特徴に応じて自動的にセットさ
れるようにしてもよい。

【００４６】図５は図４で示した近似式Ｙ＝ａＫ＋ｂを
Ｙ′＝（ａ＋α）Ｋ＋ｂ＋βに変形（補正）した場合の
制御係数Ｋと情報量Ｙとを示した図である。図３で説明
した様に、所望の情報量Ｂ₀と近似式Ｙ＝（ａ＋α）Ｋ
＋ｂ＋βで求めた制御係数Ｑ₀αβで量子化すれば実際
の情報量はＢ₀″となり、Ｂ₀″＜Ｂ₀で所望の情報量Ｂ₀
以下で量子化圧縮し、伝送することが可能になる。

【００４７】なお、αもβ同様α＞０であることが望ま
しい。

【００４８】本発明上述の実施例により、最適制御係数
を複数の符号化試行の一次近似から求めることによって
画像１枚１枚における圧縮生成情報量を一定にすること
が可能になり、バッファメモリの使用量を最小とし、ど
んな画像によっても破綻を生じることのない安定したシ
ステムの設計を容易にし、また、制御係数をフィードバ
ックすることなく、同じ画像に対しては画像品質が一定
で、さらに、伝送路を磁気テープや光ディスクの様な記
録媒体を考えた場合、つなぎどりや、サーチ、編集等の
機能を実現するのを容易にした。また、この技術をバッ
ファメモリを持たず、制御係数をフィードバックしない
静止画像システムに応用した場合、一枚の画像を伝送す
るのにかかる時間を一定にし、記録する際に一枚当たり
に必要とする容量を一定とする画像符号化装置を提供す
ることが可能となる。

【００４９】更に、上記一次近似式を補正することによ
り、量子化制御係数と情報量との関係が特殊な画像に対
しても、破綻を生じることなく、量子化圧縮が可能とな
る。

【００５０】なお周波数変換はＤＣＴに限らず、アダマ
ール変換など他の直交変換を用いてもよい。

【００５１】また、ブロックサイズも８×８画素ブロッ
クに限らない。

【００５２】また量子化後の符号化方法はハフマン符号
化に限らず算術符号化やランレングス符号化など他の方
法であってもよい。

【００５３】また、必ずしも一次近似そのものでなくて
も、直線近似に類する近似であれば、本発明の思想の範
囲内である。

【００５４】

【発明の効果】以上の様に本発明によれば、圧縮データ
のデータ量の制御を良好に行なうことができる。

【図面の簡単な説明】

【図１】本発明の第１実施例の構成ブロック図。

【図２】本発明を説明する実施例の伝送対象画像を示す
図。

【図３】本発明を説明する第１実施例の演算方法を示す
図。

【図４】制御係数と、情報量との関係を示す図。

【図５】制御係数と、情報量との関係を示す図。

【図６】従来例の構成ブロック図。

【図７】一般的な可変長符号化方式を説明する図。

【図８】一般的な可変長符号化方式の詳細な説明図。

【符号の説明】

３符号化部（１）４符号化部（２）５演算部６遅延部７符号化部（０）

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419 H03M 7/30 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】画像データを周波数成分に変換して符号
化し、その符号化データのデータ量を可変ならしめる制
御係数によって、符号化データのデータ量を制御する画
像処理方法であって、第１の制御係数により生成される第１のデータ量と、前
記第１の制御係数とは異なる第２の制御係数により生成
される第２のデータ量とを算出し、前記第１及び第２の制御係数と前記第１のデータ量及び
第２のデータ量との関係を一次近似することにより、所
望のデータ量に対する前記制御係数を決定する画像処理
方法であって、前記一次近似を求める際に、一次近似式の０次の項と１
次の項の少なくとも一方を補正することを特徴とする画
像処理方法。
【請求項２】前記一次近似の補正は、マニュアルで行
われることを特徴とする請求項１に記載の画像処理方
法。