JPH0563989A

JPH0563989A - 画像信号の符号化装置

Info

Publication number: JPH0563989A
Application number: JP3220593A
Authority: JP
Inventors: Kazuhiro Suzuki; 一弘鈴木; Isao Uesawa; 功上澤; Yutaka Koshi; 裕越; Setsu Kunitake; 節國武
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1991-08-30
Filing date: 1991-08-30
Publication date: 1993-03-12

Abstract

(57)【要約】【目的】適応化処理を行う変換符号化方式において、
画素ブロックごとに異なる係数分布に対して適応的な係
数選択を行うことにより、再現画質を向上させる。【構成】ブロック化器１０１でデジタル画像信号から
画像中の矩形領域を画素ブロックとして切り出し、変換
器１０３で直交変換を行い変換係数を得る。また、アク
ティビティ計算器２１１はブロック内画像の精細度を計
算し、波形分析器２０５は画像の波形を分析する。求め
られた精細度と波形情報からマスク選択器２０８により
マスク辞書２０９から最適なマスクが選択され、このマ
スクに基づいて係数選択器１０５により変換係数の選択
が行われる。選択後の変換係数は、量子化器１０７によ
り量子化され、符号化器１０９で符号化されたのち伝送
路１１に出力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像信号の符号化装置
に関する。

【０００２】

【従来の技術】階調画像情報を取り扱う際には、画像情
報をそのままデジタル化すると情報量の量が非常に多く
なるので、一般に画像情報を符号化することにより情報
量を圧縮している。

【０００３】画像情報を符号化する手法としては種々あ
るが、階調画像の代表的な符号化手法として、橋本秀
雄：画像情報圧縮の手ほどき「画像符号化アルゴリズム
ＩＩ−変換符号化−」，テレビジョン学会誌，Ｖｏｌ．
４３，Ｎｏ．１０（１９８９），ｐｐ．１１４５〜１１
５２に開示されているような変換符号化方式が知られて
いる。

【０００４】この変換符号化方式について、図１１に示
す基本ブロック図に従って構成を説明する。

【０００５】１０１はデジタル画像信号１００から画像
中の矩形領域を画素ブロック１０２として切り出すブロ
ック化器、１０３は画素ブロック１０２に直交変換を行
い変換係数１０４として出力する変換器、１０５は変換
係数１０４から特定の係数を選択し選択変換係数１０６
を出力する係数選択器、１０７は選択変換係数１０６を
量子化して量子化係数１０８を出力する量子化器、１０
９は量子化係数１０８を符号化し、符号データ１１０を
伝送路１１１に出力する符号化器である。

【０００６】次に動作について説明する。図１１に示さ
れる例においては、符号化処理は、変換処理、情報削減
処理及び符号割当て処理から成っている。

【０００７】変換処理では、画像信号の場合、水平・垂
直方向の相関性を利用した２次元直交変換が利用され
る。ブロック化器１０１において、水平・垂直方向にそ
れぞれＭ画素、Ｎ画素からなる画素ブロック１０２を構
成し、変換器１０３において水平方向、垂直方向に独立
して１次元直交変換を行う。変換器１０３においては、
（１）式に示す線形変換が行われる。

【０００８】Ｙ＝Ａ_NＸＡ_M ^T ・・・・（１）ここで、ＸはそれぞれＮ行Ｍ列の画素ブロック１０２、
Ｙは変換係数１０４であり、Ａ_N、Ａ_MはそれぞれＮ
次、Ｍ次の直交変換行列である。

【０００９】直交変換には種々の方式が存在するが、符
号化効率の点で離散コサイン変換（以下ＤＣＴと呼ぶ）
が用いられるのが一般的である。２次元ＤＣＴの変換
は、（２）式で与えられ、逆変換は（３）式となる。

【００１０】

【数１】

【００１１】ここで、

【００１２】

【数２】

【００１３】また、Ｘ（ｊ，ｋ）は、画素ブロック１０
２の各要素を表し、ｊ，ｋは要素の位置を表す。Ｙ
（ｕ，ｖ）は、変換係数１０５の各要素を表し、ｕ，ｖ
は要素の位置を表す。

【００１４】情報削減処理は、係数選択器１０５と量子
化器１０７によって行われる。係数選択器１０５では、
変換係数１０４の分散に基づいて係数を選択し、選択変
換係数１０６を得る。

【００１５】このような変換符号化方式において、係数
の分散を一定の閾値と比較することにより、閾値より大
なる係数を選択し、閾値以下の係数を０として圧縮効率
を高める手法が、ＷｉｌｌｉａｍＫ．Ｐｒａｔｔ：
“ＤｉｇｉｔａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎ
ｇ”，Ｗｉｌｅｙ−Ｉｎｔｅｒｓｃｉｅｎｃｅ，ｐ
ｐ．６７８−６９９に述べられている。この場合の閾値
は、多数の画像の変換係数の統計から決定することがで
きる。また、画像ごとに変換係数の統計から決定する手
法も提案されている。ただし、変換係数の分布が、これ
らの統計と異なる場合、画質劣化が発生することがあ
る。

【００１６】量子化器１０７では、選択変換係数１０６
を量子化して、量子化係数１０８を得る。

【００１７】符号割当て処理としては、符号化器１０９
において、量子化係数１０８に符号語を割当てることに
より符号データ１１０を構成して伝送路１１１に出力す
る。

【００１８】上述の各処理により、画像情報を変換符号
化方式より符号化することができる。

【００１９】しかしながら、上述の方式においては、係
数の選択が全画素ブロックに対して一律に定められてい
たため、画像の局所的な性質の変動に適応できないとい
う問題があった。

【００２０】この問題を解決するため、Ｗ．Ｈ．Ｃｈｅ
ｎ．ｅｔａｌ：“ＡｄａｐｔｉｖｅＣｏｄｉｎｇ
ｏｆＭｏｎｏｃｈｒｏｍｅａｎｄＣｏｌｏｒＩ
ｍａｇｅｓ”，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ
ｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ．，ＶＯＬ．ＣＯ
Ｍ−２５，Ｎｏ．１１，ｐｐ．１２８５−１２９２（Ｎ
ｏｖ．１９７７）に開示されているように、ブロックご
との適応化を行う手法が提案されている。この手法は、
予め画像ブロックを、ブロック内の交流電力の大きさで
４つのクラスに分類しておき、クラスごとに求めた係数
の分散から係数の選択基準（ビット割当て）を決定する
ものである。

【００２１】この方式は、ブロック内交流電力の大小の
みに基づいてクラス分けを行っているため、ブロック内
の交流電力が等しくても、エッジ等の方向性で係数の分
布に違いが生じることがある。しかしながら、この方式
では係数の分布の違いに拘わらず単純に同じクラス内で
は同じ位置の係数を選択しているために、入力画像を表
現するのに最も適当な係数を選択することができず、十
分に品質の高い画像を得ることはできなかった。

【００２２】以上の問題点に鑑み、加藤，武川，大久
保：“クラス分けを利用した適応直交変換符号化方
式“，電子情報通信学会論文誌（Ｂ），Ｖｏｌ．Ｊ７１
−Ｂ，Ｎｏ．１，ｐｐ１−９，１９８８年１月では、ベ
クトル量子化の手法を用いたブロックのクラス分け手法
を提案している。この方式では、ブロック内交流電力の
大きさと偏りを考慮したクラス分けを行うことにより、
前記Ｗ．Ｈ．Ｃｈｅｎ．ｅｔａｌの文献に記載の方式よ
りも画質・性能が向上していることが報告されている。

【００２３】上記クラス分けを利用した適応直交変換符
号化方式では、ベクトル量子化に伴う膨大な演算量を削
減するために、ベクトルとして用いる係数を、電力の集
中する低域のものに制限している。このため、急峻なエ
ッジを含む画素ブロックのように、係数が高域にまで分
布する場合を考慮しているとは言えない。また、ベクト
ルの次元を拡大し、高域の係数までを含めたベクトル量
子化をしても、高域係数が特定の分布に従うことは稀で
あるため、クラス分けの効果は期待できない。本発明
は、前記問題点を解決するために案出されたものであっ
て、画素ブロックごとに異なる係数分布に対して適応的
な係数選択を行うことにより、再現画質を向上させるこ
とを目的とする。

【００２４】

【課題を解決するための手段】本発明の画像信号の符号
化装置は、前記目的を達成するため、画像信号をブロッ
ク化し、直交変換を行った後、変換係数を符号化する画
像信号の符号化装置において、前記画像信号をＮ×Ｍ
（Ｎ，Ｍは正整数）の矩形領域からなる画素ブロックに
分割する手段と、前記画素ブロックを２次元直交変換す
る手段と、前記画素ブロック内の波形を複数の代表パタ
ーンと比較して最も類似した代表パターンの識別情報を
出力する波形分析手段と、前記２次元直交変換する手段
から得られる各変換係数の有意・無意を示すマスク情報
を複数個登録した記憶手段と、前記波形分析手段からの
前記識別情報に基づき、前記記憶手段よりマスク情報を
選択するマスク選択手段と、前記選択されたマスク情報
を用いて変換係数の有意・無意を判定し、無意と判定さ
れた変換係数を０とする係数選択手段と、前記選択後の
変換係数を符号化する符号化手段とを備えたことを特徴
とする。

【００２５】

【作用】本発明においては、画像信号を符号化するに際
して、画素ブロック内の波形が複数の代表パターンと比
較され、最も類似した代表パターンの識別情報が出力さ
れる。各代表パターンに対応して、変換係数を０に置き
換えるための複数のマスク情報が予め用意されており、
前記識別情報に基づいて変換係数にマスクをかけること
により、画像の内容に応じた最適な位置の係数が符号化
される。

【００２６】

【実施例】図１は、本発明における符号化装置の一実施
例を示す構成図である。なお、図１１に示す従来例と対
応する部分には同一符号を付している。

【００２７】１０１はブロック化器、１０３は変換器、
１０５は係数選択器、１０７は量子化器、１０９は符号
化器、１１１は伝送路である。また、２００は、画素ブ
ロック１０２から平均値２０１を算出する平均値計算
器、２０２は、画素ブロック１０２の各画素値から平均
値２０１を減じて平均値分離信号２０３を出力する平均
値分離器、２０４は、平均値分離信号２０３からブロッ
ク内分散を計算し、アクティビティ２０６として出力す
る分散計算器、２０５は、平均値分離信号２０３からブ
ロック内の信号波形を分析し、波形情報２０７として出
力する波形分析器、２０８は、アクティビティ２０６と
波形情報２０７に基づいて、マスク辞書２０９からマス
ク情報２１０を選択するマスク選択器である。選択され
たマスク情報２１０は、前記係数選択器１０５に入力さ
れる。なお、前記平均値計算器２００、平均値分離器２
０２及び分散計算器２０４でアクティビティ計算器２１
１が構成される。

【００２８】本実施例においては、図１１に示す従来例
において行われる変換、情報削減、符号割当ての３つの
処理に加えて適応処理が行われる。この適応処理は変換
処理と並列して動作し、続く情報削減処理において画素
ブロックごとの特徴にあった適応的な情報削減を実現す
るものである。

【００２９】変換、情報削減、符号割当ての３つの処理
に関しては図１１に示す従来例と同様であるので説明は
省略し、適応処理についてのみ説明する。

【００３０】適応処理は、アクティビティの算出と波形
の分析から成っている。

【００３１】アクティビティとは、画像の精細度を表す
指標であり、以下では画素ブロック内の分散を用いるこ
とにする。アクティビティσは次式で求められる。

【００３２】

【数３】

【００３３】ここでｘ_iは、ブロック内の画素値であ
り、ｍはブロック内画素値の平均値、Ｎはブロック内の
総画素数である。

【００３４】図１を用いてアクティビティ計算について
説明する。平均値計算器２００において画素ブロック１
０２の平均値２０１（式（５）ではｍ）が計算される。
平均値分離器２０２では、平均値２０１の値を画素ブロ
ック１０２の各画素値から減ずることにより、平均値分
離信号２０３を生成する。分散計算器２０４では、式
（５）に従って、平均値分離信号２０３の絶対値和を計
算し、次に、この絶対値和をブロック内の総画素数で除
してアクティビティ２０６を計算し、出力する。

【００３５】次に、図２を用いて波形分析について説明
する。波形の類似性の判定手法には、パターンマッチン
グが用いられる。これは、波形辞書中に用意された複数
の基本波形ｙ１，ｙ２，・・，ｙｉ，・・，ｙｋと、入
力される画像ブロックをベクトルとみなし、両者の距離
判定によって最短距離の波形を選択し、選択された波形
の識別子ｉを出力する手法である。

【００３６】このような画像信号の波形分析手法として
は、本出願人により出願された特願平３−２０２１２９
号明細書で提案されているような方式がある。なお、こ
のように波形分析を行うのは、画像信号を適応的に符号
化するためには、画像信号の波形を符号化する前に分析
し、その分析結果を用いて符号化パラメータを制御する
ことが有効であるからである。

【００３７】図３を用いて波形分析器２０５の構成を説
明する。２０３は平均値分離信号、３１０は波形比較
器、３１１は複数の基本波形が登録された波形辞書であ
る。また２０７は、波形辞書３１１に登録された波形を
識別する波形情報である。

【００３８】以下、波形分析器２０５の動作を説明す
る。波形比較器３１０において、入力された平均値分離
信号２０３は、波形辞書３１１に登録された複数の波形
との距離判定が行われる。波形辞書３１１に登録された
複数の波形には、それぞれを識別するための識別子が付
与されている。距離判定の結果、最も近いと判定された
基本波形の識別情報を波形情報２０７として出力する。

【００３９】図４においては、同図（Ａ），（Ｂ），
（Ｃ）に、それぞれブロック内の画素値の分布が水平グ
ラデーション、垂直グラデーション、斜めエッジである
８×８画素ブロック中の画素値の分布を示し、同図
（ａ），（ｂ），（ｃ）にはそれぞれの画素ブロックに
対してＤＣＴを行ったときの係数マトリクスを示してい
る。図からもわかるように、入力画素ブロック中の画素
値の分布に特定の係数分布が対応している。このこと
は、入力画素ブロックの信号波形から、係数の分布形態
を予測できることを示している。

【００４０】例えば、画素ブロックの波形が、図４
（Ａ）に示す水平なグラデーションを持つものであれ
ば、同図（ａ）に示すように、変換後に符号化する係数
は、係数マトリクスの１行目のものだけで良く、また、
同図（Ｂ）に示す垂直なグラデーションを持つものであ
れば、同図（ｂ）に示すように、変換後に符号化する係
数は、係数マトリクスの１列目のものだけで良い。逆に
同図（Ｃ）に示すように画素ブロックが斜めのエッジを
含むものであれば、同図（ｃ）に示すように係数マトリ
クスの対角線近傍の広範囲な係数を符号化対象とする必
要がある。

【００４１】このように、予測された係数の分布形態に
応じて、係数の選択を制御すれば、従来の変換符号化方
式において問題となっていた、エッジ近傍の画質劣化を
改善できる。すなわち、波形分析の結果から係数の分布
状態が予測できるので、この予測結果に基づいて効率的
に係数を選択できる。

【００４２】同様に、画素ブロック内の精細さを表すア
クティビティも、係数の選択範囲を決定する指標として
用いることができる。

【００４３】図５に示すように、アクティビティの小さ
いブロック（同図（ｂ）参照）は、図柄が平坦なブロッ
クであって緩やかな画素分布をとり、アクティビティの
大なるブロック（同図（ａ）参照）は、図柄が込み入っ
たブロックであってエッジ等を含む精細な画素分布であ
る。アクティビティの小なる画素ブロックでは、画素間
相関が高く、変換後に低域の係数に電力が集中するた
め、これらを選択すればよい。また、アクティビティの
大なる画素ブロックでは、係数電力は、エッジ等の影響
で係数マトリクス内に広く分散しているので、符号化係
数の選択範囲を広く設定する必要がある。

【００４４】以下、マスクによる符号化係数の選択方法
について説明する。

【００４５】図６は、図１におけるマスク辞書２０９の
内容を説明する図である。先に決定されたブロックごと
の波形情報とアクティビティから、マスク辞書に登録さ
れたマスク情報を選択する。アクティビティからは、適
当な閾値処理によってインデックスが決定される。例え
ば、アクティビティをσとしたとき、閾値Ｔ₀，Ｔ₁，
・・・，Ｔ_N-1とインデックスＲ₀，Ｒ₁，・・・，Ｒ
_Nの関係を以下のように定めることができる。Ｎは、設
定される閾値の数で、これによりアクティビティは、
（Ｎ＋１）クラスに分類される。なお閾値は、波形情報
ごとに設定してもかまわない。

【００４６】 σ＜Ｔ₀ であるとき、インデックスはＲ₀ Ｔ₀≦σ＜Ｔ₁ であるとき、インデックスはＲ₁ ・・・・・・Ｔ_N-1≦σ であるとき、インデックスはＲ_N 図７を用いて、係数選択器１０５における係数選択の動
作を説明する。マスク情報２１０は、変換係数１０４と
同一のサイズを持つマトリクスであり、各要素は“１”
または“０”の２値情報で構成される。なお、図７に示
すマスク情報２１０は、図６の波形情報が「１」で、イ
ンデックスが「１」のマスク情報に対応している。各要
素を構成する“１”，“０”の情報は、係数選択器１０
５における係数の選択の指示情報となる。選択されなか
った係数は、強制的にゼロとされる。選択の結果は選択
変換係数１０６として出力される。なお、図７に示され
る変換係数１０４において、○印は非ゼロの係数を示
し、×印はゼロの係数を示している。

【００４７】量子化器１０７での情報削減処理、符号化
器１０９による符号割当て処理は、従来技術と同様であ
る。

【００４８】マスク辞書２０９中に登録されるマスク情
報２１０は、符号化動作に先立って決定される必要があ
り、その数は、波形分析とアクティビティのクラス数に
よって分類される画素ブロックの状態数に等しい。

【００４９】各マスク情報は、前記画素ブロックの状態
ごとの特有な係数分布に応じて決定する。以下、手順に
ついて説明する。

【００５０】先ず、画像から切り出された画素ブロック
の状態を、波形分析とアクティビティの閾値処理に基づ
いて判定するとともに、前記画素ブロックごとの変換係
数を、状態ごとに分類する。

【００５１】続いて、分類された変換係数の集合ごとに
代表的な係数の分布特性を決定する。分布特性として
は、変換係数マトリクス内の位置ごとに係数の絶対値を
累積加算して得られる係数分散マトリクスが利用でき
る。

【００５２】以下、図８に示すフローチャートに従い、
係数分散マトリクスからマスク情報を決定する手順につ
いて説明する。

【００５３】各集合ごとの係数分散マトリクスは、分散
値の大きい順にソートされ、それぞれの分散値と係数位
置の対が図９に示すような表形式で記憶される(ステッ
プ１０１）。８次の２次元直交変換の場合、位置係数は
（０，０）〜（７，７）の範囲となるが、（０，０）は
直流成分であるので、これを除外して全交流係数と同数
の６３個の記憶領域を用意する。記憶領域の内容はポイ
ンタによって参照することができる。

【００５４】処理の開始前に、ポインタは表の先頭、す
なわち分散マトリクス中で最大の分散値に対してセット
される。また、マスク情報には、すべての要素に対して
“０”が設定されている (ステップ１０２）。

【００５５】図８に示されるフローチャートの中のルー
プ内では、分散の大きな係数から順に、係数位置に対応
してマスク情報に“１”を設定する操作が行われる (ス
テップ１０５，１０６）。同時に分散値の累積加算をと
り (ステップ１０３）、分散の総和に対する比率が、所
定の閾値を越えた時点で処理を打ち切る (ステップ１０
４）。また、前記所定の閾値は、波形分析とアクティビ
ティに対して個別に設定できるものとする。

【００５６】図１０に、ＤＣＴ係数の電力集中率の分布
と、８０％の電力保存率を終了条件として作成したマス
ク情報の例を示す。同図（Ａ），（Ｂ），（Ｃ）はそれ
ぞれ異なる画像ブロックに対応した各係数の電力集中率
を示しており、下線を付した部分が８０％の電力保存率
を満足する係数位置である。また、同図（ａ），
（ｂ），（ｃ）は同図（Ａ），（Ｂ），（Ｃ）に対応し
たマスク情報であり、下線を付した係数位置のマスク情
報を“１”としたものである。但し、直流分を示す
（０，０）位置のマスク情報は常に“１”とする。

【００５７】このようにして作成されたマスク情報をマ
スク辞書に登録しておくことにより、符号化時には、波
形分析結果とアクティビティの計算結果に応じて最適な
係数選択を行うマスクを選択できる。

【００５８】

【発明の効果】本発明では、画像の局所的な性質に対し
て適応的に変換係数の選択を行うので、エッジ等の存在
に起因する画質劣化を抑圧することができる。

【図面の簡単な説明】

【図１】本発明の符号化装置の一実施例を示す構成図
である。

【図２】波形分析の説明図である。

【図３】波形分析器の構成図である。

【図４】ブロック内画素値の分布とＤＣＴ係数の分布
の一例を示す説明図である。

【図５】画素ブロックとアクティビティの関係を示す
説明図である。

【図６】マスク辞書の内容の説明図である。

【図７】本発明における係数の選択操作を示す説明図
である。

【図８】本発明におけるマスク情報の作成手順を示す
フローチャートである。

【図９】係数分散をソートした結果を示す説明図であ
る。

【図１０】係数の分布特性から決定したマスク情報の
一例を示す説明図である。

【図１１】従来の符号化装置の一例を示す構成図であ
る。

【符号の説明】

１００：デジタル画像信号、１０１：ブロック化器、１
０２：画素ブロック、１０３：変換器、１０４：変換係
数、１０５：係数選択器、１０６：選択変換係数、１０
７：量子化器、１０８：量子化係数、１０９：符号化
器、１１０：符号データ、１１１：伝送路、２００：平
均値計算器、２０１：平均値、２０２：平均値分離器、
２０３：平均値分離信号、２０４：分散計算器、２０
５：波形分析器、２０６：アクティビティ、２０７：波
形情報、２０８：マスク選択器、２０９：マスク辞書、
２１０：マスク情報、２１１：アクティビティ計算器、
３１０：波形比較器、３１１：波形辞書

───────────────────────────────────────────────────── フロントページの続き (72)発明者國武節神奈川県海老名市本郷2274番地富士ゼロツクス株式会社海老名事業所内

Claims

【特許請求の範囲】

【請求項１】画像信号をブロック化し、直交変換を行
った後、変換係数を符号化する画像信号の符号化装置に
おいて、前記画像信号をＮ×Ｍ（Ｎ，Ｍは正整数）の矩形領域か
らなる画素ブロックに分割する手段と、前記画素ブロックを２次元直交変換する手段と、前記画素ブロック内の波形を複数の代表パターンと比較
して最も類似した代表パターンの識別情報を出力する波
形分析手段と、前記２次元直交変換する手段から得られる各変換係数の
有意・無意を示すマスク情報を複数個登録した記憶手段
と、前記波形分析手段からの前記識別情報に基づき、前記記
憶手段よりマスク情報を選択するマスク選択手段と、前記選択されたマスク情報を用いて変換係数の有意・無
意を判定し、無意と判定された変換係数を０とする係数
選択手段と、前記選択後の変換係数を符号化する符号化手段とを備え
たことを特徴とする画像信号の符号化装置。
【請求項２】前記波形分析手段において、前記画素ブ
ロック内の波形と前記複数の代表パターンとの比較をパ
ターンマッチングで行うことを特徴とする請求項１記載
の画像信号の符号化装置。
【請求項３】前記画素ブロック内のアクティビティを
計算する手段を更に備え、前記マスク選択手段は、前記
識別情報と前記アクティビティを用いて前記記憶手段よ
りマスク情報を選択することを特徴とする請求項１記載
の画像信号の符号化装置。