JP3337162B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図９及び図１０） 発明が解決しようとする課題 課題を解決するための手段（図４、図７及び図８） 作用（図４、図７及び図８） 実施例 （１）階層符号化の原理（図１〜図３） （２）実施例の画像符号化装置（図４〜図６） （３）量子化ステツプ幅の選定（図７） （４）履歴に基づく量子化ステツプ幅の選定（図７） （５）実施例の動作（図８） （６）実施例の効果 （７）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理装置、画像処理
方法、画像符号化装置及び画像符号化方法に関し、例え
ば所定の画像データを異なる解像度でなる複数の画像デ
ータに分割して符号化する画像符号化装置に適用して好
適なものである。

【０００３】

【従来の技術】従来、この種の画像符号化装置として、
入力画像データをピラミツド符号化等の階層符号化の手
法を用いて階層的に符号化するものがある。この画像符
号化装置においては、高解像度の入力画像データを第１
の階層データとして、この第１の階層データよりも解像
度が低い第２の解像データ、さらに第２の解像データよ
りも解像度が低い第３の階層データ、……を順次再帰的
に形成し、これら複数の階層データを通信路や記録再生
経路でなる伝送路で伝送する。

【０００４】またこの複数の階層データを復号化する画
像復号化装置では、複数の階層データについて全て復号
化しても良く、またそれぞれに対応するテレビジヨンモ
ニタの解像度等により、何れかの階層データのうち所望
の１つを選択して復号化しても良い。これにより、階層
化された複数の階層データから所望の階層データのみに
ついて復号化することにより、必要最小限の伝送データ
量で所望の画像データを得ることもできる。

【０００５】ここで、図９に示すように、この階層符号
化として例えば４階層の符号化を実現する画像符号化装
置１では、それぞれ３段分の間引きフイルタ２、３、４
と補間フイルタ５、６、７とを有し、入力画像データＤ
１について各段の間引きフイルタ２、３、４によつて順
次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成
すると共に補間フイルタ５、６、７により縮小画像デー
タＤ２、Ｄ３、Ｄ４を縮小前の解像度に戻す。

【０００６】各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４
及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ
差分回路８、９、１０に入力され、これにより差分デー
タＤ８、Ｄ９、Ｄ１０が生成される。この結果画像符号
化装置１においては、階層データのデータ量を低減する
と共に信号電力を低減する。ここでこの差分データＤ８
〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が１、
1/4 、1/16、1/64のサイズとなつている。

【０００７】それぞれの差分回路８〜１０より得られる
差分データＤ８〜Ｄ１０及び間引きフイルタ４より得ら
れる縮小画像データＤ４は、各符号器１１、１２、１
３、１４によつて符号化されて圧縮処理が施され、この
結果各符号器１１、１２、１３、１４から解像度の異な
る第１、第２、第３及び第４の階層データＤ１１、Ｄ１
２、Ｄ１３及びＤ１４が、所定の順序で伝送路に送出さ
れる。

【０００８】このようにして伝送される第１〜第４の階
層データＤ１１〜Ｄ１４は、図１０に示す画像復号化装
置２０によつて復号される。すなわち第１〜第４の階層
データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、
２３、２４によつて復号され、この結果復号器２４から
は第４の階層データＤ２４が出力される。

【０００９】また復号器２３の出力は加算回路２９にお
いて補間フイルタ２６より得られる第４の階層データＤ
２４の補間データと加算され、これにより第３の階層デ
ータＤ２３が復元される。同様にして復号器２２の出力
は加算回路３０において補間フイルタ２７より得られる
第３の階層データＤ２３の補間データと加算され、これ
により第２の階層データＤ２２が復元される。さらに復
号器２１の出力は加算回路３１において補間フイルタ２
８より得られる第２の階層データＤ２２の補間データと
加算され、これにより第１の階層データＤ２１が復元さ
れる。

【００１０】

【発明が解決しようとする課題】ところが、かかる階層
符号化方法を実現する画像符号化装置においては、入力
画像データを複数の階層データに分割して符号化するた
め、必然的に階層成分だけデータ量が増加し、その分階
層符号化を用いない高能率符号化方式に比して圧縮効率
が低下するという問題がある。また圧縮効率を向上しよ
うとした場合、各階層データ間に適用される量子化器に
よつて画質劣化が発生する問題がある。

【００１１】本発明は以上の点を考慮してなされたもの
で、画像データを階層符号化する際に圧縮効率を向上し
得ると共に画質劣化を低減し得る画像処理装置、画像処
理方法、画像符号化装置及び画像符号化方法を提案しよ
うとするものである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、解像度の最も低い最上位階層情報
から解像度の最も高い最下位階層情報でなる複数の階層
情報からなる画像データを処理する画像処理装置４０に
おいて、所定の階層より上位側の階層情報を量子化した
際の量子化特性を記録する記録手段と、記録手段によっ
て記録された量 子化特性の履歴に基づいて当該量子化特
性の履歴を分類する分類手段と、当該分類手段による分
類の傾向を反映するように量子化特性を決定する量子化
特性決定手段とを設けるようにする。

【００１３】また本発明においては、画像データＤ３１
を順次再帰的に異なる複数の解像度でなる複数の階層デ
ータＤ３２、Ｄ３３、Ｄ３４及びＤ３５に分割し、当該
階層データＤ３２、Ｄ３３、Ｄ３４及びＤ３５間で互い
に対応するブロツク毎に、解像度の低い上位階層データ
の量子化ステツプ幅ｐ０に基づいてブロツク内の階層間
データＤ４１、Ｄ４２、Ｄ４３及びＤ４４の量子化値を
決定し、当該ブロツク内の量子化値の分布に基づいて選
択されるゲインＧを、上位階層データの量子化ステツプ
幅ｐ０に乗ずることにより、上位階層データよりも解像
度の高い下位階層データの量子化ステツプ幅ｐ１を決定
する際、下位階層データよりも上位の階層データにおけ
るゲインの選択結果の履歴を用いて履歴分布を求め、下
位階層データの量子化ステツプ幅を決定する際に当該下
位階層データに隣接する上位階層データの量子化ステツ
プ幅ｐ０に乗ずるゲインＧを履歴分布に基づいて決定す
るようにする。

【００１４】

【作用】所定の階層よりも上位側の階層情報を量子化し
た際の量子化特性の履歴に基づいて当該量子化特性の履
歴を分類し、その分類の傾向を反映するように所定の階
層の量子化特性を決定することにより、当該所定の階層
における階層データに対して適切な量子化ステツプ幅を
得ることができる。

【００１５】上位階層データよりも解像度の高い下位階
層データの量子化ステツプ幅ｐ１を決定する際、下位階
層データよりも上位の階層データにおけるゲインの選択
結果の履歴を用いて求めた履歴分布に基づいて当該下位
階層データに隣接する上位階層データの量子化ステツプ
幅ｐ０に乗ずるゲインＧを決定することにより、各階層
データＤ４１、Ｄ４２、Ｄ４３、Ｄ４４及びＤ４５に適
応した量子化ステツプ 幅を決定することができる。

【００１６】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１７】（１）階層符号化の原理 図１は全体として本発明による階層符号化の原理とし
て、例えば高品位テレビジヨン信号等の静止画像を階層
符号化して圧縮する原理を示す。この階層符号化では下
位階層データの単純な算術平均で上位階層データを作
り、伝送すべき下位階層データを減少させて、情報量の
増加を伴わない階層構造を実現する。また上位階層から
下位階層の復号についてはブロツク毎のアクテイビテイ
に基づいて適応的に分割を制御することで、平坦部分の
情報量を削減する。さらに下位階層のために行う差分信
号の符号化では、その量子化特性を上位階層のアクテイ
ビテイに基づいて、付加コードなしにブロツク毎に切り
替えることにより高能率化を実現する。

【００１８】すなわちこの階層符号化の階層構造では、
まず入力される高品位テレビジヨン信号を下位階層と
し、この下位階層の２ライン×２画素の小ブロツク中の
４画素Ｘ1 〜Ｘ4 について、次式

【数１】 ｍ＝（Ｘ1 ＋Ｘ2 ＋Ｘ3 ＋Ｘ4 ）／４ ……（１） で表される算術平均を取り、その値ｍを上位階層の値と
する。この下位階層では、次式

【数２】 ΔＸｉ＝Ｘｉ−ｍ （但しｉ＝１〜３） ……（２） で示すように、上位階層との差分値を３画素分だけ用意
することで、元々の４画素データと同じ情報量で階層構
造を構成する。

【００１９】一方下位階層の復号に際しては３画素Ｘ1
〜Ｘ3 は、次式

【数３】 Ｅ〔Ｘｉ〕＝ΔＸｉ＋ｍ （但しｉ＝１〜３） ……（３） で表すように上位階層の平均値ｍにそれぞれの差分値Δ
Ｘi を加えて復号値Ｅ〔Ｘi 〕を求め、残つた１画素
は、次式

【数４】 Ｅ〔Ｘ4 〕＝ｍ×４−Ｅ〔Ｘ１〕−Ｅ〔Ｘ２〕−Ｅ〔Ｘ３〕 ……（４） で表すように上位階層の平均値ｍから下位階層の３個の
復号値を引く事で復号値Ｅ〔Ｘ4 〕を決定する。ここ
で、Ｅ〔 〕は復号値を意味する。

【００２０】ここでこの階層符号化においては、上位階
層から下位階層へは解像度が階層毎に４倍になるが、平
坦部ではこの分割を禁止する事で冗長度を削減してい
る。なおこの分割の有無を指示するためのフラグが１ビ
ツト、ブロツク単位で用意される。下位階層での分割の
必要性の判断は局所的なアクテイビテイとして、例えば
差分データの最大値で判断する。

【００２１】ここで階層符号化の例としてＩＴＥのＨＤ
標準画像（Ｙ信号）を用い、５階層符号化した場合の適
応分割結果を図２に示す。最大差分データに対する閾値
を変化させた時の各階層の画素数を本来の画素数に対す
る割合を示すが、空間相関に基づく冗長度削減のようす
が分かる。削減効率は画像によつて変わるが最大差分デ
ータに対する閾値を１〜６と変化させると、平均的な削
減率は28〜69〔％〕になる。

【００２２】実際上上位階層の解像度を４分の１倍にし
て下位階層を作り、そのとき下位階層では上位階層デー
タからの差分データを符号化することで、信号レベル幅
を有効に削減できる。図２について上述した階層符号化
による５階層の場合を、図３に示すが、ここでは階層を
下位から数えて第１〜５階層と名付けた。

【００２３】原画像の８ビツトＰＣＭデータに比べて、
信号レベル幅の削減が見られる。特に画素数の多い第１
〜４階層は差分信号なので、大幅な削減が達成でき、以
降の量子化で効率が向上する。図３の表からわかるよう
に削減効率の絵柄への依存性は少なく、全ての絵に対し
て有効である。

【００２４】また下位階層の平均値で上位階層を作る事
で、エラー伝播をブロツク内にとめながら、下位階層を
上位階層の平均値からの差分に変換する事で、効率の良
さも合わせ持つ事ができる。実際上階層符号化では同一
空間的位置での階層間のアクテイビテイには相関があ
り、上位階層の量子化結果から下位階層の量子化特性を
決定する事で、受信側に逆量子化のための量子化情報を
伝送する必要のない（但し、初期値を除く）適応量子化
器を実現できる。

【００２５】実際上、上述した５段階の階層構造に基づ
いて画像を階層符号化してマルチ解像度で表現し、階層
構造を利用した適応分割及び適応量子化を行う事で、各
種ＨＤ標準画像（８ビツトのＹ／ＰB ／ＰR ）を約１／
８に圧縮することができる。また適応分割のために用意
されるブロツク毎の付加コードは、圧縮効率の向上のた
めに各階層でランレングス符号化が行われる。このよう
にして、各階層で充分な画質の画像が得られ、最終的な
最下位階層も視覚的劣化のない良好な画像を得ることが
できる。

【００２６】（２）実施例の画像符号化装置 図４において、４０は本発明による画像符号化装置を示
し、入力画像データＤ３１が差分回路４１及び平均化回
路４２に入力される。平均化回路４２は、図５に示すよ
うに、最下位階層としての第１階層データでなる入力画
像データＤ３１の 4画素Ｘ１（１）〜Ｘ４（１）から第
２階層データＤ３２の画素Ｘ１（２）を生成する。この
第２階層データＤ３２の画素Ｘ１（２）に隣接する画素
Ｘ２（２）〜Ｘ４（２）も同様に第１階層データＤ３１
の 4画素平均により生成される。

【００２７】第２階層データＤ３２は差分回路４３及び
平均化回路４４に入力される。平均化回路４４は、第２
階層データＤ３２の 4画素平均により第３階層データＤ
３３を生成する。例えば図５に示す場合では、第２階層
データＤ３２の画素Ｘ１（２）〜Ｘ４（２）から第３階
層データＤ３３の画素Ｘ１（３）が生成されると共に、
画素Ｘ１（３）に隣接する画素Ｘ２（３）〜Ｘ４（３）
も同様に第２階層データＤ３２の 4画素平均により生成
される。

【００２８】第３階層データＤ３３は差分回路４５及び
平均化回路４６に入力される。平均化回路４６は上述の
場合と同様に第３階層データＤ３３の 4画素平均によ
り、図５に示すように、画素Ｘ１（４）〜Ｘ４（４）で
なる第４階層データＤ３４を生成する。この第４階層デ
ータＤ３４は差分回路４７及び平均化回路４８に入力さ
れる。平均化回路４８は、第４階層データＤ３４の 4画
素平均により最上位階層となる第５階層データＤ３５を
生成する。図５に示すように、第４階層データＤ３４の
4画素Ｘ１（４）〜Ｘ４（４）を平均化することにより
第５階層データＤ３５の画素Ｘ１（５）が生成される。

【００２９】従つて第１〜第５階層データＤ３１〜Ｄ３
５のブロツクサイズは、最下位階層である第１階層デー
タＤ３１のブロツクサイズを１×１とすると、第２階層
データＤ３２は1/2 ×1/2 、第３階層データＤ３３は1/
4 ×1/4 、第４階層データＤ３４は1/8 ×1/8 、最上位
階層データである第５階層データＤ３５は1/16×1/16と
なる。

【００３０】例えば上位階層データを空間的に対応する
下位階層データの 4画素平均化により生成する場合、上
位階層データをＭ、下位階層画素値をａ、ｂ、ｃ、ｄと
すると、伝送画素は、上位階層データＭ、下位階層画素
ａ、ｂ、ｃの 4画素のままで良いことになる。すなわち
Ｍ、ａ、ｂ、ｃ、ｄを用いて、次式、

【数５】 ｄ＝４×Ｍ−（ａ＋ｂ＋ｃ） ……（５） で表される算術式によりデコーダ側において非転送画素
ｄを容易に復元することができる。

【００３１】この階層間の関係模式図を 4階層の例につ
いて図６に示す。ここで各階層データは、下位階層の 4
画素平均により生成されており、図中の斜線部分のデー
タを伝送しなくとも（５）式で示す算術式により全デー
タを復元することができる。この結果、画像符号化装置
４０においては、続く符号器による符号化対象画素数を
低減し得、これにより複数の階層画像に分解した上で符
号化をする場合でも圧縮効率の低下を回避し得るように
なされている。

【００３２】ここで画像符号化装置４０においては、符
号器４９によつて第５階層データＤ３５を圧縮符号化す
ることにより第５階層圧縮符号化データＤ５５を生成す
る。また画像符号化装置４０においては、以上の５つの
各階層データＤ３１〜Ｄ３５について、隣接階層間の差
分演算を施すことにより、階層間差分データＤ４４、Ｄ
４３、Ｄ４２、Ｄ４１を生成するようになされている。

【００３３】すなわち画像符号化装置４０においては、
先ず差分回路４７に第４階層データＤ３４を入力すると
共に、第５階層圧縮符号化データＤ５５を復号器５０に
より復元して復元データＤ３６として入力する。これに
より差分回路４７は第４階層データＤ３４と第５階層デ
ータＤ３５との階層間差分データＤ４４を発生し、これ
を符号器５１に出力する。符号器５１は階層間差分デー
タＤ４４を圧縮符号化することにより第４階層圧縮符号
化データＤ５４を生成する。

【００３４】次に、画像符号化装置４０においては、差
分回路４５に、第３階層データＤ３３を入力すると共
に、第４階層圧縮符号化データＤ５４を復号器５２によ
り復元して第４階層データＤ３４と同様の復元データＤ
３７を入力する。これにより差分回路４５は第３階層デ
ータＤ３３と復元データＤ３７（すなわち第４階層デー
タＤ３４）との階層間差分データＤ４３を発生し、これ
を符号器５３に出力する。符号器５３は階層間差分デー
タＤ４３を圧縮符号化することにより第３階層圧縮符号
化データＤ５３を生成する。

【００３５】同様に、画像符号化装置４０においては、
差分回路４３に、第２階層データＤ３２を入力すると共
に、第３階層圧縮符号化データＤ５３を復号器５４によ
り復元して第３階層データＤ３３と同様の復元データＤ
３８を入力する。これにより差分回路４３は第２階層デ
ータＤ３２と復元データＤ３８（すなわち第３階層デー
タＤ３３）との階層間差分データＤ４２を発生し、これ
を符号器５５に出力する。符号器５５は階層間差分デー
タＤ４２を圧縮符号化することにより第２階層圧縮符号
化データＤ５２を生成する。

【００３６】画像符号化装置４０は、最後に、差分回路
４１に、第１階層データＤ３１を入力すると共に、第２
階層圧縮符号化データＤ５２を復号器５６により復元し
て第２階層データＤ３２と同様の復元データＤ３９を入
力する。これにより差分回路４１は第１階層データＤ３
１と復元データＤ３９（すなわち第２階層データＤ３
２）との階層間差分データＤ４１を発生し、これを符号
器５７に出力する。符号器５７は階層間差分データＤ４
１を圧縮符号化することにより第１階層圧縮符号化デー
タＤ５１を生成する。

【００３７】このように画像符号化装置４０において
は、第５階層圧縮符号化データＤ５５、第４階層圧縮符
号化データＤ５４、第３階層圧縮符号化データＤ５３、
第２階層圧縮符号化データＤ５２、第１階層圧縮符号化
データＤ５１を順次この順序で生成するようになされて
いる。

【００３８】（３）量子化ステツプ幅の選定ここで符号器４９、５１、５３、５５、５７はそれぞれ
量子化器を有する。 画像符号化装置４０においては、上
位階層データに対応する下位階層データ領域を「ブロツ
ク」と定義すると、このブロツク内の階層間差分データ
Ｄ４１〜Ｄ４４のアクテイビテイによりブロツク内のデ
ータ変化の特性を把握し、このデータ特性に基づいて量
子化器の特性を決定するようになされている。ここでア
クテイビテイとは、所定ブロツク内の階層間差分データ
Ｄ４１〜Ｄ４ ４の最大値、平均値、絶対値和、標準偏差
又はｎ乗和等により求めることができる相関値である。

【００３９】実施例の場合、量子化器として 2ビツト量
子化器が用いられ、この量子化器において差分値が＋12
8 〜−128 の範囲にある階層間差分データを 2ビツト量
子化する場合の量子化特性を図７に示す。このように差
分値は、０〜３までに量子化される。また実施例の場
合、各階層データは 2× 2の 4画素平均により上位階層
データが生成されているため、各ブロツクの下位階層に
は 4画素が存在する。

【００４０】ここで各量子化器の量子化特性の決定手法
としては、先ず上位階層で決定済みの量子化ステツプ幅
により、階層間差分データを 2ビツト量子化する。この
とき図７に示す 0〜 3のいずれかの量子化値が生成され
る。ここでブロツク内 4画素の量子化値の分布は、ブロ
ツク内のアクテイビテイを表わすため、この 4画素の量
子化値の分布に基づいて次の階層の量子化ステツプ幅を
決定する。かくして量子化ステツプ幅をブロツク内量子
化値分布に基づいて選定するようにしたことにより、量
子化器の種類を示す付加コードが不要となる。

【００４１】この結果画像符号化装置４０においては、
符号器４９、５１、５３、５５、５７による圧縮効率を
向上させることができると共に、圧縮符号化処理の際の
画質劣化を低減することができる。次に実施例における
量子化ステツプ幅の決定規則を説明する。先ず各量子化
値０〜３を、図７に示すように、区間Ａ及びＢに分類す
る。すなわち量子化値が１又は２であつた場合にはこれ
を区間Ａとし、量子化値が０又は３であつた場合にはこ
れを区間Ｂとする。

【００４２】ここで高画質の画像を効率良く形成する場
合の量子化器の特性として、アクテイビテイの高いブロ
ツクにおいては、量子化ステツプ幅の大きな粗い量子化
器を用い、これに対してアクテイビテイの低いブロツク
においては、量子化ステツプ幅の狭い量子化器を用いる
ことが必要であることを考慮して、以下の規則を設定す
る。

【００４３】すなわち、量子化器においては、上位階層
の量子化ステツプ幅をｐ0 、下位階層の量子化ステツプ
幅をｐ1 としたとき、 規則１） 4画素の量子化値が全て区間Ｂに属する場合、ｐ1 ＝ 2×ｐ0 規則２） 4画素の量子化値が区間Ａと区間Ｂに属する場合、ｐ1 ＝ｐ0 規則３） 4画素の量子化値が全て区間Ａに属する場合、ｐ1 ＝ｐ0 /2 に基づいて下位階層の量子化ステツプ幅ｐ1 を決定す
る。

【００４４】ここで規則１は、ブロツク内アクテイビテ
イが大きい場合に対応し、この場合に次の下位階層の量
子化ステツプ幅を大きくし、量子化歪みを抑制する機能
を果たす。また規則２は、ブロツク内アクテイビテイの
状態として多くの場合が考えられるが、一般的には空間
相関により区間Ｂのデータの絶対値は大きくないと考え
られるため、上位階層の量子化ステツプ幅を保持する機
能を果たす。さらに規則３は、ブロツク内アクテイビテ
イが小さい場合に対応し、この場合に次の下位階層の量
子化ステツプ幅を小さくし、平坦部分での画質劣化を抑
制する機能を果たす。

【００４５】このように画像符号化装置４０において
は、上位階層のブロツク内アクテイビテイに応じて下位
階層の量子化ステツプ幅を決定するようになされてい
る。

【００４６】 （４）履歴に基づく量子化ステツプ幅の選定 また画像符号化装置４０においては、上述のように規則
１〜規則３に従つて量子化ステツプ幅を決定するのに加
えて、この際決定対象の階層より上位階層における量子
化ステツプ幅の決定結果の記録、すなわち上位階層にお
ける量子化ステツプ幅の選択履歴を、現在の量子化ステ
ツプ幅の決定対象である階層に反映させるようになされ
ている。

【００４７】上述した規則１〜規則３は、ゲインＧを用
いて、ｐ1 ＝Ｇ×ｐ0 と表され、4画素の量子化値の組
合せに応じてゲインＧを決定するものである。ここで実
施例の画像符号化装置４０においては、決定対象の階層
より上位階層の決定履歴（すなわち履歴信号Ｓ１〜Ｓ
４）と、規則１〜規則３とに基づいて、一段とアクテイ
ビテイに適応したゲインＧを決定し、このゲインＧを現
階層で用いた量子化ステツプ幅にかけ合わせることによ
って新しい量子化ステップ幅を決定するようになされて
いる。なお、上位階層における量子化ステツプ幅の決定
履歴とは、換言すれば、ゲインＧの選択結果の履歴とい
うことができる。

【００４８】説明のため、ブロツク内量子化値パターン
を次のように分類する。 パターン１） 4画素の量子化値が全て区間Ｂに属する場合。 パターン２） 4画素の量子化値が区間Ａと区間Ｂに属する場合。 パターン３） 4画素の量子化値が全て区間Ａに属する場合。 さらに、量子化値の決定対象となる階層より上位階層の
決定履歴における各パターンの度数を次のように定義す
る。 Ｎ１） 上位階層決定履歴におけるパターン１の度数。 Ｎ２） 上位階層決定履歴におけるパターン２の度数。 Ｎ３） 上位階層決定履歴におけるパターン３の度数。

【００４９】量子化器においては、このパターン１〜パ
ターン３とＮ１〜Ｎ３を用いて、上述の規則１を以下の
規則１−１〜規則１−４に詳細分類し、この規則１−１
〜規則１−４により得られるゲインＧに基づいて量子化
ステツプ幅を決定する。 規則１−１） パターン１であつて、Ｎ３＝０の場合、Ｇ＝２ 規則１−２） パターン１であつて、Ｎ１＝０の場合、Ｇ＝1.5 規則１−３） パターン１であつて、Ｎ１＞ＴＨ０かつＮ３＞ＴＨ１の場合、 Ｇ＝1.0 。ここでＴＨ０及びＴＨ１はパターン発生度数のしき い値であり、このしきい値ＴＨ０及びＴＨ１は階層番号（第１ 階層〜第５階層）に応じて決定する。 規則１−４） パターン１であつて、上位階層決定履歴が上記以外の場合、Ｇ ＝2.0

【００５０】このように規則１をさらに規則１−１〜規
則１−４に詳細分類した理由は、規則１は上位階層にお
ける量子化ステツプ幅に対して大きなゲイン（Ｇ＝２）
を与えるため、複数階層に亘る決定においては、ゲイン
Ｇが発振することにより量子化ステツプ幅が発振するお
それがあるためである。すなわち、規則１〜規則３のよ
うに、量子化ステツプ幅の決定対象となる階層の直前の
上位階層のアクテイビテイのみに基づいて現在の量子化
ステツプ幅を決定しようとすると、ゲインＧ＝２と、ゲ
インＧ＝1/2 とが交錯して現れ、このときゲインＧが発
振し、適切な量子化ステツプ幅を選定し得ない。

【００５１】そこで、実施例の画像符号化装置４０にお
いては、規則１−１〜規則１−４に基づいて上位階層で
のゲインＧの選択履歴を考慮することにより、階層画像
の特性に応じてゲインＧを収束させ、これによりゲイン
Ｇの発振による画質劣化を未然に回避するようになされ
ている。

【００５２】すなわち、規則１−１は、選択履歴におい
てもブロツクの高アクテイビテイが認められる場合であ
り、このときこの階層の量子化器は大きいゲイン（Ｇ＝
２）を与えて、量子化ステツプ幅を決定することを意味
する。また規則１−２は、選択履歴においてはブロツク
のアクテイビテイが高いとはいえない場合であり、この
とき量子化器は徐々にゲインＧを下げることを意味す
る。さらに規則１−３は、選択履歴において、大きいゲ
インＧと小さいゲインＧの双方が出現する場合であり、
このとき量子化器はゲインＧが発振しているおそれがあ
ることにより、ゲインＧの前値ホールドを行うことを意
味する。さらに規則１−４は、パターン１の一般的な処
理を行うことを意味する。

【００５３】かくして実施例の画像符号化装置４０にお
いては、規則１−１〜規則１−４、規則２及び規則３に
基づいて量子化ステツプ幅のゲインＧを決定し、この決
定されたゲインＧを隣接する上位階層の量子化ステツプ
幅に乗じて現階層の量子化ステツプ幅を決定するように
したことにより、ゲインＧによる量子化ステツプ幅の発
振を未然に回避することができ、これにより量子化の際
の画像劣化を一段と低減することができる。

【００５４】（５）実施例の動作 以上の構成において、画像符号化装置４０は、図８に示
すような処理手順に従つて順次第１〜第ｎ階層圧縮符号
データを生成する（実施例の場合ｎ＝５）。すなわち画
像符号化装置４０は、ステツプＳＰ１から入つてステツ
プＳＰ２において、ｎ階層を想定して階層カウンタＩに
ｎ−１を入力する。

【００５５】画像符号化装置４０は、続くステツプＳＰ
３において、平均化回路４２、４４、４６、４８によつ
てｎ階層分の階層データＤ３１〜Ｄ３５を生成し、ステ
ツプＳＰ４に進む。ここで画像符号化装置４０は最上位
階層の属性となる量子化ステツプ幅の初期値を設定す
る。画像符号化装置４０は、続くステツプ５において、
最上位階層データＤ３５の符号化及び復号化処理を実行
する。因に、このとき画像符号化装置４０はステツプＳ
Ｐ４において初期化した量子化ステツプ幅の初期値によ
り最上位階層データＤ３５を量子化するわけではなく、
量子化ステツプ幅の初期値は下位階層での量子化ステツ
プ幅を決定するための初期値として設定されている。

【００５６】次に画像符号化装置４０はステツプＳＰ６
に進んで、先ず差分回路４７、４５、４３又は４１によ
つて階層間差分演算を行い、このとき生成される階層間
差分データＤ４４、Ｄ４３、Ｄ４２又はＤ４１に対して
上位階層の量子化ステツプ幅による量子化を実行する。
次に画像符号化装置４０はステツプＳＰ７において、ブ
ロツク内の量子化値の分布を判定し、ステツプＳＰ８に
おいて、上述の規則１−１〜規則１−４、規則２及び規
則３に従つた判定を行い、当該判定結果に基づいて量子
化ステツプ幅を決定し、下位階層に伝送する。

【００５７】画像符号化装置４０は、続くステツプＳＰ
９において、ステツプＳＰ８で決定した量子化ステツプ
幅を用いて階層間差分データＤ４４、Ｄ４３、Ｄ４２又
はＤ４１の符号化及び復号化を実行する。画像符号化装
置４０はステツプＳＰ１０において、階層カウンタＩを
デイクリメントし、続くステツプＳＰ１１において階層
カウンタＩが０であるか否か判断する。

【００５８】ここで肯定結果が得られると、このことは
全階層の処理が終了したことを意味し、このとき画像符
号化装置４０はステツプＳＰ１２に移つて当該処理手順
を終了する。これに対してステツプＳＰ１１において否
定結果が得られると、画像符号化装置４０はステツプＳ
Ｐ５に戻つて１つ下の階層に対して上述したステツプＳ
Ｐ５〜ステツプＳＰ１０の処理を繰り返す。

【００５９】（６）実施例の効果 以上の構成によれば、上位階層におけるゲインＧの選択
履歴を参考にして、下位階層の量子化ステツプ幅ｐ1を
決定する際のゲインＧを決定するようにしたことによ
り、各階層データに対して適切な量子化ステツプ幅を得
ることができ、画質劣化の低減した画像符号化装置４０
を実現することができる。

【００６０】（７）他の実施例 なお上述の実施例においては、全階層の量子化器につい
ての量子化ステップ幅のゲインＧを、規則１−１〜規則
１−４、規則２及び規則３に基づいて決定する場合につ
いて述べたが、本発明はこれに限らず、必ずしも全階層
に亘つて規則１−１〜規則１−４、規則２及び規則３に
基づいて量子化ステツプ幅を決定する必要はなく、階層
毎に適用するゲイン決定規則を変更するようにしても良
い。

【００６１】すなわち、階層符号化においては階層間で
画像の大きさが異なることにより、画質劣化の見え方と
符号化効率が階層間で異なることを考慮すると、必ずし
も全階層に亘つて同じゲイン決定規則を適用する必要は
ないと考えられるため、例えば、下位階層においては、
上述した規則１−１〜規則１−４、規則２及び規則３を
適用して量子化ステツプ幅を決定するのに対して、上位
階層においては、規則１〜規則３を適用するようにして
も良い。このようにすれば、画質の見え方に応じた量子
化ステツプ幅を決定し得、符号化効率の良い画像符号化
装置を得ることができる。

【００６２】また上述の実施例においては、上位階層に
おける量子化ステツプ幅の決定履歴を下位階層の量子化
ステツプ幅に反映させるゲイン決定規則として規則１〜
規則３及び規則１−１〜規則１−４を用いた場合につい
て述べたが、本発明はこれに限らず、ゲイン決定規則と
しては種々のものを適用することができ、要は上位階層
における量子化ステツプ幅の決定履歴を下位階層の量子
化ステツプ幅に反映させることができれば良い。

【００６３】この場合、上位階層における量子化ステツ
プ幅の決定履歴を下位階層の量子化ステツプ幅に反映さ
せるためのゲインＧは、Ｗｉ（Ｈ，ｐ0 ）と関数表現で
き、この結果下位階層の量子化ステツプ幅ｐ1 は、隣接
する上位階層の量子化ステツプ幅をｐ0 を用いて、ｐ1
＝Ｗｉ（Ｈ，ｐ0 ）×ｐ0 と表わすことができる。

【００６４】

【発明の効果】上述のように本発明によれば、所定の階
層よりも上位側の階層情報を量子化した際の量子化特性
の履歴に基づいて当該量子化特性の履歴を分類し、その
分類の傾向を反映するように所定の階層の量子化特性を
決定することにより、当該所定 の階層における階層デー
タに対して適切な量子化ステップ幅を得ることができ、
かくして画質劣化の低減した画像処理装置及び画像処理
方法を実現することができる。

【００６５】また本発明によれば、上位階層データより
も解像度の高い下位階層データの量子化ステツプ幅ｐ１
を決定する際、下位階層データよりも上位の階層データ
におけるゲインの選択結果の履歴を用いて求めた履歴分
布に基づいて当該下位階層データに隣接する上位階層デ
ータの量子化ステツプ幅ｐ０に乗ずるゲインＧを決定す
ることにより、各階層データＤ４１、Ｄ４２、Ｄ４３、
Ｄ４４及びＤ４５に適応した量子化ステツプ幅を決定す
ることができ、かくして画質劣化の低減した画像符号化
装置及び画像符号化方法を実現することができる。

【図面の簡単な説明】

【図１】本発明による画像符号化装置によつて生成され
る階層データの説明に供する略線図である。

【図２】ＨＤ標準画像における適応分割結果を示す図表
である。

【図３】ＨＤ標準画像における各階層の信号レベルの標
準偏差を示す図表である。

【図４】本発明による画像符号化装置の一実施例の回路
構成を示すブロツク図である。

【図５】階層データの生成動作の説明に供する略線図で
ある。

【図６】階層データの階層構造の説明に供する略線図で
ある。

【図７】実施例による量子化器の特性を示す略線図であ
る。

【図８】階層符号化の動作の説明に供するフローチヤー
トである。

【図９】従来の画像符号化装置を示すブロツク図であ
る。

【図１０】従来の画像復号化装置を示すブロツク図であ
る。

【符号の説明】

４０……画像符号化装置、４１、４３、４５、４７……
差分回路、４２、４４、４６、４８……平均化回路、４
９、５１、５３、５５、５７……符号器、５０、５２、
５４、５６……復号器、Ｄ３１〜Ｄ３５……階層デー
タ、Ｄ４１〜Ｄ４４……階層間差分データ、Ｄ５１〜Ｄ
５５……階層圧縮復号データ。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419

Claims (11)

(57)【特許請求の範囲】
1. 【請求項１】解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報でなる複数の階層情報から
   なる画像データを処理する画像処理装置において、所定の階層より上位側の階層情報を量子化した際の量子
   化特性を記録する記録手段と 、上記記録手段によって記録された上記量子化特性の履歴
   に基づいて当該量子化特性の履歴を分類する分類手段
   と 、上記分類手段による上記分類の傾向を反映するように上
   記 量子化特性を決定する量子化特性決定手段とを具える
   ことを特徴とする画像処理装置。
2. 【請求項２】上記量子化特性決定手段により決定された
   上記量子化特性に基づいて上記所定の階層の階層情報を
   量子化する量子化手段と を具えることを特徴とする請求
   項１に記載の画像処理装置。
3. 【請求項３】上記量子化特性は、量子化ステツプ幅であ
   る ことを特徴とする請求項１に記載の画像処理装置。
4. 【請求項４】上記量子化手段は、上記上位側の階層情報
   に対応する上記所定の階層のブロックを量子化する こと
   を特徴とする請求項２に記載の画像処理装置。
5. 【請求項５】上記所定の階層より上位側の階層情報を量
   子化した量子化値の分布を求める分布手段とを有し、 上記量子化特性決定手段は、上記量子化値の分布の傾向
   をも反映するように上記所定の階層の量子化特性を決定
   する ことを特徴とする請求項１に記載の画像処理装置。
6. 【請求項６】上記量子化特性は、量子化ステツプ幅であ
   る ことを特徴とする請求項５に記載の画像処理装置。
7. 【請求項７】上記量子化特性決定手段は、量子化ステツ
   プ幅を決定する際に用いるゲインを上記履歴及び上記分
   布の少なくともいずれか一方の傾向を反映するようにし
   て求める ことを特徴とする請求項６に記載の画像処理装
   置。
8. 【請求項８】上記量子化特性決定手段は、上記ゲインを
   階層毎に異なる規則で決定する ことを特徴とする請求項
   ７に記載の画像処理装置。
9. 【請求項９】画像データを順次再帰的に異なる複数の解
   像度でなる複数の階層データに分割し、当該階層データ
   間で互いに対応するブロツク毎に、解像度の低い上位階
   層データの量子化ステツプ幅に基づいて上記ブロツク内
   の階層間データの量子化値を決定し、当該ブロツク内の
   量子化値の分布に基づいて選択されるゲインを、上記上
   位階層データの量子化ステツプ幅に乗ずることにより、
   上記上位階層データよりも解像度の高い下位階層データ
   の量子化ステツプ幅を決定する画像符号化装置におい
   て、 当該下位階層データよりも上位の階層データにおけるゲ
   インの選択結果の履歴を用いて履歴分布を求め、 上記下位階層データの量子化ステツプ幅を決定する際に
   当該下位階層データに隣接する上位階層データの量子化
   ステツプ幅に乗ずるゲインを、上記履歴分布に基づいて
   決定する ことを特徴とする画像符号化装置。
10. 【請求項１０】解像度の最も低い最上位階層情報から解
    像度の最も高い最下位階層情報でなる複数の階層情報か
    らなる画像データを処理する画像処理方法において、所定の階層より上位側の階層情報を量子化した際の量子
    化特性を記録する第１のステツプと 、上記第１のステツプで記録された上記量子化特性の履歴
    に基づいて当該量子化特性の履歴を分類する第２のステ
    ツプと 、上記第２のステツプで上記分類の傾向を反映するように
    上記量子化特性を決定する第３のステツプと を具えるこ
    とを特徴とする画像処理方法。
11. 【請求項１１】 画像データを順次再帰的に異なる複数の
    解像度でなる複数の階層データに分割し、当該階層デー
    タ間で互いに対応するブロツク毎に、解像度の低い上位
    階層データの量子化ステツプ幅に基づいて上記ブロツク
    内の階層間データの量子化値を決定し、当該ブロツク内
    の量子化値の分布に基づいて選択されるゲインを、上記
    上位階層データの量子化ステツプ幅に乗ずることによ
    り、上記上位階層データよりも解像度の高い下位階層デ
    ータの量子化ステツプ幅を決定する画像符号化方法にお
    いて、 当該下位階層データよりも上位の階層データにおけるゲ
    インの選択結果の履歴を用いて履歴分布を求め、 上記下位階層データの量子化ステツプ幅を決定する際に
    当該下位階層データに隣接する上位階層データの量子化
    ステツプ幅に乗ずるゲインを、上記履歴分布に基づいて
    決定する ことを特徴とする画像符号化方法。