JP3429047B2 - 復号装置及び復号方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図１１及び図１２） 発明が解決しようとする課題（図１１及び図１２） 課題を解決するための手段（図８及び図９） 作用（図８及び図９） 実施例 （１）階層符号化の原理（図１〜図３） （２）実施例の階層符号化装置（図４〜図７） （２−１）構成 （２−２）分割処理 （３）実施例の画像復号化装置（図８〜図１０） （３−１）構成 （３−２）平滑化処理 （３−３）平滑化処理による「色にじみ」の発生原理 （３−４）平滑判定閾値Ｌの選定 （４）実施例の効果 （５）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は復号装置及び復号方法に
関し、特に所定の画像データを解像度の異なる複数の階
層データに分割して符号化された複数階層分の画像符号
化データを復号する復号装置及び復号方法に適用して好
適なものである。

【０００３】

【従来の技術】従来、所定の画像データを解像度の異な
る複数の画像データに分割して符号化する画像符号化装
置がある。この種の画像符号化装置は、入力画像データ
をピラミツド符号化等の階層符号化の手法を用いて階層
的に符号化するようになされている。すなわちこの画像
符号化装置においては、高解像度の入力画像データを第
１の階層データとして、この第１の階層データよりも解
像度が低い第２の解像データ、さらに第２の解像データ
よりも解像度が低い第３の階層データ、……を順次再帰
的に形成し、これら複数の階層データを１つの通信路や
記録再生経路でなる伝送路で伝送する。

【０００４】またこの複数の階層データを復号化する画
像復号化装置では、複数の画像データについて全て復号
化することに加えて、それぞれに対応するテレビジヨン
モニタの解像度等により、何れかの階層データのうち所
望の１つを選択して復号化し得る。これにより、階層化
された複数の階層データから所望の階層データのみにつ
いて復号化することにより、必要最小限の伝送データ量
で所望の画像データを得ることもできる。

【０００５】図１１に示すように、この階層符号化とし
て例えば４階層の符号化を実現する画像符号化装置１で
は、それぞれ３段分の間引きフイルタ２、３、４と補間
フイルタ５、６、７とを有し、入力画像データＤ１につ
いて各段の間引きフイルタ２、３、４によつて順次解像
度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成すると
共に補間フイルタ５、６、７により縮小画像データＤ
２、Ｄ３、Ｄ４を縮小前の解像度に戻す。

【０００６】各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４
及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７はそれぞれ
差分回路８、９、１０に入力され、これにより差分デー
タＤ８、Ｄ９、Ｄ１０が生成される。この結果画像符号
化装置１においては、階層データのデータ量を低減する
と共に信号電力を低減する。ここでこの差分データＤ８
〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が１、
1/4 、1/16、1/64のサイズとなつている。

【０００７】各差分回路８〜１０より得られる差分デー
タＤ８〜Ｄ１０及び間引きフイルタ４より得られる縮小
画像データＤ４は、各符号器１１、１２、１３、１４に
よつて符号化されて圧縮処理が施され、この結果各符号
器１１、１２、１３、１４から解像度の異なる第１、第
２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１３
及びＤ１４が、所定の順序で伝送路に送出される。

【０００８】このようにして伝送される第１〜第４の階
層データＤ１１〜Ｄ１４は、図１２に示す画像復号化装
置２０によつて復号される。すなわち第１〜第４の階層
データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、
２３、２４によつて復号され、この結果復号器２４から
は第４の階層データＤ２４が出力される。

【０００９】また復号器２３の出力は加算回路２９にお
いて補間フイルタ２６より得られる第４の階層データＤ
２４の補間データと加算され、これにより第３の階層デ
ータＤ２３が復元される。同様にして復号器２２の出力
は加算回路３０において補間フイルタ２７より得られる
第３の階層データＤ２３の補間データと加算され、これ
により第２の階層データＤ２２が復元される。さらに復
号器２１の出力は加算回路３１において補間フイルタ２
８より得られる第２の階層データＤ２２の補間データと
加算され、これにより第１の階層データＤ２１が復元さ
れる。

【００１０】

【発明が解決しようとする課題】ところが、かかる階層
符号化方法を実現する画像符号化装置においては、入力
画像データを複数の階層データに分割して符号化するた
め、必然的に階層成分だけデータ量が増加し、その分階
層符号化を用いない高能率符号化方式に比して圧縮効率
が低下するという問題がある。また圧縮効率を向上しよ
うとした場合、復号側で画質劣化が発生する問題があ
る。

【００１１】本発明は以上の点を考慮してなされたもの
で、画像データを階層符号化して伝送した場合に、画質
劣化を低減し得る復号装置及び復号方法を提案しようと
するものである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、解像度の最も低い最上位階層情報
Ｄ３５から解像度の最も高い最下位階層情報でなる複数
の階層情報Ｄ４１〜Ｄ４４及びＤ３５からなる画像デー
タＤ３１に関し、所定の階層の階層情報に対して、複数
の画素からなる各ブロツクについて、ブロツクアクテイ
ビテイを判定した判定結果に基づいて、各階層の階層情
報の各ブロツクの伝送又は非伝送が制御されることで得
た符号化データＤ５１〜Ｄ５５を復号する復号装置６０
において、伝送がされなかつたブロツクである非伝送ブ
ロツクＭに対して、当該非伝送ブロツクＭの階層よりも
上位側の階層の階層情報のうち、非伝送ブロツクＭと対
応する位置のブロツクＭ及びその周辺のブロツクｍ０〜
ｍ７の平滑化データＸ１〜Ｘ４を生成する平滑化データ
生成手段７０〜７３と、平滑化データＸ１〜Ｘ４に基づ
いて、非伝送ブロツクＭに対する復号値を算出する算出
手段６６〜６９と、を具え、平滑化データ生成手段７０
〜７３は、非伝送ブロツクＭと対応する位置のブロツク
Ｍ及びその周辺のブロツクｍ０〜ｍ７から所定のブロツ
クを選択し、選択されたブロツクから平滑化データを生
成するようにする。

【００１３】解像度の最も低い最上位階層情報Ｄ３５か
ら解像度の最も高い最下位階層情報でなる複数の階層情
報Ｄ４１〜Ｄ４４及びＤ３５からなる画像データＤ３１
に関し、所定の階層の階層情報に対して、複数の画素か
らなる各ブロツクについて、ブロツクアクテイビテイを
判定した判定結果に基づいて、各階層の階層情報の各ブ
ロツクの伝送又は非伝送が制御されることで得た符号化
データＤ５１〜Ｄ５５を復号する復号装置６０におい
て、伝送がされなかつたブロツクである非伝送ブロツク
Ｍに対して、当該非伝送ブロツクＭの階層よりも上位側
の階層の階層情報のうち、非伝送ブロツクＭと対応する
位置のブロツクＭ及びその周辺のブロツクｍ０〜ｍ７の
平滑化データＸ１〜Ｘ４を生成する平滑化データ生成手
段７０〜７３と、平滑化データＸ１〜Ｘ４に基づいて、
非伝送ブロツクＭに対する復号値を算出する算出手段６
６〜６９と、を具え、平滑化データ生成手段７０〜７３
は、階層のそれぞれに応じて、非伝送ブロツクＭと対応
する位置のブロツクＭ及びその周辺のブロツクｍ０〜ｍ
７の平滑化処理を選択するようにする。

【００１４】解像度の最も低い最上位階層情報Ｄ３５か
ら解像度の最も高い最下位階層情報でなる複数の階層情
報Ｄ４１〜Ｄ４４及びＤ３５からなる画像データＤ３１
に関し、所定の階層の階層情報に対して、複数の画素か
らなる各ブロツクについて、ブロツクアクテイビテイを
判定した判定結果に基づいて、各階層の階層情報の各ブ
ロツクの伝送又は非伝送が制御されることで得た符号化
データＤ５１〜Ｄ５５を復号する復号方法において、伝
送がされなかつたブロツクである非伝送ブロツクＭに対
して、当該非伝送ブロツクＭの階層よりも上位側の階層
の階層情報のうち、非伝送ブロツクＭと対応する位置の
ブロツクＭ及びその周辺のブロツクｍ０〜ｍ７の平滑化
データＸ１〜Ｘ４を生成する第１のステツプと、平滑化
データＸ１〜Ｘ４に基づいて、非伝送ブロツクＭに対す
る復号値を算出する第２のステツプと、を具え、第１の
ステツプでは、非伝送ブロツクＭと対応する位置のブロ
ツクＭ及びその周辺のブロツクｍ０〜ｍ７から所定のブ
ロツクを選択し、選択されたブロツクから平滑化データ
を生成するようにする。

【００１５】解像度の最も低い最上位階層情報Ｄ３５か
ら解像度の最も高い最下位階層情報でなる複数の階層情
報Ｄ４１〜Ｄ４４及びＤ３５からなる画像データＤ３１
に関し、所定の階層の階層情報に対して、複数の画素か
らなる各ブロツクについて、ブロツクアクテイビテイを
判定した判定結果に基づいて、各階層の階層情報の各ブ
ロツクの伝送又は非伝送が制御されることで得た符号化
データＤ５１〜Ｄ５５を復号する復号方法において、伝
送がされなかつたブロツクである非伝送ブロツクＭに対
して、当該非伝送ブロツクＭの階層よりも上位側の階層
の階層情報のうち、非伝送ブロツクＭと対応する位置の
ブロツクＭ及びその周辺のブロツクｍ０〜ｍ７の平滑化
データＸ１〜Ｘ４を生成する第１のステツプと、平滑化
データＸ１〜Ｘ４に基づいて、非伝送ブロツクＭに対す
る復号値を算出する第２のステツプと、を具え、第１の
ステツプでは、階層のそれぞれに応じて、非伝送ブロツ
クＭと対応する位置のブロツクＭ及びその周辺のブロツ
クｍ０〜ｍ７の平滑化処理を選択するようにする。

【００１６】

【作用】画像を形成する複数の信号の相互関係又は信号
特性に応じて、分割が中止された上位階層ブロツクＭ及
び上位階層ブロツクＭの空間内周辺データｍ０〜ｍ７を
用いて上位階層ブロツクＭに対応する下位階層ブロツク
の復号値Ｘ１〜Ｘ４を求める際の処理を選択するように
すれば、復元画像に現れるブロツク間での「色にじみ」
や「色もれ」等を有効に回避し得、画質劣化を低減する
ことができる。

【００１７】同様に、階層（第１〜第５階層）に応じ
て、分割が中止された上位階層ブロツクＭ及び上位階層
ブロツクＭの空間内周辺データｍ０〜ｍ７を用いて上位
階層ブロツクＭに対応する下位階層ブロツクの復号値Ｘ
１〜Ｘ４を求める際の処理を選択するようにすれば、復
元画像に現れるブロツク間での「色にじみ」や「色も
れ」等を有効に回避し得、画質劣化を低減することがで
きる。

【００１８】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１９】（１）階層符号化の原理 図１は全体として本発明による階層符号化の原理とし
て、例えば高品位テレビジヨン信号等の静止画像を階層
符号化して圧縮する原理を示す。この階層符号化では下
位階層データの単純な算術平均で上位階層データを作る
ことで、情報量の増加を伴わない階層構造を実現する。
また上位階層から下位階層の復号についてはブロツク毎
のアクテイビテイに基づいて適応的に分割を制御するこ
とで、平坦部分の情報量を削減する。さらに下位階層の
ために行う差分信号の符号化では、その量子化特性を上
位階層のアクテイビテイに基づいて、付加コードなしに
ブロツク毎に切り替えることにより高能率化を実現す
る。

【００２０】すなわちこの階層符号化の階層構造では、
まず入力される高品位テレビジヨン信号を下位階層と
し、この下位階層の２ライン×２画素の小ブロツク中の
４画素Ｘ1 〜Ｘ4 について、次式

【数１】 で表される算術平均を取り、その値ｍを上位階層の値と
する。この下位階層では、次式

【数２】 で示すように、上位階層との差分値を３画素分だけ用意
することで、元々の４画素データと同じ情報量で階層構
造を構成する。

【００２１】一方下位階層の復号に際しては３画素Ｘ1
〜Ｘ3 は、次式

【数３】 で表すように上位階層の平均値ｍにそれぞれの差分値Δ
Ｘi を加えて復号値Ｅ〔Ｘi 〕を求め、残つた１画素
は、次式

【数４】 で表すように上位階層の平均値ｍから下位階層の３個の
復号値を引く事で復号値Ｅ〔Ｘ4 〕を決定する。ここ
で、Ｅ〔 〕は復号値を意味する。

【００２２】ここでこの階層符号化においては、上位階
層から下位階層に向かうに従つて１つのブロツクを４つ
に分割するため、これに伴つてデータ量が階層毎に４倍
になるが、平坦部ではこの分割を禁止する事で冗長度を
削減している。なおこの分割の有無を指示するためのフ
ラグが１ビツト、ブロツク単位で用意される。下位階層
での分割の必要性の判断は局所的なアクテイビテイとし
て、例えば差分データの最大値で判断する。

【００２３】ここで階層符号化の例としてＩＴＥのＨＤ
標準画像（Ｙ信号）を用い、５階層符号化した場合の適
応分割結果を図２に示す。最大差分データに対する閾値
を変化させた時の各階層の画素数を本来の画素数に対す
る割合を示すが、空間相関に基づく冗長度削減のようす
が分かる。削減効率は画像によつて変わるが最大差分デ
ータに対する閾値を１〜６と変化させると、平均的な削
減率は28〜69〔％〕になる。

【００２４】実際上上位階層の解像度を４倍にして下位
階層を作り、このとき下位階層では上位階層データから
の差分データを符号化することで、信号レベル幅を有効
に削減できる。図２について上述した階層符号化による
５階層の場合を、図３に示すが、ここでは階層を下位か
ら数えて第１〜５階層と名付けた。

【００２５】原画像の８ビツトＰＣＭデータに比べて、
信号レベル幅の削減が見られる。特に画素数の多い第１
〜４階層は差分信号なので、大幅な削減が達成でき、以
降の量子化で効率が向上する。図３の表からわかるよう
に削減効率の絵柄への依存性は少なく、全ての絵に対し
て有効である。

【００２６】また下位階層の平均値で上位階層を作る事
で、エラー伝播をブロツク内にとめながら、下位階層を
上位階層の平均値からの差分に変換する事で、効率の良
さも合わせ持つ事ができる。実際上階層符号化では同一
空間的位置での階層間のアクテイビテイには相関があ
り、上位階層の量子化結果から下位階層の量子化特性を
決定する事で、付加コードを必要としない適応量子化器
を実現できる。

【００２７】実際上、上述した５段階の階層構造に基づ
いて画像を階層符号化してマルチ解像度で表現し、階層
構造を利用した適応分割及び適応量子化を行う事で、各
種ＨＤ標準画像（８ビツトのＹ／ＰB ／ＰR ）を約１／
８に圧縮することができる。また適応分割のために用意
されるブロツク毎の付加コードは、圧縮効率の向上のた
めに各階層でランレングス符号化が行われる。このよう
にして、各階層で充分な画質の画像が得られ、最終的な
最下位階層でも視覚的劣化のない良好な画像を得ること
ができる。

【００２８】（２）実施例の階層符号化装置 （２−１）構成 図４において、４０は階層符号化装置を示し、入力画像
データＤ３１を階層符号化して出力する階層符号化エン
コーダ部４０Ａと当該階層符号化エンコーダ部４０Ａに
おける発生情報量が目標値となるように制御する発生情
報量制御部４０Ｂとにより構成されている。階層符号化
エンコーダ部４０Ａはデータ遅延用のメモリＭ１（図
５）とエンコーダによつて構成されている。このうちメ
モリＭ１は発生情報量制御部４０Ｂにおいて最適制御値
が決定されるまでの間、エンコード処理が実行されない
ようにデータを遅延できるよう入力段に設けられてい
る。

【００２９】一方、発生情報量制御部４０Ｂは入力画像
データＤ３１を入力して処理対象データに適合した最適
制御値Ｓ１を設定し、これを階層符号化エンコーダ部４
０Ａに送出することにより、当該階層符号化エンコーダ
部４０Ａで効率の良い符号化ができるようになされてい
る。所謂フイードフオワード型のバツフアリング構成で
ある。

【００３０】階層符号化エンコーダ部４０Ａは図５に示
す構成でなり、この例の場合、５階層の解像度の異なる
圧縮画像データを生成するようになされている。まず入
力画像データＤ３１がメモリＭ１を介して第１の差分回
路４１及び第１の平均化回路４２に入力される。第１の
平均化回路４２は、入力画像データＤ３１（すなわち第
１階層データ（最下位階層データ））の４画素平均によ
り第２階層データＤ３２を生成する。この実施例の場
合、第１の平均化回路４２は、図６（Ｄ）及び（Ｅ）に
示すように、入力画像データＤ３１の４画素Ｘ1(1)〜Ｘ
4(1)から第２階層データＤ２の画素Ｘ１(2) を生成す
る。

【００３１】また第２階層データＤ３２の画素Ｘ1(2)に
隣接する画素Ｘ2(2)〜Ｘ4(2)も同様に第１階層データＤ
３１の４画素平均を求めることにより生成される。第２
階層データＤ３２は第２の差分回路４３及び第２の平均
化回路４４に入力され、第２の平均化回路４４は、第２
階層データＤ３２の４画素平均により第３階層データＤ
３３を生成する。例えば、図６（Ｃ）及び（Ｄ）に示す
第２階層データＤ３２の画素Ｘ1(2)〜Ｘ4(2)から第３階
層データＤ３３の画素Ｘ1(3)が生成されると共に、画素
Ｘ1(3)に隣接する画素Ｘ2(3)〜Ｘ4(3)も同様に第２階層
データＤ３２の４画素により生成される。

【００３２】第３階層データＤ３３は第３の差分回路４
５及び第３の平均化回路４６に入力され、第３の平均化
回路４６は上述の場合と同様に第３階層データＤ３３の
４画素平均により図６（Ｂ）及び（Ｃ）に示すように、
画素Ｘ1(4)〜Ｘ4(4)でなる第４階層データＤ３４を生成
する。第４階層データＤ４４は第４の差分回路４７及び
第４の平均化回路４８に入力され、第４の平均化回路４
８は、第４階層データＤ３４の４画素平均により最上位
階層となる第５階層データＤ３５を生成する。すなわち
図６（Ａ）及び（Ｂ）に示すように、第４階層データＤ
３４の４画素Ｘ1(4)〜Ｘ4(4)を平均化することにより第
５階層データＤ３５の画素Ｘ1(5)が生成される。

【００３３】ここで第１〜第５階層データＤ３１〜Ｄ３
５のブロツクサイズは、最下位階層である第１階層デー
タＤ３１のブロツクサイズを１ライン×１画素とする
と、第２階層データＤ３２は１／２ライン×１／２画
素、第３階層データＤ３３は１／４ライン×１／４画
素、第４階層データＤ３４は１／８ライン×１／８画
素、最上位階層データである第５階層データＤ３５は１
／１６ライン×１／１６画素となる。

【００３４】階層符号化エンコーダ部４０Ａは、これら
第１〜第５の階層データＤ３１〜Ｄ３５のうち最上位の
階層データ（すなわち第５階層データＤ３５）から順に
再帰的処理を繰り返して隣接する２つの階層データ間の
差分を差分回路４１、４３、４５、４７において求め、
差分データのみを符号器５１〜５５によつて圧縮符号化
する。これにより階層符号化エンコーダ部４０Ａは伝送
路に伝送される情報量を圧縮するようになされている。
このような圧縮条件を最適に保つため階層符号化エンコ
ーダ部４０Ａは、各階層ごとに得られた圧縮符号化デー
タＤ５１〜Ｄ５５を復号器５６〜５９によつて復号す
る。

【００３５】すなわち最上位の階層に対応する復号器５
９は符号器５５において圧縮符号化された圧縮符号化デ
ータＤ５５を復元して第５階層データＤ３５に対応する
復号データＤ４８を得、これを第４の差分回路４７に与
える。

【００３６】これに対して復号器５８は圧縮符号化デー
タＤ５４を復元して第４階層データＤ４４と同様の復元
データＤ４７を得、これを第３の差分回路４５に与え
る。同様にして復号器５７は圧縮符号化データＤ５３を
復元して第３階層データＤ４３と同様の復元データＤ４
６を得、これを第２の差分回路４３に与える。また復号
器５６は圧縮符号化データＤ５２を復元して第２階層デ
ータＤ４２と同様の復元データＤ４５を得、これを第１
の差分回路４１に与える。

【００３７】各差分回路４１、４３、４５、４７により
得られた階層間差分データＤ４１〜Ｄ４４はそれぞれ符
号器５１〜５４によつて圧縮符号化される。このとき各
符号器５１〜５４は、各ブロツクのアクテイビテイを所
定の閾値と比較する。ここでアクテイビテイとは、上位
階層データに対応する下位階層データ領域を「ブロツ
ク」と定義した場合の、各階層間差分データＤ４１〜Ｄ
４４の所定ブロツク内の最大値、平均値、絶対値和、標
準偏差又はｎ乗和等により求めることができる相関値で
ある。すなわちアクテイビテイが低い場合には、このブ
ロツクは平坦なブロツクということができる。

【００３８】このとき符号器５１〜５４は、ブロツクア
クテイビテイが所定の閾値よりも高い場合には、このブ
ロツクを分割ブロツクとし、当該ブロツクと空間的に対
応する隣接下位階層ブロツクでの分割処理を選択する。
例えば符号器５４において分割処理が選択されたブロツ
クについては、続く符号器５３でこのブロツクに対応す
る階層間差分データＤ４３をそのまま圧縮符号化し、同
時にこのブロツクが分割ブロツクであることを表わす分
割判定フラグをつけて伝送する。

【００３９】これに対して符号器５１〜５４は、ブロツ
クアクテイビテイが所定の閾値よりも低い場合には、こ
のブロツクを非分割ブロツクとし、当該ブロツクと空間
的に対応する隣接下位階層ブロツクでの分割処理を中止
する。例えば符号器５４において分割中止と判定された
ブロツクについては、続く符号器５３において、このブ
ロツクに対応する階層間差分データＤ４３に関しては符
号化対象から除外し、同時にこのブロツクが非分割ブロ
ツクであるとを表わす非分割判定フラグを付けて伝送す
る。この非分割ブロツクは復号装置側において上位階層
データに置き換えられる。

【００４０】（２−２）分割処理 次に階層符号化エンコーダ部４０Ａによる具体的な信号
処理を説明する。階層符号化エンコーダ部４０Ａにおい
ては、上述したように階層間差分データＤ４１〜Ｄ４４
の所定ブロツク毎のブロツクアクテイビテイに基づいて
分割選択処理を実行する。また実施例の場合、各ブロツ
クは２ライン×２画素より構成されるものとする。

【００４１】ここでは各画素のデータ値をＸとし、デー
タ値Ｘの階層をサフイツクスで表す。すなわち上位の階
層データをＸi+1(0)とするとき、隣接する下位階層デー
タはＸi(j)（ｊ＝０〜３）と表わすことができる。従つ
て階層間差分データ値ΔＸi(j)は、次式、

【数５】 によつて表わすことができる。

【００４２】符号器５１〜５４は各ブロツクについてブ
ロツクアクテイビテイと閾値とを比較し、当該比較結果
に基づいて当該ブロツクを下位階層で分割するか、又は
分割しないかを選択する。すなわち符号器５１〜５４に
おいては、ブロツクアクテイビテイが閾値以上の場合に
は下位階層での分割を実行し、これに対してブロツクア
クテイビテイが閾値未満の場合には下位階層での分割を
中止する。

【００４３】これにより階層符号化装置４０において
は、ブロツクアクテイビテイが低いブロツクについては
このブロツクに対応する隣接下位階層のデータを送らず
に済み、この分伝送情報量を削減できるようになされて
いる。因に、分割又は非分割の判定結果を示す判定フラ
グとしては１ビツトの判定フラグが用いらている。

【００４４】各符号器５１〜５４でブロツクアクテイビ
テイ判定の際に用いられる閾値は、発生情報量制御部４
０Ｂから送出される最適制御値Ｓ１に応じて設定され
る。すなわち閾値の値が大きくなるに従つて非分割ブロ
ツク（非伝送ブロツク）が増えることにより伝送情報量
は少なくなる。このように、階層符号化エンコーダ部４
０Ａにおいては、解像度の低い上位階層データから順に
圧縮符号化すると共に、このとき各階層データの所定ブ
ロツク毎にアクテイビテイを判定し、当該アクテイビテ
イの低いブロツクに対しては隣接下位階層でこのブロツ
クに対応する画像データを送らないようになされてい
る。

【００４５】また実施例における階層符号化方式では、
判定フラグをそれ以降の下位階層での判定には反映させ
ない方式が用いられている（以下これを独立判定法と呼
ぶ）。すなわち独立判定法では、各階層独立に、毎回閾
値判定に基づく分割選択処理を行う。例えば一旦非分割
判定がなされたブロツクにおいても、続く下位階層にお
いて再びアクテイビテイの判定を行い、ここで再び分割
するか分割しないかを選択する。この結果独立判定法を
用いた階層符号化方式においては、上位階層での下位階
層の判定フラグの影響を受けないことにより、画質劣化
の少ない階層符号化が実現できる。

【００４６】ここで、図７は階層符号化装置４０による
階層符号化処理のフローチヤートを示し、ステツプＳＰ
２において階層番号を記憶する階層カウンタＩに「４」
が登録され、この階層符号化の枠が決定される。

【００４７】さらにステツプＳＰ３において発生情報量
制御部４０Ｂが発生情報量演算をすることにより階層デ
ータが生成され、続くステツプＳＰ４において各ブロツ
クアクテイビテイが検出される。発生情報量制御部４０
Ｂはこのアクテイビテイに基づいてステツプＳＰ５にお
いて最適制御値Ｓ１を決定する。

【００４８】さらにステツプＳＰ６において階層符号化
エンコーダ部４０Ａで最適制御値Ｓ１に基づいて階層符
号化が実行される。すなわち始めに最上位階層である５
階層データに対し、符号化及び復合化が行われる。この
結果が下位階層における処理の初期値となり、ステツプ
ＳＰ７において下位階層との階層間差分値が生成され
る。さらにステツプＳＰ８においてステツプＳＰ５にお
いて決定された最適制御値Ｓ１に基づいて下位階層での
分割選択及び符号化が実行される。

【００４９】各階層処理の後、ステツプＳＰ９において
階層カウンタＩをデクリメントする。そしてステツプＳ
Ｐ１０において階層カウンタＩの内容に対し、終了判定
が施される。未終了の場合は、さらに下位階層処理を続
行する。全階層の処理を終了した場合、ループを抜けて
ステツプＳＰ１１において当該階層符号化処理を終了す
る。

【００５０】（３）実施例の画像復号化装置 （３−１）構成 このように分割判定フラグと共に伝送される第１〜第５
階層の圧縮符号化データＤ５１〜Ｄ５５は、図８に示す
ような画像復号化装置６０によつて復号化される。すな
わち第１〜第５階層圧縮符号化データＤ５１〜Ｄ５５
は、それぞれ符号器５７、５５、５３、５１及び４９の
符号化と逆の復号化手法を有する復号器６１、６２、６
３、６４及び６５に入力される。この結果復号器６１〜
６４でそれぞれ復号された第１〜第４階層の階層間差分
データＤ５６〜Ｄ５９が、それぞれ第１〜第４の加算回
路６６〜６９に入力される。

【００５１】また第５階層圧縮符号化データＤ５５は復
号器６５で復号され、この結果得られる第５階層データ
Ｄ６０が、そのまま出力されると共に第４の平滑化回路
７３に送出される。第４の加算回路６９は第４の平滑化
回路７３を介して入力された第５階層データＤ６０と、
第４階層の階層間差分データＤ５９とを加算して第４階
層データＤ６４を復元し、これを出力すると共にこれを
第３の平滑化回路７２に送出する。

【００５２】同様にして第３の加算回路６８は第３の平
滑化回路７２を介して入力された第４階層データＤ６４
と、第３階層の階層間差分データＤ５８とを加算して第
３階層データＤ６３を復元し、これを出力すると共にこ
れを第２の平均化回路７１に送出する。以下同様にして
第２、第１の加算回路６７、６６によつて、第２階層デ
ータＤ６２、第１階層データＤ６１が復元され、このよ
うにして第１〜第４階層データＤ６１〜Ｄ６４及び第５
階層データＤ６５が出力される。

【００５３】（３−２）平滑化処理 実際上画像復号化装置６０においては、受信する分割判
定フラグに基づいて、非分割ブロツクに対しては、各復
号器６１〜６４の出力を０とすると共に上位階層データ
を加算器６６〜６９の出力とすることで非分割ブロツク
データを上位階層データで置き換えるようになされてい
る。

【００５４】ところが、この非分割ブロツクデータの復
号画像において、図６に示した階層データ生成法に起因
する疑似輪郭が発生することがある。例えば、空などの
レベル変化が小さい画像においては、各ブロツクが非分
割判定を受けることが多い。すなわち上位階層データで
置き換えられる場合が多い。このとき復元画像において
は、隣接ブロツク間のレベル差が僅かであつても、ブロ
ツク境界位置には疑似輪郭がしばしば認められ、大きな
画質劣化となる。

【００５５】実施例の階層符号化においては、階層符号
化装置４０側で大きな分割閾値を設定するほど圧縮率を
向上させることができる。しかしながら、画像復号装置
６０側では、階層符号化装置４０側の分割閾値が大きい
程隣接ブロツク間（すなわち分割ブロツクと非分割ブロ
ツク間）のレベル差が拡大し、画質劣化が顕著となる。

【００５６】その具体例を図９に示す。この例において
は、中央のブロツクＭが非分割判定を受けたブロツクと
する。このときブロツクＭに対応する下位階層復号デー
タＸ０、Ｘ１、Ｘ２、Ｘ３としてすべて上位階層データ
Ｍを用いることになる。すなわち、Ｘ０＝Ｘ１＝Ｘ２＝
Ｘ３＝Ｍとなる。このようにした場合に、上述したよう
にＸ０〜Ｘ３とその周辺のブロツクとの間で疑似輪郭が
発生し、画質が劣化するおそれがある。

【００５７】これを回避するため、画像復号化装置６０
においては、非分割ブロツクの復号法として、単純に上
位階層データを使用するのではなく、平滑化回路７０〜
７３を介して上位階層データを平滑化処理し、これによ
り得られる平滑化データを用いて非分割ブロツクの復号
値を求め、ブロツク境界の疑似輪郭を抑制するようにな
されている。

【００５８】各平滑化回路７０〜７３は、非分割ブロツ
クＭ及び当該非分割ブロツクＭの空間内周辺データｍ０
〜ｍ７を用いて、非分割ブロツクＭの下位階層データＸ
０〜Ｘ４を、それぞれ次式、

【数６】

【数７】

【数８】

【数９】 に基づいて生成するようになされている。

【００５９】ここでＡＶＥ（・）は閾値判定付き平均化
処理関数を表す。この平均化処理関数ＡＶＥ（・）の例
としては、例えば下位階層データＸ０を求める際、上位
階層データＭ、ｍ０、ｍ１、ｍ７が所定の閾値Ｌに対し
て、次式、

【数１０】 かつ

【数１１】 かつ

【数１２】 の関係にあるとき、下位階層データＸ０を、次式

【数１３】 に基づいて算出するものが用いられている。

【００６０】このように平滑化回路７０〜７３において
は、非分割ブロツクＭ及び空間内周辺データｍ０〜ｍ６
又はｍ７を用いて非分割ブロツクＭに対応する下位階層
データＸ１〜Ｘ４を求める際に、単純に平均演算を行う
のではなく、空間内周辺データｍ０〜ｍ７に対して閾値
判定による画素選択を行い、このとき上位階層の空間内
周辺データにデータ値の大きな画素があつた場合には、
この画素を平均値演算から除外する。これにより画像復
号化装置６０においては、非分割ブロツクＭの近傍にエ
ツジなどが存在する場合でも、平均演算による画質劣化
を未然に回避することができる。

【００６１】かくして画像復号化装置６０においては、
分割ブロツクと非分割ブロツク間で生じる疑似輪郭を有
効に回避し得、これにより画質劣化を低減することがで
きる。また画像復号化装置６０においては、階層符号化
装置４０側で大きな分割閾値を設定した場合でも、復号
化側で平滑化処理をすることにより画質劣化を低減する
ことができる。従つて階層符号化装置４０において分割
閾値として大きな値を用いることができ、この分一段と
圧縮効率を向上させることができる。

【００６２】かくして、画像復号化装置６０を用いれ
ば、階層符号化装置４０によりブロツクアクテイビテイ
に基づいてブロツク分割した圧縮効率の良い画像データ
を、画質劣化を抑制した状態で復元することができる。

【００６３】（３−３）平滑化処理による「色にじみ」
の発生原理 ここで伝送される圧縮符号化画像がカラー画像である場
合を考える。一般にコンポーネント画像は複数の信号か
ら構成され、例えば標準ＴＶ画像は輝度信号（Ｙ）、色
差信号（Ｂ−Ｙ）、色差信号（Ｒ−Ｙ）などから作られ
る。ＨＤＴＶ画像であれば、輝度信号（Ｙ）、色差信号
（Ｐｒ）、色差信号（Ｐｂ）などから定義される。

【００６４】（６）式〜（９）式の関数ＡＶＥ（・）で
用いられる平滑判定閾値Ｌは、非分割ブロツク近傍にエ
ツジなどが存在する場合、平均演算により発生する画質
劣化を排除するために導入された。すなわち各平滑化回
路７０〜７３は平滑判定閾値Ｌに基づいて平坦データの
判定を行う。様々な実験によると、色差信号の平滑処理
による画質劣化は、輝度信号の変化により見え方が異な
ることにより発生することが分かつた。色差信号の平滑
処理による画質劣化は、物体輪郭近傍における「色にじ
み」、「色もれ」となつて現れる。

【００６５】色差信号の平滑処理の様子を１次元信号波
形を例にとつて図１０に示す。無色背景の前に有色物体
が置かれているような画像の例である。図１０（Ａ）の
輝度信号波形は物体輪郭部であることを表す。図１０
（Ｂ）の色差信号波形は輝度信号との帯域の違いのた
め、輝度信号と比べると波形がやや傾斜している。図１
０（Ｃ）は色信号の分割処理結果を示し、この例では色
信号に関しても物体輪郭部以外は平坦なため、図１０
（Ｂ）と同じ波形となつている。

【００６６】物体輪郭部を挟み左右に非分割ブロツクが
存在しており、色信号は平滑処理を受けると、図１０
（Ｄ）に示すような色信号平滑処理波形となる。このと
き無色背景と有色物体の間で平滑処理による「色にじ
み」が発生する。図１０（Ｄ）では僅かな信号レベルで
あるが、階層符号化においては、上位階層で発生した
「色にじみ」は平坦背景部内に残留することになる。こ
の結果上位階層データでは、この「色にじみ」による影
響が広い画像領域に及ぶことになる。特に無色背景と彩
やかな有色物体輪郭間では「色にじみ」が目立つ。

【００６７】（３−４）平滑判定閾値Ｌの選定 そこで画像復号化装置６０の各平滑化回路７０〜７３に
おいては、平滑演算に用いられる空間内周辺ブロツクの
輝度信号のブロツクアクテイビテイに基づいて色差信号
の平滑判定閾値Ｌを適応的に切り換えるようになされて
いる。

【００６８】すなわち平滑化回路７０〜７３は各信号の
平滑判定閾値Ｌを、各信号独立に設定するのではなく、
複数の信号の相互関係に基づいて設定する。平滑化回路
７０〜７３においては、物体輪郭近傍では色差信号の平
滑判定閾値Ｌを下げて平滑処理対象画素を減らすること
より「色にじみ」などの画質劣化を低減すると共に、物
体輪郭以外の部分ではある程度色差信号の平滑判定閾値
Ｌを上げて非分割ブロツクデータに対し平滑処理を実行
することにより疑似輪郭の発生を抑制するようになされ
ている。

【００６９】実施例の場合、平滑化回路７０〜７３は輝
度信号のブロツクアクテイビテイに基づいて色差信号の
平滑判定閾値Ｌを選定する。このときこの平滑判定閾値
Ｌは上述の（６）式〜（９）式に導入されることを考慮
して、図９の４つのブロツクのブロツクアクテイビテイ
に基づいて選定する。

【００７０】すなわち、平滑処理対象ブロツクの輝度信
号ブロツクアクテイビテイをそれぞれＡＣＴ０、ＡＣＴ
１、ＡＣＴ２、ＡＣＴ３とし、この中の最大ブロツクア
クテイビテイをＡＣＴ_MAX としたとき、ＡＣＴ_MAX が所
定の輝度信号閾値ＴＨ_Y 以上の場合には平滑処理閾値Ｌ
をＬ０とすると共に、ＡＣＴ_MAX が所定の輝度信号閾値
ＴＨ_Y 未満の場合には平滑処理閾値ＬをＬ１（＞Ｌ０）
とするようになされている。画像復号装置６０は、この
ように選択した平滑処理閾値Ｌに基づいて色差信号の平
滑処理を実行する。

【００７１】かくして画像復号装置６０においては、平
滑化回路７０〜７３で用いられる平滑処理閾値Ｌを平滑
対象となる平滑対象ブロツクの輝度アクテイビテイに基
づいて適応的に選定するようにしたことにより、輝度信
号との関係に順応した「色にじみ」の目立たない平滑処
理を実現することができる。

【００７２】（４）実施例の効果 以上の構成によれば、空間内周辺データｍ０〜ｍ７を選
択する際に用いる平滑判定閾値Ｌを、複数の信号の相互
関係に基づいて設定するようにしたことにより、疑似輪
郭の発生を有効に回避することができると共に、「色に
じみ」等の画質劣化を低減することができる。

【００７３】（５）他の実施例 （５−１）なお上述の実施例においては、全階層に亘つ
て輝度信号アクテイビテイに基づいて平滑処理閾値Ｌを
適応的に切り換える場合について述べたが、本発明はこ
れに限らず、色差信号に対する上位階層での平滑処理が
「色にじみ」の一因となつていることを考慮して、上位
階層での平滑処理を禁止するようにしても良い。

【００７４】例えば最下位階層画像でなる第１階層の画
像を復元する場合には、先ず第４階層及び第３階層の非
分割ブロツクデータ処理として、下位階層復号データｘ
０、ｘ１、ｘ２、ｘ３を全て上位階層データＭで置き換
える。次に、第２階層及び第１階層の非分割ブロツクデ
ータ処理として、（６）〜（９）式に基づいた平滑化処
理を施す。これにより上位階層での「色にじみ」を有効
に回避することができる。すなわちこの方法は、階層に
応じて平滑化処理を適応的に選択するということができ
る。

【００７５】さらに復号側で再生する階層レベルの平滑
処理のみでは、「色にじみ」は目立たないが、疑似輪郭
の除去が不十分になるおそれがあることを考慮して、復
号側で再生する階層と隣接する上位階層でのみ平滑処理
を施すようにしてもよい。

【００７６】（５−２）また上述の実施例においては、
色差信号を平滑化処理した際に発生する「色にじみ」等
の画質劣化を輝度信号を用いて有効に回避する場合につ
いて述べたが、本発明はこれに限らず、複数の信号より
形成される画像に対して信号特性に応じて平滑化処理を
適応的に選択する場合に広く適用することができる。例
えば輝度信号を平滑処理した際に発生する画質劣化は解
像度低下であり、一般的には、平滑判定閾値Ｌで決定さ
れる。また輝度信号は色差信号と比べ、他の信号の影響
を受けにくい。これ等を考慮して、輝度信号の平滑化処
理によつて生じる画質劣化を回避する際には、平滑判定
閾値Ｌは独立に決めることができる。

【００７７】（５−３）また上述の実施例においては、
本発明による画像データ復号化方法を、各階層独立に毎
回閾値判定して分割処理を行う独立判定法によつて分割
処理された階層符号化画像データＤ５１〜Ｄ５５を復号
する際に適用した場合について述べたが、本発明はこれ
に限らず、上位階層での分割判定により一旦下位階層の
分割を中止した際これ以降の下位階層の分割を中止する
階層符号化方法により得られる階層符号化画像データを
復号する際に適用した場合にも、上述の実施例と同様の
効果を得ることができる。また本発明はこれに限らず、
階層符号化方式において、階層データ内に解像度の異な
る複数のブロツクが存在するような場合に広く適用する
ことができる。

【００７８】

【発明の効果】上述のように本発明によれば、解像度の
最も低い最上位階層情報から解像度の最も高い最下位階
層情報でなる複数の階層情報からなる画像データに関
し、所定の階層の階層情報に対して、複数の画素からな
る各ブロツクについて、ブロツクアクテイビテイを判定
した判定結果に基づいて、各階層の階層情報の各ブロツ
クの伝送又は非伝送が制御されることで得た符号化デー
タを復号する復号装置において、伝送がされなかつたブ
ロツクである非伝送ブロツクに対して、当該非伝送ブロ
ツクの階層よりも上位側の階層の階層情報のうち、非伝
送ブロツクと対応する位置のブロツク及びその周辺のブ
ロツクの平滑化データを生成する平滑化データ生成手段
と、平滑化データに基づいて、非伝送ブロツクに対する
復号値を算出する算出手段と、を具え、平滑化データ生
成手段は、非伝送ブロツクと対応する位置のブロツク及
びその周辺のブロツクから所定のブロツクを選択し、選
択されたブロツクから平滑化データを生成するようにし
たことにより、データ値の大きな画素があつた場合でも
平滑化データの演算対象から除外することができるの
で、非伝送ブロツクの近傍にエツジ等が存在しても画質
劣化を未然に回避することができる。また本発明によれ
ば、解像度の最も低い最上位階層情報から解像度の最も
高い最下位階層情報でなる複数の階層情報からなる画像
データに関し、所定の階層の階層情報に対して、複数の
画素からなる各ブロツクについて、ブロツクアクテイビ
テイを判定した判定結果に基づいて、各階層の階層情報
の各ブロツクの伝送又は非伝送が制御されることで得た
符号化データを復号する復号装置において、伝送がされ
なかつたブロツクである非伝送ブロツクに対して、当該
非伝送ブロツクの階層よりも上位側の階層の階層情報の
うち、非伝送ブロツクと対応する位置のブロツク及びそ
の周辺のブロツクの平滑化データを生成する平滑化デー
タ生成手段と、平滑化データに基づいて、非伝送ブロツ
クに対する復号値を算出する算出手段と、を具え、平滑
化データ生成手段は、階層のそれぞれに応じて、非伝送
ブロツクと対応する位置のブロツク及びその周辺のブロ
ツクの平滑化処理を選択するようにしたことにより、階
層に応じて平滑化処理を適応的に選択することができ、
かくして「色にじみ」を有効に回避することができる。
さらに本発明によれば、解像度の最も低い最上位階層情
報から解像度の最も高い最下位階層情報でなる複数の階
層情報からなる画像データに関し、所定の階層の階層情
報に対して、複数の画素からなる各ブロツクについて、
ブロツクアクテイビテイを判定した判定結果に基づい
て、各階層の階層情報の各ブロツクの伝送又は非伝送が
制御されることで得た符号化データを復号する復号方法
において、伝送がされなかつたブロツクである非伝送ブ
ロツクに対して、当該非伝送ブロツクの階層よりも上位
側の階層の階層情報のうち、非伝送ブロツクと対応する
位置のブロツク及びその周辺のブロツクの平滑化データ
を生成する第１のステツプと、平滑化データに基づい
て、非伝送ブロツクに対する復号値を算出する第２のス
テツプと、を具え、第１のステツプでは、非伝送ブロツ
クと対応する位置のブロツク及びその周辺のブロツクか
ら所定のブロツクを選択し、選択されたブロツクから平
滑化データを生成するようにしたことにより、データ値
の大きな画素があつた場合でも平滑化データの演算対象
から除外することができるので、非伝送ブロツクの近傍
にエツジ等が存在しても画質劣化を未然に回避すること
ができる。さらに本発明によれば、解像度の最も低い最
上位階層情報から解像度の最も高い最下位階層情報でな
る複数の階層情報からなる画像データに関し、所定の階
層の階層情報に対して、複数の画素からなる各ブロツク
について、ブロツクアクテイビテイを判定した判定結果
に基づいて、各階層の階層情報の各ブロツクの伝送又は
非伝送が制御されることで得た符号化データを復号する
復号方法において、伝送がされなかつたブロツクである
非伝送ブロツクに対して、当該非伝送ブロツクの階層よ
りも上位側の階層の階層情報のうち、非伝送ブロツクと
対応する位置のブロツク及びその周辺のブロツクの平滑
化データを生成する第１のステツプと、平滑化データに
基づいて、非伝送ブロツクに対する復号値を算出する第
２のステツプと、を具え、第１のステツプでは、階層の
それぞれに応じて、非伝送ブロツクと対応する位置のブ
ロツク及びその周辺のブロツクの平滑化処理を選択する
ようにしたことにより、階層に応じて平滑化処理を適応
的に選択することができ、かくして「色にじみ」を有効
に回避することができる。

【図面の簡単な説明】

【図１】階層符号化装置によつて生成される階層データ
の説明に供する略線図である。

【図２】ＨＤ標準画像における適応分割結果を示す図表
である。

【図３】ＨＤ標準画像における各階層の信号レベルの標
準偏差を示す図表である。

【図４】実施例による階層符号化装置を示すブロツク図
である。

【図５】階層符号化エンコーダ部を示すブロツク図であ
る。

【図６】階層構造の説明に供する略線図である。

【図７】階層符号化処理を示すフローチヤートである。

【図８】本発明による画像復号化装置の一実施例を示す
ブロツク図である。

【図９】平滑化回路の動作の説明に供する略線図であ
る。

【図１０】色にじみの発生の説明に供する信号波形図で
ある。

【図１１】従来のピラミツド符号化方法を用いた画像符
号化装置を示すブロツク図である。

【図１２】図１１の画像符号化装置により生成された圧
縮符号化データを復号する従来の画像復号化装置を示す
ブロツク図である。

【符号の説明】

４０……階層符号化装置、６０……画像復号化装置、７
０〜７３……平滑化回路、Ｄ５１〜Ｄ５５……圧縮符号
化データ、Ｍ……非分割ブロツク、ｍ０〜ｍ７……空間
内周辺データ。

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 11/00 - 11/22 H04N 7/00 - 7/68

Claims (14)

(57)【特許請求の範囲】
1. 【請求項１】解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報でなる複数の階層情報から
   なる画像データに関し、所定の階層の階層情報に対し
   て、複数の画素からなる各ブロツクについて、ブロツク
   アクテイビテイを判定した判定結果に基づいて、各階層
   の階層情報の各ブロツクの伝送又は非伝送が制御される
   ことで得た符号化データを復号する復号装置において、 伝送がされなかつたブロツクである非伝送ブロツクに対
   して、当該非伝送ブロツクの階層よりも上位側の階層の
   階層情報のうち、上記非伝送ブロツクと対応する位置の
   ブロツク及びその周辺のブロツクの平滑化データを生成
   する平滑化データ生成手段と、 上記平滑化データに基づいて、上記非伝送ブロツクに対
   する復号値を算出する算出手段と、を具え、 上記平滑化データ生成手段は、上記非伝送ブロツクと対応する位置のブロツク及びその
   周辺のブロツクから所定のブロツクを選択し、上記選択
   されたブロツクから上記平滑化データを生成する ことを
   特徴とする復号装置。
2. 【請求項２】上記平滑化データ生成手段は、上記非伝送
   ブロツクと対応する位置のブロツクと、その周辺の各ブ
   ロツクの差分をそれぞれ検出し、差分が所定値以下であ
   る周辺のブロツクを上記選択されたブロツクとすること
   を特徴とする請求項１に記載の復号装置。
3. 【請求項３】上記所定値は、上記周辺のブロツクのアク
   テイビテイに基づいて設定される ことを特徴とする請求
   項２に記載の復号装置。
4. 【請求項４】上記所定値は、上記周辺のブロツクのうち
   最もアクテイビテイの高いブロツクのアクテイビテイに
   基づいて設定される ことを特徴とする請求項３に記載の
   復号装置。
5. 【請求項５】上記平滑化データ生成手段は、 上記非伝送ブロツクと対応する位置のブロツクの画像デ
   ータを形成する複数の信号成分のうちの１つと、その周
   辺の各ブロツクの画像データを形成する複数の信号成分
   のうちの１つの差分をそれぞれ検出し、差分が所定値以
   下である周辺のブロツクを選択し、上記選択されたブロ
   ツクから上記画像データを形成する複数の信号成分のう
   ちの他の１つの信号成分の平滑化データを生成すること
   を特徴とする請求項２に記載の復号装置。
6. 【請求項６】上記複数の信号成分のうちの１つが輝度信
   号成分であり、上記他の１つの信号成分が色信号成分で
   あることを特徴とする請求項５に記載の復号装置。
7. 【請求項７】解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報でなる複数の階層情報から
   なる画像データに関し、所定の階層の階層情報に対し
   て、複数の画素からなる各ブロツクについて、ブロツク
   アクテイビテイを判定した判定結果に基づいて、各階層
   の階層情報の各ブロツクの伝送又は非伝送が制御される
   ことで得た符号化データを復号する復号装置において、 伝送がされなかつたブロツクである非伝送ブロツクに対
   して、当該非伝送ブロツクの階層よりも上位側の階層の
   階層情報のうち、上記非伝送ブロツクと対応する位置の
   ブロツク及びその周辺のブロツクの平滑化データを生成
   する平滑化データ生成手段と、 上記平滑化データに基づいて、上記非伝送ブロツクに対
   する復号値を算出する算出手段と、を具え、 上記平滑化データ生成手段は、上記階層のそれぞれに応
   じて、上記非伝送ブロツクと対応する位置のブロツク及
   びその周辺のブロツクの平滑化処理を選択することを特
   徴とする復号装置。
8. 【請求項８】解像度の最も低い最上位階層情報から解像
   度の最も高い最下位階層情報でなる複数の階層情報から
   なる画像データに関し、所定の階層の階層情報に対し
   て、複数の画素からなる各ブロツクについて、ブロツク
   アクテイビテイを判定した判定結果に基づいて、各階層
   の階層情報の各ブロツクの伝送又は非伝送が制御される
   ことで得た符号化データを復号する復号方法において、 伝送がされなかつたブロツクである非伝送ブロツクに対
   して、当該非伝送ブロツクの階層よりも上位側の階層の
   階層情報のうち、上記非伝送ブロツクと対応する位置の
   ブロツク及びその周辺のブロツクの平滑化データを生成
   する第１のステツプと、 上記平滑化データに基づいて、上記非伝送ブロツクに対
   する復号値を算出する第２のステツプと、を具え、 上記第１のステツプでは、上記非伝送ブロツクと対応する位置のブロツク及びその
   周辺のブロツクから所定のブロツクを選択し、上記選択
   されたブロツクから上記平滑化データを生成する ことを
   特徴とする復号方法。
9. 【請求項９】上記第１のステツプでは、上記非伝送ブロ
   ツクと対応する位置のブロツクと、その周辺の各ブロツ
   クの差分をそれぞれ検出し、差分が所定値以下である周
   辺のブロツクを上記選択されたブロツクとすることを特
   徴とする請求項８に記載の復号方法。
10. 【請求項１０】上記所定値は、上記周辺のブロツクのア
    クテイビテイに基づいて設定される ことを特徴とする請
    求項９に記載の復号方法。
11. 【請求項１１】上記所定値は、上記周辺のブロツクのう
    ち最もアクテイビテイの高いブロツクのアクテイビテイ
    に基づいて設定される ことを特徴とする請求項１０に記
    載の復号方法。
12. 【請求項１２】上記第１のステツプでは、 上記非伝送ブロツクと対応する位置のブロツクの画像デ
    ータを形成する複数の信号成分のうちの１つと、その周
    辺の各ブロツクの画像データを形成する複数の信号成分
    のうちの１つの差分をそれぞれ検出し、差分が所定値以
    下である周辺のブロツクを選択し、上記選択されたブロ
    ツクから上記画像データを形成する複数の信号成分のう
    ちの他の１つの信号成分の平滑化データを生成すること
    を特徴とする請求項９に記載の復号方法。
13. 【請求項１３】上記複数の信号成分のうちの１つが輝度
    信号成分であり、上記他の１つの信号成分が色信号成分
    であることを特徴とする請求項１２に記載の復号方法。
14. 【請求項１４】解像度の最も低い最上位階層情報から解
    像度の最も高い最下位階層情報でなる複数の階層情報か
    らなる画像データに関し、所定の階層の階層情報に対し
    て、複数の画素からなる各ブロツクについて、ブロツク
    アクテイビテイを判定した判定結果に基づいて、各階層
    の階層情報の各ブロツクの伝送又は非伝送が制御される
    ことで得た符号化データを復号する復号方法において、 伝送がされなかつたブロツクである非伝送ブロツクに対
    して、当該非伝送ブロツクの階層よりも上位側の階層の
    階層情報のうち、上記非伝送ブロツクと対応する位置の
    ブロツク及びその周辺のブロツクの平滑化データを生成
    する第１のステツプと、 上記平滑化データに基づいて、上記非伝送ブロツクに対
    する復号値を算出する第２のステツプと、を具え、 上記第１のステツプでは、上記階層のそれぞれに応じ
    て、上記非伝送ブロツクと対応する位置のブロツク及び
    その周辺のブロツクの平滑化処理を選択することを特徴
    とする復号方法。