JP5150030B2 - アクティビティに基づく空間的に相関する係数のグループ化による画像符号化 - Google Patents

Description

【０００１】
発明の分野
本発明は、データのバイトサイズを低減するためのデータの符号化及び復号化に関する。特に、本発明は、変換されたデータ係数（例えば、ウェーブレット変換画像データ）の後処理のための効率的なシステムに関する。
【０００２】
発明の背景
情報化時代において、様々な形態のマルチメディアデータの交換は、一般化しており又更に増加しつつある。例えば、交換されるデータは、画像、音声、あるいは、科学的な情報やビジネスに関する情報を示す時系列データを含む。
【０００３】
様々なデータ符号化方式が知られている。データ符号化の主な目的は、データを“圧縮”、すなわち、データのバイトサイズを小さくすることである。このことは、データを記憶するために必要なメモリスペースの低減及びある有限の帯域幅を有する通信チャネルを介してデータを送信するために必要な時間の低減を含むという理由により望ましい。バイトサイズは、サンプル当たりのビット、すなわち画像データの場合慣習的な様に、画素当たりのビットで表すことができる。
【０００４】
損失のない又損失の大きい２種類の符号化方法がある。前者すなわちより保守的な手法は、符号化フォームに入力データの細目を逐一保持する手法である。その復号化版は、入力データと見分けがつかない複製であり理想的である。
【０００５】
損失の大きいデータ符号化（圧縮）の場合、画像の細目が保持されるレベルは、選択することができ、また、保持される細目のレベルとその結果生じる符号化データのバイトサイズとの間にトレードオフの関係がある。往々にして、損失の大きいデータの符号化を用いる場合、復号化版と元データとの間の違いが感じ取れないような細目の保持レベルを得ようと努める必要がある。感知不能な相違を実現するための損失の大きい符号器の設計と構成に関する判断は、人間の知覚モデル（例えば、聴覚や視覚）を考慮して行われる。良好な損失の大きい符号器やそれに対応する復号器は、厳密な科学的分析によっては元データから識別し得るが、意図的なフォーマット（例えば、画像の場合、画面の解像度）で提示された際、人間が見ると識別不能な復号化データ集合を生成する。
【０００６】
他の種類のデータ符号化方法（画像データに適用可能）は、変換符号化である。一般的に、変換符号化においては、配列済データ集合は、変換データ係数（内積）の集合を得るために基底関数の直交集合に投影される。伝統的な種類の変換符号化は、フーリエ解析から導かれる。フーリエベースの手法において、データ集合は、正弦関数から導かれる関数の集合に投影される。旧ＪＰＥＧ規格（ＩＳＯ／ＩＥＣ１０９２８−１）は、フーリエ解析に基づく変換符号化方法の例である。旧ＪＰＥＧ規格は、横軸依存の偏角を有する余弦関数と縦軸依存の偏角を有する余弦関数との積の離散的な表記である変換マトリックスの集合を規定している。これらの基底関数は、入力画像の８×８画素ブロックの解析に適用される。
【０００７】
フーリエ解析ベース手法の欠点は、後述するようにデータ圧縮技術に従事する人々が他の手法を選択するように促したが、この欠点は、正弦関数はプラス／マイナス無限大まで無限に繰返し、符号化されるデータ集合は、時間的に（又は空間的に）局所化され又そのデータ集合内に更に局所化される特徴を有していることである。境界の無い領域のフーリエベースの関数と長い間隔（すなわちスパン）に渡って符号化される周期的な性質のデータ集合が与えられた場合、更に効率的な符号化を行うために、信号を（例えば、上記８×８ブロックへ）セグメント化することになる。残念なことに、これによって、信号の復号化版においてセグメント間の端部で突然中断が発生する。画像処理技術において、このことは、ブロック効果として知られている。
【０００８】
新たな種類の変換方法では、元来空間領域に局所化される基底関数が用いられている。数学的に言えば、これらの方法は完全に連続である。新たな種類の変換方法の１つの例は、ウェーブレットベースの手法である。ウェーブレットベースの手法には、母ウェーブレットと、異なる時間（又は空間）領域シフトと拡張をこの母ウェーブレットに適用することによって母ウェーブレットから導かれる子ウェーブレットの集合を含む基底関数の集合が用いられる。異なる固有の尺度で局所化された特徴を有する関数集合から構成されるウェーブレット基底集合は、異なる位置（時間）において、微細な、粗大な、又中間の特徴を有する画像や音声データ集合等のデータ集合の符号化に対して適している。
【０００９】
マルチレベルのウェーブレット分解は、繰返しプロセス、つまりマルチ分解能の分解である。各繰返しにおいて、先行の繰返しによって生成された変換データ係数の低周波数集合は、再度精錬されて、サブバンドと呼ばれる、低空間周波数グループと高空間周波数グループを含む変換データ係数の代替集合を生成する。
【００１０】
損失の大きい符号化の問題に戻ると、それがフーリエやウェーブレットあるいはその他のものをベースにしようが、（対応する細目の欠落を伴う）バイトサイズの低減の方法は、一般的な従来技術の手法に基づき、変換データ係数を量子化することによって達成される。使用される量子化及び符号化方法によって、このステップは、ウェーブレットベース符号器の演算経費の７０％を占める演算の集中処理が可能である。量子化には、分解能の下方調整が含まれ、これによって、変換データ係数の値が記録され、こうして少ないビットを用いて記録し得る。画像データの場合、データのより細かい細目に左右される、基底関数と関連付けられた変換データ係数は、より粗い分解能で量子化される。このことを行う判断は、現在解明されている人間の視覚に基づく。
【００１１】
損失の大きい画像の符号化に関する知覚に関連して、元の画像に対して、符号化及び復号化された画像の忠実度を特徴付けることを目標とするＳＮＲ等の定量的な大きさがあるということを言及する必要がある。しかしながら、これらの大きさは、常に、人間の品質評価に基づいているとは限らない。
【００１２】
量子化の値は全て、低画像忠実度及びそれに対応して低減されるバイトサイズを生成するために調整可能である。画像全体に用いられる量子化の値は、変更可能であり、又画像の個々のブロックに用いられる異なる集合の量子化値が調整可能である。
【００１３】
新たなＪＰＥＧ２０００規格では、“累進的な伝送”を行うことが提案されており、これによって、符号化された画像は、様々な分解能で伝送され得る。このことは、クライアント側の画像受信を行う表示装置への適合を意図している。規格によれば、このことは、ビットストリームのある配置によって達成される。
【００１４】
変換符号化の主な適用例は、インターネット上のデータの記憶やインターネットを介してデータを送ることである。無線形態の物理的なネットワークへのインターネットの拡張は、現在では初歩的な段階である。一般的に、無線ネットワークは、光ファイバや銅線を用いたインターネットのネットワークより狭い帯域幅を有しており、従って、同じバイトサイズの変換符号化データ（例えば、画像）に対して、ウエッブのブラウジングのスピードが遅く、又、ダウンロードに時間がかかることが予想される。
【００１５】
一般的に、携帯型無線装置は、処理電力が小さく、又従って、量子化や複雑なエントロピ符号化等の演算的な集中処理を行うのには適さない。
無線ネットワークの接続は不安定になり易い。画像の送信や復号化中に、接続が途切れる場合がある。従来技術による復号化方式では、画像がラスタ走査パターンで、一回の走査あるいは複数の走査によってペイントされ、順次分解能が良好になる。前者の場合、接続が途切れると、画像の領域の一部が欠落してしまう。後者の場合、画像が上部の高画質領域と下部の低画質領域との間にみっともない境界があるまま残される。
【００１６】
符号化表現において与えられた割当てのサンプル当たりのビットに対して、元のデータに対する復号化データの可能な限り高いレベルの忠実度を最小限の演算コストで実現する、データを符号化及び復号化するためのシステムと方法が必要とされている。
【００１７】
好適な実施例の詳細な説明
本発明は、多くの異なる形態の実施例が可能であるが、本開示は、本発明の原理の例であると見なすべきものであり、図示あるいは説明される具体的な実施例に本発明を制限することを意図するものではないことを前提に、具体的な実施例を図に示し、本明細書中において詳細に説明する。更に、本明細書中で用いられる用語及び言葉は、制限的に解釈すべきものではなく、むしろ単に説明用であると解釈すべきものである。以下の説明において、いくつかの図面において、同一の参照番号は、同じあるいは類似した又は対応する部分を記述するために用いられている。
【００１８】
本発明の好適な実施例によるシステムと方法は、データを符号化又復号化するために動作し、符号化表現において与えられた割当てのサンプル当たりのビットに対して、元のデータに対する復号化データの可能な限り高いレベルの忠実度を実現する。
【００１９】
更に、画像データの場合、提供されるシステムと方法は、画像を符号化又復号化し、符号化表現において与えられた割当てのサンプル当たりのビットに対して、元のデータに対する復号化画像の可能な限り高いレベルの忠実度を実現する。
【００２０】
更に、画像データの場合、提供されるシステムと方法は、画像を符号化又復号化し、符号化表現において与えられた割当てのサンプル当たりのビットに対して、符号化画像のバイトサイズを低減するために集中演算処理による量子化や符号化も用いる必要も無く、元のデータに対する復号化画像の可能な限り高いレベルの忠実度を実現する。
【００２１】
更に、提供されるシステムと方法は、これによって、符号化表現を得るためにデータ集合は一度符号化されればよく、又符号化表現の様々なバイトサイズ部分は、選択的に復号化すれば忠実度のレベルが異なる版を得ることができ、これによって、復号化された各バイトサイズ部分の場合、データ集合におけるサンプル数に応じて復号化部分の与えられたバイトサイズに対して、元のデータに対する高いレベルの忠実度が達成される。
【００２２】
更に、提供されるシステムと方法は、これによって、データ集合は、順序付けされた複数部分のデータ構造へ一度符号化されればよく、又複数部分のデータ構造の一部は、データ構造の各部分が復号化され、又復号化版を精錬（更新）するために用いられた後、その復号化版が、バイトサイズに対して高い主観的な忠実度及び／又はＳＮＲを有するように、データ集合の復号化版を繰返し精錬するために順次復号化できる。
【００２３】
更に、提供されるシステムと方法は、集中演算処理による反量子化や集中演算処理による復号化を伴わない符号化バイトサイズに対してトレードオフの関係にある画質を提供する画像を符号化する。
【００２４】
更に、提供されるシステムと方法は、画像データが送信されている接続が途切れた場合、更に提示可能な部分的に復号化された画像に至る画像の符号化又復号化を行なう。
【００２５】
本発明の実施形態による代表的なネットワーク
図１は、本発明の実施形態と共に用いるコンピュータネットワーク１００の概略図を示す。画像ソースサーバ１０２は、第１双方向データリンク１０６を介してインターネット１０４に接続されている。無線ネットワークゲートウェイサーバ１０８は、第２双方向データリンク１１０を介してインターネットに接続されている。無線ネットワークゲートウェイサーバ１０８は、第３双方向データリンク１１４を介して無線ネットワーク１１２に接続されている。３つの双方向データリンク１０６、１１０、１１４は、例えば、専用線、公衆交換電話網（ＰＳＴＮ）線、Ｔ１線、無線通信リンク、マイクロ波リンク、衛星リンク等の有線及び無線通信リンクから構成され得る。無線ネットワークは、携帯型無線通信デバイス１１８との無線通信チャネルを確立する送受信器１１６から構成される。１つの代表的な適用例において、携帯型無線通信デバイス１１８は、携帯型無線クライアント・デバイス１１８から構成され得る。
【００２６】
例えば、画像ソースサーバ１０２は、画像を含むＨＴＭＬドキュメントを提供するワールドワイドウェブサーバから構成してもよい。無線ネットワークゲートウェイサーバは、無線アプリケーションプロトコル（ＷＡＰ）サーバであり得る。
【００２７】
画像ソースサーバ１０２と無線ネットワークゲートウェイサーバ１０８は、標準的なパーソナルコンピュータの形態をとってもよく、ＢＩＯＳ ＲＯＭ、ＲＡＭ、ハードディスクドライブ、キーボード、マウス、表示装置、着脱可能なメディアドライブから構成し得る。着脱可能なメディアドライブを用いて、サーバ１０２、１０８の一方又は両方を環境設定するためにコンピュータ可読メディア１２０からデータ符号化用及び／又は復号化用ソフトウェアを読込み、後述する本発明の処理を実行してもよい。
【００２８】
例えば、着脱可能なメディアは、光ディスク（例えば、ＣＤＲＯＭ）、磁気メディアディスク（例えば、３．５インチ１．４４メガバイトディスク）であってもよい。
【００２９】
本発明の好適な実施形態による代表的な携帯型無線通信デバイス
図２は、本発明の実施形態による携帯型無線通信デバイス１１８（図１）の内部の概略図を示す。マイクロプロセッサ２０２は、画像復号化用プログラムを実行する。ランダムアクセスメモリ（ＲＡＭ）２０４は、マイクロプロセッサ２０２が用いる作業領域を提供する。読出し専用メモリ（ＲＯＭ）２０６は、画像の復号化用及び／又は符号化用プログラムを記憶する。復号化された画像の表示に用いる表示装置２０８は、表示装置用ドライバ２１０に接続されて動作する。ユーザインタフェース２１２は、表示された画像の特定の領域を更に処理するために画像ソースサーバ１０２（図１）に記憶されている特定の画像を閲覧する要求や画像を他の通信デバイス（図示せず）に送信する命令等のユーザ入力を受信するために用いる。また、画像処理用特定用途集積回路（ＩＰ ＡＳＩＣ）２２０と画像処理用デジタル信号プロセッサ（ＩＰ ＤＳＰ）２２２も備えられている。デジタルカメラの形態をとり得る画像取込み用デバイス２２０もまた、無線通信デバイス１１８に組み込まれる。
【００３０】
また、通信インタフェース２１４、送受信器２１６、アンテナ２１８も備えられている。
双方向システムバス２２６によって、マイクロプロセッサ２０２、ＲＡＭ２０４、ＲＯＭ２０６、表示装置用インタフェース２１０、ユーザインタフェース２１２、通信インタフェース２１４、ＩＰ・ＡＳＩＣ２２０、ＩＰ・ＤＳＰ２２２、画像取込み用デバイス２２４が接続されている。
【００３１】
ＩＰ・ＡＳＩＣ２２０、ＩＰ・ＤＳＰ２２２、マイクロプロセッサ２０２は、データ処理デバイスとして機能し得る。無線通信デバイスは、これら３つのユニットの部分集合を用いて実現し得る。
【００３２】
本発明の実施形態による画像符号器の概念図
図３は、本発明の実施形態による画像符号器３００の概念図を示す。
機能ブロック３０２は、信号分解器である。好適には、信号分解器は多重レベルのウェーブレット変換器である。ウェーブレット変換器は、原画像に対する符号化及び復号化画像の忠実度を高めることが知られている。ウェーブレット変換器が本発明に関して有用であるもう１つの理由は、それが、画像の空間領域において局所化された、すなわち、高い密度で提供される基本機能に基づくことである。信号分解器は、ハードディスクドライブ（図示せず）又は画像取込み用デバイス２２４（図２）上のディレクトリであり得る画像データソースから入力画像を受信する。信号分解器は、２−ｄアレイ（マトリックス）にフォーマット化され得る一群の変換データ係数を出力する。画像の各カラーチャネルは、信号分解器や符号器３００及び復号器４００（図４）の他の部分によって別々に処理してもよい。本願で用いるカラーチャネルは、以下の輝度（ｙ）、色（Ｃｒ、Ｃｂ）の１つを含み得るが、それに限定されるものではない。
【００３３】
機能ブロック３０４は、空間アクティビティ解析器であり、画像エリア集合上上でカラーチャネルにおける一群の変化の大きさを得るように機能する。このエリア集合は、各変化の大きさが、鮮明な境界を有する領域に厳密に適用されるという点において離散的であり得る。この変化は、１つ又は複数の異なる長さの尺度で特徴付けできる。以下に開示する具体的な実施形態によれば、空間アクティビティ解析器は、選択した一群のウェーブレット変換データ係数から変化の大きさを求める。各ウェーブレット変換データ係数は、１つ以上の長さの尺度で変化を特徴付ける。もう１つのウェーブレット変換データ係数が含まれる処理を用いて、より大きい長さの尺度で変化の大きさの表示を得ることができる。
【００３４】
機能ブロック３０６は、空間優先順位付け器／選択器であり、変換データ係数集合から複数の部分集合を選択し、及び／又は係数の複数の部分集合に対して順序配列を行なうように機能する。この選択及び／又は配列は、空間アクティビティ解析器が得た変化の大きさに基づく。選択される変換データ係数の各部分集合は、空間アクティビティ解析器が変化の大きさを得るエリア集合と対応すること、すなわち、空間的に相関することができる。
【００３５】
機能ブロック３０８は、‘基準面’又は‘計数面’、一般的には優先面と呼ぶデータ構造に、変換データ係数集合の複数の部分集合を各々収集するように機能する空間係数分類器である。
【００３６】
機能ブロック３１０は、ビットストリームフォーマッタであり、伝送又は記録用の基準面又は計数面を作成するように機能する。基準面又は計数面以外に、ビットストリームフォーマッタは、低空間周波数に対応する変換データ係数の収集体から構成される他のデータ構造も受信する。同じ変換データ係数は、基準面間で分配される。各低空間周波数変換データ係数は、同じ変換データ係数の収集体に一度出現し、再度空間的に対応する基準面には再度出現する。ビットストリームフォーマッタ３１０は、所望のチャネルレート及び／又はＳＮＲ要求が決定ブロック３１１で満足された場合にのみ、フォーマット化された符号化データをチャネルに出力する。そうでない場合、エントロピ符号器３１２で更に処理される。
【００３７】
低空間周波数係数の収集体と、基準面又は計数面は、ビットストリームにおいて、区切り記号に対して直列変換及びインターリーブ処理される。区切り記号は、復号器によるビットストリームの構文解析を容易にする。低空間周波数に対応する変換データ係数の収集体は、受信復号器に最初に受信されるように、最初にビットストリームに配置される。低空間周波数に対応する変換データ係数の収集体を受信した後、復号器は低忠実度版の画像を再構成できる。
【００３８】
機能ブロック３１２は、算術符号器又はハフマン符号器であり得るエントロピ符号器である。エントロピ符号器はこの分野では公知であり、本明細書中では説明しない。
【００３９】
本発明を音声信号に適用する場合、音声信号の固有領域は空間座標ではなく時間座標であることから、空間アクティビティ３０４は時間アクティビティ解析器によって置き換える。音声信号処理の場合、符号器３００の他の機能ブロックもまた、対応する時間的類似性を有する。
【００４０】
画像符号器３００が無線通信デバイス１１８（図１）に実装される場合、送受信器（２１６（図２）を用いて、ビットストリームフォーマッタ３１０によって発生されるビットストリームを送信でき、あるいは、エントロピ符号器も通信デバイス１１８（図１）に実装される場合は、その出力を送信できる。
【００４１】
符号器３００において、ビットストリームフォーマッタ３１０の前段に量子化器やエントロピ符号器が無いことに留意されたい。本発明により、符号化及び復号化される基準面のビットサイズを考慮し、基準面に係数をグループ化し、また複数の基準面を配列及び／又は選択することによって、高い忠実度が達成される。従って、バイトサイズを更に低減したり、画像送信時間を低減したりするための量子化は省き得る。時間的なことを考慮した場合と比較して、量子化不要の新たな利点は、無線システムの場合に低クロックレートの低処理能力通信デバイスによって実行されることが多い反量子化の集中的な計算タスクを省き得ることである。低処理能力無線通信デバイス１１８を含む用途と高次の帯域幅の場合、エントロピ符号器３１２を省いて、無線通信デバイス１１８によるエントロピ復号化実行の必要性を回避し得る。
【００４２】
従来技術において、エントロピ符号器は、量子化され分解された画像全体の上で動作するため、これらエントロピ符号器の計算上の集中度が大きくなる。システム３００の利点は、単純で計算上の集中度が低いアクティビティ解析器によって以下のいずれかが可能となることである。
１）帯域幅がより広いチャネルの場合等、エントロピ符号化や他の何らかの符号化を必要としないシステム
２）帯域幅が狭いチャネルのシステム用のより複雑でないエントロピ符号器
【００４３】
単一コンピュータ上、好適には画像ソースサーバ１０２（図１）上において、図３に示す機能ブロックを実現するソフトウェアを動作させる代わりに、機能ブロックを複数のコンピュータに分散してもよい。代替の分散化は以下の通りである。信号分解器は、画像ソースサーバ１０２（図１）上で動作させてもよい。一方、信号分解器は、画像入力デバイス（例えば、デジタルカメラ、平面スキャナ、（図示せず））からデータを受信する他のコンピュータ（図示せず）上で動作させると、信号分解器の出力が画像ソースサーバ１０２に転送される。図３に示した残りの機能ブロックは、無線ネットワークゲートウェイサーバ上で動作させてもよい。この分散型配置において、エントロピ符号器及び復号器、量子化器、反量子化器、ネットワーク通信プロセス（図示せず）等の他の機能ブロックは、信号分解器３０２と空間アクティビティ解析器との間に介在し得る。分散型配置には以下の利点がある。無線インターネットサービス接続業者は、各顧客がアクセス可能な（画像ソースサーバ１０２で表す）インターネットサービスに制限を加えることなく、高画質で低バイトサイズの画像（従って、高速ダウンロード）を各顧客に提供するために所有する無線ネットワークゲートウェイサーバ１０８上に機能ブロック３０４、３０６、３０８、３１０を実現し得る。前記配置はトランスコーダを形成する。
【００４４】
本発明の実施形態による画像復号器の概念図
図４は、画像復号器４００の概念図を示す。
エントロピ復号器４０２は、エントロピ符号器３１２（図３）が出力するエントロピ符号化ビットストリームを受信し、対応する逆プロセスを実行して、ビットストリームフォーマッタ３１０（図３）が生成したビットストリームの複製を得る。
【００４５】
ビットストリーム構文解析器４０４は、低空間周波数に対応する変換データ係数の収集体と、基準面又は計数面を分離する。この過程で、ビットストリーム構文解析器４０４は、前述の区切り記号を用いてもよい。
【００４６】
空間係数再編成器４０６は、逆信号分解器４０８への入力に適した配列に、基準面から抽出した係数を配置する。
詳細については更に後述するが、本発明の１つの実施形態によれば、基準面の順序は、低空間周波数に対応する変換データ係数の収集体の解析に基づき、異なったエリア上での変化の大きさに従って、空間優先順位付け器３０６（図３）が決定する。上記実施形態において、空間再編成器４０６は、どの画像エリアに各基準面が対応付けられているかを、空間アクティビティ解析器３０４（図３）や空間優先順位付け器３０６（図３）と同じ解析を実行して求める。従って、基準面は、各対応付けられたアクティビティの大きさ、又これによって、（順序のような単純なラスタに反して）画像情報の伝達における各重要性によって決まる順序でビットストリームにフォーマット化され、しかも、復号器は各基準面の空間的関連を適切に決定できる。
【００４７】
プロセスブロック４０８は、入力として基準面から抽出した係数を用いて、逆信号分解器として機能する。逆信号分解器は、画像処理技術の当業者には知られている。本発明によれば、逆信号分解器は、短時間で表示用の低解像度画像を得るために、まず低空間周波数に対応する変換データ係数の収集体を処理することが好ましい。続いて、逆信号分解器は、ビットストリームの連続基準面を処理して、より高解像度の画像を順次得ることができる。
【００４８】
符号器３００（図３）と復号器４００（図４）の一部は、コンピュータ可読メディア１２０（図１）、ＲＯＭ２０６（図２）、又は一時的にＲＡＭ２０４（図２）に記憶され得るソフトウェアの形態で実現することができ、あるいはＩＰ・ＡＳＩＣ２２０（図２）又はＩＰ・ＤＳＰ２２２（図２）によって実現し得る。
【００４９】
信号分解器から出力される係数のデータ構造
図５は、好適な実施形態による、使用した信号分解器３０２のタイプである３レベルの離散ウェーブレット型の信号分解器から出力される変換データ係数５００の８Ｎ×８Ｍマトリックスの概略図である。図５に示す概略の形式は、画像処理技術の当業者には知られている。この概略図は、下線を引いた参照番号０−９で表記され、又図から分るように矩形枠線を有する１０個のサブバンドサブマトリックスを示す。サブバンドサブマトリックス０は、低空間周波数情報に対応する係数を含む。いくつかのサブマトリックスにおける左上点の座標（指標対）は、上端と左端に沿ってＮとＭで表記される。これらから、残りのサブマトリックスの左上点の座標を推定できる。
【００５０】
本発明の実施形態によれば、サブマトリックス０は、２×２変換データ係数のブロックに分割される。２×２係数のブロックは各々、入力画像における画素の特定のブロックに空間的に相関しており、これから、ウェーブレット型の信号分解器を適用することによって係数マトリックスが求められる。例えば、３レベルのウェーブレット変換の場合、サブバンドサブマトリックス０、１、２、又は３における２×２変換データ係数の各ブロックは、入力画像における１６×１６画素のブロックに対応する。更に、本発明の好適な実施形態によれば、０サブバンドサブマトリックスの２×２変換データ係数の各ブロックは、空間係数分類器３０８によって、他のサブバンドサブマトリックス全てから選択される空間相関する変換データ係数とグループ化される。係数の後者のグループ化は、好適な実施形態による前述の基準面である。次に、係数マトリックス５００から選択した基準面の要素について述べる。０サブバンドサブマトリックスの２×２係数のブロックは、ｎが変換データ係数の列を示し、ｍがその行を示す場合、（ｎ、ｍ）と表記されるその左上部の要素のマトリックス指標で識別できる。以下の明細書において、サブバンドサブマトリックス０の変換係数（ｎ、ｍ）に対応付けられた基準面から構成される変換データ係数は、それらが出現するサブバンドサブマトリックスの左上側の要素を基準に参照されるｎとｍで示される（マトリックス５００全体の左上側の変換係数を基準に参照されることに対して）。
【００５１】
０、１、２、３サブバンドサブマトリックスの場合、変換データ係数は、
［（ｎ、ｍ）、（ｎ＋１、ｍ）、（ｎ、ｍ＋１）、（ｎ＋１、ｍ＋１）］であり、
４、５、６サブバンドサブマトリックスの場合、変換データ係数は、
［２ｎ−１：２ｎ＋２、２ｍ−１：２ｍ＋２］であり、
７、８、９サブバンドサブマトリックスの場合、変換データ係数は、
［４ｎ−３：４ｎ＋４、４ｍ−３：４ｍ＋４］である。
【００５２】
各サブバンドサブマトリックスにおいて、基準面にある変換データ係数に対する表現はｎとｍで表記し、ここで、表記上、サブバンドサブマトリックスの左上部の要素は（１、１）とする。各サブバンドサブマトリックスのこれら左上部要素の指標は、変換データ係数マトリックス５００全体に対する指標系において、大文字Ｎ、Ｍで与えられ、図５から推定し得る。
【００５３】
従って、各４、５、６サブバンドサブマトリックスの場合、４×４変換データ係数のブロックがあり、各７、８、９サブバンドサブマトリックスの場合、８×８変換データ係数のブロックが存在する。各基準面は、１６×１６基準面マトリックスとして配列でき、あるいは３レベルの離散ウェーブレット変換の場合、２５６個の変換データ係数のストリームに（所定の順序で）直列変換し得る。
【００５４】
空間アクティビティ解析器用の流れ図
図６は、空間アクティビティ解析器３０６（図３）が実行するプロセス６００の流れ図を示す。プロセスブロック６０２において、Ｎレベルのウェーブレット型の信号分解器（信号分解器３０２（図３）の実施形態）が出力した変換データ係数のマトリックス５００（図５）を読取る。
【００５５】
サブバンドサブマトリックス０の２×２変換データ係数の各ブロックに対するプロセスブロック６０４において、２×２のブロックにおける左上側の変換データ係数と他の３つの変換データ係数との間で３つの差が取られる。他の３つの内１つに対して、３つの差全てに左上部の変換データ係数を含むかどうかは任意である。
【００５６】
２×２変換データ係数の各ブロックに対するプロセスブロック６０６において、前のステップで計算した３つの差の内、最大値を決定する。
プロセスブロック６０８において、２×２ブロックを識別する指標に対応する各２×２ブロックに対する最大値から構成されるレコードがリストに記憶される。
【００５７】
カラー画像の場合、空間アクティビティ解析器が解析するマトリックス５００は、１つの特定のカラーチャネルに対応する。各カラーチャネルに対するマトリックス５００は独立しており、また各々独立して処理される。
【００５８】
空間優先順位付け器／選択器の機能説明
図７は、空間優先順位付け器／選択器３０６（図３）が実行するプロセス７００の流れ図を示す。プロセスブロック７０２において、指標リストのレコードの部分集合とプロセスブロック６０８（図６）で記憶された対応する最大値が、最大値の値に基づき選択される。最大値が所定閾値を超えるレコードが全て選択され得る。一方、最大値に従う降順で最初に予め選択された数のレコードも選択され得る。また、プロセスブロック７０２は、部分集合のサイズをリストのレコード数と等しくすることによって、実質的に省くことも可能である。
【００５９】
プロセスブロック７０４において、プロセスブロック７０２で選択したレコードの部分集合は、最大の値に従ってソートされる。このソートは、高速ソートアルゴリズムを用いて実行し得る。
【００６０】
プロセスブロック７０２で実行する選択とプロセスブロック７０４で実行するソートを後で用いて、どの基準面が復号器に送られるか、またどういった順序で送られるかが決定される。基準面をそれ自体で順序付けすることによって、画質を決定する上でより重要な情報が、復号器がより高画質でより高速に提示できるように、まず復号器によって確実に受信される。基準面をそれ自体で選択することによって、符号化され、送信され、復号化された画像のバイトサイズに対して復号化画像の画質が確実に高くなり、高画質画像が、低帯域幅データリンクにおいて高速で送信され、また低処理能力通信デバイスで高速復号され得る。
【００６１】
空間係数分類器の機能説明
図８は、本発明の実施形態による空間係数分類器３０８（図３）が実行するプロセス８００の流れ図を示す。
プロセスブロック８０２において、変換データ係数の複数の部分集合が、変換データ係数マトリックス５００（図５）からまとめて集められる。この複数の部分集合は、識別済の２×２ブロックを含むことによって、プロセスブロック７０２（図７）において空間優先順位付け器／選択器３０６（図３）が選択するレコードの部分集合に対応する。各部分集合（基準面）は、サブバンドサブマトリックス０の２×２変換データ係数のブロックと、変換データ係数マトリックス５００の残りのサブバンドサブマトリックス１−９の空間的に相関する変換データ係数の収集体とから構成される。３レベルのウェーブレット変換のサブバンドサブマトリックス０における任意の２×２ブロックに対する空間相関する変換データ係数集合については、図５の説明において上記の如く述べた。
【００６２】
プロセスブロック８０４において、基準面は、プロセスブロック７０４において空間優先順位付け器／選択器３０６（図３）によって、２×２ブロックに対して求めた順序に基づく順番でメモリに記憶される。
【００６３】
空間アクティビティ解析器２０４（図２）と空間優先順位付け器／選択器２０６（図２）が実行する処理は、再編成することができ、またこれらの処理の結果は他の方法でも処理され得る。
【００６４】
ビットストリームフォーマッタの機能説明
図９は、本発明の実施形態によるビットストリームフォーマッタ３１０（図３）が実行するプロセス９００の流れ図を示す。
プロセスブロック９０２において、指定画質レベルでの画像の要求が受信される。例えば、この要求は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）要求の形態を取り得る。ＨＴＴＰ要求で指定された統一資源識別子（ＵＲＩ）は、ビットストリームフォーマッタ用の通信モジュールとして機能する共通ゲートウェイインターフェイス（ＣＧＩ）プログラムを示し得る。ＵＲＩは、キーワード又は数値で画質レベルを指定する添付データを含み得る。ＵＲＩは、無線通信デバイス１１８（図１）と無線ゲートウェイサーバ１０８（図１）との間の無線アプリケーションプロトコル（ＷＡＰ）要求によって実行し得る。
【００６５】
トランスコーダを実装する場合、ビットストリームフォーマッタ３１０は、利用可能な帯域幅の情報に基づき基準面の番号と表示装置２０８の解像度を自動選択し得る。
【００６６】
プロセスブロック９０４において、画質レベル及び／又はシステム帯域幅は、要求側通信デバイス１１８（図１、２）に送信される数の基準面に変換される。例えば、画質レベルは、１乃至５の数字で指定され、この数字から、送信されるプロセスブロック８０４（図８）に記憶された基準面の総数の割合が指定できる。
【００６７】
例えば、以下の公式、
ＮＰＳ＝ＴＮＮ＊（ＱＬ／５）
によって指定できる。ここで、
ＮＰＳは送信される基準面数であり、
ＴＮＮは、プロセスブロック８０４（図８）に記憶された基準面の総数であり、
ＱＬは、プロセスブロック９０２で受信した画質レベルである。
【００６８】
プロセスブロック９０６において、０サブバンドサブマトリックス（図５）が読取られる。
プロセスブロック９０８において、プロセスブロック９０４で決定された基準面数が、プロセスブロック８０４（図８）で記憶されたメモリから読取られる。
【００６９】
プロセスブロック９１０において、サブバンドサブマトリックス０の変換データ係数と基準面数が直列変換される。
プロセスブロック９１２において、サブバンドサブマトリックス０の変換データ係数と、基準面の変換データ係数の部分集合は、ビットストリームにおいて区切り記号でインターリーブ処理される。０サブバンドサブマトリックスの変換データ係数は、最初に復号器が受信するように、まずビットストリームに配置される。
【００７０】
次に、ビットストリームフォーマッタ３１０（図３）が生成するビットストリームは、例えば、無線ネットワーク１１２を介して無線通信デバイス１１８への通信チャネル上での伝送のために、低レベルの通信サービスに転送し得る。
【００７１】
空間アクティビティ解析器２０４、空間優先順位付け器２０６、空間係数分類器２０８（全て図２に示す）が行うプロセスは、基準面をビットストリームに符号化せずとも有用であることに留意されたい。基準面を順次送信する必要は無く、例えば、並列データリンクを用いて送信できる。基準面を送信する必要は全く無く、例えば、マトリックスとして記憶でき、そうでない場合はＣＤＲＯＭに記憶できる。
【００７２】
ビットストリーム構文解析器の流れ図
図１０は、ビットストリーム構文解析器４０４（図４）が実行するプロセス１０００の流れ図を示す。
プロセスブロック１００２において、サブバンドサブマトリックス０（図５）をビットストリームから読取られる。
【００７３】
プロセスブロック１００４において、サブバンドサブマトリックス０が空間係数分類器４０６（図６）に転送される。プロセスブロック１００６において、基準面に対応する変換データ係数の連続部分集合がビットストリームから読取られる。プロセスブロック１００８において、変換データ係数の連続部分集合が空間係数再編成器４０６（図４）に転送される。変換データ係数の１つ以上の連続部分集合群は、その群が空間係数再編成器に転送される前に、ビットストリームから読み出し得ることに留意されたい。
【００７４】
アクティビティが最も多い基準面は、ビットストリームに入力され、最初に抽出され、また一般的に画像周辺に空間的に分散されるため、符号化画像が途切れる接続の場合、途切れるまでに受信された基準面に基づき復号化された画像の忠実性は高くなり、高忠実度エリアと低忠実度エリアとの間で明瞭な水平境界が含まれない。
【００７５】
空間係数再編成器の流れ図
図１１は、空間係数再編成器４０６（図４）が実行するプロセス１１００の流れ図を示す。
プロセスブロック１１０２において、サブバンドサブマトリックス０（図５）をプロセスブロック１００４（図１０）で転送した後、ビットストリーム構文解析器４０４（図４）から受信する。
【００７６】
プロセスブロック１１０４において、空間アクティビティ解析器３０４（図３）が実行するプロセス６００（図６）と、空間優先順位付け器／選択器３０６（図３）が実行するプロセス７００（図７）が、空間係数再編成器４０６によって繰返される。この目的は、変換データ係数（基準）面の部分集合がビットストリームに符号化された順序を復号器側で決定するためである。こうすることによって、各基準面の空間的関連が求められるが、これは、サブバンドサブマトリックス０の、送信中に保存される空間的配置が一定なためである。
【００７７】
プロセスブロック１１０６において、プロセスブロック１００８（図１０）でビットストリーム構文解析器４０４（図４）が転送した連続基準面を空間係数再編成器４０６が受信する。
【００７８】
プロセスブロック１１０８において、連続基準面は、各基準面の空間的対応を示す情報と共に、逆射影変換部に転送される。
空間的対応を示す情報によって、各基準面から抽出した係数は、逆射影変換用に入力マトリックスに正確に配置され得る。
【００７９】
第２の実施形態による空間アクティビティ解析器の機能説明
図１２Ａは、本発明の第２の実施形態による空間アクティビティ解析器３０４（図３）が実行するプロセス１２００を示す。プロセスブロック１２０２において、３色チャネル特有の、３レベルのウェーブレット変換係数マトリックス５００（図５）の７、８、９サブバンドサブの変換データ係数の各８×８ブロックに対して、絶対値が第１所定閾値を超える変換データ係数の数の計数値が得られる。
【００８０】
プロセスブロック１２０４において、前述の８×８ブロックの各々に対して、所定計数閾値を超えた変換データ係数の数の計数値が求められる。
カラー画像の場合、第１所定閾値と所定計数値は、各カラーチャネルに対して独立に設定し得る。発明者がこれまで行った実例では、これらの値は、３つのカラーチャネル全てに対して同じ２つの値に設定した。
【００８１】
第１所定閾値と所定計数閾値を調整し、原画像に対する符号化及び復号化画像の忠実度と符号化画像のバイトサイズを変えことができる。いずれかの閾値を下げると忠実度は上がるが、符号化画像のバイトサイズも増える。
【００８２】
下表に、第１所定閾値と所定計数閾値を様々な組合せで選定して得た主観的画質の例をいくつか示す。
【００８３】
【表１】

プロセスブロック１２０６において、計数値が所定計数閾値を超えた各８×８ブロックにフラグをたてる、すなわち、そこからレコードを作る。
【００８４】
レコードの表記は、各桁が特定の８×８ブロックに対応すると共にその桁の値が８×８ブロックにフラグがたてられたかどうかを示す２値シーケンスの形態を取り得る。このシーケンスをフラグシーケンスと呼ぶ。他の好適な実施形態によれば、各カラーチャネルに対して独立したフラグシーケンスが存在する。
【００８５】
プロセスブロック１２０８において、各８×８ブロック用の識別子と各８×８ブロック用の計数値から各々構成される複数のレコードをメモリに記憶する。レコードは、各計数が行なわれた後、順次記憶し得る。
【００８６】
次に、図１３において、プロセス１２００は、プロセスブロック１２０８で記憶された複数のレコードが読取られるプロセスブロック１２１０で継続される。
プロセスブロック１２１２において、複数のレコードを計数値毎にソートして、ソート済の複数のレコードを得る。高速ソートアルゴリズムを用い得る。
【００８７】
プロセスブロック１２１４において、複数のソート済レコードにける８×８ブロック識別子のソート済リストを抽出する。複数のソート済８×８ブロックの各８×８ブロック用識別子は、変換データ係数マトリックス５００（図５）の指標系において８×８ブロックの左上部の要素に対応する指標対の形態を取る。
【００８８】
サブバンドサブマトリックス７、８、９の８×８ブロックを解析するよりもむしろ、同じタイプの解析が、他のサブバンドサブマトリックスにおける他のブロックに基づき得ることに留意されたい。例えば、サブバンドサブマトリックス４、５、６の４×４ブロックが解析され得る。
【００８９】
第１所定閾値及び／又は所定計数閾値の値は、画像中において変えることができる。例えば、より注目されがちな画像の中央では、より低い値を用いることができる。一方、図１８で以下に述べるように、注目するユーザ指定の領域に基づき、値を変えることができる。
【００９０】
他の好適な実施形態による空間優先順位付け器／選択器の機能説明
図１４は、本発明の他の好適な実施形態による空間優先順位付け器／選択器３０６（図３）が実行するプロセス１４００の流れ図を示す。
プロセスブロック１４０２において、プロセスブロック１２０６でフラグがたてられた輝度成分変換データ係数マトリックス５００（図５）の７、８、９サブバンドサブマトリックスにおける８×８ブロックを選択する。
【００９１】
プロセスブロック１４０４において、輝度成分変換データ係数マトリックス５００（図５）の１−６サブバンドサブマトリックスにおける変換データ係数を全て選択する。
【００９２】
プロセスブロック１４０６において、２つの色変換データ係数マトリックス５００（図５）各々の場合、フラグがたてられた各８×８ブロックに対して、４、５、又は６サブバンドサブマトリックスの空間相関する４×４ブロックを選択する。
【００９３】
プロセスブロック１４０８において、２つの色変換データ係数マトリックス５００（図５）各々の場合、フラグがたてられた各８×８ブロックに対して、１、２、又は３サブバンドサブマトリックスの空間相関する２×２ブロックを選択する。
【００９４】
従って、２つの色変換データ係数マトリックス５００（図５）の場合、サブバンドサブマトリックス７（図５）の８×８ブロックにフラグをたてた場合、それは、サブバンドサブマトリックス４の空間的に対応する４×４ブロックとサブバンドサブマトリックス１の２×２ブロックと共に選択される。同様に、サブバンドサブマトリックス３と５のブロックは、サブバンドサブマトリックス８の空間相関するブロックの選択に依存して選択され、またサブバンドサブマトリックス１と４のブロックの選択は、サブバンドサブマトリックス７の空間相関するブロックの選択に依存する。
【００９５】
他の好適な実施形態による空間係数分類器
図１５は、本発明の他の好適な実施形態による空間係数分類器３０８（図３）が実行するプロセス１５００を示す。
プロセスブロック１５０２において、輝度成分変換係数マトリックス５００の場合、サブバンドサブマトリックス１の各２×２ブロックは、プロセス１３００（図３）において８×８ブロックを空間優先順位付け器３０６が選択した場合、サブバンドサブマトリックス４の空間相関する４×４ブロックと、サブバンドサブマトリックス７の空間相関する８×８ブロックとグループ化される。
【００９６】
プロセスブロック１５０４において、以下のサブバンドサブマトリックス、すなわち、１を３に、４を６に、７を９に置き換えて、プロセスブロック１５０２を繰返す。
【００９７】
プロセスブロック１５０６において、以下のサブバンドサブマトリックス、すなわち、３を２に、６を５に、９を８に置き換えて、プロセスブロック１５０４を繰返す。
【００９８】
プロセスブロック１５０８において、各色成分変換データ係数マトリックス５００の場合、サブバンドサブマトリックス７の各８×８ブロックは、サブバンドサブマトリックス４の空間相関する４×４ブロックと、サブバンドサブマトリックス１の空間相関する２×２ブロックとグループ化される。
【００９９】
プロセスブロック１５１０において、以下のサブバンドサブマトリックス、すなわち、７を９に、４を６に、１を３に置き換えて、プロセスブロック１５０８を繰返す。
【０１００】
プロセスブロック１５１２において、以下のサブバンドサブマトリックス、すなわち、９を８に、６を５に、３を２に置き換えて、プロセスブロック１５１０を繰返す。
【０１０１】
プロセスブロック１５０２−１５１２で形成した係数の群は、変換データ係数の空間相関する部分集合であり、‘計数面’と呼ぶ。
空間優先順位付け器／選択器３０６と図１４と１５に示すプロセスによる空間係数分類器３０８とによる輝度成分の取り扱いは、２つの色成分とは異なることに留意されたい。他の好適な実施形態によれば、サブバンドサブマトリックス１乃至６は、常に輝度選択用に送られるが、２つの色成分の場合、サブバンドサブマトリックス７−９の空間相関する８×８ブロックがプロセス１２００（図１２）で求めた空間アクティビティ解析器３０４（図３）の条件を満たす場合にのみ送られる。この区別は、人間の知覚認識に基づいており、人間の目は、色よりも輝度の変化に対してより敏感であることが人間の知覚認識から知られている。
各群を形成する際に、他の群の形成前にメモリに記憶してもよいことに留意されたい。
【０１０２】
本発明の他の好適な実施形態によるビットストリームフォーマッタ
図１６は、本発明の他の好適な実施形態によるビットストリームフォーマッタ（図３）が実行するプロセス１６００を示す。
【０１０３】
プロセスブロック１６０２において、輝度と２つの色変換データ係数マトリックス５００におけるサブバンドサブマトリックス０の変換データ係数を読取る。
プロセスブロック１６０４において、プロセスブロック１６０４で読取った変換データ係数を直列変換する。
【０１０４】
プロセスブロック１６０６において、ビットシーケンスを所定の順序でビットストリームに書込む。
プロセスブロック１６０８において、プロセスブロック１２１４（図１２Ｂ）で空間アクティビティ解析器３０４（図３）が抽出した８×８識別子のソート済リストを読取る。
【０１０５】
プロセスブロック１６１０において、８×８ブロック識別子のソート済リストを直列変換する。
プロセスブロック１６１２において、８×８ブロック識別子の直列変換済リストをビットストリームに書込む。
【０１０６】
プロセスブロック１６１４において、連続計数面をプロセスブロック１２１２で得たソート順序に基づく順番で読取る。
プロセスブロック１６１６において、連続計数面を直列変換する。
プロセスブロック１６１８において、空間相関する変換係数の連続する直列変換済部分集合をビットストリームに書込む。
【０１０７】
従って、他の好適な実施形態によれば、計数面は、第１所定閾値を超える各８×８ブロックにおける変換データ係数の数の計数値に基づく順番で、ビットストリームに書込まれる。
異なるカラーチャネル部分集合は、ビットストリームにまとめてブロック化又はインターリーブ処理することができる。
【０１０８】
他の好適な実施形態によるビットストリーム構文解析器の機能説明
図１７は、本発明の実施形態によるビットストリーム構文解析器４０４（図４）が実行するプロセス１７００の流れ図を示す。
【０１０９】
プロセスブロック１７０２において、サブバンドサブマトリックス０の変換データ係数をビットストリームから読取る。
プロセスブロック１７０４において、サブバンドサブマトリックス０の変換データ係数を空間係数再編成器４０６（図４）に転送する。
【０１１０】
プロセスブロック１７０６において、８×８ブロック識別子のソート済リストをビットストリームから読取る。
プロセスブロック１７０８において、８×８識別子のソート済リストを空間係数再編成器４０６（図４）に転送する。
【０１１１】
プロセスブロック１７１０において、連続計数面をビットストリームから読取る。
プロセスブロック１７１２において、連続計数面を空間係数再編成器に転送する。
【０１１２】
他の好適な実施形態による空間係数再編成器が実行するプロセスの機能説明
図１８は、他の好適な実施形態による空間係数再編成器４０６（図４）が実行するプロセス１８００の流れ図を示す。
プロセスブロック１８０２において、サブバンドサブマトリックス０の変換データ係数をビットストリーム構文解析器４０４（図４）から受信する。
【０１１３】
プロセスブロック１８０４において、サブバンドサブマトリックス０の変換データ係数を逆投影変換４０８（図４）用にフォーマット化する。
プロセスブロック１８０６において、サブバンドサブマトリックス０の変換データ係数を逆投影変換４０８（図４）に転送する。
【０１１４】
プロセスブロック１８０８において、８×８ブロック識別子のソートリストをビットストリーム構文解析器４０４（図４）から受信する。
プロセスブロック１８１０において、連続計数面をビットストリーム構文解析器４０４（図４）から受信する。
【０１１５】
プロセスブロック１８１２において、連続計数面を、８×８ブロック識別子のソート済リストから求められる各計数面を識別する情報と共に、逆投影変換４０８（図４）に転送する。各連続計数面を受信する際、空間係数再編成器は、８×８ブロック識別子の各連続要素の識別を調べることによって推定し得る。サブバンドサブマトリックス７、８、９の各８×８ブロックと、他のサブバンドサブマトリックスにおける他のブロックとの間における空間相関の情報は、空間係数再編成器４０６（図４）にプログラム化されることによって、空間係数再編成器４０６は、８×８ブロックの変換データ係数に加えて、計数面の他の変換データ係数を識別でき、また逆投影変換４０８（図４）への追加係数を正しく識別できる。逆投影変換部に合う計数面を識別する情報は、明示的でなくてもよいことに留意されたい。その情報は、位置決め係数が、逆投影変換４０８（図４）による処理のために空間係数再編成器によって配置されるマトリックスの計数面から抽出した位置決め係数に含むことが可能である。
【０１１６】
注目領域に基づく優先順位付けの機能説明
図１９は、ユーザ入力の注目領域に基づく画像符号化におけるビット使用を優先順位付けするための空間アクティビティ解析器３０４に対する任意のプロセス１９００を示す。特に、このプロセスは、符号器３００（図３）が、ビットマップ画像変換用のコンピュータ上で動作される用途に適しており、この場合、符号化画像は、直ちに転送されるのではなく、例えば、画像ソースサーバ１０２（図１）に記憶してもよい。
【０１１７】
図１９に示すプロセスを実現するために、画像符号器には、ユーザが画像を閲覧したり、１つ以上の注目エリア領域を選択するために用いたりし得るグラフィカルユーザインタフェース（ＧＵＩ）が設けられる。例えば、ＧＵＩによって、ユーザは、画像エリア上に矩形部の大きさや位置を決定し、矩形部を注目領域として選択することができる。この種のＧＵＩを設けることは、ＧＵＩプログラミング技術に携わる当業者であれば可能である。
【０１１８】
図１９のプロセスブロック１９０２において、ユーザ指定の注目画像領域を読取る。
プロセスブロック１９０４において、ＲＯＩ内で用いる第１所定閾値の値を設定する。
【０１１９】
プロセスブロック１９０６において、ＲＯＩ内で用いる計数閾値の値を設定する。
プロセスブロック１９０４と１９０６で設定した値は、ＲＯＩ外で用いる既定値であり得る他の値とは異なる。
【０１２０】
一般的に、第１所定閾値、計数閾値、又はその両方は、ＲＯＩにおいて小さくなる。この２つの閾値は、ＲＯＩ外では大きくてよく又そうでなくてもよい。
ＲＯＩにおいて第１所定閾値を小さくすることによって、ＲＯＩの８×８ブロックに対する計数値が大きくなり、またプロセスブロック１２１４（図１３）で抽出したソート済リストのＲＯＩに対応する計数面の位置決めが改善される。
ＲＯＩで用いる計数閾値を小さくすることによって、プロセス１５００（図１５）で選択したＲＯＩにおける８×８ブロック数が増える。
【０１２１】
ＳＮＲが可変である実施形態の機能説明
図２０は、基準面又は計数面集合に配列された変換データ係数によって表される画像が、選択された信号対雑音比（ＳＮＲ）レベルでアクセスされ得るプロセス２０００を示す。このプロセスは、符号器３００（図３）上で実現できるが、復号器４００（図４）側で実現してもよい。前者の場合、ある変換データ係数を選択して符号化するビットストリームフォーマッタ３１０（図３）でこのプロセスを実現できる。後者の場合、ビットストリーム構文解析器４０４（図４）によってこのプロセスを実現できる。
【０１２２】
図２０のプロセスブロック２００２において、例えば、サブルーチン呼出しとして、指定画質レベルでの画像要求を受信する。
プロセスブロック２００４において、指定画質レベルに基づき、サブバンドの上限が決定される。例えば、サムネイル画質の場合、サブバンドの上限をゼロに設定する。３レベルのウェーブレット変換の場合、中程度の画質は、３又は６のサブバンドの上限に相当する。最高画質の場合、サブバンドの上限は、３レベルのウェーブレット変換の場合、最高サブバンド９に相当する。
【０１２３】
プロセスブロック２００６において、サブバンド上限まで画像の計数面又は基準面の配列済集合からサブバンド部の集合を読取り、サブバンド限定計数面又は基準面の配列済集合を形成する。
【０１２４】
プロセスブロック２００８において、サブバンド限定計数面又は基準面の配列済集合を、逆投影変換４０８（図４）に供給する。
本明細書で用いる固有領域という用語は、空間領域又は時間領域を意味する。音声信号の場合、固有領域という用語は時間領域を指す。
【０１２５】
図２１は、符号化される数の計数面又は基準面を決定するために、ビットストリームフォーマッタ３１０（図３）が実行し得るプロセスの流れ図である。一方、図２１に示すプロセスは、空間優先順位付け器／選択器３０６（図３）によって実行され、選択された基準面数を限定する。
【０１２６】
図２１のプロセスブロック２１０２において、画素毎ビットや利用可能なシステム帯域幅で指定される圧縮率、あるいはユーザ定義の画像解像度又は画質を読取る。圧縮比は、特定の無線ネットワークで用いられる所定の値であり得る。圧縮比は、ユーザに対して顕著な遅延を起こさない画像転送時間が得られるように、その時点で利用可能な帯域幅を考慮して選択される。また、圧縮比は、このようなマルチ解像度システムのビットストリームにサブバンドを適切に配列することによって基準面数を選択できる指定された画像解像度から計算し得る。一方、画質を指定することもでき、また近似的な圧縮比をプログラムされている参照用テーブルから選択できる。符号化性能に基づき、いくつかのテスト画像を先にテストしてもよく、また画質と圧縮比の関係を得て表を形成してもよい。
【０１２７】
プロセスブロック２１０４において、圧縮版の画像用に割り当てられるビット総数は、予め選択された圧縮比、画像解像度、画質のいずれかに基づき計算される。
【０１２８】
プロセスブロック２１０６において、プロセスブロック２１０４で計算されたビット総数に対応する基準面又は計数面の総数を決定する。基準面に対する変換データ係数の総数は、図６−１１を用いて上述した実施形態に基づき、最終的には２５６に固定されるが、ウェーブレット変換のレベル数に依存する。好適な場合として、変換データ係数が量子化されない場合、基準面のビット総数は、単に、基準面の変換データ係数の総数に、各変換データ係数を表すのに用いるビット数を乗算したものである（８ビットは、非科学的用途に適する）。基準面当たりのビットが与えられると、プロセスブロック２１０４で計算したように、プロセスブロック２１０６は、画像に対するビット総数を、その基準面当たりのビット数で除算することにより達成され得る。変換データ係数が量子化される場合、基準面当たりのビット数は減少する。
【０１２９】
本発明は、空間的に相関する係数の部分集合を、データ（例えば、画像）情報の伝達におけるそれらの相対的な重要性に基づいて、選択し配列するための方法とシステムを提供する。選択された及び／又はソートされた空間的に相関する係数の部分集合を符号化及び復号化することによって、復号化された部分集合の任意のバイトサイズに対して、データをより高い忠実度で表現することができる。
【０１３０】
１つの側面によれば、本発明は、データ集合を符号化するための方法を提供する。この方法は、変換データ係数の集合を得るために、データ集合に変換を行う段階と、前記変換データ係数の集合の変換データ係数をグループ化することによって、前記データ集合の領域の集合に対応する複数の変換データ係数の部分集合を形成する段階と、前記複数の変換係数の部分集合に各々対応するアクティビティの大きさを計算する段階と、を含む。
【０１３１】
他の側面によれば、本発明は、データ集合を符号化するためのプログラミング命令を含む、コンピュータが判読可能な媒体を提供する。この媒体は、データ集合に対応する変換データ係数の集合を読込み、前記データ集合の領域における変化の大きさを取得し、前記変化の大きさに基づき、前記データ集合の領域と空間的に相関する変換データ係数の部分集合を抽出するかどうか判断し、変換データ係数の部分集合を抽出する、ためのプログラミング命令から構成されている。
【０１３２】
更に、他の側面によれば、本発明は、ウェーブレット信号分解器によって出力された変換データ係数の集合を処理する方法を提供する。本方法は、ウェーブレット信号分解器によって出力された変換データ係数の集合を受信する段階と、前記変換データ係数の集合によって表される変換画像の選択領域の集合に対応する変化の大きさの集合を演算する段階と、変化の大きさの前記集合に基づき、前記変換された画像領域集合の部分集合を選択する段階と、変化の大きさの前記集合に基づき、前記領域集合の部分集合の配列を決定する段階と、前記画像領域の集合に対応する前記変換データ係数集合の部分集合の集合をグループ化する段階と、を含む。
【０１３３】
更に、他の側面によれば、本発明は、データ集合を符号化するための符号器を提供する。この符号器は、入力データ集合を受信し又変換データ係数集合を出力するための信号分解器と、変換データ係数の集合に基づきデータ集合における変化の大きさの集合を決定するための空間アクティビティ解析器と、変換データ係数集合の部分集合の集合を選択すること及び変換データ係数集合の部分集合の集合に対して配列を決定することから成る群から選択された機能を実行するための空間優先順位付け器／選択器と、変換データ係数集合の空間的に相関する複数の部分集合をまとめて収集するための空間係数分類器と、を含む。
【０１３４】
更に、他の側面によれば、本発明は、符号化されたデータ集合を復号化するための復号器を提供する。この復号器は、変換データ係数集合の空間的に相関する部分集合の集合をビットストリームから抽出するためのビットストリーム構文解析器と、各部分集合の空間結合の表示と共に、変換データ係数集合の空間的に相関する部分集合の集合を、逆信号分解器へ転送するための空間係数再編成器と、を含む。
【０１３５】
更に、他の側面によれば、本発明は、通信システムを提供する。本通信システムは、画像ソースサーバを含む。画像ソースサーバは、入力データ集合を受信し又変換データ係数集合を出力するための信号分解器と、変換データ係数の集合に基づきデータ集合における変化の大きさの集合を決定するための空間アクティビティ解析器と、変換データ係数集合の部分集合の集合を選択すること及び変換データ係数集合の部分集合の集合に対して配列を決定することから成る群から選択された機能を実行するための空間優先順位付け器／選択器と、変換データ係数集合の空間的に相関する複数の部分集合をまとめて収集するための空間係数分類器と、を含む。本通信システムは、更に、空間的に相関する複数の部分集合をビットストリームに書込むためのビットストリームフォーマッタと、ネットワークと、通信デバイスを含む。通信デバイスは、空間的に相関する複数の部分集合をビットストリームから抽出するためのビットストリーム構文解析器と、複数の空間的に相関する部分集合を各部分集合の空間的な結合の表示と共に逆信号分解器へ転送するための空間係数再編成器とを含む。
【０１３６】
更に、他の側面によれば、本発明は、離散ウェーブレット変換によって出力される変換データ係数を優先順位付けするための方法を提供する。本方法は、輝度変換データ係数のブロックを輝度変換データ係数マトリックスにおける第１サブバンドサブマトリックスから選択する段階と、対応する色変換データ係数のブロックを、色変換データ係数マトリックスにおいて対応するサブバンドサブマトリックスから、対応するブロックに対応するアクティビティの大きさに基づき、選択的に選択する段階と、を含む。
【０１３７】
本発明は、流れ図を参照して上述の如く説明されたが、本発明は、１つ以上のプログラムが汎用マイクロプロセッサベースのシステムで動作する具体例に限定されるものではない。本発明は、全体的に又は部分的に、デジタル信号処理（ＤＳＰ）チップや専用集積回路（ＡＳＩＣ）を用いて実現することが可能である。
【０１３８】
流れ図は、プロセスステップの具体的な時間的シーケンスを必ずしも表すものではない。更に、プロセスは、図に示すように細分化される必要はない。上述の如く逐一述べたことに加えて、相違は、画像処理技術において当業者のスキルの範囲内である。
【０１３９】
本発明の好適な又他の実施例について図示し又説明したが、本発明は、それに限定されるものでないことは明らかである。以下の請求項によって規定される本発明の精神と範囲から逸脱することなく、当業者は、様々な修正、変更、改変、代替、同等なものを提供し得るであろう。
【０１４０】
本発明の新規であると考えられる特徴は、請求項に記載する。しかしながら、本発明それ自体は、添付の図面と共に、本発明によるいくつかの実施例に関する以下の詳細な説明を参照することによって最も良く理解し得る。
【図面の簡単な説明】
【図１】 本発明の好適な実施例に基づく通信ネットワークとシステムの概略図。
【図２】 本発明の好適な実施例に基づく、図１に示す携帯型無線通信デバイスの概念図。
【図３】 本発明の好適な実施例に基づく画像符号器の概念図。
【図４】 本発明の好適な実施例に基づく画像復号器の概念図。
【図５】 ３レベルの離散的ウェーブレット変換からの出力のデータ構造表記の例。
【図６】 本発明の好適な実施例に基づく、図３に示す空間アクティビティ解析器によって実行されるプロセスの流れ図。
【図７】 本発明の好適な実施例に基づく、図３に示す空間優先順位付け器／選択器によって実行されるプロセスの流れ図。
【図８】 本発明の好適な実施例に基づく、図３に示す空間係数分類器によって実行されるプロセスの流れ図。
【図９】 本発明の好適な実施例に基づく、図３に示すビットストリームフォーマッタによって実行されるプロセスの流れ図。
【図１０】 本発明の好適な実施例に基づく、図４に示すビットストリーム構文解析器によって実行されるプロセスの流れ図。
【図１１】 本発明の好適な実施例に基づく、図４に示す空間係数再編成器によって実行されるプロセスの流れ図。
【図１２】 本発明の好適な実施例に基づく、図３に示す空間アクティビティ解析器によって実行されるプロセスの流れ図。
【図１３】 本発明の他の好適な実施例に基づく、図３に示す空間アクティビティ解析器によって実行されるプロセスの流れ図の第２部分。
【図１４】 本発明の他の好適な実施例に基づく、図３に示す空間優先順位付け器／選択器によって実行されるプロセスの流れ図。
【図１５】 本発明の他の好適な実施例に基づく、図３に示す空間係数分類器によって実行されるプロセスの流れ図。
【図１６】 本発明の他の好適な実施例に基づく、図３に示すビットストリームフォーマッタによって実行されるプロセスの流れ図。
【図１７】 本発明の他の好適な実施例に基づく、図４に示すビットストリーム構文解析器によって実行されるプロセスの流れ図。
【図１８】 本発明の他の好適な実施例に基づく、図４に示す空間係数再編成器によって実行されるプロセスの流れ図。
【図１９】 本発明の他の好適な実施例に基づく、図３に示す空間アクティビティ解析器によって実行されるプロセスの流れ図。
【図２０】 本発明の他の好適な実施例に基づく、図３に示す画像符号器又は図４に示す画像復号器によって実行されるプロセスの流れ図。
【図２１】 本発明の他の好適な実施例に基づく、図３に示すビットストリームフォーマッタによって実行されるプロセスの流れ図。

Claims (7)

1. ウェーブレット信号分解器によって出力された変換データ係数の複数の集合を処理する方法であって、
   前記変換データ係数の複数の集合を受信する段階と、
   前記変換データ係数の複数の集合から２つの変換データ係数間の変化の大きさを演算する段階であって、前記変換データ係数の複数の集合の各々における前記変化の大きさの最大値を決定する段階を含む、前記演算する段階と、
   前記変化の大きさの最大値に応じて、前記変換データ係数の複数の集合のうちの幾つかの集合を選択する段階と、
   前記変化の大きさの最大値に応じて、前記選択された変換データ係数の幾つかの集合の配列を決定する段階と、
   前記変化の大きさの最大値に応じて、前記変換データ係数の複数の集合の幾つかの集合をグループ化する段階と、
   システムチャネルのレート又はＳＮ比が予め設定された基準値を満足するかどうかを判定する段階と、
   前記システムチャネルのレート又はＳＮ比が前記予め設定された基準値を満足しない場合に、前記選択、配列、およびグループ化された前記変換データ係数の集合を符号化する段階と、を備える、方法。
2. 前記変換データ係数の複数の集合の各々は、空間的に相関する、請求項１に記載の方法。
3. 前記変換データ係数の複数の集合は、変化の大きさに基づく重要度に応じた順番でソートされる、請求項２に記載の方法。
4. 前記ソートされた変換データ係数の複数の集合の数を、システムチャネルの帯域幅又はレートに応じて選択する段階をさらに備える、請求項３に記載の方法。
5. 符号器に含まれるプログラミング命令に従って前記変換データ係数の複数の集合の全てを送信する段階をさらに備える、請求項３に記載の方法。
6. 符号器を用いてシステムチャネルの帯域幅に応じて前記変換データ係数の複数の集合のうちの幾つかの集合を送信する命令を送信する段階をさらに備える、請求項３に記載の方法。
7. 復号器に含まれる命令に従って前記変換データ係数の複数の集合のうちの受信された幾つかの集合を復号化する段階をさらに備える、請求項３に記載の方法。

Images