JP4949836B2 - 記述的モデルパラメータを用いたエンハンスメントレイヤデータを符号化及び復号化するシステム及び方法 - Google Patents

Description

本発明は、一般に信号処理に関する。より詳細には、本発明は、映像符号化システムを含むシステムなどの画像符号化システム及び対応する画像復号化システムに関し、符号化中に画像情報が、当該画像情報の少なくとも一部にパラメトリックモデリングが適用される対応する空間階層化フォーマットに変換されることを特徴とする。さらに、本発明はまた、上記システム内で用いられる画像符号化方法に関する。さらに、本発明は、上記システム内で用いられる画像復号化方法に関する。また、本発明は、パラメトリックモデリングが適用される最適解の特定方法に関する。このような特定方法は、潜在的には、モデルオーダの選択が必要とされる広範な信号処理における画像符号化システムの技術分野以外にも適用可能である。

画像情報符号化及び対応する復号化のための方法は、何年もの間知られてきた。このような方法は、ＤＶＤ、携帯電話デジタル画像送信、デジタルケーブルテレビ及びデジタル衛星テレビにおいて重要である。このため、そのいくつかはＭＰＥＧ−２などの国際的に認められた規格になっているある領域の符号化及び対応する復号化技術が存在する。

１９９７年以来、国際電気通信連合（ＩＴＵ）のＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が、Ｈ．２６Ｌの国際的名称を有する新たな映像符号化規格について取り組んできた。２００１年後半に、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｏｒｇａｎｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｉｏｎ）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）は、ＶＣＥＧと協同して、単一の技術的構成を作成するため、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）として協同作業することを決めた。そして、この構成は、ＩＴＵ−Ｔによって「勧告Ｈ．２６４」として、ＩＳＯ／ＩＥＣによって「国際規格１４４９６−１０」（ＭＰＥＧ−４ Ｐａｒｔ１０）ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）として２００３に正式承認されると予想される。

Ｈ．２６４／ＡＶＣ標準化の主たる目的は、映像圧縮効率を大きく向上させることであり、対話的及び非対話的アプリケーションを扱う「ネットワークフレンドリ」な映像表現を提供するためのものであった。対話的アプリケーションは電話に関し、非対話的アプリケーションは通信データの格納、配信及びストリーミングに関する。現在、Ｈ．２６４／ＡＶＣ規格は、上記目的を達成可能なものとして広く認識され、さらに、Ｈ．２６４／ＡＶＣ規格はまた、ＤＶＢフォーラムやＤＶＤフォーラムなどの映像アプリケーションを扱う他のいくつかの技術及び規格団体により採用されるため検討されている。

Ｈ．２６４／ＡＶＣエンコーダ及びデコーダのソフトウェア及びハードウェア実現形態の両方が、利用可能となりつつある。

他の形式の映像符号化及び復号化もまた知られている。例えば、米国特許第５，９１７，６０９号では、ハイブリッド波形及びモデルベース画像信号エンコーダ及び対応するデコーダが記載されている。このエンコーダ及び対応するデコーダでは、もとの画像信号は、圧縮後に可能な限りもとの信号の波形に近似するようにするため、波形符号化及び復号化される。その損失を補償するため、当該信号のノイズコンポーネント、すなわち、波形符号化により失われる信号コンポーネントが、モデルベース符号化され、個別に送信又は格納される。デコーダでは、ノイズが再生成され、波形復号された画像信号に追加される。上記特許第５，９１７，６０９号に開示されているエンコーダ及びデコーダは、ノイズのロスにより、心臓内科医や放射線技師が対応する画像に歪みがあると結論付ける医療用Ｘ線血管造形画像の圧縮に特に関連する。しかしながら、開示されるエンコーダ及び対応するデコーダは、何れの確立された、又は出現した画像符号化及び対応する復号化規格に必ずしも準拠しない専門家の実現形態としてみなされる。

出現した上記Ｈ．２６４規格を再び参照するに、当該規格は、ＭＰＥＧ−２などの既存の規格から知られる空間スケーラビリティの同様の原理を利用するものである。当該原理の適用は、最上位レイヤから最下位レイヤまで系列状に配置された２以上のレイヤによる映像シーケンスを符号化することが可能であるということを意味し、各レイヤはそれの次の上位のレイヤの空間解像度以下の空間解像度を使用する。これらレイヤは、しばしば「エンハンスメントレイヤ」と呼ばれる上位のレイヤが、それがローカルに復号化され、もとの画像に対応する空間解像度にスケールアップされた後の下位の符号化レイヤと、映像シーケンスのもとの画像との間の差を表すようにして相互に関連している。図１において、このようなエンハンスメントレイヤに対応するデータを生成するためのスキームが示される。

図１において、１０により全体的に示される既知のコンポジットエンコーダが示される。エンコーダ１０は、スケーリングダウン機能２０、第１Ｈ．２６４エンコーダ３０、ローカルＨ．２６４デコーダ４０、スケーリングアップ機能５０、差機能６０及び第２Ｈ．２６４エンコーダ７０を有する。映像信号入力ＩＰが、画素画像データを入力するのに提供される。入力ＩＰは、差機能６０の非反転入力（＋）と、スケーリングダウン機能２０の入力とに結合される。スケーリングダウン機能２０のスケールダウンされた出力は、第１エンコーダ３０の入力に結合される。第１エンコーダ３０の第１主符号化出力は、ベースレイヤ出力ＢＬＯＰを提供するよう構成される。さらに、第１エンコーダ３０の第２ローカル符号化出力は、スケーリングアップ機能５０の入力に結合された対応する復号化出力を有するローカルＨ．２６４デコーダの入力に結合される。さらに、スケーリングアップ機能５０のスケールアップ出力は、差機能６０の反転入力（−）に結合される。差機能６０の差出力は、第２エンコーダ７０の入力に結合される。第２エンコーダ７０からの符号化出力は、エンハンスメントレイヤ出力ＥＬＯＰを提供するよう構成される。コンポジットエンコーダ１０は、各出力が「レイヤ」に対応するＢＬＯＰ及びＥＬＯＰ出力などにおける複数の符号化出力により表される入力ＩＰにおいて与えられる入力画像データによりマルチレイヤエンコーダとして規定されている。

コンポジットエンコーダ１０は、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアの両方の組み合わせにより実現することが可能である。さらに、スケーリングダウン機能２０とスケーリングアップ機能５０は、好ましくは、一致及び相互に逆の画像スケーリング特性を有するよう構成される。さらに、第１エンコーダ３０とローカルエンコーダ４０は、好ましくは、一致するが反対の特性を提供するよう構成される。さらに、第１及び第２エンコーダ３０と７０は、好ましくは、相互に類似した符号化特性を設けられている。

コンポジットエンコーダ１０の動作は、図１を参照して説明される。画像シーケンスに対応する画素データの入力ストリームが、エンコーダ１０の入力ＩＰにおいて与えられる。当該ストリームは、フレーム単位で差機能６０の非反転入力（＋）とスケーリングダウン機能２０にわたされる。スケーリングダウン機能２０から与えられた入力ＩＰのスケールダウンされたものは、ベースレイヤＢＬＯＰ出力を提供するためスケールダウンされたものを符号化する第１エンコーダ３０に与えられる。さらに、第１エンコーダ３０はまた、第１エンコーダ２０に与えられた入力のスケールダウンされたものを再構成するローカルデコーダ４０に同様の符号化出力を提供する。その後、再構成されたものが、スケーリングアップ機能５０を介し差機能６０の反転入力にわたされる。これにより、差機能６０は、第２エンコーダ７０の入力に与えられるそれの出力において、スケーリング機能２０と５０により取り込まれた乖離を無視し、第１エンコーダ３０とそれに係るデコーダ４０の組み合わせにより取り込まれるエラーに対応するエラー信号を提供する。このエラー信号は、エンハンスメントレイヤＥＬＯＰ出力を生成するよう符号化される。

ＢＬＯＰとＥＬＯＰ出力が送信媒体を介し、動作特性についてローカルデコーダ４０と類似する１以上のデコーダを用いて、ＢＬＯＰ及びＥＬＯＰ出力を復号化するよう動作可能な受信機に伝えられ、結果として得られた復号化されたＥＬＯＰ及びＢＬＯＰ信号が合成される場合、符号化及び復号化エラーがＥＬＯＰ信号の効果により受信機において補償することが可能であるため、エンハンスされた精度により受信機において入力ＩＰを再構成することが可能となる。

しかしながら、本発明者は、ＥＬＯＰ出力は、典型的には、Ｈ．２６Ｌエンコーダなどの映像エンコーダの要求する物質に対応する比較的高い空間周波数ノイズに類似した特性を有することを理解していた。「ノイズに類似した」という用語は、より高い空間周波数において分配される信号エネルギーの重要部分と同時に、空間的相関の相対的欠落を表すと解釈される。従って、エンハンスメントレイヤの与えられた部分を符号化するのに用いられるデータ量が、もとの画像の対応する部分を符号化するのに必要とされるデータ量を超えることは、実際的にはよくあることである。このようなエンハンスメントレイヤ信号ＥＬＯＰを符号化するための大きなデータ量の要請は、潜在的には、本発明が解決しようとする問題を表す。

本発明の第１の課題は、より大きな画像データ圧縮を提供可能なマルチレイヤ画像符号化及び復号化を利用した画像符号化システム及び対応する相補的復号化システムを提供することである。

本発明の第２の課題は、画像シーケンス内に存在する実質的に完備な情報を伝達しながら、より効率的な画像符号化方法を提供することである。

本発明の第１の特徴によると、入力データを受信し、対応する符号化された出力データを生成するエンコーダを有するデータ符号化システムであって、前記エンコーダは、各入力に対して、少なくとも１つのベースレイヤと少なくとも１つのエンハンスメントレイヤとを有する複数の対応するデータレイヤを生成するため、前記入力データを処理するデジタル処理手段と、前記データレイヤを受信し、該データレイヤから前記符号化された出力データを生成する符号化手段とを有し、前記符号化手段はさらに、前記少なくとも１つのエンハンスメントレイヤの１以上のサブ領域を選択し、記述的モデルパラメータにより前記１以上のサブ領域を前記出力データにおけるそれの表現のためモデル化するブロック選択手段を有することを特徴とするシステムが提供される。

本発明は、より大きなデータ圧縮が可能なエンハンスト画像符号化及び復号化を提供することが可能であるという効果を有する。

好ましくは、本システムでは、前記処理手段は、各入力画像の１以上の主特徴をそれの対応する少なくとも１つのベースレイヤにおいて表現し、前記入力画像とそれの対応する少なくとも１つのベースレイヤとの差に対応する残差画像情報を前記少なくとも１つのエンハンスメントレイヤにおいて表現するよう動作可能である。入力画像の複数レイヤへの分割は効果的である。なぜならば、それは画像の微妙な部分が主要な特徴と分離されることを可能にし、これにより、所望される最終的な復号化画像のクオリティに応じて、残差詳細の漸進的な符号化を可能にしながら、主要な特徴のより効率的な符号化を可能にする。

好ましくは、本システムでは、前記１以上のサブ領域は、前記選択手段によりモデル化に不適切であると判定されると、対応するデータとして前記符号化手段からの符号化された出力データにおいて表現され、前記選択手段によりモデル化に適していると判定されると、等価なモデルパラメータにより表現される。最も適切にモデル化された特徴にモデル化を適用することは、画像データ圧縮と復号化されたクオリティとの間の最適な妥協点がこれにより獲得できるという点で有用である。

好ましくは、本システムでは、既存の現在の符号化規格との後方互換性を維持するため、前記符号化手段は、前記モデルパラメータを含めることにより拡張される、実質的にＩＴＵ−Ｔ Ｈ．２６４及びＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣ規格の少なくとも１つにより前記入力画像データを符号化するよう構成される。より好ましくは、このような現在の規格が動的割当て可能なプライベートデータフィールドを可能にするため、前記モデルパラメータは、前記符号化された画像出力データの１以上のプライベートデータ領域に含められる。

好ましくは、本システムでは、前記符号化手段は、前記符号化された画像出力データに含めるため、前記少なくとも１つの選択されたサブ領域をそれの対応するモデルパラメータに変換するための空間変換を適用するよう動作可能である。より好ましくは、前記変換は、離散コサイン変換（ＤＣＴ）を有する。任意的には、このようなＤＣＴ変換は、他のタイプの数学的変換により代用可能である。

好ましくは、本システムでは、前記変換は、対応する各サブ領域に対して対応する２次元データセットを生成するよう動作可能であり、前記符号化手段は、前記符号化された画像出力データにおける前記モデルパラメータに含めるために、対応する１次元データセットを生成するため前記２次元データセットを連結するよう構成される。本発明者は、ＤＣＴの利用が、例えば、２次元から１次元への連結に従うとき、許容される少量のデータを生じさせながら、各サブ領域に現れるあるタイプの特徴に特に適しているということを認識している。しかしながら、本発明は、２次元から１次元への連結の必要なく、実現可能である。例えば、選択されたマクロブロックからの２次元変換データの直接的なパラメータモデル化が、必要に応じて利用可能である。

好ましくは、本システムでは、前記符号化手段は、モデルパラメータデータのデータ量と、前記モデル化パラメータがそれらの１以上の対応するサブ領域を表現する精度との間の最適化を通じて、前記対応するモデルパラメータの前記１以上のサブ領域を符号化するのに利用されるモデルオーダを選択するよう構成される。最適化の利用は、画質を実質的に維持しながら、より最適なデータ圧縮をシステムが提供することを可能にする。

好ましくは、本システムでは、前記符号化手段は、前記１以上のサブ領域に対応する画像データとそれらの対応するモデルパラメータとの間の統計誤差を計算するため統計テストを適用し、前記符号化された出力データに対する前記モデル化パラメータを生成するのに利用するモデルオーダを決定するため選択的パラメータ推定を適用するよう構成される。補間の利用は、１以上のサブ領域を符号化するのに必要な計算コストを低減し、これにより、システムをより簡単に実現し、より高速な画像符号化を可能にし、より安価に実現するということの少なくとも１つを可能にする。

好ましくは、本システムでは、前記１以上のサブ領域は、前記少なくとも１つの入力画像に存在する空間ノイズライク特徴に実質的に対応する。本発明者は、空間ノイズがモデルパラメータにより表されない場合、かなりのデータ量を生じさせる可能性があることを認識していた。空間ノイズライク特徴を含めることが、復号化に対する正確な画像再生成にとって重要であるが、本発明者は、空間ノイズの正確な性質が画像理解度及びクオリティにそれほど大きな重要性を有しないということを認識していた。言い換えると、本発明者は、空間ノイズライク特徴の統計的性質は、正確な画素値より理解度及びクオリティにとってより重要であるということを認識している。

好ましくは、本システムでは、本システムはさらに、前記エンコーダから前記符号化された出力データを受信し、前記出力データを復号化し、前記入力画像を再生成するデコーダを有し、前記デコーダは、前記符号化された出力データの符号化された画像データから直接に前記モデルパラメータを分離する復号化手段と、前記復号化されたモデルパラメータを受信し、前記パラメータから前記１以上のサブ領域に対応するデータを生成するサブ領域合成手段と、前記エンコーダに提供される前記画像入力に対応する復号化された出力画像データを生成するため、前記合成されたサブ領域データと復号化された直接的な画像データを合成するデータマージ手段とを有する。

好ましくは、本システムでは、前記エンコーダからの符号化された出力画像データは、送信媒体を介し前記デコーダに伝搬され、前記媒体は、インターネット、光データディスク、磁気データディスク、ＤＶＤ、ＣＤ、ソリッドステート記憶装置及び無線通信ネットワークの少なくとも１つを有する。

本発明の第２の特徴によると、入力画像データを受信し、対応する符号化された画像出力データを生成するエンコーダであって、各入力に対して、少なくとも１つのベースレイヤと少なくとも１つのエンハンスメントレイヤとを有する複数の対応する画像レイヤを生成するため、前記入力画像データを処理する画像処理手段と、前記画像レイヤを受信し、該画像レイヤから前記符号化された画像出力データを生成する符号化手段とを有し、前記符号化手段はさらに、前記少なくとも１つのエンハンスメントレイヤの１以上のサブ領域を選択し、記述的モデルパラメータにより前記１以上のサブ領域を前記画像出力データにおけるそれの表現のためモデル化するブロック選択手段を有することを特徴とするエンコーダが提供される。

本発明は、前記エンコーダが本発明の上述の課題の少なくとも１つを解決することが可能であるという効果を有する。

好ましくは、本エンコーダでは、前記処理手段は、各入力画像の１以上の主特徴をそれの対応する少なくとも１つのベースレイヤにおいて表現し、前記入力画像とそれの対応する少なくとも１つのベースレイヤとの情報の差に対応する残差画像情報を前記少なくとも１つのエンハンスメントレイヤにおいて表現するよう動作可能である。

好ましくは、本エンコーダでは、前記１以上のサブ領域は、前記選択手段によりモデル化に不適切であると判定されると、対応するデータとして前記符号化手段からの符号化された出力データにおいて表現され、前記選択手段によりモデル化に適していると判定されると、等価なモデルパラメータにより表現される。

好ましくは、本エンコーダでは、前記符号化手段は、前記モデルパラメータを含めることにより拡張される、実質的にＩＴＵ−Ｔ Ｈ．２６４及びＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣ規格の少なくとも１つにより前記入力画像データを符号化するよう構成される。より好ましくは、前記モデルパラメータは、前記符号化された画像出力データの１以上のプライベートデータ領域に含まれる。プライベートデータ領域のこのような利用は、エンコーダを後方互換的なものにすることを可能にする。

好ましくは、本エンコーダでは、前記符号化手段は、前記符号化された画像出力データに含めるため、前記少なくとも１つの選択されたサブ領域をそれの対応するモデルパラメータに変換するための空間変換を適用するよう動作可能である。より好ましくは、前記変換は、離散コサイン変換（ＤＣＴ）を有する。しかしながら、他の変換もまた利用可能である。

好ましくは、本エンコーダでは、前記変換は、対応する各サブ領域に対して対応する２次元データセットを生成するよう動作可能であり、前記符号化手段は、前記符号化された画像出力データにおける前記モデルパラメータに含めるために、対応する１次元データセットを生成するため前記２次元データセットを連結するよう構成される。

好ましくは、本エンコーダでは、前記符号化手段は、モデルパラメータデータのデータ量と、前記モデル化パラメータがそれらの１以上の対応するサブ領域を表現する精度との間の最適化を通じて、前記対応するモデルパラメータの前記１以上のサブ領域を符号化するのに利用されるモデルオーダを選択するよう構成される。

好ましくは、本エンコーダでは、前記符号化手段は、前記１以上のサブ領域に対応する画像データとそれらの対応するモデルパラメータとの間の統計誤差を計算するため統計テストを適用し、前記符号化された出力データに対する前記モデル化パラメータを生成するのに利用するモデルオーダを決定するため選択的パラメータ推定を適用するよう構成される。

好ましくは、本エンコーダでは、前記１以上のサブ領域は、前記少なくとも１つの入力画像に存在する空間ノイズライク特徴に実質的に対応する。

本発明の第３の特徴によると、本発明の第２の特徴によるエンコーダに利用されるデコーダであって、当該デコーダは、前記エンコーダから符号化された出力データを受信し、前記出力データを復号化し、前記入力画像を再生成するよう動作可能であって、当該デコーダは、前記符号化された出力データの符号化された画像データから直接に前記モデルパラメータを分離する復号化手段と、前記復号化されたモデルパラメータを受信し、前記パラメータから前記１以上のサブ領域に対応するデータを生成するサブ領域合成手段と、前記エンコーダに提供される前記画像入力に対応する復号化された出力画像データを生成するため、前記合成されたサブ領域データと復号化された直接的な画像データを合成するデータマージ手段とを有することを特徴とするデコーダが提供される。

本発明の第４の特徴によると、本発明の第１の特徴によるエンコーダから前記符号化された出力画像データを伝搬する送信媒体であって、当該媒体は、インターネット、光データディスク、磁気データディスク、ＤＶＤ、ＣＤ、ソリッドステート記憶装置及び無線通信ネットワークの少なくとも１つを有することを特徴とする媒体が提供される。

本発明の第５の特徴によると、エンコーダにおいて画像データを符号化する方法であって、
（ａ）処理手段とブロック選択手段とを有するよう前記エンコーダを構成するステップと、
（ｂ）各入力画像に対して、少なくとも１つのベースレイヤと少なくとも１つのエンハンスメントレイヤとを有する複数の対応する画像レイヤを生成するため、前記入力画像データを処理するよう前記処理手段を適用するステップと、
（ｃ）前記少なくとも１つのエンハンスメントレイヤの１以上のサブ領域を選択し、記述的モデルパラメータにより前記１以上のサブ領域を前記画像出力データにおけるそれの表現のためモデル化するよう前記選択手段を適用するステップと、
（ｄ）前記入力画像データに対応する符号化された画像出力データを生成するため、前記複数の画像レイヤに少なくとも部分的に対応する符号化されたデータと前記モデルパラメータを合成するステップと、
を有することを特徴とする方法が提供される。

好ましくは、本方法では、前記処理手段は、各入力画像の１以上の主特徴をそれの対応する少なくとも１つのベースレイヤにおいて表現し、前記入力画像とそれの対応する少なくとも１つのベースレイヤとの情報の差に対応する残差画像情報を前記少なくとも１つのエンハンスメントレイヤにおいて表現するよう動作可能である。従って言い換えると、前記少なくとも１つのベースレイヤは、再復号化時には画像を認識可能にするのに必要な主要な詳細のほとんどを有し、前記少なくとも１つのエンハンスメントレイヤは、前記少なくとも１つのベースレイヤにおいて伝搬される画像を補完及び精緻化するため明りょうな詳細を有する。

好ましくは、本方法では、前記１以上のサブ領域は、前記選択手段によりモデル化に不適切であると判定されると、対応するデータとして前記符号化手段からの符号化された出力データにおいて表現され、前記選択手段によりモデル化に適していると判定されると、等価なモデルパラメータにより表現される。

好ましくは、本方法では、前記符号化手段は、前記モデルパラメータを含めることにより拡張される、実質的にＩＴＵ−Ｔ Ｈ．２６４及びＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣ規格の少なくとも１つにより前記入力画像データを符号化するよう構成される。より好ましくは、前記モデルパラメータは、前記符号化された画像出力データの１以上のプライベートデータ領域に含まれる。

好ましくは、本方法では、前記符号化手段は、前記符号化された画像出力データに含めるため、前記少なくとも１つの選択されたサブ領域をそれの対応するモデルパラメータに変換するための空間変換を適用するよう動作可能である。より好ましくは、前記変換は、離散コサイン変換（ＤＣＴ）を有する。しかしながら、他のタイプの変換もまた、代わりに又は追加して利用可能である。

好ましくは、本方法では、前記変換は、対応する各サブ領域に対して対応する２次元データセットを生成するよう動作可能であり、前記符号化手段は、前記符号化された画像出力データにおける前記モデルパラメータに含めるために、対応する１次元データセットを生成するため前記２次元データセットを連結するよう構成される。

好ましくは、本方法では、前記符号化手段は、モデルパラメータデータのデータ量と、前記モデル化パラメータがそれらの１以上の対応するサブ領域を表現する精度との間の最適化を通じて、前記対応するモデルパラメータの前記１以上のサブ領域を符号化するのに利用されるモデルオーダを選択するよう構成される。より好ましくは、前記符号化手段は、前記１以上のサブ領域に対応する画像データとそれらの対応するモデルパラメータとの間の統計誤差を計算するため統計テストを適用し、前記符号化された出力データに対する前記モデル化パラメータを生成するのに利用するモデルオーダを決定するため選択的パラメータ推定を適用するよう構成される。

好ましくは、本方法では、前記１以上のサブ領域は、前記少なくとも１つの入力画像に存在する空間ノイズライク特徴に実質的に対応する。このような空間ノイズライク特徴は、より多くのサブ領域がモデルパラメータにより表現可能になるに従って、本方法をより効率的に動作することを可能にする。

好ましくは、本方法では、さらに、前記エンコーダから符号化された出力データを受信し、前記出力データを復号化し、前記入力画像を再生成するデコーダを備えるステップを有し、当該デコーダは、前記符号化された出力データの符号化された画像データから直接に前記モデルパラメータを分離する復号化手段と、前記復号化されたモデルパラメータを受信し、前記パラメータから前記１以上のサブ領域に対応するデータを生成するサブ領域合成手段と、前記エンコーダに提供される前記画像入力に対応する復号化された出力画像データを生成するため、前記合成されたサブ領域データと復号化された直接的な画像データを合成するデータマージ手段とを有することを特徴とするステップが提供される。

好ましくは、本方法では、前記エンコーダからの符号化された出力画像データが、送信媒体を介しデコーダに伝搬され、当該媒体は、インターネット、光データディスク、磁気データディスク、ＤＶＤ、ＣＤ、ソリッドステート記憶装置及び無線通信ネットワークの少なくとも１つを有する。

好ましくは、本発明は、ハードウェア、ソフトウェア及びソフトウェアとハードウェアの組み合わせの１以上により実現することができる。

本発明の特徴は、本発明の範囲から逸脱することなく任意の組み合わせにより合成することが可能であるということは理解されるであろう。

上述の図１を参照するに、第２エンコーダ７０を介しエンハンスメントレイヤＥＬＯＰ信号を生成するため入力ＩＰから減算されたスケーリングアップ機能５０からの信号が、複数の処理ステップ、すなわち、ダウンスケーリング、符号化、復号化及びアップスケーリングを介し入力ＩＰをわたすことにより取得される。上記各ステップは、歪みを取り込むよう動作可能であり、例えば、符号化がより高い変換計数の量子化に大部分が帰因するアーチファクトを取り込みながら、リサンプリングが、ナイキストの基準に係る方法により不完全なフィルタリングを使用するため、入力ＩＰの画像に存在するより高い空間周波数情報を歪める可能性がある。これらすべての歪みは、実質的に非線形であり、このため、差機能６０の反転入力（−）に与えられる全体的な歪みは、例えば、エラーの平方和などそれらの和として単に量子化することはできない。にもかかわらず、本発明者は、差機能６０の反転入力（−）に与えられる信号内の全体的な歪みが、入力ＩＰの画像に存在するエッジ及びテクスチャ詳細など、より高い空間周波数特徴に依然として広く影響を与えると理解していた。より高い空間周波数の歪みが支配的であり、また予想しうる一方、本発明者は、よりランダムに空間周波数スペクトルのより低い部分に歪みが現れることを理解していた。このような低周波数空間歪みは、もとの画像信号ＩＰのあまり詳細でない部分に対応する差機能６０の反転入力（−）に与えられる信号の部分に顕著である。さらに、本発明者は、この反転入力（−）に与えられるノイズが、入力信号ＩＰにすでに存在するノイズからのものである可能性があるということを理解していた。このような画像符号化エラーは、図１のエンコーダ１０を次善的なものにする。

図２において、入力信号ＩＰに与えられる画像シーケンスからの画像例を示す。これにより、図２は、「スナップショット」の状況を表している。入力ＩＰにおいて与えられるもとの画像は、１００により記される。１１０により記される画像は、スケーリングダウン機能２０において×２の係数によりダウンスケーリングされた画像１００に対応し、その後、対応する復号化が後続する第１エンコーダ３０においてＪＰＥＧ符号化される。さらに、１２０により記される画像は、スケーリングアップ機能５０におけるアップスケーリングされた後の画像１１０に対応する。さらに、１３０により記される画像は、画像１００と１２０の空間差に対応し、すなわち、差機能６０から第２エンコーダ７０に与えられる差画像情報に等しいものとなる。画像１３０は、エンハンスメントレイヤＥＬＯＰ信号を生成するのに利用可能である。図２の画像に関して、画像フィルタリング及びＪＰＥＧ符号化の１．５ｂｂｐ（ｂｉｔｓ ｐｅｒ ｐｉｘｅｌ）のため、７タップＦＩＲフィルタが利用される。

本発明者は、特にエンハンスメントレイヤ、すなわちＥＬＯＰ信号データに与えられるすべてのデータが、ＥＬＯＰ信号データにより復号化及び再構成されるとき、ベースレイヤ、すなわち、ＢＬＯＰ信号データにおける空間解像度の明らかな向上に関し同様に帰因するものではないということを理解していた。このような仮定は、図３に示されるように構成されたコンポジットエンコーダ２００に以前は利用されていたい。

図３において、コンポジットエンコーダ２００は、エンコーダ１０のコンポーネント部分、すなわち、スケーリングダウン機能２０、第１Ｈ．２６４エンコーダ、ローカルＨ．２６４デコーダ４０、スケーリングアップ機能５０、差機能６０及び第２Ｈ．２６４エンコーダ７０を有する。コンポジットエンコーダ２００は、さらに、□モディファイア２１０、詳細アナライザ２２０及び乗算機能２３０を有する。

ここで、エンコーダ２００の接続トポロジーが説明される。映像信号入力ＩＰは、差機能の非反転入力（＋）、詳細アナライザ２２０の第１入力及びスケーリングダウン機能２０に結合される。スケーリングダウン機能２０の出力は、ベースレイヤＢＬＯＰ出力に対応する出力を有する第１Ｈ．２６４エンコーダ３０の入力に接続される。エンコーダ３０の補助的符号化出力は、スケーリングアップ機能３０を介し詳細アナライザ２２０の第２入力と差機能６０の反転入力（−）に接続される出力を有するローカルＨ．２６４デコーダ４０を介し結合される。スケーリングアップ機能５０とスケーリングダウン機能２０は、好ましくは、相互に反対の効果を提供するよう構成される。アナライザ２２０の出力ＳＧは、モディファイア２１０の入力に結合される。さらに、モディファイア２１０からの出力（１−□）は、乗算機能２３０の第１乗算入力に結合される。さらに、差機能６０の和出力は、乗算機能２３０の第２乗算入力に接続される。最終的に、機能２３０の乗算出力ＭＲＳは、エンハンスメントレイヤＥＬＯＰ信号を提供するよう構成される出力を有する第２Ｈ．２６４エンコーダ７０の入力に結合される。

コンポジットエンコーダ２００は、専用ハードウェアの少なくとも１つ、コンピュータハードウェア上で実行されるソフトウェア、及びソフトウェアと専用ハードウェアの組み合わせにより実現することが可能である。

図３に示されるコンポジットエンコーダ２００は、図１のエンコーダ１０とかなりの程度まで同様にして機能するよう構成される。すなわち、
（ａ）入力信号ＩＰは、符号化ベースレイヤＢＬＯＰを生成するため、スケーリングダウン機能２０を介し第１エンコーダ３０に伝搬される。第１エンコーダ３０はまた、ローカルデコーダ４０において復号化されるＢＬＯＰと等価な信号を提供するよう動作可能であり、信号ＤＳを生成するため、スケーリングアップ機能５０のスケーリングアップを受ける。
（ｂ）入力信号ＩＰは差機能６０に伝搬され、そこで、符号化及び復号化された入力信号ＩＰの再構成されたもの、すなわち、信号ＤＳが、対応する残差信号ＲＳを生成するため、もとの信号ＩＰから減算される。残差信号ＲＳは乗算機能２３０に与えられ、そこで、エンハンスメントレイヤＥＬＯＰを生成するため第２エンコーダ７０において以降において符号化される変調差信号ＭＲＳを生成するため、信号（１−□）により乗算される。

詳細アナライザ２２０は、入力信号ＩＰと残差信号ＤＳを受信し、そこから、（ａ）エンハンスメントレイヤＥＬＯＰに関連する信号情報を含めることが、出力ＢＬＯＰ及びＥＬＯＰにおける信号から再生成される画像の視覚認識に効果的である場合には、入力信号ＩＰにおいて伝えられた画像の一定量の空間領域を導出し、（ｂ）出力ＥＬＯＰに存在する情報がＢＬＯＰ及びＥＬＯＰから再生成される画像の認識に比較的重要でない場合には、入力ＩＰの一定量の画像領域を導出するよう動作可能である。

残差信号ＲＳが比較的高い視覚重要性を有する画像情報を有する場合、乗算機能２３０は、信号ＲＳに印加される減衰を低減するよう動作可能であり、これに応じて、エンコーダ７０は、視覚的に重要な特徴が以降において復号化及び再構成されることを可能にするのに十分なデータをＥＬＯＰ出力において生成する。その反対に、残差信号ＲＳが重要度の低い画像情報しか有しない場合、乗算機能２３０は、エンコーダ７０がより少ないデータしか生成しないように、信号ＲＳに印加される減衰を増大させるよう動作可能である。第２エンコーダ７０の空間的な選択的使用により、図１に示されるエンコーダ１０と比較して、ＥＬＯＰ出力において提供されるデータ量を減らすことが可能である。

従って、詳細アナライザ２２０は、入力データＩＰの入力画像に存在する各画素又は画素群に対して、関連する画素パラメータ（ｘ，ｙ，ｆｒ＃）を有する数値を生成する。「ｘ」及び「ｙ」は画素の空間座標であり、「ｆｒ＃」はカラー及び／又はルミナンスデータ指標である。入力ＩＰの画像に多くの詳細が存在する場合、□の値は小さくなる（ただし、□は０〜１の範囲内に属する）。その反対に、入力ＩＰの画像に相対的に詳細が少ない場合、□の値は大きなものとなる。従って、乗算機能２３０には、０〜１の範囲に属する乗算係数（１−□）が与えられる。

コンポジットエンコーダ２００により与えられる効果は、相対的にあまり詳細を含んでいない入力ＩＰの画像の領域をフィルタリングすることである。このような相対的に詳細を含まない領域では、ＥＬＯＰ出力のためにかなりのデータ量がエンコーダ１０において生成され、当該領域は実際上は実質的に関連性のない詳細及びノイズに対応する。

従って、画像データ圧縮の観点から、コンポジットエンコーダ２００は、エンコーダ１０の進化したものである。

本発明者は、図３に示されるコンポジットエンコーダ２００がさらに改良可能であることを理解していた。このような改良を考案するのに、本発明者は、ＥＬＯＰ出力の明らかに低い詳細及びノイズに類似した領域が、対応するＢＬＯＰ信号と共に再構成されるとき、空間解像度を向上させることができるということ、言い換えると、ＥＬＯＰ画像の明らかに低い詳細及びノイズに類似した領域でさえ、ＢＬＯＰ出力における対応する画像の空間解像度を向上させることができることを理解していた。さらに、本発明者、正確な画素値は空間的なノイズライク（ｎｏｉｓｅ−ｌｉｋｅ）領域においては重要な関心事ではなく、ＥＬＯＰ及びＢＬＯＰ出力から画像を再構成するとき、上記領域の全体的貢献は知覚的に重要であるということを理解していた。ここで、ノイズライクコンポーネントが不可逆的にフィルタリングされ、ＥＬＯＰ出力に現れないエンコーダ２００と対照的に、本発明者は、このようなノイズライク領域をモデル化し、対応するモデルパラメータをイネーブル状態のデコーダに送信することを提案している。その後、イネーブル状態のデコーダは、もとのノイズライクデータの近似を合成するため、モデルパラメータを合成装置に適用することができる。本発明者により考案されたこのようなアプローチは、エンコーダ１０及び２００から導かれた復号化された画像と比較して、復号化された画像の空間解像度をより高く維持することが可能であるだけでなく、本アプローチにおけるより少数のモデルパラメータの符号化が、モデルパラメータにより説明される対応するもとの画像データの符号化より効率的なものとなるということを条件として、対応して生成されるＢＬＯＰ及びＥＬＯＰ出力におけるビットレートを低下させることが可能である。当該アプローチでは、本発明者は、信号ＩＰのデータ部分を排除される部分に対応するモデルデータを完全に符号化及び伝達することから排除することは、従来のマクロブロックスキップ処理を用いることにより実際的に実現可能であるということを理解していた。

図４において、本発明によるコンポジットエンコーダの概略図が与えられる。ここでは、エンコーダは３００により全体的に示される。エンコーダ３００は、例えば、上述のコンポジットエンコーダ１０及び２００において利用されるような、スケーリングダウン機能２０、第１Ｈ．２６４エンコーダ３０、ローカルＨ．２６４デコーダ４０、スケーリングアップ機能５０、差機能６０及び第２エンコーダ７０を有する。コンポジットエンコーダ３００は、エンコーダ３００が詳細アナライザ３１０、バッファ３２０、アナライザ３３０、ブロック選択機能３４０、モデル抽出機能３５０、エンコーダ３６０及び最後にマルチプレクサ３７０を有するという点において、上述のコンポジットエンコーダ１０及び２００と区別される。図４において、破線により示されるアイテム、すなわち、詳細アナライザ３１０は、任意的に省略可能である。コンポジットエンコーダ３００により生成されるＢＬＯＰ及びＥＬＯＰ画像データは、送信／記憶媒体３８０に結合される。媒体３８０は、好ましくは、インターネット、ＣＤ、ＤＶＤ、光ファイバネットワーク、携帯電話に利用されるような無線送信ネットワークなどの通信ネットワークの少なくとも１つである。

コンポジットエンコーダ３００の動作が、図４を参照して概略的に説明される。

デジタル画素画像シーケンスに対応する入力信号ＩＰが、例えば、図２に示されるようにして、画像をスケーリングし、その後、ＢＬＯＰ出力の形式により対応する符号化データを生成するよう画像を処理する第１Ｈ．２６４エンコーダ３０にスケーリングされた画像を供給するスケーリングダウン機能２０に通信される。さらに、エンコーダ３０からの補助的符号化出力ＬＥが、差機能６０の反転入力への入力のため、再構成された信号ＲＤを与えるために、スケーリングアップ機能５０を介しわたされる。信号ＲＤが第１エンコーダ３０内で発生した符号化エラー及びローカルデコーダ４０内で発生した対応するエラーを含むということを除いて、信号ＲＤは信号ＩＰに対応する。好ましくは、スケーリングダウン機能２０及びスケーリングアップ機能５０は、エンコーダ３０とそれのローカルデコーダ４０が実質的に相互に補完的な特性を提供するよう構成されるとき、相互に同一であるが、相互に反対の特性を提供するよう構成される。信号ＲＤ及び入力信号ＩＰは、符号化のため第２Ｈ．２６４エンコーダ７０の入力に伝達される残差信号ＲＳを生成するため、差機能６０において相互に減算される。さらに、第２エンコーダ７０は、以降においてさらに詳細に説明される方法により、エンハンスメントレイヤＥＬＯＰ出力を生成するため、マルチプレクサ３７０を介し選択的に送信される対応する符号化データを生成するよう動作可能である。ＢＬＯＰ及びＥＬＯＰ出力は、送信／記憶媒体３８０に通信される。

例えば、ＦＩＦＯに対応して方法により動作可能なバッファ３２０は、入力ＩＰに存在する画像シーケンスを受信し、それらをアナライザ３３０に供給するため格納するよう構成される。その後、アナライザ３３０は、バッファ３２０から画像データを受信し、パラメータモデルにより実現されるＥＬＯＰ残差データを有し得る領域を決定するためデータを解析するよう動作可能である。アナライザ３３０がパラメータモデルの使用が不適切であると判断すると、ブロック選択機能３４０は、それがコンポジットエンコーダ２００に発生するように通常の方法により信号ＲＳを符号化すべきであるということを第２エンコーダ７０に通信する。その反対に、アナライザ３３０により信号ＲＳがパラメータモデルにより表すことが可能な１以上の画像ブロックを有すると判断すると、ブロック選択機能３４０は、イネーブルブロックＥＢ信号により第２エンコーダ７０をイネーブル解除し、モデル抽出機能３５０に１以上の選択されたブロックを処理させ、対応するモデルパラメータＭＰを計算させる。さらに、ブロック選択機能３４０はまた、エンコーダ３６０が抽出機能３５０からモデルパラメータＭＰだけでなく、選択機能３４０から対応するブロックの表示をも受信するように、対応するブロックインデックスＢＩをエンコーダ３６０にわたす。第２エンコーダの代わりに、エンコーダ３６０は、選択されたブロックに対応するモデルパラメータをＥＬＯＰ出力に出力する。従って、コモデルパラメータが第２エンコーダ７０からの等価な符号化データの代わりにＥＬＯＰ出力に挿入される場合となる１以上の画像ブロックがモデルパラメータにより表される残差画像を有し得る入力信号ＩＰにおいて特定されるときを除いて、コンポジットエンコーダ３００はコンポジットエンコーダ１０と同様に機能する。詳細アナライザ３１０は、任意的には、ＥＬＯＰ出力におけるモデルパラメータにより表すのに適した適切な画像ブロックを予め選択するのに利用するため、エンコーダ３００に組み込まれる。詳細アナライザ３１０には、図示されるような差機能６０と入力信号ＩＰの少なくとも１つからの入力データが与えられる。アナライザ３１０は、エンハンスメントレイヤ画像密度を示す出力□を提供するよう動作可能である。

コンポジットエンコーダ３００は、好ましくは、ハードウェア、計算ハードウェア上で実行されるソフトウェア及びソフトウェアとハードウェアの組み合わせの少なくとも１つにより実現される。

ここで、コンポジットエンコーダ３００がより詳細に説明される。

バッファ３２０は、信号ＩＰに与えられる画像が空間的及び時間的両方において、すなわち、シーケンスの複数の画像に沿って解析することが可能であるという効果を提供することができる。さらに、モデル抽出機能３５０は、以降においてより詳細に説明される統計及びスペクトル解析に基づくことが効果的である。ブロック選択機能３４０は、パラメータモデリングのため選択された画像ブロックに対応するメモリ位置をエンプティにする制御信号ＥＢを第２エンコーダ７０に提供する。このようなエンプティ処理は、いわゆるスキップマクロブロックコードを通じて行われる。ブロック座標及びモデルパラメータは、ＰＣＵ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）や自然２進符号化（Ｎａｔｕｒａｌ Ｂｉｎａｒｙ Ｃｏｄｉｎｇ）の少なくとも１つなどの固定長符号化（ＦＬＣ）を好ましくは利用したエンコーダ３６０により符号化される。あるいは、又はさらに、ハフマン符号化及び／又は算術符号化などの可変長符号化（ＶＬＣ）を利用することができる。好ましくは、符号化されたモデルパラメータは、上位トランスポートレベルにおいて第２エンコーダ７０から与えられる標準的ビットストリーム構成によりプライベートデータとして、又は現在の「予約されたＳＥＩメッセージ」を利用することにより第２エンコーダ７０自体において内部的に多重化することができる。ここで、ＳＥＩメッセージはＳＥＩメッセージがＨ．２６４／ＡＶＣシンタックスの明確に規定された部分であるため、ＳＥＩは、Ｈ．２６４／ＡＶＣ規格において許容されるような「Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ」の略語である。

図４に示されるエンコーダ３００は、図５に示されるような対応するデコーダにより補完される。

図５において、デコーダは４００により全体的に示される。デコーダ４００は、送信／記憶媒体３８０からＢＬＯＰ画像レイヤデータを受信する主信号処理パスを有し、当該主パスは、コンポジットエンコーダ３００の第１エンコーダ３０を補完するよう構成されるＨ．２６４デコーダ４３０と、コンポジットエンコーダ３００のスケーリングダウン機能２０を補完するよう構成されるスケーリングアップ機能４１０と、デコーダ４００からの最終的な復号化出力を提供する出力ＯＰを有する和機能４２０とを直列的に有する。

主パスと平行して、ＥＬＯＰ画像レイヤデータのための補助パスがデコーダ４００に与えられる。補助パスは、ＥＬＯＰデータを受信する入力と、Ｈ．２６４デコーダ４５０に結合される第１出力と、上述のパラメータモデルデータを復号化するよう動作可能なデコーダ４６０に結合された「プライベートデータ」を表す第２出力ＰＲＤを設けるデマルチプレクサ４４０を有する。出力ＥＰ＋ＳＢ、すなわち、「エンハンスト画像及びスキップされたマクロブロック（Ｅｎｈａｎｃｅｄ Ｐｉｃｔｕｒｅｓ ａｎｄ Ｓｋｉｐｐｅｄ Ｍａｃｒｏｂｌｏｃｋｓ）」が、Ｈ．２６４デコーダ４５０から図示されるような和機能４２０に結合される出力を有するブロック上書き機能４８０に結合される。デコーダ４６０は、図示されるように、ブロック上書き機能４８０に次に結合される出力を有するブロック選択機能４７０に結合された第１出力を有する。ブロック上書き機能４８０は、和機能４２０の和入力に接続される出力を有する。さらに、デコーダ４６０は、ランダムノイズ生成装置５１０からノイズ入力データを受信するよう構成されたマクロブロック合成装置４９０に接続された第２出力ＭＰ、すなわち、「モデルパラメータ」を有する。合成装置４９０からシミュレートされたノイズ出力は、後処理機能５００を介しブロック上書き機能４８０の入力に結合される。後処理機能５００は、マクロブロッククリッピングなどの特徴を有するが、さらに他のタイプの画像編集機能を有することが可能である。

ここで、デコーダ４００の動作が、図５を参照して概略的に説明される。

図４のコンポジットエンコーダ３００からのレイヤ画像データ、すなわち、ＢＬＯＰ及び対応するＥＬＯＰデータが、図示されるように、デコーダ４３０及びデマルチプレクサ４４０に媒体３８０を介し結合される。ＢＬＯＰレイヤ画像データは、デコーダ４３０において復号され、ＯＰにおける以降の出力のため、ＢＬＯＰレイヤ出力データを和機能４２０に提供するよう復号化されたＢＬＯＰデータをスケールアップするスケーリングアップ機能４１０にわたされる。ＥＬＯＰデータは、デマルチプレクサ４４０において受信され、マクロブロックパラメータモデリングがエンコーダ３００において実現されていない場合には、デコーダ４５０に選択的に送られる。他方、エンコーダ３００が選択されたマクロブロックのパラメータモデリングを実現することが可能であった場合、対応するパラメータが送信／記憶媒体３８０を介し伝えられるＥＬＯＰデータのプライベートデータエリアに符号化される。デマルチプレクサ４４０は、ＥＬＯＰデータからプライベートデータ、すなわち、「ＰＲＤ」を抽出し、当該ＰＲＤをそれから対応するモデルパラメータＭＰを生成するよう動作可能なデコーダ４６０にわたす。モデルパラメータＭＰは、上述されるように、エンコーダ３００において特定及び符号化されるマクロブロックのノイズライク構造を再生成するよう動作可能なノイズ生成装置５１０と共に機能する合成装置４９０にわたされる。選択された符号化マクロブロックに対応する合成出力は、後処理機能５００を介し後処理機能５００から受信した合成出力を利用するよう動作可能なブロック上書き機能４８０にわたされ、エンコーダ３００により選択されるマクロブロックに対して、デコーダ４５０から出力されることが好ましい。和機能４２０は、ＢＬＯＰ及びＥＬＯＰデータに対応する復号化された出力を合成し、最終的な閲覧に適した再構成された画像出力ＯＰを生成する。

ここで、エンコーダ３００とデコーダ４００の動作がより詳細に説明される。

図４のコンポジットエンコーダ３００のアナライザ３３０は、ＢＬＯＰタイプ画像情報が差し引かれた後、エンハンスメントレイヤ情報のノイズライク構造とテクスチャ類似構造とを区別し、あるいは、任意的に含まれるとき、詳細解析機能３１０によりすでに実行されている場合にはこのような区別を再規定するよう動作可能である。動作に関して、アナライザ３３０は、対応するモデルパラメータへの送信のため、特定されたマクロブロックの離散コサイン変換、すなわち、「ＤＣＴ」を実行する。ＤＣＴは、パラメータモデリングのため、入力ＩＰにおける画像の選択された各ブロック内のスペクトルエネルギー分布に関する情報を生成する。このようなスペクトルエネルギー分布は、画像に存在する各種タイプのテクスチャ及びノイズライク構造を分類するのに利用するのに適している。ＤＣＴ解析の具体例が図６〜１０に示され、アナライザ３３０により選択されるマクロブロックＢ１、Ｂ２、Ｂ３及びＢ４のＤＣＴ解析は、それぞれ５６０、５６５、５７０及び５７５により全体的に示される。図６において、図２に示される肖像画のエンハンスメントレイヤ画像が示される。図６のエンハンスメントレイヤ画像において、マクロブロックＢ１〜Ｂ４の空間位置が示される。各ブロックは１６×１６画素のフィールドを有する。マクロブロックＢ２は低詳細ノイズライクブロックであると区別され、マクロブロックＢ１、Ｂ３及びＢ４は高テクスチャ類似詳細を有する。マクロブロックＢ１〜Ｂ４は、すべてモデル化することが可能であり、これにより、対応するモデルパラメータにより表される。例えば、マクロブロックＢ１は明確な垂直エッジを有し、ブロックＢ３と特にＢ４は、ブロックＢ１より空間的により一様である。より詳細な解析により、ブロックＢ３は空間的に徐々に変化する対角テクスチャを有し、マクロブロックＢ４はより詳細な空間的に不規則なテクスチャを有する。従って、マクロブロックＢ４は、さらなるピークＤＣＴ特性をもたらし、ブロックＢ３は相対的に一様なＤＣＴ特性を有する。さらに、マクロブロックＢ１及びＢ３のＤＣＴは、特定方向、すなわち、マクロブロックＢ１については実質的に水平に、マクロブロックＢ３については実質的に対角的に配置されるようにするため、図７及び９に示されるいくつかの主要な係数を含む。

ＤＣＴはＥＬＯＰ画像レイヤの選択されたマクロブロックをモデル化するのに利用可能であるが、さらに、又は代わりに、他の方法が利用可能であるということが理解されるであろう。このような他の方法は、好ましくは、選択された各マクロブロック内のデータを処理するだけでなく、例えば、２次元（２Ｄ）相互相関を利用することにより、このようなマクロブロックの周囲の領域の画素からのデータを処理するよう構成される。さらに、選択された各マクロブロックの各種性質は、アナライザ３３０に与えられる画像シーケンス内の画像単位の時間的解析を可能にする。例えば、特定のＤＣＴ特性の時間コンシスタンシの解析は、潜在的には、時間的ノイズと空間的画像詳細を区別するのに利用することが可能である。さらなる具体例として、アナライザ３３０の処理は、好ましくは、コンポジットエンコーダ３００内のＨ．２６４符号化から利用可能なコンテンツ解析判定及び符号化パラメータに関する。

図７〜１０から、アナライザ３３０により選択されたＥＬＯＰ画像データのマクロブロックの対応するＤＣＴへの変換は、潜在的には同程度のデータ量を生成することが理解される。言い換えると、ＤＣＴを選択されたマクロブロックに適用することは、潜在的にはデータ圧縮を生じさせるものではない。本発明者は、パラメトリックモデリングが、図７〜１０に図示されるように、コンポジットエンコーダ３００から提供されるＥＬＯＰデータにおけるデータ圧縮を提供するため、ＤＣＴパラメータに効果的に適用されることを理解している。

自己回帰（ＡＲ）モデリングなどの２次元スペクトルモデリングのいくつかの方法が知られている。さらに、最大尤度及び最大エントロピー方法は、１９９０年にＰｒｅｎｔｉｃｅ Ｈａｌｌにより刊行されたＪａｅ Ｓ．Ｌｉｍによる「Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ」という刊行物に説明されている。選択されたマクロブロックのパラメトリックモデリングを提供するため、本発明者は優先的に自己回帰（ＡＲ）を利用する。特に、本発明者は、実際的に良好に機能するとわかっている値の２次元ブロックの１次元（１Ｄ）表現を利用することを好み、ここでより詳細に説明される。従って、図７〜１０の２次元ＤＣＴグラフは、１Ｄにより表すことができる。

図７〜１０に示されるような２次元データブロックの１次元表現を生成する第１ステップは、一定又はランダムな順序によりブロック列又は行を連結することにより行われる。図７〜１０に関するこのような２次元から１次元への変換の結果が図１１に示され、マクロブロックＢ１及びＢ３の決定的性質が、マクロブロックＢ２及びＢ４の相対的によりランダムな性質と対照される。図１１において、係数ｂ３はマクロブロックＢ３に対応する列を連結することにより生成され、係数ｂ１、ｂ２及びｂ４がそれぞれマクロブロックＢ１、Ｂ２及びＢ４の行を連結することにより生成される。

１次元ＡＲモデルの上記選択されたマクロブロックへの適用は、対応するモデルパラメータにより表されるデータが、等式１（Ｅｑ．１）により示される性質を有するシステムにより生成されたものであると仮定する。

ただし、ｘ［ｎ］＝システムの観察された出力、ｅ［ｎ］＝システムの観察されていない入力、及びａ_ｋ＝システムを記述する係数、である。

アナライザ３３０の入力ｅ［ｎ］に関して等式１を適用するため、ｘ［ｎ］のパワースペクトル密度（ＰＳＤ）関数Ｐｘｘ（ｆ）は、パラメータｆが周波数を表すのに使用される場合、等式２（Ｅｑ．２）により決定されるように計算可能である。ＰＳＤ関数は、ＡＲ係数ａ_ｋ及び□２により示される関連するノイズ分散を推定することにより決定することができる。１９９８年にフロリダ州のＣＲＣ Ｐｒｅｓｓにより刊行されたＶｉｊａｙ ＭａｄｉｓｅｔｔｉとＤｏｕｇｌａｓ Ｗｉｌｌｉａｍｓによる「Ｔｈｅ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｈａｎｄｂｏｏｋ」に説明されるようなＹｕｌｅ−Ｗａｌｋｅｒ法、共分散法及びＢｕｒｇ法の少なくとも１つなどのいくつかの方法が、ＡＲ係数ａ_ｋを推定するのに利用可能である。

図１３及び１４に与えられる結果を生成するのに、本発明者は、図１２において６００により全体的に示されるような合成装置を利用した。例えば、図８に与えられるｂ２［ｎ］の２５６のサンプルデータセットに対して、本発明者は、パラメータＰ＝１２を選択し、推定のため共分散法を利用した。合成装置６００は、ｂ２［ｎ］の合成を生成するよう動作可能である。推定されたＡＲ係数は、ゼロ平均正規分布ノイズ過程、すなわち、□＝１となるような統計的特性を有する過程の２５６個のサンプルを構成するよう動作可能なフィルタの係数として、合成装置６００において利用される。合成装置６００は、パラメータＧがゲインに対応する等式３（Ｅｑ．３）により記述されるようなｂ２［ｎ］のものと実質的に一致する平均及び分散をｓ［ｎ］が有するように、例えば、ｂ２［ｎ］の合成を生成する。

合成装置６００は、図５に示されるデコーダ４００における合成装置４９０とそれの関連するノイズ生成装置を実現するため利用することができる。

図１２において、合成装置６００は、パラメータデコーダ６３０と、ノイズ生成装置６４０と、パラメータドリブン整形フィルタ６５０と、接続される分散計算機能６６０と、関連するゲイン計算機能６７０、平均計算機能６８０と、最終的な乗算機能６９０とそれに関連する差機能７００とを有する。合成装置６００は、ハードウェア、コンピュータ装置上で実行可能なソフトウェア及び／又はソフトウェアとハードウェアの組み合わせにより実現することが可能である。

ノイズ生成装置６４０は、整形フィルタ６５０の入力に結合された出力ｅ［ｎ］を有し、フィルタ６５０はまた、そこからＡＲ係数を受け取るためデコーダ６３０に接続される。さらに、整形フィルタ６５０は、乗算機能６９０の第１入力と、平均計算機能６８０及び分散計算機能６６０の各入力とに結合された出力ｓ［ｎ］を有する。「Ｇ」により記される乗算機能６９０の第２入力は、ゲイン計算機能６７０の出力に接続される。この機能６７０は、図示されるように、パラメータ復号化デコーダ６３０及び分散計算機能６６０から入力を受信するよう構成される。機能６９０からの乗算出力は、差機能７００の第１入力に結合される。差機能７００は、平均計算機能６８０が分散平均「平均ｓ」を提供するよう動作可能であり、さらに、機能７００はまた、パラメータｂ２の平均、すなわち、「平均ｂ２」に対応するデコーダ６３０から出力を受信するための追加的な入力を有する。

ここで、合成装置６００の動作が概略的に説明される。ノイズ生成装置６４０は、フィルタ６５０にわたされるｅ［ｎ］に対してノイズライクデータセットを生成する。フィルタ６５０は、デコーダ６３０からＡＲ係数を受信し、出力ｓ［ｎ］を生成するため、当該データセットｅ［ｎ］の対応するコンポーネントをフィルタリングする。出力ｓ［ｎ］は、平均計算機能６８０にわたされ、当該機能６８０は、差機能７００にわたされるそれの対応する平均「平均ｓ」を生成し、差機能７００は、この平均を減算し、これのより、出力ｂ＾２［ｎ］が実質的にゼロの平均を有することを保証するよう動作可能である。分散計算機能６６０は、ｓ［ｎ］の分散を決定し、この分散をゲイン計算機能６７０にわたすよう動作可能である。ゲイン計算機能６７０は、デコーダ６３０から所望の分散□ｂ２を受け取り、乗算機能６９０から与えられる出力｛Ｇ．ｓ［ｎ］｝がデコーダ６３０により決定されるような所望の分散を有するように、これに応じてゲインＧを調整する。最後に、デコーダ６３０は、差機能７００からの出力ｂ＾２［ｎ］の平均を調整するため、それの出力「平均ｂ２」を与える。

合成装置６００は、図１３及び１４に示されるように、パラメータｂ［ｎ］をシミュレートすることができる。７４６により示される第１グラフは、前述のパラメータｂ２に関するＤＣＴサンプル画素インデックス及び画素値にそれぞれ対応する横座標と縦座標を有する。比較のため、７４８により示されるグラフは、グラフ７４６に対応する正規化された空間周波数に対するパワースペクトル密度である。

グラフ７４６のコンテンツは、７５０により示されるグラフに等価なデータを生成するため、合成装置６００により合成することができる。対応するパワースペクトル密度グラフは、７５２により全体的に示される。従って、もとのグラフ７４６と７４８は、それぞれ合成されたグラフ７５０と７５２と比較される。完全に同一ではないが、合成装置６００は、それに与えられる正確なモデルパラメータデータから類似のものを合成することができるということは理解されるであろう。さらなる例として、図１５において、正規化された空間周波数の横軸７５６と、パワースペクトル密度（ＰＳＤ）のための縦軸７５８を含む７５４により全体的に示されるグラフが提供される。グラフ７５４は、パラメータｂ１、ｂ３及びｂ４のＰＳＤ推定を示し、グラフ７５４は、図４のエンコーダ３００に与えられる画像の異なる選択されたＥＬＯＰレイヤマクロブロック間の変化を示す。

上述のように、エンコーダ３００及び対応するデコーダ４００は、エンコーダ３００からのデータ出力におけるエンハンストデータ圧縮を提供しながら、既知のエンコーダ１０と比較して画質及び詳細を実質的に維持することが可能である。上述のように、このようなデータ圧縮は、モデルパラメータによりＥＬＯＰエンハンストレイヤの選択された１以上のマクロブロックを表示することにより発生し、このようなパラメータは、ＤＣＴ及び以降の２次元から１次元の生成されたＤＣＴ係数の連結により導出され、このような連結は、プライベートデータフィールドのＥＬＯＰレイヤデータと通信可能な上述のＡＲ係数を生じさせる。エンコーダ３００を用いて実現可能なデータ圧縮の程度を推定するため、用いられるモデルパラメータに係る統計量を考慮する必要がある。

上述の本発明の実施例は、本発明の範囲から逸脱することなく変更可能であるということが理解され、以下の請求項はこれに従って解釈されるべきである。

本発明者は、例えば、エンコーダ３００のモデル抽出機能３５０において、利用すべき適切な個数のモデルパラメータの選択が、エンコーダ３００から取得可能なデータ圧縮の程度に対する重大な影響を有することを理解している。この後、使用されるモデルパラメータの個数は、「モデルオーダ」と呼ばれる。エンコーダ３００において、モデルオーダは動的に可変とすることができる。あるいは、モデルオーダは好適な妥協値と設定することができる。モデル抽出機能３５０に利用可能な正確な処理が、昇順によりパラメータ値を推定し、モデルオーダの増加がデコーダ４００から認識された画質の対応する増加に与えられないように、最適な妥協を決定するためのものである。しかしながら、最適なモデルオーダを決定するこのようなアプローチは、大きな計算量を要求される。

従って、本発明者は、異なるモデルオーダに対して限定された数のモデルパラメータセットの適合度を計算し、その後、最適なモデルオーダを決定するため適合後基準の性質を利用することが計算上より有用であることを理解している。このような好適なアプローチは、モデルパラメータセットのシーケンス全体を苦労して生成し、各セットに対して符号化クオリティをチェックする必要を回避する。より好ましくは、統計的解析が、モデル抽出機能３５０において適用され、例えば、画像再構成のために利用されるべき適合度のクオリティを決定するのに利用される。この用途では、例えばノイズコンポーネントが補間のためのかなりの情報を生成可能であるため、もとの画像と与えられたモデルオーダに対する再構成された画像との間のノイズコンポーネントの相違により効果的にドリブンされる。

ここで、ノイズ統計量に基づくモデルオーダのさらなるこのような選択を明らかにするため、図１６において８００により全体的に示されるグラフが説明される。グラフ８００は、モデルオーダＰを示す横軸８１０と、それの引数の１つとしてモデルオーダＰを有し、モデルとデータとの差を表す適合度関数Ｆ（Ｐ）を示す縦軸８２０とを有する。適合度Ｆ（Ｐ）は、モデル抽出機能３５０の一部として実現され、ＥＬＯＰエンハンスレイヤの対応する選択されたマクロブロックに対するモデルパラメータの統計的適合度のクオリティを示す。グラフ８００は、Ｐ．Ｍ．Ｔ．Ｂｒｏｅｒｓｅｎによる「Ａｕｔｏｍａｔｉｃ Ｓｐｅｃｔｒａｌ Ａｎａｌｙｓｉｓ ｗｉｔｈ Ｔｉｍｅ Ｓｅｒｉｅｓ Ｍｏｄｅｌｓ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ，５１（２）：っｐ。２１１−２１６，Ａｐｒｉｌ ２００２）に説明されるようなＧＩＣ（Ｇｅｎｅｒａｌｉｚｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｒｉｔｅｒｉｏｎ）に基づく最適モデルオーダＰの繰り返しの選択を示す。典型的な適合度が破線８３０により示され、ＧＩＣの閾値が８４０により示される。ＧＩＣの典型的形式が、等式４（Ｅｑ．４）において与えられる。

ここで、３ＰはペナルティＱ（Ｐ）を表す。ペナルティの異なる選択が当該文献において説明されている。ここで、ペナルティ３Ｐは、過小適合と過剰適合の最適なトレードオフを生成するために利用される。ペナルティは、より一般には、Ｐの関数として記述することが可能である。Ｑ（Ｐ）は、Ｍ（Ｐ）又はデータに依存せず、Ｐに従って増加し、容易に計算される既知の関数である。具体例では、３Ｐにより示される特定のペナルティ関数は、ペナルティがｐの線形関数であるとき（α＊ｐ）生じるペナルティ係数を含む。ここでは、α＝３である。

ペナルティ関数の選択は、様々な基準に依存させることが可能である。
１）使用されるパラメータ推定法の統計的性質に基づく
２）使用されるパラメータ推定法の統計的性質を考慮して、過小適合と過剰適合のトレードオフに基づく
３）有限サンプル効果を考慮して、使用されるパラメータ推定法の統計的性質を考慮して、過小適合と過剰適合のトレードオフに基づく
４）ｐ：Ｑ（ｐ）＝α＊ｐの線形関数（ただし、α＝２又は３など）
５）ｐ：Ｑ（ｐ）＝α＊ｐの線形関数（ただし、αは、観察数Ｎに依存する）
６）ｐ：Ｑ（ｐ）＝α＊ｐの線形関数（ただし、αは、α＝ｌｏｇ（Ｎ）のときの観察数に依存する）
ほとんどのケースで利用される基準は、ＡＩＣ（Ａｋａｉｋｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｒｉｔｅｒｉｏｎ）であり、Ｑ（Ｐ）＝２＊Ｐである。好ましくは、ペナルティは、適合度が減少するより急速に増加すべきである。モデル抽出関数３５０では、ＧＩＣが最小となるモデルオーダが等式５（Ｅｑ．５）により与えられる。

ただし、Ｐｍａｘ＝与えられた中で最も高いオーダのモデル、Ｐｓｅｌ＝モデルパラメータとしてＥＬＯＰレイヤ選択マクロブロックを表すのに用いられる選択されたモデルオーダ、である。

図示された具体例として用いられるモデル抽出関数３５０において、標準的な非補間アプローチが使用されるとき、以下のステップが実行される（例えば、各ＥＬＯＰレイヤ選択マクロブロックが等価なパラメータとして表されるため）。
（ａ）シーケンスＭ（１），Ｍ（２），．．．，Ｍ（Ｐｍａｘ）のすべてのモデルＭ（Ｐ）のパラメータが、選択されるマクロブロックに対して計算される。
（ｂ）対応する統計的適合度Ｆ（Ｐ）が、当該シーケンスの各モデルに対して決定される。
（ｃ）統計的適合度Ｆ（Ｐ）の結果の系列が、最善の適合度、すなわち、ＧＩＣの最小値を特定するよう検索される。

上記補間アプローチでは、推定されたモデルＭ（Ｐ）は、モデルオーダＰの値の増加に従って単調減少すると仮定される。このような状況に関するとき、好適な補間アプローチは、以下のように利用可能である。
（０）少数のパラメータＰ０によるモデルＭ（Ｐ０）が推定される（大量の計算を必要としない）。
（Ａ）最も複雑なモデルＭ（Ｐｍ）が計算され、その適合度Ｆ（Ｐｍ）と対応するＧＩＣが計算される。
（Ｂ）より低いオーダのモデルの適合度、すなわち、Ｍ（Ｐｍ−１），Ｍ（Ｐｍ−２），．．．がＭ（Ｐｍ）のものより良好でない（より大きい）と仮定すると、これら低オーダモデルはモデルＭ（Ｐｍ）より大きなＦ（Ｐ）を有することが直接的に推論可能であり、これにより、機能３５０に用いられる選択の新たな最も高い候補は、ＧＩＣ（Ｐ０）より潜在的に小さな対応するＧＩＣを有するオーダＰｍのモデルであり、すなわち、Ｆ（Ｐｍ）＋３Ｐｍ＜ＧＩＣ（Ｐ０）である。
（Ｃ）ステップ（Ｂ）は、適合度Ｆ（Ｐ）がＧＩＣ（Ｐ０）より小さくなるまで必要に応じて繰り返される。

この処理（Ｆ（Ｐ^＊）＋３Ｐ^＊＜ＧＩＣ（Ｐ０））の何回かの繰り返しの後、追加的な低オーダモデル（Ｍ（Ｐ０＋１），Ｍ（Ｐ０＋２），．．．）のパラメータを推定することにより、Ｐ０の値を増加させることができる。このことは、図１６を参照して示すことができ、そこでは、Ｐ０はゼロに近接した低オーダモデルに対応すべきである。

補間アプローチは、ＧＩＣの最小値を機能３５０内において大きく低減された計算コストにより検出することを可能にする。

ここで説明された統計的オーダ選択の選択的推定処理は、適合度Ｆ（Ｐ）が単調減少である場合、多くのパラメータ推定法と同様に、正確な最小値を与えることができる。従ってこの場合、結果として得られるオーダは、上述の（ａ）〜（ｃ）において説明されたような標準的な「フルサーチ」法により求められるオーダに正確に等しいものとなる。

適合度がより大きなスケールにおいて単調減少するが、この動作の逸脱がローカルに発生し得る場合、当該処理により選ばれたオーダは、絶対的最小値が求められることの保証がもはや存在しなくても依然として正確なものである。実際上用いられるほとんどの推定は、２つのカテゴリ、すなわち、正確な単調減少又は近似的な単調減少の何れかに属する。この特徴は、画像又は映像符号化に関連しないアプリケーションが考えられる場合であっても、有効性を維持する。

ここで、補間アプローチ（ａ）〜（ｃ）の特定の具体例が与えられる。

図１６を参照するに、最大モデルオーダＰｍａｘ＝１００である場合、推定に必要とされるいくつかのパラメータは、
１＋２＋．．．＋５＋７＋１４＋２０＋４０＋１００＝１９６パラメータ
により与えられる。

比較のため、標準的アプローチ（ａ）〜（ｃ）は、以下の個数のパラメータが推定されることを必要とする。

１＋２＋３＋．．．＋９９＋１００＝５０５０パラメータ
補間アプローチがモデルパラメータの決定のため、機能３５０の実行速度を増大させることが可能であるということが理解されるであろう。このような効果は、例えば、安価な消費者製品などにおける安価でコンパクトなハードウェア及び／又はソフトウェアにより機能３５０を実現することを可能にする。

図１６及び関連する上記記載を参照するに、このようなモデルオーダ選択が、曲線適合及び定常確率信号の解析が必要とされる他の状況などにおいて、前述の映像符号化及び対応する復号化の範囲外の技術分野に適用可能であるということは理解されるであろう。定常確率信号はまた、「カラーノイズ」として知られる。図１６及びそれの関連する具体例に関して説明されたモデルオーダ選択アプローチは、効果的には「ＡＲＭＡｓｅｌ」アルゴリズムであり、定常確率信号の解析のための一般的ツールを表す。さらに、当該アプローチは、ＡＲモデルだけでなく、移動平均（ＭＡ）に関する場合、合成されたＡＲＭＡモデルに対してもまた任意的に利用可能である。また、モデルオーダ選択アプローチは、より正確なモデルが相互に異なるタイプの信号の広範な領域に対して取得可能であることを保証することができる。

例えば、家電機器の映像符号化において、ＭＰＥＧやＨ．２６４などの現在の映像コーデックは、カラーノイズとして特徴付けできる画像コンポーネントの処理にはあまり適していない。このようなコンポーネントを省略することは、人工的様相を有する復号化画像を生じさせる。本発明のモデルオーダ選択アプローチを利用すると、このようなカラーノイズコンポーネントのコンパクトで正確なデータ記述を導出することができ、これにより、より自然な様相を与える復号化画像における詳細を維持することが可能となる。

医療用画像復号化では、医療画像のノイズモデリングは、関連する画像データを生成するのに高圧縮レートが利用された場合であっても、対応するもとの画像に知覚的に類似した復号化画像を提供することができる。図１６で利用されるアプローチは、このような圧縮データを生成するのに利用するより正確なモデルを決定するのに適用することができる。

上述のモデルオーダ選択アプローチはまた、心拍信号のモニタリング、診断のための肺ノイズの解析及びＥＥＧ電気信号解析などの一般的な医療データ解析に適用可能である。

図１６で利用されるモデルオーダ選択アプローチは、１次元モデルオーダ選択に限定されないということは理解されるであろう。特に、２次元ＡＲ、ＭＡ又はＡＲＭＡモデルのモデルオーダの選択はまた、当該アプローチを用いて実現することができる。３次元以上など、より高次元のデータに最も適したモデルの選択が当該アプローチにより提供される。

モデルオーダ選択の上述のアプローチはまた、特に音声及び／又は音楽などの音声信号の時間的ノイズライクコンポーネントの処理のためなど、音声処理に利用することができる。音声信号圧縮はまた、対応するノイズ記述モデルパラメータによる時間的ノイズライクコンポーネントの表現によりエンハンスされる。このような音声アプリケーションに利用するのに適したモデルオーダを選択することは、上記アプローチにより解決することが可能である。

上述のようなモデルオーダ選択に対するアプローチは、通信システムにおけるものなど一般的デジタル信号処理などにおいて広範なアプリケーションに適用することが可能である。例えば、当該アプローチは、例えば、上述のＡＲＭＡｓｅｌアルゴリズムを用いてモデル化された海の波からのレーダ反射に対応する信号を処理するレーダシステムにおいて適用可能である。このようなレーダ反射は、極めて複雑であって、所望の信号とノイズライクコンポーネントの両方の重ね合わせに対応する対応する信号を生成することができる。同様に、モデルオーダ選択に対するアプローチはまた、渦流モデリングなどと同様に、乱流システムに利用可能である。

さらに、上述のモデル選択アプローチはまた、機体振動解析などの機械構造の振動解析や、特にガスインタラクションの乱流液体が発生可能な場合の化学処理のモニタリングに潜在的に適用可能である。振動解析では、機械構造は複雑なハーモニック信号モードスペクトルを示すことができ、さらに、振動スペクトルの測定がしばしば、周囲の時間的及び／又はハーモニックノイズのバックグラウンドにおいて実行される。このような特性は、上述のアプローチにより決定することができる。

上記説明において、「有する」、「含む」、「搭載する」、「包括する」、「である」などの表現は、非排他的なものとして、すなわち、明示的に示されていないさらなるコンポーネント又はパーツが存在し得ると解釈される。上記用語のこのような解釈は、添付した請求項の範囲を解釈する際に特に関係する。

単数形による言及は、複数形に関連すると解釈されるべきであり、その反対もあるとされるべきである。

図１は、マルチレイヤ画像符号化を利用したコンポジットエンコーダの概略図である。 図２は、図１のエンコーダにおける符号化を受けた画像群の図である。 図３は、エンハンスメントレイヤＥＬＯＰデータストリームを生成するため、エラー差信号が詳細解析を受けるマルチレイヤ画像符号化を利用したコンポジットエンコーダの概略図である。 図４は、エンコーダにより生成されるエンハンスメントレイヤＥＬＯＰデータの１以上の選択されたマクロブロックを表すのにモデルパラメータデータを利用した本発明によるコンポジットエンコーダの概略図である。 図５は、図４のエンコーダを補完するための本発明による対応するデコーダである。 図６は、Ｂ１〜Ｂ４とマーク付けされた選択されたマクロブロックを有する一例となるエンハンスメントレイヤＥＬＯＰである。 図７は、図６のマクロブロックＢ１〜Ｂ４の離散コサイン変換（ＤＣＴ）である。 図８は、図６のマクロブロックＢ１〜Ｂ４の離散コサイン変換（ＤＣＴ）である。 図９は、図６のマクロブロックＢ１〜Ｂ４の離散コサイン変換（ＤＣＴ）である。 図１０は、図６のマクロブロックＢ１〜Ｂ４の離散コサイン変換（ＤＣＴ）である。 図１１は、図６のマクロブロックＢ１〜Ｂ４に関する２次元から１次元へのデータ連結のグラフ群である。 図１２は、本発明において利用されるノイズ合成装置の概略図である。 図１３は、選択されたマクロブロックＢ２のノイズライク信号の合成を示す。 図１４は、選択されたマクロブロックＢ２のノイズライク信号の合成を示す。 図１５は、選択されたマクロブロックＢ１、Ｂ３及びＢ４に関するパワースペクトル密度（ＰＳＤ）の比較である。 図１６は、補間されたＥＬＯＰマクロブロックモデルパラメータ最適化を示す図である。

Claims (10)

1. 入力画像データを受信するコンポジットエンコーダであって、
   前記入力画像データの各入力画像について、少なくとも１つのベースレイヤと少なくとも１つのエンハンスメントレイヤとを含む複数の対応する画像レイヤを生成するため前記入力画像データを処理する画像処理手段と、
   前記ベースレイヤを受信し、前記ベースレイヤからベース符号化画像出力データ（ＢＬＯＰ）を生成する第１エンコーダと、前記エンハンスメントレイヤを受信し、前記エンハンスメントレイヤからエンハンスト符号化画像出力データ（ＥＬＯＰ）を生成する第２エンコーダとを有する符号化手段と、
   を有し、
   当該コンポジットエンコーダはさらに、
   ブロック選択手段と、
   自己回帰モデリングを利用するモデル抽出手段と、
   を有し、
   前記ブロック選択手段は、前記入力画像データにある空間ノイズに対応する前記少なくとも１つのエンハンスメントレイヤの１以上のサブ領域を選択し、前記第２エンコーダを無効にし、前記モデル抽出手段に前記１以上のサブ領域を処理させ、出力画像データにおいて表現するために対応するモデルパラメータを計算させるのに適するコンポジットエンコーダ。
2. 請求項１記載のコンポジットエンコーダを有するデータ符号化システム。
3. 前記データは、画像データを表す、請求項２記載のシステム。
4. 前記符号化手段は、前記モデルパラメータを含めることによってエンハンスされたＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣ規格とＩＴＵ−Ｔ Ｈ．２６４規格の少なくとも１つにより前記入力画像データを符号化するよう構成される、請求項３記載のシステム。
5. 前記モデルパラメータは、前記符号化された出力画像データの１以上のプライベートデータ領域に含まれる、請求項２記載のシステム。
6. 前記符号化手段は、前記符号化された出力画像データを含めるため、前記少なくとも１つの選択されたサブ領域をそれの対応するモデルパラメータに変換するための空間変換を適用するよう動作可能である、請求項２記載のシステム。
7. 前記空間変換は、離散コサイン変換を含む、請求項６記載のシステム。
8. 当該システムはさらに、前記コンポジットエンコーダから符号化された出力データを受信し、前記入力画像を再構成するため前記出力データを復号化するデコーダを有し、
   前記デコーダは、
   前記符号化された出力データにおける符号化された画像データから前記モデルパラメータを分離する復号化手段と、
   前記モデルパラメータを受信し、前記モデルパラメータから前記１以上のサブ領域に対応する合成されたデータを提供するサブ領域合成手段と、
   前記コンポジットエンコーダに提供される前記入力画像に対応する復号化された出力画像データを生成するため、前記合成されたサブ領域データと復号化された画像データとを合成するデータマージ手段と、
   を有する、請求項２記載のシステム。
9. 前記コンポジットエンコーダからの符号化された出力画像データは、インターネット、光データディスク、磁気データディスク、ＤＶＤ、ＣＤ、ソリッドステート記憶装置及び無線通信ネットワークの少なくとも１つを含む伝送媒体を介し前記デコーダに伝送される、請求項８記載のシステム。
10. 請求項１記載のコンポジットエンコーダに利用されるデコーダであって、
    当該デコーダは、前記コンポジットエンコーダから符号化された出力データを受信し、対応する入力画像を再構成するために前記出力データを復号化し、
    当該デコーダは、
    前記符号化された出力データにおける符号化された画像データからモデルパラメータを分離する復号化手段と、
    前記モデルパラメータを受信し、前記モデルパラメータから１以上のサブ領域に対応する合成されたデータを提供するサブ領域合成手段と、
    前記コンポジットエンコーダに提供される前記入力画像に対応する復号化された出力画像データを生成するため、前記合成されたサブ領域データと復号化された画像データとを合成するデータマージ手段と、
    を有するデコーダ。

Images