JP5389172B2 - 深度画像を再構成する方法および深度画像を再構成する復号器 - Google Patents

Description

本発明は、包括的には、深度映像（深度ビデオ）の効率的な表現に関し、より詳細には、新規なビューの仮想画像を合成するために正確に深度映像を符号化することに関する。

３次元（３Ｄ）ＴＶおよび自由視点テレビ（ＦＴＶ）等の３Ｄ映像アプリケーションは、仮想画像を生成するのに深度情報を必要とする。仮想画像は、シーンの自由視点ナビゲーションまたはさまざまな他の表示処理目的に用いることができる。

仮想画像を合成する際の１つの問題は、深度情報の誤差である。これは、エッジの周囲に特有の問題であり、合成画像の不快なアーティファクトの原因となる可能性がある。これについては、マークル（Merkle）他の「マルチビューレンダリング品質に関する深度圧縮の効果（The Effect of Depth Compression on Multiview Rendering Quality）」、(3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video, Volume, Issue, 28-30 May 2008 Page(s):245-248)を参照願いたい。

本発明の実施の形態は、深度画像および深度映像のマルチレイヤ符号化方式を提供する。本方法は、各再構成ピクセルの最大誤差が誤差限界よりも大きくならないことを保証する。この最大誤差は、画像のピクセル値の連続的な精緻化を可能にするために、各符号化レイヤと共に変化することができる。各符号化レイヤ内では、深度不連続点に対応するエッジ等のローカル画像特性を考慮するように、誤差限界を適応させることもできる。

本発明の実施の形態によるマルチレイヤ符号化器のブロック図である。 本発明の実施の形態によるマルチレイヤ復号器のブロック図である。 本発明の実施の形態による拡張レイヤビットストリーム符号化器のブロック図である。 本発明の実施の形態による拡張レイヤビットストリーム復号器のブロック図である。 本発明の実施の形態による拡張レイヤビットストリーム符号化器のブロック図である。 本発明の実施の形態による拡張レイヤビットストリーム復号器のブロック図である。 本発明の実施の形態による拡張レイヤビットストリーム符号化器のブロック図である。 本発明の実施の形態による拡張レイヤビットストリーム復号器のブロック図である。 本発明の実施の形態による誤差限界の非適応設定のグラフである。 本発明の実施の形態による誤差限界の適応設定のグラフである。

仮想ビュー合成
本発明の仮想画像合成は、カメラパラメータおよびシーンにおける深度情報を用いて、隣接ビュー（隣接画像）からの画像のピクセルから合成された画像のピクセルのテクスチャ値を求める。

通常、２つの隣接画像が、該隣接画像間の任意の視点の仮想画像を合成するのに用いられる。

２つの隣接画像のすべてのピクセルは、仮想画像の平面における対応するピクセルに投影される。ピンホールカメラモデルを使用し、
［ｕ，ｖ，ｗ］^Ｔ＝Ｒ_ｃ・Ａ_ｃ ^−１・［ｘ，ｙ，１］^Ｔ・ｄ［ｃ，ｘ，ｙ］＋Ｔ_ｃ（１）
を用いて、隣接画像ｃにおけるロケーション（ｘ、ｙ）のピクセルをワールド座標［ｕ，ｖ，ｗ］に投影する。ここで、ｄは、画像ｃにおけるカメラの光心に対する深度であり、Ａ、Ｒ、およびＴは、カメラパラメータであり、上付き文字のＴは、転置演算子である。

Ｘ_ｖ＝［ｘ’，ｙ’，ｚ’］^Ｔ＝Ａ_ｖ・Ｒ_ｖ ^−１・［ｕ，ｖ，ｗ］^Ｔ−Ｔ_ｖ （２）
に従って、ワールド座標を仮想画像のターゲット座標［ｘ’，ｙ’，ｚ’］にマッピングする。

ｚ’によって正規化した後、仮想画像のピクセルは、隣接画像のピクセル［ｘ，ｙ］に対応する［ｘ’／ｚ’，ｙ’／ｚ’］として取得される。

テクスチャマッピングの場合、現在の隣接画像（ｃ）からの深度および対応するテクスチャＩ［ｘ，ｙ］を仮想画像深度バッファおよび仮想画像テクスチャバッファの対応するロケーション［ｘ’／ｚ’，ｙ’／ｚ’］にコピーする。これらの深度バッファおよびテクスチャバッファは、合成画像を生成するために隣接画像ごとに保持される。

これらの仮想バッファにおける投影されたロケーションの量子化に起因して、仮想画像バッファにおけるいくつかのピクセルの値は、欠落するかまたは不明確である。仮想画像をレンダリングするために、２つの仮想画像深度バッファにおける各ロケーションを走査し、以下の手順を適用する。

双方の深度がゼロである場合、テクスチャ情報は存在しない。これによって、合成画像に穴が生じる。

一方の深度が非ゼロである場合、その非ゼロの深度に対応するテクスチャ値を用いる。

双方の深度が非ゼロである場合、対応するテクスチャ値の加重和を取る。最終的なレンダリング画像の品質を改善するために、フィルタリングおよび画像修復を適用することができる。合成画像における不明確なエリアを回復するには３×３メジアンフィルタが好ましい。

現在のカメラから仮想カメラへの直接変換は、式（１）と式（２）とを結合することによって取得することができる。
Ｘ_ｖ＝［ｘ’，ｙ’，ｚ’］^Ｔ＝Ｍ_１・ｄ・Ｘ_ｃ＋Ｍ_２ （３）
ここで、Ｍ_１＝Ａ_ｖ・Ｒ_ｖ ^−１・Ｒ_ｃ・Ａ_ｃ ^−１であり、Ｍ_２＝Ａ_ｖ・Ｒ_ｖ ^−１・｛Ｔ_ｃ−Ｔ_ｖ｝である。

仮想ビュー合成のための深度誤差の解析
深度符号化誤差Δｄが存在する場合、仮想カメラのロケーションにおける対応する誤差ΔＸ_ｖは、
ΔＸ_ｖ＝Ｍ_１・Ｘ_ｃ・Δｄ （４）
である。

Ｘ_ｖおよびＸ_ｖ＋ΔＸ_ｖが共に正規化されて、仮想カメラの対応する座標が求められる。正規化後、テクスチャマッピング誤差は、下式である。

従来の符号化方式を用いると、オブジェクト境界に沿って、より大きな深度符号化誤差が発生する可能性がある。テクスチャマッピング誤差も、同じ境界の周囲でより大きくなる。

式（５）は、テクスチャマッピング誤差が、深度符号化誤差と、カメラ構成およびマッピングされる点の座標等の他のパラメータとに依存することを示している。

カメラパラメータおよび深度情報が十分に正確である場合、深度は、シーンにおける幾何学的距離を表すので、深度に対する厳密な制御が有益である。これは、通常は、オブジェクトの境界を定める深度エッジの近くで特に当てはまる。

マルチビュー映像では、ビューごとに深度画像が推定される。深度画像のピクセルがシーンの３Ｄ点までの距離を表す。仮想画像合成の品質は、深度に大きく依存するので、距離は正確でなければならない。したがって、深度画像の品質と、関連した帯域幅要件とをバランスさせることが極めて重要である。

コンピュータシステムおよび方法の概観
したがって、本発明の実施の形態は、深度画像および深度映像のマルチレイヤ符号化方式を提供する。本方法は、再構成されたピクセルごとの最大誤差が制限されることを保証する。この最大誤差は、画像のピクセル値の連続的な精緻化を可能にする各符号化レイヤと共に変化する。各符号化レイヤ内において、深度不連続点に対応するエッジ等のローカル画像特性を考慮するように、誤差限界を適応させることもできる。

システム概観
図１Ａおよび図１Ｂは、マルチレイヤ符号化器およびマルチレイヤ復号器をそれぞれ示している。これらの符号化器および復号器のステップは、当該技術分野で知られているように、プロセッサ１００において実行することができる。

符号化では、入力深度画像（または映像）Ｉ１０１が、基本レイヤビットストリームＬ_０１０２および１つまたは複数の拡張レイヤビットストリームＬ _１ 〜Ｌ_ｎのセット１０３として符号化される。拡張レイヤビットストリームは、下位から上位に配列される。拡張レイヤビットストリームの数は、深度画像ビットストリームを送信するための帯域幅要件に依存する。たとえば、低帯域幅は、少数の拡張レイヤビットストリームしかサポートすることができない。帯域幅が増加するにつれて、拡張レイヤビットストリームの数も増加することができる。

符号化は、基本レイヤＬ_０用の非可逆符号化器１１０とすることができる。画像の場合、これは、空間的冗長性を利用するＪＰＥＧまたはＪＰＥＧ２０００等の従来の符号化方式とすることができる。映像の場合、非可逆符号化器は、動き補償予測を用いて時間的冗長性を利用するＭＰＥＧ−２またはＨ．２６４／ＡＶＣ等の任意の従来の映像符号化方式とすることができる。

次に、入力と基本レイヤ再構成画像との間の差分が取得され、第１レベルＬ∞レイヤビットストリーム符号化器に入力として提供され、第１レイヤビットストリームが生成される。次に、入力と、第１レイヤ再構成画像、すなわち、基本レイヤ再構成画像および第１レイヤ残差再構成結果（residual reconstruction）の合計との間の差分が取得され、第２レベルＬ∞レイヤビットストリーム符号化器１１１に入力として提供されて、第２レイヤビットストリームが生成される。このプロセスは、第Ｎレイヤビットストリームが生成されるまでＮ個のレイヤについて続く。

マルチレイヤ復号プロセスは、符号化操作を逆にしたものである。図１Ｂに示すように、基本レイヤビットストリーム復号器１２０は、基本レイヤビットストリーム１０２から基本レイヤ画像

１２５を再構成する。第１拡張レイヤビットストリームＬ_１は、第１レイヤＬ∞復号器１２１によって復号されて、第１レイヤ残差が再構成され、次に、この第１レイヤ残差は、再構成された基本レイヤ画像に加算されて（１３０）、第１レイヤ再構成画像

が得られる。第２レイヤビットストリームは、第２レイヤＬ∞復号器によって復号され、第２レイヤ残差再構成結果が生成され、次に、この第２レイヤ残差再構成結果は、第１レイヤ再構成画像に加算されて（１３０）、第２レイヤ再構成画像

が得られる。このプロセスは、第Ｎレイヤ再構成画像が生成されるまで、各拡張レイヤビットストリーム１２６について続く。

拡張レイヤビットストリームのセットにおけるレイヤの数は、通例、所与の映像またはアプリケーションについて不変である、すなわち、経時的に変化しない。しかしながら、この数は、上述したように利用可能な帯域幅と共に変化することができる。レイヤビットストリームの数が多いほど、深度を符号化するレートをスケーリングする際に、深度画像のピクセルの最小レベルの品質を確保しながら、より大きな柔軟性が提供される。ほとんどのスケーラブル符号化方式に特有のオーバーヘッドを最小にするのには、レイヤが少ない方が望ましい。本発明者らの研究では、２〜３個のレイヤが深度画像符号化に適していることが示されている。

本発明は、本方法のいくつかの実施の形態を示している。これらの実施の形態は、拡張レイヤビットストリーム符号化および拡張レイヤビットストリーム復号が実行される方法において異なっている。

推測されたサイド情報を有する拡張レイヤビットストリーム
拡張レイヤビットストリーム符号化器２１０の実施の形態および拡張レイヤビットストリーム復号器２０２の実施の形態が、図２Ａおよび図２Ｂにそれぞれ示されている。符号化器および復号器は、それぞれ符号化方法および復号方法のステップを実行する。

再構成２０５について、符号化器は、不確定間隔に基づいて第ｉレイヤ残差２１１の各ピクセルの有意値を求める（２１０）。この第ｉレイヤ残差２１１は、入力画像と第（ｉ−１）再構成画像との間の差分である。不確定間隔は、誤差を制限するために、現在のピクセル値の上限および下限を定める。

残差値は、不確定間隔に入らない場合には有意である。不確定間隔２２０は、復号されるピクセルの最大許容可能誤差を示す。最大許容可能誤差は、レイヤ識別子によって指定されるように、レイヤ２２１が異なるごとに変化することができる。誤差限界２２２も、画像の部分が異なるごとに変化することができる。たとえば、エッジピクセルは、非エッジピクセルよりも低い誤差限界を有することができる。

現在のレイヤにおいて画像のピクセルごとに不確定間隔を求めるのに、エッジマップ２２３が用いられる。本発明のこの特定の実施の形態では、エッジマップは、コンテキストモデルの形態の復号器において利用可能な再構成データのみから推測される。このように、不確定間隔を求めるのに、追加のサイド情報は、復号器によって必要とされない。用いることができる再構成データは、第（ｉ−１）レイヤ再構成画像および第ｉレイヤ残差を含む。

再構成結果のすべてのピクセルが不確定間隔内にあることを保証するために、不確定間隔内の新しい再構成ピクセル値は、有意ピクセルに割り当てられる。「Ｌ∞誤差スケーラビリティを有するウェーブレットベース２段準可逆符号化器（A Wavelet-Based Two-Stage Near-Lossless Coder with L-inf-Error Scalability）」(SPIE Conference on Visual Communications and Image Processing, 2006)において、ヤー（Yea）およびパールマン（Pearlman）は、有意ピクセルについて新しい再構成ピクセル値を割り当てる手段を記載している。より効率的な符号化を可能にする１つの代替的な再構成プロセスが、以下で説明される。

新しい再構成値を割り当てるプロセスには、有意ビットに加えて符号ビットの符号化が必要とされる。符号ビットに応じて、ある特定の値が現在のピクセル値に対して加算または減算される。したがって、有意ピクセルの場合、有意ビット（値＝１）および符号ビットの双方がエントロピ符号化される（２３０）。

非有意ピクセルの場合、新しい再構成値は、不確定間隔にすでに存在するので、この値を割り当てる必要はない。したがって、有意ビット（値＝０）のみを非有意ピクセル用にエントロピ符号化する必要がある。

有意ビットおよび符号ビットを効率的に圧縮するために、コンテキストモデル２４０が、第ｉレイヤビットストリームを生成するエントロピ符号化によって維持される。コンテキストモデルを用いることによって、エントロピ符号化プロセスは、条件付きエントロピ符号化プロセスに変換され、これによって、符号化されているデータの統計を利用することにより出力符号化レートが低減される。

この実施の形態では、コンテキストモデルの維持は、所与の符号化レイヤにおける有意ビットの統計に基づいている。好ましい１つの実施の形態では、現在のピクセルの因果的近傍の統計、すなわち、すでに符号化または復号されている近傍ピクセルに関連したデータが考慮される。コンテキストモデルは、現在のピクセルがエッジピクセルであるのか、または非エッジピクセルであるのかも考慮する。

図２Ｂに示すように、再構成２０５について、復号器２０２は、逆の操作を実行する。第ｉレイヤビットストリーム２５１が、コンテキストモデルに基づいてエントロピ復号され（２６０）、有意値が求められる（２１０）。不確定間隔２２０およびこの有意値に基づいて、再構成２０５が実行され、第ｉレイヤ残差再構成結果が出力される（２７０）。コンテキストモデル２４０が復号器において取得された有意値およびエッジマップ２４１に基づいて更新されて維持される。本発明のこの実施の形態におけるエッジマップは、復号器において利用可能な情報から推測される。

明示的サイド情報を有する拡張レイヤビットストリーム
拡張レイヤビットストリーム符号化器３０１および拡張レイヤビットストリーム復号器３０２の別の実施の形態が、図３Ａおよび図３Ｂにそれぞれ示されている。本発明のこの実施の形態では、エッジマップは、オリジナルの入力画像から取得され、サイド情報として符号化される。明示的エッジマップは、より正確なエッジ情報を提供するという利益を有する。これには、追加のビットを符号化する必要がある。

拡張レイヤビットストリーム符号化器４０１および拡張レイヤビットストリーム復号器４０２の別の実施の形態が、図４Ａおよび図４Ｂにそれぞれ示されている。本発明のこの実施の形態では、不確定間隔の変更が明示的にシグナリングされる。不確定間隔の明示的なシグナリングによって、たとえば、エッジピクセルについては、より小さな不確定間隔といったある基準に従って、不確定間隔の適応選択が可能になる。

図５Ａに示すように、各レイヤの誤差限界５０１の非適応設定が定められている。この場合、誤差限界は、すべてのピクセル位置５０２について等しく、ローカル画像特性とは無関係である。

図５Ｂでは、誤差限界の適応設定がピクセル位置に従って定められている。各レイヤにおける下側誤差限界がエッジピクセルについて選ばれる。エッジピクセルの誤差限界と非エッジピクセルの誤差限界との間の差は、各拡張レイヤビットストリームにおいて変化することができる。また、ロケーションは、レイヤごとに変化することができる。

符号化手順
以下では、有意性を求める方法および再構成を実行する方法が説明される。

第ｉレイヤビットストリーム符号化器への入力画像は、ｉｍｇ（ｉ，ｊ）であり、（ｉ，ｊ）における第ｉレイヤビットストリーム復号器から再構成された出力は、ｒｅｃ（ｉ，ｊ）である。

差分画像は、
ｄｉｆｆ（ｉ，ｊ）＝ｉｍｇ（ｉ，ｊ）−ｒｅｃ（ｉ，ｊ）
である。

再構成結果ｒｅｃ（ｉ，ｊ）は、最初、すべてのピクセル（ｉ，ｊ）について、ゼロに設定される。

（ｉ＊２^ＬＶ，ｊ＊２^ＬＶ）に左上コーナー座標を有する、ｉｍｇ（，）における２^ＬＶ×２^ＬＶ個のピクセルの領域は、ＱＴ（ｉ，ｊ，Ｌｖ）である。これを、レベルＬｖにおける（ｉ，ｊ）の四分木と呼ぶ。第ｉレイヤビットストリーム符号化器への入力画像が、ラスター走査順序、すなわち、左から右および上から下に従ったレイヤＬｖにおける重なり合わない一連の四分木に分割されると仮定する。

非有意集合のリスト（ＬＩＳ）は、最初、その要素として、すべてのＱＴ（ｉ，ｊ，Ｌｖ）を含む。四分木は、以下の式が真であるとき、不確定レベルδ（ｎ）に反して有意であると言われる。

ここで、（ｘ，ｙ）は、ＱＴ（ｉ，ｊ，Ｌｖ）のピクセルを指し、ｍａｘは、最大値を返す関数である。第ｎレイヤビットストリーム符号化器の最大不確定度は、δ（ｎ）である。

第ｎレイヤビットストリーム符号化器は、第１の有意フェーズおよび第２の精緻化フェーズの２つのフェーズで実行される。

有意フェーズ
有意フェーズは、次のように動作する。
ＬＩＳの各ＱＴ（ｉ，ｊ，Ｌｖ）について（for）、ステップ（１）から（３）を繰り返す。
（１）ｓｉｇが、下式によって与えられる有意テストビット（ｓｉｇ）を出力する。

（２）（ｓｉｇ＝０の場合、次の（ｉ，ｊ）について（１）に進む。そうでない場合、ステップ（３）に従う）。
（３）ｌｅｖｅｌ＝Ｌｖ−１に設定し、ＥｎｃｏｄｅＬＩＳ（ｉ，ｊ，ｌｅｖｅｌ）を実行する。ここで、ＥｎｃｏｄｅＬＩＳ（ｉ，ｊ，ｌｅｖｅｌ）は、次のように定義される。
ＥｎｃｏｄｅＬＩＳ（ｉ，ｊ，ｌｅｖｅｌ）
１．ｌｅｖｅｌ＞０の場合、４つの部分４分木
ＱＴ（ｉ，ｊ，ｌｅｖｅｌ）、ＱＴ（ｉ＋１，ｊ，ｌｅｖｅｌ）、ＱＴ（ｉ，ｊ＋１，ｌｅｖｅｌ）、およびＱＴ（ｉ＋１，ｊ＋１，ｌｅｖｅｌ）、
のそれぞれについて、ステップ２およびステップ３に従う。
その他の場合、ステップ４に進む。
２．不確定レベルδ（ｎ）に反する有意ビット（ｓｉｇ）を出力する。
３．ｓｉｇ＝０の場合、リターンする。その他の場合、ＥｎｃｏｄｅＬＩＳ（，，ｌｅｖｅｌ−１）を実行する。
４．（ｉ，ｊ）を有意ピクセルのリスト（ＬＳＰ（ｎ））内に入れ、下式を出力する。

５．再構成結果ｒｅｃ（ｉ，ｊ）を、下式に従って更新する。

６．ｄｉｆｆ（ｉ，ｊ）を更新する。
ｄｉｆｆ（ｉ，ｊ）＝ｉｍｇ（ｉ，ｊ）−ｒｅｃ（ｉ，ｊ）

精緻化フェーズ
精緻化フェーズは、最大不確定度が不確定レベルδ（ｎ）以下になるまでＬＳＰ（ｋ）（ｋ＝１，２，・・・，ｎ）のピクセルを精緻化する。

精緻化フェーズは、次のように動作する。
各ｋ（ｋ＝１，２，・・・，ｎ）について、以下のステップに従う。

（１）下式に従って、ＬＳＰ（ｋ）のピクセルの最大不確定間隔（Ｇａｐ）を見つける。

（２）Ｇａｐ＞δ（ｎ）である場合、ステップ（３）からステップ（８）に従う。
その他の場合、ｋ←ｋ＋１にして（１）に進む。
（３）ＬＳＰ（ｋ）のすべてのピクセル（ｉ，ｊ）について、有意ビット（ｓｉｇ）を、下式のように出力する。

ｓｉｇ＝０の場合、（８）に進む。
その他の場合、ステップ（４）からステップ（８）に従う。
（４）下式のｓｉｇｎを出力する。

（５）再構成結果ｒｅｃ（ｉ，ｊ）を下式のように更新する。

（６）ｄｉｆｆ（ｉ，ｊ）を更新する。
ｄｉｆｆ（ｉ，ｊ）＝ｉｍｇ（ｉ，ｊ）−ｒｅｃ（ｉ，ｊ）
（７）（ｉ，ｊ）をＬＳＰ（ｋ）から除去する。
（８）Ｇａｐ←Ｇａｐ−１。（２）に進む。

多重解像度深度符号化
図１Ａの入力深度画像Ｉ１０１は、符号化の前に、関連出願（米国特許出願第１２／４０５８６４号公報）に記載されているようなフィルタリング技法を利用してフィルタリングすることができる。フィルタリングは、深度画像における誤った値を除去することができ、圧縮をより簡単にする。そのような実施の形態の利益は、本質的な情報のほとんどを入力深度画像に保有しながら、符号化レートを増加させることなく、各拡張レイヤビットストリームに、より小さな不確定レベル（δ（ｎ））を用いることができるということである。

図１Ａの入力深度画像Ｉ１０１は、符号化の前にサブサンプリングすることもでき、図１Ｂの再構成画像をアップサンプリングによって深度画像の元の解像度を回復することができる。関連出願（米国特許出願第１２／４０５８６４号公報）に記載されているようなダウン／アップサンプリングプロセスをそのような実施の形態で用いることができる。そのような実施の形態の利益は、より小さな不確定レベル（δ（ｎ））を、元の深度画像の本質的な情報のほとんどを保有しながら、符号化レートを増加させることなく、各拡張レイヤビットストリームに用いることができるということである。

発明の効果
本発明の実施の形態は、区分線形関数に基づくエッジ認識技法（プレートレット）に類似したエッジ認識技法を補完する深度画像のマルチレイヤ符号化方法を提供する。本方法は、付加的な拡張レイヤビットストリームを追加して合成画像の視覚品質を改善することにより、エッジに近い深度の準可逆な境界を保証する。本方法は、基本レイヤビットストリーム用に任意の非可逆符号化器を組み込むことができ、映像に拡張することができる。これは、映像に適用可能でないプレートレットのような技法を上回る特筆すべき利点である。

Claims (28)

1. 基本レイヤビットストリームおよび拡張レイヤビットストリームのセットを含む深度ビットストリームとして符号化された深度画像を再構成する方法であって、前記拡張レイヤビットストリームのセットは下位から上位に配列され、前記深度画像のピクセル値は、画像面からシーンの３Ｄ点までの距離を表し、該方法に含まれる各ステップは、プロセッサが実行し、該方法は、
   前記基本レイヤビットストリームを復号するステップであって、前記深度画像に対応する再構成された基本レイヤ画像のピクセルを生成する、復号するステップと、
   前記下位から前記上位に、各前記拡張レイヤビットストリームを復号するステップであって、各前記拡張レイヤビットストリームの該復号は、再構成された残差画像を生成し、該復号するステップは、
   前記深度画像の深度不連続点に対応するエッジマップを用いて、前記拡張レイヤビットストリームの符号化されているデータの統計を利用して、コンテキストモデルを維持すること、
   前記コンテキストモデルを用いて各前記拡張レイヤビットストリームをエントロピ復号することであって、前記再構成された残差画像の各ピクセルの残差値が、復号されるピクセルの最大許容可能誤差を示す不確定間隔に入らない場合には１、前記残差値が前記不確定間隔に入る場合には０として設定される有意値および各有意ピクセルの符号ビットを求める、エントロピ復号すること、並びに
   前記有意値、前記符号ビット、および前記不確定間隔に従って、前記再構成された残差画像のピクセル値を再構成すること、
   をさらに含む、復号するステップと、
   前記再構成された残差画像を前記再構成された基本レイヤ画像に加算するステップであって、再構成された深度画像を生成し、該再構成された深度画像は、最上位の拡張レイヤに関連した前記不確定間隔に対応する、前記深度画像に関する最大誤差を有する、加算するステップと
   を含む方法。
2. 前記不確定間隔は、誤差を制限するために、現在のピクセル値の上限および下限を定めることで、前記最大許容可能誤差を特定し、
   前記ピクセル値は、前記上限および前記下限により規定される誤差限界に関連付けられる請求項１に記載の方法。
3. 前記誤差限界は、前記拡張レイヤビットストリームごとに変化する請求項２に記載の方法。
4. 前記誤差限界は、ローカル画像特性に従って変化する請求項２に記載の方法。
5. 前記ローカル画像特性は、エッジを含む請求項４に記載の方法。
6. 前記深度画像は、仮想ビュー合成に用いられる請求項１に記載の方法。
7. 前記拡張レイヤビットストリームの数は、前記深度ビットストリームを送信する帯域幅に依存する請求項１に記載の方法。
8. 前記コンテキストモデルは、前記有意値の統計に基づいて追加的に維持される請求項１に記載の方法。
9. 前記エッジマップは、前記復号中に推測される請求項１に記載の方法。
10. 前記エッジマップは、前記符号化によって前記深度ビットストリームに含まれる請求項１に記載の方法。
11. 前記不確定間隔は、前記深度ビットストリームで明示的にシグナリングされる請求項１に記載の方法。
12. 前記拡張レイヤビットストリームごとに前記不確定間隔をエントロピ復号すること
    をさらに含む請求項１１に記載の方法。
13. 前記深度画像を非可逆的方法で符号化することであって、前記基本レイヤビットストリームを生成する、符号化すること、
    前記拡張レイヤビットストリームごとに、前記深度画像と前のレイヤの前記再構成された深度画像との間の差分として残差画像を求めることであって、該前のレイヤは、第１拡張レイヤビットストリームの場合には前記基本レイヤビットストリームであり、それ以外の場合には前の拡張レイヤビットストリームである、求めること、および
    前記拡張レイヤビットストリームごとに、前記残差画像を符号化することであって、前記拡張レイヤビットストリームのセットを生成する、符号化すること
    をさらに含む請求項１に記載の方法。
14. 前記符号化することは、
    前記残差画像のピクセルの前記有意値を求めること、
    前記深度画像に対応する前記エッジマップに基づいて前記不確定間隔を割り当てること、
    有意ピクセルについて、前記残差画像の前記ピクセル値が正であるのかまたは負であるのかに基づいて符号ビットを求めること、
    前記有意値、前記符号ビット、および前記不確定間隔に基づいて再構成を実行すること、並びに
    前記有意値および前記符号ビットをエントロピ符号化すること
    をさらに含む請求項１３に記載の方法。
15. 前記不確定間隔は、前記拡張レイヤビットストリームごとに変化する請求項１４に記載の方法。
16. ローカル画像特性に従って前記不確定間隔を適応させること
    をさらに含む請求項１４に記載の方法。
17. 前記拡張レイヤビットストリームごとに前記不確定間隔をエントロピ符号化すること
    をさらに含む請求項１６に記載の方法。
18. 前記エッジマップは、前記再構成された深度画像から推測される請求項１０に記載の方法。
19. 前記エッジマップは、前記深度画像に従って求められる請求項１４に記載の方法。
20. 前記エッジマップを前記深度ビットストリームの一部として符号化すること
    をさらに含む請求項１９に記載の方法。
21. 前記深度画像をダウンサンプリングすること
    をさらに含む請求項１３に記載の方法。
22. 前記再構成された深度画像をアップサンプリングすること
    をさらに含む請求項１に記載の方法。
23. 深度画像系列が前記基本レイヤビットストリームに含まれ、前記符号化は、非可逆的であり、予測を用いて時間的冗長性を利用する請求項１に記載の方法。
24. 前記残差画像の特定のピクセルは、該特定のピクセルの絶対値が前記不確定間隔よりも大きいときに有意である請求項１４に記載の方法。
25. 前記残差画像のピクセルのセットは、該ピクセルのセット中の絶対値の最大値が前記不確定間隔よりも大きいときに有意であり、前記ピクセルのセットは、該ピクセルのセット中の絶対値の最大値が前記不確定間隔以下であるときに非有意である請求項１４に記載の方法。
26. ピクセルの各サブセットが１つのピクセルを含むまで、またはピクセルの該サブセットが非有意となるまで、前記ピクセルのセットをピクセルの複数のサブセットに再帰的に分割すること
    をさらに含む請求項２５に記載の方法。
27. 前記分割することは、四分木分解である請求項２６に記載の方法。
28. 基本レイヤビットストリームおよび拡張レイヤビットストリームのセットを含む深度ビットストリームとして符号化された深度画像を再構成する復号器であって、前記拡張レイヤビットストリームのセットは、下位から上位に配列され、前記深度画像のピクセル値は、画像面からシーンの３Ｄ点までの距離を表し、該復号器は、
    前記深度画像に対応する再構成された基本レイヤ画像のピクセルを生成するように構成される非可逆基本レイヤ復号器と、
    拡張レイヤ復号器のセットであって、各前記拡張レイヤビットストリームにつき１つの拡張レイヤ復号器が存在し、前記拡張レイヤビットストリームのセットは前記下位から前記上位に復号され、各前記拡張レイヤビットストリームの前記復号は、再構成された残差画像を生成し、各前記拡張レイヤ復号器は、
    前記深度画像の深度不連続点に対応するエッジマップを用いて、前記拡張レイヤビットストリームの符号化されているデータの統計を利用して、コンテキストモデルを維持する手段と、
    前記コンテキストモデルを用いて各前記拡張レイヤビットストリームをエントロピ復号して、前記再構成された残差画像の各ピクセルの残差値が、復号されるピクセルの最大許容可能誤差を示す不確定間隔に入らない場合には１、前記残差値が前記不確定間隔に入る場合には０として設定される有意値および各有意ピクセルの符号ビットを求める、エントロピ復号する手段と、
    前記有意値、前記符号ビット、および前記不確定間隔に従って、前記再構成された残差画像のピクセル値を再構成する手段と
    をさらに備える拡張レイヤ復号器のセットと、
    前記再構成された残差画像を前記再構成された基本レイヤ画像に加算する手段であって、再構成された深度画像を生成し、該再構成された深度画像は、最上位の拡張レイヤに関連した前記不確定間隔に対応する、前記深度画像に関する最大誤差を有する、加算する手段と
    を備える復号器。

Images