[go: up one dir, main page]

JP2015504545A - 予測位置符号化 - Google Patents

予測位置符号化 Download PDF

Info

Publication number
JP2015504545A
JP2015504545A JP2014539208A JP2014539208A JP2015504545A JP 2015504545 A JP2015504545 A JP 2015504545A JP 2014539208 A JP2014539208 A JP 2014539208A JP 2014539208 A JP2014539208 A JP 2014539208A JP 2015504545 A JP2015504545 A JP 2015504545A
Authority
JP
Japan
Prior art keywords
cell
empty child
empty
cells
symbol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2014539208A
Other languages
English (en)
Inventor
チャン,ウェンフェイ
カイ,カンイン
マ,テン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2015504545A publication Critical patent/JP2015504545A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

3次元メッシュモデルの位置符号化をする方法と装置を記載する。該方法は、空でない子セルCl,kのシンボル確率を推定する、Cl,kはレイヤlにあるk番目のセルを示すステップであって、前記シンボル確率はフィッティングされた平面Pの正確性に基づき推定されるステップと、前記空でない子セルが二以上の頂点を有するとき、前記空でない子セルを分割してサブセルを生成するステップと、レイヤlに、未処理の空でない子セルがまだあるか判断するステップと、レイヤlにまだ処理されていない空でない子セルがなければ、レイヤlのすべての空でない子セルが頂点を1つだけ有し、サブセルの中心とそのサブセル内の点との間の距離が第1の閾値以下であるか判断するステップと、レイヤlのすべての空でない子セルが頂点を1つだけ有し、サブセルの中心とそのサブセル内の点との間の距離が第1の閾値以下であるとき、前記空でない子セルの位置を表すシンボルをエントロピー符号化するステップと、を有する。

Description

本発明は、3次元モデルに関し、より具体的には、3次元メッシュデータモデルの圧縮と送信及び圧縮された3次元データの受信と復号に関する。
建築設計、化学プラント、機械コンピュータ支援設計(CAD)設計などの大規模3次元エンジニアリングモデルが、セカンドライフ(登録商標)やグーグルアース(登録商標)などの様々な仮想世界アプリケーション中にますます多く展開されている。ほとんどのエンジニアリングモデルには、サイズが小さいまたは中くらいの接続されたコンポーネントが多数あり、それぞれが平均して多ければ数百のポリゴンを有している。さらに、これらのタイプのモデルは、様々な位置、スケール、及び方向で繰り返される多数の幾何学的特徴(geometric features)を有する。コンピュータゲーム及びビデオゲームは、動画(映画)産業のように3次元モデルを用いる。映画産業は、アニメ及び現実の動画においてキャラクタ及びオブジェクトとして、3次元モデルを用いる。3次元モデルは医療及び建築でも用いられる。
1990年代初頭から3次元メッシュを効率的に圧縮する様々なアルゴリズムが提案されている。しかし、初期の業績はほとんどのものが、なめらかな表面と小さい三角形を有するシングル連結3次元モデルの圧縮に集中していた。大規模3次元エンジニアリングモデルなどのマルチ連結3次元モデルの場合、コンポーネントは別々に圧縮される。これは比較的効率の悪い圧縮となる。実際、圧縮性能は、異なる連結コンポーネント間の冗長性を除去することにより、大きく向上することができる。3次元モデルの圧縮は、動画産業では、消費者へのブロードバンドによる3次元動画の送信及び映画館への送信で非常に重要である。3次元メッシュモデル(例えば、映画、動画)は非常に大量の帯域幅を消費する。
大規模3次元エンジニアリングモデルにおいて繰り返される幾何学的特徴を自動的に発見する方法が非特許文献1で提案されている。しかし、3次元エンジニアリングモデルの圧縮をより効率化する余地は大きい。例えば、繰り返されるインスタンスの変形情報は、原モデルを再生するのに必要であるが、これをカバーする圧縮ソリューションは提供されていない。3次元エンジニアリングモデルが通常有するサイズが大きい連結コンポーネントを考えると、この種の情報も大容量の記憶を消費する。さらに、コンポーネントの頂点位置の主成分分析(PCA)を使う場合、ジオメトリが同じだが接続性が異なるコンポーネントは、平均が同じであり、方向軸が同じである。このように、技術水準は、様々なスケールにおける繰り返しパターンの検出には適していない。スケール(すなわち、サイズ)のみが異なる2つのコンポーネントは、同じ等価クラスの繰り返される特徴としては認識されない。さらに、非特許文献1に記載されたものより高い圧縮率を達成することが望ましい。
非特許文献2は、メッシュモデルのすべての連結コンポーネントの平均をエンコードするKDツリーベースの圧縮アルゴリズムを記載している。このアルゴリズムは、各繰り返しにおいて、1つのセルを2つの子セルに分割し、頂点の数を2つの子セルの一方にエンコードする。親セルがp個の頂点を含む場合、子セルの一方の頂点数は、算術符号化器でlog(p+1)ビットを用いてエンコードできる。空でない各セルが十分小さくなり1つだけの頂点を含み、頂点位置を十分正確に再構成できるようになるまで、この分割が反復的に適用される。非特許文献2には、このアルゴリズムは非一様分布の場合に最も効率的であり、規則的分布がワーストケースである。
シンボルがアルファベットのセットまたはシンボルのセットから選択された場合、一連のシンボルは、エントロピー符号化で圧縮できる。エントロピー符号化エンジンは、統計モデル、すなわちシンボルの確率分布に基づいてシンボルにコードワードを割り当てる。一般的に、頻繁に使われるシンボルほど少ないビットでエントロピー符号化され、頻繁に使われないシンボルほど多くのビットでエントロピー符号化される。
エントロピー符号化は数十年にわたり研究されている。エントロピー符号化方には基本的に3つのタイプがある:ハフマン符号化などの可変長符号化(VLC)と、算術符号化と、Lempel−Ziv(LZ)圧縮やLempel−Ziv−Welch(LZW)圧縮などの辞書ベース圧縮とがある。
VLCコードは、各シンボルを表すのに整数個のビットを用いる。ハフマン符号化が最も広く使われているVLC法である。ハフマン符号化は、確率がより大きいシンボルに対してより少ないビットを割り当て、確率がより小さいシンボルに対してはより大きなビットを割り当てる。ハフマン符号化は、各シンボルの確率が1/2の整数乗の場合に最適である。算術符号化は、各シンボルに分数個のビットを割り当てることができ、エントロピーにより近くアプローチできる。ハフマン符号化と算術符号化は、JPEG、MPEG−2、H.264/AVCなどの既存の(ビデオ)圧縮標準で広く使われている。LZとLZWは、繰り返されるデータストリングをテーブルのエントリーで置き換えるテーブルベース圧縮モデルを利用する。ほとんどのLZ法では、テーブルはそれ以前の入力データから動的に生成される。例えば、GIF、Zip、PNGなどの標準では、辞書ベースアルゴリズムが利用されている。
密閉3次元モデルのランダムポイント位置及び頂点位置などのジオメトリデータの圧縮には、空間的ツリーベースアプローチを利用できる。密閉3次元モデル(watertight 3D model)は、頂点が均一かつ密に分布したモデルである。空間的ツリーベースアプローチは、八分木またはKDツリーにより入力された空間点を組織化する。ツリーをトラバースし、ツリーの再生に必要な情報を記憶する。
最初、3次元モデルのすべての点の周りに境界ボックスを構成する。すべての3次元点の境界ボックスは、最初、1つのセルと見なされる。空間的ツリーを構成するため、空でない各セルが十分小さくなり1つだけの頂点を含み、頂点位置を十分正確に再構成できるようになるまで、セルは反復的に分割される。頂点位置は対応セルの中心座標から再生できるので、空間的ツリーベースアルゴリズムは、シングル解像度圧縮アルゴリズムと同じ圧縮比でマルチ解像度圧縮を実現できる。
図1は、2次元の場合のKDツリー符号化の原理を示す。2次元モデルを境界ボックス10で囲む。これを親セルと呼ぶ。7つの頂点が親セル中に位置している。KDツリー符号化アルゴリズムは、所定数のビットを用いて頂点の総数を符号化し、その後、セルを再帰的に分割する。このアルゴリズムは、1つの親セルを2つの子セルに分割するたびに、頂点の数を2つの子セルの一方にエンコードする。習慣的に、これは(垂直スプリット後の)左の子セルか、または(水平スプリット後の)上の子セルとする。親セルがp個の頂点を含む場合、子セルの一方の頂点数は、算術符号化器でlog(p+1)ビットを用いてエンコードできる。空でない各セルが十分小さくなり1つだけの頂点を含み、頂点位置を十分正確に再構成できるようになるまで、この分割を反復的に適用する。すべての繰り返しインスタンスの位置を圧縮する場合、すべての位置の境界ボックス10全体は、始め、親セルと見なされる。図1の例では、頂点の総数(7つ)は32ビットを用いてエンコードされる。次に垂直スプリットを適用し、左の子セルV1と右の子セルV2が得られる。次のコーディングステップにおいて、左の子セルV1中の頂点数は、4であるが、これがエンコードされる。エンコードに用いられるビット数は、親セル中の頂点数により決まる:この例では、log(7+1)=3ビットである。右の子セルV2中の頂点数は、親セル中の頂点数と左の子セルV1中の頂点数から求められるので、エンコードする必要はない。
次のステップにおいて、水平スプリットを適用する。左の子セルV1は、ここで親セルV1となるが、上の子セルV1H1と下の子セルV1H2にスプリットされる。右の子セルV2は、ここで親セルV2となるが、上の子セルV2H1と下の子セルV2H2にスプリットされる。符号化を、上の左子セルV1H1に続ける。これは2つの頂点を有する。そこで、次に数2がエンコードされ、算術コーダでlog(4+1)=2.3ビットを用いる。上記の通り、下の左子セルV1H2中の頂点数はエンコードする必要がない。左セルV1中の頂点数と上の左子セルV1H1中の頂点数から求められるからである。次に、同じ手順を右セルV2に適用し、2ビットを用いてゼロをエンコードする結果となる。図1に示したように、各頂点が別々のセルに入るまでには、もう2回のスプリットステップが必要であり、各頂点がそのセル中に十分ローカライズされるまでには、より多くのステップが必要である。各ステップは、ますます多くの1または0をエンコードする必要がある。必要な精度に応じて、追加ステップ数は多くなり得る。
他方、八分木ベースアプローチは、各繰り返しにおいて、空でないセルを8つの子セルに分割する。説明を容易にするため、四分木を説明する2次元の例を図2及び図3に示す。トラバースの順序(traversal orders)を矢印で示す。エンコードするため、現在の親セルを4つの子セルにスプリットし、所定順序でトラバース(travers)し、1子セルにつき1ビットがその子セル中に点があるか否かを示す。例えば、図2において、2つの親セル1と2の子セルが矢印で示したようにトラバースされる。空でない子セルは灰色になっている。第1の親セル1の子セル210,211,212及び213は、第1のシーケンス「1010」で表される。トラバースした第1と第3の子セル210と212は空でない(すなわち、一以上の点を含む)ので、「1」で示されている。第2と第4の子セル211と213は空である(すなわち、点を含まない)ので、「0」で示されている。図3は、同じセルであるが、用いるトラバースが異なり、結果として得られるシーケンスも異なることを示している。
図4は八分木の親セル及び子セルを示す。八分木方式では、親セルは8つの子セル40、・・・、46にスプリットされる(下の左セル42の後ろの子セルは隠れており、図示されていない)。可能性のある一トラバース順序は、左右、上下、及び前後であり、その結果、トラバース順序は、セル40−41−42−43−44−45−(下の左セル42の後の隠れているセル)−46となる。それに応じて、八分木の場合には、空でない子セル構成が8ビットの二進数により示され、空の及びからでない子セルの可能性のある255通りの組み合わせをカバーする。空でない子セルの数を別にエンコードする必要はない。表1はシーケンスの一例である。
Figure 2015504545
シーケンス例

留意点として、親セルにおける子セルの具体的なトラバース順序は、本実施形態にはあまり関係がない。原理的に、本実施形態ではどのトラバース順序(traversal order)を用いることもできる。以下、子セル構成を表すのに使われるビットストリングをシンボルとして示す。表1の例では、各シンボルに8ビットを用いる。他の実施形態では、シンボル中のビット数は可変であってもよい。例えば、4ビットストリングを用いて四分木の子セル構成を表すので、図2の例のシンボルのビット数は4である。
図5は、八分木構造の例を示す。各ノードはシンボルに関連し、各レイヤはツリー表現のある精度に対応している。最初のセルは8つのセルに分割される。子セル1,2,5,6及び7はより多くの頂点を含み、子セル3,4及び8は空であり、その結果、8ビットシンボル11001110(510)がレイヤ0の子セル構成を表す。空でない各子セルは、さらに、分割され、対応する子セル構成がレイヤ1に表される。分割は、空でない各セルが1つの頂点のみを含むようになるまで続けられる。
Figure 2015504545
確率分布例

八分木の幅優先トラバースを用いて、3次元メッシュの頂点位置を一連のシンボルに整理できる。図5の例では、一連のシンボルは、11001110、11000000、10010100、00100110、00001000、及び00001000になる。
複雑な3次元モデルにおいて最も頻出するシンボルの確率分布を、確率の降順で表2に示す。表2から分かるように、バイナリ表現において「1」を1つだけ含むシンボルが、最も支配的な確率(>93%)で発生する。幾何学的に説明すれば、何回か分割すると、複数の頂点が同じセルに入ることはほとんど無いということである。すなわち、八分木の下位レイヤでは、「1」を1つだけ有するシンボルが支配的であり、上位レイヤでは、そうでないシンボルがより多い。
本実施形態では、2つのシンボルセットを定義する:可能性のあるすべてのシンボルを含むユニバーサルシンボルセットS0={1,2,3,・・・,255}と、「1」を1つだけ含むシンボル、すなわち最頻出のシンボルのみを含むシンボルセットS1={1,2,4,8,16,32,64,128}。表現を容易にするため、8ビットバイナリストリングを10進数として記した。シンボルは、シンボルセットS1に属するとき、S1シンボルと呼び、そうでなければ非S1シンボルと呼ぶ。
八分木の統計的特性を利用するため、特許文献1は、八分木で表されたシーケンスをS0またはS1で適応的に符号化された複数のサブシーケンスにパーティショニングすることを提案している。サブシーケンス境界のインデックスは補助情報として符号化される。補助情報のオーバーヘッド(例えば、各インデックスに対して2バイト)が必要なため、概して、S1シンボルが連続するサブシーケンスはシンボルセットS1で符号化される。
シーケンスの一部にS1シンボルと非S1シンボルが両方ともあり、S1シンボルの確率がより大きいとき、かかる部分を複数のサブシーケンスに分割することは、オーバーヘッドの点から効率的ではない。他方、かかる部分をシンボルセットS0で符号化することも、非S1シンボルの確率が低いので、効率的ではない。
3次元メッシュ符号化では、ジオメトリデータは、普通は、空間的ツリー分解ベースアプローチ、例えば非特許文献2に記載されたKDツリーベースアプローチ、または非特許文献3及び非特許文献4に記載された八分木ベースアプローチにより圧縮される。非特許文献2、3及び4に記載された方法は、プログレッシブコーディングをサポートしている他に、大きな圧縮利得も達成している。これらのコーダは、3次元モデルの座標軸に平行な最小境界ボックスを、KDツリーデータ構造または八分木データ構造のそれぞれ2つまたは8つの子に繰り返し分割する。空でない各セルが十分小さくなり1つだけの頂点を含み、頂点位置を十分正確に再構成できるようになるまで、セルを繰り返し分割する。各セル分割に対して、各子セルが空であるか否か、シンボルにより示す。KDツリーまたは八分木を記述するシンボルシーケンスは、ここではトラバースシンボルシーケンス(traversal symbol sequences)と呼ぶが、八分木を幅優先トラバースして、出会ったノードの分割を表すシンボルを集めて生成される。次に、エントロピーコーダ・デコーダ(コーデック)を用いてそのシンボルシーケンスを圧縮する。シンボルシーケンスのエントロピーを減らして、符号化効率を高めるために、非特許文献3、4は両方とも、いくつかの近傍ベースプレディクタに基づき、子セル再配列(child-cell reordering)を実行する。
各セル分割において、非特許文献3では、空でない子セルの数T(1≦T≦8)と、可能なすべての組み合わせ中の空でない子セル構成のインデックスとをエンコードする。ジオメトリ情報は、空でない子セルの表現中に考慮され、圧縮率は良くなるが、複雑性が高くなってしまう。
特許文献2及び3は、空でない子セルの数Tを捨てることを提案している。その場合、空でない子セルの構成は、255通りすべての組み合わせをカバーしている8ビットのバイナリ数により示される。これらの8ビット二進数はエントロピー符号化により圧縮される。
特許文献2と特許文献3で提案されている統計ベースアプローチによれば、非特許文献2と非特許文献3よりも、ランダム分布した位置の符号化において、計算の複雑性がずっと低くなりロバスト性が良くなる。密閉3次元モデルの頂点圧縮は、この逆である。その理由は、特許文献2と特許文献3では、ジオメトリ冗長性を除去せず、これがビット的な大きなコストになるからである。
PCT出願第PCT/CN2011/077279号(発明の名称「A Model- Adaptive Entropy Coding Method for Octree Compression」 PCT/CN2011/077279 PCT/CN2011/078936
D. Shikare, S. Bhakar and S. P. Mudur, "Compression of Large 3D Engineering models Using Automatic Discovery of repeating geometric Features", 6th International Fall Workshop on Vision, Modeling and Visualization (VMV2001), November 21 - 23, 2001, Stuttgart, Germany O. Devillers, P. Gandoin, "Geometric Compression for Interactive transmission", in IEEE Visualization, 2000, pp. 319 - 326 J. L. Peng, C. C. Jay Kuo, "Geometry Guided Progressive Lossless 3D Mesh Coding with Octree Decomposition", ACM SIGGRAPH (ACM Transactions on Graphics 24 (3)), pp 609 - 616, 2005 Y. Huang, J. Peng, C. C. J. Kuo, and M. Gopi, "A Generic Scheme for Progressive Point Cloud Coding", IEEE Transactions on Visualization and Computer Graphicsl4, pp 440 - 453, 2008
本発明は、位置符号化ための確率予測をインプリメントする。統計的符号化では、重み付き3次元モデルの頂点位置における冗長性を効果的に取り除くことができない。本発明は、位置符号化の差異のジオメトリ上の特徴を利用する。3次元モデルの八分木を構成するとき、空でない子セル構成の確率を、3次元モデルの表面のなめらかさに基づき、各セルについて予測する。エントロピーコーデックが、頻繁に生じるコード値(例えば、0100)に対して短いコードワードを割り当て、及びその逆である。例えば、0100の確率が50%であるとき、短いコードワード(約−log(0.5)=1ビット)を割り当てる。0110の確率が12.5%であるとき、長いコードワード(約−log(0.125)=3ビット)を割り当てる。このように、入来コード値が確率が高いシンボルとして予測される場合、対応するコードワードは通常は短い。確率が幾何学的相関に基づくので、ジオメトリ的冗長性が実際に取り除かれる。このように、空間的冗長性を効率的に取り除き、高い圧縮率を実現する。
3次元メッシュモデルの位置符号化をする方法と装置を記載する。該方法は、空でない子セルCl,kのシンボル確率を推定する、Cl,kはレイヤlにあるk番目のセルを示すステップであって、前記シンボル確率はフィッティングされた平面Pの正確性に基づき推定されるステップと、前記空でない子セルが二以上の頂点を有するとき、前記空でない子セルを分割してサブセルを生成するステップと、レイヤlに、未処理の空でない子セルがまだあるか判断するステップと、レイヤlにまだ処理されていない空でない子セルがなければ、レイヤlのすべての空でない子セルが頂点を1つだけ有し、サブセルの中心とそのサブセル内の点との間の距離が第1の閾値以下であるか判断するステップと、レイヤlのすべての空でない子セルが頂点を1つだけ有し、サブセルの中心とそのサブセル内の点との間の距離が第1の閾値以下であるとき、前記空でない子セルの位置を表すシンボルをエントロピー符号化するステップと、を有する。
添付した図面を参照して以下の詳細な説明を読めば、本発明を最もよく理解することができる。図面には以下に簡単に説明する図が含まれている:
2次元の場合におけるKDツリーベースのジオメトリコーディングを示す図である。 2次元の場合の四分木ベースのジオメトリコーディングを示す図である。 2次元の場合の四分木ベースのジオメトリコーディングを示す図である。 セルパーティショニングを示す図である。 八分木の一例を示す図である。 四分木構成で用いられるトラバース順序を示す図である。 四分木構成の場合の2次元空間の階層的分割を示す図である。 四分木構成の場合の、図6Bに示した階層的2次元分割から得られる四分木シンボルを示す図である。 連結情報がある場合の、2次元位置予測の一例を示す図である。 連結情報がない場合の、2次元位置予測の一例を示す図である。 本発明の原理による実施形態の予測位置符号化方法の一実施形態を示すフローチャートである。 図8のステップ805を示す拡大図である。 本発明の原理による本発明の予測位置復号方法の一実施形態を示すフローチャートである。 図9のステップ905を示す拡大図である。 本発明の原理による予測位置符号化を含むデバイスの一実施形態を示すブロック図である。 本発明の原理による予測位置復号を含むデバイスの一実施形態を示すブロック図である。
例示を目的として、四分木を構成するプロセスを図6Aないし図6Cに示す。図6Aは、四分木構成で用いられるトラバース順序を示す図である。図6Bは、四分木構成の場合の2次元空間の階層的分割を示す図である。小さい黒い四角形は符号化する点を示す。図6Bの一番左の四分木では、平面をサイズが等しい4つのサブセルに分割している。各サブセルは少なくとも1つの点を含むので、空でない、対応する子セル構成は1111である。図6Bの真ん中の四分木では、各サブセルをさらに4つのサブセルに分割し、空でない子セル構成を符号化しており、例えば、図6B中、サブセル「TL」の右下の子セルのみが点を含む。よって、対応する空でない子セル構成は0010である。続いて図6Bの一番右の四分木では、セルは繰り返し分割され、空でない子セル構成がエンコードされる。図6Cは、四分木構成の場合の、図6Bに示した階層的2次元分割から得られる四分木シンボルを示す図である。四分木は図6Cに示したように構成される。各レイヤは繰り返される1回の分割に対応する。
本発明は、規則的に分布した頂点の位置を効率的に圧縮する。本発明には4つのキーポイントがある:
1.空でない子セル構成のシンボル確率を、各子セルの中心と、隣接するセルの中心点をフィッティングして求めた平面との間の距離を用いて計算する。
2.空でない子セル構成のシンボル確率を、幾つかの子セルの中心点と、隣接するセルの中心点とにより形成される凸形状ハル(convex hull)の表面積の値である距離尺度で計算する。
3.コーデックは、セルに平面をフィッティングするため、連結情報が利用できれば、少なくとも1つの頂点が現在のセル中の複数の頂点のうちの一頂点と接続されているセルの中心点を用いる。
4.コーデックは、セルに平面をフィッティングするため、連結情報が利用できないとき、少なくとも1つの頂点を含む複数の隣接セルの中心点を用いる。
5.予測した確率を、フィッティング平面の正確性に基づいて調整する。例えば、フィッティングエラーが小さければ、確率を、予測値として厳密に設定する。そうでなければ、確率を、一様分布に近く設定する。フィッティングエラーの閾値を、設定パラメータとして設定してもよい。閾値を設定した場合、その閾値を用いて、フィッティングエラーが大きいかまたは小さいか、それゆえシンボル確率を調整するか、判断する。
説明を容易にするため、本発明の位置予測方法を2次元の例を用いて説明する。2次元の場合、平面フィッティングはラインフィッティングになる。図7Aと図7Bは、2次元空間中の凸分布の一例を示す。図7Aは、連結情報がある場合の、2次元位置予測の一例を示す図である。図7Bは、連結情報がない場合の、2次元位置予測の一例を示す図である。
A:
既知の連結情報で、簡単な方法で隣接セルを求めることができる。子セルは、フィッティング平面に近ければ近いほど、空でない確率が高い。この尺度から分かることは、子がフィッティング平面に近ければ近いほど、現在の子セルの中心点と、すべての隣接セルの中心点とにより形成される凸形状ハルの表面積は小さい。この凸形状ハルは、複雑性がo(nlogn)である標準的アルゴリズム(グラハムスキャンなど)により計算できる。このハルを取得すると、予備的な幾何学的方法により、表面積を容易に計算できる。子セルp,q,r及びsについて、この面積尺度はdistにより表される。ここで、k=p,q,r,sである。
Figure 2015504545
B:
図7Aでは、連結情報が利用できる。頂点の連結の仕方が分かれば、各レイヤにおけるサブセルの連結を計算できる。図7Aに示したように、頂点はセルC(i,j)の子セルqにあり、すなわち、四分木シンボルは図6Aのトラバース順序を用いると、0100である。セルC(i,j)は、セルC(i−2,j−1),C(i+2,j),C(i+2,j+1)と連結していることが分かっている。これらのセルを含むセルセットScを定義する。Sc中のセルの中心座標に基づき、セルセットSc中の点に直線をフィットさせ、ラインLを得る。このラインを記述する関数はax+by+c=0と表せる。
図7Bでは、連結情報が利用できない。図7Bに示したように、頂点はセルC(i,j)の子セルqにあり、すなわち、四分木シンボルは図6Aのトラバース順序を用いると、再び0100である。曲線は実際の縁を表す。セルC(i−1,j−1),C(i,j−1),C(i+1,j),C(i+1,j+1)及びC(i,j)に頂点があることが分かる。これらのセルはセルセットScに含まれ、セルセットSc中の点の中心座標に基づき直線がフィッティングされ、ラインLが得られる。このラインを記述する関数はax+by+c=0と表せる。
以前提案された方法は、空でない子セル構成シンボル(0001,0010,0100,1000)に等しい確率を割り当てた。本発明は、フィッティングされたラインと子セルp,q,r及びsの中心点との間の距離に基づき、適応的に、等しくない確率を割り当てる。子セルの中心点をk(x,y)とし、フィッティングしたラインへのその距離をdistk=p,q,r,s,とすると、
Figure 2015504545
ここで、sizeは分割するセルの幅である。
式(1a)または(1b)で求めたdistの値に基づき、確率は次式で計算できる:
Figure 2015504545
Figure 2015504545
probは子セルkに頂点がある確率であり、uは後で説明するパラメータである。
図7Aと図7Bから分かるように、ラインLと子セルqの中心座標との間の距離は、すべての子セルの中で最小であり、シンボル0100の確率は最大値に設定される。その結果、この分割(0100)のシンボルのビットコストを小さくする。
空でない子セル構成シンボルは0001,0010,0100及び1000だけではない。セル構成シンボル0001,0010,0100及び1000は、空でない子セルに1つの頂点だけの場合である。複数の頂点がセルにある場合の確率はどうだろう?例えば、シンボル0111を考えると、これは子セルq、r及びsにそれぞれ3つの頂点があることを意味する。この場合の重みをweightqrsとすると、
Figure 2015504545
このような場合はほとんど起こらず、weightqrsはまだ大きすぎるので、重みをスケールし直す。コーデックは、現在のレイヤ中の単一頂点シンボル(0001,0010,0100及び1000)と複数頂点シンボルの確率を推定する。各シンボルの重みに、対応する推定確率をかける。最終的に、対応する重みを規格化して、式(2)のように、各シンボルの確率を求める。
フィッティングの正確性をチェックするため、フィッティングしたラインLと、Sc中のセルの中心点との間の距離を計算する。Sc中のセルがc(x、y) k=1〜nとすると、
Figure 2015504545
Figure 2015504545
uはフィッティングの正確性を表す。uの値が大きいことは、フィッティングエラーが小さいことを示す。式(3)で計算される確率は信頼性がより高い。uの値が小さいことは、フィッティングエラーが大きいことを示す。そうすると、式(3)で計算される確率は信頼性がより低い。式(2)でuの値を考慮すると、uが大きくなるにつれ、確率関数は一様分布に近づく。フィッティングエラーの閾値を、設定パラメータとして設定してもよい。閾値を設定した場合、その閾値を用いて、フィッティングエラーが大きいかまたは小さいか、それゆえシンボル確率を調整するか、判断する。
3次元では、本発明の予測位置符号化に、例示したラインフィッティングではなく、プレーンフィッティングを用いる。頂点の3次元位置を表すため、コーデックは八分木を構成して、サブセルの占有状態(occupancy)を示す。各分割に対して、問題となる頂点に隣接する子セルの頂点と平面をフィッティングする。3次元の場合、点の位置(問題となる頂点)をc(i,j,k)の形式で示し、フィッティングした平面の関数をax+by+cz+w=0の形式で示す。正確性の次に、フィッティングした平面をチェックして、パラメータuを求める。式(5)は次式に拡張される、
Figure 2015504545
最後に、空でない子セル構成の異なる複数のシンボルの確率を設定する。求めた確率モデルを、実際の空でない子セル構成のエントロピー符号化に適用する。
図8は、本発明の原理による実施形態の予測位置符号化方法の一実施形態を示すフローチャートである。セルカウンタを初期化する。ステップ805において、Cl,kの空でない子セル構成の予測を計算する。ここで、Cl,kはレイヤlにあるk番目のセルを示す。ステップ810において、セルを再度分割する。ステップ815において、セルカウンタ(k)をインクリメントする。ステップ820において、現在のレイヤにまだ処理されていないセルがあるか判断するテストを行う。まだ処理されていないセルがあれば、処理はステップ805に進む。処理されていないセルがもう無ければ、ステップ825において、エントロピーエンコーダにより、最深レイヤの空でないすべての子セルが多くても1つの点(頂点)を含むか、及びサブセルの中心とサブセルvl,k内の点との間の距離が最大許容エラー以下であるか判断するテストを行う。ここで、最大許容エラーはthであり、cl,kはCl,kの中心点である。最深レイヤにあるすべてのセルが多くても1つの点(頂点)を含み、サブセルの中心と、そのサブセルvl,k中の点との間の距離が許容最大エラー以下であれば、ステップ830において、空でない子セルシンボルを符号化する。最深レイヤにあるすべてのセルが、多くとも1つの点(頂点)を含まないか、サブセルの中心と、そのサブセルvl,k中の点との間の距離が、最大許容エラーより大きい場合、ステップ835において、セルカウンタ(k)を再初期化し、レイヤカウンタ(l)をインクリメントする。処理はステップ805に進む。ステップ805,810,815,820及び835は、基本的に、上記の平面フィッティングである。ステップ825は、上記の平面フィッティングの正確性であり、ステップ830は、確率を設定するステップと、求めた確率にエントロピー符号化を適用するステップとを含む。
図8Aは、図8のステップ805を示す拡大図である。ステップ840において、レイヤlに1つの「1」のみを有する空でない子セルの確率を、確率prob1とする。ステップ845において、連結情報が得られるか判断するテストを行う。連結情報が得られる場合、ステップ850において、現在のセルに連結された複数のセルの中心座標を用いて、平面Pをフィッティングする。ステップ855において、空でない子セルのシンボル確率を、サブセルの中心座標と、フィッティングした平面との間の距離に基づき、予測する。「1」を1つだけ有する空でない子セル(例えば、10000000,01000000...)の確率にprob1をかける。「1」を複数有する空でない子セル(例えば、11000000,01000100...)の確率に(1−prob1)をかける。ステップ860において、フィッティングの正確性をチェックし、推定確率を適宜調整する。フィッティングエラーが小さい(正確性が高い)とき、予測したシンボル確率は調整しない。フィッティングエラーが大きい(正確性が低い)とき、予測したシンボル確率を一様分布に近く設定する。連結情報が得られない場合には、ステップ865において、隣接する空でないセルの中心座標を用いて平面Pをフィッティングする。
復号プロセスは基本的に符号化プロセスの逆である。符号化されたシンボルは、シアターまたは消費者デバイスで受け取られ、すべてのシンボルが復号されるまで、予測された確率に基づき、レイヤごとに、一つずつ復号される。符号化されたシンボルは、処理の前または後に、記憶手段に記憶されてもよい。シンボルが復号されると、消費者デバイスにおいてまたはシアターでレンダリングするため、3次元メッシュモデルが再生される。再生された3次元メッシュモデルは、レンダリング前に記憶手段に記憶されてもよい。
図9は、本発明の原理による本発明の予測位置復号方法の一実施形態を示すフローチャートである。セルカウンタを初期化する。ステップ905において、受信デバイスにおいて、符号化されたシンボルが予測される。符号化されたシンボルは、処理の前または後に、記憶手段に記憶されてもよい。受け取った(符号化された)空でない子セル構成のシンボルは、ステップ910において、予測された確率に基づき復号される。ステップ915において、セルCl,kは、復号された構成により分割される。ステップ920において、セルカウンタ(k)をインクリメントする。ステップ925において、このレイヤにまだ処理されていないセルがあるか判断するテストを行う。このレイヤにまだ処理されていないセルがあれば、処理はステップ905に進む。このレイヤにまだ処理されていないセルがあれば、ステップ930において、最低、八分木を受け取ったか判断するテストを行う。最低、八分木が受け取られていれば、ステップ935において、レンダリングするため、3次元メッシュモデルを再生する。再生された3次元メッシュモデルは、レンダリング前に記憶手段に記憶されてもよい。最低、八分木が受け取られていなければ、ステップ940において、レイヤカウンタ(l)をインクリメントし、セルカウンタ(k)を再初期化する。処理はステップ905に進む。
図9Aは、図9のステップ905を示す拡大図である。ステップ940において、レイヤlに1つの「1」のみを有する空でない子セルの確率を、確率prob1とする。ステップ945において、連結情報が得られるか判断するテストを行う。連結情報が得られる場合、ステップ950において、現在のセルに連結された複数のセルの中心座標を用いて、平面Pをフィッティングする。ステップ955において、空でない子セルのシンボル確率を、サブセルの中心座標と、フィッティングした平面との間の距離に基づき、予測する。「1」を1つだけ有する空でない子セル(例えば、10000000,01000000...)の確率にprob1をかける。「1」を複数有する空でない子セル(例えば、11000000,01000100...)の確率に(1−prob1)をかける。ステップ960において、フィッティングの正確性をチェックし、推定確率を適宜調整する。フィッティングエラーが小さい(正確性が高い)とき、予測したシンボル確率は調整しない。フィッティングエラーが大きい(正確性が低い)とき、予測したシンボル確率を一様分布に近く設定する。連結情報が得られない場合には、ステップ965において、隣接する空でないセルの中心座標を用いて平面Pをフィッティングする。
図10は、本発明の原理による予測位置符号化を含むデバイスの一実施形態を示すブロック図である。ここで図10を参照して、データ送信システムまたは装置1000を示す。これに対して上記の特徴及び原理を適用できる。データ送信システムまたは装置1000は、例えば、衛星、ケーブル、電話線、または地上波放送などの様々な媒体を用いて信号を送信するヘッドエンドまたは送信システムであり得る。データ送信システムまたは装置1000を用いて、例えば、記憶する信号を提供する。送信はインターネットまたはその他のネットワークにより提供できる。データ送信システムまたは装置1000は、例えば、ビデオコンテンツ、及び例えば3次元メッシュモデルなどその他のコンテンツを生成及び配信できる。
データ送信システムまたは装置1000は、プロセッサ1005から、処理されたデータ及びその他の情報を受け取る。一実装では、プロセッサ1005は、3次元メッシュモデルのジオメトリデータを処理して、一連のシンボルを生成する。プロセッサ1005は、例えば、八分木のツリーデータ構造をいかにパーツ及びその他の情報に分割するか示すメタデータを装置1000に提供する。
データ送信システムまたは装置1000は、符号化した信号を送信するエンコーダ1010及びトランスミッタ1015を含む。エンコーダ1010は、プロセッサ1005からデータ情報を受け取る。エンコーダ1010は、符号化された信号を生成する。エンコーダ1010のエントロピー符号化エンジンは、例えば、算術コーダまたはハフマンコーダである。
エンコーダ1010は、サブモジュールを含み、これには例えば様々な情報を受け取り、記憶や送信のために構造化されたフォーマットにアセンブルするアセンブリユニットが含まれる。様々な情報には、例えば、符号化されたまたはされていないビデオ、符号化されたまたはされていないサブストリーム長さインジケータやシンタックスエレメントなどの要素が含まれる。幾つかの実装では、エンコーダ1010は、プロセッサ1005を含み、それゆえプロセッサ1005の動作を実行する。エンコーダ1010は、図8及び図8Aを参照して上で説明した原理により動作する。
トランスミッタ1015は、エンコーダ1010から符号化された信号を受け取り、その符号化された信号を一以上の出力信号で送信する。トランスミッタ1015は、例えば、符号化された画像を表す一以上のビットストリーム及び/またはそれに関する情報を有するプログラム信号を送信するように構成されている。典型的なトランスミッタは、例えば、エラー補正コーディングの提供、信号中のデータのインターリーブ、信号中のエネルギーのランダム化、モジュレータ1020を用いた信号の一以上のキャリアへの変調などのうち一以上の機能を実行する。トランスミッタ1015は、アンテナ(図示せず)を含み、またはアンテナとインタフェースする。さらに、トランスミッタ1015の実装はモジュレータ1020に限定されてもよい。
また、データ送信システムまたは装置1000は、ストレージユニット1025に通信可能に結合している。一実装では、ストレージユニット1025は、エンコーダ1010に結合し、エンコーダ1010からの符号化されたビットストリームを記憶する。他の一実装では、ストレージユニット1025は、トランスミッタ1015に結合し、トランスミッタ1015からのビットストリームを記憶する。トランスミッタ1015からのビットストリームは、例えば、一以上の符号化され、トランスミッタ1015によりさらに処理されたビットストリームを含み得る。別の実装においては、ストレージユニット1025は、標準的DVD、ブルーレイディスク、ハードドライブ、その他の等価なストレージデバイスのうちの一以上である。
図11は、本発明の原理による予測位置復号を含むデバイスの一実施形態を示すブロック図である。ここで図11を参照して、データ受信システムまたは装置1100を示す。これに対して上記の特徴及び原理を適用できる。データ受信システムまたは装置1100は、例えば、ストレージデバイス、衛星、ケーブル、電話線、地上波放送などの様々なメディアにより信号を受信するように構成されている。信号はインターネットまたはその他のネットワークにより受信できる。
データ受信システムまたは装置1100は、例えば、セルラー電話、コンピュータ、セットトップボックス、テレビジョン、またはその他のデバイスであって符号化ビデオを受信し、例えば復号されたビデオ信号を表示(ユーザへの表示など)、処理、または記憶のために提供するものであり得る。データ受信装置1100は、シアターの機器であって、シアターの観客に対してレンダリングする信号を受信するものであってもよい。このように、データ受信システムまたは装置1100は、その出力を、例えば、テレビジョン、コンピュータモニタ、(記憶、処理または表示用の)コンピュータ、その他の等価な記憶、処理または表示デバイスのスクリーンに供給する。
データ受信システムまたは装置1100は、データ情報が例えば3次元メッシュモデルを含む場合、そのデータ情報を受信して処理できる。データ受信システムまたは装置1100は、例えば、本願の実施形態で説明した信号などの符号化された信号を受信するレシーバ1105を含む。レシーバ1105は、例えば、3次元メッシュモデル及び/またはテクスチャ画像のうちの一以上、または図10のデータ送信システムからの信号出力を受信できる。
レシーバ1105は、例えば、符号化された画像を表す複数のビットストリームを有するプログラム信号を受信するように構成されている。典型的なレシーバは、例えば、符号化され変調されたデータ信号の受信、デモジュレータ1110を用いた一以上のキャリアからのデータ信号の復調、信号中のエネルギーのデ・ランダム化、信号中のデータのデ・インターリーブ、及び信号のエラー訂正復号のうちの一以上の機能を実行する。レシーバ1105は、アンテナ(図示せず)を含み、またはアンテナとインタフェースする。レシーバ1105の実装はデモジュレータ1110に限定されてもよい。
データ受信システムまたは装置1100は、デコーダ1115を含む。レシーバ1105は、受信した信号をデコーダ1115に供給する。レシーバ1105によりデコーダ1115に供給される信号は、一以上の符号化ビットストリームを含む。デコーダ1115は、例えば、ビデオ情報を含む復号ビデオ信号などの復号信号を出力する。デコーダ1115は、図9及び図9Aを参照して上で説明した原理により動作する。
また、データ受信システムまたは装置1100は、ストレージユニット1120に通信可能に結合している。一実施形態では、ストレージユニット1020はレシーバ1105に結合され、レシーバ1105はストレージユニット1120からのビットストリームにアクセスする。他の一実施形態では、ストレージユニット1020はデコーダ1115に結合され、デコーダ1115はストレージユニット1120からのビットストリームにアクセスする。ストレージユニット1020からアクセスされるビットストリームは、別の実施形態では、一以上の符号化されたビットストリームを含む。別の実装においては、ストレージユニット1120は、標準的DVD、ブルーレイディスク、ハードドライブ、その他の等価なストレージデバイスのうちの一以上である。
デコーダ1115からの出力データは、一実施形態では、プロセッサ1125に供給される。プロセッサ1125は、一実施形態では、3次元メッシュモデル再構成を行うように構成されたプロセッサである。幾つかの実装では、デコーダ1115は、プロセッサ1125を含み、それゆえプロセッサ1125の動作を実行する。他の実施形態では、プロセッサ1125は、ダウンストリームデバイスの一部であり、例えば、セットトップボックス、テレビジョン、または映画館におけるその他の機器(デバイス、装置)などである。
特定の機能と態様を有する一以上の実装を提供する。具体的に、エントロピー符号化及び復号に関する複数の実施形態を提供する。予測位置エントロピー符号化及び復号は、様々なアプリケーションに適用できる。例えば、3次元メッシュのジオメトリデータの圧縮、ランダムな2次元座標、及び統計的に可変なデータソースなどに適用できる。しかし、これらの実施形態のバリエーション及び追加的アプリケーションを想定でき、本願の範囲ないであり、説明した実施形態の特徴と態様は他の実施形態に合わせることができる。
本願で説明した実施形態と特徴の一部は、MPEG 3DGC標準及びその拡張版のコンテキストで用いることができる。また、これらの実施形態や特徴は、(既存または将来の)他の標準のコンテキストで用いてもよいし、標準化を伴わないコンテキストで用いられてもよい。
また、本願とその特許請求の範囲において、様々な情報を「判断(determining)」する旨を記載した。情報の判断には、例えば、その情報の推定、その情報の計算、その情報の予測、またはその情報のメモリからの読み出しのうちの一以上が含まれ得る。
また、多くの実施形態は、エンコーダ(例えば、エンコーダ1010)、デコーダ(例えば、デコーダ1115)、デコーダからの出力を処理するポストプロセッサ(例えば、プロセッサ1125)、またはエンコーダに入力を提供するプリプロセッサ(例えば、プロセッサ1005)のうちの一以上で実施できる。さらに、本開示では、他の実施形態を想定している。
言うまでもなく、本発明は、ハードウェア、ソフトウェア、ファームウェア、特殊用途プロセッサ、またはこれらの組み合わせなどのいろいろな形体で実施することができる。好ましくはハードウェアとソフトウェアを組み合わせて本発明を実施する。また、プログラム記録装置に有体的に化体されたアプリケーションプログラムとしてソフトウェアを実施してもよい。そのアプリケーションプログラムは、好適なアーキテクチャを有する機械にアップロードされ、実行される。好ましくは、機械は、中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、及び入出力(I/O)インターフェイス等のハードウェアを有するコンピュータプラットフォームで実施される。コンピュータプラットフォームはオペレーティングシステムとマイクロコードも含んでもよい。ここに説明した様々なプロセスや機能は、オペレーティングシステムにより実行できる、マイクロ命令コードの一部やアプリケーションプログラムの一部(またはこれらの組み合わせ)であってもよい。また、追加的データ記憶装置や印刷装置等その他の様々な周辺装置をコンピュータプラットフォームに接続してもよい。
さらに言うまでもなく、添付した図面に示したシステム構成要素や方法ステップの一部はソフトウェアで実施されてもよいので、システム構成要素(または方法ステップ)間の実際的な結合は本発明をプログラムするそのプログラム方法に応じて異なる。ここに開示された本発明の教示を受けて、関連技術分野の当業者は、本発明の同様な実施形態や構成を考えることができるであろう。

Claims (22)

  1. 3次元メッシュの位置符号化の方法であって、
    空でない子セルCl,kのシンボル確率を推定する、Cl,kはレイヤlにあるk番目のセルを示すステップであって、前記シンボル確率はフィッティングされた平面Pの正確性に基づき推定されるステップと、
    前記空でない子セルが二以上の頂点を有するとき、前記空でない子セルを分割してサブセルを生成するステップと、
    レイヤlに、未処理の空でない子セルがまだあるか判断するステップと、
    レイヤlにまだ処理されていない空でない子セルがなければ、レイヤlのすべての空でない子セルが頂点を1つだけ有し、サブセルの中心とそのサブセル内の点との間の距離が第1の閾値以下であるか判断するステップと、
    レイヤlのすべての空でない子セルが頂点を1つだけ有し、サブセルの中心とそのサブセル内の点との間の距離が第1の閾値以下であるとき、前記空でない子セルの位置を表すシンボルをエントロピー符号化するステップと、
    を有する方法。
  2. 前記第1の閾値は最大エラーである、請求項1に記載の方法。
  3. あるレイヤのサブセルが次に深いレイヤのセルになる、請求項1に記載の方法。
  4. レイヤlの、「1」を1つだけ有する空でない子セルのシンボル確率を推定する、前記「1」を1つだけとは、前記空でない子セルが少なくとも1つの頂点を含むことを示す、請求項1に記載の方法。
  5. 現在の空でない子セルの中心座標と、現在の空でない子セルに連結したセルの中心座標とにより形成される凸形状ハルの表面積に応じて、前記空でない子セルのシンボル確率を予測するステップをさらに有する、請求項4に記載の方法。
  6. 現在の空でない子セルの中心座標と、現在の空でない子セルに連結したセルの中心座標とにより形成される凸形状ハルの表面積に応じて、前記空でない子セルのシンボル確率を予測するステップをさらに有する、請求項3に記載の方法。
  7. 連結情報を得られるとき、前記フィッティングされた平面Pに、現在の空でない子セルに連結されたセルの中心座標を用いる、請求項4に記載の方法。
  8. サブセルの中心座標と前記フィッティングされた平面Pとの間の距離に応じて、前記空でない子セルのシンボル確率を予測するステップと、
    前記フィッティングされた平面Pのフィッティングエラーをチェックするステップと、
    前記推定されたシンボル確率を調整するステップと
    をさらに有する、請求項7に記載の方法。
  9. 前記フィッティングエラーが第2の閾値より小さいとき、前記予測されたシンボル確率を調整しない、請求項8に記載の方法。
  10. 前記フィッティングエラーが第2の閾値より大きいとき、前記予測されたシンボル確率を一様分布に近く設定する、請求項8に記載の方法。
  11. 空でない子セル構成のシンボル確率を計算する関数のパラメータとして前記フィッティングエラーを用い、前記パラメータが大きくなると、空でない子セルの推定されたシンボル確率が一様分布に近づくようにする、請求項8に記載の方法。
  12. 連結情報が得られないとき、隣接する空でないセルの中心座標を、前記フィッティングされた平面Pに用いる、請求項4に記載の方法。
  13. サブセルの中心座標と前記フィッティングされた平面Pとの間の距離に応じて、前記空でない子セルのシンボル確率を予測するステップと、
    前記フィッティングされた平面Pのフィッティングエラーをチェックするステップと、
    前記推定されたシンボル確率を調整するステップと
    をさらに有する、請求項12に記載の方法。
  14. 前記フィッティングエラーが第2の閾値より小さいとき、前記予測されたシンボル確率を調整しない、請求項13に記載の方法。
  15. 前記フィッティングエラーが第2の閾値より大きいとき、前記予測されたシンボル確率を一様分布に近く設定する、請求項13に記載の方法。
  16. 空でない子セル構成のシンボル確率を計算する関数のパラメータとして前記フィッティングエラーを用い、前記パラメータが大きくなると、空でない子セルの推定されたシンボル確率が一様分布に近づくようにする、請求項12に記載の方法。
  17. レイヤlの、「1」を複数有する空でない子セルのシンボル確率を推定する、
    請求項1に記載の方法。
  18. 各頂点に重みを割り当て、前記重みが大きすぎるとき、前記重みをリスケールし、推定された確率を対応する重みで規格化する、請求項17に記載の方法。
  19. 3次元メッシュの位置符号化するエンコーダであって、
    データを受け取り、符号化された信号を生成するエンコーダであって、
    空でない子セルCl,kのシンボル確率を推定する、Cl,kはレイヤlにあるk番目のセルを示すステップであって、前記シンボル確率はフィッティングされた平面Pの正確性に基づき推定されるステップと、
    前記空でない子セルが二以上の頂点を有するとき、前記空でない子セルを分割してサブセルを生成するステップと、
    レイヤlに、未処理の空でない子セルがまだあるか判断するステップと、
    レイヤlにまだ処理されていない空でない子セルがなければ、レイヤlのすべての空でない子セルが頂点を1つだけ有し、サブセルの中心とそのサブセル内の点との間の距離が閾値以下であるか判断するステップと、
    レイヤlのすべての空でない子セルが頂点を1つだけ有し、サブセルの中心とそのサブセル内の点との間の距離が閾値以下であるとき、前記空でない子セルの位置を表すシンボルをエントロピー符号化するステップと、を実行するエンコーダ。
  20. レイヤlの、「1」を1つだけ有する空でない子セルのシンボル確率を推定し、前記「1」を1つだけとは、前記空でない子セルが少なくとも1つの頂点を含むことを示し、連結情報を得られるとき、前記フィッティングされた平面Pに、現在の空でない子セルに連結されたセルの中心座標を用いる、
    前記エンコーダは、さらに、
    サブセルの中心座標と前記フィッティングされた平面Pとの間の距離に応じて、前記空でない子セルのシンボル確率を予測するステップと、
    前記フィッティングされた平面Pのフィッティングエラーをチェックするステップと、
    前記推定されたシンボル確率を調整するステップと
    を実行する、請求項19に記載のエンコーダ。
  21. レイヤlの、「1」を1つだけ有する空でない子セルのシンボル確率を推定し、連結情報が得られないとき、隣接する空でないセルの中心座標を、前記フィッティングされた平面Pに用いる、
    前記エンコーダは、さらに、
    サブセルの中心座標と前記フィッティングされた平面Pとの間の距離に応じて、前記空でない子セルのシンボル確率を予測するステップと、
    前記フィッティングされた平面Pのフィッティングエラーをチェックするステップと、
    前記推定されたシンボル確率を調整するステップと
    を実行する、請求項19に記載のエンコーダ。
  22. レイヤlの、「1」を複数有する空でない子セルのシンボル確率を推定する、各頂点に重みを割り当て、前記重みが大きすぎるとき、前記重みをリスケールし、推定された確率を対応する重みで規格化する、請求項19に記載のエンコーダ。
JP2014539208A 2011-11-07 2011-11-07 予測位置符号化 Ceased JP2015504545A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/081880 WO2013067674A1 (en) 2011-11-07 2011-11-07 Predictive position encoding

Publications (1)

Publication Number Publication Date
JP2015504545A true JP2015504545A (ja) 2015-02-12

Family

ID=48288438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014539208A Ceased JP2015504545A (ja) 2011-11-07 2011-11-07 予測位置符号化

Country Status (6)

Country Link
US (1) US9111333B2 (ja)
EP (1) EP2777018A4 (ja)
JP (1) JP2015504545A (ja)
KR (1) KR20140086998A (ja)
CN (1) CN103918009A (ja)
WO (1) WO2013067674A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126890A (ja) * 2016-01-14 2017-07-20 キヤノン株式会社 符号化装置及びその制御方法
WO2019159956A1 (ja) * 2018-02-14 2019-08-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020196677A1 (ja) * 2019-03-25 2020-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2020066680A1 (ja) * 2018-09-28 2021-08-30 ソニーグループ株式会社 画像処理装置および方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101862438B1 (ko) 2011-07-18 2018-05-29 톰슨 라이센싱 트리 구조들의 적응적 엔트로피 코딩을 위한 방법
US9390110B2 (en) * 2012-05-02 2016-07-12 Level Set Systems Inc. Method and apparatus for compressing three-dimensional point cloud data
WO2015100280A1 (en) 2013-12-24 2015-07-02 Viking At, Llc Mechanically amplified smart material actuator utilizing layered web assembly
CN105139449B (zh) * 2015-08-24 2018-03-20 上海未高科技有限公司 一种基于三维网格细分和编码的三维模型压缩方法
WO2017217191A1 (ja) * 2016-06-14 2017-12-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10733766B2 (en) 2016-10-19 2020-08-04 Google, Llc Methods and apparatus to encode and/or decode normals of geometric representations of surfaces
US10313673B2 (en) 2016-10-19 2019-06-04 Google Llc Methods and apparatus to encode and/or decode normals of geometric representations of surfaces
US10430975B2 (en) 2016-11-17 2019-10-01 Google Llc Advanced k-D tree encoding for point clouds by most significant axis selection
US9787321B1 (en) 2016-11-17 2017-10-10 Google Inc. Point cloud data compression using a space-filling curve
US10496336B2 (en) 2016-11-17 2019-12-03 Google Llc K-D tree encoding for point clouds using deviations
US10742708B2 (en) 2017-02-23 2020-08-11 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US10917644B2 (en) 2017-02-23 2021-02-09 Netflix, Inc. Iterative techniques for encoding video content
EP3407607A1 (en) 2017-05-24 2018-11-28 Thomson Licensing Method and device for encoding and reconstructing a point cloud
US10553035B2 (en) 2017-06-02 2020-02-04 Google Llc Valence based implicit traversal for improved compression of triangular meshes
US10950042B2 (en) 2017-06-02 2021-03-16 Google Llc Guided traversal in compression of triangular meshes
EP3418976A1 (en) 2017-06-22 2018-12-26 Thomson Licensing Methods and devices for encoding and reconstructing a point cloud
US10666992B2 (en) 2017-07-18 2020-05-26 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
US12255940B2 (en) 2017-07-18 2025-03-18 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
KR102815710B1 (ko) * 2017-10-24 2025-06-02 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치 및 삼차원 데이터 복호 장치
FI3514968T3 (fi) * 2018-01-18 2023-05-25 Blackberry Ltd Menetelmiä ja laitteita pistepilvien entropiakoodausta varten
EP3553745B1 (en) 2018-04-09 2021-09-01 BlackBerry Limited Methods and devices for binary entropy coding of point clouds
EP3803798B1 (en) * 2018-06-25 2024-01-24 Huawei Technologies Co., Ltd. Hybrid geometric coding of point clouds
US10891758B2 (en) 2018-07-23 2021-01-12 Google Llc Geometry encoder
US10762667B2 (en) 2018-11-30 2020-09-01 Point Cloud Compression, B.V. Method and apparatus for compression of point cloud data
CA3128973A1 (en) 2019-03-04 2020-09-10 Bhaskar Bhattacharyya Data compression and communication using machine learning
CN114402532A (zh) * 2019-09-30 2022-04-26 Oppo广东移动通信有限公司 占位信息的预测方法、编码器、解码器、及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002517859A (ja) * 1998-06-08 2002-06-18 マイクロソフト コーポレイション 表情の3dジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム
JP2003296755A (ja) * 2001-11-27 2003-10-17 Samsung Electronics Co Ltd 深さイメージに基づく3次元物体を表現するためのノード構造
JP2006053911A (ja) * 2004-07-23 2006-02-23 Microsoft Corp シェルテクスチャ関数
WO2011044713A1 (en) * 2009-10-15 2011-04-21 Thomson Licensing Method and apparatus for encoding a mesh model, encoded mesh model, and method and apparatus for decoding a mesh model

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5842004A (en) * 1995-08-04 1998-11-24 Sun Microsystems, Inc. Method and apparatus for decompression of compressed geometric three-dimensional graphics data
KR100209885B1 (ko) * 1995-08-30 1999-07-15 윤종용 적응적 제어점제거에 근거한 영상의 불규칙 삼각형메쉬 표현을 위한 방법
US5966469A (en) 1995-10-26 1999-10-12 Hyundai Electronics Industries Co., Ltd. Sequential polygon approximation apparatus for contour and method thereof
US5825369A (en) * 1996-01-16 1998-10-20 International Business Machines Corporation Compression of simple geometric models using spanning trees
US5905507A (en) * 1996-01-16 1999-05-18 International Business Machines Corporation Compression of geometric models using spanning trees
US5886702A (en) * 1996-10-16 1999-03-23 Real-Time Geometry Corporation System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities
US6184897B1 (en) * 1997-01-15 2001-02-06 International Business Machines Corporation Compressed representation of changing meshes and method to decompress
US6031548A (en) * 1997-06-13 2000-02-29 International Business Machines Corporation Progressive multi-level transmission and display of triangular meshes
US6009435A (en) * 1997-11-21 1999-12-28 International Business Machines Corporation Progressive compression of clustered multi-resolution polygonal models
US6262737B1 (en) * 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
US6167159A (en) * 1998-04-30 2000-12-26 Virtue Ltd. Triangle mesh compression
US6606095B1 (en) * 1998-06-08 2003-08-12 Microsoft Corporation Compression of animated geometry using basis decomposition
US6668091B1 (en) * 1998-10-02 2003-12-23 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method
KR100294926B1 (ko) * 1998-08-29 2001-07-12 윤종용 점진적인 삼차원 메쉬 정보의 부호화/복호화 방법 및 장치
KR100294927B1 (ko) * 1998-08-29 2001-07-12 윤종용 점진적인 삼차원 메쉬 정보의 부호화 방법 및 그 장치
US6577310B1 (en) * 1998-12-01 2003-06-10 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method and apparatus for error resilience and incremental rendering
US6459429B1 (en) * 1999-06-14 2002-10-01 Sun Microsystems, Inc. Segmenting compressed graphics data for parallel decompression and rendering
JP3511498B2 (ja) * 2000-06-19 2004-03-29 インターナショナル・ビジネス・マシーンズ・コーポレーション メッシュ生成システム、設計支援システム、解析システム、メッシュ生成方法及び記憶媒体
US6868420B2 (en) * 2002-07-31 2005-03-15 Mitsubishi Electric Research Laboratories, Inc. Method for traversing quadtrees, octrees, and N-dimensional bi-trees
KR100969764B1 (ko) * 2008-02-13 2010-07-13 삼성전자주식회사 메쉬 모델로 구현된 3차원 데이터의 부호화 및 복호화 방법
US20110046923A1 (en) * 2008-04-18 2011-02-24 Electronics And Telecommunications Research Institute Apparatus and method for low-complexity three-dimensional mesh compression
EP2216750A1 (en) * 2009-02-06 2010-08-11 Thomson Licensing Method and apparatus for encoding 3D mesh models, and method and apparatus for decoding encoded 3D mesh models

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002517859A (ja) * 1998-06-08 2002-06-18 マイクロソフト コーポレイション 表情の3dジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム
JP2003296755A (ja) * 2001-11-27 2003-10-17 Samsung Electronics Co Ltd 深さイメージに基づく3次元物体を表現するためのノード構造
JP2006053911A (ja) * 2004-07-23 2006-02-23 Microsoft Corp シェルテクスチャ関数
WO2011044713A1 (en) * 2009-10-15 2011-04-21 Thomson Licensing Method and apparatus for encoding a mesh model, encoded mesh model, and method and apparatus for decoding a mesh model

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126890A (ja) * 2016-01-14 2017-07-20 キヤノン株式会社 符号化装置及びその制御方法
WO2019159956A1 (ja) * 2018-02-14 2019-08-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7629970B2 (ja) 2018-02-14 2025-02-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019159956A1 (ja) * 2018-02-14 2021-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7381444B2 (ja) 2018-02-14 2023-11-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11910026B2 (en) 2018-09-28 2024-02-20 Sony Corporation Image processing apparatus and method
JPWO2020066680A1 (ja) * 2018-09-28 2021-08-30 ソニーグループ株式会社 画像処理装置および方法
JP7359153B2 (ja) 2018-09-28 2023-10-11 ソニーグループ株式会社 画像処理装置および方法
JPWO2020196677A1 (ja) * 2019-03-25 2020-10-01
JP7509751B2 (ja) 2019-03-25 2024-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元点のデータ符号化方法、三次元点のデータ復号方法、三次元点のデータ符号化装置、及び三次元点のデータ復号装置
JP2024114761A (ja) * 2019-03-25 2024-08-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法、復号方法、符号化装置、及び復号装置
WO2020196677A1 (ja) * 2019-03-25 2020-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP7656133B2 (ja) 2019-03-25 2025-04-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法、復号方法、符号化装置、及び復号装置

Also Published As

Publication number Publication date
WO2013067674A1 (en) 2013-05-16
US20140376827A1 (en) 2014-12-25
KR20140086998A (ko) 2014-07-08
US9111333B2 (en) 2015-08-18
EP2777018A4 (en) 2016-07-06
EP2777018A1 (en) 2014-09-17
CN103918009A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
JP5932051B2 (ja) 予測位置復号
US9111333B2 (en) Predictive position encoding
US9035807B2 (en) Hierarchical entropy encoding and decoding
JP7431742B2 (ja) 三次元物体を表すポイントクラウドを符号化/復号する方法及び装置
KR102645508B1 (ko) Haar 기반 포인트 클라우드 코딩을 위한 방법 및 장치
US12217465B2 (en) Method and apparatus for point cloud coding
US10003794B2 (en) Terminable spatial tree-based position coding and decoding
JP2011528452A (ja) 共有頂点情報を用いた低複雑度3次元メッシュ圧縮装置及び方法
KR20140096298A (ko) 복제 포인트를 갖는 공간 트리에 기초한 위치 코딩
KR20200140825A (ko) 3d 객체를 나타내는 포인트 클라우드를 인코딩/디코딩하기 위한 방법 및 장치
CN115100302A (zh) 点云处理方法、装置、设备以及介质
WO2022131948A1 (en) Devices and methods for sequential coding for point cloud compression
CN116458158B (zh) 帧内预测方法及装置、编解码器、设备、存储介质
CN119366154A (zh) 点云编解码方法、装置、设备及存储介质
CN116843771A (zh) 编码方法、解码方法及终端
CN117157671A (zh) 用于编码及解码3d点云的方法、编码器及解码器
CN118694979A (zh) 三维网格位移信息编码方法、解码方法、装置及终端
WO2024207235A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
CN118828021A (zh) 三维网格位移信息编码方法、解码方法、装置及终端
CN119998837A (zh) 用于编码和解码3d点云的方法、编码器及解码器
CN119343918A (zh) 点云率失真优化方法及属性压缩方法、装置和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160325

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20160927