特許 5932051 予測位置復号

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5932051

(24)【登録日】2016年5月13日

(45)【発行日】2016年6月8日

(54)【発明の名称】予測位置復号

(51)【国際特許分類】

   G06T 17/00 20060101AFI20160526BHJP

   G06T 9/40 20060101ALI20160526BHJP

【ＦＩ】

   G06T17/00 500

   G06T9/40

【請求項の数】20

【全頁数】24

(21)【出願番号】特願2014-540282(P2014-540282)

(86)(22)【出願日】2011年11月7日

(65)【公表番号】特表2014-532945(P2014-532945A)

(43)【公表日】2014年12月8日

(86)【国際出願番号】CN2011081878

(87)【国際公開番号】WO2013067673

(87)【国際公開日】20130516

【審査請求日】2014年11月7日

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ジアン ウェンフェイ

(72)【発明者】

【氏名】ツァイ カンイン

(72)【発明者】

【氏名】マー テン

【審査官】 村松 貴士

(56)【参考文献】

【文献】 米国特許出願公開第２００９／０２０２１６０（ＵＳ，Ａ１）

【文献】 特表２００２−５０１６５０（ＪＰ，Ａ）

【文献】 特開２０１１−１３４３６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ９／４０

Ｇ０６Ｔ １７／００ − １７／３０

Ｇ０６Ｆ １７／５０

(57)【特許請求の範囲】

【請求項1】

３次元メッシュモデルを位置復号するための方法であって、
連続的に細分されたセルのレイヤを使用して符号化された３次元メッシュモデルを含む符号化された信号を受信機で受信するステップと、
前記３次元メッシュモデルを復号器で復号するステップであって、
空でないセルＣ_l,kのシンボル確率を予測するステップであって、Ｃ_l,kは、レイヤｌにおけるｋ番目のセルを示し、前記シンボル確率は、前記空でないセルの構成に対応するシンボルの発生の確率を示し、前記空でないセルに接続された前記セルに従ってまたは前記空でないセルに隣接した空でないセルに従ってフィッティングされた平面Ｐの精度に基づいて推定される、前記シンボル確率を予測するステップと、
前記空でないセルの前記予測されたシンボル確率に応答して、前記空でないセルを復号するステップと、
前記空でないセルが２つ以上の頂点を有する場合、前記空でないセルを細分するステップと、
レイヤｌに未処理の空でないセルがそれ以上あるかどうか判定するステップと、
レイヤｌに未処理の空でないセルがそれ以上ない場合、空でないセルの最も下のレイヤに達したかどうか判定するステップと、を含む、前記復号するステップと、
空でないセルの前記最も下のレイヤに達した場合、前記３次元メッシュモデルをプロセッサで再生するステップと、
を含む、前記方法。

【請求項2】

前記シンボル確率は、レイヤｌにおいて「１」を１つ有する前記空でないセルについて推定される、請求項１に記載の方法。

【請求項3】

接続可能性情報が使用可能な場合、前記空でないセルに接続された前記セルの中心座標が使用されて、前記フィッティングされた平面Ｐが生成される、請求項２に記載の方法。

【請求項4】

前記空でないセルおよび前記空でないセルに接続された前記セルによって形成される凸包の表面積に応答して、前記空でないセルＣ_l,kの前記シンボル確率を予測するステップをさらに含む、請求項３に記載の方法。

【請求項5】

サブセルの中心座標と前記フィッティングされた平面Ｐとの距離に応答して前記空でないセルＣ_l,kの前記シンボル確率を予測するステップと、
前記フィッティングされた平面Ｐのフィッティング誤差を検査するステップと、
前記推定されたシンボル確率を調整するステップと、
をさらに含む、請求項３に記載の方法。

【請求項6】

前記フィッティング誤差が閾値より小さい場合、前記予測されたシンボル確率は調整されない、請求項５に記載の方法。

【請求項7】

前記フィッティング誤差が閾値より大きい場合、前記予測されたシンボル確率は一様分布に近くなるように設定される、請求項５に記載の方法。

【請求項8】

前記フィッティング誤差は、関数用のパラメータとして、空でないセルの構成のシンボル確率を計算し、その結果、前記パラメータが増大するにつれて、空でないセルの前記推定されたシンボル確率が一様分布に近づくようにするために使用される、請求項５に記載の方法。

【請求項9】

接続可能性情報が使用可能でない場合、隣接する空でないセルの中心座標が使用されて、前記フィッティングされた平面Ｐが生成される、請求項２に記載の方法。

【請求項10】

サブセルの中心座標と前記フィッティングされた平面Ｐとの距離に応答して前記空でないセルＣ_l,kの前記シンボル確率を予測するステップと、
前記フィッティングされた平面Ｐのフィッティング誤差を検査するステップと、
前記推定されたシンボル確率を調整するステップと、
をさらに含む、請求項９に記載の方法。

【請求項11】

前記フィッティング誤差が閾値より小さい場合、前記予測されたシンボル確率は調整されない、請求項１０に記載の方法。

【請求項12】

前記フィッティング誤差が閾値より大きい場合、前記予測されたシンボル確率は一様分布に近くなるように設定される、請求項１０に記載の方法。

【請求項13】

前記フィッティング誤差は、関数用のパラメータとして、空でないセルの構成のシンボル確率を計算し、その結果、前記パラメータが増大するにつれて、空でないセルの前記推定されたシンボル確率が一様分布に近づくようにするために使用される、請求項１０に記載の方法。

【請求項14】

前記シンボル確率は、レイヤｌにおいて複数の「１」を有する前記空でないセルについて推定される、請求項１に記載の方法。

【請求項15】

重みが各頂点に割り当てられ、前記重みは、前記重みが大きすぎる場合再スケールされ、前記推定されたシンボル確率は、対応する重みによって正規化される、請求項１４に記載の方法。

【請求項16】

３次元メッシュモデルを位置復号するための装置であって、
連続的に細分化されたセルのレイヤを使用して符号化された３次元メッシュモデルを含む符号化された信号を受信するよう構成された受信機と、
前記符号化された信号から３次元メッシュモデルを復号するよう構成された復号器であって、前記復号器は、
空でないセルＣ_l,kのシンボル確率であって、Ｃ_l,kは、レイヤｌにおけるｋ番目のセルを示し、前記空でないセルの構成に対応するシンボルの発生の確率を示し、前記空でないセルに接続された前記セルに従ってまたは前記空でないセルに隣接した空でないセルに従ってフィッティングされた平面Ｐの精度に基づいて推定される、前記シンボル確率を予測し、
前記空でないセルの前記予測された確率に応答して、前記空でないセルを復号し、
前記空でないセルが２つ以上の頂点を有する場合、前記空でないセルを細分し、
レイヤｌに未処理の空でないセルがそれ以上あるかどうか判定し、
レイヤｌに未処理の空でないセルがそれ以上ない場合、空でないセルの最も下のレイヤに達したかどうか判定する
よう構成される、前記復号器と、
空でないセルの前記最も下のレイヤに達した場合、前記３次元メッシュモデルを生成するよう構成されたプロセッサと、
を備える、前記装置。

【請求項17】

前記シンボル確率は、レイヤｌにおいて「１」を１つ有する前記空でないセルについて推定され、接続可能性情報が使用可能な場合、前記空でないセルに接続された前記セルの中心座標が使用されて、前記フィッティングされた平面Ｐを生成し、さらに前記復号器は、
サブセルの中心座標と前記フィッティングされた平面Ｐとの距離に応答して前記空でないセルＣ_l,kのシンボル確率を予測し、
前記フィッティングされた平面Ｐのフィッティング誤差を検査し、
前記推定されたシンボル確率を調整する
よう構成される、請求項１６に記載の装置。

【請求項18】

前記シンボル確率は、レイヤｌにおいて「１」を１つ有する前記空でないセルについて推定され、接続可能性情報が使用可能でない場合、隣接する空でないセルの中心座標が使用されて、前記フィッティングされた平面Ｐを生成し、前記復号器は、
サブセルの中心座標と前記フィッティングされた平面Ｐとの距離に応答して前記空でないセルＣ_l,kのシンボル確率を予測し、
前記フィッティングされた平面Ｐのフィッティング誤差を検査し、
前記推定されたシンボル確率を調整する
よう構成される、請求項１６に記載の装置。

【請求項19】

前記シンボル確率は、レイヤｌにおいて複数の「１」を有する前記空でないセルについて推定され、重みが各頂点に割り当てられ、前記重みは、前記重みが大きすぎる場合再スケールされ、前記推定されたシンボル確率は、対応する重みによって正規化される、請求項１６に記載の装置。

【請求項20】

前記復号器は、前記空でないセルおよび前記空でないセルに接続された前記セルによって形成される凸包の表面積に応答して、前記空でないセルＣ_l,kの前記シンボル確率を予測するよう構成される、請求項１７に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元（３Ｄ）モデルに関し、より詳細には、３Ｄメッシュデータモデルを圧縮および送信すること、ならびに圧縮された３Ｄデータを受信および復号することに関する。

【背景技術】

【0002】

建築設計、化学工場、および機械のコンピュータ支援設計（ＣＡＤ）設計のような大規模な３Ｄエンジニアリングモデルが、Ｓｅｃｏｎｄ Ｌｉｆｅ（商標）およびＧｏｏｇｌｅ Ｅａｒｔｈ（商標）など様々な仮想世界アプリケーション内でますます展開されつつある。大抵のエンジニアリングモデルには、多数の小さいサイズから中サイズの接続構成要素があり、各構成要素は、平均で最大数百ポリゴンを有する。さらに、これらのタイプのモデルは、様々な位置、スケール、および向きで繰り返されるいくつかの幾何学的特徴を有する。コンピュータゲームおよびビデオゲームは、映画（ムービー）産業と同様に３Ｄモデルを使用する。ムービー産業は、アニメーション映画および実写映画内のキャラクタおよび物体として３Ｄモデルを使用する。３Ｄモデルは、医薬および建築でも使用される。

【0003】

１９９０年代初頭以来、３Ｄメッシュを効率的に圧縮するために、様々なアルゴリズムが開発されている。しかし、初期の研究は、大抵、滑らかなサーフェスと小さな三角形を有する単接続の３Ｄモデルを圧縮することに集中していた。大規模な３Ｄエンジニアリングモデルなど多接続の３Ｄモデルの場合、これらの構成要素は、別々に圧縮される。これは、比較的効果のない圧縮の原因となる。実際、圧縮性能は、異なる接続構成要素間の冗長性を除去することによって大きく高めることができる。映画産業における３Ｄモデルの圧縮は、ブロードバンドを介して消費者に３Ｄ映画を送信する際に、また劇場に送信する際に非常に重要である。３Ｄメッシュモデル（たとえば、ムービー、映画）は、非常に大量の帯域幅を消費する。

【0004】

大規模な３Ｄエンジニアリングモデル内の繰り返す幾何学的特徴を自動的に発見するための方法が非特許文献１（以下、「Ｓｈｉｋａｒｅ」）で提案されている。しかし、３Ｄエンジニアリングモデルのより効率的な圧縮のために多くの余地が残されていた。たとえば、元のモデルを復元するために必要な、繰り返されるインスタンスの変形情報をカバーする圧縮解決策は提供されていなかった。３Ｄエンジニアリングモデルが通常有する接続構成要素の大きなサイズを考えると、この種の情報もまた、大量のストレージを消費する。さらに、構成要素の頂点の位置のＰＣＡ（主成分分析）が使用される場合、同じ幾何形状、および異なる接続可能性（ｃｏｎｎｅｃｔｉｖｉｔｙ）を有する構成要素は、同じ平均値（ｍｅａｎ）および同じ配向軸を有することになる。したがって、現況技術は、様々なスケールで繰り返すパターンを検出するのに適していない。スケール（すなわち、サイズ）が異なるだけの２つの構成要素は、同じ同値類の繰り返す特徴として認識されない。さらに、Ｓｈｉｋａｒｅに記載されているものより高い圧縮率を達成することが望ましい。

【0005】

非特許文献２（以下「Ｄｅｖｉｌｌｅｒｓ」）は、メッシュモデルの接続構成要素すべての手段（ｍｅａｎｓ）を符号化するためのＫＤ木ベースの圧縮アルゴリズムについて記載している。各反復において、このアルゴリズムは、セルを２つの子セルに細分し、２つの子セルの１つにおける頂点の数を符号化する。親セルがｐ個の頂点を含む場合、子セルの１つにおける頂点の数を、算術コーダでｌｏｇ_２（ｐ＋１）ビットを使用して符号化することができる。この細分は、空でない各セルが頂点を１つしか含まない十分に小さいものとなり、頂点位置の十分正確な再構築を可能にするまで帰納的に適用される。Ｄｅｖｉｌｌｅｒｓには、このアルゴリズムは非一様分布にとって最も効率的であり、規則的な分布は最悪の場合であることが述べられている。

【0006】

シンボルがアルファベットまたはシンボルセットから選択される一連のシンボルを、エントロピー符号化によって圧縮することができる。エントロピー符号化エンジンは、統計モデル、すなわちシンボルの確率分布に基づいてシンボルのために符号語を割り当てる。一般に、最も頻繁に使用されるシンボルは、より少ないビットでエントロピー符号化され、あまり頻繁に発生しないシンボルは、より多くのビットでエントロピー符号化される。

【0007】

エントロピー符号化は、数十年の間研究されている。基本的に、３つのタイプのエントロピー符号化法、すなわち、ハフマン符号化のような可変長符号化（ＶＬＣ）、算術符号化、およびＬｅｍｐｅｌ−Ｚｉｖ（ＬＺ）圧縮またはＬｅｍｐｅｌ−Ｚｉｖ−Ｗｅｌｃｈ（ＬＺＷ）圧縮のような辞書ベースの圧縮がある。

【0008】

ＶＬＣ符号は、整数のビットを使用し、各シンボルを表す。ハフマン符号化は、最も広く使用されているＶＬＣ法である。ハフマン符号化は、より少ないビットをより確率の高いシンボルに割り当て、一方、より多くのビットをより確率の低いシンボルに割り当てる。ハフマン符号化は、各シンボルの確率が１／２の整数乗であるとき最適である。算術符号化は、整数分の一のビット数を各シンボルに割り振ることができ、その結果、エントロピーにより近づくことができる。ハフマン符号化および算術符号化は、既存の画像（ビデオ）圧縮標準、たとえばＪＰＥＧ、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣで広く使用されている。ＬＺまたはＬＺＷは、繰り返されるデータストリングをテーブルエントリで置換するテーブルベースの圧縮モデルを使用する。大抵のＬＺ法の場合、テーブルは、それより前の入力データから動的に生成される。この辞書ベースのアルゴリズムは、たとえばＧＩＦ、Ｚｉｐ、ＰＮＧ標準で使用されている。

【0009】

空間木ベースの手法を使用し、ウォータータイトな３Ｄモデルのランダムな点位置および頂点位置など幾何学データを圧縮することができる。ウォータータイトな３Ｄモデルは、頂点が均等かつ密に分配されるモデルである。空間木ベースの手法は、八分木またはＫＤ木によって入力空間点を編成する。この木がトラバースされ、木の復元に必要とされる情報が記憶される。

【0010】

最初に、３Ｄモデルのすべての点周りに境界ボックスが構築される。３Ｄ点すべての境界ボックスは、初めに単一のセルとみなされる。空間木を構築するために、空でない各セルが、頂点を１つしか含まず、頂点位置の十分正確な再構築を可能にするのに十分に小さいものとなるまでセルが帰納的に細分される。頂点位置は対応するセルの中心座標から復元することができるので、空間木ベースのアルゴリズムは、単一解像度圧縮アルゴリズムと同じ圧縮率で多重解像度圧縮を達成することができる。

【0011】

図１は、２Ｄの場合におけるＫＤ木符号化の原理を示す。この２Ｄモデルは、親セルと呼ばれる境界ボックス１０によって囲まれる。７つの頂点が親セル内に配置される。ＫＤ木符号化アルゴリズムは、所定の数のビットを使用して頂点の総数を符号化することから開始し、次いでセルを帰納的に細分する。親セルを２つの子セルに細分するたびに、２つの子セルの１つにおける頂点の数を符号化する。慣例により、これは左の子セル（垂直分割後）または上のセル（水平分割後）とすることができる。親セルがｐ個の頂点を含む場合、子セルの１つにおける頂点の数を、算術コーダでｌｏｇ_２（ｐ＋１）ビットを使用して符号化することができる。この細分は、空でない各セルが、頂点を１つしか含まず、頂点位置の十分正確な再構築を可能にするのに十分に小さいものとなるまで帰納的に適用される。繰り返されるインスタンスすべての位置を圧縮するために、すべての位置の境界ボックス１０全体が、初めに親セルとみなされる。図１の例では、頂点の総数（７）が３２ビットを使用して符号化される。次いで、垂直分割が適用され、その結果、左の子セルＶ１および右の子セルＶ２が得られる。次の符号化ステップでは、左の子セルＶ１内の頂点の数、４つが符号化される。符号化に使用されるビットの数は、親セル内の頂点の数によって決定され、この例では、ｌｏｇ_２（７＋１）＝３ビットである。親セル内の頂点の数および左の子セルＶ１内の頂点の数から、右の子セルＶ２内の頂点の数は推論され、したがって符号化される必要がない。

【0012】

次のステップでは、水平分割が適用される。左の子セルＶ１、今や親セルＶ１が、上の子セルＶ１Ｈ１、および下の子セルＶ１Ｈ２に分割される。右の子セルＶ２、今や親セルＶ２は、上の子セルＶ２Ｈ１、および下の子セルＶ２Ｈ２に分割される。符号化は、２つの頂点を有する左上の子セルＶ１Ｈ１で続行する。したがって、次に数２が符号化され、算術コーダにおいてｌｏｇ_２（４＋１）＝２．３ビットが使用される。上述のように、左下の子セルＶ１Ｈ２内の頂点の数は、左のセルＶ１内、および左上の子セルＶ１Ｈ１内の頂点の数から推論することができるので、符号化される必要がない。次いで、同じ手順が右のセルＶ２に適用され、これは、２つのビットを使用してゼロを符号化することになる。図１に示されているように、各頂点が別々のセル内に入るまで、あと２つの分割ステップが必要であり、各頂点がそのセル内で十分に局在化されるまで、さらに多くのステップが必要である。各ステップは、ますます多くの１または０の符号化を必要とする。必要とされる精度に応じて、追加のステップの数は高くなり得る。

【0013】

一方、八分木ベースの手法は、各反復において、空でないセルを８個の子セルに細分する。例示を簡単にするために、四分木を示す２Ｄの例が図２および図３に示されている。トラバースの順序が矢印によって示されている。符号化するためには、現在の親セルが、予め定義された順序でトラバースされる４つの子セルに分割され、子セル当たり単一のビットが、その子セル内に点がある否かを示す。たとえば、図２では、２つの親セル１、２の子セルが、矢印で示されているようにトラバースされ、空でないセルは、灰色に着色されている。第１の親セル１の子セル２１０、２１１、２１２、２１３は、第１のシーケンス「１０１０」によって表される。トラバーサルの第１の子セル２１０および第３の子セル２１２は、空でなく（すなわち、１または複数の点を含む）、それらは「１」によって示される。第２の子セル２１１および第４の子セル２１３は、空であり（すなわち、点を含まない）、それらは「０」によって示される。図３は、異なるトラバーサル、および得られるシーケンスを使用して同じセルを示す。

【0014】

図４は、八分木方式の親セルおよび子セルを示す。八分木方式では、親セルが８個の子セル４０、．．．、４６に分割される（左下のセル４２の背後の１つの隠れた子セルは示されていない）。可能なトラバースの順序は、左から右、上から下、および手前から後ろであり、セル４０−４１−４２−４３−４４−４５−（左下のセル４２の背後の隠れたセル）−４６のトラバースシーケンスになる。それに対応して、八分木の場合には、空でない子セル構成が８ビットの２進数によって示され、空の子セルおよび空でない子セルの２５５の可能な組合せすべてをカバーする。空でない子セルの数を別々に符号化することは必要とされない。表１は、シーケンスの例である。

【0015】

【表1】

【0016】

親セル内の子セルの特定のトラバースの順序は、本実施形態にとってそれほど関連がないことに留意されたい。原理上、任意のトラバースの順序を本実施形態のために使用することができる。以下では、子セル構成を表すために使用されるビットストリングは、シンボルとして示される。表１の例では、各シンボルについて８ビットが使用される。他の実装では、シンボル内のビットの数は様々なものであってよい。たとえば、四分木のための子セル構成を表すために４ビットが使用され、したがって、図２の例におけるシンボルについてのビットの数は４である。

【0017】

図５は、八分木構造の例を示す。各ノードがシンボルに関連付けられ、各レイヤは、木表現のある種の精密さに対応する。最初のセルは、８個のセルに分割される。子セル１、２、５、６、７はより多くの頂点を含み、子セル３、４、８は空であり、レイヤ０での子セル構成を表すために８ビットシンボル１１００１１１０（５１０）になる。空でない各子セルがさらに分割され、対応する子セル構成は、レイヤ１で表される。この細分は、空でない各子セルが頂点を１つしか含まなくなるまで続行することができる。

【0018】

【表2】

【0019】

八分木の横型トラバーサル（ｂｒｅａｄｔｈ−ｆｉｒｓｔ ｔｒａｖｅｒｓａｌ）を使用して、３Ｄメッシュの頂点位置を一連のシンボルに編成することができる。図５における例の場合、シンボルのシーケンスは、１１００１１１０、１１００００００、１００１０１００、００１００１１０、００００１０００、および００００１０００になる。

【0020】

複雑な３Ｄモデルにおける最も頻繁に発生するシンボルの確率分布が、表２に確率の大きなものから示されている。表２からわかるように、２進表現で「１」を１つだけ有するシンボルが、支配的な確率（９３％超）で発生する。幾何学的説明は、いくつかの細分後、頂点がセルを共用することはほとんどないこととすることができる。すなわち、八分木の下部のレイヤは「１」を１つだけ有するシンボルによって占められ、他のシンボルは、上部のレイヤでよりしばしば発生する。

【0021】

本実施形態によれば、２つのシンボル、すなわち、可能なシンボルすべてを含む全シンボルセットＳ０＝｛１，２，３，．．．，２５５｝、および「１」を１つ有するシンボル、すなわち最も頻繁に発生するシンボルだけを含むシンボルセットＳ１＝｛１，２，４，８，１６，３２，６４，１２８｝が定義される。表現を簡単にするために、８ビット２進ストリングが十進数として書かれていることに留意されたい。シンボルは、シンボルセットＳ１に属する場合、Ｓ１シンボルと呼ばれ、そうでない場合は、非Ｓ１シンボルと呼ばれる。

【0022】

八分木の統計的特性から受益するために、「Ａ Ｍｏｄｅｌ−Ａｄａｐｔｉｖｅ Ｅｎｔｒｏｐｙ Ｃｏｄｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｏｃｔｒｅｅ Ｃｏｍｐｒｅｓｓｉｏｎ」という名称のＰＣＴ出願（特許文献１参照）は、八分木によって表されたシーケンスを、Ｓ０またはＳ１で適応的に符号化されるいくつかのサブシーケンスに区分することを提案している。サブシーケンス境界のインデックスが補足情報として符号化される。補足情報のオーバーヘッド（たとえば、各インデックスについて２バイト）のため、連続するＳ１シンボルの概して大きなサブシーケンスがシンボルセットＳ１で符号化される。

【0023】

Ｓ１シンボルと非Ｓ１シンボルが共にシーケンスの一部分内で発生し、Ｓ１シンボルがはるかに高い確率を有するとき、そのような一部分をいくつかのサブシーケンスに分割することは、オーバーヘッドにより効率的でない。一方、そのような一部分をシンボルセットＳ０で符号化することもまた、非Ｓ１シンボルが低い確率で発生するので効率的でない。

【0024】

３Ｄメッシュ符号化では、幾何学データは、通常、空間木分解ベースの手法、たとえばＤｅｖｉｌｌｅｒｓに記載のＫＤ木ベースの手法、または非特許文献３（以下「Ｐｅｎｇ」）および非特許文献４（以下「Ｈｕａｎｇ」）に記載の八分木ベースの手法によって圧縮される。プログレッシブ符号化をサポートする他に、Ｄｅｖｉｌｌｅｒｓ、Ｐｅｎｇ、およびＨｕａｎｇの方法は、かなりの圧縮利得をも達成する。これらのコーダは、所与の３Ｄモデルの最も小さな軸平行境界ボックスを、ＫＤ木または八分木データ構造においてそれぞれ２つまたは８つの子に帰納的に細分する。空でない各セルが、頂点を１つしか含まず、頂点位置の十分正確な再構築を可能にするのに十分に小さいものとなるまでセルが帰納的に細分される。各セル細区画について、各子セルが空であるか否かは、いくつかのシンボルによって示される。本明細書ではトラバースシンボルシーケンスと呼ばれるＫＤ木または八分木を示すシンボルシーケンスが、八分木を横型トラバースし、遭遇したノードの細分を表すシンボルを収集することによって生成される。次いで、エントロピーコーダ−デコーダ（コーデック）を使用し、そのシンボルシーケンスを圧縮する。シンボルシーケンスのエントロピーを低減し、次いで符号化効率を改善するために、ＰｅｎｇおよびＨｕａｎｇは共に、子セルの並べ直しをベースとする、または何らかの隣接者をベースとする予測子を実施する。

【0025】

各セル細区画について、Ｐｅｎｇは、あらゆる可能な組合せの中で、空でない子セルの数Ｔ（１＜＝Ｔ＜＝８）、およびその空でない子セル構成のインデックスを符号化する。空でない子セルを表現する間、幾何学情報が考慮され、圧縮はより良好になるが複雑さがより増大する。

【0026】

特許文献１および特許文献２は、空でない子セルの数Ｔを破棄することを提案している。そのような場合には、空でない子セル構成は、８ビットの２進数によって示され、２５５個の組合せすべてをカバーする。これらの８ビットの２進数は、エントロピー符号化によって圧縮される。

【0027】

特許文献１および特許文献２で提案されている統計ベースの手法は、ランダムに分布する位置符号化において、ＤｅｖｉｌｌｅｒｓおよびＰｅｎｇよりはるかに低い計算複雑さとより良好なロバスト性に通じる。逆の面は、ウォータータイトな３Ｄモデルの頂点圧縮の場合である。その理由は、特許文献１および特許文献２は、ビットの点で著しくコストがかかる幾何形状の冗長性を除去しないことである。

【先行技術文献】

【特許文献】

【0028】

【特許文献1】ＰＣＴ／ＣＮ２０１１／０７７２７９

【特許文献2】ＰＣＴ／ＣＮ２０１１／０７８９３６

【非特許文献】

【0029】

【非特許文献1】Ｄ． Ｓｈｉｋａｒｅ， Ｓ． Ｂｈａｋａｒ ａｎｄ Ｓ． Ｐ． Ｍｕｄｕｒ， “Ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ Ｌａｒｇｅ ３Ｄ Ｅｎｇｉｎｅｅｒｉｎｇ ｍｏｄｅｌｓ Ｕｓｉｎｇ Ａｕｔｏｍａｔｉｃ Ｄｉｓｃｏｖｅｒｙ ｏｆ ｒｅｐｅａｔｉｎｇ ｇｅｏｍｅｔｒｉｃ Ｆｅａｔｕｒｅｓ”， ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｆａｌｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｉｏｎ， Ｍｏｄｅｌｉｎｇ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ （ＶＭＶ２００１）， Ｎｏｖｅｍｂｅｒ ２１ − ２３， ２００１， Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

【非特許文献2】Ｏ． Ｄｅｖｉｌｌｅｒｓ， Ｐ． Ｇａｎｄｏｉｎ， “Ｇｅｏｍｅｔｒｉｃ Ｃｏｍｐｒｅｓｓｉｏｎ ｆｏｒ Ｉｎｔｅｒａｃｔｉｖｅ ｔｒａｎｓｍｉｓｓｉｏｎ”， ｉｎ ＩＥＥＥ Ｖｉｓｕａｌｉｚａｔｉｏｎ， ２０００， ｐｐ． ３１９−３２６

【非特許文献3】Ｊ． Ｌ． Ｐｅｎｇ， Ｃ． Ｃ． Ｊａｙ Ｋｕｏ， “Ｇｅｏｍｅｔｒｙ Ｇｕｉｄｅｄ Ｐｒｏｇｒｅｓｓｉｖｅ Ｌｏｓｓｌｅｓｓ ３Ｄ Ｍｅｓｈ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｃｔｒｅｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ”， ＡＣＭ ＳＩＧＧＲＡＰＨ （ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ ２４ （３））， ｐｐ ６０９−６１６， ２００５

【非特許文献4】Ｙ． Ｈｕａｎｇ， Ｊ． Ｐｅｎｇ， Ｃ． Ｃ． Ｊ． Ｋｕｏ， ａｎｄ Ｍ． Ｇｏｐｉ， “Ａ Ｇｅｎｅｒｉｃ Ｓｃｈｅｍｅ ｆｏｒ Ｐｒｏｇｒｅｓｓｉｖｅ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｃｏｄｉｎｇ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓｌ４， ｐｐ ４４０ −４５３， ２００８

【発明の概要】

【0030】

本発明は、位置符号化のために確率予測を実施する。統計的符号化は、ウォータータイトな３Ｄモデルの頂点位置における冗長性を効果的に除去することができない。本発明は、位置符号化中に幾何形状の特徴を使用する。３Ｄモデルについて八分木を構築するとき、３Ｄモデルのサーフェスの滑らかさに基づいて、空でない子セル構成の確率が特定のセルごとに予測される。エントロピーコーデックが、頻繁に発生するコード値（０１００など）に短い符号語を割り当て、逆も同様である。たとえば、０１００の確率が５０％である場合、短い符号語（約−ｌｏｇ２（０．５）＝１ビット）が割り当てられる。０１１０の確率が１２．５％である場合、長い符号語（約−ｌｏｇ２（０．１２５）＝３ビット）が割り当てられる。したがって、入って来るコード値が高確率のシンボルとして予測される場合、対応する符号語は、通常短いものである。確率が幾何学的相関に基づくので、幾何学的冗長性が実際に除去される。このようにして、空間冗長性を効率的に除去することができ、より高い圧縮を達成することができる。

【0031】

３次元メッシュモデルを位置復号するための方法および装置であって、空でない子セルＣ_ｌ，ｋのシンボル確率を予測するステップであって、Ｃ_ｌ，ｋは、レイヤｌにおけるｋ番目のセルを示し、シンボル確率は、フィッティングされた平面Ｐの精度に基づいて推定される、ステップと、受信された空でない子セルの予測された確率に応答して、空でない子セルを復号するステップと、空でない子セルが２つ以上の頂点を有する場合、空でない子セルを細分するステップと、レイヤｌに未処理の空でない子セルがそれ以上あるかどうか判定するステップと、レイヤｌに未処理の空でない子セルがそれ以上ない場合、空でない子セルの最も下のレイヤに達したかどうか判定するステップと、空でない子セルの最も下のレイヤに達した場合、３次元メッシュモデルを再生するステップとを含む方法および装置について記載されている。

【図面の簡単な説明】

【0032】

本発明は、添付の図面と併せ読めば以下の詳細な説明から最もよく理解される。図面は、以下で簡単に説明される以下の図を含む。

【図1】２次元（２Ｄ）の場合についてＫＤ木ベースの幾何学符号化の絵画図である。

【図2】２Ｄの場合における四分木ベースの幾何学符号化の絵画図である。

【図3】２Ｄの場合における四分木ベースの幾何学符号化の絵画図である。

【図4】セル区分の絵画図である。

【図5】例示的な八分木の絵画図である。

【図6A】例示的な四分木構造に使用されるトラバースの順序の図である。

【図6B】例示的な四分木構造についての２Ｄ空間の階層分割の図である。

【図6C】例示的な四分木構造についての図６Ｂの階層２Ｄ分割から得られる四分木シンボルの図である。

【図7A】接続可能性情報が使用可能な場合の２Ｄ位置予測の一例の図である。

【図7B】接続可能性情報が使用可能でない場合の２Ｄ位置予測の一例の図である。

【図8】本発明の原理による本発明の予測位置符号化方法の例示的な実施形態の流れ図である。

【図8A】図８のステップ８０５の分解図である。

【図9】本発明の原理による本発明の予測位置復号方法の例示的な実施形態の流れ図である。

【図9A】図９のステップ９０５の分解図である。

【図10】本発明の原理による予測位置符号化を含むデバイスの例示的な実施形態のブロック図である。

【図11】本発明の原理による予測位置復号を含むデバイスの例示的な実施形態のブロック図である。

【発明を実施するための形態】

【0033】

例示のために、四分木を構築するプロセスが図６Ａ〜図６Ｃに示されている。図６Ａは、例示的な四分木構造に使用されるトラバースの順序を示す。図６Ｂは、例示的な四分木構造についての２Ｄ空間の階層分割を示す。小さな黒い正方形は、符号化するべき点を示す。図６Ｂの最も左の四分木は、平面を４つの等しいサイズのサブセルに分割する。各サブセルは少なくとも１つの点を含むので、対応する空でない子セル構成は１１１１である。図６Ｂの中央の四分木は、各サブセルを４つのサブセルにさらに分割し、空でない子セル構成を符号化する。たとえば、図６Ｂにおけるサブセル「ＴＬ」の右下の子セルだけが点を含む。したがって、対応する空でない子セル構成は、００１０である。続いて図６Ｂの最も右の四分木に進むと、それらのセルが反復的に細分され、空でない子セル構成が符号化される。図６Ｃは、例示的な四分木構造についての図６Ｂの階層２Ｄ分割から得られる四分木シンボルを示す。四分木は図６Ｃに示されているように構築され、各レイヤは、１回の細分の反復に対応する。

【0034】

本発明は、規則的に分布する頂点の位置を効率的に圧縮する。本発明は、５つの重要な点を有する。すなわち、
１．空でない子セル構成のシンボル確率は、各子セルの中心と、隣接するセルの中心点をフィッティングすることによって得られる平面との間の距離で計算される。
２．空でない子セル構成のシンボル確率は、何らかの子セルの中心点と隣接するセルの中心点によって形成される凸包の表面積の値である距離測度で計算される。
３．セルのために平面をフィッティングするために、接続可能性情報が使用可能である場合、コーデックは、少なくとも１つの頂点が現在のセル内の頂点の１つと接続されるセルの中心点を使用する。
４．セルのために平面をフィッティングするために、接続可能性情報が使用可能でない場合、コーデックは、少なくとも１つの頂点を含む隣接するセルの中心点を使用する。
５．予測された確率は、フィッティング平面の精度に基づいて調整される。たとえば、フィッティング誤差が小さい場合、確率は、ちょうど予測された値として設定される。そうでない場合には、確率は、一様分布により近づけて設定される。フィッティング誤差のための閾値が、構成パラメータとして設定されてもよい。閾値が設定される場合には、その閾値を使用し、フィッティング誤差が大きいか、それとも小さいか、したがってシンボル確率が調整されるかどうか判定する。

【0035】

例示を簡単にするために、本発明の位置予測方法について、２Ｄの例を使用して述べる。平面フィッティングは、２Ｄの場合、線分フィッティングになる。図７Ａおよび図７Ｂは、２Ｄ空間における例示的な頂点分布を示す。図７Ａは、接続可能性情報が使用可能な場合の２Ｄ位置予測の一例を示す。図７Ｂは、接続可能性情報が使用可能でない場合の２Ｄ位置予測の一例を示す。
Ａ：
既知の接続可能性情報があるので、隣接するセルを簡単に得ることができる。子セルがフィッティング平面に近いほど、それが空でない見込みが高くなる。この測度から、１つの観察されることは、子がフィッティング平面に近いほど、現在の子セルの中心点とすべての隣接するセルの中心点によって形成される凸包の表面積が小さくなることである。この凸包は、０（ｎｌｏｇｎ）の複雑さを有する標準的なアルゴリズム（グラハム走査など）によって計算することができる。この凸包が得られた後で、予備的な幾何学方法を用いて、表面積を容易に計算することができる。子セルｐ、ｑ、ｒ、ｓについて、この面積測度は、ｄｉｓｔ_ｋによって示され、ここでｋ＝ｐ、ｑ、ｒ、ｓである。
ｄｉｓｔ_ｋ＝ａｒｅａ（ＣｏｎｖｅｘＨｕｌｌ（ｋ，ＮｅｉｇｈｂｏｒｉｎｇＣｅｌｌｓ）） （１ａ）
Ｂ：
図７Ａでは、接続可能性情報が使用可能である。頂点の接続可能性が与えられると、各レイヤでのサブセルの接続可能性を計算することができる。図７Ａに示されているように、頂点は、セルＣ（ｉ，ｊ）の子セルｑにある。すなわち、四分木シンボルは、図６Ａのトラバースの順序を使用して０１００である。セルＣ（ｉ，ｊ）がセルＣ（ｉ−２，ｊ−１）、Ｃ（ｉ＋２，ｊ）、Ｃ（ｉ＋２，ｊ＋１）と接続されることは既知である。これらのセルを含むセルセットＳ_Ｃが定義される。線分がセルセットＳ_Ｃ内の点に、Ｓ_Ｃ内のセルの中心座標に基づいてフィッティングされ、線分Ｌを得る。この線分を示す関数は、ａｘ＋ｂｙ＋ｃ＝０によって示すことができる。

【0036】

図７Ｂでは、接続可能性情報が使用可能でない。図７Ｂに示されているように、頂点は、セルＣ（ｉ，ｊ）の子セルｑにある。すなわち、四分木シンボルは、図６Ａのトラバースの順序を使用して、やはり０１００である。曲線は、実際のエッジを示す。セルＣ（ｉ−１，ｊ−１）、Ｃ（ｉ，ｊ−１）、Ｃ（ｉ＋１，ｊ）、Ｃ（ｉ＋１，ｊ＋１）およびＣ（ｉ，ｊ）内に頂点が存在することが既知である。これらのセルは、セルセットＳ_Ｃ内に含まれ、セルセットＳ_Ｃ内の点の中心座標に基づいて線分がフィッティングされ、線分Ｌを得る。この線分を示す関数は、ａｘ＋ｂｙ＋ｃ＝０によって示すことができる。

【0037】

以前に提案されている方法は、等確率を空でない子セル構成のシンボルに割り当てた（０００１、００１０、０１００、１０００）。本発明は、フィッティングされた線分と子セルｐ、ｑ、ｒ、ｓの中心点との距離に基づいて適応的に不等確率を割り当てる。子セルの中心点をＣ_ｋ（ｘ_ｋ，ｙ_ｋ）によって、またフィッティングされた線分までのそれらの距離をｄｉｓｔ_ｋ ｋ＝ｐ，ｑ，ｒ，ｓによって示すと、

【0038】

【数1】

【0039】

であり、上式で、ｓｉｚｅは、分割するべきセルの幅である。

【0040】

（１ａ）または（１ｂ）によって得られたｄｉｓｔ_ｋの値に基づいて、確率は、

【0041】

【数2】

【0042】

【数3】

【0043】

として計算され、ｐｒｏｂ_ｋは、頂点が子セルｋにある確率であり、ｕは、下記で論じるパラメータである。

【0044】

図７Ａおよび図７Ｂでわかるように、線分Ｌと子セルｑの中心座標との間の距離は、すべての子セルの中で最小であり、シンボル０１００の確率は、最大の値に設定される。したがって、この細区画のためのシンボル（０１００）のビットコストが低減される。

【0045】

空でない子セル構成のシンボルは、０００１、００１０、０１００、１０００だけでないことに留意されたい。セル構成のシンボル０００１、００１０、０１００、１０００は、空でない子セル内の頂点１つだけを反映する。セルが複数の頂点を含む場合に関する確率は何であろう。シンボル０１１１を例にとれば、これは、それぞれ子セルｑ、ｒ、ｓ内に３つの頂点があることを意味する。そのような場合に関する重みをｗｅｉｇｈｔ_ｑｒｓによって示す。

【0046】

【数4】

【0047】

そのような場合はめったに起こらず、ｗｅｉｇｈｔ_ｑｒｓは依然として大きく、その結果、重みが再スケールされる。コーデックは、単一頂点のシンボル（０００１、００１０、０１００、１０００）および現在のレイヤ内の複数頂点のシンボルの確率を推定する。各シンボルのための重みに、推定された対応する確率が乗じられる。最後に、各シンボルのための確率が、式（２）のように、対応する重みを正規化することによって得られる。

【0048】

フィッティング精度を検査するために、フィッティングされた線分ＬとＳ_Ｃ内のセルの中心点との距離が計算される。Ｓ_Ｃ内のセルがＣ_ｋ（ｘ_ｋ，ｙ_ｋ）であると考えてみる。ｋ＝１〜ｎであり、

【0049】

【数5】

【0050】

【数6】

【0051】

であり、ｕは、フィッティング精度を示す。より大きな値のｕは、より小さなフィッティング誤差を示す。式（３）によって計算される確率は、信頼性がより高い。より小さな値のｕは、より大きなフィッティング誤差を示す。したがって、式（３）によって計算される確率は、信頼性がより低くなる。ｕの値が式（２）に取り入れられたとき、確率関数は、ｕが増大するにつれて一様分布に近づく。フィッティング誤差のための閾値が、構成パラメータとして設定されてもよい。閾値が設定される場合には、その閾値を使用し、フィッティング誤差が大きいか、それとも小さいか、したがってシンボル確率が調整されるかどうか判定する。

【0052】

３Ｄ平面では、上記の線分フィッティングではなく本発明の予測位置符号化にフィッティングが使用される。頂点の３Ｄ位置を表すために、コーデックは八分木を構築し、サブセルの占有を示す。各細区画について、平面が、注目の頂点を有する子セルの、隣接する頂点とフィッティングされる。３Ｄの場合には、点位置（注目の頂点）はｃ（ｉ，ｊ，ｋ）の形態で示され、フィッティングされた平面のための関数は、ａｘ＋ｂｙ＋ｃｚ＋ｗ＝０の形態にある。次に、フィッティングされた平面の精度が検査され、パラメータｕを得る。式（５）が

【0053】

【数7】

【0054】

に拡張される。最後に、空でない子セル構成についての異なるシンボルの確率が設定される。得られた確率モデルが、実際の空でない子セル構成のエントロピー符号化に適用される。

【0055】

図８は、本発明の原理による本発明の予測位置符号化方法の例示的な実施形態の流れ図である。セルカウンタを初期化する。８０５では、Ｃ_ｌ，ｋの空でない子セル構成の予測が計算され、ここでＣ_ｌ，ｋは、レイヤｌにおけるｋ番目のセルを示す。８１０では、セルＣ_ｌ，ｋが再び細分される。８１５では、セルカウンタ（ｋ）が増分される。８２０では、テストを実施し、現在のレイヤに未処理のセルがそれ以上あるかどうか判定する。未処理のセルがそれ以上ある場合には、処理は８０５に進む。未処理のセルがそれ以上ない場合には、８２５で、エントロピー符号化によってテストを実施し、最も深いレイヤにおける空でない子セルすべてが１つ以下の点（頂点）を含むかどうか、またサブセルの中心とサブセルｖ_ｌ，ｋ内の点との距離が、許容される最大誤差以下であることを判定し、ここで、許容される最大誤差はｔｈであり、Ｃ_ｌ，ｋは、Ｃ_ｌ，ｋの中心点である。最も深いレイヤにおけるセルすべてが１つ以下の点（頂点）を含み、またサブセルの中心とサブセルｖ_ｌ，ｋ内の点との距離が、許容される最大誤差以下である場合には、８３０で、空でない子セルのシンボルが符号化される。最も深いレイヤにおけるセルすべてが１つ以下の点（頂点）を含まないか、またはサブセルの中心とサブセルｖ_ｌ，ｋ内の点との距離が、許容される最大誤差より大きい場合には、８３５で、セルカウンタ（ｋ）が再初期化され、レイヤカウンタ（ｌ）が増分される。次いで、処理は８０５に進む。ステップ８０５、８１０、８１５、８２０、８３５は、本質的に上述の平面フィッティングであり、ステップ８２５は、上述の平面フィッティング精度であり、ステップ８３０は、確率を設定し、得られた確率にエントロピー符号化を適用するステップを含む。

【0056】

図８Ａは、図８のステップ８０５の分解図である。８４０では、レイヤｌにおいて「１」を１つだけ有する空でない子セルの確率は、確率をｐｒｏｂ１として示す。８４５では、テストを実施し、接続可能性情報が使用可能であるかどうか判定する。接続可能性が使用可能である場合には、８５０で、現在のセルに接続されるセルの中心座標を使用し、平面Ｐをフィッティングする。８５５では、空でない子セルＣ_ｌ，ｋのシンボル確率が、サブセルの中心座標とフィッティングされた平面との間の距離に基づいて予測される。「１」を１つだけ有する空でない子セルの確率（たとえば、１０００００００、０１００００００．．．）にｐｒｏｂ１が乗じられる。複数の「１」を有する空でない子セルの確率（たとえば、１１００００００、０１０００１００．．．）には（１−ｐｒｏｂ１）が乗じられる。８６０では、フィッティング精度が検査され、それに応じて推定された確率が調整される。フィッティング誤差が小さい（精度が高い）場合、予測されたシンボル確率は調整されない。フィッティング誤差が大きい（精度が低い）場合、予測されたシンボル確率は、一様分布に近くなるように設定される。接続可能性情報が使用可能でない場合には、８６５で、隣接する空でないセルの中心座標を使用し、平面Ｐをフィッティングする。

【0057】

復号プロセスは、本質的に符号化プロセスの逆である。符号化されたシンボルは、劇場または消費者デバイスで受信され、すべてのシンボルが復号されるまで予測された確率に基づいてレイヤごとに一度に復号される。符号化されたシンボルは、処理前または処理後、記憶手段に記憶されてもよい。シンボルが復号された後で、消費者デバイスまたは劇場でレンダリングするために、３Ｄメッシュモデルが再生される。再生される３Ｄメッシュモデルは、レンダリング前に記憶手段に記憶されてもよい。

【0058】

図９は、本発明の原理による本発明の予測位置復号方法の例示的な実施形態の流れ図である。セルカウンタを初期化する。９０５では、符号化されたシンボルが受信デバイスで予測される。符号化されたシンボルは、処理前または処理後、記憶手段に記憶されてもよい。空でない子セル構成Ｃ_ｌ，ｋの受信された（符号化された）シンボルは、９１０で予測された確率に基づいて復号される。セルＣ_ｌ，ｋは、９１５で復号された構成に従って細分される。９２０では、セルカウンタ（ｋ）が増分される。９２５では、テストを実施し、このレイヤに未処理のセルがそれ以上あるかどうか判定する。このレイヤに未処理のセルがそれ以上ある場合には、処理は９０５に進む。このレイヤに未処理のセルがそれ以上ない場合には、９３０でテストを実施し、八分木の最下部が受信されたかどうか判定する。八分木の最下部が受信された場合には、９３５で、レンダリングするために、３Ｄメッシュモデルが再生される。再生される３Ｄメッシュモデルは、レンダリング前に記憶手段に記憶されてもよい。八分木の最下部が受信されていない場合には、９４０で、レイヤカウンタ（ｌ）が増分され、セルカウンタ（ｋ）が再初期化される。処理は９０５に進む。

【0059】

図９Ａは、図９のステップ９０５の分解図である。９４０では、レイヤｌにおいて「１」を１つだけ有する空でない子セルの確率は、確率をｐｒｏｂ１として示す。９４５では、テストを実施し、接続可能性情報が使用可能であるかどうか判定する。接続可能性が使用可能である場合には、９５０で、現在のセルに接続されるセルの中心座標が平面Ｐをフィッティングするために使用される。９５５では、空でない子セルＣ_ｌ，ｋのシンボル確率が、サブセルの中心座標とフィッティングされた平面との間の距離に基づいて予測される。「１」を１つだけ有する空でない子セルの確率（たとえば、１０００００００、０１００００００．．．）にｐｒｏｂ１が乗じられる。複数の「１」を有する空でない子セルの確率（たとえば、１１００００００、０１０００１００．．．）には（１−ｐｒｏｂ１）が乗じられる。９６０では、フィッティング精度が検査され、それに応じて推定された確率が調整される。フィッティング誤差が小さい（精度が高い）場合、予測されたシンボル確率は調整されない。フィッティング誤差が大きい（精度が低い）場合、予測されたシンボル確率は、一様分布に近くなるように設定される。接続可能性情報が使用可能でない場合には、９６５で、隣接する空でないセルの中心座標を使用し、平面Ｐをフィッティングする。

【0060】

図１０は、本発明の原理による予測位置符号化を含むデバイスの例示的な実施形態のブロック図である。次に図１０を参照すると、上述の特徴および原理を適用することができるデータ送信システムまたは装置１０００が示されている。データ送信システムまたは装置１０００は、たとえば衛星、ケーブル、電話回線、または地上放送など様々な媒体のいずれかを使用して信号を送信するための、たとえばヘッドエンドまたは送信システムとすることができる。また、あるいは代替として、データ送信システムまたは装置１０００を使用し、たとえば記憶するために信号を提供してもよい。送信は、インターネット、または何らかの他のネットワークを介してもよい。データ送信システムまたは装置１０００は、たとえば３Ｄメッシュモデルなど、たとえばビデオコンテンツおよび他のコンテンツを生成および送達することが可能である。

【0061】

データ送信システムまたは装置１０００は、処理されたデータおよび他の情報をプロセッサ１００５から受信する。一実装では、プロセッサ１００５は、３Ｄメッシュモデルの幾何学データを処理し、シンボルのシーケンスを生成する。また、プロセッサ１００５は、メタデータを１０００に提供し、たとえば八分木の木データ構造が各部にどのように分割されるか、および他の情報を示すことができる。

【0062】

データ送信システムまたは装置１０００は、符号化器１０１０と、符号化された信号を送信することが可能な送信機１０１５とを含む。符号化器１０１０は、データ情報をプロセッサ１００５から受信する。符号化器１０１０は、符号化された信号を生成する。符号化器１０１０のエントロピー符号化エンジンは、たとえば算術コーダまたはハフマンコーダとすることができる。

【0063】

符号化器１０１０は、たとえば様々な情報を受信し、記憶または送信するために構造化されたフォーマットに組み立てるための組立ユニットを含めて、サブモジュールを含むことができる。様々な情報は、たとえば符号化された、または符号化されていないビデオ、ならびに、たとえばサブストリーム長さインジケータおよび構文要素など符号化された、または符号化されていない要素を含むことができる。実装によっては、符号化器１０１０はプロセッサ１００５を含み、したがってプロセッサ１００５の演算を実施する。符号化器１０１０は、図８および図８Ａに関連して上述した原理に従って動作する。

【0064】

送信機１０１５は、符号化された信号を符号化器１０１０から受信し、符号化された信号を１または複数の出力信号で送信する。送信機１０１５は、たとえば、符号化されたピクチャおよび／またはそれに関連する情報を表す１または複数のビットストリームを有するプログラム信号を送信するように適合されてもよい。典型的な送信機は、たとえば、誤り訂正符号化を提供すること、データを信号内にインターリーブすること、エネルギーを信号内でランダム化すること、変調器１０２０を使用して信号を１または複数の搬送波上に変調することのうちの１または複数の、機能を実施する。送信機１０１５は、アンテナ（図示せず）を含み、またはアンテナとインターフェースすることができる。さらに、送信機１０１５の実装は、変調器１０２０に制限されてもよい。

【0065】

また、データ送信システムまたは装置１０００は、記憶ユニット１０２５に通信可能に結合される。一実装では、記憶ユニット１０２５は、符号化器１０１０に結合され、符号化器１０１０からの符号化されたビットストリームを記憶する。他の実装では、記憶ユニット１０２５は、送信機１０１５に結合され、送信機１０１５からのビットストリームを記憶する。送信機１０１５からのビットストリームは、たとえば、送信機１０１５によってさらに処理された１または複数の符号化されたビットストリームを含むことができる。記憶ユニット１０２５は、異なる実装では、標準的なＤＶＤ、ブルーレイディスク、ハードドライブ、または何らかの他の等価な記憶デバイスのうちの１または複数である。

【0066】

図１１は、本発明の原理による予測位置復号を含むデバイスの例示的な実施形態のブロック図である。次に図１１を参照すると、上述の特徴および原理を適用することができるデータ受信システムまたは装置１１００が示されている。データ受信システムまたは装置１１００は、たとえば記憶デバイス、衛星、ケーブル、電話回線、または地上放送など様々な媒体を介して信号を受信するように構成されてもよい。信号は、インターネット、または何らかの他のネットワークを介して受信されてもよい。

【0067】

データ受信システムまたは装置１１００は、たとえば、携帯電話、コンピュータ、セットトップボックス、テレビ、または符号化されたビデオを受信し、たとえば復号されたビデオ信号を、表示するため（たとえば、ユーザに対する表示）、処理するため、もしくは記憶するために提供する他のデバイスとすることができる。また、データ受信装置１１００は、劇場の観客向けにレンダリングするために信号を受信している劇場内の機器であってもよい。したがって、データ受信システムまたは装置１１００は、その出力を、たとえばテレビの画面、コンピュータモニタ、（記憶、処理、もしくは表示するために）コンピュータ、または何らかの他の等価な記憶、処理、もしくは表示デバイスに提供することができる。

【0068】

データ受信システムまたは装置１１００は、データ情報を受信および処理することが可能であり、ここでデータ情報は、たとえば３Ｄメッシュモデルを含むことができる。データ受信システムまたは装置１１００は、たとえば本願の実装に記載の信号など、符号化された信号を受信するための受信機１１０５を含む。受信機１１０５は、たとえば、３Ｄメッシュモデルおよび／もしくはテクスチャ画像のうちの１または複数を提供する信号、または図１０のデータ送信システム１０００から出力された信号を受信することができる。

【0069】

受信機１１０５は、たとえば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信するように適合されてもよい。典型的な受信機は、たとえば、変調および符号化されたデータ信号を受信すること、復調器１１１０を使用して１または複数の搬送波からのデータ信号を復調すること、信号内のエネルギーをランダム化解除すること、信号内のデータをデインターリーブすること、信号を誤り訂正復号することのうちの１または複数の、機能を実施する。受信機１１０５は、アンテナ（図示せず）を含み、またはアンテナとインターフェースすることができる。受信機１１０５の実装は、復調器１１１０に制限されてもよい。

【0070】

データ受信システムまたは装置１１００は、復号器１１１５を含む。受信機１１０５は、受信された信号を復号器１１１５に提供する。受信機１１０５によって復号器１１１５に提供された信号は、１または複数の符号化されたビットストリームを含むことができる。復号器１１１５は、たとえばビデオ情報を含めて復号されたビデオ信号など、復号された信号を出力する。復号器１１１５は、図９および図９Ａに関連して上述した原理に従って動作する。

【0071】

また、データ受信システムまたは装置１１００は、記憶ユニット１１２０に通信可能に結合される。一実装では、記憶ユニット１１２０は受信機１１０５に結合され、受信機１１０５は、記憶ユニット１１２０からのビットストリームにアクセスする。他の実装では、記憶ユニット１１２０は復号器１１１５に結合され、復号器１１１５は、記憶ユニット１１２０からのビットストリームにアクセスする。記憶ユニット１１２０からアクセスされるビットストリームは、異なる実装では、１または複数の符号化されたビットストリームを含む。記憶ユニット１１２０は、異なる実装では、標準的なＤＶＤ、ブルーレイディスク、ハードドライブ、または何らかの他の等価な記憶デバイスのうちの１または複数である。

【0072】

復号器１１１５からの出力データは、一実装では、プロセッサ１１２５に提供される。プロセッサ１１２５は、一実装では、３Ｄメッシュモデルの再構築を実施するように構成されたプロセッサである。実装によっては、復号器１１１５はプロセッサ１１２５を含み、したがってプロセッサ１１２５の演算を実施する。他の実装では、プロセッサ１１２５は、たとえばセットトップボックスもしくはテレビ、または映画館における他の機器（デバイス、装置）など下流デバイスの一部である。

【0073】

特定の機能および態様を有する１または複数の実装が提供される。具体的には、エントロピー符号化および復号に関連するいくつかの実装が提供される。予測位置エントロピー符号化および復号は、たとえば３Ｄメッシュの幾何学データ、ランダム２Ｄ座標、および様々な統計を有する任意のデータソースの圧縮など、様々な応用例を可能にすることができる。しかし、これらの実装の変形形態および追加の応用例が企図されており、また本願内にあり、記載の実装の特徴および態様は、他の実装に適合されてもよい。

【0074】

本願に記載の実装および特徴のいくつかは、ＭＰＥＧ ３ＤＧＣ標準およびその拡張の状況で使用することができる。さらに、これらの実装および特徴は、別の（既存もしくは将来の）標準の状況、または標準を含まない状況で使用することができる。

【0075】

さらに、本願またはその特許請求の範囲は、様々な情報を「ｄｅｔｅｒｍｉｎｉｎｇ（決定すること、判定すること）」に言及することがある。情報を決定（判定）することは、たとえば、情報を推定すること、情報を計算すること、情報を予測すること、情報をメモリから取り出すことのうちの１または複数を含むことができる。

【0076】

さらに、多数の実装は、符号化器（たとえば、符号化器１０１０）、復号器（たとえば、復号器１１１５）、復号器からの出力を処理するポストプロセッサ（たとえば、プロセッサ１１２５）、または符号化器に入力を提供するプリプロセッサ（たとえば、プロセッサ１００５）のうちの１または複数で実現することができる。さらに、他の実装が本開示によって企図されている。

【0077】

本発明は、様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組合せで実現することができることを理解されたい。本発明は、ハードウェアとソフトウェアの組合せとして実現されることが好ましい。さらに、ソフトウェアは、プログラム記憶デバイス上に有形に含まれるアプリケーションプログラムとして実現されることが好ましい。アプリケーションプログラムは、任意の好適なアーキテクチャを備える機械にアップロードされ、それによって実行されてもよい。機械は、１または複数の中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、および（１または複数の）入力／出力（Ｉ／Ｏ）インターフェースなどハードウェアを有するコンピュータプラットフォーム上で実現される。また、コンピュータプラットフォームは、オペレーティングシステム、およびマイクロ命令コードを含む。本明細書に記載の様々な処理および機能は、オペレーティングシステムを介して実行される、マイクロ命令コードの一部でもアプリケーションプログラムの一部でも（またはそれらの組合せでも）よい。さらに、様々な他の周辺デバイスを、追加のデータ記憶デバイスおよび印刷デバイスなど、コンピュータプラットフォームに接続することができる。

【0078】

さらに、添付の図に示されている構成体のシステム構成要素および方法ステップの一部がソフトウェアで実現されることが好ましいので、システム構成要素（またはプロセスステップ）間の実際の接続は、本発明がプログラムされる方法に応じて様々なものになり得ることを理解されたい。本明細書における教示を考えると、当業者なら、本発明のこれらの、また同様の実装または構成を企図することが可能である。
（付記１）
３次元メッシュモデルを位置復号するための方法であって、
空でない子セルＣ_l,kのシンボル確率を予測するステップであって、Ｃ_l,kは、レイヤｌにおけるｋ番目のセルを示し、前記シンボル確率は、フィッティングされた平面Ｐの精度に基づいて推定される、ステップと、
前記受信された前記空でない子セルの予測された確率に応答して、前記空でない子セルを復号するステップと、
前記空でない子セルが２つ以上の頂点を有する場合、前記空でない子セルを細分するステップと、
レイヤｌに未処理の空でない子セルがそれ以上あるかどうか判定するステップと、
レイヤｌに未処理の空でない子セルがそれ以上ない場合、空でない子セルの最も下のレイヤに達したかどうか判定するステップと、
空でない子セルの前記最も下のレイヤに達した場合、前記３次元メッシュモデルを再生するステップと、
を含む、前記方法。
（付記２）
前記シンボル確率は、レイヤｌにおいて「１」を１つ有する前記空でない子セルについて推定される、付記１に記載の方法。
（付記３）
接続可能性情報が使用可能な場合、前記フィッティングされた平面Ｐに対して、現在の空でない子セルに接続されたセルの中心座標が使用される、付記２に記載の方法。
（付記４）
現在の空でない子セルの中心座標および現在の空でない子セルに接続されたセルの中心座標によって形成される凸包の表面積に応答して、前記空でない子セルＣ_l,kのシンボル確率を予測するステップをさらに含む、付記３に記載の方法。
（付記５）
サブセルの中心座標と前記フィッティングされた平面Ｐとの距離に応答して前記空でない子セルＣ_l,kのシンボル確率を予測するステップと、
前記フィッティングされた平面Ｐのフィッティング誤差を検査するステップと、
前記推定されたシンボル確率を調整するステップと、
をさらに含む、付記３に記載の方法。
（付記６）
前記フィッティング誤差が閾値より小さい場合、前記予測されたシンボル確率は調整されない、付記５に記載の方法。
（付記７）
前記フィッティング誤差が閾値より大きい場合、前記予測されたシンボル確率は一様分布に近くなるように設定される、付記５に記載の方法。
（付記８）
前記フィッティング誤差は、関数用のパラメータとして空でない子セル構成のシンボル確率を計算し、前記パラメータが増大するにつれて、空でない子セルの前記推定されたシンボル確率が一様分布に近づくようにするために使用される、付記５に記載の方法。
（付記９）
接続可能性情報が使用可能でない場合、前記フィッティングされた平面Ｐに対して、隣接する空でないセルの中心座標が使用される、付記２に記載の方法。
（付記１０）
サブセルの中心座標と前記フィッティングされた平面Ｐとの距離に応答して前記空でない子セルＣ_l,kのシンボル確率を予測するステップと、
前記フィッティングされた平面Ｐのフィッティング誤差を検査するステップと、
前記推定されたシンボル確率を調整するステップと、
をさらに含む、付記９に記載の方法。
（付記１１）
前記フィッティング誤差が閾値より小さい場合、前記予測されたシンボル確率は調整されない、付記１０に記載の方法。
（付記１２）
前記フィッティング誤差が閾値より大きい場合、前記予測されたシンボル確率は一様分布に近くなるように設定される、付記１０に記載の方法。
（付記１３）
前記フィッティング誤差は、関数用のパラメータとして空でない子セル構成のシンボル確率を計算し、前記パラメータが増大するにつれて、空でない子セルの前記推定されたシンボル確率が一様分布に近づくようにするために使用される、付記１０に記載の方法。
（付記１４）
前記シンボル確率は、レイヤｌにおいて複数の「１」を有する前記空でない子セルについて推定される、付記１に記載の方法。
（付記１５）
重みが各頂点に割り当てられ、前記重みは、前記重みが大きすぎる場合再スケールされ、前記推定された確率は、対応する重みによって正規化される、付記１４に記載の方法。
（付記１６）
３次元メッシュモデルを位置復号するための復号器であって、
符号化された信号を受信し、３次元メッシュモデルを生成する復号器を備え、前記復号器は、
空でない子セルＣ_l,kのシンボル確率を予測する動作であって、Ｃ_l,kは、レイヤｌにおけるｋ番目のセルを示し、前記シンボル確率は、フィッティングされた平面Ｐの精度に基づいて推定される、動作と、
前記受信された前記空でない子セルの予測された確率に応答して、前記空でない子セルを復号する動作と、
前記空でない子セルが２つ以上の頂点を有する場合、前記空でない子セルを細分する動作と、
レイヤｌに未処理の空でない子セルがそれ以上あるかどうか判定する動作と、
レイヤｌに未処理の空でない子セルがそれ以上ない場合、空でない子セルの最も下のレイヤに達したかどうか判定する動作と、
空でない子セルの前記最も下のレイヤに達した場合、前記３次元メッシュモデルを再生する動作と、
を実施するように適合される、前記復号器。
（付記１７）
前記シンボル確率は、レイヤｌにおいて「１」を１つ有する前記空でない子セルについて推定され、接続可能性情報が使用可能な場合、前記フィッティングされた平面Ｐに対して、現在の空でない子セルに接続されたセルの中心座標が使用され、さらに前記復号器は、
サブセルの中心座標と前記フィッティングされた平面Ｐとの距離に応答して前記空でない子セルＣ_l,kのシンボル確率を予測する動作と、
前記フィッティングされた平面Ｐのフィッティング誤差を検査する動作と、
前記推定されたシンボル確率を調整する動作と、
を実施する、付記１６に記載の復号器。
（付記１８）
前記シンボル確率は、レイヤｌにおいて「１」を１つ有する前記空でない子セルについて推定され、接続可能性情報が使用可能でない場合、前記フィッティングされた平面Ｐに対して、隣接する空でないセルの中心座標が使用され、前記復号器は、
サブセルの中心座標と前記フィッティングされた平面Ｐとの距離に応答して前記空でない子セルＣ_l,kのシンボル確率を予測する動作と、
前記フィッティングされた平面Ｐのフィッティング誤差を検査する動作と、
前記推定されたシンボル確率を調整する動作と、
を実施する、付記１６に記載の復号器。
（付記１９）
前記シンボル確率は、レイヤｌにおいて複数の「１」を有する前記空でない子セルについて推定され、重みが各頂点に割り当てられ、前記重みは、前記重みが大きすぎる場合再スケールされ、前記推定された確率は、対応する重みによって正規化される、付記１６に記載の復号器。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図8】

【図8A】

【図9】

【図9A】

【図10】

【図11】