特許 5662429 １以上のコンポーネントから構成される３Ｄメッシュモデルを符号化／復号化する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5662429

(24)【登録日】2014年12月12日

(45)【発行日】2015年1月28日

(54)【発明の名称】１以上のコンポーネントから構成される３Ｄメッシュモデルを符号化／復号化する方法

(51)【国際特許分類】

   G06T 17/20 20060101AFI20150108BHJP

   H04N 13/00 20060101ALI20150108BHJP

【ＦＩ】

   G06T17/20

   H04N13/00

【請求項の数】15

【全頁数】14

(21)【出願番号】特願2012-514469(P2012-514469)

(86)(22)【出願日】2010年6月9日

(65)【公表番号】特表2012-529825(P2012-529825A)

(43)【公表日】2012年11月22日

(86)【国際出願番号】EP2010058111

(87)【国際公開番号】WO2010142743

(87)【国際公開日】20101216

【審査請求日】2013年6月7日

(31)【優先権主張番号】09305527.5

(32)【優先日】2009年6月10日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(72)【発明者】

【氏名】カイ，カンイン

(72)【発明者】

【氏名】チェン，クチン

(72)【発明者】

【氏名】テン，ジュン

【審査官】 伊知地 和之

(56)【参考文献】

【文献】 Dinesh Shikhare，外２名，"Compression of Large 3D Engineering Models using Automatic Discovery of Repeating Geometric Features"，VMV 2001，IOS Press，２００１年１１月２１日，p.233-240

【文献】 Rachida Amjoun，外２名，"Compression of Complex Animated Meshes"，Advances in Computer Graphics Lecture Notes in Computer Science，ドイツ，Springer，２００６年 １月 １日，Vol.4035，p.606-613

【文献】 Dejan V Vranic，外１名，"3D Model Retrieval" [online]，Proceedings of the Spring Conference on Computer Graphics and its Applications (SCCG2000)，２００９年 ５月 ３日，p.89-93，[2009年12月22日検索]，インターネット，ＵＲＬ，http://www.informatik.uni-leipzig.de/~vranic/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００ − １９／２０

Ｈ０４Ｎ １３／００

(57)【特許請求の範囲】

【請求項1】

１以上のコンポーネントを有する３Ｄメッシュモデルを符号化する方法であって、
前記１以上のコンポーネントの各コンポーネントについて３Ｄスペースにおける正規直交基底を決定するステップであって、コンポーネントの頂点に基づく主成分解析が利用され、各頂点は１以上のトライアングルに属し、前記主成分解析について、前記コンポーネントの各頂点には前記頂点が属するトライアングルの面積から決定されるウェイトが割り当てられ、前記１以上のコンポーネントの各コンポーネントについて、コンポーネント平均が計算される、前記決定するステップと、
前記１以上のコンポーネントの各コンポーネントの向きをグローバル座標系に対して正規化するステップであって、前記１以上のコンポーネントの各コンポーネントは、そのコンポーネント平均が元の位置から前記グローバル座標系の中心に動かされるように平行移動され、平行移動されたコンポーネントは、各コンポーネントの決定された正規直交基底による回転だけ回転され、前記平行移動され回転されたコンポーネントは、平行移動されて元の位置に戻される、前記正規化するステップと、
前記正規化された頂点位置を量子化するステップと、
ローカル座標系が利用されるスパニングトライアングルに基づき、前記量子化された頂点位置を差動符号化するステップと、
前記１以上のコンポーネントの各コンポーネントのオブジェクト座標系を符号化するステップであって、前記オブジェクト座標系情報は各コンポーネントの前記直交規定から求められる、前記符号化するステップと
を有する方法。

【請求項2】

前記オブジェクト座標系情報は、前記コンポーネントの共分散マトリックスの２つの固有ベクトルを有するが、第３固有ベクトルを有しない、請求項１記載の方法。

【請求項3】

前記３Ｄメッシュモデルは少なくとも２コンポーネントを有する、請求項１または２記載の方法。

【請求項4】

１以上のコンポーネントを有する３Ｄメッシュモデルを復号する方法であって、
前記１以上のコンポーネントの各コンポーネントに対して、前記１以上のコンポーネントの各コンポーネントのコンポーネント座標系とグローバル座標系との間の変換を規定する、３Ｄスペースの正規直交基底を有する、オブジェクト座標系情報を受け取るステップと、
ローカル座標系が利用されるスパニングトライアングルに基づき、量子化された頂点位置を差動復号するステップと、
前記復号された頂点位置を逆量子化するステップと、
前記１以上のコンポーネントのコンポーネントに属する逆量子化された頂点を決定するステップと、
前記受信したオブジェクト座標系情報に基づき、前記グローバル座標系に対して、前記決定した頂点が属する前記コンポーネントの向きを復元するステップと、
少なくとも前記１以上のコンポーネントから前記３Ｄモデルを組み立てるステップとを有し、
前記コンポーネントの向きを復元するステップは、
前記コンポーネントの各頂点の逆量子化された位置により前記コンポーネントの平均ポイントを計算するステップと、
前記平均ポイントが前記グローバル座標系の中心に平行移動される、前記コンポーネントを平行移動するステップと、
前記コンポーネントに対して規定された変換により、前記平行移動されたコンポーネントを変換し、前記変換は回転を含む、変換するステップと、
前記平均ポイントが平行移動され前の位置に戻される、前記変換されたコンポーネントを平行移動するステップと、
を有する方法。

【請求項5】

前記３Ｄメッシュモデルは少なくとも２コンポーネントから組み立てられ、
各コンポーネントについて、個別のオブジェクト座標系情報が受信され、
各コンポーネントについて、前記向きが個別に復元される、請求項４記載の方法。

【請求項6】

前記オブジェクト座標系情報は、平行移動情報を有さない、請求項４または５記載の方法。

【請求項7】

前記コンポーネントに関するオブジェクト座標系情報を受信するステップは、前記コンポーネントについて３Ｄスペースにおける正規直交基底を決定するため、共分散マトリックスの２つの固有ベクトルを抽出し、第３固有ベクトルを計算し、オブジェクト座標系情報として前記固有ベクトルを利用するステップを有する、請求項４ないし６何れか一項記載の方法。

【請求項8】

１以上のコンポーネントを有する３Ｄメッシュモデルを符号化するジオメトリエンコーダであって、
前記１以上のコンポーネントの各コンポーネントについて３Ｄスペースにおける正規直交基底を決定する決定手段であって、コンポーネントの頂点に基づく主成分解析が利用され、各頂点は１以上のトライアングルに属し、前記主成分解析について、前記コンポーネントの各頂点には前記頂点が属するトライアングルの面積から決定されるウェイトが割り当てられ、前記１以上のコンポーネントの各コンポーネントについて、コンポーネント平均が計算される、前記決定手段と、
前記１以上のコンポーネントの各コンポーネントの向きをグローバル座標系に対して正規化する正規化手段であって、前記１以上のコンポーネントの各コンポーネントに対して、そのコンポーネント平均が元の位置から前記グローバル座標系の中心に動かされるように平行移動し、平行移動されたコンポーネントを各コンポーネントの決定された正規直交基底による回転だけ回転し、平行移動され回転されたコンポーネントを平行移動してその元の位置に戻すことを含む変換を実行する変換手段を有する、前記正規化手段と、
前記正規化された頂点位置を量子化する量子化手段と、
ローカル座標系が利用されるスパニングトライアングルに基づき、前記量子化された頂点位置を差動符号化するエンコーダと、
前記１以上のコンポーネントの各コンポーネントのオブジェクト座標系を符号化し、前記オブジェクト座標系情報は各コンポーネントの前記直交規定から求められる、エンコーダと
を有するジオメトリエンコーダ。

【請求項9】

前記オブジェクト座標系情報は、前記コンポーネントの共分散マトリックスの２つの固有ベクトルを有するが、第３固有ベクトルを有しない、請求項８記載のジオメトリエンコーダ。

【請求項10】

１以上のコンポーネントを有する３Ｄメッシュモデルを復号するジオメトリデコーダであって、
ローカル座標系が利用されるスパニングトライアングルに基づき、量子化された頂点位置を差動復号する復号手段と、
前記復号された頂点位置を逆量子化する逆量子化手段と、
前記１以上のコンポーネントのコンポーネントに属する逆量子化された頂点を決定する決定手段と、
前記１以上のコンポーネントの各コンポーネントについて、前記１以上のコンポーネントの各コンポーネントのコンポーネント座標系とグローバル座標系との間の変換を規定する、３Ｄスペースの正規直交基底を含むオブジェクト座標系情報を受信する受信手段と、
前記受信したオブジェクト座標系情報に基づき、前記グローバル座標系に対して、前記決定された頂点が属する前記コンポーネントの向きを復元する復元手段と、
少なくとも前記１以上のコンポーネントから前記３Ｄモデルを組み立てる組み立てブロックとを有し、
前記コンポーネントの向きを復元する復元手段は、
前記コンポーネントの各頂点の逆量子化された位置により前記コンポーネントの平均ポイントを計算するステップと、
前記平均ポイントが前記グローバル座標系の中心に平行移動される、前記コンポーネントを平行移動するステップと、
前記コンポーネントに対して規定された変換により、前記平行移動されたコンポーネントを変換し、前記変換は回転を含む、前記変換するステップと、
前記平均ポイントがその前の位置に平行移動されて戻される、前記変換されたコンポーネントを平行移動するステップと、
を実行するように構成されている、
ジオメトリデコーダ。

【請求項11】

前記オブジェクト座標系情報は、前記コンポーネントの共分散マトリックスの２つの固有ベクトルを有するが、第３固有ベクトルを有しない、請求項１０記載のジオメトリデコーダ。

【請求項12】

前記３Ｄメッシュモデルは少なくとも２コンポーネントを有する、請求項１０または１１記載のジオメトリデコーダ。

【請求項13】

少なくとも１つのコンポーネントから構成される符号化された３Ｄメッシュモデルであって、
符号化された頂点データの少なくとも１つのグループであって、前記グループの頂点データは前記コンポーネントに属し、少なくとも１つの符号化された頂点のデータはローカル座標系が利用されるスパニングトライアングルに基づき差動符号化される、前記符号化された頂点データの少なくとも１つのグループと、
コンポーネント座標系とグローバル座標系との間の変換を規定する前記コンポーネントに関するオブジェクト座標系情報と、
を有する符号化された３Ｄメッシュモデル。

【請求項14】

前記オブジェクト座標系情報は、前記コンポーネントの頂点データの共分散マトリックスの２つの固有ベクトルを有する、請求項１３記載の符号化された３Ｄメッシュモデル。

【請求項15】

前記符号化された頂点データのグループは、ヘッダを有し、
前記オブジェクト座標系情報は、前記ヘッダに格納される、請求項１３または１４記載の符号化された３Ｄメッシュモデル。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、１以上のコンポーネントから構成される３Ｄメッシュモデルの符号化及び復号化、対応するエンコーダ及びデコーダ並びに生成されるデータセットに関する。

【背景技術】

【0002】

３次元（３Ｄ）メッシュは、３Ｄオブジェクトを表現するための各種アプリケーションにおいて広く利用されてきた。それらの生の表現は、特に３Ｄスキャナの急速な成長によって通常は大量のデータを必要とする。しかしながら、大部分のアプリケーションは、格納及び伝送のため３Ｄメッシュのコンパクト表現を要求する。１９９０年代の初頭から３Ｄメッシュを効率的に圧縮するための各種アルゴリズムが提案されてきた。このタイプの技術は、インターネットに基づく３Ｄアプリケーションの急速な成長によって、学界と産業界との双方からさらなる注目を受けることが想定される。

【0003】

３Ｄオブジェクトの表面は、トライアングルメッシュであり、すなわち、トライアングルから構成される。エッジを共有する２つのトライアングルは隣接している。隣接するトライアングルのシーケンスはパスであり、トライアングルの集合は、それのトライアングルの何れか２つの間にパスが存在する場合、連結されていると呼ばれる。平行四辺形の形状であるフラットな表面エリアは、２つのトライアングルのみが正確に記述されることしか要求されず、平行四辺形の形状でないフラットなエリアはより多くのトライアングルを必要とする。典型的には、３Ｄメッシュは、連結データ、ジオメトリデータ及びプロパティデータの３つのタイプのデータにより表現される。連結データは頂点間の隣接関係を記述し、ジオメトリデータは３Ｄ形状における頂点の位置を規定し、プロパティデータは通常のベクトル、物質の反射率及びテクスチャ座標などの属性を規定する。最も広範に利用される３Ｄ圧縮アルゴリズムは、連結データとジオメトリデータとを別々に圧縮する。ジオメトリデータの符号化オーダは、基礎となる連結符号化により決定される。３Ｄメッシュプロパティデータは、通常はジオメトリ圧縮に類似する方法により圧縮される。

【0004】

ジオメトリデータは、大部分のケースにおいて空間的にも隣接する、符号化オーダに沿った隣接する頂点の位置の間の高い相関を利用することによって通常圧縮される。大部分のジオメトリ圧縮スキームは、頂点位置のプレ量子化、量子化された位置の予測及び予測残差のエントロピー符号化の３ステップの処理に従う。

【0005】

未圧縮のジオメトリデータは、典型的には、３２ビット浮動小数点数により各座標コンポーネントを規定する。しかしながら、この精度は、人間の肉眼の知覚能力を超えるものであり、通常の用途に必要とされるものよりはるかに高い。従って、量子化は、視覚的なクオリティを大きく損なうことなくデータ量を低減するのに利用可能である。量子化技術は、一様又は非一様に分類可能である。各量子化セルは、一様なスカラ量子化手段において同じ長さを有するが、非一様なスカラ量子化手段では各セルは異なる長さを有する。既知の方法は、ローカルな曲率とトライアングルのサイズとに従ってメッシュを複数の領域に分割し、その後に異なる領域に異なる量子化解像度を適応的に選択するものである。各領域内において、頂点の座標は一様に量子化される。非一様な量子化と比較して、一様な量子化はシンプルであり、計算効率的なものであるが、レート歪み（Ｒ−Ｄ）パフォーマンスに関して最適でない。

【0006】

ジオメトリデータの圧縮の他の重要な問題は、頂点の位置を表現するのに用いられる座標系である。通常、図１ａ）に示されるように、モデル全体のための（通常はデカルト）グローバル座標系（ＷＣＳ）及び／又は単一のトライアングルのためのローカル座標系（ＬＣＳ）が利用される。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、符号化された３Ｄメッシュモデルの精度、特に１以上の異なるコンポーネントから構成される符号化された３Ｄメッシュモデルの精度を向上させるための方法及び手段を提供する。

【0008】

１以上のコンポーネントから構成される３Ｄメッシュモデルを符号化する方法が、請求項１に開示される。

【0009】

１以上のコンポーネントから構成される対応する符号化された３Ｄメッシュモデルが、請求項１２に開示される。

【0010】

１以上のコンポーネントから構成される符号化された３Ｄメッシュモデルを復号化する方法が、請求項６に開示される。

【0011】

１以上のコンポーネントから構成される３Ｄメッシュモデルを符号化するジオメトリエンコーダが、請求項１０に開示される。

【0012】

１以上のコンポーネントから構成される符号化された３Ｄメッシュモデルを復号化するジオメトリデコーダが、請求項１１に開示される。

【0013】

本発明の効果的な実施例が、従属形式の請求項、以下の説明及び図面に開示される。

【図面の簡単な説明】

【0014】

本発明の実施例が、添付した図面を参照して説明される。

【図1】図１ａ）は３Ｄメッシュモデルに利用されるグローバル座標系とローカル座標系とを示し、図１ｂ）は３Ｄメッシュモデルのコンポーネントに利用されるコンポーネント座標系を示す。

【図2】図２は、ワイヤフレームモデルとしての一例となる３Ｄメッシュモデルを示す。

【図3】図３ａ）〜ｃ）は未圧縮３Ｄメッシュモデルの詳細を示し、図３ｄ）〜ｆ）はアーチファクトを有する従来の量子化及び逆量子化３Ｄメッシュモデルの詳細を示し、図３ｇ）〜ｉ）は本発明による改良された量子化及び逆量子化３Ｄメッシュモデルの詳細を示す。

【図4】図４は、３Ｄメッシュモデルのエントロピーエンコーダのブロック図である。

【図5】図５は、３Ｄメッシュモデルのエントロピーデコーダのブロック図である。

【図6】図６は、３Ｄメッシュモデルを符号化する方法のフローチャートである。

【発明を実施するための形態】

【0015】

図１は、各デカルト座標系による３Ｄメッシュモデルの一部を示す。３つの直交軸Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗを有するグローバル座標系が、モデル全体に有効である。スパニングツリーＴ_ｓｐ（ｕｖｒ）が、リファレンストライアングルＴ_ｒｅｆ（ｕｖｗ）に対して記述される。ローカル座標系ＬＣＳ（３つの直交軸Ｘ，Ｙ，Ｚを有する）は、通常は各リファレンストライアングルにおいて定義される。“アクティブゲート”と呼ばれるＴ_ｒｅｆ及びＴ_ｓｐの共通のサイド

【数1】

は、ローカルｘ軸Ｘを規定する。

【0016】

【数2】

３Ｄモデル（すなわち、頂点及び連結データ）を圧縮する際、量子化が利用され、量子化エラーが生じる。量子化は、より小さな集合によって大きな又は無限の値の集合を表現するため、量子化は不可逆処理となる。典型的なメッシュジオメトリ符号化方式は、８〜１２ビットの量子化解像度により各座標を一様に量子化する。スムーズな豹変と一様に分布した頂点とを有するモデルについては、クオリティの損失は肉眼ではほとんど気付くことができない。しかしながら、この近似はしばしば、何れの座標軸にも直交しないフラットな表面を正確に再生することができず、シンプルなジオメトリに対してでさえ重要な歪み量を追加する。例えば、モデルが大きなフラット領域を有する場合、量子化エラーは、当初はフラットな部分領域に属するトライアングルがもはやフラットでない、すなわち、それらは逆量子化後はフラットな表面を生成しないという効果を従来は有する可能性がある。この問題はグローバル座標系ＷＣＳに対するコンポーネントの位置から部分的に生じることがわかっていた。本発明は、各コンポーネントに対して別々のコンポーネント座標系ＣＣＳを規定することによって、上記問題を解決する。

【0017】

本発明の一態様によると、コンポーネントに分解される３Ｄメッシュモデルは、図１ｂ）に示されるように、各コンポーネントが自らの個別のコンポーネント座標系ＣＣＳに対して符号化されるとき、より良好かつより正確に量子化可能である。エンコーダでは、コンポーネント座標系ＣＣＳは、量子化のためコンポーネントを正規化するのに利用され、これにより、量子化はグローバル座標系ＷＣＳにおいて実行される。これは、量子化エラーを低減する。符号化された３Ｄモデルでは、コンポーネント座標系を規定するデータが含まれる。デコーダでは、コンポーネント座標系ＣＣＳを規定するデータが抽出され、コンポーネントがグローバル座標系ＷＣＳにおいて逆量子化され、その後に抽出されたコンポーネント座標系ＣＣＳを利用して、当初の位置に変換される。

【0018】

以下において、符号化及び復号化処理がより詳細に説明される。一般に、現在のコンポーネントの頂点の位置は、｛ｖ_ｉ｜ｉ＝０，．．．，ｎ｝である。現在の連結されているコンポーネントがｍ個のトライアングルを有すると仮定する。現在の連結されているコンポーネントの何れかのトライアングルＴ_ｉに対して、それの領域をＳ_ｉとし、それの３つの頂点をｖ_ｉ０，ｖ_ｉ１，ｖ_ｉ２とする。現在のコンポーネントのトライアングルは、｛（ｉ０，ｉ１，ｉ２）｜ｉ＝０，．．，ｍ｝である。現在のコンポーネントの表面エリア全体はＳである。

【0019】

一実施例では、符号化中に以下のステップが実行される。
１．コンポーネントの平均ポイントｖ_ｍｅａｎと共分散行列Ｃとを以下のように計算する。

【0020】

【数3】

２．Ｃの固有ベクトルと対応する固有値とを計算する。Ｅ０，Ｅ１，Ｅ２は固有ベクトルである（固有値の昇順にソートされるなど）。
３．各頂点を−ｖ_ｍｅａｎだけ平行移動する。このとき、すべての頂点の平均ポイントは原点となる。
４．Ｅ０，Ｅ１，Ｅ２をＸ，Ｙ，Ｚ軸に揃えるため各頂点を回転する。
５．各頂点をｖ_ｍｅａｎだけ平行移動する。
６．例えば、頂点位置のプレ量子化、量子化された位置の予測及び予測残差のエントロピー符号化の従来の３ステップの処理などによって、回転されたジオメトリデータを圧縮する。
７．符号化された予測残差に加えて、Ｅ０，Ｅ１を圧縮されたコンポーネントデータに記録する。

【0021】

一実施例では、以下のステップが復号化中に実行される。
１．予測残差を復号化し、量子化された位置を計算し、位置を逆量子化する。
２．各頂点の逆量子化された浮動小数位置を用いて平均ポイントｖ_ｍｅａｎ（又は中心）を以下のように計算する。

【0022】

【数4】

３．各頂点を−ｖ_ｍｅａｎだけ平行移動する。
４．圧縮されたメッシュデータから固有ベクトルＥ０及びＥ１を読み、Ｅ２＝Ｅ０＊Ｅ１を計算する。
５．Ｘ，Ｙ及びＺ軸をＥ０，Ｅ１及びＥ２に揃えるため各頂点を回転する。
６．各頂点をｖ_ｍｅａｎだけ平行移動する。

【0023】

すなわち、コンポーネントは、それの中心が原点位置から座標系の中心に移されるように平行移動され、固有ベクトルＥ０，Ｅ１，Ｅ２により規定されるような回転マトリックスに従って回転され、それの原点位置に戻される。

【0024】

エンコーダとデコーダとの双方しか各コンポーネントに対して厳格な処理を実行しないため、これら２つのサイドにより計算される平均ポイントは同じ位置を有する。トライアングルの面積は、通常はそれの３つの頂点の浮動小数位置から計算される浮動小数である。一般に、トライアングルの各頂点のウェイトは、それが属するすべてのトライアングルのすべての頂点の位置から計算される。これらの位置は、コンポーネントの偏心と形状とを規定し、このため各頂点の重要性を規定しているためである。一実施例では、各トライアングルの面積は、それの３つすべての頂点のウェイトに加えられる。（コンポーネントの平均を計算するための）頂点のウェイトは、本実施例では、それのすべての隣接トライアングルの面積の和である。

【0025】

図２は、座席に配置されたＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）の一例となるオリジナルの３Ｄモデルである。このモデルは、３Ｄソフトウェアにより生成される。当該モデルは、合計で１２８２２個の頂点と２４６９６個のトライアングルとを有する１３個の連結されたコンポーネントから構成される。図３ａ）は同一のモデルを示し、図３ｂ）及びｃ）はモデルのフラットなフロント領域のエッジの詳細を示す。多数の頂点／トライアングルが、ラウンドしたコーナー領域を規定するのに必要とされる（図３ａ）〜ｃ）には図示せず）。図３ｄ）は、１２ビットにより量子化された同一のモデルである。量子化されたモデルのフラットな表面では、特に高い頂点密度を有するエリア、すなわち、ラウンドしたコーナー領域では、有意な視覚的クオリティのロスがある。この差を明確に示すため、オリジナルのモデルと量子化されたモデルとの詳細がそれぞれ、図３ｂ）〜ｃ）と図３ｅ）〜ｆ）とにより示される。オリジナルモデルａ）〜ｃ）では、フラット領域のトライアングルは同一平面上にあり、これは、従来の量子化ｄ）〜ｆ）後のケースではない。しかしながら、本発明の符号化及び復号化は、図３ｇ）〜ｉ）に示されるように、３Ｄモデルのクオリティを向上させる。図３ａ）に示される復号化されたモデルと比較して、ここに提案されるジオメトリ圧縮技術は、同じ量子化解像度を利用しながら、復号化されたモデルのクオリティを有意に向上させる。

【0026】

本発明は、３Ｄエンジニアリングモデルなどの、特に何れかの座標軸に直交しない大きなスケールのフラット表面と非一様性の高い頂点分布とを有する３Ｄメッシュに対して、効率的なジオメトリ圧縮方法を提供する。大部分の３Ｄエンジニアリングモデルは、各コンポーネントが異なるオブジェクトスペースを有する多数の連結コンポーネントを有する。

【0027】

本発明の一実施例によるジオメトリエンコーダは、連結コンポーネントの大きなスケールの特徴（フラット表面など）が座標軸の１つに直交する自らのオブジェクト座標系において各連結コンポーネントを圧縮し、従来の量子化解像度により又はそれよりかなり低い量子化解像度においてより良好に確保可能である。符号化は、予測及び残差に基づくものとすることができる。大きなスケールの特徴は正規化されているため、予測位置の残差のエントロピーはまた減少し、ジオメトリ符号化の圧縮率の増加に役立つ。復号化されたモデルのクオリティと圧縮比との双方が、同時に向上可能である。

【0028】

一実施例では、エンコーダはまず、主成分解析（ＰＣＡ）ベースであるシンプルかつ計算効率的な技術によって、現在の連結コンポーネントの偏心を記述する３Ｄスペースにおける正規直交基底を計算する。この基底は、対応する連結コンポーネントを正規化された（又はカノニカルな）方向メッシュにもたらすための純粋な回転マトリックスとして利用される。回転されたジオメトリデータはその後に量子化、予測及びエントロピー符号化される。正規直交基底はまた圧縮されたメッシュデータに記録され、これにより、デコーダは、各連結コンポーネントのオリジナルなジオメトリを復元し、コンポーネントジオメトリを復号化した後に一緒に組み合わせることが可能となる。

【0029】

図４は、本発明の一態様によるジオメトリエンコーダのブロック図を示す。ジオメトリエンコーダ５０は、連結コンポーネントを認識するコンポーネント認識ブロック５１、上述されるように、各連結コンポーネントのオブジェクトスペース（すなわち、３Ｄスペースにおける各正規直交基底）を計算するオブジェクトスペース計算ブロック５２、方向正規化ブロック５３、頂点位置を量子化する量子化手段５４、及び量子化された頂点位置を予測し、残差を生成する差動符号化ブロック５５を有する。オブジェクトスペース計算ブロック５２は、オブジェクト座標系情報５６、すなわち、計算されたオブジェクトスペースを規定するデータをエントロピーエンコーダ５８に出力する。差動符号化ブロック５５は、残差情報５７をエントロピーエンコーダ５８に出力する。

【0030】

エントロピーエンコーダ５８は、エントロピー符号化された３Ｄモデルを表現し、連結コンポーネントを表す符号化された頂点データの少なくとも１つのグループを有する信号と、当該コンポーネントに関するオブジェクト座標系情報とを生成する。オブジェクト座標系情報は、コンポーネント座標系（ＣＣＳ）とグローバル座標系（ＷＣＳ）との間の変換を規定するのに利用可能である。

【0031】

図５は、エントロピー符号化された３Ｄモデルを表す上述された信号を復号化するのに適した本発明の一態様による対応するジオメトリデコーダのブロック図を示す。ジオメトリデコーダ６０は、入力信号を復号化し、予測残差情報６２、すなわち、実際の頂点及び連結データと、オブジェクト座標系情報６３とを抽出するエントロピーデコーダ６１を有する。ジオメトリデコーダは、量子化された頂点位置を復号化するデコーダ６４、頂点位置を逆量子化する逆量子化手段６５、各連結コンポーネントの向きを復元する方向復元ブロック６６、及び連結コンポーネントを組み合わせ、連結コンポーネントから３Ｄモデルを組み立てる組み立てブロック６７を有する。方向復元ブロック６６は、変換マトリックス（回転マトリックスなど）を取得するため、オブジェクト座標系情報６３を受信及び処理する。一実施例では、当該処理は、上述されるように、受信した２つの固有ベクトルＥ０，Ｅ１に直交する固有ベクトルＥ２を計算することを含む。

【0032】

図６は、一例となる符号化処理のフローチャートを示す。まず、コンポーネントが選択又は決定され（７１）、これは非明示的に行われてもよい。その後、３Ｄスペースにおける正規直交基底が、当該コンポーネントに対して決定される（７２）。オブジェクト座標系情報がオブジェクトの向きを正規化するのに利用されながら（７４）、それはまた符号化される（７３）。その後、頂点位置が量子化（７５）及び符号化（７６）される。最後に、符号化された量子化された頂点位置及び符号化されたオブジェクト座標系情報が、送信（７７）、格納などされてもよい。

【0033】

本発明は、量子化された３Ｄメッシュモデルの視覚的アーチファクトを最小化するのに効果的である。特に、何れの座標軸にも直交せず、ジオメトリエンコーダ／デコーダのシンプルさ及び圧縮比を犠牲にすることなく、３Ｄエンジニアリングモデルなどの非一様性の高い頂点分布をもたらす大きなスケールのフラット表面を有する３Ｄメッシュに対して良好である。本発明は、特に大きなスケールのフラット表面と非一様性の高い頂点分布とを有するモデルのために構成される効率的なジオメトリ圧縮戦略を提供する。

【0034】

視覚的アーチファクトを除去するための他のアプローチは、量子化解像度を増大させることである。しかしながら、それはジオメトリエンコーダの効率の有意な減少をもたらす。従って、ここではそれは利用されない。非一様な量子化は、符号化中にメッシュを多数の部分に分割し、さらにより大きな計算作業を必要とし、エンコーダ／デコーダをより複雑にする復号化中にこれらの部分をマージする必要がある。ローカル座標系は、利用される連結圧縮方法に依存し、フラット表面は、何れかのローカル座標軸に直交することが保障できない。

【0035】

利用されるＰＣＡベースの技術を用いて連結コンポーネントの向きを正規化することが一般に知られているかもしれないが、本発明は、共分散マトリックスの計算中に頂点にウェイトを割り当てるウェイティング方式を利用する。このタイプのウェイティング方式は、最近のソフトウェアアプリケーションによって生成される３Ｄモデルの劇的に変化するトライアングルサイズを考慮するとき特に妥当である。

【0036】

一実施例では、エンコーダにより提供されるビットストリームは、従来のビットストリームと同様であるが、ジオメトリレベルにおいて、すなわち、各連結コンポーネントの頂点データのグループのヘッダにおいてのみ修正される。新たなビットストリームは、
・現在の連結コンポーネントの向きが正規化される必要があるか示すための１ビット 例えば、“１”は方向正規化処理が利用されることを意味し、“０”は当該処理が利用されないことを意味する。
・前のビットが“１”に等しい場合、対応する連結コンポーネントのオブジェクト座標系の座標軸を示すための数ビット 各軸は正規化されているため、２つの浮動が１つの軸を記録するのに十分である。２つの軸は、座標系を記述するのに十分である。従って、４つの浮動小数点値、すなわち、１６バイトが１つの連結コンポーネントのオブジェクト座標系に必要である。
を含むオブジェクト座標系を記録する。

【0037】

一例として、レンジエンコーダ（Ｇ．Ｎ．Ｎ．Ｍａｒｔｉｎ．Ｒａｎｇｅ ｅｎｃｏｄｉｎｇ：ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｍｏｖｉｎｇ ｒｅｄｕｎｄａｎｃｙ ｆｒｏｍ ｄｉｇｉｔｉｚｅｄ ｍｅｓｓａｇｅ．Ｍａｒｃｈ １９７９，Ｖｉｄｅｏ＆Ｄａｔａ Ｒｅｃｏｒｄｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ，Ｓｏｕｔｈａｍｐｔｏｎ，ＵＫ）は、算術コーダ又はハフマンコーダに類似したエントロピーコーダとして利用可能である。テーブル１において、コンポーネント方向正規化のある場合とない場合とのジオメトリエンコーダのパフォーマンスがリストされる。本発明において提案されるコンポーネント方向正規化によるジオメトリエンコーダを利用することによって、（１５２７−１４１９．６）／１５２７＝７．２％のストレージを節約することができる。連結コンポーネントが方向メッシュになった後、予測残差がさらに大きく低減されるためである。従って、提案されるジオメトリ圧縮は、所与の量子化解像度における復号化されたモデルの視覚的クオリティを向上させるだけでなく、他の効果はまた圧縮比を増大させうる。

【0038】

【表1】

トライアングルの面積がウェイティングファクタとして利用されるが、他のタイプのウェイティングファクタが、当業者に明らかなように、上述した各頂点座標から構成されてもよく、これらはすべて本発明の趣旨及び範囲内であると想定される。

【0039】

一実施例では、１以上のコンポーネントを有する３Ｄメッシュモデルを符号化するジオメトリエンコーダは、
１以上のコンポーネントを有する３Ｄメッシュモデルを符号化するジオメトリエンコーダであって、前記１以上のコンポーネントのそれぞれについて３Ｄスペースにおける正規直交基底を決定する決定手段（５２）であって、コンポーネントの頂点に基づく主成分解析が利用され、各頂点は１以上のトライアングルに属し、前記主成分解析について、前記コンポーネントの各頂点には前記頂点が属するトライアングルの面積から決定されるウェイトが割り当てられる、前記決定手段と、前記コンポーネントのオブジェクト座標系情報を符号化するエンコーダ（５６）と、前記１以上のコンポーネントのそれぞれの向きをグローバル座標系（ＷＣＳ）に対して正規化する正規化手段であって、前記１以上のコンポーネントのそれぞれについて、前記コンポーネントの決定された正規直交基底から取得される変換を実行する変換手段を有する、前記正規化手段（５３）と、前記正規化された頂点位置を量子化する量子化手段（５４）と、前記量子化された頂点位置を符号化するエンコーダ（５５，５７）とを有する。

【0040】

ジオメトリエンコーダの一実施例では、正規直交基底を決定する決定手段（５２）は、各コンポーネントについてコンポーネント平均を計算する計算手段を有し、当該計算について、頂点のウェイトは、当該頂点が属するトライアングルの面積の和である。

【0041】

一実施例では、１以上のコンポーネントを有する３Ｄメッシュモデルを復号化するジオメトリデコーダは、量子化された頂点位置を復号化する復号化手段（６４）と、前記復号化された頂点位置を逆量子化する逆量子化手段（６５）と、前記１以上のコンポーネントのコンポーネントに属する逆量子化された頂点を決定する決定手段と、コンポーネント座標系（ＣＣＳ）とグローバル座標系（ＷＣＳ）との間の変換を規定する、前記コンポーネントに関するオブジェクト座標系情報を受信する受信手段（６３）と、前記受信したオブジェクト座標系情報に基づき、前記グローバル座標系（ＷＣＳ）に対して前記コンポーネントの向きを復元する復元手段（６６）とを有する。

【0042】

一実施例では、デコーダはさらに、複数のコンポーネントから３Ｄメッシュモデルを組み立てる組み立て手段（６７）を有し、各コンポーネントについて、個別のオブジェクト座標系情報が受信され（６３）、各コンポーネントについて、向きが個別に復元される（６６）。

【0043】

一実施例では、コンポーネントの向きを復元する復元手段は、コンポーネントの各頂点の逆量子化された浮動位置を用いてコンポーネントの平均ポイントを計算する計算手段と、コンポーネントを平行移動（シフトなど）する平行移動手段であって、平均ポイントが座標系の中心に平行移動（シフトなど）される、平行移動手段と、コンポーネントを回転する回転手段と、平均ポイントがそれの前の位置に平行移動される、回転されたコンポーネントを平行移動する平行移動手段（上記と同じであってもよい）とを有する。

【0044】

デコーダの一実施例では、受信手段は、コンポーネントについて３Ｄスペースの正規直交基底を決定するため、共分散マトリックスの２つの固有ベクトルＥ０，Ｅ１を抽出し、第３固有ベクトルＥ２を計算し、固有ベクトルをオブジェクト座標系情報として利用するステップを実行する。

【0045】

好適な実施例に適用されるような本発明の新規な基本的特徴が図示、開示及び指摘されたが、開示される符号化／復号化装置及び方法、開示される装置の形式及び詳細、並びにそれらの処理の各種省略、置換及び変更が、本発明の趣旨から逸脱することなく当業者に可能であることは理解されるであろう。同一の結果を達成するため実質的に同じ方法で実質的に同じ機能を実行する要素のすべての組み合わせが本発明の範囲内であることが、明示的に意図される。開示される実施例の間の要素の置換がまた完全に意図及び想定される。

【0046】

本発明が純粋に例示的に開示されたが、開示された好適な効果が実現される限りにおいて、本発明の範囲から逸脱することなく詳細の改良が可能であることが理解されるであろう。明細書及び（必要に応じて）請求項と図面に開示される各特徴は、独立に又は何れか適切な組み合わせにより提供されてもよい。必要に応じて、各特徴は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現されてもよい。請求項に記載される参照番号は、単なる例示であって、請求項の範囲に対する限定的効果を有するものでない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】