(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-08
(45)【発行日】2022-12-16
(54)【発明の名称】シーンのタイル化３次元画像表現を生成する装置及び方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20221209BHJP
G06T 15/04 20110101ALI20221209BHJP
H04N 13/268 20180101ALI20221209BHJP
H04N 13/128 20180101ALI20221209BHJP
H04N 13/194 20180101ALI20221209BHJP
H04N 13/117 20180101ALI20221209BHJP
【ＦＩ】
G06T19/00 A
G06T15/04
H04N13/268
H04N13/128
H04N13/194
H04N13/117
【請求項の数】
15
(21)【出願番号】P 2020503314
(86)(22)【出願日】2018-07-17
(65)【公表番号】
(43)【公表日】2020-09-24
(86)【国際出願番号】 EP2018069387
(87)【国際公開番号】W WO2019020433
(87)【国際公開日】2019-01-31
【審査請求日】2021-07-15
(31)【優先権主張番号】17182985.6
(32)【優先日】2017-07-25
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】ヴァレカンプ クリスティアーン
【審査官】村松 貴士
(56)【参考文献】
【文献】国際公開第２０１２／１４７７４０（ＷＯ，Ａ１）
【文献】国際公開第２０１２／１３２２３４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １５／００ － １９／２０
Ｈ０４Ｎ １３／００ － １３／３９８
(57)【特許請求の範囲】
【請求項1】
シーンのタイル化３次元画像表現を生成する装置であって、前記装置は、第１の視点から前記シーンのタイル化３次元画像表現を受け取るための受信装置であって、前記タイル化３次元画像表現が複数の相互接続されたタイルを含み、各タイルが前記第１の視点からの前記シーンのビューポートを表現するデプスマップ及びテクスチャマップを含み、前記タイルがタイリングパターンを形成する、前記受信装置と、
前記タイリングパターンに応じて、少なくとも第１のタイル及び第２のタイルの近接する境界領域を決定する第１の処理装置であって、前記第１のタイル及び前記第２のタイルが近接するタイルである、前記第１の処理装置と、
前記第１のタイルの第１の境界領域の第１のデプス値と前記第２のタイルの第２の境界領域の第２のデプス値とのうち、少なくともいくつかの値について、前記第１のデプス値と前記第２のデプス値との差異が低減されるように、少なくとも前記第２のデプス値に応じて、少なくとも前記第１のデプス値を修正する第２の処理装置であって、前記第１の境界領域及び前記第２の境界領域が近接する境界領域である、前記第２の処理装置と、を備える、装置。
【請求項2】
前記第２の処理装置は、前記第１のデプス値及び前記第２のデプス値を、等しい値に設定する、請求項１に記載の装置。
【請求項3】
前記等しい値は、前記第１のデプス値と前記第２のデプス値との平均値である、請求項２に記載の装置。
【請求項4】
前記第２の処理装置は、前記第１のデプス値を前記第２のデプス値に設定する、請求項１又は２に記載の装置。
【請求項5】
前記タイルの前記デプスマップから３次元メッシュを生成するためのメッシュ生成装置を更に含む、請求項１から４の何れか一項に記載の装置。
【請求項6】
前記メッシュ生成装置は、前記３次元メッシュを生成するために使用するための前記第１の境界領域のデプス値の一部を選択し、前記第２の処理装置は、前記第１の境界領域がデプス値の前記一部に属する場合にのみ、前記第１の境界領域のデプス値を修正する、請求項５に記載の装置。
【請求項7】
前記第２の処理装置は前記第１のデプス値を修正することに続いて、前記第１のタイルの前記デプスマップに空間フィルタを適用する、請求項１から６の何れか一項に記載の装置。
【請求項8】
遠隔ソースから前記タイル化３次元画像表現のためのタイルを受け取る遠隔ソース通信装置と、前記タイル化３次元画像表現のためのタイルを格納するローカル・ストアとを備え、前記受信装置は、前記遠隔ソース通信装置から前記第１のタイルを受け取るのに応じて、前記ローカル・ストアから少なくとも前記第２のデプス値を読み取る、請求項１から７の何れか一項に記載の装置。
【請求項9】
前記ローカル・ストアは、前記第１のデプス値を修正することに続いて、前記第１のタイルのデプスマップ又はメッシュを格納する、請求項８に記載の装置。
【請求項10】
現在の視点方向を決定するためのユーザ入力部を更に含み、前記遠隔ソース通信装置は、前記現在の視点方向についての指示を前記遠隔ソースに送信し、その指示に応答して前記第１のタイルが受け取られる、請求項８又は９に記載の装置。
【請求項11】
前記ローカル・ストアは、格納されたタイルに関するメッシュを格納し、前記メッシュ生成装置は、差分量が閾値を超えるとの検出に応答して、前記第２のタイルに対して格納されたメッシュに頂点及び少なくとも１つのエッジを付加し、前記差分量は、前記第１のタイルの境界デプス値と、前記第２のタイルに対して格納されたメッシュの対応する境界デプス値との間のデプスの差分を表す、請求項５に従属する請求項８から１０の何れか一項に記載の装置。
【請求項12】
前記第２の処理装置は、前記第１のデプス値の位置で、前記第１のタイルに近接する各タイルの、最も近いデプス値のみに応じて、前記第１のデプス値を決定する、請求項１から１１の何れか一項に記載の装置。
【請求項13】
各タイルは平面ポリゴンであり、相互接続された複数のタイルは３次元構造を形成する、請求項１から１２の何れか一項に記載の装置。
【請求項14】
シーンの３次元画像表現を生成する方法であって、前記方法は、第１の視点から前記シーンのタイル化３次元画像表現を受け取るステップであって、
前記タイル化３次元画像表現が複数の相互接続されたタイルを含み、各タイルが、前記第１の視点からの前記シーンのビューポートを表すデプスマップ及びテクスチャマップを含み、前記タイルがタイリングパターンを形成する、ステップと、
前記タイリングパターンに応じて、少なくとも第１のタイル及び第２のタイルの隣接する境界領域を決定するステップであって、前記第１のタイル及び前記第２のタイルが近接しているタイルである、ステップと、
前記第１のタイルの第１の境界領域の第１のデプス値と前記第２のタイルの第２の境界領域の第２のデプス値とのうち、少なくともいくつかの値について前記第１のデプス値と前記第２のデプス値との間の差異が低減されるように、少なくとも前記第２のデプス値に応じて、少なくとも前記第１のデプス値を修正するステップであって、前記第１の境界領域及び前記第２の境界領域が近接する境界領域である、ステップと、を有する、方法。
【請求項15】
コンピュータにより実行され、当該コンピュータに請求項１４に記載の方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、シーンのタイル化３次元画像表現を生成する装置及び方法に関し、特に、メッシュ表現への変換に基づく画像生成に適した、シーンの改善されたタイル化３次元画像表現の生成に関するが、それに限定されるものではない。
【背景技術】
【0002】
従来、画像の技術的な処理及び使用は２次元撮像に基づいてきたが、画像処理においては第３の次元が明確に考慮されることが増え続けている。
【0003】
例えば、視聴者の左右の目に、シーンの異なる画像を観察させることによって、視聴体験に第３の次元を加える３次元（３Ｄ）ディスプレイが開発されてきた。これは、２つの視点を分離して表示する眼鏡をユーザにかけさせることで実現される。しかし、これはユーザにとって不便と考えられるため、ディスプレイ側で視点を分離し、それらを異なる方向に送り、それぞれが別個にユーザの目に届くようにする手段（レンチキュラレンズ又は視差バリアなど）を用いる裸眼立体ディスプレイを使用することが多くの場合好まれる。ステレオ表示では、必要な視点は２つだが、裸眼立体ディスプレイでは、通常、例えば９つの視点など、より多くの視点が必要になる。
【0004】
多くの実施形態では、新たな視点方向に対して、視点画像を生成することが望ましい。イメージ情報及びデプス情報に基づき、こうした新たな視点画像を生成する種々のアルゴリズムが知られているが、それらは提供された（又は導出された）デプス情報の正確さに大きく依存する傾向がある。
【0005】
実際に、３次元画像情報は、シーンの様々な視点方向に対応した複数の画像によって実現されることが多い。特に、映画又はテレビ番組などの映像コンテンツは、何らかの３次元情報を含んで制作されているようになってきている。こうした情報は、わずかにずらしたカメラ位置から２つの画像を同時にキャプチャするカメラのような、専用の３次元カメラ、又はデプスカメラを使用してキャプチャすることができる。
【0006】
しかし、多くのアプリケーションでは、与えられる画像が所望の方向に直接対応しなかったり、又は、より多くの画像が必要になったりする。例えば、裸眼立体ディスプレイでは、２枚を超える画像が必要であるが、実際には９枚～２６枚の視点画像を使用することが多い。
【0007】
様々な視点方向に対応した画像を生成するためには、視点移動処理が採用される。これは通常、単一の視点方向に関する画像を、関連するデプス情報と共に使用する、視点移動アルゴリズムによって実行される。
【0008】
３次元画像処理に基づくアプリケーションの典型的な例は、仮想現実アプリケーションである。典型的な仮想現実体験では、ユーザの動き及び方向の変化に一致するように、右目用の視点画像と左目用の視点画像とが、例えば仮想現実ヘッドセットに連続的に生成される。通常、こうした動的な仮想現実視点画像の生成は、仮想現実環境に対応した所与のシーンを表す３Ｄ画像データの処理に基づく。例えば、仮想現実サーバは、光強度画像及びデプスマップ、又はテクスチャマップ及びデプスメッシュによって表現された画像など、３次元モデル又は３次元画像に基づき、特定の視点のための視点画像を生成する。
【0009】
仮想現実アプリケーションなどのアプリケーションでは、例えば仮想環境でユーザが視点の方向又は向きを仮想的に移動させるか又は変更させることよってユーザ視点が変化した際に、これらの視点を反映するように一連の画像が生成される。いくつかのアプリケーションでは、視聴者の向きの変更は反映するが、その範囲内での移動はサポートせずに画像が生成される。こうしたシナリオを反映した映像は、しばしば全方向映像と呼ばれる。他のアプリケーションでは、視点位置の移動もサポートされて、仮想現実環境でのユーザの仮想的な動きを反映する。こうしたシナリオを反映した映像は、しばしば没入型映像と呼ばれる。ユーザの現在の視点は、視点に関連する位置及び方向のパラメータを記述する視点ベクトルによって表される。
【0010】
全方向映像では、視点ベクトルは通常、ヨー、ピッチ、及びロールの値（又はアジマス、エレベーション、及びチルト）を与えることによって、３自由度（３ＤｏＦ）による方向を描写する。
【0011】
没入型映像では、視点ベクトルは通常、ヨー、ピッチ、及びロールに対して、並びに三次元空間に対して値を与えることによって、６自由度（６ＤｏＦ）による方向及び位置を描写する。
【0012】
しかし、可変の視点位置及び／又は方向をサポートする、フレキシブルな映像及び画像アプリケーションの開発を行いサポートしようとする場合の典型的な課題は、一部の位置及び／又は方向に制限されないことが好ましく、すべての位置及び／又は方向がサポートされることが理想的であるということである。例えば、６ＤｏＦの没入型映像では、視聴者は任意の位置から任意の方向にシーンを見ている。そのため、シーンのすべての部分について、すべての位置からすべての方向に対して３次元情報が利用可能であることが必要となる。特に、３次元データが現実世界のシーンをキャプチャすることに基づくアプリケーションなど、多くの実際的なアプリケーションでは、この要件を満たすことは困難又は不可能である。
【0013】
この分野では、オブジェクトの位置と、方向又は向きとの組合せは、一般的に位置又は姿勢と呼ばれる。例えば、位置又は姿勢のベクトルは、６つの値又は成分を含んでおり、これらの各値又は各成分が、対応するオブジェクトの位置又は場所、或いは向き又は方向について、個別の特性を描写する。当然、位置又は姿勢のベクトルが有する位置及び姿勢を表す成分は、例えば１つ又は複数の成分が固定と考えられる場合には、より少なくなる（例えば、すべてのオブジェクトが同じ高さ及び水準にあり、４つの成分でオブジェクトの姿勢を完全に表現できると考えられる場合）。
【0014】
対処することが最も難しい課題の１つは、十分に高品質な適切な視点画像を生成するに足る十分な情報を提供しつつ、表現を容易に通信、格納、適応、及び／又は処理することができるように、如何に効率的にシーンを表現するか、ということである。
【0015】
使用される１つの手法は、所与の視点位置に対する全方向画像を提供し、この全方向画像が、例えば、対応する視点位置を中心とする球形又は半球形としての視覚情報を与えることであり、ここで、この球形によって、対応する視点方向でのシーンの視覚特性を反映した画像を合成する。多くのアプリケーションでは、視点を取り囲む球形オブジェクトのテクスチャとして画像を表現する代わりに、典型的には視点の周りに位置する立方体など、３次元ポリゴンベースの構造上にテクスチャをマッピングすることで、この手法は改良されてきた。したがって、こうした場合では、所与の視点からの全方向画像は、視点の周りに位置する立方体上にマッピングされるテクスチャである。視点位置の視聴者に関する、特定の視点方向に対応した画像を生成する際、画像生成システムは、所与のビューポートに関する立方体の適切なパーツを、対応する画像に単にマッピングすればよい。
【発明の概要】
【発明が解決しようとする課題】
【0016】
しかし、こうした手法は多くの実施形態で有利であるものの、あらゆる面で最適なわけではなく、いくつかの関連する難点がある。例えば、すべての状況で最適な画質を実現することはできず、特に、立方体の異なる側にマッピングされたテクスチャの処理がアーティファクトにつながる。
【0017】
それゆえ、シーンの３次元画像表現を生成する手法を改善することが有利となる。特に、動作を改善し、汎用性を増し、導入を容易にし、演算を容易にし、複雑性を減らし、リソース要求を減らし、且つ／又は性能を改善することのできる手法が有利となる。
【0018】
したがって、本発明は、上述の難点の１つ又は複数を、単一で、又は組合せによって、できる限り緩和、軽減、又は除去することを追及する。
【課題を解決するための手段】
【0019】
本発明の一態様によれば、シーンのタイル化３次元画像表現を生成する装置が提供され、この装置は、第１の視点からシーンのタイル化３次元画像表現を受け取るための受信装置であって、タイル化３次元画像表現が複数の相互接続されたタイルを含み、各タイルが第１の視点からのシーンのビューポートを表現するデプスマップ及びテクスチャマップを含み、タイルがタイリングパターンを形成する、受信装置と、タイリングパターンに応じて、少なくとも第１のタイル及び第２のタイルの近接する境界領域を決定する第１の処理装置であって、第１のタイル及び第２のタイルが近接するタイルである、第１の処理装置と、第１のタイルの第１の境界領域の第１のデプス値と第２のタイルの第２の境界領域の第２のデプス値とのうちの少なくともいくつかの値について、第１のデプス値と第２のデプス値との差異が低減されるように、少なくとも第２のデプス値に応じて、少なくとも第１のデプス値を修正する第２の処理装置であって、第１の境界領域及び第２の境界領域が近接する境界領域である、第２の処理装置と、を備える。
【0020】
本発明は、多くのシナリオで性能の改善をもたらし、例えば、効率的に通信、格納、及び処理することのできる３次元画像表現を実現する。本発明は、特に多くのシナリオで、所与の画質に対しより低いデータレートでの表現を実現することの多い３次元画像表現を生成するための低複雑性の手法を提供する。この３次元画像表現は、更に、例えばリモートクライアントが、様々な視点及び方向からのシーンを表現するデータを受け取り、且つ、画像をローカルに生成することができるような、柔軟で部分的なデータ分配などにも対応する。特に、この手法は、例えば遠隔の仮想現実クライアントが、適宜必要なときに適切なデータを柔軟に受け取ることができるような、高度且つ効率的な仮想現実体験を可能にする。
【0021】
受信装置は、タイル化３次元画像表現の入力を受け取り、この入力から、少なくとも第１のデプス値、及び典型的には多数のタイル境界デプス値を修正することにより、タイル化３次元画像表現の出力を生成する。
【0022】
この手法は、多くのシナリオで画質の改善をもたらし、特にアーティファクト及びエラーを低減する。この手法では、エラー又はアーティファクトは特に異なるタイルを重ね合わせるビューポートで起こり、また、こうしたエラー又はアーティファクトは、異なるタイルの境界領域での各デプス値間の不一致から起こる場合が多く、一般的にデプスマップに施される非可逆符号化及び非可逆復号から起こるという認識を反映する。この手法は、多くのシナリオでこうしたアーティファクト及びエラーの多くを低減し、又は更に除去する。この手法は、多くのシナリオでタイル同士の間のつなぎ目を感じさせずに、よりスムースなユーザ体験を実現する。
【0023】
このシーンの３次元画像表現は、多くの実施形態で、シーンの少なくとも一部の３次元モデルであると考えられる。
【0024】
第２の処理装置は、多くの実施形態で、第１のデプス値を修正することによって、第１のデプス値と第２のデプス値との差異を抑制するように構成される。そのため、第１のデプス値がとり得るすべての値に対して、第１のデプス値と第２のデプス値との差異が抑制されるようになる。具体的には、第２の処理装置は、多くの実施形態で、第１のデプス値と第２のデプス値との間の差異が閾値を超えないように、第１のデプス値を修正するように構成される。
【0025】
第２の処理装置による修正は、第１のデプス値と第２のデプス値とのうち、一部の値のみに対して第１のデプス値を変更する。第１のデプス値と第２のデプス値との値によっては、第１のデプス値は変更されない。すなわち、修正後のデプス値は、元のデプス値と同じである。例えば、第１のデプス値と第２のデプス値とが等しい場合、第１のデプス値は第２の処理装置によって修正されない。
【0026】
タイリングパターンは、多くの実施形態で、所定又は既定のタイリングパターンである。このタイリングパターンは、非平面である。具体的には、タイリングパターンは３次元であり、３次元の全方向での範囲を有する。タイル及びタイリングパターンが、３次元構造を形成する。
【0027】
各デプス値は、（通常は）長方形、又は特に正方形のデプスマップのデプスピクセルに対応する。すなわち、各デプス値は、対応するデプスマップの対応するピクセル位置におけるデプスピクセルの値である。
【0028】
この装置は、特に第１の境界領域のすべてのデプス値など、複数の第１のデプス値を修正するように構成される。具体的には、第１の境界領域で複数のデプスピクセル、場合によってはすべてのデプスピクセルに対し、この手法が繰り返される。
【0029】
第１及び第２のデプス値は、第１の視点からの同じ視点方向に対応するデプス値として選択される。第１及び第２のデプス値は、第１のデプス値に対する第１の視点からの視野方向又はベクトルと、第２のデプス値に対する第１の視点からの視点方向又はベクトルとの差異に関する差分量が、閾値を下回るように選択される。例えば、第１及び第２のデプス値の各位置に対する、第１の視点からの視点ベクトル間の視野角が、閾値を下回っている必要があり、或いは、第１のタイル及び第２のタイルのデプス値のあらゆる対の中で、最小である必要がある。
【0030】
多くの実施形態で、第２のデプス値は、第１のデプス値に関するデプスピクセルに最も近い、第２の領域でのデプスピクセルに関するデプス値である。
【0031】
相互接続されたタイルは、１つ、又は典型的には複数の他の相互接続されたタイルと、共通の境界を有する。この相互接続されたタイルでは、相互接続された各タイルが、フルビューポートの部分的な範囲又は領域をカバーするサブビューポートを提供することで、タイリングパターンに関して連続したビューポートのカバーを実現する。一般的に、フルビューポートは大きく、例えば１／４球、半球、又は全球である。
【0032】
近接する境界領域は２つのタイルからなる領域であり、この領域は２つのタイルの間の境界を共有する。したがって、第１及び第２の境界領域は、第１のタイルと第２のタイルとの間の境界を共有する。具体的には、これらの境界領域は、境界、又は（重なり合うタイルの場合）境界を含んだ片方若しくは両方のタイルを結合又は接触させる。
【0033】
本発明の任意選択の特徴によれば、第２の処理装置は、第１のデプス値及び第２のデプス値を、等しい値に設定するように構成される。
【0034】
そのため、複雑性が低く、リソース需要が小さいにも関わらず、有利な性能と高品質とをもたらすことが可能となる。特に、例えば符号化アーティファクト又は復号アーティファクトによる、異なるタイル間でのデプス値の不整合から生じる、アーティファクト、エラー、及び劣化を低減する。そのため、特に、正確で、整合性があり、且つ堅牢な、デプスマップに基づく３Ｄメッシュ生成が可能となる。
【0035】
本発明の任意選択の特徴によれば、この等しい値は、第１のデプス値と第２のデプス値との平均値である。
【0036】
そのため、複雑性が低く、リソース需要が小さいにも関わらず、有利な性能と高品質とをもたらすことが可能となる。更に、例えば、デプス値の平均値より大きい、（元のデプスからの）デプスのずれにつながることが予想される一方、３次元画像表現の非対称なタイルの提供への対応に改善をもたらす。例えば、いくつかのタイルを変更せずに、タイルの一部のみを動的に更新する手法では、演算負荷が軽減され、低減される。
【0037】
本発明の任意選択の特徴によれば、第２の処理装置は、第１のデプス値を第２のデプス値に設定するように構成される。
【0038】
そのため、複雑性が低く、リソース需要が小さいにも関わらず、有利な性能と高品質とをもたらすことが可能となる。特に、例えば、デプス値の平均値より大きい（元のデプスからの）デプスのずれにつながることが予想される一方、３次元画像表現の非対称なタイルの提供への対応に改善をもたらす。例えば、いくつかのタイルを変更せずに、タイルの一部のみを動的に更新する手法では、演算負荷が軽減され、低減される。
【0039】
この手法では、第１のタイルのデプスマップなどのデプスマップに、第２のタイルのデプスマップなどの近接するタイルのデプスマップのデプス特性に基づく境界条件を加える。この手法では、例えば、既存の近接するタイルに処理（例えばフィルタ処理）を施す必要がなく、それらに整合し適合するような境界条件を、新しいタイルに与える。
【0040】
本発明の任意選択の特徴によれば、この装置は更に、タイルのデプスマップから３次元メッシュを生成するためのメッシュ生成装置を含む。
【0041】
この手法により、タイルのデプスマップに基づき、シーンのために改良された３次元メッシュを生成することが可能となる。特に、タイル境界付近でのメッシュの不整合、及び特にホールのリスクが著しく低減され、又は多くのケースでは更に除去される。
【0042】
この手法では、シーンの表現に基づく画像からの、３次元メッシュによるシーンの幾何学的な空間表現への変換又は移行を改善することが可能となる。
【0043】
本発明の任意選択の特徴によれば、メッシュ生成装置は、３次元メッシュを生成するために使用するための第１の境界領域のデプス値の一部を選択するように構成され、第２の処理装置は、第１の境界領域がデプス値の一部に属する場合にのみ、第１の境界領域のデプス値を修正するように構成される。
【0044】
そのため、品質を犠牲にすることなく、複雑性及び計算資源使用の低減が実現される。この手法では、タイル表現と、そこから生成されたメッシュ表現との間の整合性及び相関性を、より高めることが可能になる。
【0045】
本発明の任意選択の特徴によれば、第２の処理装置は第１のデプス値を修正することに続いて、第１のタイルのデプスマップに空間フィルタを適用するように構成される。
【0046】
このことにより、画質が改善され、特に、タイルの修正された境界領域と他の領域との間の整合性が改善される。この空間フィルタは、第１のタイルのデプスマップのデプス値のみに限定して適用される。
【0047】
本発明の任意選択の特徴によれば、この装置は更に、遠隔ソースからタイル化３次元画像表現のためのタイルを受け取るように構成された遠隔ソース通信装置と、タイル化３次元画像表現のためのタイルを格納するローカル・ストアとを備え、受信装置は、遠隔ソース通信装置から第１のタイルを受け取るのに応じて、ローカル・ストアから少なくとも第２のデプス値を読み取るように構成される。
【0048】
この手法では、例えば仮想現実アプリケーションで、シーン表現を動的に配送することに対応した、高効率な手法が可能となる。例えば、この手法では、過去に受け取ってローカルに格納されたタイル、又は例えばシーンの静的部分を表現する、所定又は既定の基準タイルと効率的に組み合わせながら、修正されたタイルのみを伝送するように要求することによって、バンド幅を著しく低減することが可能となる。
【0049】
ローカル・ストアは、遠隔ソースから過去に受け取った、タイル化３次元画像表現のタイルを格納するように構成される。
【0050】
本発明の任意選択の特徴によれば、ローカル・ストアは、第１のデプス値を修正することに続いて、第１のタイルのデプスマップ又はメッシュを格納するように構成される。
【0051】
これにより、例えば多くの用途で通信要件を緩和する効率的な手法が可能となる。また、新しいタイルと過去のタイルとの間の整合性を保ちながら、ローカルに格納されたシーンの表現を、段階的に更新することが可能となる。
【0052】
本発明の任意選択の特徴によれば、この装置は更に、現在の視点方向を決定するためのユーザ入力部を含み、遠隔ソース通信装置は、現在の視点方向についての指示を遠隔ソースに送信するように構成されており、その指示に応答して第１のタイルが受け取られる。
【0053】
この手法は、例えば仮想現実体験を提供するための、非常に効率的なクライアントサーバシステムなどを提供する。
【0054】
本発明の任意選択の特徴によれば、ローカル・ストアは、格納されたタイルに対するメッシュを格納するように構成され、メッシュ生成装置は、差分量が閾値を超えるとの検出に応答して、第２のタイルに対して格納されたメッシュにエッジの頂点を付加するように構成され、差分量は、第１のタイルの境界デプス値と、第２のタイルに対して格納されたメッシュの対応する境界デプス値との間のデプスの差分を表す。
【0055】
これは、多くの実施形態で、性能の改善をもたらす。
【0056】
本発明の任意選択の特徴によれば、第２の処理装置は、第１のデプス値の位置で、第１のタイルに近接する各タイルの、最も近いデプス値のみに応じて、第１のデプス値を決定するように構成される。
【0057】
そのため、ほとんどのシナリオ及び多くの用途で、複雑性が低いにも関わらず、高効率で、高性能に有利な手法が可能になる。
【0058】
本発明の任意選択の特徴によれば、各タイルは平面ポリゴンであり、相互接続された複数のタイルは３次元構造を形成する。
【0059】
そのため、ほとんどのシナリオ及び多くの用途で、複雑性が低いにも関わらず、高効率で、高性能に有利な手法が可能になる。
【0060】
本発明の一態様によれば、シーンの３次元画像表現を生成する方法が提供され、この方法は、第１の視点からシーンのタイル化３次元画像表現を受け取るステップであって、タイル化３次元画像表現が複数の相互接続されたタイルを含み、各タイルが、第１の視点からのシーンのビューポートを表すデプスマップ及びテクスチャマップを含み、各タイルがタイリングパターンを形成する、ステップと、タイリングパターンに応じて、少なくとも第１のタイル及び第２のタイルの隣接する境界領域を決定するステップであって、第１のタイル及び第２のタイルが近接しているタイルである、ステップと、第１のタイルの第１の境界領域の第１のデプス値と第２のタイルの第２の境界領域の第２のデプス値とのうち、少なくともいくつかの値について第１のデプス値と第２のデプス値との間の差異が低減されるように、少なくとも第２のデプス値に応じて、少なくとも第１のデプス値を修正するステップであって、第１の境界領域及び第２の境界領域が近接する境界領域である、ステップと、を有する。
【0061】
本発明の、これらの及び他の態様、特徴、及び利点は、以下に説明する実施形態、並びにそれに関する説明から明らかになるであろう。
【0062】
本発明の実施形態は、単なる例として、以下の図面を参照し、説明を行う。
【図面の簡単な説明】
【0063】
【図1】本発明のいくつかの実施形態を含む、クライアントサーバ型仮想現実システムの一例を示す図である。
【図2】シーンの立方体タイル表現に関する、各要素の例を示す図である。
【図3】本発明のいくつかの実施形態による、画像生成装置の一例を示す図である。
【図4】シーンの立方体タイル表現に関する、各要素の例を示す図である。
【図5】シーンの立方体タイル表現に関する、各要素の例を示す図である。
【図6】本発明のいくつかの実施形態による、画像生成装置の一例を示す図である。
【図7】シーンの立方体タイル表現に関する、各要素の例を示す図である。
【発明を実施するための形態】
【0064】
以下の説明では、仮想現実アプリケーションでの画像生成に適用することのできる、本発明の実施形態に重点を置く。しかし、本発明はこの用途に限定されず、例えば、多様な画像処理及び画像生成用途にも適用できることが理解されるであろう。
【0065】
図１は、本発明概念の例及び別形を具体化する、システムの一例を示す。
【0066】
この例では、画像生成装置１０１の形をとるクライアントは、様々な視点からのシーンを表現する画像を生成するように構成される。すなわち、シーンの様々なビューポートに対応した画像を生成することができる。この画像生成装置１０１は、シーンの３次元画像表現を受け取り、次いで、その表現から画像を生成するように構成される。この例では、３次元画像表現は、例えばインターネットであるネットワーク１０５を介して、遠隔サーバ１０３から受け取られる。特定の例では、遠隔サーバ１０３は、例えば仮想環境内での実際のユーザの動きに対応したビューを生成するために、画像生成装置１０１に３次元環境の３次元画像表現を提供する、仮想現実サーバである。
【0067】
多くの用途で、３次元画像表現は、デプスカメラを用いて現実世界のシーン又は環境をキャプチャすることから生成することができる。これにより、３次元情報と共に視覚特性をキャプチャすることが可能となる。シーンを十分にキャプチャするために、しばしば複数のカメラが採用され、多数のカメラが採用される場合も少なくない。いくつかの用途では、良好なキャプチャを実現するために、１０個、２０個、又は更に多くのカメラが使用される。
【0068】
利便性の高いユーザ体験を実現するにあたり、重要な要素は、シーンの仮想データ表現である。シーンを描写するデータが、視覚特性及び空間特性の両方について正確な表現を提供することが必要となる。同時に、シーンを表現するのに要するデータ量を低減することが不可欠となる。多くの用途において、データ量が多いと、実現することのできる品質を制限する要因になることが多いためである。
【0069】
更に、デプスカメラでのキャプチャから、環境又はシーンのデータ表現へ変換することは、非常に困難である場合が多く、エラーやアーティファクトを引き起こすおそれがある。例えば、いくつかの用途では、キャプチャされたデータは、現実世界のシーンの３次元モデルを構築するために使用される。次いで、特定の視点からのモデルを計測することによって、３次元仮想現実体験を伴う、ユーザ向け視点画像が生成される。他の用途では、例えば、キャプチャされた画像から最も近い１つ又は複数の画像を選択し、所望の視点に対応するために視点シフトを実行することによって、或いは、場合によってはキャプチャされた画像をそのまま使用することによって、キャプチャされた画像及びデプス情報から特定のビューポート又は視点についての画像が直接生成される。
【0070】
この場合、シーンは、３次元モデルとしてではなく、画像セットによって画像ドメインで表現される。ただし、各画像には、画像内のオブジェクトにデプス情報を与えるデプスマップが更に提供される。すなわち、シーンの３次元画像表現は、画像セット及び関連するデプスマップを備えることで実現される。
【0071】
特に、図１のシステムでは、（少なくとも部分的に）シーンを表現するために、所与の第１の視点からの、シーンのタイル化３次元画像表現が使用される。所与の視点について、各タイルが画像、又は（通常、色を含む）光強度情報を提供するテクスチャマップを備え、相互接続されたタイルセットがシーンを表現することで、１つの表現が実現される。具体的には、所与の視点から与えられた、ある（大きな）ビューポートは、複数のより小さなサブビューポートに分割され、これらのサブビューポートはそれぞれ、タイルによって表現される。
【0072】
したがって、各タイルは、シーンのより大きな部分を表現しながら、シーンの一部の表現を提供する。通常、各タイルは、境界線及び接合点に沿って相互接続し、それらが各タイル間の明確な境界となる。ところが、いくつかの実施形態では、個々のタイルは（通常は非常にわずかな）重複部を有する。
【0073】
こうして、第１の視点からの所与の視点方向について、その視点方向を含むサブビューポートを表現するタイルによって、シーンが表現される。ほとんどの実施形態では、視点方向と、それに関連する情報を含む１つのタイルとの間には、一対一の直接的な相関関係がある。しかし、既に述べたように、各タイルがわずかに重なり合う場合があり、その場合、複数のタイルがその視点方向と関連する可能性がある。
【0074】
各タイルは、全体としてタイリングパターンを形成する。それゆえ、複数のタイルによって表現された大きなビューポートは、タイリングパターンに従って個別のタイルに分割される。多くの実施形態では、タイリングパターンは遠隔サーバ１０３及び画像生成装置１０１の双方に認知された、所定のタイリングパターンとすることができる。他の実施形態では、例えば遠隔サーバ１０３によって動的にタイリングパターンを決定し、そのタイリングパターンは画像生成装置１０１に伝達することができる。タイリングパターンは通常、連続してフルビューポートを対象とするものであり、そのため、タイリングパターンは、ビューポート内の各視点方向について、（少なくとも１つの）タイルを有する。
【0075】
したがって、タイリングパターンは、シーンの（より小さな、すなわちサブ）ビューポートに対応する各タイルと共に、シーンのワールド座標系におけるビューポートを形成する。言い替えれば、タイルのビューポートは全体として、第１の視点のために、組み合わされたビューポートを形成する。複数のタイルが連続して、組み合わされたビューポートを対象とする。組み合わされたビューポートは、第１の視点を完全に、又は部分的に取り囲む。
【0076】
相互接続された各タイルは、シーンのワールド座標系において（重なり合う境界を含め）境界を共有する。多くの実施形態では、２つの近接又は隣接するタイルはそれぞれ、単一の連続領域を表現しながら、（組み合わされた２つの別個の領域に相当する）シーンの異なる領域を表現する。２つの近接又は隣接するタイルによって表現された２つの領域を組み合わせることで、単一の領域が形成される。シーンの連続領域にビューポートを表現するタイルによって形成されたタイリングパターンを用いて、タイリングパターンの各タイルは、シーンの異なる領域にビューポートを表現する。シーンの異なる領域に対し、異なるビューポートに対応するタイルを組み合わせることで、シーンの連続領域に、組み合わされたビューポートを形成する。連続領域が、３次元シーンにおける単一の３次元形状に対応する領域となる。タイリングパターンの各タイルによって表現された、シーンの各領域は、シーンにおける単一の３次元形状又は領域に組み合わされる（逆に、例えば、２つ以上の別個の形状に結合される各領域は、接触せず、又は重なり合わない）。
【0077】
各タイルは、（シーン座標系において）タイルに対応するビューポート又はエリアへのシーンの投影を表現する、デプスマップ及びテクスチャマップを含む。タイルパターンの各タイルは、タイルパターンのタイルの各ビューポートの組合せ又は合計に対応するビューポートへのシーンの投影を反映する。タイルパターンの各タイルは、同一の視点についてのビューポートに対応する。
【0078】
ある視点に対するビューポートは、シーン（座標系）内の一範囲（又は３次元サーフェス）に対応し、そこに視点からのシーンが投影される。視点とは、視点姿勢であり、或いは多くの実施形態では視点位置である。
【0079】
視点という用語は、例えば、視点又はビューポートの基準点を反映すると考えられ、典型的には、シーンの基準である視聴者又はカメラに対応すると考えられる。視点は位置に対応すると考えられることが多いが、しばしば方向性の側面も含むことができると考えられる。更に一般的には、姿勢に対応すると考えられる。例えば、視点は、視聴者の位置及び視聴者が見ている方向を反映することができる。こうした視点についてのシーンのタイル化表現は、例えば、実質上その方向を中心とするタイルの半球構造となり得る（すなわち、特定のタイル表現は、特定の位置及び方向についてのものとなり得る）。
【0080】
実際には、多くの実施形態で、タイル表現は完全な球面表示ではなく、シーンの一部のみを表現する。例えば、立方体表現では、立方体の１つ又は複数の側面又はタイルは失われている。したがって、所与の視点からのシーンのタイル化表現は、視聴者又はカメラの基準的な位置を反映するだけでなく、視点方向（例えば、起こり得る視点方向の範囲）も反映する。
【0081】
ビューポートという用語は、例えば、所与の視点からのシーンに対する範囲又はウィンドウに対応すると考えられる。例えば、ビューポートは、シーンの一部が投影されるサーフェスと考えられる。
【0082】
光強度画像又はテクスチャマップに加えて、各タイルは更に、光強度画像又はテクスチャマップの各ピクセルに、デプス情報を与えるデプスマップを提供する。デプスマップは一般に、第１の視点から、デプス値の位置に対応する視点方向での、オブジェクトまでの距離を指示するデプス値を含む。デプス値は、例えば、視点からオブジェクトまでの距離が増加するにつれて増加する値を有することができ、或いは、視点からオブジェクトまでの距離が増加するにつれて減少する値を有することができる。多くの実施形態で、デプス値は視差値として提供される。
【0083】
デプス情報及び画像（テクスチャ）情報の双方を付加することで、画像生成装置１０１による処理を改善することのできる、追加情報が提供される。特に、３次元画像表現を実現する、所与の視点に対する他の視点の視点画像の生成を可能にし、容易にし、又は改善することができる。
【0084】
多くの実施形態で、タイルは、長方形（又はしばしば正方形）の複数の平面ポリゴンであり、それらが組み合わさって３次元構造を形成する。すなわち、形成された構造が、平面上だけでなく、３次元に拡張できるように、平面タイルが３次元空間に配置及び配向される。したがって、タイル化３次元画像表現によって実現されたフルビューポートは、３次元構造体又は３次元ビューポートである。
【0085】
多くの実施形態で、３次元ビューポートは球形であり、すなわち、第１の視点からのあらゆる視線方向にタイルが存在する。具体的には、第１の視点の周囲、及びタイリングパターンによって形成される構造内に位置する（球形ビューポートに対応する）球形状を考慮すれば、第１の視点から、球形のあらゆる点を介した境界線が、タイル上の位置に延在する。いくつかの実施形態では、ビューポートはすべての起こり得る視点方向に対応することはできず、半球又は１／４球など、球形の一部のみを対象とする場合がある。
【0086】
タイリングパターンの具体的な例は、例えば立方体マッピングなどで知られる、立方体タイリングパターンである。立方体タイリングパターンでは、６つの正方形が第１の視点を取り囲む立方体の６つの側面を形成する。したがって、こうした例では、タイル化３次元画像表現は、それぞれのタイルがテクスチャマップ及びデプスマップを含む、６つの正方形タイルを提供する。
【0087】
各タイルはしばしば、組み合わされた平面表現として提供される。しかし、各タイルは３次元構造（立方体）を形成するため、こうした平面表現は本質的に、少なくともいくつかの近接するタイルを分離する。立方体タイリングパターンの平面表現が、図２に示されており、平面表現のテクスチャマップ及びデプスマップが示されている。
【0088】
図１のシステムでは、画像生成装置１０１は、所与の第１の視点からのシーンに関し、立方体表現などのタイル化３次元画像表現の入力を受け取る。次いで、画像生成装置１０１は、この入力されたタイル化３次元画像表現から、第１の視点からの特定の視点方向に対応する画像、又は異なる視点からの特定の視点方向に実際に対応する画像を生成する。したがって、この例での画像生成装置１０１は、タイル化３次元画像表現からの様々な視点及び方向に関する画像を合成するように構成される。例えば、画像生成装置１０１は、仮想現実ヘッドセットなどのユーザ入力に応答して、様々な視点又は方向からの画像を生成する、仮想現実の用途を実現する。
【0089】
【0090】
画像生成装置１０１は、第１の視点からのシーンに関する、タイル化３次元画像表現の入力を受け取る、受信装置３０１を含む。この例では、受信装置３０１は、遠隔サーバ１０３からタイル化３次元画像表現の入力を受け取り、また、受信装置３０１は、適切なネットワーク・インターフェイス、及び遠隔サーバ１０３と通信する機能を備える。他の実施形態においては、ローカル・ストア又はデータディスク読み取り装置といった、その他の内部又は外部のソースから、タイル化３次元画像表現の入力を受け取ることができると理解されよう。
【0091】
この例では、画像生成装置１０１は更に、受け取ったタイル化３次元画像表現から画像を生成するように構成された、画像生成装置３０３を含む。特に、画像生成装置３０３は、第１の視点ではなく、タイル化３次元画像表現を実現するための、様々な視点についての画像を生成するように構成される。
【0092】
特定の例では、画像生成装置１０１は、仮想現実アプリケーションを実行し、視点画像を生成するための視点位置及び視点方向を制御する、ユーザ・インターフェイス３０５と結合されている。
【0093】
特定の例では、画像生成装置１０１は、仮想現実シーンでの、所望の動き及び／又は方向を反映したユーザ入力を受け取るように構成された、ユーザ・インターフェイス３０５を備える仮想現実装置である。例えば、ユーザは、ジョイスティック及び／又はキーボード、或いは、例えばユーザに装着された、適切なセンサを備える仮想現実ヘッドセットから決定される視点方向を用いて、仮想現実シーンを行き来することができる。多くの実施形態では、ユーザ・インターフェイス３０５は、ユーザ入力を、シーンが視聴される位置、及び／又は所与の視点位置からの視点方向を示す、所望のレンダリング視点に変換する機能を備える（視点は、位置指示又は方向指示、或いはその両方を参照し、したがって所望の視点をユーザに表示すると考えられる）。
【0094】
いくつかの実施形態では、所与のレンダリング視点に関する複数のビューが生成され、また、いくつかの実施形態では、同一のユーザ入力から複数の視点が生成されることが理解されよう。例えば、仮想現実装置は、右目の視点に対応する画像及び左目の視点に対応する画像を生成するように構成され、それによって３次元効果を実現する。説明を簡潔及び簡単にするために、以下の説明では所与のレンダリング視点に関する１つの画像の生成に重点を置く。
【0095】
ユーザ・インターフェイス３０５は、具体的には、所望又は目標のレンダリング視点を指示することのできる、レンダリング視点ベクトルを生成するように構成される。例えば、視聴者の向きを定義する、ピッチ、ヨー、ロールのパラメータといった、３つの構成要素又は値を含む、レンダリング視点ベクトルを生成することができる。多くの実施形態で、目標の視点ベクトルは、更に、又はその代わりに、シーン内の３次元の位置を定義する、例えばｘ、ｙ、ｚの値で表される３つの値を含む。いくつかの実施形態では、位置、及び／又は方向は、２つ以下の値で表現され得ることが理解されよう。例えば、位置はシーンを通じた所定の経路に沿った距離によって指定することができ、したがって単一の値で指定することができる。同様に、ピッチ及びヨーは一定であると見なすことができ、方向はロール値のみで与えることができる。
【0096】
生成されたレンダリング視点ベクトルは、レンダリング視点ベクトルを反映した視点のための画像を生成するように構成された、画像生成装置３０３に供給される。この画像生成は、タイル化３次元画像表現に基づくものである。
【0097】
いくつかの実施形態では、生成された画像は、例えば、仮想現実ヘッドセットの右目又は左目用のディスプレイといった、適切なディスプレイを駆動するためのディスプレイ・ドライバに供給される。仮想現実ヘッドセットは更に、ユーザ・インターフェイス３０５にユーザ入力を供給するセンサを備える。
【0098】
したがって、仮想現実装置は、タイル化３次元画像表現によって表現される、仮想シーンにおける特定の視点からのビューを表現する画像を生成する。視点は、ユーザ入力によって制御され、通常はユーザが仮想シーン内を移動したり見渡したりすることができる。
【0099】
こうして、受け取ったタイル化３次元画像表現の入力に基づき、画像生成装置３０３によって画像が描写される。ただし、画像生成装置１０１は、タイル化３次元画像表現の入力を直接使用せず、それを修正してから画像合成を実施する。そのため、タイル化３次元画像表現の入力のうち、少なくとも１つのデプス値を修正することによって生成された修正済みタイル化３次元画像表現に基づき、レンダリングが実行される。
【0100】
特定の例では、画像生成装置３０３は、デプスマップ情報を直接使用しないが、その代わりにこれをメッシュ・フォーマットに変換する。デプスマップから３次元メッシュを生成し、それに続いてメッシュに基づき画像を処理又は合成することは、追加的な特徴ではあるが、多くの実施形態において有利な実施及び／又は実装を実現する。
【0101】
実際には、デプスマップは自然な３次元取得及び圧縮フォーマットを形成することが多いが、ほとんどの３次元ソフトウェア及び３次元ハードウェアは、例えば仮想現実再生のために、３次元の頂点座標及び辺からなる、３次元表現に基づくメッシュを使用する。それゆえ、デプスマップからメッシュへの変換は、多くのオフライン及びオンライン（リアルタイム）のアルゴリズムにとって、重要な演算である。
【0102】
したがって、図３の例では、画像生成装置１０１は、タイルのデプスマップに基づき３次元メッシュを生成するように構成された、メッシュ生成装置３０７を備える。したがって、画像生成装置３０３には、受信装置３０１からのタイルのテクスチャマップ、及びメッシュ生成装置３０７から生成されたメッシュが供給される。当業者なら、テクスチャマップ及びメッシュから画像を合成する多くの各種アルゴリズムを認識しており、それらのいずれも、本発明を損なうことなく使用することができることを理解するであろう。
【0103】
多くのグラフィック・アプリケーションでは、シーンは、テクスチャマップと３次元メッシュの組合せによって表現されるため、こうした３次元表現から画像を生成するために、しばしば専用のハードウェアが使用される。多くのケースで特に有効な手法は、ポリゴンが３次元位置で与えられる共通の辺及び角（頂点）で結合された、一連のポリゴンであるポリゴンメッシュによって、画像オブジェクト、すなわち実際にはシーン全体を表現することである。したがって、組み合わされた３次元ポリゴンメッシュは、場合によっては画像全体の３次元描写を含む、効果的な３次元オブジェクトのモデルを実現する。ポリゴンメッシュは、３次元空間で与えられた共通の角を有する複数の三角形によって形成された、三角メッシュであることが多い。
【0104】
したがって、実際には、デプスマップは３次元メッシュに変換されることが多い。３次元メッシュは、（例えばＯｐｅｎＧＬベースの）ほとんどのハードウェア・ドライバで対応されている、良く知られたグラフィック・フォーマットである。
【0105】
一例として、ステレオカメラは、所与の視点からシーンの画像を記録することができる。ピクセルによって表現されるオブジェクトまでの距離を推定するための視差推定が、各ピクセルに対し実行される。この視差推定が各ピクセルに対し実行された結果、各ピクセルにｘ、ｙ、ｚでの３次元位置が与えられる。次いで、これらの位置は、三角メッシュの頂点として使用され、２Ｘ２ピクセルの各グループに対し２つの三角形が形成される。多くの三角形ができることになるため、この処理は、いくつかの初期三角形をより大きな三角形に統合する処理を含む（或いは、いくつかのケースでは、より全体的に、より大きなポリゴンに統合する）。そのため、三角形の数が減少するが、メッシュの空間解像度も低下することになる。したがって、メッシュの粒度は、通常はデプスの変化量、並びに、平面領域で大部分が発生する、より大きなポリゴンに依存する。
【0106】
更に、各頂点はテクスチャマップの光強度値と関連している。テクスチャマップは、基本的に、シーン内のオブジェクトのピクセル位置で、頂点の光強度又は色強度を提供する。典型的には、光強度画像又はテクスチャマップは、頂点のｘ、ｙ、ｚ位置を表すデータ、及びテクスチャマップでの関連付けられた位置を特定するｕ、ｖデータを含む、各頂点を備えたメッシュと共に提供される。すなわち、テクスチャマップでキャプチャされた、ｘ、ｙ、ｚ位置での光強度を示す。
【0107】
こうした表現では、ポリゴンメッシュはオブジェクトの３次元幾何形状の情報を提供するために使用されるが、テクスチャは、通常別個のデータ構造として提供される。具体的には、テクスチャは、処理アルゴリズムによって３次元幾何形状に重ね書きすることのできる、別個の２次元マップとして提供されることが多い。
【0108】
三角メッシュの使用は、コンピュータ・グラフィック・アルゴリズムによる処理及び操作に特に適しており、多くの効果的なソフトウェア及びハードウェアソリューションが開発され、市場で入手可能になっている。各ポリゴンを別個に処理するのではなく、複数のポリゴンに対し個々の頂点を共通に処理するアルゴリズムによって、多くのシステムで相当な計算効率性が実現されている。例えば、典型的な三角メッシュでは、個々の頂点が複数（３から８であることが多い）の三角形と共有されていることが多い。したがって、単一の頂点の処理を比較的多くの三角形にも適用することができ、そのため、画像又は他のオブジェクトで処理される点の数が大幅に減少する。
【0109】
図３の画像生成装置１０１では、メッシュ生成装置３０７は受け取ったタイルデプスマップに基づいてメッシュを生成し、したがって、イメージベースの表現から幾何形状ベースの表現への変換を実行する（メッシュは、幾何学的な３次元構造と考えることができる）。
【0110】
ただし、画像生成装置１０１は、受け取ったタイルデプスマップを直接使用するのではなく、タイルデプスマップを処理し、デプスマップ内のいくつかのデプス値を修正するように構成される。
【0111】
具体的には、画像生成装置１０１は、受信装置３０１に結合され、また、近接するタイルの第１のタイル及び第２のタイルを有するタイリングパターンに応じて、少なくとも第１のタイル及び第２のタイルの近接する境界領域を決定するように構成された、第１の処理装置３１１を備える。第１の処理装置３１１は、タイリングパターンに基づき、あるタイルの境界領域又はエッジ領域、及びそれに対応する他のタイルの境界領域又はエッジ領域を特定する。この２つの境界領域は、具体的には、２つの境界領域は共に接触又は結合しているか、重なり合っている。具体的には、第１のタイルのエッジピクセルに対し、少なくとも１つの隣接ピクセル又は近接ピクセルが、他のタイルにある。したがって、このエッジピクセル及び、隣接ピクセル又は近接ピクセルは、２つの異なるデプスマップ又はタイルの、境界領域に属する。タイリングパターンは（例えば、所定のものとすることによって、若しくは遠隔サーバ１０３と通信することによって）画像生成装置１０１に認識されている。そのため、第１の処理装置３１１は、どのタイルが近接するタイルと結合しているのか、或いは近接のタイルであるのかを判定することができる。また、他のタイル又はデプスマップ内のどのピクセルが、現在のタイル又はデプスマップ内の所与のエッジピクセル又はデプス値に対し、隣接及び近接しているのかを判定することができる。
【0112】
多くの実施形態で、第１の処理装置３１１は、第１のタイルの第１の境界領域を、第１のデプスマップ又は第１のタイルのエッジにある、すべてのエッジピクセル又はデプス値として判定するように構成される。また、（少なくとも１回の生成における）近傍ピクセル又は隣接ピクセルが、第２のデプスマップ又は第２のタイル内にあると判定するように構成される。いくつかの実施形態では、第２の境界領域（すなわち、第２のタイル内の境界領域）は、第２のタイルの隣接するピクセルの組として判定される。
【0113】
第１の処理装置３１１は、受信装置３０１に結合され、そこからデプスマップを受け取る、第２の処理装置３０９に結合される。加えて、第２の処理装置３０９は、第１の処理装置３１１に結合され、そこから第１の境界領域及び第２の境界領域の情報を受け取る。
【0114】
第２の処理装置３０９は、第１の境界領域の少なくともいくつかのピクセルを処理するように構成される。すなわち、特定された第１のタイルの境界領域のデプス値を修正するように構成される。デプス値の修正は、第２の境界領域のデプス値に依存するようになされている。すなわち、第１のタイルの境界領域にある修正されたデプス値は、第２のタイルの近接する境界領域にあるデプス値に依存している。すなわち、少なくとも第１のタイルの第１の境界領域の第１のデプス値は、（第１の及び第２の境界領域が、近接する境界領域である場合）少なくとも第２のタイルの第２の境界領域の第２のデプス値に基づいて修正される。修正された第１のデプス値は、第２のデプス値の関数として、すなわち、タイル化表現の他のタイル内の、少なくとも１つのデプス値の関数として決定される。第１のデプス値及び第２のデプス値のいくつかの値について、修正されたデプス値は元のデプス値と同じでもあり得ることが理解されよう。
【0115】
多くの実施形態で、少なくとも１つのタイルの少なくともすべてのエッジピクセルに対し、この処理が繰り返される。更に、多くの実施形態で、修正されたデプス値は、通常は近接するタイルのただ１つのデプス値（及び、場合によっては元のデプス値、すなわち、修正されるピクセルの入力値）に依存する。特に、多くの実施形態で、所与のエッジピクセルのためのデプス値は、他のタイルの最も近いデプス値のみの関数として、及び場合によっては元のデプス値自体として決定される。
【0116】
そのため、実際には多くの実施形態で、近接する（隣接する）タイルの複数のデプス値を（例えば、近接するタイル内の、多数の近いデプス値を平均することによって）考慮することができるが、第２の処理装置３０９は、多くの実施形態で、各タイルの単一のデプス値のみを考慮する。更に、修正されるデプス値のほとんどで、ただ１つの近接するタイルが考慮され、したがって、他のタイルからのただ１つのデプス値が考慮される。しかし、立方体タイル化表現の角部のデプス値など、いくつかのデプス値については、第２の処理装置３０９は、近接する複数のタイルのそれぞれについて、１つのデプス値を考慮に入れる。例えば、このことにより、修正されたデプス値と、対応する２つのタイルの角のデプス値との間の、距離の２乗和が最小化される。他の例としては、３つのデプス値すべてを、例えば平均デプス値といった、同じ値にすることもできる。
【0117】
他のタイルで、ただ１つのデプス値が考慮される場合、そこで考慮されるデプス値は、具体的には最も近いデプス値である。よって、修正されるデプス値に最も近いデプス値が選択される。最も近いデプス値とは、各デプス値に関するビューポート内のそれぞれの位置で、シーンの距離メトリックが最小となるデプス値である。
【0118】
こうして、第２の処理装置３０９は、タイル化３次元画像表現の入力において受け取られた１つ又は複数のデプスマップを修正し、それによって修正されたタイル化３次元画像表現を生成する。次いで、修正されたデプスマップは、メッシュ生成装置３０７に供給され、引き続いてこれらの修正されたデプスマップに基づき、メッシュが生成される。
【0119】
この手法により、多くの実施形態で大幅な性能の改善が実現され、多くのケースで異なるタイル間の整合性を改善することができる。特に、この手法により、多くの実施形態で大幅なメッシュ生成の改善が実現され、とりわけ、例えば生成されたデプスメッシュ内でのホールのリスクが大幅に改善された、より整合性のあるメッシュ生成が実現される。
【0120】
以下に、既に説明した手法の様々な態様について、立方体タイル化表現の具体例に関する説明を行うが、これは単に一例に過ぎないことが理解されよう。
【0121】
本発明者の現実化は、図２のタイル化立方体表現を考慮することによって説明することができる。通常、立方体表現の各側面は、別々の透視投影に対応しており、立方体の他の側面とは別個に生成されることが多い。例えば、タイル化立方体表現は、回転オフセット９０°の、６つのデプスカメラを使用して生成することができる。デプス表現を立方体の各側面で一致させるには、立方体の中心とオブジェクトの場所との間の距離を、デプスマップがタイルごとに符号化するように、まず始めに、距離又は範囲の表現に変換することが最良である。ビットデプスを制限するために、このメータ単位の距離又は範囲を、距離で分割した定数として符号化する。逆関係が、よりコンパクトな符号化につながるためである。この変換及び量子化の手順を行った後、タイルごとに、更にデプスマップには空間的な非可逆圧縮が施される。通常、これにより立方体の各側面間で、デプスのばらつきが生じてしまう。
【0122】
別方として、符号化のために、異なるタイルを図２のような単一の平面構造に組み合わせることもできる。しかし、画像及び映像を圧縮するアルゴリズムが、量子化エラー及び符号化エラーを引き起こし、また、異なるタイル間で符号化が一致しないないという、タイル表現における特有のエッジ不整合を引き起こすことが認識されてきた。
【0123】
こうした現象は、特にタイルの単一平面パターンが符号化される場合に一般的である。実際には、こうした場合に、３次元から２次元への変換が、構造の間隙や断絶を起こしてしまう。例えば、立方体表現にとって、３次元トポロジは、図２に示すような立方体の側面では壊れている。その結果、符号化アーティファクトが著しい影響を持ち、視認されるに至ることもある。具体的には、ある立方体側面のエッジ上の３次元の点が、他の立方体側面のエッジ上の３次元の点と（３次元位置に関して）整合していないため、そこで得られたメッシュも整合しておらず、場合によっては隙間を有することになる。
【0124】
図４は、立方体タイル化フォーマットが使用される際に起こりやすい、潜在的なメッシュ・エラーを示す。この例は、６つの別個のタイルとして符号化された、デプスの立方体タイル化表現を示す。各矢印は、デプスマップの非可逆符号化によって、タイルのどのエッジがメッシュ・エラーを起こす場合があるかを表している。
【0125】
図３の画像生成装置１０１の手法では、１つ又は複数の他のタイルの境界でのデプス値と非常に類似するか、典型的には同一であるように抑制された、所与のタイル境界のデプス値によって、こうした現象を緩和又は回避することができる。そのため、引き続いて構成されたメッシュには整合性があり、デプス圧縮エラーが起きないことが確実になる。
【0126】
図５は、すべてのピクセル又はデプス値の間で三角形を形成することによって生成されたメッシュの例を示す。この例では、メッシュの頂点となるデプスマップの画素の位置が、円で示されている。典型的には、ピクセル位置の構造格子（例えば２つ又は４つごとのピクセル）が使用される。すべてのこうしたピクセル位置の一部が、図５に示されている。この例では、タイルＤＵＰはタイル境界Ａを有し、タイルＤｆｒｏｎｔはタイル境界Ｂを有し、各境界のピクセルは、ＤＡ，ｉ及びＤＢ，ｊとして示されている。この例では、境界Ａ及び境界Ｂは、２つの異なるタイルからの境界であり、デプスマップの非可逆画像圧縮がこれらのサンプルに不整合を起こさせる。すなわち、タイルＤＵＰに対し生成された三角形が、Ｄｆｒｏｎｔに対し生成された三角形と整合していないといった、メッシュでのエラーにつながる異なる値を、別々のタイルの対応するデプス値が有することになる。しかし、対応する境界位置のデプス値を、同じデプス値に設定してからメッシュを生成することによって、整合性のあるメッシュが生成される。
【0127】
別の実施形態では、デプス値を決定するために、種々の機能を用いることができると理解されよう。とはいえ、多くの実施形態では、２つの近接するタイルにおいて、近接するエッジのデプス値が同じであるか、少なくともそれらの間の差異が低減されるように、デプス値が決定される。具体的には、第１のデプス値及び第２のデプス値がエッジ値である場合、これら２つは同一の値に設定される。いくつかの実施形態では、第１のデプス値は、第２のデプス値の値に設定されるが、多くの実施形態では、第１及び第２のデプス値双方（及び場合によっては他のデプス値又はパラメータと）の関数としてデプス値が決定され、続いて第１及び第２のデプス値は、その値に設定される。すなわち、第１及び第２のデプス値は、双方とも修正されている。
【0128】
いくつかの実施形態では、２つのデプス値は同じ値には設定されないが、例えば、互いに近い値に設定される。すなわち、それらの間の値の差異が低減される。一例として、第１のデプス値を、第１及び第２のデプス値の平均値と同一に設定すると、第１のデプス値の変化は、一定の量以上に変化することはない。したがって、デプス値の変化は、最大レベルで制限される。例えば、いくつかのケースでは、修正されたデプス値は、生成されたメッシュ内に依然としてギャップを生じさせるが、こうしたギャップは潜在的に大幅に低減されている。同時に、境界領域のデプス値は、境界領域の外側にある第１のタイルのデプス値に対して、過剰に修正されないことが保障される。これにより、タイル内でより整合性の高いデプスマップが実現される。使用される厳密な関数は、個々の実施形態での選好及び要件によるものであり、具体的には、タイル内でのデプス値の整合性と、タイル間のデプス値の整合性との、所望のトレードオフによるものであることが理解されよう。
【0129】
各エッジピクセルのデプス値を同一に設定することは、２つの異なるデプスマップから生成されたメッシュ三角形の間で、高レベルの整合性を実現し、したがって、整合性のあるメッシュを実現する。
【0130】
【0131】
こうして、新しいデプス値は、対応する境界ピクセル位置のデプス値と同一の、平均デプス値に設定される。ここで、ピクセル座標及びデプス値を用いて、新たなメッシュを構成すると、境界Ａ及び境界Ｂに対応する境界ピクセルは、結果的に同一の３次元位置となる。この例では、デプスを抑制する演算は、２つのサンプルに渡って平均化しているが、より多くのサンプルを使用できることが理解されよう。角部では、この平均化は通常、（立方体マップの場合）３つのデプス値、又は（４つのタイルが交わる他のタイル化フォーマットの場合）４つのデプス値に渡るものである。言い替えれば、この平均値は、現在のピクセルに近接する各タイルの、最も近いピクセル群のデプス値を平均化することによって決定される。
【0132】
別法として、Ｄ’Ａ，ｉを、位置ｊの周囲にある多くのサンプル位置の平均として設定することもできる。また、境界からやや離れたピクセル位置も、修正される可能性がある。
【0133】
この例では、第２の処理装置３０９は、第１のデプス値の位置で第１のタイルに近接する、各タイルの最も近いピクセルのデプス値のみに応じて、第１のデプス値を決定するように構成される。
【0134】
多くの実施形態では、第２の処理装置３０９は、第１のデプス値を修正した後、更に、第１のタイルのデプスマップに空間フィルタを適用するように構成される。
【0135】
よって、第２の処理装置３０９は、所与のタイルの境界領域にあるデプス値を修正した後に、修正されたデプスマップに空間フィルタリングを施す。この空間フィルタは、具体的には、境界領域及び内部領域の双方を含む、デプスマップ全体に対して適用される。ただし、他の実施形態では、この空間フィルタは、境界領域、及び境界領域に隣接する内部領域の一部のみに対して適用される。
【0136】
境界領域のデプス値を修正することで、タイル間の整合性を改善することができる。ところが、こうした修正がデプスマップ内の内部整合性を低下させてしまう危険性があり、そのような整合性を担保し、又は増加させるために、空間ローパスフィルタリングが使用される。
【0137】
例えば、こうした修正が、境界ピクセルとタイル内の境界外にあるピクセルとの間の、新たな不整合を招く危険性を低減するためには、（まさに）境界内にある行及び列のデプス値が、境界での新たなデプス値と空間的に整合するように、それらを空間的にフィルタリングすることが望ましい。
【0138】
多くの実施形態では、こうした空間フィルタリングは、修正されたデプス値に対しては適用されない。例えば、エッジピクセルは、他のタイルのデプス値に基づき修正され、引き続いて、エッジピクセルの近傍にあるピクセルに空間フィルタが適用されるが、修正されたエッジピクセルはそれには含まれない。こうして、エッジピクセルはそれ自体の値を維持するが、エッジピクセル近傍にある内部デプス値にフィルタを施すことによって、エッジピクセルの新たな値により整合するように、内部デプス値が修正される（こうしたピクセルのためのフィルタリング・カーネルは、通常はエッジピクセルを含む）。
【0139】
多くの実施形態では、メッシュ生成装置３０７は、メッシュを生成するために、ピクセルの一部のみを使用するように構成される。すなわち、メッシュのポリゴン（典型的には三角形）の各頂点に対応するために、ピクセルの一部のみが選択される。例えば、頂点は、デプスマップの１つおき又は３つおきのピクセルのみに対して生成される。データレート要件及び計算資源要件がより低い、低複雑性メッシュを生成するために、こうした手法が適用されることが多い。
【0140】
こうした実施形態の多くで、メッシュ生成装置３０７は、メッシュ生成のためにデプス値の一部のみが使用されていることを、第２の処理装置３０９に指示するように構成される。それに応じて、第２の処理装置３０９は、以降のメッシュ生成で使用される、デプスマップ又は境界領域のデプス値のみを引き続き修正する。そのため、多くの実施形態で、第２の処理装置３０９の複雑性及び計算資源使用が、大幅に低減される。
【0141】
こうした手法は、不規則メッシュが使用される場合に、特に適している。具体的には、規則的メッシュが使用される実施形態では、トポロジは固定され、生成される動的メッシュから独立しており、特に、他のタイル用に生成されるメッシュから独立している。したがって、第２の処理装置３０９は、修正するデプス値の所定の情報を有している。
【0142】
しかし、不規則メッシュが使用される場合は、実際にメッシュ頂点に変換されるデプス値の一部が変動し、こうした場合、修正するデプス値の一部の選択は、不規則メッシュの頂点に基づくものになる。
【0143】
例えば、メッシュ生成装置３０７は、デプス値に何らかの修正を行う前に、第１のタイルのデプス値のみに基づいて、第１の（内部の）不規則メッシュを生成する。すなわち、第１のタイルのために、第１の初期メッシュを生成する。同様に、メッシュ生成装置３０７は、デプス値に何らかの修正を行う前に、第２のタイルのデプス値のみに基づいて、第２の（内部の）不規則メッシュを生成する。すなわち、第２のタイルのために、第２の初期メッシュを生成する。
【0144】
これら２つの不規則メッシュを組み合わせるために、メッシュ生成装置３０７は、第１のタイルと第２のタイルとの間の境界に沿って位置する、すべての頂点を特定する。次いで、第１の不規則メッシュ又は第２の不規則メッシュのいずれかからの頂点に対応する各デプス値が、第２の処理装置３０９に指示されるサブセットに含まれる。次いで、第２の処理装置３０９は、デプス値の修正又は抑制を実行し、具体的には、２つのタイルにあるデプス値を同一に設定する。次いで、修正されたデプス値はメッシュ生成装置３０７に戻され、メッシュ生成装置３０７は引き続きメッシュ内の既存の頂点のデプス値を修正し、あるメッシュから他のメッシュにかけて存在する、あらゆる頂点（及び対応するエッジ）を追加する。その結果、得られた２つの不規則メッシュは、２つのタイルの間の境界線に沿って正確に対応するため、容易に単一のメッシュへと結合することができる。
【0145】
これまでの例では、遠隔サーバ１０３は、タイル化３次元画像表現を、単一の結合された構造として生成し、伝送を行った。しかし、多くの実施形態で、遠隔サーバ１０３は、タイルのサブセット、及び特定の１つのタイルのみを一度に伝送するように構成される。こうした実施形態では、画像生成装置１０１は、１つのタイル又はタイルのサブセットを受け取り、これらを、他のソースからのタイル、特にローカルに格納された他のタイルと結合するように構成される。これらのローカルに格納されたタイルは、遠隔サーバ１０３から過去に受け取ったタイルでよく、場合によっては、例えば、所定の基準シーンを表す所定の基準タイルでもよい。所定の基準タイルは、次いで遠隔サーバ１０３から受け取る代替のタイルによって、動的に更新され、適合させられる。
【0146】
こうした実施形態では、画像生成装置１０１は、新たに受け取ったタイルのデプス値を抑制するために、相当する手法を使用するように構成される。
【0147】
特定の例では、画像生成装置１０１は、図６に示すように、受信装置３０１と結合された、遠隔ソース通信装置６０１及びローカル・ストア６０３を備える。この例では、受信装置３０１は、ローカル・ストア６０３及び遠隔ソース通信装置６０１のいずれかから、タイル化３次元画像表現のタイルを取得する。
【0148】
この例では、ローカル・ストア６０３は、タイル化３次元画像表現に対応するすべてのタイルを含み、受信装置３０１は、要求に応じ適切なタイルを取得するように構成される。格納されたタイル一式は、具体的には、過去に遠隔サーバ１０３から受け取ったタイルである。
【0149】
遠隔ソース通信装置６０１は、遠隔サーバ１０３から単一のタイル（又は場合によってはタイルのサブセット）を受け取るように構成される。この新たなタイルが、現在のところローカル・ストア６０３に格納されている既存のタイルと置き換えられる。
【0150】
新たなタイルは、例えば、画像生成装置１０１から遠隔サーバ１０３に送信されたメッセージに応答して受け取られる。実際には、特定の例では、ユーザ・インターフェイス３０５は、遠隔ソース通信装置６０１に結合され、現在決定されている視点（視点方向及び／又は視点位置）を遠隔ソース通信装置６０１に示す。それに応じて、遠隔ソース通信装置６０１は、格納されたタイルのいずれかを更新する適切な要求であるかを判定する、遠隔サーバ１０３に視点の指示を送信する。例えば、ある方向に対応する現在の視点が、長時間更新されていなければ、遠隔サーバ１０３は、新たな代替タイルを送信することを決定する。他の実施形態では、遠隔サーバ１０３は、例えば、シーンに大幅な動的変化が発生したことを検出したことに応答して、代替タイルを送信するべきであるとそれ自体で判定することができる。
【0151】
この例では、遠隔ソース通信装置６０１は、新たなタイル（代替タイルであることが多い）を受け取ると、格納された近接するタイルを取り出し、次いで受け取ったタイル、例えば、受け取ったタイルの１つ又は複数の境界ピクセル又はデプス値に対して前述の処理を実行し、新たなタイルと格納された近接するタイルとの間で対応するように、デプス値を修正する。
【0152】
ただし、多くの実施形態では、デプス値の修正は新たなタイルのみに対して行われる。
したがって、第２の処理装置３０９は、デプス値の平均を決定し、それを新たに受け取ったマップ及び格納された近接するデプスマップの双方に指定するのではなく、格納されたデプスマップの近接するデプス値と同一になるように、新たなデプスマップのデプス値を設定する。こうして、新たなタイルのデプスマップは、ローカルに格納されたデプスマップを修正することなく、それらと整合するように修正される。したがって、格納されたデプスマップに対し、既に実行されたあらゆる処理を再実行する必要がなく、例えば、これらのデプスマップに再度フィルタをかける必要がない。逆に、新たなタイルの新たなデプスマップが修正され、その後は既存のデプスマップと共に使用することができる。
したがって、第２の処理装置３０９は、デプス値の平均を決定し、それを新たに受け取ったマップ及び格納された近接するデプスマップの双方に指定するのではなく、格納されたデプスマップの近接するデプス値と同一になるように、新たなデプスマップのデプス値を設定する。こうして、新たなタイルのデプスマップは、ローカルに格納されたデプスマップを修正することなく、それらと整合するように修正される。したがって、格納されたデプスマップに対し、既に実行されたあらゆる処理を再実行する必要がなく、例えば、これらのデプスマップに再度フィルタをかける必要がない。逆に、新たなタイルの新たなデプスマップが修正され、その後は既存のデプスマップと共に使用することができる。
【0153】
この修正を行った後、受け取られた新たなデプスマップはローカル・ストアに格納され、その結果、ローカルに格納済みの３次元画像表現が更新される。
【0154】
この手法により、非常に効率的なシステムが可能となり、適宜かつ適切に個別のタイルのみが送信されるため、特に通信バンド幅が低減される。更に、こうした新たなタイルの画像品質の劣化や、エラー又はアーティファクトの発生に至る危険性が低減される。加えて、格納された近接するデプスマップに、処理又は修正を行う必要がないため、計算資源は少ないままにすることができる。
【0155】
実際には、いくつかの実施形態では、メッシュはシーンのために生成されており、他のタイルのためのデプス値は、明示的なデプスマップとしてではなく、メッシュとして格納される。こうした場合、所与のタイルのためのメッシュは、通常、タイルの境界又はエッジに沿って多数の頂点を有するように生成される。こうした頂点のデプスは、ここで近接するタイルの境界領域のデプス値として使用され、したがって、新たに受け取ったタイルのデプス値は、対応する近接のタイルのための既存メッシュの境界デプス値と整合するように修正される。
【0156】
更に、修正された新たなデプスマップのデプス値一式が、メッシュ、及び特に新たなタイルと境界を接するメッシュの各頂点又はデプス値に応じて選択され、また、それに対応する新たなデプスマップの（最も近い）デプス値が選択され、頂点のデプス値と同一に設定される。次いで、これらのピクセル又はデプス値は、適切な選択基準に従って新たなタイルの中から選択された他の頂点と共に、メッシュポリゴン（通常は三角形）の頂点として使用される。
【0157】
こうして、格納されたタイルの過去に生成されたメッシュと整合性のある、新たなタイルのためのメッシュが生成される。したがって、これらの近接するメッシュを修正する必要がなく、処理負担を大幅に低減しつつ、そこで直接使用することができる。
【0158】
ところが、こうした手法は、多くの実施形態で非常に高い性能を実現するものの、特定の場合にデプスの変動を発生させてしまう。特に、多くの実施形態で、近接するタイルの境界の頂点は、例えば、その領域ではデプスの変動が小さいことから、多くの小さなメッシュ三角形がより大きなメッシュに組み合わされてきた結果、互いにいくらか離れた位置にある。ところが、この線に沿って、非常に大きくデプスが変化した新たなタイルを受け取った場合、単一のメッシュ三角形の直線は、このデプスの変化を反映することができない。いくつかの実施形態では、第２の処理装置３０９は、新たなタイルの境界デプス値と、格納された近接するタイルの既存のメッシュポリゴンの、対応するデプス値との間のデプス差異が閾値を超えることを検出するように構成され、この検出に応答して新たな境界の頂点を追加する。この新たな境界の頂点は、新たなタイルのために生成された、メッシュ内のポリゴンの基礎を形成するが、近接するタイルのための頂点でもある。したがって、過去に生成されたメッシュに新たな頂点が追加され、既存のメッシュの対応するポリゴンが２つのポリゴンに分割される。こうして、新たな頂点と、近接するタイルに関する既存のメッシュ内の１つ又は複数の既存の頂点との間で、１つ又は複数のエッジが、既存のメッシュに追加される（以前から存在するポリゴンを、新たな頂点に基づき、より小さなポリゴンに分割するために必要なエッジの数は、具体的なトポロジに依存する）。
【0159】
具体的な例として、新たなデプスタイルが受け取られる際、多くの実施形態で、それを既存のメッシュと組み合わせることが望ましい。この状態が、図７に示されている。この例では、近接するタイルのデプスマップは、既にメッシュに変換されており、ここでは新たに到着したタイルのためのメッシュを生成することが要求される。これは、タイルのエッジにあるデプス値を解析することによって実行される。この新たなデプスマップが、その部位で既存の三角形のエッジと大きな差異のある（例えば、新たなタイル内のデプス変化により、頂点の候補として判定される）エッジデプス値を有する場合、次いで新たな頂点が生成され、１つ又は複数の三角形が近接するタイルで分割され、そこでより細密なメッシュを生成する。
【0160】
しかし、これに該当しない場合、近接するタイルのメッシュ・トポロジが直接使用され、新たなタイルの内部で、近接するメッシュの既存のエッジ頂点を使用して、メッシュが生成される。
【0161】
より複雑な手法は、特に不規則メッシュを使用する事例に適している。図７の例では、格納されたタイルについての、デプスマップからメッシュへの変換は、デプスマップの変動解析に基づいて行われてきたため、不規則メッシュとなってしまう。新たなタイルのためのメッシュを生成する際、いくつかの頂点（黒丸部）は修正されない。しかし、新たなデプスマップが、メッシュモデルを修正しなければならないと指示する場合、次いで新たな頂点が配置される。この決定は、近接するタイルとの境界での新たなデプス値から生成された、候補の頂点の位置を既存のメッシュと比較した結果に基づいて行われる。デプス又は位置の差異が非常に大きい（新たなデプスマップと既存のメッシュとの、奥行きの差異が非常に大きいと指示する）場合、次いで新たな頂点が導入され、近接するタイルの三角形が更新される。
【0162】
上述の説明は、タイル化３次元画像表現に基づく画像生成、特にデプスマップからのメッシュ生成によるものに重点を置いているが、これらは必須の特徴ではないことが理解されよう。実際には、改善されたタイル化３次元画像表現を生成することは、多種多様な用途において有利であり、本明細書で説明する、こうした改善されたタイル化３次元画像表現による、その後の特定の用途に限定されるものではない。
【0163】
上記の例は、第１のタイルの第１のデプスマップの第１のエッジデプス値が、第２のタイルの第２のデプスマップ内の最も近いエッジデプス値に基づいて修正される実施形態に、重点を置いている。しかし、多くの実施形態で、第１のエッジデプス値は、第１のエッジデプス値の直近にはない、第２のデプスマップのデプス値に基づき、追加的又は代替的に修正することができると理解されよう。いくつかの実施形態では、第１のエッジデプス値は、第２のデプスマップの境界領域での複数のデプス値に基づき修正される。この複数のデプス値は、必ずしもエッジデプス値ではなく、場合によっては、最も近いエッジデプス値さえ含まれない。例えば、第１のエッジデプス値は、第１のエッジデプス値に対して所与の閾値内の距離を持つすべてのデプス値からなる、第２のデプスマップの複数のデプス値に基づき修正される。
【0164】
同様に、第１のデプス値、すなわち修正されるデプス値も、エッジデプス値である必要はないことが理解されよう。
【0165】
上記の記述は、説明を簡単にするために、個別の機能回路、構成単位、及び処理装置に関連して本発明の実施形態を説明したものであることが理解されよう。しかし、個別の機能回路、構成単位、及び処理装置の間で、本発明を損なうことなく、あらゆる適切な機能分配を用いることができることは明らかである。例えば、別個の処理装置又は制御装置によって実行されると説明された機能は、同一の処理装置又は制御装置でも実行することができる。したがって、特定の機能構成単位又は回路についての言及は、厳密な論理構造、物理構造、又は構成を表すものではなく、説明した機能を提供するための、しかるべき手段の参照に過ぎないと認識するべきである。
【0166】
本発明は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せを含め、あらゆる適切な形式で、実施することができる。更に、本発明は、少なくとも部分的に、１つ又は複数のデータ処理装置及び／又はデジタル信号処理装置で動作するコンピュータ・ソフトウェアとして実施することができる。本発明の実施形態に属する要素及び構成要素は、あらゆる適切な方法で、物理的、機能的、又は論理的に実装することができる。実際に、この機能は、単一の構成単位、複数の構成単位、又は他の機能構成単位の一部として実施することができる。したがって、本発明は、単一の構成単位で実施することも、別個の構成単位、回路、及び処理装置の間で物理的に且つ機能的に分配することもできる。
【0167】
本発明は、いくつかの実施形態に関連して説明されてきたが、本明細書で説明する特定の形式に限定されるものではない。より正確には、本発明の範囲は、添付の特許請求の範囲のみによって限定される。更に、ある特徴が、特定の実施形態に関して説明されたように見えるとしても、説明した実施形態の様々な特徴は、本発明によって組み合わせることができることを、当業者なら認識するであろう。特許請求の範囲では、「ｃｏｍｐｒｉｓｉｎｇ」という語は、他の要素又はステップの存在を除外するものではない。
【0168】
更に、個別に記載されているとしても、複数の手段、要素、回路、又は方法のステップは、例えば単一の回路、構成回路、処理装置で実施することができる。加えて、個別の特徴が別々のクレームに含まれているとしても、それらを有利に組み合わせることができる場合があり、また、別々のクレームに含まれていることは、それらの特徴の組合せが実現不可能及び／又は有利ではないことを暗示するものではない。また、特徴がクレームの一分類に含まれていることは、特徴がその分類に限定されることを暗示するものではなく、必要に応じ、その特徴は他のクレームの分類にも等しく適用できることを表す。更に、各特徴の順序は、それらを機能させなければならない具体的な順序を何ら暗示するものではなく、特に方法クレームにおける個別のステップの順序は、各ステップをその順序で実行しなければならないことを暗示するものではない。むしろ、あらゆる適切な順序で各ステップを実行することができる。加えて、単数での言及は、複数を除外するものではない。よって、「ａ」、「ａｎ」、「ｆｉｒｓｔ」、「ｓｅｃｏｎｄ」などの言及は、複数を除外するものではない。クレーム内の参照符号は、単に例を分かりやすくするために示されており、クレームの範囲に何らかの制限を及ぼすものとして解釈されるものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】