特許 6272687 事前計算された照明による拡張現実環境の構築

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6272687

(24)【登録日】2018年1月12日

(45)【発行日】2018年1月31日

(54)【発明の名称】事前計算された照明による拡張現実環境の構築

(51)【国際特許分類】

   G06T 19/00 20110101AFI20180122BHJP

   G06T 15/50 20110101ALI20180122BHJP

【ＦＩ】

   G06T19/00 600

   G06T15/50 600

【請求項の数】11

【外国語出願】

【全頁数】16

(21)【出願番号】特願2013-261856(P2013-261856)

(22)【出願日】2013年12月18日

(65)【公開番号】特開2015-118574(P2015-118574A)

(43)【公開日】2015年6月25日

【審査請求日】2016年12月16日

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100153028

【弁理士】

【氏名又は名称】上田 忠

(74)【代理人】

【識別番号】100120112

【弁理士】

【氏名又は名称】中西 基晴

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(74)【代理人】

【識別番号】100119781

【弁理士】

【氏名又は名称】中村 彰吾

(74)【代理人】

【識別番号】100162846

【弁理士】

【氏名又は名称】大牧 綾子

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房 直樹

(72)【発明者】

【氏名】ジョナサン・スティード

(72)【発明者】

【氏名】アーロン・クラウス

(72)【発明者】

【氏名】マイク・スカヴェッゼ

(72)【発明者】

【氏名】ウェイ・ジャーン

(72)【発明者】

【氏名】アーサー・トムリン

(72)【発明者】

【氏名】トニー・アンブラス

(72)【発明者】

【氏名】ブライアン・マウント

(72)【発明者】

【氏名】スティーヴン・ラッタ

(72)【発明者】

【氏名】ライアン・ヘイスティングス

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特表２０１４−５１５１３０（ＪＰ，Ａ）

【文献】 特開平１１−１４４０７６（ＪＰ，Ａ）

【文献】 特開平０５−０６１９６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／５０

Ｇ０６Ｔ １／００

Ｇ０６Ｆ １７／５０

(57)【特許請求の範囲】

【請求項1】

ディスプレイデバイスにおいて、照明効果を備えた拡張現実画像を表示する方法であって、
前記ディスプレイデバイスの局所的な環境の画像を撮影した画像データを受け取るステップと、
前記画像データを介して前記局所的な環境の物理的表面を識別するステップと、
前記物理的表面の上に前記物理的表面と空間的に位置合わせした状態で表示するための仮想構造の拡張現実画像を構築するステップであって、前記構築は、前記仮想構造の第１のモジュール型拡張現実画像セグメントの拡大縮小、回転、分断、及び変形のうちの１又は複数によって前記第１のモジュール型拡張現実画像セグメントを前記表面の幾何学的構造に基づいて前記表面にフィットさせ、次いで、前記仮想構造の見た目を形作るように前記第１のモジュール型拡張現実画像セグメントに隣接して前記仮想構造の第２のモジュール型拡張現実画像セグメントを配置することにより行われ、それぞれのモジュール型拡張現実画像セグメントは、事前計算された照明効果を備えると共に前記仮想構造の一部分の見た目を有する、ステップと、
前記拡張現実画像を前記ディスプレイデバイスへ出力するステップと、
を含む方法。

【請求項2】

前記局所的な環境の物理的表面を識別する前記ステップは、前記局所的な環境のメッシュ分析を実施するステップを含む、請求項１に記載の方法。

【請求項3】

前記物理的表面は、壁及び天井のうちの１又は複数を含む、請求項１に記載の方法。

【請求項4】

前記事前計算された照明効果は、事前計算された指向性のある照明効果を含む、請求項１に記載の方法。

【請求項5】

前記事前計算された照明効果は、事前計算された放射輝度伝達関数を含む、請求項１に記載の方法。

【請求項6】

前記画像データを介して前記局所的な環境の照明特性を識別するステップと、前記局所的な環境の前記照明特性に基づいて前記第１及び第２のモジュール型拡張現実画像セグメントの見た目を調整するステップと、を更に含む、請求項１に記載の方法。

【請求項7】

前記照明特性は、前記局所的な環境の色特性を含み、前記第１及び第２のモジュール型拡張現実画像セグメントの見た目を調整する前記ステップは、前記第１及び第２のモジュール型拡張現実画像セグメントに前記色特性を添えるステップを含む、請求項６に記載の方法。

【請求項8】

前記照明特性は、前記局所的な環境における物理的な照明の位置を含み、前記第１及び第２のモジュール型拡張現実画像セグメントの見た目を調整する前記ステップは、前記物理的な照明の位置にある仮想的な点照明から生じる照明効果を計算するステップを含む、請求項６に記載の方法。

【請求項9】

前記仮想構造の拡張現実画像を構築する前記ステップは、局所的な照明特性を識別するステップと、同様の事前計算された照明効果を有するように決定された一組のモジュール型拡張現実画像セグメントを選択するステップと、を含む、請求項１に記載の方法。

【請求項10】

前記仮想構造の拡張現実画像を構築する前記ステップは、隣接するモジュール型拡張現実画像セグメントを選択するための接続性制約条件を適用するステップを含む、請求項１に記載の方法。

【請求項11】

コンピューティングデバイスであって、
シースルー・ディスプレイデバイスと、
画像センサーと、
論理サブシステムと、
命令が格納された記憶サブシステムと、を備え、
前記命令は、前記論理サブシステムによって、
前記コンピューティングデバイスの局所的な環境の画像を撮影した画像データを、前記画像センサーを介して取得するステップと、
前記画像データを介して前記局所的な環境の物理的表面を識別するステップと、
前記物理的表面と空間的に位置合わせした状態で前記物理的表面の上に前記シースルー・ディスプレイデバイスによって表示するための、仮想構造の拡張現実画像を構築するステップであって、前記構築は、前記仮想構造の第１のモジュール型拡張現実画像セグメントの拡大縮小、回転、分断、及び変形のうちの１又は複数によって前記第１のモジュール型拡張現実画像セグメントを前記表面の幾何学的構造に基づいて前記表面にフィットさせ、次いで、前記仮想構造の見た目を形作るように前記第１のモジュール型拡張現実画像セグメントに隣接して前記仮想構造の第２のモジュール型拡張現実画像セグメントを配置することにより行われ、それぞれのモジュール型拡張現実画像セグメントは、事前計算された照明効果を備えると共に前記仮想構造の一部分の見た目を有する、ステップと、
前記拡張現実画像を前記シースルー・ディスプレイデバイスへ出力するステップと、
を実施するように実行可能である、コンピューティングデバイス。

【発明の詳細な説明】

【背景技術】

【0001】

[0001] バーチャルビデオゲーム環境などの仮想環境にリアルな照明と影を付加することは、計算処理上、コストが高くなることがある。それ故に、照明効果にかかるレンダリング時間は、ビデオゲームのプレイ中に使用するには容認しがたいほどに長くなり得る。例えば、リアルな照明（例えば大域照明）と影をエンコードするテクスチャマップ（「ライトマップ」）を仮想環境上に作成することは、その計算に数時間、あるいは数日を要することさえある。したがって、仮想環境のためのそのような照明効果は、一般に、ゲームのプレイ中にリアルタイムで計算されるのではなく、その仮想環境の開発の際に事前計算される。

【0002】

[0002] 動的照明及び付影処理は、より高速に計算されることができる。しかしながら、動的照明の視覚的な品質は、事前計算された照明効果の視覚的な品質よりもずっと低い場合がある。更に、動的照明は、実行時にかなりのリソースを使用することがある。

【発明の概要】

【0003】

[0003] 大域照明効果を有した拡張現実環境を効率的に構築することに関連する様々な実施態様が開示される。例えば、開示される１つの実施態様は、ディスプレイデバイスを介して拡張現実画像を表示する方法を提供する。当該方法は、前記ディスプレイデバイスの局所的な環境の画像を撮影した画像データを受け取るステップと、前記画像データを介して前記局所的な環境の物理的特徴物を識別するステップとを含む。当該方法は、更に、前記物理的特徴物の上にユーザーの視点から見て前記物理的特徴物と空間的に位置合わせした状態で表示するための、仮想構造の拡張現実画像を構築するステップであって、前記拡張現実画像は、前記仮想構造の特徴を形成するように隣接位置に配列された複数のモジュール型仮想構造セグメントを含み、それぞれのモジュール型仮想構造セグメントは、事前計算された照明効果を備える、ステップと、前記拡張現実画像を前記ディスプレイデバイスへ出力するステップとを含む。

【0004】

[0004] この概要は、詳細な説明において更に後述される概念からの選抜を簡略な形で導入するために提供される。この概要は、請求された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、請求された主題の有効範囲を限定するのに用いられることを意図したものでもない。更にまた、請求された主題は、この開示のいずれかの部分に述べられたいくつかの、又は全ての欠点を解決する具体例には限定されない。

【図面の簡単な説明】

【0005】

【図1】図１は、例示的な使用環境におけるシースルー・ディスプレイデバイスの例示的な実施態様を示す。

【図2】図２は、図１の例示的な使用環境における拡張現実画像の一実施態様を示す。

【図3】図３は、モジュール型仮想構造セグメントのセットの例示的な実施態様を示す。

【図4】図４は、モジュール型仮想構造セグメントの一部分に対して適用された事前計算された照明効果の模式的な描写を示す。

【図5A】図５Ａは、図２の拡張現実画像への動的点照明効果の追加を示す。

【図5B】図５Ｂは、事前計算された照明効果を有するモジュール型仮想構造セグメントの一部分上の動的点照明効果の一例を示す。

【図6】図６は、検出された物理的環境にフィットした仮想環境を構築するための方法の一実施態様を表しているフロー図を示す。

【図7】図７は、シースルー・ディスプレイデバイスの例示的な実施態様のブロック図を示す。

【図8】図８は、コンピューティングシステムの例示的な実施態様のブロック図を示す。

【発明を実施するための形態】

【0006】

[0013] 上述されたように、仮想環境のためのリアルな照明効果は、一般に仮想環境が構築された後に事前計算されて、その後、例えばその仮想環境のライトマップとして記憶される。そのような仮想環境は、通常、ユーザーの周囲には適応していない固定の幾何学的構造によって作られている。

【0007】

[0014] 対照的に、拡張現実表示システムは、仮想的な画像をユーザーの周囲に適応させるように構成されることができる。例えば、拡張現実のビデオゲームは、ゲーム内の仮想的な構造物を、ユーザーの物理的環境の対応する物理的な構造物にフィットさせることができる。このように、拡張現実の画像オブジェクトの幾何学的配置は、ユーザーの物理的環境に基づいて変化し得る。

【0008】

[0015] 拡張現実環境の物理的環境へのフィッティングはリアルタイムの使用の間に行われるので、もし環境を作成した後に高品質な照明効果がその環境に適用されるのなら、その照明の計算処理もその時に行われることになる。しかしながら、もし拡張現実環境のためのそのような照明効果が、拡張現実画像を物理的環境にフィットさせた後に計算されるとしたら、ユーザーは、リアルな照明効果を適用することの計算処理上のコストのせいで、照明効果を計算するために用いられる特定のコンピューティングシステムに応じて、拡張現実体験をプレイするのに数時間から数日待たなければならないかもしれない。このことは、容認しがたいほどに遅いユーザー体験をもたらし得る。更に、物理的環境の有り様は、そのような長い時間遅れの間に変化するかもしれない。このことは、現実世界と仮想世界の間の不整合を招来する可能性があり、この不整合は、拡張現実体験に著しい影響を及ぼし得る。

【0009】

[0016] １つのとり得る解決策として、拡張現実環境のための事前計算された照明効果の代わりに、動的照明が使用されることができる。しかしながら、上述されたように、動的照明は、事前計算された照明よりも低品質である場合があり、したがって、それほど良好なユーザー体験を提供しないかもしれない。更に、動的照明は実行時に計算処理上のコストが高い場合があり、そのことは、他の映像やゲームプレイなど、体験の別側面に対する計算バジェットを減らしてしまうかもしれない。

【0010】

[0017] したがって、高品質な事前計算された照明効果を有する、局所的な物理的環境の幾何学的構造にフィットした拡張現実環境の効率的な構築に関連する実施態様が、本明細書で開示される。簡潔には、開示される実施態様は、拡張現実画像のための仮想構造を形成するように互いに隣接して配列されることのできるモジュール型仮想構造セグメントを利用し、ここで、このモジュール型仮想構造セグメントは、高品質な事前計算された照明効果を備える。それぞれのモジュール型仮想構造セグメントについて照明効果が事前計算されているので、モジュール型仮想構造セグメントによって構築される仮想構造に照明効果が含まれることになるだろう。更に、いくつかの実施態様では、局所的な照明特性が検出されて、モジュール型仮想構造セグメントの見た目を調整するのに用いられることができる。そのような局所的な照明特性の例には、限定ではないが、当該局所的な物理的環境における色特性及び光源の位置が含まれることができる。

【0011】

[0018] 図１は、拡張現実表示システムのための使用環境１００の、リビングルームの形の例示的な実施態様を示す。シースルー・ディスプレイデバイス１０４を通してリビングルームを眺めているユーザー１０２が示されている。図１はまた、当該ユーザーの視野１０３も表しており、この視野１０３は、シースルー・ディスプレイデバイス１０４を通して視認可能な環境の一部分、したがってシースルー・ディスプレイデバイス１０４を介して表示された画像により拡張されることができる当該環境の一部分を表す。いくつかの実施態様では、ユーザーの視野１０３は、ユーザーの実際の視界と実質的に同一の広がりをもつことができ、一方、他の実施態様では、ユーザーの視野１０３は、ユーザーの実際の視界のより小さな一部分を占めることができる。

【0012】

[0019] 以下でより詳細に説明されるように、シースルー・ディスプレイデバイス１０４は、使用環境１００を表す画像データ（例えば、カラー／グレイスケール画像、深度画像／点群データ／メッシュデータ等）をユーザーが当該環境を移動する際に取得するように構成された、１又は複数の外向きイメージセンサー（例えば、２次元カメラ及び／又は深度カメラ）を備えることができる。この画像データは、環境のレイアウト、及び天井１０６や壁１０８など環境の構造的特徴、それに加えて他の特徴に関する情報を得るために用いられることができる。

【0013】

[0020] シースルー・ディスプレイデバイス１０４は、更に、表示した仮想オブジェクトを当該デバイスを通して見える物理的な物体の上にオーバーレイして、拡張現実画像を作り出すように構成される。例えば、図２を参照すると、仮想的な間柱２０２、まぐさ２０４等の仮想的な部屋の骨組み構造２００がユーザーの壁にオーバーレイとして表示された、例示的な拡張現実画像が描かれている。配管２０６、電線管／ケーブル等の基盤設備の画像も、任意の他の適切な仮想構造に加えて表示されることができる。類似の構造（不図示）が、天井に関して同様に表示されることができる。更に、家具や部屋内の他の非構造的な物体に対応する画像が、部屋の中の何もない空間を占めるように表示されることができる。拡張現実環境をより完全に図示するために、図２に描かれた拡張現実の画像は図１に示されたユーザーの視野には限定されていない、ということが認識されるだろう。

【0014】

[0021] 図２の仮想的な壁の骨組み構造は、その下にある物理的構造（例えば壁１０８）に幾何学的にフィットしている。それぞれのユーザーの局所的な物理的環境は異なるであろうから、各プレーヤーの局所的な物理的環境に対する全体としての仮想的構造は、事前にデザインされるのではなく、当該局所的な物理的環境の画像データ（例えば、ステレオ深度画像データ、構造化照明画像データ、飛行時間画像データ、又は他の深度画像データ）を取得した時に構築される。よって、もしその仮想的構造を構築した後に大域照明効果が当該仮想的構造に適用されるとしたら、プレーヤーは、活動がプレイ可能となる前に好ましからざるほど長い時間待つことを強いられるかもしれず、また、ゲーム中に環境を変化させる（例えば、違う部屋へ歩いていく）ことを制限されるかもしれない。何故なら、新たな環境への照明の作り込みと適用には、不適当に長い時間期間がかかる場合があるからである。

【0015】

[0022] したがって、上述されたように、仮想構造２００は事前計算された照明効果を有するモジュール型仮想構造セグメントのセットから組み立てられ、このモジュール型仮想構造セグメントのインスタンスが、互いに隣接して配列され、一体的な仮想構造の見た目を形作るように加工（例えば、回転、拡大縮小等）されることができる。図３は、間柱セグメント３０２、継手配管付き間柱セグメント３０４、水平配管付き間柱セグメント３０６、一対のドアフレームセグメント３０８、３１０、及び一対の窓フレームセグメント３１２、３１４を含むモジュール型仮想構造セグメントのセット３００の例示的な実施態様を示す。図２を参照すると、仮想構造２００は、セット３００から選択されて各特定インスタンスの配置に基づいて拡大縮小、回転、分断、変形、及び／又は他の方法で適切に加工された、仮想的な壁のセグメントのインスタンスから完全に構築されることができる、ということが注目されるだろう。

【0016】

[0023] 図３にはモジュール型仮想構造セグメントの比較的単純なセットが描かれているが、モジュール型仮想構造セグメントのセットは、任意の所望される複雑さを持つ任意の適切な数及び選択のセグメントを有してよい、ということが理解されるだろう。更に、事前計算された照明を有するモジュール型仮想構造セグメントのセットは、壁にフィットした仮想構造以外の、限定ではないが天井にフィットした仮想構造を含む任意の他の所望の物理的特徴物にフィットする任意の他の適切な構造と、それに加えて例えば家具、壁掛け、植物、エクステリア物品、カウンター用天板、バー用天板等の非構造的な特徴物とを作り上げるのに用いられてよい、ということが理解されるだろう。例えば、事前照明されたモジュール型仮想構造セグメントは、事前照明された仮想的なソファ、机、テレビ、鏡、及び物理的環境において普通に見つかるが異なった物理的環境では異なる形状及び／又は見た目を有することのある他の物体を含むことができる。あるインスタンスにおけるそのような物体のそのような仮想構造セグメントは、単一の「セグメント」からなってもよく、その結果１つの仮想構造要素が、隣のセグメントと必ずしも組み合わされずに、所望の物理的構造物にフィットするようにサイズ変更、回転、及び他の方法で加工されることとなる、ということが理解されるだろう。加えて、物理的環境の中の何もない空間が当該環境の物理的特徴物とみなされてよく、部屋又は他の使用環境内の空間の非占有部分に仮想オブジェクトを構築するようにモジュール型仮想構造セグメントが配列されることができる、ということが理解されるだろう。

【0017】

[0024] いくつかのモジュール型仮想構造セグメントは、セグメントに結合されることのできる他のセグメントのセットを制限する接続性制約条件を含むことができる。例えば、図３において、それぞれの窓セグメントとドアセグメントは、一方の側（例えば窓／ドアの側）では間柱セグメント３０２でなく別の窓セグメント又はドアセグメントに結合されることができ、さもなければセグメントは間違って嵌ることになろう。更に、継手配管３０４と水平配管３０６のセグメントは、相補的な配管部分を持ったセグメントに結合される状態に制限されてよい。これらの接続性制約条件は例示の目的のために説明され、任意の他の適切な接続性制約条件が用いられてよい、ということが理解されるだろう。

【0018】

[0025] 任意の適切な事前計算された照明効果が、モジュール型仮想構造セグメントに適用されることができる。例えば、いくつかの実施態様では、モジュール型仮想構造セグメントのセットは、環境内の物理的な照明の位置にかかわらず、あらゆる局所的な照明環境における使用を意図されることができる。そのような実施態様では、指向性のある照明効果が利用されることができる。これの例が、仮想的な間柱セグメントの一部分４００に入射する指向性を持った照明として図４に示されている。適用される仮想照明は、任意の適切な方向を有してよい。例えば、水平に敷設されたピースに関しては、照明は水平軸に対して直角であってよく、一方垂直に敷設されたピースに関しては、照明は垂直軸に対して直角であってよい。加えて、水平と垂直の両方に敷設されたモジュールのピースに関しては、照明は両方の軸に対して直角であってよい。このことによって、当該セグメントに対して事前計算された影と照明が、必ず各セグメントに共通の照明特性を有するようにすることができ、したがって、隣のセグメントが合わさる場所で視差及び／又は他の不連続性が現れるのを防止することができる。図４の実施態様では、指向性を持った照明は、垂直面に対しておよそ４５度の角度で照射されているように示されているが、これは例示の目的のために提示されており、任意の他の適切な角度が用いられてよい、ということが理解されるだろう。

【0019】

[0026] 他の実施態様では、モジュール型仮想構造セグメントのセットは、特定の照明特性、例えば単一の頭上点光源、壁際のランプ等と共に使用されるように構成されることができる。そのような実施態様では、照明効果を事前計算するのに任意の適切な種類の仮想照明が用いられることができる。いかなる場合にも、照明効果を事前計算した後に、それに関連するモジュール型仮想構造セグメントにより組み立てられた仮想構造の画像がリアルな照明効果を有するように、その計算されたライトマップがモジュール型仮想構造セグメントと共に高水準の情報で保存されることができる。

【0020】

[0027] モジュール型仮想構造セグメントに対して任意の適切な種類の照明情報が記憶されることができる。例えば、事前計算された照明効果は、ライトマップ、キューブマップ、球面調和関数（例えば事前計算された放射輝度伝達関数）として、及び／又は任意の他の適切な形で記憶されることができる。事前計算された放射輝度伝達関数の使用は、例えば、使用環境における物理的な照明の検出位置に基づいて、図５Ａに仮想点光源５００により描かれているように物理的環境における物理的な照明の位置に仮想的な点照明を適用することによって、仮想オブジェクト上にリアルな照明と影が生成されることを可能にするだろう。図５Ｂは、図４に示された間柱の一部分の見映えが図５Ａの仮想点光源に基づいてどのように調整され得るかの一例を示す。加えて、手続き的又は動的照明がリアルタイムで適用されてもよい（例えば、拡張現実画像に表示された動的な仮想オブジェクトから生じる光）。

【0021】

[0028] モジュール型仮想構造セグメントの見た目を他の方法で調整するために、局所的な物理的照明特性が用いられることもできる。例えば、モジュール型仮想構造セグメントの事前計算された照明効果は、白色光の照射に基づいて計算されることができる。次いで、特定の物理的環境に対して仮想的な画像を作り上げる際に、シースルー・ディスプレイデバイスによって取得された画像データから当該物理的環境における物理的な照明の色特性が分析されることができ、仮想照明が局所的な物理的照明によりぴったりと合うように、その決定された色特性（例えば、色相、彩度、反射率）が仮想照明効果に適用されることができる。このようにして、事前照明された仮想的な壁／天井のセグメント、事前照明された仮想的な家具、及び任意の他の適切な事前照明された仮想オブジェクトの表示されたインスタンスが、物理的環境の見た目によりぴったりと合うことができる。

【0022】

[0029] 図６は、モジュール型仮想構造セグメントのインスタンスを検出された物理的構造物に適用することによって拡張現実環境を構築するための方法６００の一実施態様を示す。方法６００は、６０２において、シースルー・ディスプレイデバイスの局所的な環境の画像を撮影した画像データを受け取るステップを含む。画像データは、限定ではないが深度画像６０４及び／又は２次元画像を含む任意の適切なデータを含んでよく、シースルー・ディスプレイデバイス上の、又はシースルー・ディスプレイデバイスの外部の画像センサーから受け取られることができる。深度画像データは、限定ではないがステレオ撮像システム、飛行時間撮像システム、及び構造化照明撮像システムを含む、任意の適切な深度撮像システムから受け取られることができる。

【0023】

[0030] 方法６００は次に、６０６において、画像データから前記局所的な環境の物理的特徴物を識別するステップを含む。物理的特徴物は、任意の適切な方法で識別されることができる。例えば、いくつかの実施態様では、６０８において、深度画像データから物理的環境のメッシュ表現が決定されてメッシュ分析が実行され、６１０において、その物理的環境内の主要面（major surface）が識別される。その例には、限定ではないが、壁６１２や天井６１４に加えて、ドア、窓、天窓、柱、部屋の中の他の突起部／切欠き部等のような壁や天井の特徴物が含まれる。更に、当該幾何構造内の空きスペースが識別されてよく、例えば、所望の仮想構造がその識別された空きスペースにフィットされることが可能である。

【0024】

[0031] 方法６００はまた、６１６において、その物理的環境の１又は複数の局所的な照明特性を識別するステップを含んでもよい。局所的な照明特性の例には、限定ではないが、色特性６１８や局所光源の位置６２０が含まれることができる。

【0025】

[0032] 方法６００は更に、６２２において、検出された物理的特徴物の上に当該物理的特徴物と空間的に位置合わせした状態で表示するための、仮想構造特徴物を含んだ拡張現実画像を構築するステップを含む。上述され、また６２４に示されるように、仮想構造は、それぞれが事前計算された照明効果を備える複数のモジュール型仮想構造セグメントを配列することによって構築されることができる。仮想構造セグメントは、限定ではないが、対象の物理的な幾何学的構造にフィットするように部品を回転、拡大縮小、変形、分断すること等を含む、任意の適切な方法で配列されることができる。同様に、モジュール型仮想構造セグメントは、事前計算された照明効果に関する任意の適切な事前計算された情報を含んでよい。その例には、限定ではないが、ライトマップ６２６及び／又は放射輝度伝達関数６２８が含まれる。更に、上述されたように、モジュール型仮想構造セグメントを選択し配列する際に、相補的な特徴物が隣のセグメントに適切に結合されるのを保証するため、６３０において、選択されたモジュール型仮想構造セグメントに結合されることが可能な他のモジュール型仮想構造セグメントのセットを制限する接続性制約条件が適用されることができる。

【0026】

[0033] 加えて、上述されたように、拡張現実画像を構築するのに際して局所的な照明特性が利用されてよい。例えば、６３２に示されるように、いくつかの実施態様では、局所的な照明特性に基づいてモジュール型仮想構造セグメントの見た目が調整されることができる。その見た目は、任意の適切な方法で調整されることができる。例えば、６３４に示されるように、局所的な照明環境の色が、事前計算された照明効果に添えられてよい。同様に、６３６に示されるように、仮想的な光源、例えば仮想点光源が、その環境の中の物理的な光源の位置に適用されてよい。

【0027】

[0034] 他の実施態様では、モジュール型仮想構造セグメントの見た目を調整する代わりに、異なる照明特性を有するモジュール型仮想構造セグメントの複数の異なるセットが利用可能であってよい。例えば、モジュール型仮想構造セグメントのあるセットは頭上点光源に対応する事前計算された照明効果を含むことができ、一方、別のセットは側窓から入ってくる指向性のある照明に対応する事前計算された照明効果を含むことができる。この実例では、６３８に示されるように、局所的な照明特性が利用されて、対応する照明特性を有したモジュール型仮想構造セグメントのセットを選択することができ、これにより、その結果として得られる仮想構造が、その環境内の物理的な照明と同様の照明特性を有するようになる。

【0028】

[0035] 拡張現実画像を構築すると、方法６００は、６４０に示されるように、当該拡張現実画像をシースルー・ディスプレイデバイスへ出力するステップを含む。シースルー・ディスプレイデバイス（例えば内向き及び外向き画像センサー）からのセンサーデータが用いられて、ユーザーの目の位置及び視線方向を検出し、またユーザーの視野内にある物理的な物体も検出し、仮想構造を対応する物理的特徴物の上に当該物理的特徴物と空間的に位置合わせした状態で表示して、ユーザーに物理的環境の拡張現実ビューを与えることができる。

【0029】

[0036] 上述されたように、上で説明された方法は、任意の適切なディスプレイデバイスによって実施されることができる。その例には、限定ではないが、図１のヘッドマウント型シースルー・ディスプレイデバイス１０４のようなシースルー・ディスプレイデバイス、及びスマートフォンやノートパッドコンピューターのような１又は複数の画像センサーを有した他のディスプレイデバイスが含まれる。図７は、シースルー・ディスプレイデバイス１０４の例示的構成のブロック図を示す。

【0030】

[0037] シースルー・ディスプレイデバイス１０４は、ニアアイ（near-eye）・シースルー・ディスプレイサブシステム７０４の一部分を形成する１又は複数のレンズ７０２を備えることができる。シースルー・ディスプレイデバイス１０４は、ユーザーが見ている背景シーンの画像を取得するように構成された１又は複数の外向き画像センサー７０６を更に備えることができ、またユーザーからの音声コマンドなどの音を検出するように構成された１又は複数のマイク７０８を含むことができる。外向き画像センサー７０６は、（限定ではないがステレオ深度撮像配置を含む）１又は複数の深度センサー、及び／又は、１又は複数の２次元画像センサーを含むことができる。

【0031】

[0038] シースルー・ディスプレイデバイス１０４は、上述されたようにユーザーのそれぞれの目の視線の方向を検出するように構成された視線検出サブシステム７１０を更に備える。視線検出サブシステム７１０は、任意の適切な方法でユーザーの目のそれぞれの視線方向を決定するように構成されることができる。例えば、描かれた実施態様では、視線検出サブシステム７１０は、光の閃きをユーザーのそれぞれの目の角膜から反射させるように構成された赤外光源などの１又は複数の閃光源７１２と、ユーザーの１又は複数の目の画像をキャプチャするように構成された１又は複数の画像センサー７１４とを備える。画像センサー７１４を介して集められた画像データから決定される閃きと瞳の画像が、それぞれの目の光軸を決定するのに用いられることができる。視線検出サブシステム７１０は、任意の適切な数及び配置の光源と画像センサーを有してよい、ということが理解されるだろう。

【0032】

[0039] シースルー・ディスプレイデバイス１０４は、付加的なセンサーを更に備えることができる。例えば、シースルー・ディスプレイデバイス１０４は、シースルー・ディスプレイデバイス１０４の位置が決定されるのを可能にするための全地球測位（ＧＰＳ）サブシステム７１６を備えることができる。

【0033】

[0040] シースルー・ディスプレイデバイス１０４は、更に、ユーザーがシースルー・ディスプレイデバイス１０４を装着している時のユーザーの頭の動きを検出するための１又は複数のモーションセンサー７１８を含んでよい。モーションデータが、例えば画像安定化のために用いられて、外向き画像センサー７０６からの画像のぼけを補正するのに役立つことができる。同様に、モーションセンサー７１８は、マイク７０８及び視線検出サブシステム７１０と共に、ユーザー入力デバイスとして利用されることもでき、その結果、ユーザーは、言葉によるコマンドに加えて、目、首及び／又は頭のジェスチャを介してシースルー・ディスプレイサブシステム７０４と対話することができるようになる。図７に描かれたセンサーは、例示の目的のために示されているのであり、任意の他の適切なセンサー及び／又はセンサーの組み合わせが利用され得るので、いかなる方法であっても限定的であるようには意図されていない、ということが理解されるだろう。

【0034】

[0041] シースルー・ディスプレイデバイス１０４は、更に、センサー、視線検出サブシステム７１０、及びシースルー・ディスプレイサブシステム７０４と通信可能な、論理サブシステム７２２と記憶サブシステム７２４を有したコンピューティングデバイス７２０を備える。記憶サブシステム７２４は、記憶サブシステム７２４上に格納された命令を備えており、当該命令は、例えば、シースルー・ディスプレイデバイスの局所的な環境の画像をキャプチャする外向き画像センサー７０６から画像データを受け取り、その画像データを介して当該局所的な環境の物理的特徴物を識別するように、論理サブシステム７２２によって実行可能である。当該命令はまた、それぞれが事前計算された大域照明効果を備えた複数のモジュール型仮想構造セグメントを隣接位置に配列することによって仮想構造の拡張現実画像を構築し、その拡張現実画像を物理的特徴物の上にユーザーの視点から見て当該物理的特徴物と空間的に位置合わせした状態で表示するように、実行可能であってもよい。当該命令は、更に、局所的な照明特性を検出し、その局所的な照明特性に基づいて拡張現実画像を調整し、シースルー・ディスプレイサブシステム７０４を介してその拡張現実画像を物理的特徴物の上に当該物理的特徴物と空間的に位置合わせした状態で表示するように、実行可能であってよい。

【0035】

[0042] 論理サブシステム７２２、記憶サブシステム７２４、及び他の上述されたコンポーネントの例示的なハードウェアに関する更なる情報は、図８を参照して以下で説明される。

【0036】

[0043] 描写されたシースルー・ディスプレイデバイス１０４は、例として提供されており、よって限定的であるようには意図されていない、ということが認識されるだろう。したがって、ディスプレイデバイスは、この開示の範囲から逸脱することなく、示されたもの以外の付加的な及び／又は代替的なセンサー、カメラ、マイク、入力デバイス、出力デバイス等を含んでよい、ということが理解されなければならない。ディスプレイデバイス並びにその様々なセンサー及びサブコンポーネントの物理的構成は、この開示の範囲から逸脱することなく、様々な異なる形をとることができる。

【0037】

[0044] 更に、シースルー・ディスプレイデバイスを介して拡張現実画像を表示するように構成されたコンピューティングシステムは、限定ではないが、メインフレームコンピューター、サーバーコンピューター、デスクトップコンピューター、ラップトップコンピューター、タブレットコンピューター、ホームエンターテインメントコンピューター、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（例えばスマートフォン）、他のウェアラブルコンピューター等を含む、ヘッドマウント型ディスプレイデバイス以外の任意の適切な形をとることができる、ということが理解されるだろう。上述された方法及びプロセスは、コンピューターアプリケーションのプログラム若しくはサービス、アプリケーションプログラミングインターフェイス（ＡＰＩ）、ライブラリ、及び／又は他のコンピュータープログラム製品として実装されることができる、ということが更に理解されるだろう。

【0038】

[0045] 図８は、上述された方法及びプロセスの１又は複数を実施することが可能なコンピューティングシステム８００の非限定的な実施態様を模式的に示す。コンピューティングシステム８００は簡略化された形で示されており、上で言及されたように、限定ではないが図１−９を参照して上述されたものを含む、任意の適切なデバイス及び／又はデバイスの組み合わせを表すことができる。

【0039】

[0046] コンピューティングシステム８００は、論理サブシステム８０２及び記憶サブシステム８０４を含む。コンピューティングシステム８００は、表示サブシステム８０６、入力デバイスサブシステム８０８、通信サブシステム８１０、及び／又は図８に示されていない他のコンポーネントを任意的に含んでよい。コンピューティングシステム８００はまた、例えばキーボード、マウス、ゲームコントローラー、カメラ（深度及び／又は２次元の）、マイク、及び／又はタッチスクリーンのみならず、上述された視線追跡システムなどの１又は複数のユーザー入力デバイスを任意的に含み、又はそれらとインターフェイスしてもよい。そのようなユーザー入力デバイスは、入力デバイスサブシステム８０８の一部を形作ることができ、又は入力デバイスサブシステム８０８とインターフェイスすることができる。

【0040】

[0047] 論理サブシステム８０２は、命令を実行するように構成された１又は複数の物理的デバイスを含む。例えば、論理サブシステムは、１又は複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、又は他の論理的構造体の一部である機械可読命令を実行するように構成されることができる。そのような命令は、タスクを実施し、データ型を実現し、１又は複数のコンポーネントの状態を変換し、又は他の方法で所望の結果に到達するように実装されることができる。

【0041】

[0048] 論理サブシステム８０２は、ソフトウェア命令を実行するように構成された１又は複数のプロセッサーを含むことができる。それに加えて、又はその代わりに、論理サブシステム８０２は、ハードウェア命令又はファームウェア命令を実行するように構成された１又は複数のハードウェア論理マシン若しくはファームウェア論理マシンを含むことができる。論理サブシステム８０２のプロセッサーは、シングルコア又はマルチコアであってよく、当該プロセッサー上で実行されるプログラムは、順次処理、並列処理、又は分散処理向けに構成されることができる。論理サブシステム８０２は、任意的に、遠隔に配置され及び／又は連携処理向けに構成されることの可能な２以上のデバイスにわたって分散配置された個別コンポーネントを含んでよい。論理サブシステムの態様は、クラウドコンピューティングの機器構成に構成されたリモートアクセス可能なネットワークコンピューティングデバイスによって、仮想化され実行されることができる。

【0042】

[0049] 記憶サブシステム８０４は、データ及び／又は本明細書で説明された方法及びプロセスを実現するように論理サブシステムによって実行可能な命令を保持するように構成された、１又は複数の物理的且つ非一時的なコンピューター可読記憶デバイスを含む。そのような方法及びプロセスが実現される時、記憶サブシステム８０４の状態は、例えば異なるデータを保持するように、変換されることができる。

【0043】

[0050] 記憶サブシステム８０４は、リムーバブル媒体及び／又は内蔵デバイスを含むことができる。記憶サブシステム８０４は、特に、光メモリデバイス（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙ（登録商標）ディスク等）、半導体メモリデバイス（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）、及び／又は磁気メモリデバイス（例えば、ハードディスクドライブ、フロッピーディスク（登録商標）ドライブ、テープドライブ、ＭＲＡＭ等）を含むことができる。記憶サブシステム８０４は、揮発性デバイス、不揮発性デバイス、動的デバイス、静的デバイス、読み取り／書き込みデバイス、読み取り専用デバイス、ランダムアクセスデバイス、シーケンシャルアクセスデバイス、場所アドレス指定可能デバイス、ファイルアドレス指定可能デバイス、及び／又は内容アドレス指定可能デバイスを含むことができる。いくつかの実施態様では、論理サブシステム８０２と記憶サブシステム８０４は、特定用途向け集積回路（ＡＳＩＣ）又はシステムオンチップなどの、１又は複数の単一デバイスに集積化されてよい。

【0044】

[0051] 記憶サブシステム８０４は、１又は複数の物理的且つ非一時的なデバイスを含むことが認識されるだろう。しかしながら、いくつかの実施態様では、本明細書で説明される命令の態様は、有限期間の間は物理的デバイスにより保持されない純粋な信号（例えば、電磁気信号、光信号等）によって、一時的な方法で伝搬されてよい。その上、本開示に関係するデータ及び／又は他の形式の情報が、純粋な信号によって伝搬されてよい。

【0045】

[0052] 「プログラム」という用語は、特定の機能を実施するように実装されたコンピューティングシステム８００の一態様を説明するために用いられることができる。いくつかの場合には、プログラムは、記憶サブシステム８０４により保持された命令を実行する論理サブシステム８０２によってインスタンス化されることができる。異なるプログラムが、同一のアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数等からインスタンス化されることができる、ということが理解されるだろう。同様に、同一のプログラムが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数等によってインスタンス化されてよい。「プログラム」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバー、スクリプト、データベースレコード等の個々又は集まりを包含することができる。

【0046】

[0053] 本明細書で用いられる「サービス」は、複数のユーザーセッションにわたって実行可能なアプリケーションプログラムであることが認識されるだろう。サービスは、１又は複数のシステムコンポーネント、プログラム、及び／又は他のサービスにとって利用可能なものであってよい。いくつかの実施例では、サービスは、１又は複数のサーバーコンピューティングデバイス上で動作することができる。

【0047】

[0054] 含まれる場合、表示サブシステム８０６が、記憶サブシステム８０４によって保持されたデータの視覚的表現を提示するために用いられてよい。この視覚的表現は、グラフィカルユーザーインターフェイス（ＧＵＩ）の形をとることができる。本明細書で説明される方法及びプロセスが記憶サブシステムにより保持されるデータを変化させ、その結果記憶サブシステムの状態を変換する時、表示サブシステム８０６の状態が、その元となるデータの変化を視覚的に表現するように同様に変換されることができる。表示サブシステム８０６は、ほとんど任意の種類の技術を利用した１又は複数のディスプレイデバイスを含んでよい。そのようなディスプレイデバイスは、共通の筐体内で論理サブシステム８０２及び／又は記憶サブシステム８０４と結合されてよく、又は周辺機器としてのディスプレイデバイスであってもよい。

【0048】

[0055] 含まれる場合、通信サブシステム８１０が、コンピューティングシステム８００を１又は複数の他のコンピューティングデバイスに通信可能に結合するように構成されてよい。通信サブシステム８１０は、１又は複数の異なる通信プロトコルと互換性のある有線及び／又は無線通信デバイスを含むことができる。非限定的な例として、通信サブシステムは、無線電話ネットワーク又は有線若しくは無線のローカルエリアネットワーク若しくはワイドエリアネットワークを介した通信用に構成されることができる。いくつかの実施態様では、通信サブシステムは、コンピューティングシステム８００がインターネットなどのネットワークを介してメッセージを他のデバイスへ送信し、及び／又は他のデバイスから受信することを可能にすることができる。

【0049】

[0056] 本明細書で説明された構成及び／又は手法は本質的に例示的なものであり、数多くのバリエーションが可能であるためこれらの具体的な実施態様又は例は限定的な意味に解されてはならない、ということが理解されるだろう。本明細書で説明された具体的なルーチン又は方法は、多くの処理戦略のうちの１又は複数を代表することができる。それ故に、例示及び／又は説明された様々な動作は、例示及び／又は説明された順序で、他の順序で、並列で、又は省略されて、実施されることができる。同様に、上述された処理の順序は変更されることができる。

【0050】

[0057] 本開示の主題は、本明細書で開示された様々な処理、システム及び構成、並びに、他の特徴、機能、動作、及び／又は特性のみならず、それらのいずれか及び全ての均等物の、あらゆる新規且つ非自明なコンビネーション及びサブコンビネーションを含んでいる。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】