▶ イーディーエックス テクノロジーズ インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-18
(54)【発明の名称】拡張現実（ＡＲ）のインプリント方法とシステム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220111BHJP
G06F 3/01 20060101ALI20220111BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021526486
(86)(22)【出願日】2019-11-15
(85)【翻訳文提出日】2021-07-08
(86)【国際出願番号】 US2019061751
(87)【国際公開番号】W WO2020102687
(87)【国際公開日】2020-05-22
(31)【優先権主張番号】62/767,676
(32)【優先日】2018-11-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】518290803
【氏名又は名称】イーディーエックス テクノロジーズ インコーポレイテッド
(74)【代理人】
【識別番号】100141173
【弁理士】
【氏名又は名称】西村 啓一
(72)【発明者】
【氏名】スキッドモア ロジャー レイ
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA03
5B050BA06
5B050BA08
5B050BA09
5B050BA11
5B050BA13
5B050CA07
5B050CA08
5B050DA01
5B050EA04
5B050EA19
5B050EA24
5B050EA26
5B050FA02
5B050FA05
5E555AA63
5E555BA04
5E555BA38
5E555BB04
5E555BB38
5E555BC08
5E555BE17
5E555CA42
5E555CB45
5E555CC05
5E555DA08
5E555DA09
5E555DB53
5E555DC09
5E555DC21
5E555DC60
5E555EA22
5E555FA00
(57)【要約】
拡張現実（ＡＲ）コンテンツは、仮想モデル上のインプリントとして作成され、記憶されてもよい。仮想モデルは、現実環境を基にモデル化、または現実環境を模倣する。直感的に使いやすいモバイル機器インターフェースは、モバイル機器の周辺のオブジェクトまたは表面とコンテンツをリンクするために使用され得る。後続のユーザは、１つまたは複数のアクセスパラメータに応じて、同一のコンテンツにアクセスできる。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
仮想モデルを使用して拡張現実（ＡＲ）コンテンツを作成し、提供する方法であって、カメラを備えるモバイル機器上に視覚コンテンツをロードする工程と、
前記モバイル機器のインターフェースのアクティブ時に前記カメラの位置と向きとを判定する工程と、
記録された前記位置と前記向きとに基づいて前記仮想モデル内の仮想オブジェクトを選択する工程と、
選択された前記仮想オブジェクトの表面上に前記視覚コンテンツを掲示する工程と、
を含む、
方法。
【請求項2】
前記インターフェースのアクティブ時に、時間と、ユーザ識別と、適格な将来のビューアに対する制約と、存続期間と、任意の指定されたコンテンツトリガと、のうち１つまたは複数を記録する工程をさらに含む、請求項１記載の方法。
【請求項3】
前記掲示する工程は、ユーザ加入を検証する工程と、
加入ステータスに基づいてユーザごとに前記視覚コンテンツへのアクセスを許可する工程と、
を含む、
請求項２記載の方法。
【請求項4】
前記記録する工程と同時にリアルタイムカメラフィードを表示する工程をさらに含む、請求項１記載の方法。
【請求項5】
インターフェースボタンのアクティブ化を検出するために前記インターフェースを監視する工程をさらに含む、請求項１記載の方法。
【請求項6】
前記インターフェースボタンは、前記カメラによる写真または映像の記録をトリガするように構成される、請求項５記載の方法。
【請求項7】
少なくとも前記ロードする工程と前記記録する工程とは、第１モバイル機器により実行され、少なくとも前記掲示する工程は、前記第１モバイル機器とは異なる第２モバイル機器により実行される、
請求項１記載の方法。
【請求項8】
前記第１モバイル機器と前記第２モバイル機器とは、スマートフォン、ヘッドマウントディスプレイ、またはウェアラブル機器である、請求項７記載の方法。
【請求項9】
前記選択する工程は、前記第１モバイル機器、前記第２モバイル機器、またはクラウドコンピューティング装置により実行される、請求項７記載の方法。
【請求項10】
前記選択する工程は、前記記録する工程の時点での前記モバイル機器の視界内にある位置と少なくともいくつかの現実世界オブジェクトとを複製するようにモデル化された前記仮想モデルを使用する、請求項１記載の方法。
【請求項11】
前記仮想モデルを複数のモバイル機器に提供する工程と、前記複数のモバイル機器に対して前記掲示する工程を繰り返す工程と、
をさらに含む、
請求項１０記載の方法。
【請求項12】
前記仮想モデル内に選択された前記仮想オブジェクトと共に前記視覚コンテンツを記憶する工程をさらに含む、請求項１記載の方法。
【請求項13】
単一の前記仮想オブジェクトを有する複数の視覚コンテンツを記憶する工程、をさらに含み、
前記複数の視覚コンテンツは、異なるモバイルユーザから供給される、
請求項１２記載の方法。
【請求項14】
コンピュータ可読命令を備える非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、１つまたは複数の処理装置により実行されると、カメラを備えるモバイル機器上に視覚コンテンツをロードする工程と、
前記モバイル機器のインターフェースのアクティブ時に前記カメラの位置と向きとを判定する工程と、
記録された前記位置と前記向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、
選択された前記仮想オブジェクトの表面上に前記視覚コンテンツを掲示する工程と、
を１つまたは複数の前記処理装置に実行させる、
ことを特徴とする非一時的コンピュータ可読媒体。
【請求項15】
１つまたは複数の処理装置を備える拡張現実（ＡＲ）システムであって、１つまたは複数の前記処理装置は、カメラを備えるモバイル機器上に視覚コンテンツをロードする工程と、
前記モバイル機器のインターフェースのアクティブ時に前記カメラの位置と向きとを記録する工程と、
記録された前記位置と前記向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、
選択された前記仮想オブジェクトの表面上に前記視覚コンテンツを掲示する工程と、
を実行するように構成される、
ことを特徴とする拡張現実（ＡＲ）システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、概して、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ：ＡＲ）に関し、特に、ＡＲコンテンツを生成し、記憶して、抽出するための方法とシステムとに関する。
【背景技術】
【0002】
特許文献１には、仮想グラフィティを作成する方法が記載されている。仮想グラフィティとして使用される画像は、実際の位置に関連付けられる。同位置に近いユーザは、仮想グラフィティの視認が可能である。
【0003】
特許文献１に記載の方法の問題点は、コンテンツを保持し、修正し、コンテンツにアクセスするためのフレームワークが不十分である点である。例えば、拡張現実コンテンツを動的に作成し、他者と共有するユーザインターフェースは、拡張現実（ＡＲ）コンテンツシステムには不十分である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第８，３５０，８７１（Ｂ２）号明細書
【発明の概要】
【課題を解決するための手段】
【0005】
ある例示的な実施形態の態様によれば、仮想モデルを使用して拡張現実（ＡＲ）コンテンツを作成し、提供する方法は、カメラを備えるモバイル機器上に視覚コンテンツをロードする工程と、モバイル機器のインターフェースのアクティブ時にカメラの位置と向きとを記録する工程と、記録された位置と向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、選択された仮想オブジェクトの表面上に視覚コンテンツを掲示する工程と、を含む。本方法は、インターフェースのアクティブ時に、時間と、ユーザ識別と、適格な将来のビューアに対する制約と、存続期間（ｌｉｆｅｔｉｍｅ）と、任意の指定されたコンテンツトリガと、のうち１つまたは複数を記録する工程をさらに含んでもよい。掲示する工程は、ユーザ加入を検証する工程と、加入ステータスに基づいて、ユーザ単位で視覚コンテンツへのアクセスを許可する工程と、を含んでもよい。本方法は、記録する工程と同時にリアルタイムカメラフィードを表示する工程をさらに含んでもよい。本方法は、インターフェースボタンのアクティブ化を検出するためにインターフェースを監視する工程をさらに含んでもよい。インターフェースボタンは、カメラによる写真または映像の記録をトリガするように構成されてもよい。少なくともロードする工程と記録する工程とは、第１モバイル機器により実行されてもよく、少なくとも掲示する工程は、第１モバイル機器とは異なる第２モバイル機器により実行される。第１モバイル機器と第２モバイル機器とは、スマートフォン、ヘッドマウントディスプレイ、またはウェアラブル機器でもよい。選択する工程は、第１モバイル機器、第２モバイル機器、またはクラウドコンピューティング装置により実行されてもよい。選択する工程は、記録する工程の時点でのモバイル機器の視界内にある位置と少なくともいくつかの現実世界オブジェクトとを複製するようにモデル化された仮想モデルを使用してもよい。本方法は、仮想モデルを複数のモバイル機器に提供する工程と、複数のモバイル機器に対して掲示する工程を繰り返す工程と、を含んでもよい。本方法は、仮想モデル内に選択された仮想オブジェクトを有する視覚コンテンツを記憶する工程を含んでもよい。本方法は、単一の仮想オブジェクトを有する複数の視覚コンテンツを記憶する工程を含み、複数の視覚コンテンツは、異なるモバイルユーザから供給される。
【0006】
ある例示的な実施形態の態様によれば、非一時的コンピュータ可読媒体は、コンピュータ可読命令を含む。コンピュータ可読命令は、１つまたは複数の処理装置により実行されると、カメラを含むモバイル機器上に視覚コンテンツをロードする工程と、モバイル機器のインターフェースのアクティブ時にカメラの位置と向きとを判定する工程と、記録された位置と向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、選択された仮想オブジェクトの表面上に視覚コンテンツを掲示する工程と、を１つまたは複数の処理装置に実行させる。
【0007】
ある例示的な実施形態の態様によれば、拡張現実（ＡＲ）システムは、１つまたは複数の処理装置を含む。１つまたは複数の処理装置は、カメラを含むモバイル機器上に視覚コンテンツをロードする工程と、モバイル機器のインターフェースのアクティブ時にカメラの位置と向きとを記録する工程と、記録された位置と向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、選択された仮想オブジェクトの表面上に視覚コンテンツを掲示する工程と、を実行するように構成される。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
図１は、拡張現実（ＡＲ）のための例示的なシステム１００の図である。本明細書に開示されるいくつかの方法は、単一のモバイル機器１０１により、または単一のモバイル機器１０１を用いて実行可能である。しかしながら、同方法の多くは、複数のモバイル機器１０１による、または複数のモバイル機器１０１を用いての使用に特に適している。複数のモバイル機器の関与により、ユーザのコミュニティ間でのＡＲコンテンツの共有が容易になる。１つまたは複数のネットワーク１０３は、モバイル機器（多くの場合、エンドユーザ機器であるが、必ずしもそうではない）から情報を収集し、モバイル機器に情報を送信し、情報を記憶し、および／または情報を処理するために採用されてもよい。１つまたは複数のクラウドベースのコンピュータ（例えば、サーバ）１０５は、特定のクラウドベースの機能を実行するために、システム１００の構成要素でもよい。ネットワーク化されたシステム１００は集中化されてもよく、または、分散化（例えば、ピア・ツー・ピアシステム）されてもよい。１つまたは複数の仮想モデルは、システム１００内に記憶され、モバイル機器１０１のＡＲ出力において提供され得るＡＲコンテンツを記憶し、保持し、抽出するためのバックボーンとして使用される。仮想モデル用のデータは、モバイル機器１０１上に集約的に（例えば、クラウドサーバ１０５内に）、および／またはローカルに記憶されてもよい。仮想モデルは、２次元または３次元でもよく、現実世界の領域に対応し、厳密に一致してもよい。現実世界の仮想モデル内のオブジェクトは、現実世界内のサイズ、形状、稠度、構造、外観などにおいて同様のオブジェクトに対応している。例えば、都市の３Ｄ仮想モデルは、その絶対的または相対的なサイズと形状とが都市にある実際の建物に対応する仮想建物オブジェクトから構成されてもよい。
【0010】
図２は、ＡＲコンテンツを生成し、記憶するための例示的な方法２００である。方法２００は、現実世界環境との意味的関係にあるユーザ指定のＡＲコンテンツを生成するために採用されてもよい。方法の一部は、「工程」または「ブロック」と互換的に呼ばれることがある。
【0011】
工程２０１は、ユーザアクティブ化のためにモバイル機器のインターフェースを監視する工程を含む。この工程は、ユーザがＡＲコンテンツの生成を希望しているときを認識し、ユーザがＡＲコンテンツの生成を希望していないときからＡＲコンテンツの生成を希望しているときを区別する際に役立つ。方法２００は、カメラのアクティブ化など、エンドユーザの間で周知のアクティブ化技術を監視することによって、ユーザにとって直感的に使いやすい（ｕｓｅｒ ｉｎｔｕｉｔｉｖｅ）方法でもよい。カメラはスマートフォンのようなモバイル機器の間で広く普及しており、このような機器のユーザは一般に、カメラをアクティブ化させて写真または映像を取り込む手段に精通している。これは、例えば、音量ボタン、ホームボタン、またはタッチスクリーンボタンでもよい。それはさらに、または代替的に、音声コマンドまたはジェスチャでもよい。工程２０１は、モバイル機器のカメラおよび／またはサポートソフトウェアを監視し、ユーザが写真または映像を取り込む機器のネイティブメソッドに従ってカメラをいつアクティブ化するかを認識し得る。
【0012】
工程２０２は、ユーザアクティブ化が検出されるか否かを判定する判定ブロックである。アクティブ化が検出されない場合、監視は継続されてもよく、少なくともまだＡＲコンテンツは作成されない。アクティブ化が検出された場合、方法２００は次の工程に進む。
【0013】
工程２０３は、アクティブ時のモバイル機器の状態を表すセンサデータを記録する工程を含む。モバイル機器の状態は、機器の姿勢を含んでもよい。姿勢は、位置２０４と向き２０５とからなる。モバイル機器の状態は、例えば、機器のジャイロスコープ、デジタルコンパス、ＧＰＳモジュール、温度計、磁力計、高度計から収集された種類の情報を含んでもよい。なお、３Ｄ仮想モデル１０７が現実世界に対応する場合、現実世界における機器の姿勢は、仮想モデル内の姿勢に直接マッピングされてもよい。状態データは、モバイル機器、またはより具体的には、カメラのようなモバイル機器の部品を表してもよい。ある実施形態では、モバイル機器の状態がユーザの状態を正確に反映すると仮定され得る。例えば、スマートフォンを携帯する人は一般に、スマートフォンと同じ位置を共有している。別の例として、人がスマートフォンのカメラを特定の方向に向けている場合、人は機器に注意を向けてる傾向にあり、その結果、カメラと同じ特定の方向を向いている。いくつかのモバイル機器のこの従来の使用挙動を前提として、「機器の」状態または状態成分の議論は一般に、「ユーザの」状態または状態成分の議論として扱われ得る。
【0014】
様々な他のデータは、インターフェースのアクティブ時に、またはインターフェースのアクティブ化後に記録されてもよい。データは、次いで、記録された状態または特定のコンテンツに関連付けられるか、またはリンクされてもよい。例えば、モバイル機器は、時間と、ユーザ識別と、適格な将来のビューアに対する制限と、存続期間と、任意の指定されたコンテンツトリガと、のうち１つまたは複数を記録してもよい。「ユーザ識別」は、特定のユーザ（ユーザとは、機器または人）または異なる分類のユーザ（例えば、「極秘の」に対して「機密の」）を特徴付け、区別するために使用されてもよい。「存続期間」（ｌｉｆｅｔｉｍｅ）は、「存続期間」の開始時間（例えば、インターフェースのアクティブ化の時間）と所定の終了時間との間に経過する時間を追跡するタイマまたは同様の機構でもよい。「存続期間」の特徴は、存続期間の終了時に、存続期間に関連するコンテンツを、それを記憶している機器から自動的に削除、無効化、または除去するように構成されてもよい。「存続期間」は、「満期」または「持続期間」と表されてもよい。
【0015】
工程２０６は、モバイル機器の状態データを取得し、それを使用して、モバイル機器またはユーザにとって「可視」オブジェクトを決定または識別する。可視オブジェクトは、例えば、視線（ｌｉｎｅ ｏｆ ｓｉｇｈｔ：ＬＯＳ）テストを使用して識別されてもよい。視線は、記録された向き２０５に関係する方向における記録された位置２０４を基に判断されてもよい。視線に沿って位置する仮想オブジェクトは、工程２０６において可視であると識別されてもよい。または、オブジェクトの可視性は、適用された視錐台を用いて判定されてもよい。視錐台は、機器またはカメラの先行しているまたは前方に存在するものを判断するという点で視線に類似している。しかしながら、視錐台は、単なる視線よりも有利であり、３次元空間と、カメラおよび人間の目の両方が周囲を知覚する様子（例えば、近くの可視の物理的空間の量と比較して、遠くの可視の物理的空間の量のほうが多い）と、を考慮に入れているという点で有利である。視錐台は、工程２０３からの姿勢情報を用いて決定され得る。位置と、向きと、近視野限界および遠視野限界についての仮定と、を用いて、アクティブ時からのカメラの視錐台は決定される。次いで、視錐台は、仮想モデル１０７（図１参照）内の視錐台として適用される。適用された視錐台の境界内に入る仮想オブジェクトは、工程２０６の目的のために「可視」であることがわかる。
【0016】
工程２０７は、１つまたは複数の可視オブジェクトの１つまたは複数の表面を選択する。これらの表面は、仮想モデル内に対応する対応仮想表面を有し得る。多くの場合、同工程は、単一の物体の単一の表面を選択する工程を含む。選択された表面は、他の仮想コンテンツと、仮想コンテンツと意味的関係にある現実世界の環境と、の２次元または３次元の構成と配置とに関連して、ＡＲコンテンツがどこに記憶されるかを指定する。緩やかな例えとして、現実世界のグラフィティ・アーティストは、ペイントする構造だけでなく、ペイントを適用するその構造の１つまたは複数の表面を選択しなければならない。したがって、仮想コンテンツの配置においても、仮想オブジェクトと、そのオブジェクトの配置先となる１つまたは複数の表面と、を選択する必要がある。工程２０７は、選択された表面の特異性（例えば、正確な境界）を改良するサブ工程を含んでもよい。
【0017】
工程２０８は、選択されたオブジェクトおよび表面上に、または選択されたオブジェクトおよび表面と共に記憶されるコンテンツを選択する。コンテンツ選択のために、様々な異なるサブプロセスが採用されてもよい。一例として、ユーザは、コンテンツを自分自身で選択してもよい。例えば、ユーザは、自分自身の機器の記憶部から写真またはグラフィックを選択してもよい。また、ユーザは、自分の指またはスタイラスで機器の画面上をなぞることにより、コンテンツを描いてもよい。例えば、ユーザは、「Ｘ」や円を描いてもよい。モバイル機器は、ユーザに選択を促し、ユーザの応答を受信するように構成されてもよい。モバイル機器は、ユーザが選択したコンテンツを（例えば、機器上の描画ユーティリティを使用して）作成することを可能にしてもよい。他の選択プロセスが使用されてもよい。
【0018】
工程２０９は、選択された表面に関連付けて、選択されたコンテンツを配置する。同工程において、選択されたコンテンツは、仮想モデル１０７（図１参照）の一部となる。新しい拡張コンテンツは、仮想モデルに組み込まれるか、または仮想モデルに関連付けられ、仮想モデルと共に、または仮想モデルと並んで記憶される。フォーマットは、画像、テクスチャ、パターン、マップ、カラーオーバーレイ、または新しいコンテンツが関連付けられる仮想モデル内の１つまたは複数の表面に適用される他の同様の技術の形態をとり得る。これは、仮想モデル内で生成される、新しい表面またはオブジェクトなどの新しいエンティティの形態をとってもよい。なお、これらの表面または新しいエンティティは、平面または２次元である必要はないが、湾曲したオブジェクトや形状、不規則なオブジェクトや形状、複雑なオブジェクトや形状など、現実世界の表面と同程度に広範囲に変化し得る。
【0019】
コンテンツの配置には、位置以上のことを考慮に入れることが理解されよう。コンテンツが関連付けられたオブジェクト、特にオブジェクトの表面は、多次元（例えば、３次元）空間枠に基づいて、他のオブジェクトおよび周囲との関係を有する。位置情報（例えば、ＧＰＳ座標のセット）のみでは、仮想コンテンツと現実コンテンツとの間の真の意味的関係を供給することができない。位置は、むしろ、１つの関連する態様にすぎない。現実世界のオブジェクトをシミュレートするためにモデル化された複数の仮想オブジェクトを含む仮想モデルの使用は、コンテンツの配置のためのはるかに優れた空間システムを提供する。さらに、工程２０６における可視オブジェクトの決定は、ユーザが自分の特定位置（例えば、人が現在立っている場所）だけでなく、自分の周囲のどこにでもＡＲコンテンツを配置することができる、直感的に使いやすい技術である。
【0020】
図３は、ＡＲコンテンツを抽出し、提供するための例示的な方法３００を示す。ある実施形態では、特定のＡＲ消費者の現実世界の周囲に対して意味的関係にあるＡＲコンテンツのみが抽出され、その消費者に供給されることが望ましい。取得されたコンテンツは、方法２００に従って作成されたコンテンツでもよく、または仮想モデル１０７（図１参照）が現実世界環境との意味的関係に記憶された他の何らかのコンテンツでもよい。
【0021】
工程３０１は、モバイル機器のセンサデータを取得する。一般に、これには、少なくとも位置３０２と向き３０３とが含まれる。追加のセンサデータ、例えば、時間も収集され得る。
【0022】
工程３０４は、ブロック３０１からのモバイル機器の感知された位置および向き（および／または他のセンサデータ）に基づいて、周囲の任意の仮想オブジェクトが「可視」であるか否かを判定する。物体の可視性を判定するアプローチは、方法２００（図２参照）のブロック２０６のオブジェクトの可視性判別処理と同一でない場合、実質的に同等でもよい。例示的なプロセスは、例えば、視線（ＬｏＳ）または視錐台を決定し、適用してもよい。
【0023】
工程３０５は、方法２００でコンテンツを抽出しているユーザが可視オブジェクト、またはそのようなオブジェクトに関連して記憶されたコンテンツにアクセスできるか否かをチェックする。仮想コンテンツへのアクセスを許可または拒否するために、様々なセキュリティまたは認証プロトコルのいずれかが使用されてもよい。例示的なサブプロセスとして、工程３０５は、ユーザ加入を検証する工程と、加入ステータスに基づいて、ユーザ単位でコンテンツへのアクセスを許可する工程と、を含むか、またはこれらの工程により構成される実施形態では、工程３０５は省略されてもよい。
【0024】
コンテンツは、コンテンツへのアクセスを規制、制御、または制限する、コンテンツに関連するデータ（例えば、デジタル「タグ」）を有してもよい。このデータのいくつかは、指定されたコンテンツトリガと呼ばれることがある。工程３０５における照会は、非限定的な一例である。方法２００に関連して前述したとおり、様々なデータは、記録された状態および／または特定のコンテンツに関連付けられてもよい。アクセス権は、ユーザ識別と、ユーザクラスと、存続期間または満了日と、アクセス要求時との近接性と、のうち１つ以上の要件を満たしている特定のコンテンツに付与できる。「ユーザ識別」自体は誰が作成されたコンテンツの視聴を許可されるかを定義し得るが、ユーザはユーザに許容可能な別個の認証基準（例えば、「極秘の」に対して「機密の」）で作成されたコンテンツを「タグ付け」可能でもよい。アクセス要求時との近接性を考慮すると、特定のコンテンツは、ビューアが特定のオブジェクトまたは位置に対して所定の近接性を有する場合にのみ視聴可能でもよい。例えば、将来のビューアは、あるコンテンツにアクセスするために、そのコンテンツが記憶されている表面からある程度の距離（例えば、１０フィート）以内、またはユーザがインプリント時間に立っていた場所（場所２０４）からある程度の距離（例えば、１０フィート）以内にいる必要があり得る。
【0025】
工程３０６は、可視仮想オブジェクトからどの仮想コンテンツを提供すべきか（およびそれに応じて何を提供すべきでないか）を決定または識別する。この工程は、多数の決定を含み得る。前述のとおり、ＡＲコンテンツ作成は、視覚コンテンツを特定の仮想オブジェクトの特定の側面または表面に関連付ける工程を含んでもよい。したがって、工程３０６の１つの考慮事項は、ＡＲコンテンツが取得されるべき仮想オブジェクトの１つまたは複数の側面（１つまたは複数の表面）を識別することでもよい。工程３０６の別の考慮事項は、複数の別個のコンテンツが同じオブジェクトの同じ表面に対して記憶されている場合に、単一の側面からどのＡＲコンテンツを取得すべきかを識別することでもよい。全てのコンテンツを一度に表示することにより、視覚コンテンツが重なったり、その他のコンフリクトが発生する可能性がある。工程３０６の別の考慮事項は、記憶されたコンテンツのメタデータをチェックし、メタデータに基づいてコンテンツを表示するか否かを決定することでもよい。例えば、コンテンツにはタイムスタンプが付されてもよく、特定の時間、期間、または特定の満了期間内からのコンテンツのみが取り出されてもよい。いつ、どのように、または誰にコンテンツが表示され得るかを決定する工程には、複数のレベルの基準が関与し得る。例えば、コンテンツは、特定の時間内で、コンテンツの位置から特定の視聴距離内で、特定のユーザにのみ表示され得る。
【0026】
最後に、工程３０７では、抽出されたコンテンツがＡＲ出力の拡張の形態でユーザに表示される。
【0027】
図４は、ＡＲコンテンツの作成と記憶と抽出との理解を支援するための例示的な図である。位置Ａと位置Ｂとは、ユーザとユーザのモバイル機器との２つの生じ得る現実世界位置である。三角形と正方形と長方形とは、それぞれ、２つの関連するものを表す。各形状は、現実世界の建物（建物Ｘ、建物Ｙ、または建物Ｚ）と、形状とサイズと位置（およびおそらく他の一致基準）とにおいて対応する現実世界の建物に一致する仮想オブジェクト（オブジェクトＸ、オブジェクトＹ、またはオブジェクトＺ）と、を示す。三角形と正方形と長方形との内部に記載される数字は、建物またはオブジェクトのそれぞれの表面または側面に対するラベルである。一点鎖線は、ユーザ位置（位置Ａまたは位置Ｂ）から建物またはオブジェクト（建物Ｘ／オブジェクトＸ、建物Ｙ／オブジェクトＹ、または建物Ｚ／オブジェクトＺ）までのいくつかの生じ得る視線（ＬｏＳ）を示す。位置Ｂから生じ得る２つの視錐台は、それぞれ４０４および４０５として識別される。図示および説明を容易にするために、図は２次元である。実際には、３次元空間が使用されてもよい。
【0028】
第１の例示的なシナリオによれば、ユーザは位置Ａに位置し、近くの現実世界の建物の側に仮想看板を掲示することにより、ＡＲコンテンツを作成することを望んでいる。周囲を見ると、位置Ａのユーザは、視線ＡＸに沿って建物Ｘの側面１を見ることができる。ユーザは、視線ＡＹ４に沿って建物Ｙの側面４を見ることができる。ユーザは、視線ＡＹ１に沿って建物Ｙの側面１も見ることができる。なお、建物Ｚは、建物Ｙが表す視覚的障害物が無ければ、視線ＡＹ１または視線ＡＺ４に沿って可視である。ユーザの現在のビューによれば、仮想看板を掲示することができる３つの可能な建物の側面、すなわち、建物Ｘの側面１、建物Ｙの側面４、または建物Ｙの側面１がある。ユーザが建物Ｙの側面４を選択したと仮定すると、ＡＲコンテンツを作成するために、ユーザは、モバイル機器を建物Ｙ、特に建物Ｙの側面４に向け、アクションを開始するために使用される機器のインターフェースボタンを押す。モバイル機器は、インターフェースのアクティブ化を検出し、リアルタイムの位置と方向とを記録する。アクティブ化の時点は、位置Ａおよび視線ＡＹ４である。機器は、この姿勢データを使用して、ＡＲコンテンツ（看板）を掲示するためのユーザの選択が例えば、建物Ｘの側面１または建物Ｙの側面１ではなく、建物Ｙの側面４であることを判定する。ユーザが掲示するＡＲコンテンツとして看板を既に選択している場合、モバイル機器は、オブジェクトＹ、特にオブジェクトＹの側面４に仮想モデルを有する看板を実際に記憶する工程に進むことができる。ユーザが掲示するＡＲコンテンツとして看板をまだ選択していない場合、モバイル機器はユーザに選択を求めるプロンプトを表示してもよい。モバイル機器は、さらなるプロンプトを提供してもよい。例えば、機器は、ユーザとのオブジェクトおよび側面の選択を検証し、ならびに／または、複数のオブジェクトおよび／または複数の側面が機器の位置と向きとに関係する場合に、オブジェクトと側面とを選択するオプションをユーザに提供してもよい。
【0029】
第２の例示的なシナリオによれば、ユーザは位置Ｂに位置し、図４に図示される空間内で拡張現実体験を必要とし、または望んでいる。ユーザは、ＡＲコンテンツの抽出および提供のための例示的な方法３００を実行または容易にするモバイル機器を有する。カメラが建物Ｘと建物Ｙとを「見る」ようにユーザの機器を向けると、ユーザは、アクションを開始するために使用される機器のインターフェースボタンを押す。ユーザの機器はアクティブ化を検出し、機器の位置（位置Ｂ）と向きとを直ちに記録する。次いで、機器は、可視オブジェクトをチェックする。この例では、機器は視錐台に基づくアプローチを実行する。この機器は、位置および向きのデータと、近視野限界および遠視野限界に対するプリセット値と、を使用して視錐台４０４を画定する。視錐台４０４は、仮想モデルが現実世界に対応する（例えば、一致または複製する）ように構成されるため、現実世界の３次元空間の領域と、仮想モデル１０７（図１参照）の対応する仮想３次元空間と、の両方を画定する。この視錐台を仮想モデルに適用することにより、機器は、どの物体が視錐台内（部分的に視錐台内にある場合を含む）にあるかを識別する。図４に図示のとおり、視錐台４０４は、仮想モデル内のオブジェクトＸとオブジェクトＹとの部分を含む。より具体的にはオブジェクトＸの側面２，３と、オブジェクトＹの側面３，４と、のいくつかの部分は視錐台４０４内に含まれる。これらのオブジェクトとその側面とは、ＡＲコンテンツの候補ソースである。次いで、機器は、どのオブジェクトとオブジェクトのどの表面とを使用するかを選択する。次いで、機器は、選択されたオブジェクトと側面とに関連するＡＲコンテンツをさらに選択する。最終結果は、拡張現実出力における１つの拡張（または複数の拡張）として供給され得る特定のＡＲコンテンツである。説明のために、この方法において、オブジェクトＸの側面２、特に、それに関連する仮想看板が選択されたと仮定する。位置Ｂのユーザは、このプロセスの結果として、現実世界の建物Ｘの側面２に掲示された仮想看板を見ることができる。
【0030】
当然のことながら、前段落のシナリオでは、ユーザの位置および／または向きがインターフェースアクティブ時に異なる場合、結果として異なるＡＲコンテンツが抽出され、エンドユーザに提供される。例えば、ユーザが、インターフェースアクティブ時に建物Ｚの方向にある自分の機器に向いたが、同じ位置（位置Ｂ）に留まった場合、視錐台４０５が生じ得る。図４に図示のとおり、この結果は、建物Ｚの側面４または側３面のいずれかでの拡張をもたらし得る。
【0031】
図４を用いて、位置Ａのユーザが視線ＡＹ１に沿って向けられる機器を有している、３番目のシナリオ例について考察する。視線ＡＹ１は建物Ｙと交差し、視線を延長すると、建物Ｚとも交差する。視線ＡＹ１の延長線は、図４では視線ＡＺ４と表記される。ある実施形態または使用事例では、障害物により遮られるオブジェクトを見るために、障害物を「見通す」オプションをユーザに提示してもよい。この例では、建物Ｙが障害物であり、建物Ｚが障害物により遮られるオブジェクトである。そして、オブジェクトＹは障害物であり、オブジェクトＺは障害物により遮られるオブジェクトである。例示的なプロトコルによれば、ユーザの機器はオブジェクトＺに対する障害物にも関わらず、オブジェクトＹとオブジェクトＺとの両方を「可視」オブジェクトとして識別するように構成され得る。この場合、機器は、ユーザに対して、障害物ビューを選択するオプションのプロンプトを表示してもよい。ユーザがこの選択を行う場合、最終的なＡＲ出力は、建物Ｙを効果的に「不可視」にするオブジェクトＹに関する拡張を含むことができる。本質的に、拡張は建物Ｙのビューを置き換えるために使用されてもよく、これらの拡張は建物Ｙにより遮られる現実世界環境の外観を視覚的にとり得る。
【0032】
本発明にかかる方法（例えば、図２の方法２００、図３の方法３００、他の方法）は、スマートフォン、ウェアラブルデバイス（例えば、フィットネストラッカ、スマートウォッチ）、ＡＲ機器専用ラップトップ（例えば、マイクロソフト社のＨｏｌｏＬｅｎｓ（登録商標）、Ｍａｇｉｃ Ｌｅａｐ（登録商標））、または何らかの他のモバイル機器などのモバイル機器により実行されてもよい。より具体的には、一部または全ての工程は、前述の機器の典型的な他のハードウェアによりサポートされ、前述の機器の１つまたは複数のプロセッサとカメラとにより、または、前述の機器の１つまたは複数のプロセッサとカメラを用いて実行され得る。
【0033】
「仮想モデル」と「仮想世界」とは、互換的に使用され得る。現実世界が人間の通常の知覚に対して３次元（３Ｄ）であるので、対応する仮想モデルも３Ｄとして特徴付けられるが、必ずしも３次元である必要はない（すなわち、モデルは２次元または４次元でもよく、時間を含んでもよい。また、モデルは複数の空間次元と、時間次元と、色のような他の次元と、のうち１つまたは複数を有する多次元でもよい）。例示的な仮想モデルは、現実世界の位置に対応するように構成された仮想位置を含む。仮想モデルは、現実世界の景観を基にモデル化された仮想景観を含んでもよい。現実世界の地理、位置、景観、ランドマーク、構造など、自然のものでも人工のものでも、現実世界と同様の大きさ、比率、相対位置、配置などで仮想世界内に再現することができる。例えば、ニューヨーク市の例示的な３Ｄ仮想モデルは、実際に多くの点でニューヨーク市に似ており、一般的な地理とランドマークとが一致している。仮想世界内では、仮想オブジェクトは、仮想位置に作成されてもよい（例えば、インスタンス化されてもよい）。仮想位置は現実世界の位置に対応するので、所定の仮想位置に位置する仮想オブジェクトは、所定の仮想位置に対応する特定の現実世界位置に関連付けられる。
【0034】
ＡＲコンテンツを生成するために採用される仮想オブジェクトを含み、記憶する仮想世界は、１つまたは複数のデータベース（例えば、集約型データベースまたは分散型ネットワーク）にデータとして記憶され得る現実世界の３Ｄ仮想表現でもよい。このようなデータベースまたはネットワークは、例えば、仮想表現の幾何学的態様と、その仮想表現内においてインスタンス化されるオブジェクトの特徴と、を記憶してもよい。
【0035】
一般に、拡張は、現実世界の環境要素との意味的関係でなくてもよい。例えば、多くのアメリカ人は、テレビでアメリカンフットボールを観るとき、拡張現実に慣れている。映像カメラにより捉えられるフットボールゲームは、現実世界のビューである。しかしながら、放送会社はしばしば、記録された現実世界のビューの画像を、フィールド上のスクリメージラインおよびファーストダウンのマーカを用いて拡張する。ラインとマーカとは、現実には存在せず、現実世界のビューに追加された仮想拡張である。任意の所定の試合では、スクリメージの線が４０ヤードラインまたは３０ヤードラインで描かれているかで異なる。スクリメージラインが描かれていることだけでなく、何の現実世界のオブジェクトが存在するか、それらがどこに存在するか、何の現実世界のイベントが起こっているかでも、十分ではない。現実世界の競技場と、競技者と、試合において現在行われているイベントに関連して、スクリメージラインがどこにどのように現れるかが重要である（例えば、スクリメージラインの拡張は試合の間において、現実世界との意味的関係を有さない）。スクリメージラインは、現実世界（現実世界の競技場と競技者とを含む）との意味的関係にある。現実世界の環境に対するスクリメージラインの配置が、何の現実世界の要素が存在し、何の現実世界のイベントが起こっているかに基づいているからである。別の例として、テレビで放送されるオリンピックのレースでは、移動する仮想ラインがイベントにおける世界記録と同じペースに並ぶランナーまたはスイマーの位置を表すために、トラックおよび水泳プールに重ねられる。リアルタイムではないが、現実世界と意味的関係にある拡張現実では、例えば、試合が既に行われた後に、表示されているフットボール試合の画像上にスクリメージラインが重ね合わせられる。
【0036】
本明細書で使用される「見通し（ｐｅｒｓｐｅｃｔｉｖｅ）」は、場所と、向きと、姿勢と、位置と、視野と、のうち１つまたは複数を指し得る。画像または映像が複数のカメラからの合成である場合、各カメラまたは代表的なカメラについての各情報が使用され得る。例示的な視野情報は、位置と向きとを含む。したがって、少なくとも、これは、画像または映像が撮影される場所と、画像または映像に含まれる現実世界のコンテンツを捉えるためにカメラが向いていた方向と、に関するカメラのビューを示す。
【0037】
「位置」と「場所」とは、類似の用語であり、時には（必ずしも常にではないが）当技術分野で互換的に使用され得る。「場所」は、地理または地理を示すために使用される基準系（例えば、ＧＰＳ）の文脈において、特に広く使われる。「位置」は、一般的な座標系、特に地理からかなり独立した座標系（例えば、直交座標系）の文脈において、一般的に使用される。「位置」と「場所」との両方は、点として表現され得る。しかしながら、「位置」とは異なり、「場所」は、領域、空間、またはエリアとして表現され得る。例えば、街角は場所として表現されてもよく、町全体が場所として表現されてもよい。
【0038】
「位置（ｐｏｓｉｔｉｏｎ）」または「場所（ｌｏｃａｔｉｏｎ）」のいずれかは、何かが例えば直交座標系（または他の何らかの座標系）内にある場所を指すために使用されてもよい。向きと比較して、場所は直線位置として特徴付けられてもよく、一方、向きは回転位置として特徴付けられてもよい。場所情報は、絶対的（ａｂｓｏｌｕｔｅ）（例えば、緯度と、経度と、高度と、経緯度原点とは、共に、場所を特定するため、追加情報を必要としないジオコーディングされた絶対位置を提供してもよい）、相対的（ｒｅｌａｔｉｖｅ）（例えば、「緯度３０．３９、経度－９７．７１の２ブロック北」は、別々に知られる絶対位置に対して相対的な位置情報を提供する）、または連想的（ａｓｓｏｃｉａｔｉｖｅ）（例えば、「複写機のすぐ隣」は、複写機の場所、すなわち、指定された基準の場所が既に知られている場合、場所情報を提供する。この場合、複写機それ自体は、絶対的、相対的、または連想的であり得る）でもよい。緯度および経度を伴う絶対場所または絶対位置は、標準的経緯度原点、例えば、ＷＧＳ８４（Ｗｏｒｌｄ Ｇｅｏｄｅｔｉｃ Ｓｙｓｔｅｍ １９８４）などを含むことが想定されてもよい。米国などにおいて、緯度および経度について議論する場合、グローバルポジショニングシステム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ：ＧＰＳ）がＷＧＳ８４を使用しており、緯度および経度の表現は本質的にこの特定の経緯度原点を伴うことが想定され得るため、経緯度原点はしばしば無視される。本開示では、絶対場所または絶対位置の情報は、任意の好適な経緯度原点のＷＧＳ８４、またはそれらの代替物を使用し得る。
【0039】
「向き」は、回転位置でもよい（一方、位置は直線位置でもよい）。向きは、姿勢と互換的に呼ばれることもある。単一の位置に制約される場合であっても、さらなる制約が適所にない限り、オブジェクトは、様々な向きを物理的にとり得る。向きは方向（例えば、単位ベクトル）によって表現されることができる。位置と向きとは、共に、３次元空間における６自由度（ｓｉｘ ｄｅｇｒｅｅｓ ｏｆ ｆｒｅｅｄｏｍ）に従ってオブジェクトを表現し得る。
【0040】
「姿勢」は、集合体における位置または場所、および向きを指すために使用され得る用語である。
【0041】
視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ：ＦＯＶ）は、所定の瞬間に、例えば、人またはカメラにより見られる観察可能な世界の範囲である。写真では画角（ａｎｇｌｅ ｏｆ ｖｉｅｗ：ＡＯＶ）という用語がより一般的であるが、視野（ＦＯＶ）という用語と互換的に使用され得る。
【0042】
ある実施形態では、１つまたは複数の処理装置（例えば、初期のカメラを含む機器またはシステム、またはＡＲエンジンまたはＡＲ対応機器の処理装置）は、どの仮想オブジェクトが拡張として提供される（例えば、表示されるか、または他の方法で出力される）べきかを判定するために、磁気センサからのデジタルコンパス入力、ジャイロスコープセンサからの回転データ、線形加速度センサからの加速度データ、ＧＰＳセンサからのＧＰＳデータ（緯度、経度、高度、経緯度原点）、映像ストリームからの画像データ（それ自体が他のＡＲシステムからの拡張を含み得る）のいくつかまたは全ての組合せを使用するように構成される。この情報の処理は、現実世界の視覚装置（例えば、カメラ）の位置と、向きと、視界（視錐台として表現可能）と、を特定し、その特定の精度を推定するために使用される。例えば、１つまたは複数の処理装置は、視覚装置（例えば、カメラ）の６次元位置を特定し得る。位置は、緯度と、経度と、高度と、経緯度原点と、向きと、によるセットであり、またはこれらのいくつかの組み合わせを含み得る。向きは、水平角度や垂直角度などの角度の組み合わせとして判定されてもよい。あるいは、向きは、例えば、ピッチ、ロール、ヨーなどの回転により特定されてもよい。
【0043】
ＧＰＳデータは、デジタルコンパスセンサおよびジャイロスコープセンサデータと共に、所定の瞬間に、関連センサと同一の場所に配置されたカメラの３Ｄ位置と３Ｄ定位とを特定するために使用され得る。その場合、結果として得られる現実世界の視錐台は、３Ｄ仮想表現（仮想世界）に適用され得る。補正アルゴリズムは、測定の不正確さまたは不精確さについて対処することに使用され得る。例えば、想定される拡張が現実世界のコンテンツに現れるオブジェクト上に、またはそれに隣接して正確に配置されていない場合、画像内で検出された最も近いオブジェクトに拡張を「スナップ」する手法が実行され得る。
【0044】
現実世界の視覚装置（例えば、カメラ）の視錐台と、画像内の任意の関連画像データにおける検出された配置と、に基づいて、拡張は、３Ｄ仮想表現（仮想世界）から供給されるように、およびその表現に関連付けられた特性により変更されるように、および検出された画像データにより潜在的に調節されるように、表示され得る。
【0045】
「視錐台」は、３次元空間の可視領域を指すために使用されてもよい。現実世界の設定には、カメラが含まれてよく、仮想世界の設定には、視点（例えば、仮想カメラ）が含まれてもよい。デジタル空間（例えば、仮想現実世界）の関係において、視野（ＦＯＶ）は、頻繁に視錐台に照らして議論される。図６は、本明細書では単に「視錐台」と称される視錐台１１００の例を示す。表示領域が一般的に長方形であるため、視錐台はしばしば、四角錐台である。他の形状（例えば、円形）の表示領域の場合、視錐台は、異なる基部形状（例えば、円錐）を有し得る。視錐台１１００の境界または縁は、垂直視野１１０１（角度、通常は度で表される）と、水平視野（角度、通常は度で表される）と、近視野限界（距離または位置）と、遠視野限界（距離または位置）と、に従って画定される。近視野限界は、視錐台のニアクリップ面１１０３で表される。同様に、遠視野限界は、視錐台のファークリップ面１１０４で表される。これらの境界の他に、視錐台は、位置と向きとを含んでもよい。つまり、例示的な視錐台は位置と、向きと、視野（水平、垂直、および／または対角線）と、近視野限界および遠視野限界と、を含んでもよい。デジタル空間では、視点１１１１とニアクリップ面１１０３との間の領域１１２０に入る仮想オブジェクトは、表示されない可能性がある。同様に、ファークリップ面１１０４を超えて領域１１４０に入る仮想オブジェクトは、表示されない可能性がある。視錐台１１００内、すなわち、ニアクリップ面１１０３とファークリップ面１１０４との間の領域内、ならびに、水平視野１１０２および垂直視野１１０１内の仮想オブジェクトのみが、拡張による表現の候補となり得る。これは、対象物の可視性が一般的に水平視野１１０２と垂直視野１１０１とのみに基づいているカメラの現実世界のビューとは異なる。つまり、現実世界設定のカメラでは、水平視野１１０２および垂直視野１１０１内にある現実のオブジェクトが一般的に可視である。デジタル空間では、現実世界を見ているカメラからのビューを近似するために、ニアクリップ面１１０３はゼロ（すなわち、視点）に設定されてもよく、ファークリップ面１１０４は無限遠または実質的に無限遠に設定されてもよい。しかしながら、仮想カメラのニアクリップ面よりも近いオブジェクト（通常、実際のカメラでは焦点が合わない）と、ファークリップ面を超えるオブジェクト（実際のカメラでは物理的寸法がかなり大きくない限り、効果的に不可視となるほど小さく見える）と、の省略は、仮想システムでの効率ゲインとして実行される。拡張現実システムが結果として生じる視錐台の増大した体積をレンダリングするために必要とされる追加処理を行う場合、仮想カメラのニアクリップ面は任意に近くに配置されてもよく、ファークリップ面は任意に遠くに配置されてもよい。いずれの場合も、視錐台は一般に、実際のカメラの視界に対応し得る。なお、カメラから物体までの距離（視点から物体までの距離）が大きい場合に、別の物体による１つの物体の妨害、および物体の縮小は、物体が正確には視錐台１１００内に存在する場合であっても、物体の可視性を低減または排除し得ることが理解されよう。
【0046】
「拡張」は、仮想コンテンツのユニットでもよく、例えば、表示装置上にグラフィックとしてレンダリングされる仮想オブジェクトでもよい。拡張は、視覚的（最も一般的）、聴覚的、触覚的、力覚的、熱覚的、味覚的、嗅覚的、またはこれらの何らかの組み合わせでもよい。例えば、拡張は、音、映像、グラフィック、および／または触覚フィードバックを含むか、またはこれらから構成され得る。「拡張」という用語は、拡張現実の文脈で使用されることが多いが、仮想現実の文脈での使用と互換性がないわけではない。拡張は、１つまたは複数の（すなわち、少なくとも１つの）感覚モダリティ（ｓｅｎｓｏｒｙ ｍｏｄａｌｉｔｙ）を含み得る。感覚モダリティは、視覚、聴覚、触覚または力覚（例えば、振動）、嗅覚、味覚、あるいはそれらの任意の組み合わせ（例えば、視聴覚）でもよい。拡張は、例えば、現実のオブジェクトの３Ｄ表現（例えば、セルタワーの詳細な３Ｄ表現）、現実のオブジェクトを抽象化したもの（例えば、上部が球形の単純な円柱形として表されるセルタワー）、インジケータ、またはキュー（例えば、コールアウトボックス）の形態を取ってもよい。拡張で表されるいくつかの情報は、対応する現実世界の形状を有さなくてもよい。例えば、２つの無線ネットワークアンテナ間の無線ネットワークリンクは現実世界での視認可能な表現を有さず、そのため、その接続の全ての拡張表示は必ず、ある種の抽象化（例えば、幾何学的形状）である。その一方で、拡張で表されるいくつかの情報は、最小限に抽象化された少なくとも１つの単純な拡張、例えば、対応する現実世界の建物に非常に似せて配置され、成形され、着色された建物の３Ｄグラフィックを有してもよい。
【0047】
いくつかの拡張は、現実世界の画像との関連においてレンダリングされた立体３Ｄモデルであるか、またはそれらを含む。いくつかの拡張は、時間の経過と共に、変更されるか、交換されるか、または完全に置換される。いくつかの拡張は、現実世界の画像に重ねられたアニメーションである。例えば、拡張は、何らかのイベントに基づいて再生されるスケーリングされた３Ｄモデルまたはアニメーションである。アニメーションは、そのようなイベントに基づいて誘起され得る（例えば、マクロ化され得る）。
【0048】
仮想モデルに記憶された、仮想モデルと共に記憶された、または仮想モデルを参照して記憶された仮想オブジェクトは、感覚モダリティに関連する限り、本質的に特定の状態をとらなくてもよい。例えば、仮想オブジェクトは、特定の外観を有さなくてもよい。実際に、仮想オブジェクトは外観を全く有さず、本質的に肉眼では「不可視な」ものであり得る。対照的に、拡張は、定義により、１つまたは複数の感覚モダリティに従って知覚可能である。すなわち、拡張は、見られ、聞かれ、触れられ、嗅がれ、および／または味わわれ得る。拡張は、仮想オブジェクトの「面」とみなされ得る。この場合、仮想オブジェクト内に記憶され、または仮想オブジェクトにより記憶され、あるいは仮想オブジェクトと共に記憶されたデータは、その「面」を見ているユーザに拡張が何を描写し、または表現するかを決定するために使用される。
【0049】
例示的なプロセスは一般に、特定の電子機器または電子機器のシステムのいずれかにおいて、ハードウェアと、ソフトウェアと、ファームウェアと、の何らかの組合せにより実行される。図５は、拡張現実を提供するための例示的なシステム９００の模式図である。電子機器９０１は、ユーザの物理的な位置および姿勢（位置および向き）に関するデータを収集するためのセンサを含み得る。特に、データは、機器９０１自体の位置と姿勢とを反映し得る。機器９０１は、地理的空間の現実世界のビューを捉えるための１つまたは複数のカメラを備えてもよい。捉えられた／収集されたデータは、データ処理（例えば、視錐台の決定、仮想世界への現実世界の視錐台の適用、仮想オブジェクト候補の識別、拡張選択、拡張変更など）のために、クラウド９０３（例えば、１つまたは複数の地理的に離れたサーバの処理装置）に送られてもよい。集約型クラウドベースのシステムに加えて、またはその代わりに、本発明のプロセスの工程の実行に関与する処理装置は、少なくとも、記載された方法を実行するための演算能力を提供する特定のハードウェアに関して、一実施形態または１人のユーザから次のユーザまで変化するアドホックシステム（ａｄ ｈｏｃ ｓｙｓｔｅｍ）などの、分散型システムの一部でもよい。データベース９０５（１つまたは多数のデータベースでもよい）は、ネットワーク関連データと、仮想世界の幾何学的データと、他の仮想世界のデータと、仮想オブジェクトのデータと、および本質的に、フィールドに配備され得るセンサおよびカメラから新たに収集されていない本明細書において説明される実質的に全ての他のデータと、の永久的または半永久的な記憶および抽出を提供する。当然のことながら、一般的にデータベースに記憶される本明細書において説明される様々なデータタイプ、特に仮想オブジェクトのデータは、新しいデータが利用可能になった場合、または既存のデータが古くなったまたは期限が切れた場合、時間経過と共に更新され得る。仮想オブジェクトと、それらの仮想オブジェクトに基づく拡張とは、それに応じて更新され得る。処理装置は、他のデータを生成するために、機器９０１からの画像フィードまたは映像フィードと、センサデータ、特に位置データと、を使用してもよい。拡張画像データは、表示装置上に拡張画像９０６を生成する機器９０１（または適宜、他の出力装置）に送り返されてもよい。
【0050】
「出力装置」は、本明細書において使用される場合、ユーザが自身の感覚を使用して（例えば、自分の目および／または耳を使用して）出力を知覚することができるように、ユーザに対して少なくとも視覚出力、聴覚出力、視聴覚出力、または触覚出力を提供することができる装置でもよい。多くの実施形態において、出力装置は、少なくとも１つのディスプレイ、少なくとも１つのスピーカ、またはディスプレイとスピーカとのいくつかの組み合わせを備えるであろう。好適なディスプレイ（すなわち、表示装置）は、モバイル電子機器（例えば、電話、スマートフォン、ＧＰＳ装置、ラップトップ、タブレット、スマートタッチなど）の画面である。別の好適な出力装置は、ヘッドマウントディスプレイ（ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ：ＨＭＤ）である。ある実施形態において、表示装置は、シースルー型ＨＭＤである。そのような場合、表示装置は、捉えられた現実世界の画像フィードを画面上に詳細に再生することなく、現実世界を見ることを受動的に可能にする。一般的に、シースルー型ＨＭＤにおいて、拡張のみが装置により能動的に示され、または出力される。視覚拡張は、常に、現実世界の環境の直接的ビューの上に重ねられるが、システムへの元の映像入力のいずれかの表示を必ずしも伴うわけではない。実際に、画像データを検出するために映像入力を使用しないシステムの場合、システムは、カメラを全く有さず、関連拡張を決定するために他のセンサ（例えば、ＧＰＳ、ジャイロ、コンパスなど）に完全に依存し、透明なガラスまたはバイザー上に関連拡張を表示する、１つまたは複数のＨＭＤを備えてもよい。出力装置と視覚装置とは、ユーザ入力を取得するために、入力機器（例えば、ボタン、タッチスクリーン、メニュー、キーボード、データポートなど）を備えてもよく、または伴ってもよい。
【0051】
本発明のある実施形態は、システム、装置、方法、および／またはコンピュータプログラム製品でもよい。システム、装置、またはコンピュータプログラム製品は、処理装置に、本発明の態様、例えば、本明細書で説明されるプロセスまたはプロセスの一部、あるいはプロセスの組合せを実行させるための、コンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数の媒体）を含んでもよい。
【0052】
コンピュータ可読記憶媒体は、命令実行装置による使用のための命令を保持し、記憶することができる有形の装置でもよい。コンピュータ可読記憶媒体は、例えば、これらに限定されるわけではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、またはこれらの好適な組み合わせでもよい。コンピュータ可読記憶媒体のより詳細な例の非包括的リストには、ポータブルコンピュータディスケット（ｐｏｒｔａｂｌｅ ｃｏｍｐｕｔｅｒ ｄｉｓｋｅｔｔｅ）、ハードディスク、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＲＡＭ）、リードオンリメモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ：ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリメモリ（ｐｏｒｔａｂｌｅ ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ：ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカードまたは、その上に記録された命令を有する溝における隆起した構造などの機械的にエンコードされた装置、および、これらの任意の適切な組み合わせが含まれる。コンピュータ可読記憶媒体は、本明細書において使用される場合、一過性の信号それ自体、例えば、ラジオ波または他の自由に伝搬する電磁波、導波路または他の伝送媒体を介して伝搬する電磁波（例えば、光ファイバケーブルを通る光パルス）、または電線を介して伝送される電気信号などとして解釈されるべきではない。
【0053】
本明細書に記載されるプロセスまたはその工程は、コンピュータ可読記憶媒体から、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部コンピュータまたは外部記憶装置に、それぞれのコンピューティング装置／処理装置と対になっているか、またはそれらにダウンロードされる、コンピュータ可読プログラム命令で実施可能である。ネットワークは、銅製の伝送ケーブルと、光伝送ファイバと、無線伝送と、ルータと、ファイアウォールと、スイッチと、ゲートウェイコンピュータ（ｇａｔｅｗａｙ ｃｏｍｐｕｔｅｒｓ）および／またはエッジサーバと、を備えてもよい。各コンピューティング装置／処理装置におけるネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング装置／処理装置内のコンピュータ可読記憶媒体のストレージへと送信する。
【0054】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクションセットアーキテクチャ（ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ：ＩＳＡ）命令、機械語命令、機械依存命令（ｍａｃｈｉｎｅ ｄｅｐｅｎｄｅｎｔ ｉｎｓｔｒｕｃｔｉｏｎｓ）、マイクロコード、ファームウェア命令、状態設定データ（ｓｔａｔｅ－ｓｅｔｔｉｎｇ ｄａｔａ）、あるいはＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかであり得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行されてもよく、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、完全にリモートコンピュータまたはサーバにおいて実行されてもよい。後者のシナリオの場合、リモートコンピュータは、ローカルエリアネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ：ＬＡＮ）または広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＷＡＮ）を含む、任意のタイプのネットワークを介して、ユーザのコンピュータに接続されてもよく、あるいは接続は外部コンピュータに対してなされてもよい（例えば、インターネットプロバイダを使用してインターネットを介して）。ある実施形態では、例えば、プログラマブル論理回路（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｉｒｃｕｉｔｒｙ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ-ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ：ＦＰＧＡ）、またはプログラマブル論理アレイ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙｓ：ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することにより、コンピュータ可読プログラム命令を実行し、電子回路をパーソナル化してもよい。
【0055】
本発明の態様は、本発明の実施形態にかかる方法と、装置（システム）と、コンピュータプログラムの成果物と、のフローチャート図および／またはブロック図を参照しながら説明される。フローチャート図および／またはブロック図の各ブロックと、フローチャート図および／またはブロック図のブロックの組合せとが、コンピュータ可読プログラム命令により、およびそれらの様々な組合せにより、実装できることが理解されよう。
【0056】
本発明は、例示的実施形態と特徴と共に本明細書において説明されているが、当業者であれば、本発明は本開示によって制限されず、添付の特許請求の範囲により定義される本発明の範囲を逸脱することなく、様々な変更と修正とを加えてもよいことを理解するであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】