特許 7475401 拡張現実アーキテクチャにおける改善されたデータ統合のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-18

(45)【発行日】2024-04-26

(54)【発明の名称】拡張現実アーキテクチャにおける改善されたデータ統合のためのシステムおよび方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240419BHJP

   G06F 16/74 20190101ALI20240419BHJP

   G06F 16/904 20190101ALI20240419BHJP

   G06F 16/9035 20190101ALI20240419BHJP

   G06Q 50/10 20120101ALI20240419BHJP

【ＦＩ】

G06F3/01 510

G06F16/74

G06F16/904

G06F16/9035

G06Q50/10

【請求項の数】 9

【外国語出願】

(21)【出願番号】P 2022135753

(22)【出願日】2022-08-29

(62)【分割の表示】P 2017178626の分割

【原出願日】2017-09-19

(65)【公開番号】P2022179480

(43)【公開日】2022-12-02

【審査請求日】2022-09-26

(31)【優先権主張番号】15/273,649

(32)【優先日】2016-09-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517327933

【氏名又は名称】ナビティア・エルエルシー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ジャスティン・ワイルド

(72)【発明者】

【氏名】レイリン・アンダーソン・シンク

【審査官】田川 泰宏

(56)【参考文献】

【文献】特開２０１１－１７０６８２（ＪＰ，Ａ）

【文献】特開２０１５－１１８５５８（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０１６７７８７（ＵＳ，Ａ１）

【文献】国際公開第２０１２／１２７６０５（ＷＯ，Ａ１）

【文献】特開２０１２－２１２２２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１－３／０４８９５

Ｇ０６Ｆ １６／７４

Ｇ０６Ｆ １６／９０４

Ｇ０６Ｆ １６／９０３５

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

1つまたは複数のプロセッサを備える拡張現実コンピューティングシステムによって実行可能である命令を記憶した非一時的コンピュータ可読記憶媒体であって、
前記命令は、前記拡張現実コンピューティングシステムに、
拡張現実デバイスから個人に関連付けられているコンテキスト情報を取得するステップであって、前記コンテキスト情報は、前記拡張現実デバイスによって記憶されている位置情報および前記個人に関連付けられている識別情報を含む、ステップと、
前記識別情報に基づき、前記個人に関連付けられているユーザプロファイルを取得するステップであって、前記ユーザプロファイルを取得することは、複数のデータソースから複数のデータセットを取得することを含み、前記ユーザプロファイルは、前記個人に関連付けられている旅行情報を含み、前記旅行情報は、機械学習アルゴリズムを使用して決定された、予測された購入を含む、ステップと、
前記個人に、または前記拡張現実デバイスに関連する前記複数のデータセットから情報のサブセットを決定するステップであって、情報の前記サブセットの関連性は、前記拡張現実デバイスから取得された前記位置情報およびコンテキスト情報の分析の結果に基づく、ステップと、
情報の決定された前記サブセットに基づき表示データを生成するステップと、
前記拡張現実デバイス上に表示するために、前記表示データを前記拡張現実デバイスに提供するステップであって、前記表示データを表すグラフィカルオーバーレイは、個人の視野の前に表示され、前記グラフィカルオーバーレイは、前記拡張現実デバイスの視野内の1つまたは複数のエンティティに関する情報を含む、ステップと
を含む方法を実行させ、
前記拡張現実デバイスから取得される前記コンテキスト情報は、前記個人の視野を表す視覚データを含み、
情報の前記サブセットの前記関連性は、前記視覚データの分析結果にさらに基づき、
前記視覚データの前記分析結果は、前記機械学習アルゴリズムを使用して決定された、予測された購入に対するフィードバックを含む、非一時的コンピュータ可読記憶媒体。

【請求項2】

前記拡張現実デバイスから取得される前記コンテキスト情報は、方向情報および運動情報のうちの少なくとも一方を含む、請求項1に記載の非一時的コンピュータ可読記憶媒体。

【請求項3】

前記旅行情報は、旅行選好、購入された旅行サービス、旅行更新、旅行歴情報、および将来の旅行情報のうちの少なくとも1つを含む、請求項1に記載の非一時的コンピュータ可読記憶媒体。

【請求項4】

前記コンテキスト情報およびデバイス情報の前記分析は、前記個人の前記視野内のエンティティを決定することと、前記エンティティに関連付けられていない情報をフィルタリングすることとを含む、請求項1に記載の非一時的コンピュータ可読記憶媒体。

【請求項5】

1つまたは複数のプロセッサによって実行される方法であって、
拡張現実デバイスから個人に関連付けられているコンテキスト情報を取得するステップであって、前記コンテキスト情報は、前記拡張現実デバイスによって記憶されている位置情報および前記個人に関連付けられている識別情報を含む、ステップと、
前記識別情報に基づき、前記個人に関連付けられているユーザプロファイルを取得するステップであって、前記ユーザプロファイルを取得することは、複数のデータソースから複数のデータセットを取得することを含み、前記ユーザプロファイルは、前記個人に関連付けられている旅行情報を含み、前記旅行情報は、機械学習アルゴリズムを使用して決定された、予測された購入を含む、ステップと、
前記個人に、または前記拡張現実デバイスに関連する前記複数のデータセットから情報のサブセットを決定するステップであって、情報の前記サブセットの関連性は、前記拡張現実デバイスから取得された前記位置情報およびコンテキスト情報の分析の結果に基づく、ステップと、
情報の決定された前記サブセットに基づき表示データを生成するステップと、
前記拡張現実デバイス上に表示するために、前記表示データを前記拡張現実デバイスに提供するステップであって、前記表示データを表すグラフィカルオーバーレイは、個人の視野の前に表示され、前記グラフィカルオーバーレイは、前記拡張現実デバイスの視野内の1つまたは複数のエンティティに関する情報を含む、ステップと
を含み、
前記拡張現実デバイスから取得される前記コンテキスト情報は、前記個人の視野を表す視覚データを含み、
情報の前記サブセットの前記関連性は、前記視覚データの分析結果にさらに基づき、
前記視覚データの前記分析結果は、前記機械学習アルゴリズムを使用して決定された、予測された購入に対するフィードバックを含む、方法。

【請求項6】

前記拡張現実デバイスから取得される前記コンテキスト情報は、位置情報、方向情報、および運動情報のうちの少なくとも1つを含む、請求項5に記載の方法。

【請求項7】

前記拡張現実デバイスから取得される前記コンテキスト情報は、方向情報および運動情報のうちの少なくとも1つを含む、請求項5に記載の方法。

【請求項8】

前記旅行情報は、旅行選好、購入された旅行サービス、旅行更新、旅行歴情報、および将来の旅行情報のうちの少なくとも1つを含む、請求項5に記載の方法。

【請求項9】

複数のデータソースから取得された複数のデータセット、および拡張現実デバイスからの個人に関連付けられているコンテキスト情報を記憶するように構成されるデータ記憶装置であって、前記コンテキスト情報は、位置情報および識別情報を含む、データ記憶装置と、
1つまたは複数のプロセッサと
を備え、前記1つまたは複数のプロセッサは、
前記拡張現実デバイスから前記コンテキスト情報を取得することであって、前記コンテキスト情報は、位置情報および前記個人に関連付けられている識別情報を含む、ことと、
前記識別情報に基づき、前記個人に関連付けられているユーザプロファイルを取得することであって、前記ユーザプロファイルは、前記個人に関連付けられている旅行情報を含み、前記旅行情報は、機械学習アルゴリズムを使用して決定された、予測された購入を含む、ことと、
前記個人に、または前記拡張現実デバイスに関連する前記複数のデータセットから情報のサブセットを決定することであって、情報の前記サブセットの関連性は、前記拡張現実デバイスから取得された前記位置情報およびコンテキスト情報の分析の結果に基づく、ことと、
情報の決定された前記サブセットに基づき表示データを生成することと、
前記拡張現実デバイス上に表示するために、前記表示データを前記拡張現実デバイスに提供することであって、前記表示データを表すグラフィカルオーバーレイは、個人の視野の前に表示され、前記グラフィカルオーバーレイは、前記拡張現実デバイスの視野内の1つまたは複数のエンティティに関する情報を含む、ことと
を行うように構成され、
前記拡張現実デバイスから取得される前記コンテキスト情報は、前記個人の視野を表す視覚データを含み、
情報の前記サブセットの前記関連性は、前記視覚データの分析結果にさらに基づき、
前記視覚データの前記分析結果は、前記機械学習アルゴリズムを使用して決定された、予測された購入に対するフィードバックを含む、電子デバイス。

【発明の詳細な説明】

【背景技術】

【0001】

現代世界において利用可能なデータおよびデータソースが増大するとともに、人々がデータを消費する様式も増え、その革新も進んできた。個人は、自分たちの日々の行動およびインタラクション(interaction)を情報として伝えるためにオンラインリソースとデータの利用可能性とに次第に頼るようになってきている。携帯型の接続されたデバイスが至る所に存在しており、この種類の情報にほとんどどのような場所からでもアクセスできるようになっている。

【0002】

しかしながら、この情報を使用した物理的世界の光景を拡張することは、まだ初期段階にある。現在の拡張現実システムは、画面またはビューポート上に視覚データをオーバーレイして、視覚世界上にオーバーレイされた情報を提供することができる。これらの種類のシステムは有用であるが、通常は、ユーザにすでに利用可能になっている情報の追加の表示を単純に提供することに限定されており、またはオーバーレイされたデータとともに可視スペクトルを複製する。完全に統合された拡張現実体験を提供するためにユーザの視覚認知に関するコンテキスト情報および詳細を使用する真に拡張されたシステムが必要になっている。

【発明の概要】

【課題を解決するための手段】

【0003】

次に、本開示の例示的な実施形態を示す添付図面を参照する。

【図面の簡単な説明】

【0004】

【図1】本開示の実施形態と一致する、統合拡張現実システムのための例示的なシステムのブロック図である。

【図2】本開示の実施形態と一致する、例示的なコンピューティングデバイスのブロック図である。

【図3A】本開示の実施形態と一致する、例示的な拡張現実デバイスの図である。

【図3B】本開示の実施形態と一致する、例示的な拡張現実デバイスの図である。

【図4A】本開示の実施形態と一致する、拡張現実の例示的な使用の図である。

【図4B】本開示の実施形態と一致する、拡張現実の例示的な使用の図である。

【図4C】本開示の実施形態と一致する、拡張現実の例示的な使用の図である。

【図5】本開示の実施形態と一致する、拡張現実システムにおける改善されたデータ統合のための例示的な方法のフローチャートである。

【図6】本開示の実施形態と一致する、拡張現実システムにおける改善されたデータ統合のための例示的な方法のフローチャートである。

【発明を実施するための形態】

【0005】

次に、例が添付図面に示されている、本開示によって実装される例示的な実施形態が詳細に参照される。可能な限り、図面全体を通して同じまたは類似の部分を指すために同じ参照番号が使用される。

【0006】

本明細書で説明されている実施形態は、拡張現実システムにおける改善されたインタラクションおよび統合に関係する。拡張現実システムは、一般的に世界の視覚的理解を高めるための大きな潜在的可能性をもたらす。個人が目で体験する視覚的視点(visual perspective)を補完することによって、拡張現実システムは、我々の周りの世界のより詳細な理解をもたらすことができる。

【0007】

現在の拡張現実システムは、コンピュータ生成画像およびデータを視野上にオーバーレイし、目だけでは得られない視覚的体験をもたらすことができる。しかしながら、拡張現実システムの現在の実装は、完全に統合された体験をもたらすことに失敗している。視覚的オーバーレイ(visual overlay)は、典型的には、通知またはアラートのようなものに関係する。これらのシステムでは、拡張現実体験は、有用なアプリケーションを実現するが、拡張はユーザの視覚焦点には無関係である。他の拡張現実システムにおいて、グラフィカルオーバーレイ(graphical overlay)は、ユーザが見ているものに関する情報を提供するが、提供される情報は、その特定のアプリケーションおよびデータセットに限定される。

【0008】

本明細書で説明されている実施形態は、これらの問題に対して異なる視点からアプローチする。特定のアプリケーションに基づき一組の限定された情報を提供することに集中する代わりに、開示されているシステムでは、拡張現実デバイスそれ自体からのデータを個人に関連付けられている膨大なデータソースと統合する。開示されているシステムはさらに、ユーザに関するコンテキスト情報を使用して利用可能なデータを分析し、処理することができる。このデータ統合の結果は、ユーザの拡張現実デバイスに送られ、ユーザの視野の一見したところ無関係の側面に関する情報の包括的オーバーレイを提供することができる。

【0009】

さらに、開示されているシステムおよび方法は、個人に関するコンテキスト情報に基づきその情報を手直しすることができる。提供されるオーバーレイは、個人または他の関係者によって管理される他のデータソースにリンクし、個人が見ているアイテムに関係する時間、位置、およびコンテキスト特有のデータを提供することができる。

【0010】

たとえば、システムは、拡張現実デバイスまたはユーザのモバイルデバイスからの位置に基づき、ユーザが空港ターミナルに到着したことを認識することができる。航空会社または他のトラベルコンベヤ(travel conveyor)によってホストされている旅行アプリからの個人に関するデータ、および他の旅行ソフトウェアとともに、ユーザのデジタルカレンダからのデータを使用して、開示されているシステムおよび方法は、個人に次のフライトがあるとさらに決定することができる。個人の到着後、開示されているシステムおよび方法は、次のフライトおよび個人の現在の搭乗手続き状態に関する利用可能な情報を使用して、個人を適切な搭乗場所のキオスク、顧客サービスもしくは発券カウンタ、または搭乗ゲートに誘導することができる。すべての発券カウンタに関する拡張情報を単に提供する代わりに、現在の拡張現実システムにおいて典型的なように、開示されているシステムの、複数のデータソースからのデータの統合は、航空会社または他のトラベルコンベヤとの予約取引の現在の状態も提供しながら修正された体験を個人に提供する。

【0011】

それに加えて、開示されているシステムおよび方法は、現在の空港手続きを現代的にすることができる。たとえば、すでに説明されている例では、説明されている拡張現実システムは、個人が空港内のどこにいるか、持っていると思われるバッグの数、および行く必要があると思われる場所を判断するために使用され得る。この情報は、搭乗者名簿を管理し、ユーザの搭乗手続きを自動的に行い、チェックされた手荷物がどこに置かれるべきかを効果的に示し、手荷物引換券を自動的に生成し、搭乗通知を行うために旅行システムによって使用され得る。このようにして、開示されているシステムおよび方法が旅行者にとって役立つだけでなく、フライトおよび旅行管理に関する重要な決定を下すために使用される有用性を高めた情報を提供することによって空港運営の効率および有効性も向上させることができる。

【0012】

さらに、開示されているシステムおよび方法は、インタラクティブな体験を個人に提供することができる。現在の拡張現実システムの大半は、情報を単に広めるだけである。あるレベルのインタラクティブ性を提供するシステムは、有用性を制限する特定のアプリケーションとのユーザのインタラクションに基づきそのようにする。開示されているシステムおよび方法は、特に個人に合わせて手直しされた統合データを提供するので、個人からのインタラクションは、個人に関連付けられている任意の数の活動またはサービスに関係し得る。たとえば、個人が航空機に搭乗するためにゲートで待っているときに、個人のフライトに関係する情報は、ステータス更新を行うために使用されるだけでなく、個人の一般的なフライト選好、購入選好、または個人の予測購入分析と統合することもでき、それにより、とりわけ、追加の座席利用可能性、アップグレードオプション、フライト中アメニティ、またはフライト前サービスに関する詳細情報を提供することができる。個人は、拡張現実システムとインタラクティブにやり取りして、座席の変更またはフライト中の娯楽の事前選択を行うことができる。個人がこの種類の情報を明示的に要求することを必要とする代わりに、開示されているシステムおよび方法で実現される統合により、システムおよび方法が、拡張現実デバイスそれ自体からは利用可能でないコンテキスト情報に基づき関連する有用な情報を個人に、先行して提供することが可能になる。

【0013】

本明細書で説明されている実施形態は、統合されたインタラクティブな拡張現実体験を提供するために(様々なデータソースからの)膨大な量の利用可能なデータを使用する技術および技法をもたらす。本明細書で説明されている実施形態は、拡張現実デバイスから個人に関するコンテキスト情報および個人と関連付けられている拡張現実デバイスに関するデバイス情報を取得するためのシステムおよび方法を含む。システムおよび方法は、複数のデータソースから個人または拡張現実デバイスに関連付けられている複数のデータセットを取得するステップと、個人に関連する複数のデータセットから情報のサブセットを決定するステップとをさらに含み、情報の関連性は、コンテキスト情報と拡張現実デバイスから取得されたデバイス情報とに基づく。さらに、説明されている実施形態は、情報の決定されたサブセットに基づき表示データを生成し、表示データを拡張現実デバイスに送り、拡張現実デバイス上に表示するためのシステムおよび方法を含み、表示データは、個人の視野の上にオーバーレイされる。

【0014】

いくつかの実施形態において、説明されている技術は、拡張現実デバイスから取得されたコンテキスト情報が個人の視野を表す視覚データを含み、情報のサブセットの関連性が視覚データの分析結果にさらに基づくシステムおよび方法をさらに含む。開示されている実施形態のうちのなおも別の実施形態は、拡張現実デバイスから取得されたコンテキスト情報が位置情報、方向情報、および運動情報のうちの少なくとも1つを含むシステムおよび方法を含む。他の開示されている実施形態において、複数のデータセット(この場合には、データは専用データソースに由来する...デバイスではない)から取得された情報が個人に関連付けられている旅行情報を含み、旅行情報がユーザプロファイル、旅行選好、購入済み旅行サービス、旅行更新、および旅行履歴情報のうちの少なくとも1つを含むシステムおよび方法が提供される。

【0015】

本開示と一致する追加の実施形態は、コンテキスト情報およびデバイス情報の分析が個人の視野内のエンティティを決定することと、エンティティに関連付けられていない情報をフィルタリングすることとを含むシステムおよび方法を含む。

【0016】

図1は、本開示の実施形態と一致する、統合拡張現実システムのための例示的なシステム100のブロック図である。システム100は、データベース111、データソース113、データベース115、データベース117、データシステム116、および予測分析エンジン118を含む専用データソース110を備えることができる。システム100は、地図データ121、格付けデータ123、天気データ127、フライトデータ129、および位置データ125を含むことができる外部データソース120をさらに備えることができる。システム100は、アプリケーションプログラミングインターフェース(API)130をさらに備え得る。API130は、たとえば、図2を参照して以下でより詳しく説明されている、コンピューティングデバイス200を使用して、サーバまたはコンピュータシステム上に実装され得る。たとえば、専用データソース110および外部データソース120からのデータは、コンピューティングデバイス200のI/Oデバイス230および/またはネットワークインターフェース218を通じて取得できる。さらに、データは、処理の際に記憶装置228および/またはシステムメモリ221などの好適な記憶装置に記憶され得る。図1を再び参照すると、システム100は、拡張現実システム140をさらに備えることができる。API130のように、拡張現実システム140は、たとえば、コンピューティングデバイス200を使用して、サーバまたはコンピュータシステム上で実装され得る。

【0017】

図2は、本開示の実施形態と一致する、例示的なコンピューティングデバイス200のブロック図である。いくつかの実施形態において、コンピューティングデバイス200は、本明細書で説明されている機能性を実現する専用サーバとすることができる。いくつかの実施形態において、専用データソース110(たとえば、データベース111、データソース113、データベース115、データシステム116、データベース117、および予測分析エンジン118)、API130、拡張現実システム140、および拡張現実デバイス145などのシステム100のコンポーネントは、コンピューティングデバイス200または並列動作している複数のコンピューティングデバイス200を使用して実装することができる。さらに、コンピューティングデバイス200は、本明細書で説明されている機能性を提供するか、またはサーバから情報を受け取り説明されている機能性の少なくとも一部を提供する第2のデバイスとすることができる。さらに、コンピューティングデバイス200は、本開示の実施形態と一致するデータを記憶し、および/または提供する追加の1つまたは複数のデバイスとすることができる。

【0018】

コンピューティングデバイス200は、1つまたは複数の中央処理装置(CPU)220およびシステムメモリ221を備えることができる。コンピューティングデバイス200は、1つまたは複数のグラフィックス処理ユニット(GPU)225およびグラフィックメモリ226も備えることができる。いくつかの実施形態において、コンピューティングデバイス200は、GPU225および/またはグラフィックメモリ226を備えないヘッドレスコンピューティングデバイスとすることができる。

【0019】

CPU220は、メモリ(たとえば、システムメモリ221)、キャッシュ(たとえば、キャッシュ241)、またはレジスタ(たとえば、レジスタ240のうちの1つ)に記憶されている命令のセットを実行することができる単一のまたは複数のプロセッサ、フィールドプログラマブルゲートアレイ、またはデジタルシグナルプロセッサとすることができる。CPU220は、とりわけ、データ、命令、浮動小数点数値、条件値、メモリ(たとえば、システムメモリ221またはグラフィックメモリ226)内の位置に対するメモリアドレス、ポインタ、およびカウンタを含む変数型のデータを記憶するための1つまたは複数のレジスタ(たとえば、レジスタ240)を備えることができる。CPUレジスタ240は、命令ポインタ、命令カウンタ、および/またはメモリスタックポインタなどの命令を実行することに関連付けられているデータを記憶するために使用される専用レジスタを含むことができる。システム221は、フレキシブルディスク、ハードディスク、コンパクトディスクリードオンリーメモリ(CD-ROM)、光磁気(MO)ドライブ、デジタル多用途ディスクランダムアクセスメモリ(DVD-RAM)、ソリッドステートディスク(SSD)、フラッシュドライブおよび/またはフラッシュメモリ、プロセッサキャッシュ、メモリレジスタ、または半導体メモリなどの、有形のおよび/または非一時的なコンピュータ可読媒体を備えることができる。システムメモリ221は、データを記憶し、CPU220による直接アクセスを可能にすることができる1つまたは複数のメモリチップとすることができる。システムメモリ221は、任意の種類のランダムアクセスメモリ(RAM)、または本明細書で説明されているように動作することができる他の利用可能なメモリチップとすることができる。

【0020】

CPU220は、時にはバスとも称されるシステムインターフェース250を介してシステムメモリ221と通信することができる。GPU225を備える実施形態において、GPU225は、画像の作成を行い、および/または加速するためにメモリ(たとえば、グラフィックメモリ226)を操作し、変更することができる任意の種類の専用回路とすることができる。GPU225は、表示デバイス224などの表示デバイスに出力するために画像をフレームバッファ(たとえば、フレームバッファ245)に記憶することができる。いくつかの実施形態において、フレームバッファ245に記憶された画像は、ネットワークインターフェース218またはI/Oデバイス230を通じて他のコンピューティングデバイスに提供され得る。GPU225は、グラフィックデータの大きい並列ブロックを汎用CPU220よりも効率的に処理するように最適化された高度並列化構造を有することができる。さらに、GPU225の機能性は、専用処理ユニットまたはコプロセッサのチップセットに備えられ得る。

【0021】

CPU220は、システムメモリ221または他のメモリに記憶されているプログラミング命令を実行し、メモリ(たとえば、システムメモリ221)に記憶されているデータを操作し、コンピューティングデバイス200の様々なコンポーネント間の通信をブリッジする、システムインターフェース250を通じてGPU225と通信することができる。いくつかの実施形態において、CPU220、GPU225、システムインターフェース250、またはその組合せは、単一のチップセットまたは処理ユニット内に組み込まれる。GPU225は、メモリ(たとえば、システムメモリ221)に記憶されている命令のセットを実行して、システムメモリ221またはグラフィックメモリ226に記憶されているグラフィックデータを操作することができる。たとえば、CPU220は、GPU225に命令を送ることができ、GPU225は、それらの命令を処理して、グラフィックメモリ226に記憶されているグラフィックデータをレンダリングすることができる。グラフィックメモリ226は、ローカルメモリ、システムメモリ、オンチップメモリ、およびハードディスクを含む、GPU225によってアクセス可能な任意のメモリ空間とすることができる。GPU225は、グラフィックメモリ226に記憶されているグラフィックデータを表示デバイス224上に表示することを可能にし得るか、またはグラフィック情報を処理して、その情報を接続済みデバイスに、ネットワークインターフェース218またはI/Oデバイス230を通じて供給することができる。

【0022】

コンピューティングデバイス200は、I/Oコントローラ223に接続されている表示デバイス224および入出力(I/O)デバイス230(たとえば、キーボード、マウス、またはポインティングデバイス)を備えることができる。I/Oコントローラ223は、システムインターフェース250を介してコンピューティングデバイス200の他のコンポーネントと通信することができる。CPU220は、シリアル通信または直接的二地点間通信など、システムインターフェース250以外の方式で、システムメモリ221および他のデバイスと通信することもできることが理解される。同様に、GPU225は、システムインターフェース250以外の方法でグラフィックメモリ226および他のデバイスと通信することができる。入力を受けることに加えて、CPU220は、I/Oデバイス230を介して(たとえば、プリンタ、スピーカ、骨伝導、または他の出力デバイスを通じて)出力を送ることができる。

【0023】

さらに、コンピューティングデバイス200は、限定はしないが、標準電話回線、LANもしくはWANリンク(たとえば、802.21、T1、T3、56kb、X.25)、ブロードバンド接続(たとえば、ISDN、フレームリレー、ATM)、ワイヤレス接続(たとえば、とりわけ、802.11a、802.11b、802.11b/g/n、802.11ac、Bluetooth（登録商標）、Bluetooth LTE、3GPP(登録商標)、またはWiMax標準に準拠するもの)、または上記のいずれかもしくはすべての何らかの組合せを含む様々な接続を通じてLAN、WAN、MAN、またはインターネットとインターフェースするためのネットワークインターフェース218を備えることができる。ネットワークインターフェース218は、内蔵ネットワークアダプタ、ネットワークインターフェースカード、PCMCIAネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、USBネットワークアダプタ、モデム、またはコンピューティングデバイス200を、通信を行うことができる任意の種類のネットワークにインターフェースし、本明細書で説明されている動作を実行するのに適している他のデバイスを備えることができる。

【0024】

図1を再び参照すると、システム100は、拡張現実デバイス145をさらに備えることができる。拡張現実デバイスは、以下でさらに詳しく説明されている、図3Bに示されている拡張現実デバイス390などのデバイス、または他の何らかの拡張現実デバイスであってよい。さらに、拡張現実デバイス145は、以下でより詳しく説明されている、図3Aに示されているデバイス300に示されているコンポーネントを使用して実装され得る。

【0025】

図3A～図3Bは、本開示の実施形態と一致する、例示的な拡張現実デバイス300および390の図である。これらの例示的な拡張現実デバイスは、拡張現実デバイスの内部コンポーネント(たとえば、図3Aに示されているような)および拡張現実デバイスの外部コンポーネント(たとえば、図3Bに示されているような)を表すことができる。いくつかの実施形態において、図3Aは、図3Bの拡張現実デバイス390内に収容されている例示的な電子デバイス300を表すことができる。

【0026】

図3Aは、例示的な電子デバイス300を示す簡略化されたブロック図である。いくつかの実施形態において、電子デバイス300は、ビデオディスプレイ機能と、たとえば、インターネットを介して他のコンピュータシステムと通信する機能とを有する拡張現実デバイスを含むことができる。電子デバイス300によって提供される機能性に応じて、様々な実施形態では、電子デバイス300は、ハンドヘルドデバイス、データ通信と音声通信の両方に対して構成されている多重モード通信デバイス、スマートフォン、携帯電話、ラップトップ、ネットワークに有線接続されているコンピュータ、ネットブック、ゲーム機、タブレット、スマートウォッチ、眼鏡、ヘッドセット、ゴーグル、またはネットワーク接続通信対応PDAであり得るか、または備え得る。

【0027】

電子デバイス300は、電子デバイス300のコンポーネントを収納するケース(図示せず)を備えることができる。電子デバイス300の内部コンポーネントは、たとえば、プリント基板(PCB)上に製作され得る。電子デバイス300のコンポーネントおよびサブシステムは、ディスクリート要素として実現され得るが、コンポーネントおよびサブシステムの機能は、1つまたは複数の要素を一緒に1つまたは複数の組合せで組み込むか、組み合わせるか、またはパッケージ化することによって実現することもできる。

【0028】

電子デバイス300は、電子デバイス300の全体的動作を制御する、1つまたは複数のCPU301を備えるコントローラを具備することができる。CPU301は、1つまたは複数のマイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、または特定の命令セットを実行することができるこれらの任意の組合せとすることができる。CPU301は、通信機能を実行するためにワイヤレスネットワークと無線周波数信号をやり取りするワイヤレス通信システム306、音声を発生させるためのスピーカサブシステム320、位置情報を取得するための測位サブシステム308、および表示要素を生成するための表示サブシステム310などのデバイスサブシステムとインタラクティブにやり取りすることができる。

【0029】

CPU301は、入力デバイス307、永続的メモリ330、ランダムアクセスメモリ(RAM)337、リードオンリーメモリ(ROM)338、データポート318(たとえば、従来のシリアルデータポート、ユニバーサルシリアルバス(USB)データポート、30ピンデータポート、ライトニングデータポート、または高精細度マルチメディアインターフェース(HDMI（登録商標）)データポート)、マイクロフォン322、カメラ324、およびワイヤレス通信306(適切なワイヤレス(たとえば、RF)、光、または他の短距離通信技術(たとえば、WiFi、Bluetooth、またはNFC)を採用することができる)ともインタラクティブにやり取りすることができる。図3に示されているサブシステムのうちのいくつかは、通信関係機能を実行するが、他のサブシステムは「常駐」またはオンデバイス機能を備えることができる。

【0030】

ワイヤレス通信306は、ネットワークと通信して、外部デバイス(たとえば、サーバ、ただし図示せず)との通信を可能にする通信システムを備える。ワイヤレス通信306の特定の設計は、電子デバイス300が動作するように意図されているワイヤレスネットワークに依存する。電子デバイス300は、必要なネットワーク登録またはアクティベーション手順が完了した後にワイヤレスネットワーク上で通信信号を送受信することができる。

【0031】

測位サブシステム308は、位置情報を提供する全地球測位システム(たとえば、GPS309)などの様々なシステムを備えることができる。それに加えて、測位サブシステムは、接続済みデバイス(たとえば、ワイヤレス通信306を通じて接続されている)からの位置情報を利用して、位置データをさらに提供することができる。測位サブシステム308によって提供される位置情報は、たとえば、永続的メモリ330に記憶され、アプリケーション334およびオペレーティングシステム332によって使用され得る。

【0032】

表示サブシステム310は、様々なディスプレイ(たとえば、左眼ディスプレイ311および右眼ディスプレイ313)を制御することができる。拡張現実ディスプレイを実現するために、表示サブシステム310は、トランスペアレントディスプレイ上でグラフィック要素の表示(たとえば、GPU302を使用して生成される表示)をもたらすことができる。他の実施形態では、左眼ディスプレイ311および右眼ディスプレイ313上に生成される表示は、カメラ324からキャプチャされ、オーバーレイされたグラフィック要素により再現される画像を含むことができる。さらに、表示サブシステム310は、左眼ディスプレイ311および右眼ディスプレイ313上に異なるオーバーレイを表示して、異なる要素を示すか、または奥行きもしくは遠近のシミュレーションを行うことができる。

【0033】

カメラ324は、CMOSカメラ、CCDカメラ、または静止画像もしくはビデオ画像データなどの圧縮もしくは無圧縮画像データをキャプチャし、出力することができる他の任意の種類のカメラとすることができる。いくつかの実施形態において、電子デバイス300は、複数のカメラを備えることができ、これによりユーザは、一方のカメラから別のカメラへ切り替えたり、または一方のカメラによってキャプチャされた画像データを別のカメラによってキャプチャされた画像データの上にオーバーレイしたりすることができる。カメラ324から出力された画像データは、たとえば、画像バッファに記憶されるものとしてよく、このバッファはRAM337内にある一時バッファ、またはROM338もしくは永続的メモリ330内にある永続的バッファであってよい。画像バッファは、たとえば、先入れ先出し(FIFO)バッファとすることができる。いくつかの実施形態において、画像バッファは、GPU302および表示サブシステム310に直接送られ、グラフィカルオーバーレイありまたはなしで左眼ディスプレイ311および/または右眼ディスプレイ313上に表示を行うことができる。

【0034】

電子デバイスは、電子デバイス300に関連付けられている運動および方向データを測定するための慣性計測ユニット(たとえば、IMU340)を備えることができる。IMU340は、加速度計342、ジャイロスコープ344、および他のセンサ346を利用して、電子デバイス300で使用するための特定の力、角速度、磁界、およびバイオメトリック情報をキャプチャすることができる。IMU340および関連付けられているセンサ(たとえば、加速度計342、ジャイロスコープ344、および他のセンサ346)によってキャプチャされるデータは、永続的メモリ330またはRAM337などのメモリに記憶され、アプリケーション334およびオペレーティングシステム332によって使用され得る。IMU340およびその関連付けられているセンサを通じて集められたデータもまた、たとえば、ワイヤレス通信306を通じてネットワーク接続デバイスに提供され得る。

【0035】

CPU301は、記憶されているプログラムの制御の下で動作する1つまたは複数のプロセッサとすることができ、レジスタ、プロセッサキャッシュ、ランダムアクセスメモリ(RAM)、フレキシブルディスク、ハードディスク、CD-ROM(コンパクトディスクリードオンリーメモリ)、およびMO(光磁気)、DVD-ROM(デジタル多用途ディスクリードオンリーメモリ)、DVD-RAM(デジタル多用途ディスクランダムアクセスメモリ)、または半導体メモリであってよい、永続的メモリ330などの有形に具現化された非一時的コンピュータ可読記憶媒体に記憶されているソフトウェアモジュールを実行する。

【0036】

ソフトウェアモジュールは、ROM338などのコンピュータ可読記憶媒体、またはEEPROM、EAROM、FLASH(登録商標)を含む、任意の適切な永続的メモリ技術にも記憶され得る。これらのコンピュータ可読記憶媒体は、電子デバイス300上で様々な機能を実行するためにCPU301により実行されるコンピュータ可読命令を記憶する。代替的に、機能および方法は、たとえば、ASICおよび/または専用コンピュータなどのハードウェアコンポーネントまたはハードウェアとソフトウェアとの組合せで実装することもできる。

【0037】

ソフトウェアモジュールは、電子デバイス300の動作を制御するために使用される、オペレーティングシステムソフトウェア332を含み得る。それに加えて、ソフトウェアモジュールは、追加の機能性を電子デバイス300に付与するためのソフトウェアアプリケーション334を含み得る。たとえば、ソフトウェアアプリケーション334は、上記のシステム100のようなシステムとインターフェースするように設計されているアプリケーションを含むことができる。アプリケーション334は、電子デバイス300が異なるデータシステムとインターフェースし、強化された機能および視覚拡張を提供することを可能にする特定の機能性を実現することができる。

【0038】

ソフトウェアアプリケーション334は、たとえば、電子メールメッセージングアプリケーション、電話帳、ノートパッドアプリケーション、インターネットブラウザアプリケーション、音声通信(すなわち、電話またはボイスオーバーインターネットプロトコル(VoIP))アプリケーション、地図作製アプリケーション、メディアプレーヤアプリケーション、健康関係アプリケーション、などを含む、様々なアプリケーションも含み得る。ソフトウェアアプリケーション334の各々は、その対応するアプリケーションに従って拡張現実ディスプレイ上に(たとえば、表示サブシステム310を通じて)表示することが意図されている特定のフィールドおよびグラフィック要素の配置を定義するレイアウト情報を含むことができる。いくつかの実施形態において、ソフトウェアアプリケーション334は、オペレーティングシステム332の指令の下で実行するソフトウェアモジュールである。

【0039】

オペレーションシステム332は、電子デバイス300の様々なサブシステムおよびサービスとソフトウェアアプリケーション334との間で通信を行うためのインターフェースを提供する多数のアプリケーションプロトコルインターフェース(API)を備えることができる。たとえば、オペレーティングシステムソフトウェア332は、電子デバイス300上に表示するグラフィック要素を作成することを必要とするアプリケーションにグラフィックスAPIを提供する。ユーザインターフェースAPIにアクセスすることで、アプリケーション側では、オーバーレイなどの拡張インターフェースコントロールを作成し、管理し、カメラ324、マイクロフォン322、または入力デバイス307を介して入力を受け取るための機能性、および表示サブシステム310を通じて表示することを意図した他の機能性を実現することができる。さらに、カメラサービスAPIは、表示サブシステム310を通じて拡張を実現するために処理され、使用され得る画像またはビデオデータなどの画像データをキャプチャすることを目的としてカメラ324を通じてビデオのキャプチャを可能にすることができる。

【0040】

いくつかの実施形態において、電子デバイス300のコンポーネントは、ユーザからの入力を電子デバイス300に送るために一緒に使用され得る。たとえば、表示サブシステム310は、左眼ディスプレイ311および右眼ディスプレイ313上にインタラクティブコントロールを備えることができる。拡張表示の一部として、これらのコントロールは、電子デバイス300のユーザの前に表示することができる。カメラ324を使用することで、電子デバイス300は、拡張現実デバイス上に表示されるコントロールのうちの1つをユーザが選択する時点を検出することができる。ユーザは、特定のジェスチャまたは動作をカメラにキャプチャさせるか、表示サブシステム310が拡張視野(augmented view)上にバーチャルコントロールを表示する空間の領域をタッチするか、または電子デバイス300上の入力デバイス307に物理的にタッチすることによってコントロールを選択することができる。この入力は、電子デバイス300によって処理され得る。

【0041】

カメラ324は、両方の直接ユーザ入力を検出する、さらには頭部追跡および手追跡に使用される複数のカメラをさらに備えることができる。ユーザが自分の頭部および手を動かすと、カメラ324は移動する環境およびユーザの手の動きに対応する視覚情報を提供することができる。これらの動作は、CPU301、オペレーティングシステム332、およびアプリケーション334に送られ、そこで、そのデータが他のセンサデータ、および表示サブシステム310を通じて表示される拡張情報に関係する情報と組み合わされ、ユーザ選択および入力を決定することができる。

【0042】

さらに、電子デバイス300は、マイクロフォン322から直接入力を受け取ることができる。いくつかの実施形態において、マイクロフォン322は、同じ、または異なる目的に使用される1つまたは複数のマイクロフォンであってよい。たとえば、マルチマイクロフォン環境では、いくつかのマイクロフォンは環境変化を検出することができ、他のマイクロフォンはユーザから直接音声コマンドを受け取ることができる。マイクロフォン322は、ユーザからの音声または入力を直接記録することができる。カメラ324からの視覚データと同様に、マイクロフォン322からの音声データは処理のためにCPU301、オペレーティングシステム332、およびアプリケーション334に送られ、それによりユーザの入力を決定することができる。

【0043】

いくつかの実施形態において、永続的メモリ330は、ユーザアカウントまたはデバイス特有の識別子の情報などの、電子デバイス300のユーザに特有のデータを含む、データ336を記憶する。永続的メモリ330は、電子デバイス300によってアクセスされるサービスから取得されたもの(たとえば、コンテンツ、通知、およびメッセージ)に関係するデータを記憶することもできる。永続的メモリ330は、たとえば、電子デバイス300の特定のユーザの選好とともに様々なアプリケーションに関係するデータをさらに記憶することができる。いくつかの実施形態において、永続的メモリ330は、電子デバイス300上で実行しているアプリケーションにユーザの資格証明を自動的に与えるなどのために、ユーザのデータをアプリケーション内のデータの特定のフィールドにリンクするデータ336を記憶することができる。さらに、様々な実施形態において、データ336は、ネットワークとの通信を確立し、維持するために電子デバイス300によって必要とされる情報を含むサービスデータも含み得る。

【0044】

いくつかの実施形態において、電子デバイス300は、1つまたは複数の取り外し可能メモリモジュール352(たとえば、FLASHメモリ)およびメモリインターフェース350も備えることができる。取り外し可能メモリモジュール352は、ワイヤレスネットワークに対してユーザまたはユーザのアカウントを識別するか、または認証するために使用される情報を記憶することができる。たとえば、取り外し可能メモリモジュール352は、GSM（登録商標）およびその後継ネットワークを含む、特定の種類のワイヤレスネットワークと併せて、加入者識別モジュール(SIM)と称される。メモリモジュール352は、ワイヤレスネットワークとともに動作させるために、電子デバイス300のメモリモジュールインターフェース350内に挿入されるか、または結合され得る。

【0045】

電子デバイス300は、電子デバイス300を動作させるためのエネルギーを供給する、バッテリー362も備えることができる。バッテリー362は、外部電源(図示せず)からバッテリー362を充電する、および電子デバイス300内の、または電子デバイス300に結合されている様々な負荷にエネルギーを分配するなどの機能を管理することができる、バッテリーインターフェース360を通じて電子デバイス300の電気回路に結合され得る。

【0046】

データおよび場合によっては音声通信アプリケーションを含む、基本的なデバイス動作を制御する一組のアプリケーションが、製造時にまたは製造後に電子デバイス300上にインストールされ得る。追加のアプリケーションまたはオペレーティングシステムソフトウェア332もしくはソフトウェアアプリケーション334へのアップグレードも、データポート318、ワイヤレス通信306、メモリモジュール352、または他の好適なシステムを通じて電子デバイス300上にロードされ得る。ダウンロードされたプログラムまたはコードモジュールは、実行時にCPU301による実行のために永続的メモリ330内に永久的にインストールされる、たとえば、書き込まれるか、またはRAM337に書き込まれ、RAM337から実行され得る。

【0047】

図3Bは、例示的な拡張現実デバイス390である。いくつかの実施形態において、拡張現実デバイス390は、着用者に拡張表示領域(augmented viewport)を提供するコンタクト、眼鏡、ゴーグル、またはヘッドギアとすることができる。他の実施形態(図3Bに示されていない)では、拡張現実デバイスは、コンピュータ、モバイルデバイス、携帯通信デバイス、タブレット、PDA、または図3Aに関して説明されているような他のコンピューティングデバイスの一部であってよい。

【0048】

図3Bに示されているように、拡張現実デバイス390は、着用者が覗くことができる表示領域391を備えることができる。拡張現実デバイス390は、処理コンポーネント392を備えることもできる。処理コンポーネント392は、図3Aに関して上で説明されている回路およびモジュールを収納するエンクロージャとすることができる。拡張現実デバイス390の各側に2つの明確に異なる要素として示されているが、処理ハードウェアおよび/またはコンポーネントは、拡張現実デバイス390の片側にのみ収納され得る。図3Aに示されているコンポーネントは、拡張現実デバイス390の任意の部分に備えることができる。

【0049】

いくつかの実施形態において、拡張現実デバイス390は、表示デバイス393を備えることができる。これらの表示デバイスは、図3Aの左眼ディスプレイ311および右眼ディスプレイ313に関連付けられ得る。これらの実施形態において、表示デバイス393は、左眼ディスプレイ311、右眼ディスプレイ313、および表示サブシステム310から適切な表示情報を受信して、適切なオーバーレイを表示領域391上に投影するか、または表示することができる。このプロセスを通じて、拡張現実デバイス390は、着用者の視野内に示される拡張グラフィック要素を提供することができる。

【0050】

再び図1を参照すると、データベース111、115、および117、データソース113、データシステム116、予測分析エンジン118、API130、ならびに拡張現実システム140は各々、他のコンポーネントとともに使用するように設計されているパッケージ化された機能ハードウェアユニットまたは関係する機能のうちの特定の機能を実行するプログラムの一部である、モジュールとすることができる。これらのモジュールは各々、図2のコンピューティングデバイス200を使用して実装され得る。これらのコンポーネントの各々は、以下でより詳しく説明される。いくつかの実施形態において、システム100の機能性は、複数のコンピューティングデバイス(たとえば、コンピューティングデバイス200に類似する複数のデバイス)間に分割することができ、それにより、データの分散処理が可能になる。これらの実施形態において、異なるコンポーネントは、図2のコンピューティングデバイス200のI/Oデバイス230またはネットワークインターフェース218上で通信することができる。

【0051】

データは、専用データソース110および外部データソース120を通じてシステム100に利用可能にされ得る。各々について示されている例示的なデータソース(たとえば、専用データソース110のデータベース111、115、および117、データソース113、データシステム116、ならびに予測分析エンジン118と、外部データソース120の地図データ121、格付けデータ123、天気データ127、フライトデータ129、および位置データ125)は、これですべてではないことが理解される。多くの異なるデータソースおよびデータの型が、専用データソース110および外部データソース120の両方に存在することができる。さらに、データの一部は、外部データソース120と専用データソース110との間で重複していてよい。たとえば、外部データソース120は、特定の空港または企業に関するデータを含み得る位置データ125を提供することができる。この同じデータは、たとえば、専用データソース110のデータベース111内に、同じまたは異なる形式で含まれていてもよい。

【0052】

さらに、専用データソース110および外部データソース120のうちのいずれか、またはシステム100によって使用される他のデータソースは、リレーショナルデータベース管理システム(RDBMS)(たとえば、Oracle Database、Microsoft SQL Server、MySQL、PostgreSQL、および/またはIBM DB2)とすることができる。RDBMSは、可能な限り少ない操作で、行全体またはレコードに対するデータを効率的に返すように設計され得る。RDBMSは、データの各行をシリアル化することによってデータを記憶することができる。たとえば、RDBMSでは、レコードに関連付けられているデータは、レコードのすべてのカテゴリに関連付けられているデータに1回の操作でアクセスできるように逐次的に記憶され得る。さらに、RDBMSは、共通フィールドまたは属性上のレコードを結合することによって異種のテーブルに記憶されている関係するレコードのアクセスを効率的に可能にすることができる。

【0053】

いくつかの実施形態において、専用データソース110および外部データソース120のうちの任意のデータソース、またはシステム100によって使用される他のデータソースは、非リレーショナルデータベース管理システム(NRDBMS)(たとえば、XML、Cassandra、CouchDB、MongoDB、Oracle NoSQL Database、FoundationDB、および/またはRedis)とすることができる。非リレーショナルデータベース管理システムは、とりわけ、鍵値ストア、文書ストア、グラフ、およびタプルストアなどの様々なデータ構造体を使用してデータを記憶することができる。たとえば、文書ストアを使用する非リレーショナルデータベースは、特定のレコードに関連付けられているデータのすべてを、XMLを使用して符号化された単一の文書に組み合わせることも可能であろう。非リレーショナルデータベースは、レコード全体の効率的なアクセスを提供し、複数のデータシステムにまたがる効果的な分散を実現し得る。

【0054】

いくつかの実施形態において、専用データソース110および外部データソース120のうちの任意のデータソース、またはシステム100によって使用される他のデータソースは、グラフデータベース(たとえば、Neo4jまたはTitan)とすることができる。グラフデータベースは、データを表すためにノード、エッジ、およびプロパティなどのグラフ概念を使用してデータを記憶することができる。グラフデータベースに記憶されているレコードは、様々なノードを接続するエッジに基づき他のレコードに関連付けられ得る。これらの種類のデータベースは、他の種類のデータベースシステムでモデル化することが困難である複雑な階層関係を効率よく記憶することができる。

【0055】

いくつかの実施形態において、専用データソース110および外部データソース120のうちの任意のデータソース、またはシステム100によって使用される他のデータソースは、APIを通じてアクセスされ得る。たとえば、データシステム116は、データベース115内のデータにアクセスすることを可能にするAPIとすることも可能であろう。さらに、外部データソース120はすべて、APIを通じてアクセスされる公開利用可能なデータであってよい。API130は、特定のAPIを通じてデータソースのいずれかにアクセスして、追加のデータおよび情報をシステム100に提供することができる。

【0056】

専用データソース110および外部データソース120のデータソースは、図1において、孤立したデータベースまたはデータソースとして表現されるが、これらのデータソースは、とりわけ、前に説明したデータ記憶装置システムのいずれかを利用することができ、複数の電子デバイス、データ記憶装置システム、または他の電子システム間に分散させることができることが理解される。さらに、専用データソース110のうちのデータソースは、API130を通じてアクセス可能な明確に異なるシステムまたはコンポーネントとして示されているが、いくつかの実施形態において、これらの様々なデータソースはAPI130以外のインターフェースを通じて直接的に互いにアクセスすることができることが理解される。

【0057】

データベース111またはデータソース113などのデータ記憶装置システムへの直接的アクセスを可能にすることに加えて、専用データソース110は、データシステム116を備えることができる。データシステム116は、データベース115などの、1つまたは複数のデータソースに接続することができる。データシステム116は、データベース115に記憶されているデータへのインターフェースを用意することができる。いくつかの実施形態において、データシステムは、データベース115内のデータを他のデータと組み合わせることができるか、またはデータシステム116は、データベース115内のデータを、そのデータをAPI130または他の何らかの要求側に提供する前に前処理することができる。

【0058】

専用データソース110は、予測分析エンジン118をさらに備えることができる。予測分析エンジン118は、データベース117に記憶されているデータを使用し、新しいデータをデータベース117に記憶することができる。予測分析エンジンは、API130を通じてデータを他のシステムに提供するとともに、API130を通じて他のシステムまたはコンポーネントからデータを受け取ることができる。たとえば、予測分析エンジン118は、とりわけ、ユーザによって行われる購入、旅行選好への更新、閲覧されたサービス、および低下したサービスに関する情報を受け取ることができる。予測分析エンジン118によって集められた情報は、専用データソース110の他のコンポーネントに記憶されている情報さらには外部データソース120からの情報の両方に関係する何らかのデータを含むことができる。

【0059】

このデータを使用することで、予測分析エンジン118は、とりわけ、教師あり学習、教師なし学習、半教師付き学習、強化学習、深層学習を含む様々な予測分析および機械学習技術を利用することができる。これらの技術は、予測分析エンジン118によって集められたデータに基づきモデルを構築し、更新するために使用され得る。これらの技術およびモデルを新しいデータセットに適用することによって、予測分析エンジン118は、特定の個人がとった過去の行動および/または選択に基づき情報を提供することができる。たとえば、予測分析エンジンは、拡張現実デバイス145および拡張現実システム140から特定の個人に関するデータを受け取ることができる。予測分析エンジン118は、その個人に関連付けられているプロファイル情報および過去の購入の情報を使用して、個人が楽しめる座席アップグレードまたはフライト中アメニティなどの旅行サービスを決定することができる。たとえば、予測分析エンジンは、個人がファーストクラスにアップグレードすることを選択したことはないが、プレミアムドリンクおよびフライト中娯楽パッケージなどのアメニティをしばしば購入していると決定することができる。したがって、予測分析エンジンは、個人に、座席をアップグレードするオプションではなくこれらのアメニティを購入するオプションを提示することができると決定することができる。予測分析エンジン118は、この提供されている例を超える高度な技術を使用することが可能であることが理解される。専用データソース110は、一般人は直接アクセスできない、または利用できない様々なデータソース(たとえば、データベース111、データソース113、データベース115、データシステム116、データベース117、および予測分析エンジン118)を表すことができる。これらのデータソースは、料金の支払いまたはサブスクリプションに基づきサブスクライバーに提供され得る。これらのデータソースへのアクセスは、専用データソースの所有者によって直接提供されるか、または以下でより詳しく説明されている、API130などのインターフェースを通じて提供され得る。

【0060】

専用データソース110のただ1つのグルーピングが図1に示されているが、様々なプロバイダからの様々な専用データソースがシステム100に利用可能であり得る。いくつかの実施形態において、データソースのグルーピングの各々は、共通の産業または領域に関係するデータを含む。他の実施形態では、専用データソースのグルーピングは、様々なデータソースのプロバイダに依存し得る。

【0061】

たとえば、専用データソース110内のデータソースは、航空旅行産業に関係するデータを含むことができる。この例では、データベース111は、旅行プロファイル情報を含むことができる。基本的な人口学的情報に加えて、旅行プロファイルデータは今度の旅行情報、過去の旅行歴、旅行者選好、ローヤルティ情報、および旅行者プロファイルに関係する他の情報を含み得る。さらに、この例では、データソース113は、ホテル、レンタカー、イベント、保険、および駐車場などの提携または付帯サービスに関係する情報を含むことができる。それに加えて、データベース115は、空港、航空機、特定の座席配置、ゲート情報、および他の物流情報に関する詳細情報を含むことができる。すでに説明されているように、この情報はデータシステム116を通じて処理されるものとしてよい。したがって、この例示的な実施形態では、専用データソース110におけるデータソースは、包括的旅行データを提供することができる。

【0062】

専用データソース110と同様に、外部データソース120は、様々なデータソース(たとえば、地図データ121、格付けデータ123、天気データ127、フライトデータ129、および位置データ125)を表すことができる。専用データソース110とは異なり、外部データソース120は、一般人にアクセス可能であり得るか、またはAPI130またはシステム100のプロバイダの直接的制御の外にあるデータソースとすることができる。

【0063】

外部データソース120のただ1つのグルーピングが図1に示されているが、様々なプロバイダからの様々な外部データソースがシステム100に利用可能であり得る。いくつかの実施形態において、データソースのグルーピングの各々は、共通の産業または領域に関係するデータを含む。他の実施形態では、外部データソースのグルーピングは、様々なデータソースのプロバイダに依存し得る。いくつかの実施形態において、外部データソース120は、API130に利用可能であるすべての外部データソースを表すことができる。

【0064】

さらに、外部データソース120において示されているデータの特定の型は例にすぎない。データの追加の型が含まれてよく、外部データソース120内のデータの特定の型を含めることでは、制限となることは意図されていない。

【0065】

図1に示されているように、外部データソース120は、地図データ121を含むことができる。地図データは、とりわけ、Google Maps APIおよび/またはOpen Street Map APIなどの提供されているAPIを通じて利用可能な位置、地図、およびナビゲーション情報を含むことができる。格付けデータ123は、企業、製品、位置などに関する格付けまたはレビュー情報を含むことができる。たとえば、格付けデータ123は、とりわけ、Yelp API、Amazon Customer Reviews API、および/またはTripAdvisor Content APIからのデータを含むことができる。位置データ125は、企業プロファイル、営業時間、メニュー、または同様のものなどの特定のデータを含むことができる。天気データ127は、とりわけ、Dark Sky Forecast API、Weather Channel API、NOAA Web Services API、および/またはWeather Underground APIを通じてアクセスできる位置特有の天気情報であってよい。フライトデータ129は、とりわけ、FlightStats API、FlightWise API、FlightStats APIおよびFlightAware APIを通じてアクセスできるフライト情報、ゲート情報、および/または空港情報を含むことができる。これらの外部データソース120(たとえば、地図データ121、格付けデータ123、天気データ127、フライトデータ129、および位置データ125)の各々は、API130を通じてアクセスされる追加のデータを提供することができる。

【0066】

すでに説明されているように、API130は、共通のインターフェースにおいて専用データソース110および外部データソース120を通じて利用可能なデータのいずれかにアクセスするための統一インターフェースを提供することができる。API130は、たとえば、図2に関して説明されているコンピューティングデバイス200などのコンピューティングデバイス上で実行するソフトウェアであってよい。これらの実施形態において、API130は、標準的なプログラミング言語(たとえば、Python、Ruby、Java（登録商標）、C、C++、node.js、PHP、Perl、または同様のもの)を使用して作成されるものとしてよく、とりわけ、SOAP、JSONオブジェクト、RESTベースサービス、XML、または同様のものを含む様々なデータ転送形式および/またはプロトコルを使用するアクセスを提供することができる。API130は、標準形式でデータの受信要求を送り、予測可能な形式で応答することができる。

【0067】

いくつかの実施形態において、API130は、1つまたは複数のデータソースからのデータ(たとえば、専用データソース110、外部データソース120、またはその両方に記憶されているデータ)を統一応答に組み合わせることができる。それに加えて、いくつかの実施形態において、API130は、様々なデータソースからの情報を処理して、生データでは利用可能でない追加のフィールドまたは属性を提供することができる。この処理は、1つまたは複数のデータソースに基づくものとしてよく、各データソースからの1つまたは複数のレコードを利用することができる。たとえば、API130は、平均、総和、数値範囲、または他の計算可能情報などの集計もしくは統計的情報を提供することが可能であろう。さらに、API130は、複数のデータソースに由来するデータを共通形式に正規化することができる。API130の機能の前の説明は例にすぎない。API130が専用データソース110および外部データソース120を通じて提供されるデータを取り出すこと、およびパッケージ化することが可能である、多くの追加の方法がある。

【0068】

拡張現実システム140は、拡張現実デバイス145およびAPI130とインタラクティブにやり取りすることができる。拡張現実システム140は、拡張現実デバイス145に関係する情報を受け取ることができる(たとえば、図3のワイヤレス通信306を通じて)。この情報は、図3に関して前に説明されている情報のいずれかを含み得る。たとえば、拡張現実システムは、位置情報、運動情報、視覚情報、音声情報、方向情報、バイオメトリック情報、または拡張現実デバイス145によって提供される他の任意の種類の情報を受け取ることができる。それに加えて、拡張現実システム140は、拡張現実デバイス145のユーザに関連付けられているデバイス特有の識別子または認証資格証明書などの拡張現実デバイス145からの識別情報を受け取ることができる。

【0069】

拡張現実システム140は、受け取った情報を処理して、API130への要求を定式化することができる。これらの要求は、拡張現実デバイス145のユーザからのデバイス識別子または認証資格証明書などの拡張現実デバイス145からの識別情報を利用することができる。

【0070】

拡張現実デバイス145から情報を受け取ることに加えて、拡張現実システム140は、拡張現実デバイス145に更新された情報をプッシュすることができる。たとえば、拡張現実システム140は、更新されたフライト情報をそれが利用可能なときに拡張現実デバイス145にプッシュすることができる。このようにして、拡張現実システム140は、情報を拡張現実デバイス145からプルすることと、拡張現実デバイス145にプッシュすることの両方ができる。さらに、拡張現実システム140は、外部データソース120から情報を(たとえば、API130を介して)プルすることができる。たとえば、空港でゲートの変更がある場合、拡張現実システム140は、拡張現実デバイス145を介して、ゲート情報インターフェース(たとえば、図4Aのゲート情報405で提供されるような)における変更を介して、および/またはナビゲーション経路(たとえば、図4Aのナビゲーション経路401)において、その情報を取得し、ユーザに通知することができる。

【0071】

拡張現実デバイス145からの情報を使用することで、拡張現実システム140は、API130を通じて詳細情報を要求することができる。API130から返された情報は、拡張現実デバイス145から受け取った情報と組み合わされ、拡張現実システム140によって処理され得る。次いで、拡張現実システム140は、拡張現実デバイス145によって表示されるべき更新された拡張現実情報に関する決定を理に適った仕方で決定することができる。この処理の例示的な使用事例は、図4A～図4Cに関して以下でより詳しく説明される。拡張現実デバイス145は、更新された拡張現実情報を受け取り、表示デバイス393を使用して、適切な更新を、たとえば、図3Bに示されている表示領域391に表示することができる。

【0072】

図4A～図4Cは、本開示の実施形態と一致する、図1のシステム100の例示的な使用である。図4Aは、混雑している空港ターミナル内をナビゲートする拡張現実デバイス(たとえば、図3からのデバイス390または図1からの拡張現実デバイス145)からの例示的な拡張視野である。図4Bは、コンテキスト特有のフライトアメニティおよびゲート娯楽を選択するための拡張現実デバイス(たとえば、デバイス390または拡張現実デバイス145)を使用する例示的な使用事例である。図4A～図4Cの説明全体を通して、適切な参照番号によって図1～図3ですでに説明されている要素が参照される。

【0073】

図4Aは、混雑している空港ターミナル内をナビゲートする拡張現実デバイス(たとえば、図3Bからのデバイス390または図1からの拡張現実デバイス145)からの例示的な拡張視野400である。拡張視野400は、図3Bからの表示領域391を通る視野とすることができ、図3Aの表示サブシステム310の左眼ディスプレイ311および右眼ディスプレイ313によって提示されるグラフィカルオーバーレイを投影する図3Bからの表示デバイス393の結果とすることができる。

【0074】

再び図4Aを参照すると、拡張視野400は表示領域391上にグラフィカルオーバーレイを表すことができ、その結果、拡張現実視野(augmented reality view)を形成することができる。たとえば、拡張視野の拡張要素は、ナビゲーション経路401、ゲート情報405、レビュー情報402および404、為替レート情報403、ならびにコントロール407を含むことができる。

【0075】

すでに説明されているように、拡張視野400は、拡張現実デバイス(たとえば、図1の拡張現実デバイス145)の着用者に関するコンテキスト情報に基づき統合情報を提供することができる。たとえば、図4Aにデモンストレーションが示されているように、拡張現実デバイスは、運動情報(たとえば、IMU340からの)を使用して、ユーザが空港の中を進んでいることを検出することができる。拡張現実デバイスは、空港内のユーザの位置、移動情報、およびユーザの識別情報を拡張現実サーバ(たとえば、図1の拡張現実サーバ140)に伝送することができる。拡張現実サーバは、ユーザに関係するプロファイル情報、さらには空港およびユーザの位置に関係する情報を(たとえば、図1のAPI130を使用して)取り出すことができる。拡張現実システムによって取り出された情報は、ユーザのコンテキスト情報と組み合わされ、拡張視野400上に示されるグラフィック要素を提供することができる。いくつかの実施形態において、特定のグラフィック要素は、一部は、予測分析エンジン118によって提供され、ユーザに合わせて手直しされるか、またはユーザの過去の行動に基づきフィルタリングされ得る。

【0076】

たとえば、拡張現実システムは、識別情報を使用し、専用データソースさらには外部データソースから引き込み、ユーザのフライトに対する出発ゲートを取り出すことができる。この情報は、たとえば、ゲート情報405で直接表示され得る。情報は、搭乗までの時間、ゲート番号、およびキャンセル待ちまたはアップグレードリスト上のユーザの位置などのフライトに関する追加情報を含むことができる。それに加えて、拡張現実システム140は、ユーザの位置情報を空港レイアウトに関する情報と組み合わせてゲートまでの移動時間を計算することも可能であろう。

【0077】

さらに、図1に関してすでに説明されているように、いくつかの実施形態において、出発ゲート情報およびフライト情報は、定期的に更新され得る。拡張現実システム140は、たとえば、API130を通じて、更新された情報をプルし、更新された情報を、たとえば、拡張現実デバイス145にプッシュして、拡張視野400上に表示することができる。

【0078】

いくつかの実施形態において、拡張現実システム140は、API130を通じて利用可能なデータソースからの空港に関連付けられている中間点、ジオフェンス、およびレイアウトを含む空港に関する情報をさらに取り出すことができる。この情報を使用することで、拡張現実システム140は、ユーザをゲートに向かわせるためのユーザに対するナビゲーション経路401を計算することができる。ナビゲーション経路401は、拡張現実デバイス145に伝送され、拡張視野400上に表示され得る。いくつかの実施形態において、拡張現実システム140は、拡張経路401に対する必要な視覚的要素を計算し、それらを直接、拡張現実デバイス145に伝送することができる。他の実施形態では、拡張現実システムは、生データを拡張現実デバイス145に伝送することができ、拡張現実デバイス145は、ナビゲーション経路401を生成するために必要なグラフィカルオーバーレイを決定することができる。

【0079】

いくつかの実施形態において、拡張現実システム140は、拡張現実デバイス145から(たとえば、カメラ324を使用して)視覚情報をさらにキャプチャすることができる。拡張現実システム140は、カメラデータからは視認できるが、API130によって提供される利用可能なデータソースを通じてでは利用可能でない障害物に対する物体回避を行うために視覚データをさらに処理することができる。たとえば、この視覚情報は、一時的障壁、人々、建造物、または迂回経路を必要とする他の障害物を含むことが可能である。ユーザが空港内を進むときに、データは拡張現実システム140に連続的に提供され、拡張現実システム140は、そのデータを連続的に処理し分析して潜在的な妨害物または障害物を決定することができる。次いで、拡張現実システム140は、ユーザが空港内を進むのに合わせて、拡張視野400上に表示されるナビゲーション経路401を更新することができる。

【0080】

現在の世界、障害物、および意図されたターゲット目的地(たとえば、目的地ゲート)に関する継続的な情報の流れによって、拡張現実システム140が更新されたナビゲーション経路を拡張現実デバイス145に継続的に提供し、拡張視野400上に表示させることができる。さらに、拡張現実デバイス145を通じて取得されたデータは、拡張現実システム140に返されるものとしてよい。この情報は、次に、API130を通じて、たとえば、専用データソース110に提供され得る。次いで、このデータは、この同じ障害物を見るさらなる個人を補助するためにも使用され得る。このフィードバックループは、拡張現実システム140の複数の能動的なユーザから障害物に関する更新された情報を調達することによってシステムの有効性および効率を高めることができる。さらに、拡張現実システム140は、視覚情報を拡張現実デバイス145からの移動情報と比較して、前に障害物であると決定されなかったユーザが回避する障害物を決定することができる。このようにして、拡張現実システムは、どのような視覚的形状または画像が障害物に対応するものとしてよいかを効果的に学習することによって将来の経路生成のために障害物の識別を改善することができる。

【0081】

それに加えて、拡張現実システム140は、API130を通じてユーザについて取り出されたフライト情報に基づき、ユーザの最終目的地がドイツであると決定することができる。ユーザを支援するために、拡張現実システム140は、空港内の両替の場所の情報を取り出すことができる。この情報は、ナビゲーション経路401に対する計算結果と組み合わせることができ、拡張現実システム140は、ゲートへのユーザの経路上にある両替の場所を提示することができる。それに加えて、拡張現実システム140は、現在の為替レートに関する情報を提供することができる。拡張現実デバイスは、この情報を受け取り、両替の場所で為替レート情報403を表示することができる。ユーザが海外渡航していない場合には、拡張現実システム140は為替レート情報403を含まなくてもよいことが理解されるであろう。

【0082】

さらに、いくつかの実施形態において、拡張現実システムは、予測分析エンジン118、またはユーザに関連付けられている過去の購入の履歴にアクセスし、ユーザが免税店でショッピングを楽しみ、国際線のフライトの前に食事を楽しむことを認識することができる。拡張現実システム140は、API130を通じて免税店の位置情報および格付け、ならびにレストランの位置情報および格付けを取り出し、その情報を拡張現実デバイス145に提供することができる。拡張現実デバイスは、関連する免税店およびレストランに対する位置および格付けを拡張視野400上にレビュー情報402および404として表示することができる。

【0083】

いくつかの実施形態において、拡張現実システム140は、ユーザに対するプロファイル情報をさらに使用して、ユーザがこの特定の空港内にいる間にThe Galley Dinerでのみ食事をすると決定することができる。したがって、このプロファイル情報を使用することで、拡張現実システム140は、情報をフィルタリングし、拡張現実デバイス145に、The Galley Dinerの場所のみを提供し、他のレストラン情報はいっさい提供しないものとしてよい。いくつかの実施形態において、拡張現実システム140は、他のレストランよりもThe Galley Dinerを強調することができる。さらに、いくつかの実施形態において、拡張現実システム140は、ユーザの過去のレストラン選択に基づく予測分析エンジン118からのレストラン推奨を取り出すことができる。たとえば、The Galley Dinerを好む個人によるレストラン選択に関係するデータを分析することによって、予測分析エンジンは拡張現実システム140に、ユーザが楽しむことが可能な推奨レストラン選択を提供することができる。

【0084】

この統合を通じて、ユーザは、従来の拡張現実システムで行われるようなすべての利用可能な情報の洪水を受け取る代わりに特定の旅行選好に合わせて完全にカスタマイズされた拡張視野400を受け取る。

【0085】

さらに、拡張現実デバイス145および拡張現実システム140は、ユーザアクションに基づきフィードバックを提供することができる。前の例に基づき構築することで、ユーザがThe Galley Dinerに入ると決定した場合、ユーザのアクションは、拡張現実デバイス145によってキャプチャされ、拡張現実140に提供され得る。拡張現実140は、API130を通じて専用データソース110を更新することができる。拡張現実システム140がAPI130に追加の情報を問い合わせたときに、API130は、たとえば、予測分析エンジン118およびユーザがすでに食事を済ませているという前の情報を使用することによって、レストランの場所または推奨を含んでいないデータを拡張現実システム140に提供することができる。いくつかの実施形態において、予測分析エンジン118は、ユーザが典型的には食後にコーヒーを飲むと決定し、したがって、拡張現実システム140に提供される情報内にコーヒーバーに関係する情報を含めることができる。

【0086】

図4Bは、コンテキスト特有のフライトアメニティおよびゲート娯楽を選択するための拡張現実デバイス(たとえば、デバイス390または拡張現実デバイス145)を使用する例示的な使用事例である。図4Bは、拡張現実デバイスを通じてフライトアメニティおよびゲート娯楽オプションを見るユーザの第三者の視点を示している。図4Bは、娯楽オプション413ならびにフライトアメニティ415および417を示している。図4Bに示されているように、拡張現実デバイス145は、視点の知覚を与えるようにグラフィカルオーバーレイを表示することができる。

【0087】

図4Bにおいてユーザが着用している、拡張現実デバイス145は、コンテキスト特有のユーザ情報を拡張現実システム140に提供することができる。たとえば、拡張現実デバイス145は、連続的位置情報を拡張現実サーバ140に提供することができる。拡張現実サーバが、ユーザがゲートに到着しており、移動を停止していることを検出したときに、拡張現実サーバ140はユーザおよびゲート特有の情報を取り出すようAPI130に問い合わせを行うことができる。この情報は、ユーザのプロファイル情報さらには航空機とゲートの両方で利用可能なフライトアメニティを含むことができる。

【0088】

拡張現実システム140は、ユーザプロファイル情報、ゲート情報、およびフライト情報を組み合わせて、ユーザがフライトを待っている間に楽しめると思える娯楽オプションを決定することができる。この情報は、たとえば、予測分析エンジン118によって決定され、API130を通じて拡張現実システム140に提供され得る。予測分析または過去の購入または視聴履歴は、ユーザがコメディを楽しんでいることを明らかにすることができる。したがって、拡張現実システム140は、Conan O'Brienショーからのクリップが、ゲートにいる間に視聴に利用可能であると決定することができる。拡張現実システム140は、この情報を、娯楽オプション413を表示することができる拡張現実デバイス145に提供することができる。

【0089】

図3Aを参照してすでに説明されているように、ユーザは、オファーされる娯楽を見ることを選択することができる。娯楽オプションに、支払いが必要な場合、拡張現実システムは、ユーザに対する記憶されている支払い情報を使用して、ユーザの指示により、適切な娯楽パッケージを購入することができる。購入に成功した後、拡張現実システム140は、選択された娯楽メディアを拡張現実デバイス145に送って表示することができる。いくつかの実施形態において、拡張現実デバイス145は、適切な許可および資格証明書を受け取り、娯楽ソースに直接接続することができる。

【0090】

いくつかの実施形態において、ユーザに対するプロファイル情報は、フライトアメニティ選好を決定するためにさらに使用され得る。たとえば、ユーザのプロファイル情報は、ユーザがビジネスクラスの座席を好んでいることを指示することができる。拡張現実サーバ140は、API130を通じて取り出されたフライト情報に基づき、ビジネスクラスの座席が利用可能であると決定することができる。拡張現実システムは、アップグレードオプションを拡張現実デバイス145に伝送することができ、拡張現実デバイスは、フライトアメニティ415および417をユーザに対して表示することができる。拡張現実デバイスは、左眼ディスプレイ311および右眼ディスプレイ313をさらに使用して、利用可能なフライトアメニティ417を表示する視点を提供することができる。視点は、ユーザが自分で購入していると思われるものの正確な描写を体験できるようにビジネスクラスの座席(たとえば、フライトアメニティ417)の実物大の表現を示すために使用され得る。

【0091】

図4Cは、ゲート娯楽に拡張現実デバイス(たとえば、拡張現実デバイス145)を使用する例示的な使用事例である。図4Cは、拡張現実デバイスを通じてゲート娯楽を見るユーザの第三者の視点を示している。図4Cは、キャラクタ423、425、および427の形態のゲート娯楽、フライト娯楽オファー426を表示するために使用される拡張現実デバイス420を示している。

【0092】

図4Aおよび図4Bにおいて説明されているデバイスと異なり、拡張現実デバイス420(図1からの拡張現実デバイス145の別の形態を表すことができる)は、着用可能なデバイスでない。拡張現実デバイス420は、プロジェクタを備えるか、またはユーザによって使用される拡張現実眼鏡類(図4Cには図示せず)と通信するタブレットとすることができる。

【0093】

拡張現実デバイス420は、図4Bにおいて説明されているものと同様に、ユーザがゲートで待っていることを認識することができる。拡張現実システム140は、拡張現実デバイス420との通信を通じて、この特定のデバイスが登録されている旅行者の子供によって使用されることを認識することができる。登録されている旅行者に関連付けられているチケット情報に基づき、拡張現実システムは、子供の娯楽選好さらには家族の旅行プラン情報の両方を含むユーザプロファイル情報を取り出すことができる。

【0094】

拡張現実システム140は、たとえば、予測分析エンジン118およびAPI130を通じてこの情報を取り出すことができ、家族が子供のお気に入りのアニメキャラクタに関連付けられているアミューズメントパークに赴こうとしているとさらに決定することができる。拡張現実システム140は、子供とインタラクティブにやり取りできるキャラクタを利用して拡張表示を表示するように拡張現実デバイス420に指示することができる。それに加えて、拡張現実デバイスは、子供に、その子の両親がフライトのために追加の娯楽を購入する可能性があると伝えるなどの、追加のオファーおよびサービス426を提供することができる。いくつかの実施形態において、予測分析エンジン118によって提供される情報が、その後の購入を行う際に最も成功しているのはどの特定のキャラクタかを知らせることができ、拡張現実表示は、それらのキャラクタに有利に働き得る。

【0095】

いくつかの実施形態において、追加のオプションは、家族が赴こうとしているアミューズメントパークで特別なサービスまたは娯楽パッケージをオファーすることを含むことがあってもよい。いくつかの実施形態において、拡張現実デバイス420の所有者は、子供または他の家族構成員にどのような娯楽オプションならびにオファーおよびサービスが提供できるかということに関係する選好を指定することができる。これらのプロファイル選好、および使用歴パターンに関係するかまたは予測分析エンジン118によって決定される情報に基づき、拡張現実システム140は、ユーザにとって有用でも望ましいものでもあり得ないデータおよびオファリングをフィルタリングすることができる。

【0096】

図5は、本開示の実施形態と一致する、拡張現実システムにおける改善されたデータ統合のための例示的な方法500のフローチャートである。図示されている手順は、ステップを削除するか、または追加のステップをさらに含めるように変更できることが容易に理解されるであろう。1つまたは複数のコンピューティングデバイス(図2のシステムまたは図3の電子デバイスなど)が例示的な方法を実行することができること、および本明細書で説明されている機能性がハードウェア、1つまたは複数のコンピューティングデバイスに記憶されているソフトウェア、またはその組合せとして組み込まれ得ることは理解される。

【0097】

初期ステップ501の後、システム(たとえば、図1の拡張現実システム140)は、拡張現実デバイスから個人および個人に関連付けられている拡張現実デバイス(たとえば、図1の拡張現実デバイス145)に関するコンテキスト情報を取得する(ステップ510)ことができる。コンテキスト情報は、拡張現実デバイスのユーザに関する特定のプロファイル情報を含むことができる。それに加えて、コンテキスト情報は、拡張現実デバイス(たとえば、図3AのGPS309、IMU340、およびカメラ324)の様々なセンサからの情報を含むことができる。コンテキスト情報は、それに加えて、ユーザに対する位置情報を含み得る。この位置情報は、たとえば、GPS(たとえば、GPS309)に基づくか、またはネットワーキングインフラストラクチャから(たとえば、ワイヤレス通信306を通じて)取り出され得る。拡張現実システムは、拡張現実デバイスからネットワーク上で(たとえば、図3Aのワイヤレス通信を通じて)この情報を受け取ることができる。

【0098】

拡張現実システムは、コンテキスト情報に基づき(たとえば、API130を使用して)複数のデータソース(たとえば、データベース111、データソース113、データベース115、データシステム116、データベース117、および予測分析エンジン118、地図データ121、天気データ127、フライトデータ129、格付けデータ123、および位置データ125)から個人に関連付けられている複数のデータセットを取得する(ステップ520)ことができる。拡張現実デバイスからのコンテキスト情報は、複数のデータソースをフィルタリングするための基礎となり得る。コンテキスト情報は、シリアル番号または一意的識別子さらには位置、方向、移動などの拡張現実デバイスに関する識別情報、および拡張現実デバイスの現在の状態に関する他の情報を含むことができる。このコンテキスト情報を使用することで、システムは、拡張現実デバイスそれ自体から通常は利用可能でないユーザに関する詳細情報を(たとえば、API130を使用して)提供するデータセットを取り出すことができる。たとえば、プロファイル情報は、過去の旅行購入、座席選好、次のフライトの情報、および拡張現実システムには容易に利用可能でない他の情報を含むことができる。

【0099】

拡張現実システムは、コンテキスト情報および複数のデータセットに基づき表示情報を決定する(ステップ530)ことができる。様々なデータセットを取り出した後、拡張現実システムは、データをマージし、フィルタリングすることができる(たとえば、拡張現実システム140を使用して)。フィルタリングされたデータに基づき、システムは、拡張現実デバイスによる表示のための関連グラフィック情報を決定することができる。たとえば、システムは、ユーザが好まないレストランに対する位置および推奨情報をフィルタリングで取り除くことができる。いくつかの実施形態において、システムは、ユーザの旅行プランに関する取り出された情報を利用してユーザのフライト詳細を決定することができる。関連する個人化された表示情報を決定することで、以前であれば拡張現実デバイスには利用不可能であった情報を使用することにより拡張現実デバイスに関連データを送ることができる。

【0100】

表示情報を決定した後、システムは、表示のために、決定された表示情報を拡張現実デバイスに提供し(ステップ540)、プロセスを完了する(ステップ599)ことができる。表示データは、たとえば図3からのワイヤレス通信306を通じて提供され得る。表示情報は、たとえば図3Aからの表示デバイス393および左眼ディスプレイ311および右眼ディスプレイ313を使用して表示領域391上に投影され得る。ユーザに関するコンテキスト情報に基づき基本的データの統合およびフィルタリングが行われるので、表示されているグラフィックデータは、拡張現実システムのユーザに対して高い関連性を有する。

【0101】

図6は、本開示の実施形態と一致する、拡張現実システムにおける改善されたデータ統合のための例示的な方法600のフローチャートである。初期ステップ601の後、システム(たとえば、図1の拡張現実システム140)は、(たとえば、図1の拡張現実デバイス145から)複合ビル内の個人の位置および複合ビル内の望む目的地を取得することができる。この位置は、たとえば、GPS(たとえば、図3の拡張現実デバイス300のGPS309)または拡張現実デバイスによって記憶されている他の位置情報に基づき拡張現実デバイスによって提供され得る。位置情報は、ビルまたは複合ビル内の特定の位置に特有であるものとしてよい。たとえば、位置は、空港の特定のゲートに対応することができる。

【0102】

システムは、複合ビルに関連付けられているビル情報をさらに取得する(ステップ620)ことができる。拡張現実デバイスから取り出された位置情報に基づき、システムは、特定の位置に関して複数のデータソース(たとえば、図1の専用データソース110または外部データソース120)から追加の情報を取り出すことができる。たとえば、複合ビルが空港である場合、システムは、空港のレイアウトならびに空港の事業および特徴のすべてを含む情報を取り出すことができる。さらに、空港に関係する情報は、徒歩では横断できない空港のエリアの情報を含み得る。これらのエリアは、障害物として記憶されてもよい。

【0103】

関連するビルおよび障害物情報を取り出した後、システムは、ユーザの位置から目的地までのナビゲーション経路(たとえば、図4Aからのナビゲーション経路401)を決定する(ステップ630)ことができる。決定された経路は、前のステップで取り出された障害物を記述するものであってよい。ナビゲーション経路は、障害物情報さらにはビルの一般的レイアウトおよび建築様式に基づくものとしてよい。

【0104】

ナビゲーション経路を決定した後、システムは、決定された経路を拡張現実デバイス(たとえば、図3Aの拡張現実デバイス390)に提供する(ステップ640)ことができる。ナビゲーション経路は、拡張現実デバイス上に表示され得る。たとえば、図4Aに示されているように、ナビゲーション経路401は、図3Bの拡張現実デバイス390の表示領域391上に表示される。

【0105】

ユーザがナビゲーション経路を辿るか、または空港内を動き回るときに、システムは、拡張現実デバイスからユーザの更新された位置情報を取得する(ステップ650)ことができる。この更新された位置情報を使用すると、システムは、更新された位置情報およびすでに取り出されているビルおよび障害物情報を使用することによってナビゲーション経路を再決定する(ステップ660)ことができる。システムは、更新されたナビゲーション経路を(他の関連する情報とともに)表示のために拡張現実デバイスに(たとえば、図4Aのナビゲーション経路401として)提供し(ステップ670)、プロセスを完了する(ステップ699)ことができる。更新された情報は、定められた空間内のユーザの位置に特有のインターフェースも含み、または更新することができ、そのインターフェースは図4Aに示されているようなレビュー情報402および404ならびに為替レート情報403を含むことができる。たとえば、ユーザがThe Galley Dinerに近づくにつれ、対応するインターフェースは、より大きくなるか、またはより際立つようになるものとしてよい。この連続サイクルにより、ユーザが空港内を動き回るときにナビゲーション経路が常に更新されるようにできる。

【0106】

前のシステムは、旅行コンテキストに関して説明されているが、システムは、多くの異なる分野に使用できる。使用される特徴および組み込まれているデータは、開示されている実施形態が配備される特定の分野に基づき得る。

【0107】

上記明細書において、実施形態は、実装毎に異なり得る多数の具体的詳細を参照しつつ説明されている。説明されている実施形態のいくつかの適合および変更がなされ得る。他の実施形態は、本明細書で開示されている発明の明細および実施を考察すると当業者にとって明らかになるであろう。明細書および実施例は単なる例と考えられることが意図されている。また、図に示されているステップの順序は、例示することをのみ目的とすることが意図されており、ステップの特定の順序に限定されることは意図されていない。そのようなものとして、当業者であれば、これらのステップが同じ方法を実装しながら異なる順序で実行できることを理解することができる。

【符号の説明】

【0108】

100 システム
110 専用データソース
111 データベース
113 データソース
115 データベース
116 データシステム
117 データベース
118 予測分析エンジン
120 外部データソース
121 地図データ
123 格付けデータ
125 位置データ
127 天気データ
129 フライトデータ
130 API
140 拡張現実システム
145 拡張現実デバイス
200 コンピューティングデバイス
218 ネットワークインターフェース
220 中央処理装置(CPU)
221 システムメモリ
223 I/Oコントローラ
224 表示デバイス
225 グラフィックス処理ユニット(GPU)
226 グラフィックメモリ
228 記憶装置
230 I/Oデバイス
240 レジスタ
241 キャッシュ
245 フレームバッファ
250 システムインターフェース
300 拡張現実デバイス
301 CPU
302 GPU
306 ワイヤレス通信システム
307 入力デバイス
308 測位サブシステム
309 GPS
310 表示サブシステム
311 左眼ディスプレイ
313 右眼ディスプレイ
318 データポート
320 スピーカサブシステム
321 左スピーカ
322 マイクロフォン
323 右スピーカ
324 カメラ
330 永続的メモリ
332 オペレーティングシステム
334 アプリケーション
336 データ
337 ランダムアクセスメモリ(RAM)
338 リードオンリーメモリ(ROM)
340 IMU
342 加速度計
344 ジャイロスコープ
346 センサ
350 メモリインターフェース
352 取り外し可能メモリモジュール
360 バッテリーインターフェース
362 バッテリー
390 拡張現実デバイス
391 表示領域
393 表示デバイス
400 拡張視野
401 ナビゲーション経路
402，404 レビュー情報
403 為替レート情報
405 ゲート情報
407 コントロール
413 娯楽オプション
415，417 フライトアメニティ
420 拡張現実デバイス
423，425，427 キャラクタ
426 フライト娯楽オファー
500 方法
600 方法

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5】

【図6】