(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024073652
(43)【公開日】2024-05-29
(54)【発明の名称】アプリケーション共有
(51)【国際特許分類】
H04N 21/431 20110101AFI20240522BHJP
G06F 3/04815 20220101ALN20240522BHJP
【FI】
H04N21/431
G06F3/04815
【審査請求】有
【請求項の数】1
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024046326
(22)【出願日】2024-03-22
(62)【分割の表示】P 2021503735の分割
【原出願日】2019-07-22
(31)【優先権主張番号】62/702,844
(32)【優先日】2018-07-24
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/726,863
(32)【優先日】2018-09-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/741,761
(32)【優先日】2018-10-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/742,259
(32)【優先日】2018-10-05
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ANDROID
2.iOS
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】プラヴィーン バブ ジェイディー
(72)【発明者】
【氏名】レオニード ゾロタレフ
(72)【発明者】
【氏名】カレン ストールゼンバーグ
(72)【発明者】
【氏名】コールマン トーマス ブライアント
(72)【発明者】
【氏名】ジェハンギール タジク
(72)【発明者】
【氏名】ロヒット アニル タルウォーカー
【テーマコード(参考)】
5C164
5E555
【Fターム(参考)】
5C164MA06S
5C164MB11P
5C164MB41S
5C164UB51S
5C164UB81P
5E555AA27
5E555AA28
5E555AA62
5E555BA04
5E555BA38
5E555BB04
5E555BB38
5E555BC04
5E555BE17
5E555CA42
5E555CA45
5E555CA47
5E555CB64
5E555CB65
5E555CB66
5E555DA08
5E555DB32
5E555DB53
5E555DB56
5E555DB57
5E555DC16
5E555FA00
(57)【要約】
【課題】好適なアプリケーション共有を提供すること。
【解決手段】第1のプロセッサを有するホストデバイスが、第1のプロセッサを介してアプリケーションを実行する。ホストデバイスは、アプリケーションの状態を決定する。シーングラフが、アプリケーションの状態に対応して発生され、シーングラフは、ディスプレイと、第2のプロセッサとを有する、遠隔デバイスに提示される。遠隔デバイスは、シーングラフを受信することに応答して、第2のプロセッサを介してアプリケーションを実行することなく、ディスプレイにシーングラフに対応するビューをレンダリングするように構成される。
【選択図】
図4A
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、2018年10月5日に出願された、米国仮出願第62/741,761号、2018年7月24日に出願された、米国仮出願第62/702,844号、2018年9月4日に出願された、米国仮出願第62/726,863号、および2018年10月5日に出願された、米国仮出願第62/742,259号の優先権を主張する。
【0002】
本開示は、一般に、コンピュータアプリケーションのデータを提示するためのシステムおよび方法に関し、特に、ローカルデバイス上で実行されるコンピュータアプリケーションのデータを遠隔デバイスに提示するためのシステムおよび方法に関する。
【背景技術】
【0003】
ますます小型化、軽量化、およびモバイル化が進むパーソナルデバイスの急増、および付随するコンテンツオンデマンドサービスの普及により、ソフトウェアアプリケーションに対するユーザの期待は、変化している。ソフトウェアは、例えば、ストリーミングされるビデオコンテンツのように、直ちにアクセス可能であり、小さいリソースフットプリントを有し、他人と容易に共有可能であることを期待されることが多い。これが使用され得る前に購入され、ダウンロードされ、インストールされる必要があり得る、従来のソフトウェアは、一部のユーザの要求を満たさない場合がある。さらに、従来のソフトウェアは、それらのデバイスの記憶装置、処理能力、およびバッテリ容量を限定する、物理的サイズ、形状、および重量への限界に取り組み、限定された帯域幅のセルラーデータプランに適合する必要があり得る、ウェアラブルデバイスを含む、ますますモバイル化されるコンピューティングデバイスにとって過剰にリソース集約的であり得る。
【0004】
上記に対する1つの応答は、ソフトウェアアプリケーションが、「共有」機能性を特徴とすることであり、それによって、ユーザは、ホストデバイス上で実行されるアプリケーションに遠隔でアクセスする(例えば、それを観察する、またはそれと相互作用する)ことができる。アプリケーション共有は、遠隔ユーザが、自身のコンピューティングデバイス上でアプリケーションをインストールまたは実行する必要性を排除するため、その参入障壁は、低くなり、「共有可能」アプリケーションの使用および急増を促す。
【0005】
アプリケーション共有は、潜在的問題を伴わないわけではない。アプリケーション共有のいくつかの実施例は、アプリケーションの視覚出力を表す、事前レンダリングされたビデオデータをスリーミングすることを伴うが、しかしながら、そのようなビデオデータは、帯域幅集約的であり得るため、これらのアプリケーションの実践的使用は、高帯域幅環境に限定され、多くのモバイルデータプランでのその使用を妨げ得る。全てのそのようなデバイスのユーザが、遠隔デバイスがローカルでソフトウェアアプリケーションをインストールまたは実行する必要性を伴わずに、ソフトウェアアプリケーションを同時に視認する、および/またはそれと相互作用し得るように、ホストコンピューティングデバイスが1つ以上の遠隔コンピューティングデバイスとソフトウェアアプリケーションを共有することが、望ましい。低帯域幅環境内での使用を促進するために、ホストデバイスと遠隔デバイスとの間で転送されなければならないデータの量を最小限にすることが、さらに望ましい。
【発明の概要】
【課題を解決するための手段】
【0006】
コンピューティングデバイスのためのソフトウェアアプリケーションを共有するためのシステムおよび方法が、開示される。いくつかの実施例によると、第1のプロセッサを有するホストデバイスが、第1のプロセッサを介してアプリケーションを実行する。ホストデバイスは、アプリケーションの状態を決定する。シーングラフが、アプリケーションの状態に対応して発生され、シーングラフは、ディスプレイと、第2のプロセッサとを有する、遠隔デバイスに提示される。遠隔デバイスは、シーングラフを受信することに応答して、第2のプロセッサを介してアプリケーションを実行することなく、ディスプレイにシーングラフに対応するビューをレンダリングするように構成される。
例えば、本願は以下の項目を提供する。
(項目1)
方法であって、
第1のプロセッサを有するホストデバイスにおいて、上記第1のプロセッサを介して第1のアプリケーションを実行することと、
上記第1のアプリケーションの第1の状態を決定することと、
上記第1のアプリケーションの第1の状態に対応する第1のシーングラフを発生させることと、
第1のディスプレイと、第2のプロセッサとを有する第1の遠隔デバイスに、上記第1のシーングラフを提示することと
を含み、
上記第1の遠隔デバイスは、上記第1のシーングラフを受信することに応答して、上記第1のディスプレイに、上記第1のシーングラフに対応する第1のビューをレンダリングするように構成され、
上記第1のディスプレイに上記第1のビューをレンダリングすることは、上記第2のプロセッサを介して上記第1のアプリケーションを実行することを含まない、方法。
(項目2)
上記ホストデバイスにおいて、上記第1の遠隔デバイスから入力を受信することと、
上記入力に基づいて、上記第1のアプリケーションの第2の状態を決定することであって、上記第2の状態は、上記第1の状態と異なる、ことと、
上記第2の状態に対応する第2のシーングラフを発生させることであって、上記第2のシーングラフは、上記第1のシーングラフと異なる、ことと、
上記遠隔デバイスに、上記第2のシーングラフを提示することと
をさらに含み、
上記第1の遠隔デバイスは、上記第2のシーングラフを受信することに応答して、上記第1のアプリケーションを実行することなく、上記第1のディスプレイに、上記第2のシーングラフに対応する第2のビューをレンダリングするように構成され、
上記第1のディスプレイに上記第2のビューをレンダリングすることは、上記第2のプロセッサを介して上記第1のアプリケーションを実行することを含まない、項目1に記載の方法。
(項目3)
上記ホストデバイスは、第2のディスプレイを有し、上記方法はさらに、
上記ホストデバイスにおいて、上記第2のディスプレイに、上記第1のシーングラフに対応する第2のビューをレンダリングすることを含む、項目1に記載の方法。
(項目4)
上記第1のシーングラフに対応する上記第2のビューは、上記第1のシーングラフに対応する上記第1のビューと異なる、項目3に記載の方法。
(項目5)
上記第1のアプリケーションは、上記ホストデバイス上にインストールされ、上記第1のアプリケーションは、上記第1の遠隔デバイス上にインストールされない、項目1に記載の方法。
(項目6)
上記第1のアプリケーションは、上記ホストデバイス上にインストールされ、上記第1のアプリケーションは、上記第1の遠隔デバイス上にインストールされる、項目1に記載の方法。
(項目7)
上記第1の遠隔デバイスは、ウェアラブルコンピューティングデバイスであり、上記第1のディスプレイは、上記第1の遠隔デバイスのユーザに頭部搭載されるように構成される、項目1に記載の方法。
(項目8)
第2のディスプレイと、第3のプロセッサとを有する第2の遠隔デバイスに、上記第1のシーングラフを提示することをさらに含み、
上記第2の遠隔デバイスは、上記第1のシーングラフを受信することに応答して、上記第2のディスプレイに、上記第1のシーングラフに対応する第2のビューをレンダリングするように構成され、
上記第2のディスプレイに上記第2のビューをレンダリングすることは、上記第3のプロセッサを介して上記第1のアプリケーションを実行することを含まない、
項目1に記載の方法。
(項目9)
第2のアプリケーションの第1の状態を決定することをさらに含み、
上記第1のシーングラフはさらに、上記第2のアプリケーションの第1の状態に対応し、
上記第1のディスプレイに上記第1のビューをレンダリングすることは、上記第2のプロセッサを介して上記第2のアプリケーションを実行することを含まない、
項目1に記載の方法。
(項目10)
上記第1の遠隔デバイスから、上記第1のシーングラフを提示する要求を受信することをさらに含み、
上記第1のシーングラフを提示する要求は、上記第1の遠隔デバイスとトリガとの間の相互作用に応答して発生され、
上記第1の遠隔デバイスに上記第1のシーングラフを提示することは、上記要求を受信することに応答して実施される、
項目1に記載の方法。
(項目11)
上記トリガは、QRコード(登録商標)を備える、項目10に記載の方法。
(項目12)
上記トリガは、場所情報を備える、項目10に記載の方法。
(項目13)
上記要求は、上記第1のアプリケーションの識別を備える、項目10に記載の方法。
(項目14)
非一過性機械可読媒体であって、上記非一過性機械可読媒体は、命令を記憶しており、上記命令は、第1のプロセッサを含む1つ以上のプロセッサを有する第1のデバイスによって実行されると、上記第1のデバイスに、
上記第1のプロセッサを介して第1のアプリケーションを実行することと、
上記第1のアプリケーションの第1の状態を決定することと、
上記第1のアプリケーションの第1の状態に対応する第1のシーングラフを発生させることと、
第1のディスプレイと、第2のプロセッサとを有する、第2のデバイスに、上記第1のシーングラフを提示することと
を含む方法を実施させ、
上記第2のデバイスは、上記第1のデバイスの遠隔にあり、
上記第2のデバイスは、上記第1のシーングラフを受信することに応答して、上記第1のディスプレイに、上記第1のシーングラフに対応する第1のビューをレンダリングするように構成され、
上記第1のディスプレイに上記第1のビューをレンダリングすることは、上記第2のプロセッサを介して上記第1のアプリケーションを実行することを含まない、
非一過性機械可読媒体。
(項目15)
上記方法はさらに、
上記第1のデバイスにおいて、上記第2のデバイスから入力を受信することと、
上記入力に基づいて、上記第1のアプリケーションの第2の状態を決定することであって、上記第2の状態は、上記第1の状態と異なる、ことと、
上記第2の状態に対応する第2のシーングラフを発生させることであって、上記第2のシーングラフは、上記第1のシーングラフと異なる、ことと、
上記第2のデバイスに、上記第2のシーングラフを提示することと
を含み、
上記第2のデバイスは、上記第2のシーングラフを受信することに応答して、上記第1のアプリケーションを実行することなく、上記第1のディスプレイに、上記第2のシーングラフに対応する第2のビューをレンダリングするように構成され、
上記第1のディスプレイに上記第2のビューをレンダリングすることは、上記第2のプロセッサを介して上記第1のアプリケーションを実行することを含まない、
項目14に記載の非一過性機械可読媒体。
(項目16)
上記第1のデバイスは、第2のディスプレイを有し、上記方法はさらに、
上記第1のデバイスにおいて、上記第2のディスプレイに、上記第1のシーングラフに対応する第2のビューをレンダリングすること
を含む、項目14に記載の非一過性機械可読媒体。
(項目17)
上記第2のビューは、上記第1のビューと異なる、項目16に記載の非一過性機械可読媒体。
(項目18)
上記第1のアプリケーションは、上記第1のデバイス上にインストールされ、上記第1のアプリケーションは、上記第2のデバイス上にインストールされない、項目14に記載の非一過性機械可読媒体。
(項目19)
上記第1のアプリケーションは、上記第1のデバイス上にインストールされ、上記第1のアプリケーションは、上記第2のデバイス上にインストールされる、項目14に記載の非一過性機械可読媒体。
(項目20)
上記第2のデバイスは、ウェアラブルコンピューティングデバイスであり、上記第1のディスプレイは、上記第2のデバイスのユーザに頭部搭載されるように構成される、項目14に記載の非一過性機械可読媒体。
(項目21)
上記方法はさらに、第2のディスプレイと、第3のプロセッサとを有する第2の遠隔デバイスに、上記第1のシーングラフを提示することを含み、
上記第2の遠隔デバイスは、上記第1のシーングラフを受信することに応答して、上記第2のディスプレイに、上記第1のシーングラフに対応する第2のビューをレンダリングするように構成され、
上記第2のディスプレイに上記第2のビューをレンダリングすることは、上記第3のプロセッサを介して上記第1のアプリケーションを実行することを含まない、
項目14に記載の非一過性機械可読媒体。
(項目22)
上記方法はさらに、第2のアプリケーションの第1の状態を決定することを含み、
上記第1のシーングラフはさらに、上記第2のアプリケーションの第1の状態に対応し、
上記第1のディスプレイに上記第1のビューをレンダリングすることは、上記第2のプロセッサを介して上記第2のアプリケーションを実行することを含まない、
項目14に記載の非一過性機械可読媒体。
(項目23)
上記方法はさらに、上記第1の遠隔デバイスから、上記第1のシーングラフを提示する要求を受信することを含み、
上記第1のシーングラフを提示する要求は、上記第1の遠隔デバイスとトリガとの間の相互作用に応答して発生され、
上記第1の遠隔デバイスに上記第1のシーングラフを提示することは、上記要求を受信することに応答して実施される、
項目1に記載の非一過性機械可読媒体。
(項目24)
上記トリガは、QRコード(登録商標)を備える、項目23に記載の非一過性機械可読媒体。
(項目25)
上記トリガは、場所情報を備える、項目23に記載の非一過性機械可読媒体。
(項目26)
上記要求は、上記第1のアプリケーションの識別を備える、項目23に記載の非一過性機械可読媒体。
(項目27)
第1のプロセッサを含む1つ以上のプロセッサを有する第1のデバイスであって、上記第1のデバイスは、
上記第1のプロセッサを介して第1のアプリケーションを実行することと、
上記第1のアプリケーションの第1の状態を決定することと、
上記第1のアプリケーションの第1の状態に対応する第1のシーングラフを発生させることと、
第1のディスプレイと、第2のプロセッサとを有する、第2のデバイスに、上記第1のシーングラフを提示することと
を含む方法を実施することが可能であり、
上記第2のデバイスは、上記第1のデバイスの遠隔にあり、
上記第2のデバイスは、上記第1のシーングラフを受信することに応答して、上記第1のディスプレイに、上記第1のシーングラフに対応する第1のビューをレンダリングするように構成され、
上記第1のディスプレイに上記第1のビューをレンダリングすることは、上記第2のプロセッサを介して上記第1のアプリケーションを実行することを含まない、
第1のデバイス。
(項目28)
上記方法はさらに、
上記第1のデバイスにおいて、上記第2のデバイスから入力を受信することと、
上記入力に基づいて、上記第1のアプリケーションの第2の状態を決定することであって、上記第2の状態は、上記第1の状態と異なる、ことと、
上記第2の状態に対応する第2のシーングラフを発生させることであって、上記第2のシーングラフは、上記第1のシーングラフと異なる、ことと、
上記第2のデバイスに、上記第2のシーングラフを提示することと
を含み、
上記第2のデバイスは、上記第2のシーングラフを受信することに応答して、上記第1のアプリケーションを実行することなく、上記第1のディスプレイに、上記第2のシーングラフに対応する第2のビューをレンダリングするように構成され、
上記第1のディスプレイに上記第2のビューをレンダリングすることは、上記第2のプロセッサを介して上記第1のアプリケーションを実行することを含まない、
項目27に記載のデバイス。
(項目29)
上記第1のデバイスは、第2のディスプレイを有し、上記方法はさらに、
上記第1のデバイスにおいて、上記第2のディスプレイに、上記第1のシーングラフに対応する第2のビューをレンダリングすること
を含む、項目27に記載のデバイス。
(項目30)
上記第2のビューは、上記第1のビューと異なる、項目29に記載のデバイス。
(項目31)
上記第1のアプリケーションは、上記第1のデバイス上にインストールされ、上記第1のアプリケーションは、上記第2のデバイス上にインストールされない、項目27に記載のデバイス。
(項目32)
上記第1のアプリケーションは、上記第1のデバイス上にインストールされ、上記第1のアプリケーションは、上記第2のデバイス上にインストールされる、項目27に記載のデバイス。
(項目33)
上記第2のデバイスは、ウェアラブルコンピューティングデバイスであり、上記第1のディスプレイは、上記第2のデバイスのユーザに頭部搭載されるように構成される、項目27に記載のデバイス。
(項目34)
上記方法はさらに、第2のディスプレイと、第3のプロセッサとを有する第2の遠隔デバイスに、上記第1のシーングラフを提示することを含み、
上記第2の遠隔デバイスは、上記第1のシーングラフを受信することに応答して、上記第2のディスプレイに、上記第1のシーングラフに対応する第2のビューをレンダリングするように構成され、
上記第2のディスプレイに上記第2のビューをレンダリングすることは、上記第3のプロセッサを介して上記第1のアプリケーションを実行することを含まない、
項目27に記載のデバイス。
(項目35)
上記方法はさらに、第2のアプリケーションの第1の状態を決定することを含み、
上記第1のシーングラフはさらに、上記第2のアプリケーションの第1の状態に対応し、
上記第1のディスプレイに上記第1のビューをレンダリングすることは、上記第2のプロセッサを介して上記第2のアプリケーションを実行することを含まない、
項目27に記載のデバイス。
(項目36)
上記方法はさらに、上記第1の遠隔デバイスから、上記第1のシーングラフを提示する要求を受信することを含み、
上記第1のシーングラフを提示する要求は、上記第1の遠隔デバイスとトリガとの間の相互作用に応答して発生され、
上記第1の遠隔デバイスに上記第1のシーングラフを提示することは、上記要求を受信することに応答して実施される、
項目27に記載のデバイス。
(項目37)
上記トリガは、QRコード(登録商標)を備える、項目36に記載のデバイス。
(項目38)
上記トリガは、場所情報を備える、項目36に記載のデバイス。
(項目39)
上記要求は、上記第1のアプリケーションの識別を備える、項目36に記載のデバイス。
【図面の簡単な説明】
【0007】
【
図1】
図1A-1Eは、本開示の実施例による、アプリケーション共有に参加し得る、例示的コンピュータシステムを図示する。
【0008】
【
図2A】
図2Aは、本開示の実施例による、例示的コンピュータシステムにおけるデータの例示的フローを示す。
【0009】
【
図2B】
図2Bは、本開示の実施例による、複数の独立アプリケーションを含む、例示的コンピュータシステムにおけるデータの例示的フローを示す。
【0010】
【
図3A】
図3Aは、本開示の実施例による、一元化シーングラフを使用して、複数の独立アプリケーションからの3Dデータをディスプレイにレンダリングし得る、例示的コンピュータシステムのコンポーネントを図示する。
【0011】
【
図3B】
図3Bは、本開示の実施例による、複数の独立クライアントアプリケーションを含む、例示的コンピュータシステムに関する例示的クライアントアプリケーションの側面を図示する。
【0012】
【
図3C】
図3Cは、本開示の実施例による、複数の独立アプリケーションを含む、例示的コンピュータシステムに関する例示的レンダラの側面を図示する。
【0013】
【
図4A】
図4A-4Bは、本開示の実施例による、アプリケーション共有のためのシステムの例示的略図を図示する。
【
図4B】
図4A-4Bは、本開示の実施例による、アプリケーション共有のためのシステムの例示的略図を図示する。
【0014】
【
図5】
図5は、本開示の実施例による、アプリケーション共有のためのシステムの例示的略図を図示する。
【0015】
【
図6】
図6は、本開示の実施例による、アプリケーション共有の例示的フローチャートを図示する。
【0016】
【
図7】
図7は、本開示の実施例による、ポータブルまたは非ポータブルデバイス内で具現化され得る、システムアーキテクチャの実施例を図示する。
【発明を実施するための形態】
【0017】
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面が、参照される。他の実施例も、使用され得、構造変更が、開示される実施例の範囲から逸脱することなく、行われ得ることを理解されたい。
【0018】
図1A-1Eは、ディスプレイを伴う種々の例示的コンピュータシステムを図示する。
図1Aは、外部モニタに接続される例示的デスクトップコンピュータを示す。
図1Bは、ディスプレイを含む、例示的ラップトップを示す。
図1Cは、統合ディスプレイを含む、例示的モバイルデバイスを示す。
図1Dは、ディスプレイを含む、例示的テレビを示す。
図1Eは、頭部搭載型ディスプレイを含む、例示的コンピュータシステムを示す。本開示は、いかなる特定のタイプのコンピュータシステムにも、いかなる特定のタイプのディスプレイにも、またはコンピュータシステムをディスプレイに接続するいかなる特定の手段にも限定されない。本開示はさらに、2次元ディスプレイに限定されず、特に、立体ディスプレイ等の3次元ディスプレイが、検討される。
【0019】
本開示は、アプリケーション共有のための一元化レンダリング技法の使用を検討する。そのような技法は、例えば、米国特許出願第15/940,892号および第16/011,413号(両方とも、参照することによってその全体として本明細書に組み込まれる)に説明されている。下記および前述の出願に説明されるように、一元化レンダリング技法を使用することによって、アプリケーションを共有するローカルおよび遠隔ユーザは、共有されるアプリケーションの説得力のあるビューを正確に提示するグラフィカルデータを独立してレンダリングすることができる。例えば、ホストデバイスから事前レンダリングされたグラフィカルデータを受信するのではなく、グラフィカルデータを独立してレンダリングすることによって、本明細書に説明されるアプリケーション共有システムおよび方法の帯域幅要件は、低減されることができる。
【0020】
一元化レンダリング
【0021】
いくつかの例示的コンピュータシステムでは、ディスプレイ上にグラフィックで(「レンダリングされる場面」として)提示されるべきデータは、3次元空間内でオブジェクト(ポリゴンを含む、2Dまたは3D幾何プリミティブ等)を表すデータ(「3Dデータ」)を含み、ディスプレイ上で3Dデータを提示することは、視軸に沿って配向される視認起点から視認されるような3次元空間内のオブジェクトに対応する画像(「表示される場面」)を提示することを含む。例えば、コンピュータシステム上で起動するソフトウェアアプリケーション(3Dエンジンを使用するビデオゲーム等)では、3Dデータは、3次元ゲーム世界の中のオブジェクトの空間座標、配向、および/または視覚性質、およびゲーム世界の中の視認起点および視軸を記述するデータを含んでもよい。3Dデータはまた、レンダリングされるべきオブジェクトと関連付けられるテクスチャに関連するデータ、オブジェクトに関連するシェーダパラメータ、およびオブジェクトが表示され得る方法に影響を及ぼす他の情報を含んでもよい。ゲームは、例えば、「レンダリング」または「描画」段階の間、表示される場面としてディスプレイ上に提示するためのレンダリングされる場面を作成するように、ソフトウェアおよび/またはハードウェア「パイプライン」に指示してもよい。提示は、シーン内のコンテンツのビューを含むことができる。そのようなコンテンツは、単独で、または「実世界」コンテンツと併せて、デジタルコンテンツ(例えば、透過型ディスプレイを通して視認される実世界コンテンツ上にオーバーレイされたデジタルコンテンツ)を含むことができる。仮想コンテンツを含むビューは、そのコンテンツを観察するユーザが見ることを予期するであろうものを表すことができる。例えば、ユーザが第1の配向にある間に提示される第1のビューは、これが第1の配向から見られるであろうようなコンテンツを描写することができる。ユーザが、第2の配向に回転する場合、第2のビューは、これが第2の配向から、すなわち、ユーザが第1の配向に対して回転したことを反映する視点から見られるであろうものと同一のコンテンツを提示することができる。一般に、結果として生じる画像が、視覚世界についてのユーザの予期を反映することが、望ましい。特に、概して、視認起点により近接する第1の不透明なオブジェクトが、第1のオブジェクトの後方に第2のオブジェクトをオクルードすることが、望ましい。正しくオクルードされていないオブジェクトは、ユーザを混乱させ得、オブジェクトが3次元空間内に位置する場所を明確に提示しない場合がある。いくつかの例示的コンピュータシステムでは、オクルージョンは、視認起点により近接するオブジェクトが、視認起点からより遠いオブジェクトの上でソートまたは描画される、ソーティングを通して達成される。
【0022】
1つのオブジェクトが、別のものを現実的にオクルードするように、ディスプレイ上に提示するために複数のオブジェクトをソートすることは、オブジェクト間の関係、例えば、3次元空間内のオブジェクト間の空間関係についての情報を要求する。いくつかの例示的コンピュータシステムは、シーングラフを利用し、場面としてレンダリングされるべきオブジェクト等の1つ以上のオブジェクト間の関係(例えば、階層関係)を表す。本明細書で使用されるように、シーングラフは、そのような関係を表す任意のデータ構造である。例えば、シーングラフでは、提示されるべきレンダリングされるオブジェクトは、グラフではノードとして表されてもよく、ノード間の関係は、オブジェクト間の論理または空間関係を表す。レンダラは、次いで、当技術分野で公知の技法に従って、シーングラフをトラバースし、適切なオクルージョンを達成するであろう様式で、オブジェクトのうちの少なくとも1つを表示のためにレンダリングまたは準備することができる。例えば、レンダラは、ノードを有するオブジェクトの場面を作成し得るが、ディスプレイ上の対応する提示は、レンダラ内の別のオブジェクトによってオクルードされるオブジェクトが、結果として生じる表示される場面内で部分的にのみ提示されるであろうように(例えば、オブジェクトのオクルードされない部分が、表示される一方、オクルードされる部分が、表示されないように)、レンダリングされるオブジェクトのサブセットのみであり得る。そのような選択的表示は、有益であり得、例えば、第2のアプリケーションから起動する第2のオブジェクトのみが、所与の時間周期内に視認可能である必要がある場合、第1のアプリケーションから起動する第1のオブジェクトをオクルードすることが、効率的であり得る。いくつかの実施例では、シーングラフは、3Dデータを含むアプリケーションと、その3Dデータを画面への提示のためにレンダリングするためのレンダラとの間に位置する、中間データ構造であり、いくつかの実施例では、アプリケーションは、場面情報をシーングラフに書き込み、シーングラフは、場面をレンダリングする、または表示される場面を出力するためにレンダラによって後で使用されてもよい。
【0023】
図2Aは、例示的コンピュータシステム200におけるデータの例示的フローを示す。システム200では、単一のアプリケーション210は、レンダラ250がディスプレイ290上での提示のためにオブジェクト220をレンダリングするために使用し得る、シーングラフ240にデータを書き込むことができる。例えば、オブジェクト220は、2つの人間の手、すなわち、手232および手236の3D表現をともに備える、いくつかのオブジェクト(例えば、ポリゴン)を含んでもよく、アプリケーションは、例えば、レンダリングまたは描画段階の間、視軸に沿って配向される視認起点の視点からディスプレイ上に提示されるようにオブジェクト220に指示してもよい。実施例では、手232および手236は、握手で相互係止され、手の相対位置付けのため、視認者は、視認起点および視軸に対して、手232のいくつかの部分が手236の部分をオクルードし、手236を構成するいくつかのポリゴンが手232の部分をオクルードすることを予期する。アプリケーション210は、他のポリゴンをオクルードするはずであるポリゴン、すなわち、他のものの上に表示するようにソートされるはずであるポリゴンを識別するために使用され得る、オブジェクト220を構成するポリゴンの間の空間関係等のオブジェクト220の間の関係を記述する情報を、シーングラフ240に書き込むことができる。例えば、シーングラフ240は、ポリゴン234(手232に属する)が、視認起点と手236を構成するポリゴンとの間に位置付けられ、したがって、手236におけるそれらのポリゴンをオクルードするはずであり、ポリゴン238(手236に属する)が、視認起点と手232を構成するポリゴンとの間に位置付けられ、したがって、手232におけるそれらのポリゴンをオクルードするはずであることを反映し得る。レンダラ250は、次いで、オブジェクト220またはオブジェクト220のサブセット(例えば、手232のみ、手232のオクルードされない部分のみ、または手236のみ)を、提示のために所望のオクルージョンと一貫するディスプレイ290を介して出力してもよい。
【0024】
図2Bは、2つの独立アプリケーションを使用する例示的コンピュータシステム201におけるデータの例示的フローを示す。
図2Aの実施例が、
図2Bに示されるように、複数の独立アプリケーションによって修正される場面をレンダリングするように拡張されるとき、レンダリング問題が、起こり得る。例えば、例示的コンピュータシステム201では、アプリケーション212およびアプリケーション214は両方とも、データをシーングラフ240に書き込み、それらの個別の3Dデータを単一のディスプレイ290にレンダリングする。
図2Bでは、アプリケーション212は、オブジェクト222(手232を構成するオブジェクトを含む)をレンダリングおよび提示しようと試み、アプリケーション214は、オブジェクト224(手236を構成するオブジェクトを含む)をレンダリングおよび提示しようと試みる。
図2Bに示される実施例は、レンダリングされるべきオブジェクトの現実的なオクルージョンを達成することの困難を有し得、アプリケーション212およびアプリケーション214が、独立(「サンドボックス化された」)アプリケーションである場合、アプリケーション212は、アプリケーション214のオブジェクト224(手236およびその構成オブジェクトを含む)に関連するデータにアクセスすることができず、同様に、アプリケーション214は、アプリケーション212のオブジェクト222(手232およびその構成オブジェクトを含む)に関連するデータにアクセスすることができない。すなわち、いくつかの実施例では、アプリケーション212またはアプリケーション214のいずれも、オブジェクト222とオブジェクト224との間の関係を完全に識別することができない。したがって、アプリケーション212またはアプリケーション214のいずれも、他のオブジェクトをオクルードするオブジェクト、またはオブジェクトがディスプレイ上でソートされるはずである順序を識別するために必要であり得る、情報をシーングラフ240に書き込むことができない。加えて、照明、影付け、アニメーション、粒子、および衝突検出のためのもの等の種々のサブシステムは、予期されるように挙動しない場合がある。その結果、非現実的であり、扱いにくく、混乱を招くグラフィカルデータが、レンダリングされ得る。さらに、そのようなレンダリングシステムは、カリング等のレンダリング最適化を利用することが可能ではない場合があるため、これらのシステムは、コンピュータ的に非効率的であり得る。
【0025】
米国特許出願第15/940,892号および第16/011,413号に説明されるもの等の一元化レンダリングは、複数の独立アプリケーションから3Dデータをレンダリングするシステムにおいて起こり得るそのような問題へのソリューションを提供する。一元化シーングラフが、複数の独立アプリケーションがレンダリングされるべき3Dデータを提供するシステム(
図2Bの例示的コンピュータシステム201等)において、
図2Bのシーングラフ240等の従来的シーングラフの代わりに使用されることができる。本明細書に説明されるように、いくつかの実施例では、一元化シーングラフは、複数の個々の入力ソースから3Dデータを受信し、その3Dデータに対応する情報を中心の場所に書き込み、その3Dデータに基づいて、オブジェクトを備えるレンダリングされる場面を作成するレンダラによるアクセスのためにその情報を維持するシステムを含むことができる。そのレンダリングされる場面は、現実的なオブジェクトオクルージョン、算出効率、視覚効果(照明および影付け等)、または別様に一元化シーングラフを利用しないシステムでは実現することが困難または不可能であろう物理的効果(衝突検出等)またはオクルードされるオブジェクトの部分的表示を反映する出力(グラフィカル出力等)を発生させるために使用されてもよい。
【0026】
いくつかの実施例では、例示的コンピュータシステムは、共通3D環境内の1つ以上のオブジェクトを表す3Dデータをそれぞれ含む、複数のアプリケーションを含む。複数のアプリケーションはそれぞれ、これが、他のアプリケーションに依存しないままであるように、「サンドボックス化された」環境内に存在してもよく、例えば、各個別のアプリケーションのデータは、各他のアプリケーションのデータから独立し得、各アプリケーションは、各他のアプリケーションのデータへのアクセスを有していない場合があり、アプリケーションのそれぞれの3Dデータが、同一の3D環境に対応し得る一方、各アプリケーションは、3D環境のその独自のインスタンスを維持する。例えば、各アプリケーションは、各プレーヤが同一のゲーム世界のインスタンスまたは3D環境内に存在するが、他のプレーヤのデータへの直接アクセスが欠けている、オンラインマルチプレーヤビデオゲーム内のプレーヤを表してもよい。そのような実施例では、全てのプレーヤが、ゲーム世界の単一のインスタンスにおいて同時にレンダリングされることが、望ましくあり得るが、各プレーヤが、各他のクライアント参加者の3Dデータをレンダリングするために必要な情報を維持することは、望ましくない場合がある(またはコンピュータ的に法外である)。さらに、セキュリティ目的のために、他のプレーヤに利用可能であるプレーヤの情報を限定することが、望ましくあり得る。
【0027】
いくつかの実施例では、複数のサンドボックス化されるアプリケーションはそれぞれ、独立して、その3Dデータに対応する情報をローカルシーングラフに書き込むことができ、その情報は、後で共通一元化シーングラフに書き込まれる。一元化シーングラフは、次いで、各アプリケーションによって提供される集合的3Dデータに基づいて、画像としてディスプレイ上での提示のための場面をレンダリングするように、レンダラによってトラバースされることができる。複数のサンドボックス化されたアプリケーションのそれぞれから単一の一元化シーングラフに3Dデータを通信することによって、レンダラは、全てのアプリケーションの3Dデータの同時知識を要求する、またはそれから利益を享受する、オクルージョン、照明効果、およびレンダリング最適化(表面カリング等)等の有益な技法を適用することができる。これらの利益は、各サンドボックス化されたアプリケーションの要求される算出オーバーヘッドを限定しながら実現され、単一のアプリケーションの視点から、アプリケーションが行う必要があることは、単一のシーングラフを更新し、その3Dデータを反映することだけであり、他の動作は、本システムの別のコンポーネントによって実施される。さらに、セキュリティ利益が、サンドボックス化されたアプリケーションの間の分離を維持することによって、取得されることができる。
【0028】
図3Aは、一元化シーングラフを使用して、複数の独立アプリケーションからの3Dデータをディスプレイにレンダリングし得る、例示的コンピュータシステム300のコンポーネントを図示する。図示される実施例は、クライアント・サーバトポロジを利用するが、しかしながら、本開示は、クライアント・サーバ実施例に限定されない。例示的コンピュータシステム300では、第1のクライアントアプリケーション310および第2のクライアントアプリケーション320は、それぞれ、(いくつかの実施例では、ネットワークを経由して)3Dデータをクライアント・サーバインターフェース330に通信する。いくつかの実施例では、クライアントアプリケーション310および320は、相互から独立して動作し、独立してそれらの3Dデータをクライアント・サーバインターフェース330に通信する、「サンドボックス化された」アプリケーションである。クライアント・サーバインターフェース330は、クライアントアプリケーション310および320から更新された3Dデータを受信し、(いくつかの実施例では、ネットワークを経由して)その3Dデータをサーバ側ホストアプリケーション340に通信することができる。いくつかの実施例では、クライアント・サーバインターフェース330は、マルチスレッディング技法を使用し、複数のプロセッサスレッドを使用して、3Dデータを受信する、処理する、および/またはホストアプリケーション340に通信する。いくつかの実施例では、クライアント・サーバインターフェースは、3Dデータがホストアプリケーション340に通信されるレートを(抑制することによって等)制御するための論理を含む。ホストアプリケーション340は、クライアント・サーバインターフェースから受信される3Dデータを使用し、一元化シーングラフ350が、クライアントアプリケーション310および320から受信される3Dデータを反映するように、一元化シーングラフ350を更新することができる。いくつかの実施例では、一元化シーングラフ350は、シーングラフの複数のバージョンを備え、公知のバージョニング技法が、一元化シーングラフ350への更新が並行して起こることを可能にするために使用される。レンダラ360は、次いで、一元化シーングラフ350をトラバースし、適宜、最適化および効果を適用し、コンピュータモニタ等のディスプレイ370上に表示されるように出力(例えば、クライアントアプリケーション310および320のうちの少なくとも1つのデータ、およびいくつかの実施形態では、オクルードするアプリケーションデータを伴わない、1つのクライアントアプリケーションのオクルードされる部分のみを備えるグラフィカル出力)を発生させることができる。
【0029】
図3Bは、
図3Aに示される例示的コンピュータシステム300に関する例示的クライアントアプリケーション310の側面を図示する。示される実施例では、3Dデータ312は、ディスプレイ370上に提示されるべきである3D環境内のグラフィカルオブジェクト(幾何プリミティブ、例えば、ポリゴン等)を表す。3Dデータ312は、クライアントアプリケーション310によって更新されてもよい(314)。例えば、クライアントアプリケーション310が、1秒あたり60回反復するレンダリングループを伴うアプリケーションである場合、クライアントアプリケーション310は、3Dデータ312を1秒あたり60回更新し、レンダリング出力において反映されるはずであるアプリケーションの動作の過程の間に、そのデータの変更を反映してもよい。いくつかの実施例では、3Dデータ312は、各クライアントアプリケーション310にローカルであり得る、ローカルシーングラフ316として表される。いくつかの実施例では、ローカルシーングラフ316は、一元化シーングラフ350内のデータに対応するデータ(ノード等)を含んでもよい。3Dデータ312が、更新される(314)際、クライアントアプリケーション310は、ローカルシーングラフ316を更新し、3Dデータ312の直近のバージョンを反映することができる。ローカルシーングラフ316が、更新される際、これは、クライアントデータ318を発生させる(317)ようにクライアントアプリケーション310によって使用されることができる。いくつかの実施例では、クライアントデータ318は、その全体としてローカルシーングラフ316を表してもよい。いくつかの実施例では、クライアントデータ318は、以前のクライアントデータ318が、クライアント・サーバインターフェース330に送信された以降にローカルシーングラフ316に行われた変更を表してもよい。例えば、クライアントデータ318は、ローカルシーングラフ316に追加された、またはそれから削除されたノード、ローカルシーングラフ316内のノードの間の関係の変更、またはローカルシーングラフ316内のノードの性質の変更を含み得る。いくつかの実施例では、クライアントデータ318は、シーングラフノードに対応する識別番号等の識別子を使用し、ローカルシーングラフ316からのデータと一元化シーングラフ350上の対応するデータとの間の関係を識別してもよい。クライアントデータ318は、次いで、ホストアプリケーション340への最終的な通信のために、クライアント・サーバインターフェース330に通信されることができる。いくつかの実施例では、クライアント・サーバインターフェース330へのクライアントデータ318の通信は、ネットワークを経由して起こってもよい。いくつかの実施例では、クライアントヘルパアプリケーションが、ローカルシーングラフ316から、または3Dデータ312から、クライアントデータ318を発生させるために、クライアントアプリケーション310と併用されてもよい。
【0030】
クライアントアプリケーション310に関して説明される側面は、同様に、クライアントアプリケーション320、または(クライアントアプリケーション310とともに)例示的コンピュータシステム300を構成する他のクライアントアプリケーションを説明し得る。本明細書に説明されるシステムおよび方法は、任意の数のクライアントアプリケーションおよびクライアントデータを含むように拡張され得、本開示は、いかなるそのような数にも限定されず、さらに、いくつかの利益(例えば、算出効率の向上)が、ますます増加するクライアントアプリケーションを用いるとより明白になり得ることが、当業者によって理解されるであろう。上記に説明されるように、クライアントアプリケーション310および320は、データまたは機能性を共有しない、サンドボックス化されたアプリケーションであってもよい。例えば、例示的コンピュータシステム300では、クライアントアプリケーション320は、クライアントアプリケーション310に属する、3Dデータ312およびローカルシーングラフ316から独立する、その独自の3Dデータおよびローカルシーングラフを有してもよい。しかしながら、例示的コンピュータシステム300を含む、いくつかの実施例では、単一のクライアント・サーバインターフェース300が、クライアントアプリケーション310および320等の複数のクライアントアプリケーションによって共有される。
【0031】
上記の実施例は、3Dデータに関して説明されているが、本開示は、3次元データまたは3D環境内のデータに限定されない。上記の実施例は、2Dグラフィカルデータを含む、恣意的な数の次元のグラフィカルデータに一般化されることができる。
【0032】
図3Cは、
図3A-3Bに示される例示的コンピュータシステム300に関する例示的レンダラ360の側面を図示する。いくつかの実施例では、レンダラ360は、ホストアプリケーション340の一部を構成する。いくつかの実施例では、レンダラ360は、例示的コンピュータシステム300の別のコンポーネントの一部であってもよい、または別個のコンポーネントまたはアプリケーションであってもよい。いくつかの実施例では、レンダラ360は、例示的コンピュータシステム300の1つ以上のコンポーネンと異なる物理的ハードウェアにおいて実装されてもよく、ネットワークを経由してそれらのコンポーネントのうちの1つ以上のものと通信してもよい。
【0033】
図3Cに示される実施例では、レンダラ360は、一元化シーングラフ350のバージョン352に作用する。実施例では、レンダラの役割は、一元化シーングラフ350のバージョン352に基づいて、ディスプレイ370上での提示のための出力またはグラフィカル出力等のデータを備えるレンダリングされる場面を作成することである。本プロセスの一部として、レンダラ360は、公知のシーングラフトラバース技法を使用して、バージョン352をトラバースしてもよい(362)。トラバース362の間または後に、レンダラ360は、適宜、一元化シーングラフ350を更新(364)し、トラバースの結果を反映してもよい。例えば、トラバース362の一部として、レンダラ360は、一元化シーングラフ350から削除されるべきである、放棄されたノードを識別してもよい。トラバース362および/または更新364に続いて、レンダラ360は、種々の最適化366を場面に適用してもよい。例えば、レンダラ360は、不明瞭なまたは不可視の表面をカリングし、不必要な算出リソースを消費することを回避してもよい。トラバース362および/または更新364に続いて、レンダラ360は、1つ以上の視覚効果367を場面に適用してもよい。例えば、いくつかの実施例では、レンダラ360は、照明効果または影効果を適用する、1つ以上のシェーダを適用する、粒子効果を適用する、および/または物理的効果を適用してもよい。最後に、レンダラ360は、データをグラフィカル出力パイプラインに出力することができ、その結果は、ディスプレイ370上に出力を表示することができる。
【0034】
ある場合には、最適化は、シーングラフデータのサイズ、例えば、コンピュータネットワークを経由して(クライアント・サーバインターフェース330を介して等)伝送されるべきシーングラフデータの量を低減させるために、上記に説明されるシステムおよび方法に適用されてもよい。例えば、シーングラフが、レンダリングされるグラフィカル出力に可視ではない場合があるノード(または参照されたアセット)を含む場合、それらのノードは、伝送されるべきシーングラフデータから除外されてもよい。同様に、アセットは、それらを参照するノードが、シーングラフから除去されるとき、アンロードされることができる。さらに、性能を改良するために、ノードは、それらが、レンダリングされる必要があるときのみ挿入され、それらが、レンダリングされる場面上にいかなる見掛け効果も有し得ないとき(例えば、ノードの不在が、ユーザに知覚不可能であり得る場合)、シーングラフデータ内にノードを含むオーバーヘッドを回避することができる。
【0035】
ある場合には、様々な詳細レベル(LOD)が、全体的データサイズを縮小するために、アセットに適用されることができる。様々なLODは、アセットが、特定の視認コンテキストにおいて正当とされるものよりもデータ集約的ではないことを確実にすることに役立つことができる。例えば、低分解能画像が、予想される表示サイズが、より高い分解能の画像のデータサイズを正当としないとき、より高い分解能の画像の代わりに用いられることができる。これは、例えば、必要なものよりも大きいアセット(例えば、より高い分解能の画像)を伝送するために要求されるネットワーク帯域幅の量を低減させることによって、システム性能を改良することができる。
【0036】
アプリケーション共有
【0037】
本明細書に開示されるシステムおよび方法の実施例は、複数のクライアントが、単一のホストクライアント上で実行される共通ソフトウェアアプリケーションのコンテンツを共有する(例えば、それを視認し、それと相互作用する)ことを可能にするために使用されることができる。これは、ホストクライアントと通信する各遠隔クライアント上にソフトウェアアプリケーションをインストールする必要性を回避するために望ましくあり得、さらに、これは、アプリケーションの複数のユーザを横断して入力および制御情報を同期させるために望ましくあり得る。これは、クライアントが、限定されたコンピューティングリソース(例えば、ディスク記憶装置)を有する、またはユーザが、ソフトウェアアプリケーションをインストールする時間、素養、または意欲を欠き得る実施例において有利であり得る。同様に、ソフトウェアプロバイダは、そのアプリケーションと相互作用するために要求されるステップの数を低減させることによって(例えば、ユーザが、そのアプリケーションの別のユーザのバージョンを共有することを可能にすることによって)、ソフトウェアアプリケーションを使用するようにユーザを促すことを所望し得る。さらに、本明細書に開示されるシステムおよび方法は、ホストデバイスからのビデオ出力を遠隔デバイスに転送することによってではなく、各遠隔デバイスにおいてローカルでコンテンツをレンダリングすることによって、例えば、上記に説明される一元化レンダリングシステムおよび方法を活用することによって、ネットワーク帯域幅使用を最小限にすることができる。いくつかの実施例では、ソフトウェアアプリケーションをホストする、共有する、視認する、またはそれと相互作用するためのコンピューティングデバイスは、上記に説明される
図1Eに図示される例示的デバイスに対応するもの等の頭部搭載型ディスプレイデバイスに対応してもよく、共有されるコンテンツは、頭部搭載型デバイスのディスプレイ上に表示されてもよく、ユーザは、頭部搭載型デバイスのセンサまたは入力デバイスを介して共有されるソフトウェアアプリケーションと相互作用してもよい。
【0038】
図4Aは、上記に説明されるアプリケーション共有の実施例を実装するための例示的システム400を図示する。図では、4つの個別のコンピューティングデバイス(410、420、430、および440)の4人のユーザ(Praveen、Lisa、Leonid、およびNaruto)が、3つの別個のソフトウェアアプリケーション(チェス、計算機、およびスクラブル)を共有することを所望し、各アプリケーションは、クライアントコンピューティングデバイスのうちの1つのみの上で実行される。システム400は、いくつかの実施例では、クラウドサーバに対応し得る、サーバ450を含む。例示的システム400では、コンピューティングデバイス410、420、430、および440はそれぞれ、サーバ450と通信するが、必ずしも、他のコンピューティングデバイスと直接通信するわけではない。
【0039】
例示的システム400では、3つのソフトウェアアプリケーション(チェス、計算機、およびスクラブル)はそれぞれ、クライアントコンピューティングデバイス410、420、430、または440のうちの1つの上で実行されるが、これが実行されていないクライアントコンピューティングデバイスのそれぞれによって視認される、および/またはそれと相互作用されることができる。例えば、図に示されるように、チェスアプリケーションは、デバイス410上で実行されており、デバイス420、430、および440はそれぞれ、個別のデバイスにローカルなチェスシーングラフをレンダリングすることによって、チェスアプリケーションを視認することが可能である。(シーングラフは、好ましくは、上記に説明されるもの等の一元化レンダリングシステムおよび方法を使用してディスプレイ上にレンダリングされることができる。)同様に、実施例では、計算機アプリケーションは、チェスアプリケーションと並行してデバイス410上で実行されるように示され、デバイス420、430、および440はそれぞれ、個別のデバイスにローカルな計算機シーングラフを介して計算機アプリケーションのビューをレンダリングすることが可能である。加えて、実施例では、スクラブルアプリケーションは、デバイス420上で実行されるように示され、デバイス410、430、および440はそれぞれ、個別のデバイスにローカルなスクラブルシーングラフを介してスクラブルアプリケーションのビューをレンダリングすることが可能である。したがって、4つのデバイス410、420、430、および440はそれぞれ、ローカルでアプリケーションを実行する(チェスアプリケーションおよび計算機アプリケーションを実行するデバイス410におけるように)か、またはローカルシーングラフからビューをレンダリングする(チェスアプリケーション、計算機アプリケーション、およびスクラブルアプリケーションのそれぞれに関するローカルシーングラフを記憶するデバイス430におけるように)かのいずれかによって、3つのアプリケーションのそれぞれを視認することが可能である。サーバ450は、下記に説明されるように、デバイス410、420、430、および440間でデータを交換するように動作する。下記に説明されるもの等のいくつかの実施例では、サーバ450は、各アプリケーション(例えば、チェス、計算機、スクラブル)に対応するシーングラフのその独自のローカルコピーを維持することができ、これは、前から存在するアプリケーション共有セッションに参加するデバイスのためのベースシーングラフを提供することができる。
【0040】
例示的システム400では、ホストシステムが、アプリケーションを実行し(例えば、デバイス410が、チェスアプリケーションを実行する)、これを1つ以上の遠隔デバイス(例えば、デバイス420、430、および440)と共有する。遠隔デバイスが、デバイス自体の上にアプリケーションをインストールすることなく、共有されるアプリケーションを視認し、それと相互作用することが、有利であり得る。例えば、示される実施例では、遠隔デバイス420および440は、チェスアプリケーションをインストールされておらず、共有セッションを開始するとき、チェスアプリケーションをホストするデバイス410は、遠隔デバイス420および440に要求されるアセット等の必要なデータを提供することができる。しかしながら、いくつかの実施例では、そのようなデータを提供するオーバーヘッドは、遠隔デバイス上にそのようなデータをインストールすることによって低減または回避されることができる。例えば、示される実施例では、遠隔デバイス430は、共有セッションに参加する前にデバイス上にチェスアプリケーションをインストールされ、これは、デバイス410が、遠隔デバイス430にチェスアプリケーションに関するアセットおよび他のデータを提供する必要性を排除することができる。しかしながら、実施例では、チェスアプリケーションは、遠隔デバイス430上で(すなわち、遠隔デバイス430のプロセッサによって)実行されず、これは、デバイス410上で実行され、遠隔デバイス430は、例えば、初期化の間、要求されるアプリケーションデータに関して、チェスアプリケーションのその独自のローカルインストールに依拠する。
【0041】
図5は、遠隔デバイスのユーザが、例示的システム400に関して上記に説明されるもの等のアプリケーションを視認し、それと相互作用し得るように、アプリケーション510(例えば、チェス)を実行し、アプリケーションを遠隔デバイス(例えば、デバイス420)と共有する、ホストデバイス(例えば、デバイス410)の実施例を図示する。上記のように、遠隔デバイスは、アプリケーションをインストールする必要はなく、例えば、アプリケーション共有セッションの開始時、ホストデバイスは、遠隔デバイスが別個のインストールプロシージャを実施する必要性を伴わずに、遠隔デバイスに要求されるアセット(例えば、テクスチャ、モデルデータ、オーディオファイル、粒子効果、アニメーションデータ)等の要求される初期化データを提供してもよい。アプリケーションが、共有されている間、ホストデバイスは、遠隔デバイスに、下記に説明されるもの等のアプリケーション状態データおよび/または1つ以上のシーングラフを提供してもよい。いくつかの実施例では、遠隔デバイスは、ホストデバイスに、入力データ(例えば、ボタン入力、ジェスチャ入力、タッチ入力を表す)、ユーザデータ(例えば、ユーザの識別詳細、活動履歴、および/またはソーシャルメディアプレゼンス情報)、および/またはセンサデータ(例えば、GPS座標、カメラデータ、マイクロホンデータ)を提供してもよい。
図5では、アプリケーション510は、ホストデバイス410上で実行されるアプリケーションを表す。いくつかの実施例では、
図4Aのデバイス410上で実行されるように示されるチェスおよび計算機アプリケーション等の複数のアプリケーションが、デバイス410上で並行して実行されてもよく、示される実施例は、単一の共有されるアプリケーションを説明するが、これは、複数の共有されるアプリケーションに拡張されることができる。いくつかのそのような実施例では、ホストデバイスは、2つ以上の独立シーングラフ(例えば、それぞれ、3つの共有されるアプリケーションのうちの1つに対応する、3つのシーングラフ)を維持および共有してもよい。上記のように、いくつかの実施例では、単一のシーングラフは、2つ以上のアプリケーションに対応してもよい(例えば、単一のシーングラフは、チェスおよびスクラブルに対応する)。さらに、本明細書に説明されるように、遠隔デバイス420は、ホストデバイス410に対して遠隔にあるが、これは、ホストデバイス410から物理的または電子的に分離される必要はない。いくつかの実施例では、遠隔デバイス420は、ホストデバイス410に物理的または電子的に接続されてもよい、または単一の物理デバイスのコンポーネントまたはモジュールであってもよい。このように、アプリケーション共有は、プラットフォームレベルにおいて実装されることができる。例えば、アプリケーションは、モバイルデバイスオペレーティングシステム(例えば、iOS、Android)または頭部装着型デバイスのためのオペレーティングシステム等の単一のプラットフォームのコンポーネントまたは領域間で共有されることができる。いくつかの実施例では、アプリケーションは、プラットフォームを横断してこのように共有されることができ、これは、例えば、アプリケーションが、第1のプラットフォーム(例えば、iOSを起動するモバイルデバイス)のユーザと、第2の異なるプラットフォーム(例えば、カスタムオペレーティングシステムを起動する頭部装着型仮想現実システム)のユーザとの間で共有される挙動を可能にすることができる。
【0042】
共存サービス540は、主要アプリケーションが遠隔デバイスと共有されることを可能にするヘルパアプリケーションである。実施例では、共存サービス540は、アプリケーション510と並行して、アプリケーション510に対してサンドボックス化されて、ホストデバイス410上で実行され、アプリケーション510が遠隔デバイス420と共有されることを可能にする。いくつかの実施例では、下記に説明されるように、アプリケーション510が共有される各デバイス(例えば、
図4Aのデバイス420、430、440)は、個別の共存サービスアプリケーションを実行することができる。例えば、
図5に示される実施例では、遠隔デバイス420は、その独自の遠隔共存サービス570を実行し、これは、ホスト共存サービス540の特徴のうちのいくつかまたは全てを備えることができる。例えば、遠隔共存サービス570は、主要論理ループ574と、遠隔レンダリングエンジンクライアント576とを備えることができる。
【0043】
示される実施例では、ホスト共存サービス540は、クラウドサーバ450を介して、遠隔デバイス(例えば、420)に、およびそれからデータ(例えば、グラフィカルデータ、入力データ)を送信および受信するためのトランスポート機能性を組み込む。例えば、実施例では、ローカルエンドポイント542は、アプリケーション510とデータを交換するための端末として作用することができ、エンドポイント550は、クラウドサーバ450とデータを交換するための端末として作用することができる。実施例では、ホスト共存サービス540はさらに、ホスト共存サービス540と関連付けられる種々の機能を実施し得る、主要アプリケーション論理ループ544を備える。これらの機能は、ホストデバイス410と遠隔デバイスとの間のデータの交換を仲介すること、共有アプリケーション510に、およびそれから遠隔デバイスを追加および除去すること、ユーザインターフェース機能(遠隔ユーザを表すための「アバター」機能性を含み得る)、チャット機能性、ファイル転送(例えば、ホストデバイス410と遠隔デバイス420等の遠隔デバイスとの間でアプリケーション510と関連付けられるアセットを含むデータを交換すること)、および/またはグラフィカル出力を発生させることを含むことができる。共存サービス540のグラフィカル出力(シーングラフを含み得る)は、いくつかの実施例では、
図3Aおよび
図3Bに関して上記に説明されるクライアント・サーバインターフェース330に対応し得る、レンダリングエンジンクライアント546に提示されることができる。レンダリングエンジンクライアント546は、次いで、(例えば、
図3Cに示されるプロセス360に関して上記に説明されるように)ホストデバイス410上にレンダリングされるようにグラフィカルデータをレンダリングエンジンサーバ560(いくつかの実施例では、
図3Aおよび
図3Bに関して上記に説明されるサーバ340に対応し得る)に提示することができる。しかしながら、いくつかの実施例では、共存サービス540は、限定された特徴のみを含んでもよく、いかなるユーザ入力またはディスプレイ出力も伴わずに実行されるバックグラウンドプロセスであってもよい。
【0044】
図5に示される実施例を参照すると、アプリケーション510は、デバイス410から(例えば、デバイス410と関連付けられる入力サービスを介して)ホスト入力506を受信し、取り扱い得る、入力受信機512を備えることができる。ホスト入力506は、キーボードまたはマウス等の従来の入力デバイスを介して、頭部搭載型デバイスのセンサ(例えば、カメラ、眼追跡センサ、マイクロホン)を介して、ハンドヘルド入力周辺機器を介して、または任意の他の好適なデバイスによって受信される入力を含むことができる。いくつかの実施例では、入力506は、頭部搭載型拡張現実デバイスと関連付けられる1つ以上のセンサまたは入力デバイスによって提供されてもよい。いくつかの実施例では、入力受信機512は、ホストデバイス410からのホスト入力の代わりに、またはそれに加えて、下記に説明されるもの等の遠隔デバイスによって提供される入力を受信することができる。
【0045】
アプリケーション510はさらに、主要アプリケーション論理ステージ514を備えることができる。512によって受信される入力は、アプリケーション論理ステージ514への入力として提供されることができる。アプリケーション論理ステージ514は、入力を受け取り、アプリケーション論理(例えば、チェスアプリケーションに関するゲーム論理)を実行し、あるアプリケーション状態を維持し、ある出力(例えば、ディスプレイ出力)を提供する、主要アプリケーションループを含むことができる。アプリケーション論理ステージ514は、ホストデバイス410のために、かつアプリケーションが共有される遠隔デバイス(例えば、遠隔デバイス420)毎に、アプリケーションのシーングラフを決定するステップを含むことができ、いくつかの実施例では、ローカルデバイスおよび遠隔デバイスのうちの1つ以上のものは、同一のシーングラフを共有してもよい。アプリケーション論理ステージ514によって実施される例示的グラフィカルプロセスは、
図3Bに示されるクライアントアプリケーション310に関して上記に説明される。しかしながら、本開示は、任意の特定のアプリケーションまたは任意の特定のアプリケーション論理514に限定されない。
【0046】
アプリケーション510はさらに、いくつかの実施例では、
図3Aおよび
図3Bに関して上記に説明されるクライアント・サーバインターフェース330に対応し得る、レンダリングエンジンクライアント516を備えることができる。いくつかの実施例では、レンダリングエンジンクライアント516は、上記に説明されるレンダリングエンジンクライアント546と同一であってもよい、またはそれと共通コンポーネントを共有してもよい。アプリケーション論理ステージ514から、アプリケーション論理の表示データが、例えば、
図3Aおよび
図3Bに関して上記に説明されるもの等のレンダリングエンジンクライアント516に提供されることができる。レンダリングエンジンクライアント516は、アプリケーション論理ステージ514の出力に基づいて、各シーングラフがアプリケーション510に対応する、1つ以上のシーングラフを発生させる、ホストデバイス410にローカルのクライアント側ユーティリティであり得る。いくつかの実施例では、アプリケーション510は、アプリケーション510が共有されるべきであるデバイス(例えば、420)毎にシーングラフを発生させることができる。そのようなシーングラフは、同じであってもよい、またはデバイスのうちの1つ以上のものに一意であってもよい。いくつかの実施例では、シーングラフは、各遠隔デバイスによって必要とされるデータのみを含むことによって等、遠隔デバイス毎に最適化されてもよい。例えば、遠隔デバイス420は、ホストデバイス410に、遠隔デバイス420のユーザの視野およびカメラ起点を示すデータを提供し得、ホストデバイス410は、それに応じて、遠隔デバイス420のユーザに可視であり得るシーングラフの要素(すなわち、カメラ起点および視野に対応するビューにおいて可視であり得る要素)を算出し、遠隔デバイス420に関するシーングラフから不可視要素をプルーニングすることができる。類似する最適化もまた、遠隔デバイス上の可視であり得るシーングラフの要素(例えば、遠隔デバイス上の詳細レベル設定またはレイヤリング情報)に関する情報に基づいて実施されてもよい。
【0047】
アプリケーション510のビューをホストデバイス410(例えば、アプリケーションのユーザのビューを表す)のローカルユーザに提示するために、レンダリングエンジンクライアント516は、ローカルユーザのビューに対応するシーングラフを発生させ、次いで、シーングラフおよび関連付けられるコンテンツをレンダリングエンジンサーバ560に提示することができ、これは、デバイス410のディスプレイ上でアプリケーション510の対応するビューを表示してもよい。本プロセスは、
図3Aおよび
図3Bに関して上記に説明されるものに対応し得る。レンダリングエンジンクライアント516は、必要ではないが、シーングラフおよび関連付けられるコンテンツを直接レンダリングエンジンサーバ560に提示してもよい。いくつかの実施例では、レンダリングエンジンクライアント516は、シーングラフおよびコンテンツをエンドポイント、ソケットパイプ、またはレンダリングエンジンクライアント560への提示のための任意の他の好適なプロセス間通信機構に提示することができる。
【0048】
いくつかの実施例では、レンダリングエンジンサーバ560は、ホストデバイス410にローカルであってもよく、いくつかの実施例では、レンダリングエンジンサーバは、専用サーバ等の遠隔デバイス上、またはピアツーピアネットワークにおいて等、デバイス410に接続される別のデバイス上にあってもよい。レンダリングエンジンクライアント516またはレンダリングエンジンサーバ560のいずれも、専用ハードウェアモジュールである必要はなく、いくつかの実施例では、レンダリングエンジンクライアント516および/またはレンダリングエンジンサーバ560は、別個のアプリケーション(例えば、単一のプラットフォーム上で並行して起動する別個のアプリケーション)またはマルチスレッドアプリケーションの別個のスレッド等の純粋なソフトウェアモジュールであってもよい。しかしながら、いくつかの実施例では、1つ以上のレンダリングエンジン機能(例えば、
図3Cに示されるレンダラ360によって実施されるもの)は、専用サーバおよび/または専用グラフィックス処理ハードウェア(例えば、GPU)等の専用ハードウェア上で実施されてもよい。専用ハードウェア上でコンピュータ的に集約的な機能を実施することによって、コンピューティングリソースは、ユーザデバイス(例えば、デバイス410)上で解放されることができる。これは、ユーザデバイスが、バッテリ寿命、算出リソース、および物理的空間が限られているモバイルハードウェア(例えば、モバイル電話、ヘッドセット)を備えるとき、特に有益であり得る。
【0049】
レンダリングエンジンサーバ560は、上記に説明されるもの等の一元化シーングラフおよびレンダラを含むことができる。いくつかの実施例では、複数のクライアントアプリケーション(例えば、デバイス410上で並行して実行されるチェスアプリケーションおよび計算機アプリケーション)が、コンテンツおよび/またはシーングラフデータをレンダリングエンジンサーバ560に同時に提供することができる。さらに、いくつかの実施例では、レンダリングエンジンサーバ560は、いかなるクライアントアプリケーションコードも含まず、レンダリングエンジンクライアント516によってこれに提示されるそのようなデータの特定のソースに依存しない場合がある。これは、レンダリングエンジンサーバがそのようなアプリケーション毎にカスタム論理を備える必要性を伴わずに、上記に説明されるチェスおよび計算機アプリケーション等の多様なアプリケーションとのその併用を可能にすることができる。同様に、これは、チェスおよび計算機アプリケーション等のアプリケーションが、共存サービスと協働することを可能にし、いかなるカスタムプログラミングも伴わずにアプリケーション共有機能性を可能にし、そのようなアプリケーションの生産、採用、および使用を促すことができる。
【0050】
図5に示される実施例では、レンダリングエンジンクライアント516は、グラフィカルデータをホスト共存サービス540に提供することができる。いくつかの実施例では、本グラフィカルデータは、エンドポイント(例えば、エンドポイント520)に、またはソケットまたは別の好適なプロセス間通信機構に提供されることができる。グラフィカルデータは、遠隔デバイス420への提示を意図される遠隔グラフィカルデータを含むことができる。例えば、遠隔グラフィカルデータは、遠隔デバイス420上でレンダリングおよび表示されるべきである、アプリケーション510に対応するシーングラフまたは部分的シーングラフを含むことができる。そのような遠隔グラフィカルデータに関して、エンドポイント520は、その遠隔グラフィカルデータを、遠隔デバイスに対応する別のエンドポイント550に提供することができ、エンドポイント550から、データは、(例えば、クラウドサーバ450および/または遠隔共存サービスに対応する遠隔エンドポイント580を介して)遠隔デバイス420上で実行される遠隔共存サービス570に通信されてもよい。
【0051】
いくつかの実施例では、いったん遠隔グラフィカルデータ(例えば、シーングラフを含む)が、遠隔共存サービス570において受信されると、これは、遠隔共存サービスの主要論理ループ574に提供されることができ、これは、遠隔デバイス420上でレンダリングされるべきビューを決定するために、遠隔グラフィカルデータを使用することができる。例えば、遠隔共存サービス570は、上記に説明されるもの等のローカルシーングラフを発生させ、更新することができる。いくつかの実施例では、遠隔グラフィカルデータは、レンダリングエンジンクライアント576に直接提供されることができる。レンダリングエンジンクライアント576は、次いで、データをレンダリングエンジンサーバ590に提供することができ、これは、デバイス420のディスプレイ等のディスプレイにレンダリングされることができる。
【0052】
いくつかの実施例では、遠隔デバイス420は、アプリケーション510と相互作用することができず、代わりに、アプリケーションのビューを単にレンダリングする観客として作用する。しかしながら、他の実施例では、遠隔デバイス420は、遠隔デバイス420に提供される入力を介して等、アプリケーション510と相互作用することができる。ある場合には、本入力は、ホストデバイス410に戻るような通信を伴わずに、(例えば、ディスプレイパラメータを調節することによって)アプリケーション510の遠隔デバイスのビューに影響を及ぼすことができる。但し、いくつかの実施例では、遠隔デバイス420は、ホストデバイス410に戻るように入力を提供することができ、これは、ホストデバイス410上で実行されるアプリケーション510への入力として渡されることができる。例えば、アプリケーション510が、チェスアプリケーションである場合、遠隔デバイス420は、ホストデバイス410に、ユーザの所望のチェス移動を示すユーザ入力を提供してもよい。示される実施例では、遠隔共存サービス570は、遠隔入力受信機572を備え、これは、遠隔デバイス420の入力を(例えば、入力サービス566を介して)受信する。遠隔入力受信機572および入力サービス566は、それぞれ、ホストデバイス410に関して上記に説明される、入力受信機512および入力サービス506に対応することができる。例えば、遠隔入力受信機572は、従来の入力デバイス(例えば、キーボードまたはマウス)を介して、頭部搭載型デバイスのセンサを介して、ハンドヘルド入力周辺機器を介して、または任意の他の好適なデバイスによって提供される入力を受信することができる。本入力データは、遠隔共存サービス570の主要ループ574への入力として提供されることができる。
【0053】
入力データが、アプリケーション自体の実行に影響を及ぼすことなく、アプリケーションの遠隔デバイスのビューに影響を及ぼす実施例では、主要ループ574は、入力データが、アプリケーションのビューに影響を及ぼし、対応するグラフィカルデータをレンダリングエンジンクライアント576(これは、順に、グラフィカルデータをレンダリングエンジンサーバ590に提供する)に提示するべき方法を決定することができる。入力データが、ホストデバイス410に戻るように通信される実施例では、主要ループ574は、データをエンドポイント580に提示することができ、これは、データをホスト共存サービス540のエンドポイント550に通信することができる。ここから、データは、(例えば、エンドポイント542および520および入力受信機512を介して)アプリケーション510に戻るように通信されることができ、これは、主要アプリケーション論理ループ514への遠隔入力として提示されることができる。アプリケーション論理ループ514は、次いで、遠隔入力をアプリケーション510の更新されたシーングラフに組み込むことができ、例えば、チェスアプリケーションでは、アプリケーション論理ループ514は、遠隔デバイスから受信されたユーザ入力に従って、ゲーム状態を更新し、それに応じてチェスの駒を移動させ、チェスの駒の更新された位置を反映する新しいシーングラフを発生させることができる。更新されたシーングラフは、次いで、上記に説明される機構を介して等、遠隔デバイス420に提示されることができる。このように、遠隔デバイス420は、入力をアプリケーション510に提供し、遠隔デバイスの入力を考慮する更新されたシーングラフを受信することが可能である。
【0054】
レンダリングエンジンクライアント516によって提供されるグラフィカルデータはまた、上記に説明される遠隔グラフィカルデータの代わりに、またはそれに加えて、ホストデバイス410上でレンダリングおよび提示されることを意図される、ホストグラフィカルデータを含むことができる。本ホストグラフィカルデータは、例えば、主要ループ544への入力として、ホスト共存サービス540にエンドポイント520を介して提示されることができる。本グラフィカルデータは、次いで、ホスト共存サービス540のレンダリングエンジンクライアント546に提示されることができ、ここから、これは、ホストレンダリングエンジンサーバ560に提示されることができる。レンダリングエンジンサーバ560は、上記に説明されるもの等の2つのソースからのグラフィカルデータ、例えば、ローカルアプリケーション510に対応するグラフィカルデータ、およびまた、ホスト共存サービス540に対応するグラフィカルデータを組み込む、単一のビューをレンダリングすることができる。
【0055】
図5に示される実施例は、ホストデバイス上で実行され、遠隔デバイスと共有される単一のアプリケーション510を図示するが、実施例は、ホストデバイス上で実行され、遠隔デバイスと共有される複数のアプリケーションに拡張されることができる。上記のように、そのような複数のアプリケーションに関するグラフィカルデータは、単一のシーングラフ(例えば、2つのアプリケーションに対応する1つのシーングラフ)によって、または2つ以上のシーングラフ(例えば、それぞれ、1つのアプリケーションに対応する2つのシーングラフ)によって表されてもよい。さらに、
図5に示される実施例に説明される遠隔デバイス420はまた、これが他のデバイス(デバイス410を含む)と共有し得る、その独自の付加的アプリケーションを実行してもよい。例えば、
図4Aは、デバイス410と共有されるスクラブルアプリケーションを実行する、デバイス420を示す。そのような実施例では、遠隔デバイス420は、これが実行するそれらのアプリケーションに対するホストデバイスと見なされてもよい。デバイスおよび共有されるアプリケーションの他の構成も、明白であり、本開示は、任意の特定のそのような構成に限定されない。例えば、アプリケーションは、単一のプラットフォーム(例えば、iOS)上で起動するアプリケーション間、異なるプラットフォーム(例えば、iOSおよびAndroid)上で起動するアプリケーション間、またはある組み合わせの間で共有されてもよい。
【0056】
図6は、アプリケーション(例えば、チェスアプリケーションであり得る、
図5のアプリケーション510)を実行するホストデバイス(例えば、
図4Aおよび
図5のデバイス410)と、本開示に従ってそのアプリケーションを共有する遠隔デバイス(例えば、
図4Aおよび
図5のデバイス420)との間のデータの例示的フローを図示する、フローチャートを示す。(本実施例に関して使用されるように、「ホスト」は、共有セッションにおいてアプリケーション510を実行するデバイスである、ホストデバイス410にローカルのプロセスおよびデータを指し、「遠隔」は、デバイス420におけるプロセスおよびデータ等、デバイス410から遠隔のプロセスおよびデータを指す。デバイス420は、アプリケーション510をダウンロードまたはインストールされてもよいが、共有セッションにおいてこれを実行していない。)
図6に説明される例示的プロセスでは、遠隔デバイスのユーザは、アプリケーションが遠隔デバイス上にインストールされる必要性を伴わずに、アプリケーションを視認し、それと相互作用することができる。実施例の段階610において、ホストデバイス410のユーザが、アプリケーション510の共有を開始する。アプリケーション共有は、下記にさらに説明されるもの等の任意の好適な技法を使用して、例えば、ホストデバイス410のコンテキストメニューまたはシステムダイアログを介して提示される「共有」オプションとの相互作用を介して開始されることができる。(いくつかの実施例では、ホストデバイスではなく、遠隔デバイスのユーザが、アプリケーションの共有を開始してもよい。)応答して、段階612において、デバイス410上で実行されるホスト共存サービス(例えば、ホスト共存サービス540)が、共有のためのアプリケーション610を登録し、任意の必要な初期化を実施する。ホスト共存サービスは、(例えば、サーバ450を介して)アプリケーション510が共有されている遠隔共存サービス(例えば、デバイス420上で実行される遠隔共存サービス570)に通信する。(遠隔デバイスが、アプリケーション510をダウンロードまたはインストールされていない場合等のいくつかの実施例では、本段階は、要求されるアセットまたは他のアプリケーションデータを遠隔デバイスに送信するステップを含んでもよい。)応答して、段階614において、遠隔共存サービスは、アプリケーション510に対応する、遠隔デバイス420にローカルの遠隔シーングラフ(または実施例におけるように、サブシーングラフ)を作成することができる。上記に説明されるように、遠隔デバイス420上で実行される(またはそれと通信する)レンダリングエンジンサーバは、
図3A-3Cに関して上記に説明されるもの等の本遠隔シーングラフをレンダリングし、デバイス420のユーザに属するアプリケーション510のビューに対応するディスプレイ出力を(例えば、デバイス420のディスプレイ上に)提供することができる。
【0057】
段階620において、ホストデバイス410は、上記に説明されるもの等のデバイス420に提示されるべきアプリケーション510に関するシーングラフ(例えば、デバイス420のユーザのカメラ位置に対応するアプリケーション510の3Dカメラビュー)を決定することができ、シーングラフを反映するデータをホスト共存サービス540に送信する。段階622において、シーングラフを反映するデータを受信することに応じて、ホスト共存サービス540は、例えば、遠隔エンドポイント、ソケット、またはデータを通信するための他の好適な機構を使用して、サーバ450を介して、データを遠隔共存サービス570に転送する。段階624において、シーングラフを反映するデータを受信することに応じて、遠隔共存サービス570は、上記に説明されるような段階614において作成された遠隔シーングラフを(例えば、レンダリングエンジンクライアント576を介して)更新または置換する。本遠隔シーングラフは、次いで、上記に説明されるもの等のレンダリングエンジンサーバ590を介してデバイス420においてレンダリングされることができる。本更新されたデータをホストデバイスから遠隔デバイスに通信することのみによって、帯域幅使用は、未加工画像データ(例えば、ビデオフレーム)または他の記憶装置集約的データを送信することと比較して限定される。
【0058】
デバイス410は、ホストデバイス410を含む、遠隔デバイス430および440等の付加的デバイスのために、段階620におけるプロセスを繰り返すことができる。個別のデバイス毎に、レンダリングエンジンクライアント516は、上記に説明されるもの等のそのデバイスに提示されるべきアプリケーション510のシーングラフを決定することができる。ホストデバイス410上に表示されるべきシーングラフに関して、レンダリングエンジンクライアント516は、
図3A-3Cに関して上記に説明されるもの等、シーングラフを発生させ、または更新し、レンダリングのためにこれをレンダリングエンジンサーバ560に提示することができる。
【0059】
遠隔デバイス420が、アプリケーション510のビューを単に受動的に表示するのではなく、入力を提供することを介してアプリケーション510と相互作用する実施例では、段階630における遠隔共存サービス570は、例えば、入力サービス566と通信する遠隔入力受信機572(その挙動は、上記に説明されるようなホスト入力受信機512および入力サービス506に対応し得る)を介して、遠隔デバイス420から入力を受け取ることができる。段階632において、遠隔共存サービス570は、入力イベントデータをホスト共存サービス540に転送することができ、これは、段階634において入力イベントデータを受信する。段階636において、ホスト共存サービス540は、入力イベントデータをローカルアプリケーション510に転送することができ、これは、(例えば、入力受信機512によって)段階638において受信され、アプリケーション論理514への入力として提供されることができる。
【0060】
段階640において、アプリケーション論理514は、上記に説明されるもの等のホストデバイス410から受信されたホスト入力に従って、ホストシーングラフを更新することができ、遠隔デバイス(例えば、遠隔デバイス420)が、入力を提供する実施例では、アプリケーション論理514は、加えて、シーングラフを更新するとき、その遠隔入力を組み込むことができる。例えば、アプリケーション510が、チェスアプリケーションであり、段階630においてアプリケーション510によって受信された遠隔入力が、遠隔デバイス420のユーザがチェスの駒を移動させることに対応する場合、アプリケーション510は、それに応じてゲーム状態を更新し(アプリケーションを共有する全てのデバイスおよびホストデバイス410に提示されるデータに影響を及ぼし得る)、新しいゲーム状態(例えば、チェス盤上のその更新された位置におけるチェスの駒を伴う)を反映する、対応する更新されたシーングラフを発生させることができる。
【0061】
段階650において、ホストアプリケーション510は、段階640の結果に基づいて、遠隔デバイス420に更新を送信する。これらの更新は、段階652においてホスト共存サービス540に、および段階654において遠隔共存サービス570に提供される。段階650、652、および654は、上記に説明される、それぞれ、段階620、622、および624に対応することができ、上記に説明されるステップは、ホストデバイス410が、アプリケーション510をホストし、遠隔デバイス420が、アプリケーションのその共有されるバージョンを視認する、および/またはそれと相互作用する際、無期限に繰り返されることができる。いくつかの実施例では、上記のプロセスの帯域幅使用は、更新がホストデバイスによって提供される速度を変調することによって制御されることができる。例えば、更新の間(例えば、段階620と段階650との間)に経過する時間を増加させることは、要求される帯域幅を低減させることができる。データスループットの変化に適応するための、および異なる速度のデータスループットを有し得るデバイスを同期させるための例示的システムおよび方法が、米国特許出願第15/940,892号および第16/011,413号に説明されている。加えて、いくつかの実施例では、ホストアプリケーション510と遠隔デバイス420との間の更新のデータサイズは、更新において送信されるシーングラフのコンテンツを限定することによって最適化されることができる。例えば、上記に説明されるように、ホストアプリケーションは、(例えば、それらが、遠隔デバイス420の予測されるカメラビューの外側に存在するため)遠隔デバイス420において不可視であり得るシーングラフの要素を(例えば、段階650において)決定し、シーングラフを遠隔デバイス420に送信する前に、シーングラフからそれらの要素をカリングすることができる。
【0062】
いくつかの実施例では、クラウドサーバまたは他の好適な記憶装置は、新しい遠隔デバイスがすでに進行中である共有セッションに参加することを促進するために、共有されるアプリケーションに関するベースシーングラフを維持することができる。例えば、
図4Aに関して、クラウドサーバ450は、それぞれ、チェスアプリケーション、計算機アプリケーション、およびスクラブルアプリケーションのそれぞれに対応するシーングラフを維持し得る。そのような実施例では、アプリケーションが、付加的遠隔デバイス(例えば、遠隔デバイス430)と共有された状態になると、デバイスは、最初に、クラウドサーバ上に存在するベースシーングラフを提示され、アプリケーションに対応するように新しいシーングラフを作成するオーバーヘッドを伴わずに、新しい遠隔デバイスが進行中のアプリケーションに参加することを可能にすることができる。そのような実施例では、ホストデバイス410が遠隔デバイスに増分更新(例えば、以前の更新以降の変化)を提示することが、必要であり得、ベース状態シーングラフが、クラウドサーバ450から常時利用可能であるため、遠隔デバイスは、アプリケーション510の現在の状態に対応するシーングラフを再構成するために、ベース状態シーングラフおよび対応するベース状態以降の変化を取得することのみが必要である。
【0063】
上記に説明される実施例では、ホストデバイス(例えば、デバイス410)は、アプリケーションを実行し、遠隔デバイス(例えば、デバイス420)とアプリケーションを共有する。ホストデバイスは、シーングラフを発生させ、これを遠隔デバイスに送信し、そのシーングラフから、遠隔デバイスは、表示のためのビューをレンダリングする。上記に説明される実施例では、ホストデバイスはまた、それ自体のためのシーングラフ(遠隔デバイスに送信されるものと同一のシーングラフである場合とそうではない場合がある)を発生させ、ホストデバイスは、ホストデバイス上で表示するためのビューをレンダリングするためにシーングラフを使用する。これは、ホストデバイスおよび遠隔デバイスが、同一の共有されるアプリケーションに参加することを所望する2人のユーザに属する、例えば、ホストデバイスのユーザが、共有されるチェスアプリケーションにおいて遠隔デバイスのユーザと対戦することを所望し得る状況において望ましくあり得る。しかしながら、いくつかの実施例では、ホストデバイスは、それ自体のためのビューをレンダリングすることなく、単純に、シーングラフを各遠隔デバイスに送信してもよい。
【0064】
図4Bは、1つのそのような「ヘッドレス」実施例を説明する。
図4Bに示される実施例400Aでは、ホストデバイス(例えば、
図4Bの450A)は、上記に説明されるもの等の遠隔デバイス(例えば、遠隔デバイス410A、420A、430A、および440A)とアプリケーションを共有する主目的のために構成される、データセンタ、クラウドサーバ、または1つ以上のネットワーク化サーバ等の専用ホスティングエンティティであってもよい。本構成は、例えば、ホストデバイスが、これが通信する遠隔デバイスよりも多くのコンピューティングリソースへのアクセスを有し得る場合に有利であり得る。示される実施例では、ホストデバイス450Aは、1つ以上のアプリケーション(例えば、チェス、計算機、スクラブル)を実行する。ホストデバイス450Aは、
図4Bに示されるもの等のそれらのアプリケーションのそれぞれに関するシーングラフを発生させ、維持することができ、それらのシーングラフを上記に説明されるもの等の各遠隔デバイスに送信する。各遠隔デバイスは、次いで、ローカルビューを決定してもよく、そのビューをその個別のユーザに表示してもよい。
【0065】
ホストデバイス上で実行される論理は、遠隔デバイスに対して、上記に説明されるもの等のアプリケーションの状態を更新することができる。例えば、ホストデバイス論理は、遠隔デバイスの更新された場所、例えば、デバイスのユーザが居間からキッチンに移動したときの更新を受信することができる。ユーザが、キッチンに入ると、新しい場所が、遠隔デバイスからホストデバイスに提供されることができ、更新されたシーングラフおよび/または関連付けられるアセットが、次いで、ホストデバイスから遠隔デバイスに提供されることができ、これは、次いで、新しいコンテンツを視認することができる。
【0066】
いくつかの実施例では、ホストデバイスは、多数のアプリケーションをホストするように構成されてもよく、いくつかの実施例では、ホストデバイスに接続する遠隔デバイスは、アプリケーションをダウンロードまたはインストールする必要は決してなく、代わりに、共有セッションが、開始されるとき、遠隔デバイスに、アプリケーションに関する全ての必要なデータを提供するためにホストデバイスに依拠する。アプリケーションは、任意の好適なホスティングフレームワークを使用して、ホストデバイス上でサーバ側プログラムとして起動することができる。ある場合には、ホストデバイス上のアプリケーションの単一のインスタンスが、異なるクライアント参加者と共有されることができる。シームレスなクロスプラットフォームアプリケーション共有が、このように可能にされることができる。
【0067】
いくつかの実施例では、アプリケーションを実行または共有する要求が、上記に説明されるもの等、ホストデバイス(例えば、
図4Bのホストデバイス450A)または遠隔デバイス(例えば、
図4Bの遠隔デバイス410A、420A、430A、または440A)のいずれかによって開始されることができる。共有要求は、要求に対する他の当事者(例えば、ホストデバイスによる要求における遠隔デバイスまたは遠隔デバイスによる要求におけるホストデバイス)によって承認または拒否されることができる。
【0068】
任意の好適な方法が、アプリケーションの実行または共有を開始するために使用されることができる。いくつかの実施例では、ユーザは、従来のユーザインターフェース(例えば、アプリケーションの選択を列挙するメニュー)と相互作用することによって等、アプリケーションの実行または共有を明確に開始することができる。いくつかの実施例では、コンピューティングデバイス(例えば、
図4Bに関するデバイス410A)のユーザは、QRコード(登録商標)、バーコード、URL、またはホストデバイス(例えば、
図4Bに関するホストデバイス450A)に関するアドレス指定情報を含み得る他のデータを含有する視覚的標的を(例えば、頭部搭載型デバイスのカメラを介して)走査することによって等、トリガと相互作用することによってアプリケーションの実行または共有を開始することができる。ある場合には、トリガは、GPSユニットによって検出されるもの等、特定の場所に進入することまたはそれから退出することを含んでもよく、アドレス指定情報は、場所と(例えば、ルックアップテーブルを介して)関連付けられてもよい。いくつかの実施例では、単一のトリガが、2つ以上のアプリケーションと関連付けられることができる。
【0069】
相互作用に応答して、ユーザのデバイスは、ホストデバイスに要求を通信するためにアドレス指定情報を使用することができる。要求を受信することに応答して、ホストデバイスは、(例えば、
図6の段階610に関して上記に説明されるような)ユーザのデバイスとアプリケーションの共有を開始する、ユーザのデバイスにファイル(例えば、ユーザのデバイス上で起動されるべき実行可能ファイル)をサービシングする、またはある他のアクションを行うことができる。ユーザのデバイスが、仮想環境と相互作用する実施例では、そのようなトリガは、仮想環境内に(ある場合には、持続座標フレーム(PCF)データ等の空間情報を使用して、共有される仮想環境の他のユーザによって)設置されることができ、仮想環境内のそれらのトリガとのユーザの相互作用は、上記に説明されるようなアプリケーションの実行または共有をもたらすことができる。さらに、ある場合には、トリガは、頭部搭載型デバイスのカメラを介して受信される画像等のセンサデータと関連付けられることができる。例えば、ユーザは、特定の場所(例えば、実世界場所または仮想環境内の場所)においてチェス盤に遭遇し得る。チェス盤を見る、それに接近する、それに触れる、または別様にそれと相互作用することによって、ユーザは、(例えば、
図6に関して上記に説明されるような)チェスアプリケーションを実行または共有する要求を開始することができる。このように、アプリケーションは、ユーザの独自の主導権において(例えば、従来のユーザインターフェースを介して)だけではなく、現実、仮想、またはハイブリッド(例えば、拡張現実)環境内のオブジェクトおよび場所との有機的相互作用を介して実行および/または共有されることができる。
【0070】
ある場合には、ユーザの環境に関連するデータ(例えば、GPSデータ等のセンサデータまたは頭部搭載型デバイスのカメラデータ)が、1つ以上のパラメータをアプリケーションに提供するために使用されることができる。例えば、チェスアプリケーションが共有されることを要求するとき、ユーザの現在の場所は、現在の天候および時刻を識別するために使用されることができ、これらは、チェスアプリケーションに関する視覚的環境効果(例えば、時間感受性照明)を決定するために使用されることができる。同様に、いくつかの実施例では、アプリケーションを実行または共有する要求は、コンテキスト情報に基づいてもよく、例えば、ユーザは、自身の近傍における他のデバイスに共有要求を送信することが可能であり得る。いくつかの実施例では、「ヘッドレス」ホストデバイス(例えば、450A)が、遠隔ユーザ(例えば、410A、420A、430A、440Aのユーザ)にコンテキスト情報に基づくアプリケーション共有要求を提示することが、望ましくあり得、例えば、ホストデバイスは、ユーザの場所が、テーマパークにおいて検出されるとき、ユーザにテーマパークアプリケーションを共有する要求を提示するように構成され得る。いくつかの実施形態では、許可は、要求されなくてもよく、コンテンツは、ユーザと自動的に共有されてもよい。いくつかの実施形態では、データは、アプリケーションを開始するために使用されてもよいが、アプリケーション自体に提供されなくてもよい。例えば、ユーザの現在の場所を反映する個人データは、その場所に基づいて、アプリケーションをトリガするために使用されてもよいが、アプリケーションデータは、ユーザのプライバシーおよび秘密性を助長するため等、その個人データにアクセスすることを防止されてもよい。アプリケーション共有要求を開始する他の方法も、明白となり、本開示の範囲内である。
【0071】
コンピュータシステムの上記の例示的プロセスは、任意の好適な論理回路によって提供されてもよい。好適な論理回路は、ソフトウェアプログラムにおいて実装される命令を実行すると、プロセスを実施する、1つ以上のコンピュータプロセッサ(例えば、CPU、GPU等)を含んでもよい。加えて、そのようなプロセスはまた、プロセスを提供する論理設計を実装する、プログラマブル論理(例えば、PLD、FPGA等)またはカスタマイズされた論理(例えば、ASIC等)等のハードウェア論理回路において実装される、対応する論理設計を介して提供されることができる。さらに、そのようなプロセスは、ソフトウェアおよびハードウェア論理回路を起動する、両方の1つ以上のプロセッサを組み合わせる実装を介して提供されることができる。
【0072】
図7は、上記の実施例のうちのいずれかまたは全てを実装するために使用され得る、例示的システム700を図示する。上記の実施例(全体的または部分的に)は、任意のポータブルデバイス(ウェアラブルデバイスを含む)または非ポータブルデバイス、例えば、通信デバイス(例えば、モバイル電話、スマートフォン)、マルチメディアデバイス(例えば、MP3プレーヤ、TV、ラジオ)、ポータブルまたはハンドヘルドコンピュータ(例えば、タブレット、ネットブック、ラップトップ)、デスクトップコンピュータ、一体型デスクトップ、周辺デバイス、頭部搭載型デバイス(例えば、統合ディスプレイを含み得る)、またはこれらのタイプのデバイスのうちの2つ以上のものの組み合わせを含む、例示的システムアーキテクチャ700の包含に適合可能な任意の他のシステムまたはデバイス内で具現化されてもよい。上記の実施例は、無線ネットワークを介して通信する2つ以上のコンピュータ等の2つ以上の物理的に別個のデバイスにおいて具現化されてもよい。上記の実施例は、データを、頭部搭載型ディスプレイに、および/またはそれから通信する、ベルトパック等の2つ以上の物理的に異なるデバイスにおいて具現化されてもよい。
図7は、概して、1つ以上のコンピュータ可読媒体701と、処理システム704と、I/Oサブシステム706と、高周波(RF)回路708と、オーディオ回路710と、センサ回路711とを含む、システム700の一実施例のブロック図である。これらのコンポーネントは、1つ以上の通信バスまたは信号ライン703によって結合されてもよい。
【0073】
図7に示されるアーキテクチャは、システム700の一例示的アーキテクチャにすぎず、システム700は、示されるものよりも多いまたは少ないコンポーネント、またはコンポーネントの異なる構成を有し得ることが明白となるはずである。
図7に示される種々のコンポーネントは、1つ以上の信号処理および/または特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実装されることができる。
【0074】
図7の例示的システムアーキテクチャ700を参照すると、RF回路708は、1つ以上の他のデバイスへの無線リンクまたはネットワークを経由して情報を送信および受信するために使用されることができ、本機能を実施するための周知の回路を含む。RF回路708およびオーディオ回路710は、周辺機器インターフェース716を介して処理システム704に結合されることができる。インターフェース716は、周辺機器と処理システム704との間の通信を確立および維持するための種々の公知のコンポーネントを含むことができる。オーディオ回路710は、オーディオスピーカ750およびマイクロホン752に結合されることができ、インターフェース716から受信される音声信号を処理し、ユーザが他のユーザとリアルタイムで通信することを可能にするための公知の回路を含むことができる。いくつかの実施例では、オーディオ回路710は、ヘッドホンジャック(図示せず)を含むことができる。
【0075】
センサ回路711は、限定ではないが、1つ以上の発光ダイオード(LED)または他の光エミッタ、1つ以上のフォトダイオードまたは他の光センサ、1つ以上の光熱センサ、磁力計、加速度計、ジャイロスコープ、気圧計、コンパス、近接性センサ、カメラ、周囲光センサ、温度計、GPSセンサ、電気眼球図記録(EOG)センサ、および残存バッテリ寿命、電力消費量、プロセッサ速度、CPU負荷、および同等物を感知し得る種々のシステムセンサを含む、種々のセンサに結合されることができる。頭部搭載型デバイスを伴うような実施例では、1つ以上のセンサは、ユーザの眼移動を追跡すること、またはその眼の画像に基づいてユーザを識別すること等のユーザの眼に関連する機能性に関連して採用されてもよい。
【0076】
周辺機器インターフェース716は、本システムの入力および出力周辺機器を、プロセッサ718およびコンピュータ可読媒体701に結合することができる。1つ以上のプロセッサ718は、コントローラ74を介して1つ以上のコンピュータ可読媒体701と通信してもよい。コンピュータ可読媒体701は、1つ以上のプロセッサ718によって使用するためのコードおよび/またはデータを記憶し得る、任意のデバイスまたは媒体(信号を除外する)であり得る。いくつかの実施例では、媒体701は、非一過性コンピュータ可読記憶媒体であり得る。媒体701は、限定ではないが、キャッシュ、主要メモリ、および二次メモリを含む、メモリ階層を含むことができる。メモリ階層は、RAM(例えば、SRAM、DRAM、DDRAM)、ROM、FLASH(登録商標)、ディスクドライブ、磁気テープ、CD(コンパクトディスク)、およびDVD(デジタルビデオディスク)等の磁気および/または光学記憶デバイスの任意の組み合わせを使用して実装されることができる。媒体701はまた、(信号を除外し、信号が変調される搬送波を除外するが)コンピュータ命令またはデータを示す情報伝達信号を搬送するための伝送媒体を含んでもよい。例えば、伝送媒体は、限定ではないが、インターネット(ワールドワイドウェブとも称される)、イントラネット、ローカエルエリアネットワーク(LAN)、ワイドローカルエリアネットワーク(WLAN)、ストレージエリアネットワーク(SAN)、メトロポリタンエリアネットワーク(MAN)、および同等物を含む、通信ネットワークを含んでもよい。
【0077】
1つ以上のプロセッサ718は、媒体701内に記憶された種々のソフトウェアコンポーネントを起動し、システム700のための種々の機能を実施することができる。いくつかの実施例では、ソフトウェアコンポーネントは、オペレーティングシステム722と、通信モジュール(または命令のセット)724と、I/O処理モジュール(または命令のセット)726と、グラフィックスモジュール(または命令のセット)728と、1つ以上のアプリケーション(または命令のセット)730とを含むことができる。これらのモジュールおよび上記のアプリケーションはそれぞれ、上記に説明される1つ以上の機能および本願に説明される方法(例えば、コンピュータ実装方法および本明細書に説明される他の情報処理方法)を実施するための命令のセットに対応することができる。これらのモジュール(すなわち、命令のセット)は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの種々のサブセットは、種々の実施例において、組み合わせられる、または別様に再配列されてもよい。いくつかの実施例では、媒体701は、上記に識別されるモジュールおよびデータ構造のサブセットを記憶してもよい。さらに、媒体701は、上記に説明されていない付加的モジュールおよびデータ構造を記憶してもよい。
【0078】
オペレーティングシステム722は、一般的システムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理等)を制御および管理するための種々のプロシージャ、命令のセット、ソフトウェアコンポーネント、および/またはドライバを含むことができ、種々のハードウェアおよびソフトウェアコンポーネントの間の通信を促進する。
【0079】
通信モジュール724は、1つ以上の外部ポート736を経由して、またはRF回路708を介して、他のデバイスとの通信を促進することができ、RF回路708および/または外部ポート736から受信されるデータを取り扱うための種々のソフトウェアコンポーネントを含むことができる。
【0080】
グラフィックスモジュール728は、1つ以上のディスプレイ表面上でグラフィカルオブジェクトをレンダリング、動画化、および表示するための種々の公知のソフトウェアコンポーネントを含むことができる。ディスプレイ表面は、2Dまたは3Dディスプレイを含んでもよい。ディスプレイ表面は、例示的システム700の1つ以上のコンポーネントに直接または間接的に結合されてもよい。タッチ感知ディスプレイ(例えば、タッチスクリーン)を伴う実施例では、グラフィックスモジュール728は、タッチ感知ディスプレイ上でオブジェクトをレンダリング、表示、および動画化するためのコンポーネントを含むことができる。いくつかの実施例では、グラフィックスモジュール728は、遠隔ディスプレイにレンダリングするためのコンポーネントを含むことができる。カメラを組み込むもの等のいくつかの実施例では、グラフィックスモジュール728は、レンダリングされたグラフィカルオブジェクトとカメラデータ(頭部搭載型カメラから捕捉されるもの等)または写真データ(衛星によって捕捉された画像等)を合成することによって形成される画像を作成および/または表示するためのコンポーネントを含むことができる。いくつかの実施例では、グラフィックスモジュールは、画像を頭部搭載型ディスプレイデバイスにレンダリングするためのコンポーネントを含むことができる。いくつかの実施例では、画像は、仮想コンテンツの要素のビュー(例えば、3次元仮想環境内のオブジェクト)および/または物理的世界のビュー(例えば、ユーザの物理的周辺を示すカメラ入力)を含んでもよい。いくつかの実施例では、ディスプレイは、仮想コンテンツおよび物理的世界のビューの合成画像を提示してもよい。いくつかの実施例では、物理的世界のビューは、レンダリングされた画像であってもよく、いくつかの実施例では、物理的世界のビューは、カメラからの画像であってもよい。
【0081】
1つ以上のアプリケーション730は、限定ではないが、ブラウザ、アドレス帳、連絡先リスト、電子メール、インスタントメッセージ、文書処理、キーボードエミュレーション、ウィジェット、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、音声複製、場所決定能力(全地球測位システム(GPS)によって提供されるもの等)、音楽プレーヤ等を含む、システム700上にインストールされた任意のアプリケーションを含むことができる。
【0082】
I/Oサブシステム706は、眼I/Oデバイス712および種々の機能を制御または実施するための1つ以上の他のI/Oデバイス714に結合されることができる。例えば、眼I/Oデバイス712は、眼入力(例えば、眼追跡のためのセンサ)またはユーザジェスチャ入力(例えば、光学センサ)を処理するための種々のコンポーネントを含み得る、眼I/Oデバイスコントローラ732を介して、処理システム704と通信することができる。1つ以上の他の入力コントローラ734は、電気信号を他のI/Oデバイス714から受信し、それに送信することができる。他のI/Oデバイス714は、物理的ボタン、ダイヤル、スライダスイッチ、スティック、キーボード、タッチパッド、付加的ディスプレイ画面、またはそれらの任意の組み合わせを含んでもよい。
【0083】
I/O処理モジュール726は、限定ではないが、眼I/Oデバイスコントローラ732を介して眼I/Oデバイス712から、またはI/Oコントローラ734を介して他のI/Oデバイス714から受信される、入力を受信および処理することを含む、眼I/Oデバイス712および/または他のI/Oデバイス714と関連付けられる種々のタスクを実施するための種々のソフトウェアコンポーネントを含むことができる。いくつかの実施例では、I/Oデバイス714および/またはI/O処理モジュール726は、触知または非触知手段によって提供され得る、ジェスチャ入力と関連付けられる種々のタスクを実施してもよい。いくつかの実施例では、ジェスチャ入力は、例えば、ユーザの眼、腕、手、および/または指の移動を検出するためのカメラまたは別のセンサによって提供されてもよい。いくつかの実施例では、I/Oデバイス714および/またはI/O処理モジュール726は、ユーザが相互作用することを所望するディスプレイ上のオブジェクト、例えば、ユーザが指し示しているGUI要素を識別するように構成されてもよい。いくつかの実施例では、眼I/Oデバイス712および/またはI/O処理モジュール726は、ユーザが見ているオブジェクトまたはディスプレイ上の領域を識別すること等の眼追跡タスクを実施するように(光学またはEOGセンサの補助によって等)構成されてもよい。いくつかの実施例では、デバイス(ハードウェア「ビーコン」等)が、2Dまたは3D環境に対するユーザの手の場所を識別すること等のタッチI/Oデバイス712および/またはI/O処理モジュール726のジェスチャ関連タスクを補助するように、ユーザによって装着または保持されてもよい。いくつかの実施例では、眼I/Oデバイス712および/またはI/O処理モジュール726は、ユーザの眼に関連するカメラセンサからのデータ等のセンサ入力に基づいて、ユーザを識別するように構成されてもよい。
【0084】
いくつかの実施例では、グラフィックスモジュール728は、GUI内で視覚出力をユーザに表示することができる。視覚出力は、テキスト、グラフィック、ビデオ、およびそれらの任意の組み合わせを含んでもよい。視覚出力の一部または全ては、ユーザインターフェースオブジェクトに対応してもよい。いくつかの実施例では、I/Oデバイス712および/または714および/またはコントローラ732および/または734は(媒体701内の任意の関連付けられるモジュールおよび/または命令のセットとともに)、ジェスチャおよび/または眼移動を検出および追跡することができ、検出されたジェスチャおよび/または眼移動を、1つ以上のユーザインターフェースオブジェクト等のグラフィカルオブジェクトとの相互作用に変換することができる。眼I/Oデバイス712および/または眼I/Oデバイスコントローラ732が、ユーザの眼移動を追跡するように構成される実施例では、ユーザは、グラフィカルオブジェクトを見ることによって、それらと直接相互作用することができる。
【0085】
フィードバックが、表示されている内容および/またはコンピューティングシステムの状態または複数の状態に基づいて、眼I/Oデバイス712または別のI/Oデバイス714によって等、提供されてもよい。フィードバックは、光学的に(例えば、光信号または表示された画像)、機械的に(例えば、触覚フィードバック、タッチフィードバック、力フィードバック、または同等物)、電気的に(例えば、電気刺激)、嗅覚、音響的に(例えば、ビープ音または同等物)、または同等物、またはそれらの任意の組み合わせで、かつ可変または非可変様式で、伝送されてもよい。
【0086】
システム700はまた、種々のハードウェアコンポーネントに給電するための電力システム744を含むことができ、電力管理システム、1つ以上の電源、再充電システム、停電検出回路、電力コンバータまたはインバータ、電力ステータスインジケータ、および典型的には、ポータブルデバイスにおける電力の発生、管理、および分配と関連付けられる任意の他のコンポーネントを含んでもよい。
【0087】
いくつかの実施例では、周辺機器インターフェース716、1つ以上のプロセッサ718、およびメモリコントローラ720は、処理システム704等の単一のチップ上に実装されてもよい。いくつかの他の実施例では、それらは、別個のチップ上に実装されてもよい。
【0088】
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、1つ以上の実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付される請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるものである。
【外国語明細書】