特許 6944098 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6944098

(24)【登録日】2021年9月14日

(45)【発行日】2021年10月6日

(54)【発明の名称】仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法

(51)【国際特許分類】

   G06F 8/34 20180101AFI20210927BHJP

   G06F 8/60 20180101ALI20210927BHJP

   G06F 11/36 20060101ALI20210927BHJP

   A63F 13/216 20140101ALI20210927BHJP

   A63F 13/53 20140101ALI20210927BHJP

   A63F 13/65 20140101ALI20210927BHJP

   G06T 19/00 20110101ALI20210927BHJP

   G06F 13/00 20060101ALI20210927BHJP

【ＦＩ】

   G06F8/34

   G06F8/60

   G06F11/36 164

   G06F11/36 196

   A63F13/216

   A63F13/53

   A63F13/65

   G06T19/00 600

   G06F13/00 650R

【請求項の数】16

【外国語出願】

【全頁数】24

(21)【出願番号】特願2019-96980(P2019-96980)

(22)【出願日】2019年5月23日

(65)【公開番号】特開2020-13550(P2020-13550A)

(43)【公開日】2020年1月23日

【審査請求日】2019年9月30日

(31)【優先権主張番号】62/676,072

(32)【優先日】2018年5月24日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】519186347

【氏名又は名称】ザ カラニー ホールディング エスエーアールエル

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100202751

【弁理士】

【氏名又は名称】岩堀 明代

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】セヴァト，イエルリ

【審査官】 久保 光宏

(56)【参考文献】

【文献】 特開２０１６−１１０２４５（ＪＰ，Ａ）

【文献】 国際公開第２０１６／０１７２５４（ＷＯ，Ａ１）

【文献】 特表２０１５−５０２５８４（ＪＰ，Ａ）

【文献】 国際公開第２０１８／０７４０００（ＷＯ，Ａ１）

【文献】 国際公開第２０１７／１４１３９１（ＷＯ，Ａ１）

【文献】 特開２０１４−１７６０１７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０３７９４１５（ＵＳ，Ａ１）

【文献】 「特集１ Eclipse/Subversion/Subclipse/Tracで[生産性を確実に上げる]チーム開発環境A to Z 第１章 SubversionとTracによるソフトウェア構成管理[概要編]」，WEB+DB PRESS，日本，(株)技術評論社，２００６年 ５月２５日，Vol.32, 初版，第１０〜１７頁，ISBN: 4-7741-2752-3

【文献】 橋本佳幸，「iOS位置情報プログラミング iBeacon/GeoFence/Navi/CoreMotion/M7の理解と実践」，日本，株式会社秀和システム，２０１４年 ３月 １日，第１版，第８２〜９４頁，ISBN: 978-4-7980-4070-7

【文献】 Micheal Lanham著，高橋憲一（外３名）訳，「UnityによるARゲーム開発 - 作りながら学ぶオーグメンテッドリアリティ入門」，日本，株式会社オライリー・ジャパン，２０１７年 ９月 １日，初版，第２４３〜２５１，２５７〜２６４頁，ISBN: 978-4-87311-810-9

【文献】 Jeffrey Richter（外１名）著，藤原雄介訳，「プログラミング Windows Runtime」，日本，日経ＢＰ社，２０１４年 ６月 ９日，初版，第２９１〜３００頁，ISBN: 978-4-8222-9831-9

【文献】 越智大介（外１名），「リアルタイム全天球映像配信システム」，ＮＴＴ技術ジャーナル，日本，一般社団法人電気通信協会，２０１５年 ４月 １日，Vol.27, No.4，第５１〜５４頁，ISSN:0915-2318

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ８／００−８／７７

Ｇ０６Ｆ１１／３６

Ａ６３Ｆ１３／００−１３／９８

Ｇ０６Ｔ１９／００

Ｇ０６Ｆ１３／００

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

デジタル現実アプリケーションの開発、試験および展開を容易にするためのシステムであって、前記システムは、
メモリおよび少なくとも１つのプロセッサを備える少なくとも１つのサーバであって、前記メモリは１つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも１つの仮想レプリカを含むパーシステント仮想世界システムを格納しており、前記仮想レプリカの仮想３Ｄ世界座標および仮想特性は前記実物体の３Ｄ世界座標および特性に基づいているサーバと、
ネットワークを介して前記サーバに接続されており、かつ前記パーシステント仮想世界システムにアクセスするように構成されている少なくとも１つのユーザ装置と、
を備え、
前記パーシステント仮想世界システムは、１人以上のユーザが実世界レイヤー、前記実世界レイヤーの上に構成された仮想世界レイヤーおよび前記仮想世界レイヤーの上に構成された１つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において前記１つ以上のデジタル現実アプリケーションを見て対話することができるように構成されており、
前記デジタル現実アプリケーションの開発、試験および展開を容易にするためのシステムは、前記少なくとも１つのユーザ装置の前記１つ以上のデジタル現実アプリケーションへの近接に基づいて前記１つ以上のデジタル現実アプリケーションを処理およびプロビジョニングするように構成されており、かつ前記プロビジョニングおよび処理はサーバベース、クライアントベースまたはそれらの組み合わせであり、
前記サーバは、複数のデジタル現実アプリケーションのメディアコンテンツを前記１人以上のユーザの視野または広視野において計算および合成し、かつ計算および合成されたメディアコンテンツを前記複数のデジタル現実アプリケーションに近接している前記少なくとも１つのユーザ装置に伝送するように構成されている、システム。

【請求項2】

前記メモリは、前記１つ以上のデジタル現実アプリケーションを開発するために前記パーシステント仮想世界システムへのアクセスを可能にするように構成されたアプリケーション開発環境モジュールと、１つ以上の開発されたデジタル現実アプリケーションを受信、管理および展開するために前記パーシステント仮想世界システムへのアクセスを可能にするように構成されたアプリケーション管理環境モジュールとをさらに格納する、請求項１に記載のシステム。

【請求項3】

前記アプリケーション開発環境モジュールは、前記パーシステント仮想世界システムを介した仮想現実における仮想世界の最終的な位置的もしくは地域的位置、および前記パーシステント仮想世界システムを介した拡張現実における実世界の最終的な位置的もしくは地域的位置で、開発空間において前記１つ以上のデジタル現実アプリケーションを試験するように構成された試験サブモジュールをさらに備え、かつ前記アプリケーション管理環境モジュールは、前記アプリケーション開発環境モジュールにより開発されて試験展開された前記１つ以上のデジタル現実アプリケーションを試験するように構成されたアプリケーション管理試験サブモジュールをさらに含む、請求項２に記載のシステム。

【請求項4】

前記アプリケーション開発環境モジュールは、前記パーシステント仮想世界システムに関する前記１つ以上のデジタル現実アプリケーションまたは前記１つ以上のデジタル現実アプリケーションレイヤーの位置的もしくは地域的位置および空間、時間および標的ユーザパラメータ設定を指定するように構成された設定サブモジュールをさらに含む、請求項２に記載のシステム。

【請求項5】

前記設定サブモジュールは、前記１つ以上のデジタル現実アプリケーションの適応的特性構成を可能にするようにさらに構成されている、請求項４に記載のシステム。

【請求項6】

前記設定サブモジュールは、１つ以上の位置的デジタル現実アプリケーションを、前記パーシステント仮想世界システムに存在している１つ以上の仮想レプリカまたは特定の仮想レプリカにリンクされていない前記パーシステント仮想世界システムの空の位置にアタッチするか、あるいは１つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていない前記パーシステント仮想世界システムの１つ以上の地理的領域にアタッチするようにさらに構成されている、請求項４に記載のシステム。

【請求項7】

前記１つ以上のデジタル現実アプリケーションは、前記１つ以上のデジタル現実アプリケーションに関連する仮想レプリカおよび純粋に仮想の物体を含む前記仮想世界レイヤーの複数の要素をフィルタリングして処理するように構成されている、請求項１に記載のシステム。

【請求項8】

前記パーシステント仮想世界システムは、互いとの間および対応する仮想レプリカを介した前記実世界レイヤーの要素との間での空間的構成、行動、計算的および論理的対話を可能にする１つ以上の仮想レプリカ、純粋に仮想の物体、仮想回廊、位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含む仮想３Ｄインフラを備える、請求項１に記載のシステム。

【請求項9】

デジタル現実アプリケーションの開発、試験および展開を容易にするための方法であって、前記方法は、
メモリおよび少なくとも１つのプロセッサを備える少なくとも１つのサーバによって、１つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも１つの仮想レプリカを含むパーシステント仮想世界システムを提供することであって、前記仮想レプリカの仮想３Ｄ世界座標および仮想特性は前記実物体の３Ｄ世界座標および特性に基づいていることと、
前記パーシステント仮想世界システムにアクセスしている少なくとも１つのユーザ装置からの入力を前記少なくとも１つのサーバによって受信することであって、前記少なくとも１つのユーザ装置はネットワークを介して前記少なくとも１つのサーバに接続されており、前記パーシステント仮想世界システムにより、１人以上のユーザが実世界レイヤー、前記実世界レイヤーの上に構成された仮想世界レイヤーおよび前記仮想世界レイヤーの上に構成された１つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において前記１つ以上のデジタル現実アプリケーションを見て対話することができることと、
を含み、
前記方法は、前記１つ以上のデジタル現実アプリケーションを処理およびプロビジョニングすることをさらに含み、かつ前記処理およびプロビジョニングは、前記少なくとも１つのユーザ装置の前記１つ以上のデジタル現実アプリケーションへの近接に基づいており、かつ前記プロビジョニングおよび処理はサーバベース、クライアントベースまたはそれらの組み合わせであり、
前記方法は、前記少なくとも１つのユーザ装置が複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスに近接している場合に、
前記複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスのメディアコンテンツを前記１人以上のユーザの視野または広視野において計算および合成することと、
計算および合成されたメディアコンテンツを前記少なくとも１つのユーザ装置に伝送することと、
をさらに含む、方法。

【請求項10】

前記入力は前記１つ以上のデジタル現実アプリケーションの開発に関連しており、かつ前記開発は、アプリケーション構成を設定すること、前記１つ以上のデジタル現実アプリケーションを開発空間において試験すること、および拡張および仮想現実の最終位置でさらなる試験を行うことを含む、請求項９に記載の方法。

【請求項11】

前記入力は前記１つ以上のデジタル現実アプリケーションの開発に関連しており、かつ前記開発は、前記メモリに格納されたアプリケーション開発環境モジュールにおいて行い、かつ前記１つ以上のデジタル現実アプリケーションの管理はアプリケーション管理環境モジュールで行う、請求項９に記載の方法。

【請求項12】

前記アプリケーション開発環境モジュールは、前記パーシステント仮想世界システムを
介した仮想現実における仮想世界の最終的な位置的もしくは地域的位置、および前記パーシステント仮想世界システムを介した拡張現実における実世界の最終的な位置的もしくは地域的位置で開発空間において前記１つ以上のデジタル現実アプリケーションを試験するように構成された試験サブモジュールを含み、かつ前記アプリケーション管理環境モジュールは、前記アプリケーション開発環境モジュールにより開発されて試験展開された前記１つ以上のデジタル現実アプリケーションを試験するように構成されたアプリケーション管理試験サブモジュールをさらに含む、請求項１１に記載の方法。

【請求項13】

前記アプリケーション開発環境モジュールは、前記パーシステント仮想世界システムに関する前記１つ以上のデジタル現実アプリケーションまたは前記１つ以上のデジタル現実アプリケーションレイヤーの位置的もしくは地域的位置および空間、時間および標的ユーザパラメータ設定を指定するように構成された設定サブモジュールを含む、請求項１１に記載の方法。

【請求項14】

前記設定サブモジュールは、前記１つ以上のデジタル現実アプリケーションを前記パーシステント仮想世界システムに存在している１つ以上の仮想レプリカまたは特定の仮想レプリカにリンクされていない前記パーシステント仮想世界システムの空の位置にアタッチするか、あるいは１つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていない前記パーシステント仮想世界システムの１つ以上の地理的領域にアタッチするように構成されている、請求項１３に記載の方法。

【請求項15】

前記少なくとも１つのサーバは、以下の行動：
前記１つ以上のデジタル現実アプリケーションをアプリケーション管理者と共有することと、
コンプライアンスのために前記１つ以上のデジタル現実アプリケーションを前記アプリケーション管理者によって試験することと、
前記１つ以上のデジタル現実アプリケーションを承認または拒絶することと、
必要があれば、アプリケーション調整要求をアプリケーション開発者に送信することと、
必要があれば前記１つ以上のデジタル現実アプリケーションを前記アプリケーション開発者によって調整することと、
前記アプリケーション管理者によって前記アプリケーション管理環境モジュールからの前記１つ以上のデジタル現実アプリケーションをオンラインアプリケーションライブラリに展開することと、
を容易にするためのソフトウェアツールを実行する、請求項１１に記載の方法。

【請求項16】

メモリおよび少なくとも１つのプロセッサを備えるサーバコンピュータシステムにデジタル現実アプリケーションの開発、試験および展開を容易にするための方法を実行させるように構成された命令がその上に格納されている１つ以上の非一時的コンピュータ可読媒体であって、前記方法は、
１つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも１つの仮想レプリカを含むパーシステント仮想世界システムを提供する工程であって、前記仮想レプリカの仮想３Ｄ世界座標および仮想特性は前記実物体の３Ｄ世界座標および特性に基づいている工程と、
前記パーシステント仮想世界システムにアクセスしている少なくとも１つのユーザ装置からの入力を受信する工程であって、前記少なくとも１つのユーザ装置はネットワークを介して前記少なくとも１つのサーバに接続されており、かつ前記パーシステント仮想世界システムにより、１人以上のユーザが実世界レイヤー、前記実世界レイヤーの上に構成された仮想世界レイヤーおよび前記仮想世界レイヤーの上に構成された１つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において前記１つ以上のデジタル現実アプリケーションを見て対話することができる工程と、
を含み、
前記方法は、前記１つ以上のデジタル現実アプリケーションを処理およびプロビジョニングすることをさらに含み、かつ前記処理およびプロビジョニングは、前記少なくとも１つのユーザ装置の前記１つ以上のデジタル現実アプリケーションへの近接に基づいており、かつ前記プロビジョニングおよび処理はサーバベース、クライアントベースまたはそれらの組み合わせであり、
前記方法は、前記少なくとも１つのユーザ装置が複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスに近接している場合に、
前記複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスのメディアコンテンツを前記１人以上のユーザの視野または広視野において計算および合成することと、
計算および合成されたメディアコンテンツを前記少なくとも１つのユーザ装置に伝送することと、
をさらに含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は一般にコンピュータシステムに関し、より具体的には、パーシステント仮想世界システムを介して１つ以上のデジタル現実アプリケーションを開発および試験して実世界または仮想世界の中に展開するためのシステムおよび方法に関する。

【背景技術】

【0002】

デジタル現実アプリケーションコンテンツをユーザに提供するための技術開発は、過去に可能でなかった体験を可能にした。特に拡張現実（ＡＲ）、仮想現実（ＶＲ）および複合現実（ＭＲ）などのデジタル現実はユーザが何を見て聞いて感じているか、および実世界がどれだけこれらの体験の中に入り込んでいるかに関してユーザの知覚を変化させ、ユーザに実世界または想像世界の中の場所に物理的に存在しているという感覚を与える。

【0003】

デジタル現実アプリケーションの開発、試験および展開は計算集約的である場合がある。さらに、デジタル現実環境の可変的性質は、デジタル現実アプリケーションを創出する際に開発者に難題をもたらす。望まれているものは、あまり計算集約的な方法でなく、かつ一体化エコシステムにおけるデジタル現実アプリケーションの開発、展開および動作を容易にするためのシステムおよび方法である。

【発明の概要】

【0004】

本概要は、以下の発明を実施するための形態においてさらに説明されている単純化された形態での選択された概念を紹介するために提供されている。本概要は特許請求されている主題の重要な特徴を特定するためのものでもなければ、特許請求されている主題の範囲を決定するのを支援するものとして使用されるものでもない。

【0005】

背景技術に記載されている欠点は、パーシステント仮想世界システムを介したデジタル現実アプリケーションの一体化された開発、試験および実世界における展開を可能にするシステムおよび方法により本開示によって対処される。

【0006】

位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含むデジタル現実アプリケーションを開発、試験および展開するためのシステムは、メモリおよび少なくとも１つのプロセッサを備える少なくとも１つのサーバであって、メモリは対応する実物体の少なくとも１つの仮想レプリカを含むパーシステント仮想世界システムを格納しており、仮想レプリカの仮想３Ｄ世界座標および仮想特性は実物体の３Ｄ世界座標および特性に基づいているサーバと、ネットワークを介してサーバに接続されており、かつパーシステント仮想世界システムにアクセスするように構成されている少なくとも１つのユーザ装置とを備え、１人以上のユーザは、実世界レイヤー、実世界レイヤーの上に構成された仮想世界レイヤー、および仮想世界レイヤーの上に構成された１つ以上のデジタル現実アプリケーションレイヤーからなる融合現実（ｍｅｒｇｅｄ ｒｅａｌｉｔｙ）において１つ以上のデジタル現実アプリケーションを見て対話する。

【0007】

本開示では、デジタル現実アプリケーションは、位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含んでもよい。位置的デジタル現実アプリケーションは、３Ｄ位置および向きを含む１つ以上の所定かつ正確な３Ｄ世界位置にパーシステント仮想世界システムを介して構成されており、かつ３Ｄ世界位置の複数のインスタンスを有することができる。地域的デジタル現実アプリケーションサービスは、１つ以上の位置的デジタル現実アプリケーションを包含する１つ以上の所定の地理的領域において永続的に利用可能なアプリケーションサービスを指し、ここでは、それらのサービスはそれらの領域内にいるかそれらに近接しているユーザに、１つ以上の位置的デジタル現実アプリケーションに関するそれぞれのアプリケーションサービスを提供することができる。位置的デジタル現実アプリケーションおよび地域的デジタル現実アプリケーションサービスは、１つ以上のデジタル現実アプリケーションレイヤーの上に構成されている。

【0008】

サーバのメモリは、アプリケーション開発者が仮想世界システムにアクセスして１つ以上のデジタル現実アプリケーションを開発することができるように構成されたアプリケーション開発環境モジュールと、アプリケーション管理者がパーシステント仮想世界システムにアクセスして１つ以上のデジタル現実アプリケーションを受信、管理および展開することができるように構成されたアプリケーション管理環境モジュールとをさらに格納する。

【0009】

いくつかの実施形態では、少なくとも１つのサーバは、分散された計算能力を実装し得るクラウド・エッジ間インフラストラクチャ（ｃｌｏｕｄ−ｔｏ−ｅｄｇｅ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）を使用してもよく、企業システム、モバイルプラットフォームおよび／またはユーザ装置などのパブリックもしくはプライベートクラウド、クラウドレットおよびエッジシステムを用いる。いくつかの実施形態では、デジタル現実アプリケーションの処理およびプロビジョニングは、少なくとも１つのユーザ装置の少なくとも１つのデジタル現実アプリケーションへの近接に基づいている。さらなる実施形態では、処理およびプロビジョニングは、サーバベース、クライアントベースまたはそれらの組み合わせである。さらなる実施形態では、少なくとも１つのユーザ装置が複数のデジタル現実アプリケーションに近接している場合、サーバは、複数のアプリケーションのメディアコンテンツを１人以上のユーザの視野または広視野において計算および合成し、かつ合成されたメディアコンテンツをユーザ装置に伝送するのを続行してもよい。

【0010】

一実施形態によれば、パーシステント仮想世界システムは、互いとの間およびそれらの対応する仮想レプリカを介した実世界レイヤーの要素との間の空間的構成、行動、計算的および論理的対話を可能にする、１つ以上の仮想レプリカ、純粋に仮想の物体、仮想回廊、位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含む仮想３Ｄインフラを備える。

【0011】

一実施形態によれば、展開の間のアプリケーションの公開は、ユーザによる関与の間にパーシステントレイヤである１つ以上のデジタル現実アプリケーションレイヤー上で行われるが、１つ以上の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスは、特定の１つ以上の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスに関連する仮想レプリカおよび純粋に仮想の物体を含む仮想世界レイヤーの複数の要素をフィルタリングして処理することができる。

【0012】

いくつかの実施形態では、アプリケーション開発環境モジュールは、サブモジュールの開発、設定および試験を含む。これらのサブモジュールは、アプリケーション開発者が１つ以上のデジタル現実アプリケーションまたはデジタル現実アプリケーションレイヤーを途切れなく開発、試験および構成することができるように構成されており、これは、１つ以上のデジタル現実アプリケーションまたはデジタル現実アプリケーションレイヤーのための３Ｄ位置決めおよび縮尺調整、時間設定や標的ユーザパラメータを含むコンテンツ、位置的もしくは地域的位置および空間設定を調整することを含む。位置および空間設定サブモジュールでは、デジタル現実アプリケーションは、将来の展開後にユーザがそれらを対話のために見つけることができる仮想世界レイヤーの上の１つ以上のデジタル現実アプリケーションレイヤーの上に位置決めされている。１つ以上のデジタル現実アプリケーションを開発、構成および試験したら、アプリケーション開発者は１つ以上のデジタル現実アプリケーションをアプリケーション管理環境モジュールを介してアプリケーション管理者と共有するのを続行してもよい。

【0013】

アプリケーション管理環境モジュールは、１つ以上の共有されるデジタル現実アプリケーション、アプリケーション管理試験サブモジュール、ルールベースアプリケーション評価サブモジュール、アプリケーション展開サブモジュールおよびオンラインアプリケーションライブラリを含む。アプリケーション管理環境モジュールでは、アプリケーション管理者はアプリケーション管理試験サブモジュールによりデジタル現実アプリケーションを試験してもよい。アプリケーション試験サブモジュールによりアプリケーションを試験した後であって、ルールベースアプリケーション評価サブモジュールによりアプリケーションの適合性を評価した後に、アプリケーション管理者は、１つ以上のデジタル現実アプリケーションが調整を必要としていることを決定してもよい。従ってアプリケーション管理者は調整要求をアプリケーション開発者に送信してもよい。その後にアプリケーション開発者は１つ以上のデジタル現実アプリケーションを調整してもよく、それが承認されたら、アプリケーション管理者は、アプリケーション展開サブモジュールによりエンドユーザとの対話のために１つ以上のデジタル現実アプリケーションをオンラインアプリケーションライブラリの中に展開および試験展開してもよい。展開された１つ以上のデジタル現実アプリケーションは、アプリケーション開発者によって前もって設定され、かつアプリケーション管理者によって承認された構成を含む。言い換えると、展開されたアプリケーションは、３Ｄ位置決めおよび縮尺調整、時間設定と１つ以上のデジタル現実アプリケーションのために定められた標的ユーザパラメータとを含むコンテンツ、実および／または仮想位置および空間の設定を含む。ユーザはネットワークを介してサーバに接続された装置を介してデジタル現実アプリケーションと対話してもよく、ここでは、サーバはユーザのためにデジタル現実アプリケーションコンテンツを保守点検、ストリーミング、配信、計算および／またはレンダリングしてもよい。

【0014】

１つ以上のデジタル現実アプリケーションは、サーバのメモリに格納されたパーシステント仮想世界システムを介して実世界の中に構成されてもよい。パーシステント仮想世界システムは本開示では、実世界の仮想レプリカの設定の中に組み込まれる緯線方向および長手方向の位置および向きデータを含む実物体の３Ｄ位置、向きおよび縮尺などの実世界座標を含む仮想化バージョンの実世界を指す。パーシステント仮想世界システムは、各実体（例えば、建物、森林、人々など）が実世界データに基づいてモデル化されている実在のモデルに従った詳細な世界地図を含むことができるが、実世界データに基づいていない仮想物体を含んでもよい。従って、１つ以上の位置的デジタル現実アプリケーションを構成する場合、アプリケーション開発者は、デジタル現実アプリケーションを既存の仮想レプリカの拡張部分として見ることができるように、デジタル現実アプリケーションをパーシステント仮想世界システムに存在している１つ以上の仮想レプリカにアタッチしてもよい。但し他の実施形態では、位置的デジタル現実アプリケーションは特定の仮想レプリカにアタッチされることなくパーシステント仮想世界システムの位置にアタッチされていてもよいが、パーシステント仮想世界システム内の他の仮想レプリカに対して位置決めされている。他の実施形態では、地域的デジタル現実アプリケーションサービスは、特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの１つ以上の地理的領域にアタッチされていてもよい。従って、パーシステント仮想世界システムを参照として用いてデジタル現実アプリケーションを開発、試験、評価および展開することにより、アプリケーション開発者、管理者およびエンドユーザに当該世界が開発空間であるという感覚を与えることができる。

【0015】

一実施形態によれば、デジタル現実アプリケーションの開発、試験および実世界の中へ展開を容易にする方法は、メモリおよび少なくとも１つのプロセッサを備える少なくとも１つのサーバによって、１つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも１つの仮想レプリカを含むパーシステント仮想世界システムを提供する工程であって、仮想レプリカの仮想３Ｄ世界座標および仮想特性は実物体の３Ｄ世界座標および特性に基づいている工程と、パーシステント仮想世界システムにアクセスしている少なくとも１つのユーザ装置からの入力を少なくとも１つのサーバによって受信する工程とを含む。少なくとも１つのユーザ装置はネットワークを介して少なくとも１つのサーバに接続されている。パーシステント仮想世界システムにより、１人以上のユーザが実世界レイヤー、実世界レイヤーの上に構成された仮想世界レイヤー、および仮想世界レイヤーの上に構成された１つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において１つ以上のデジタル現実アプリケーションを見て対話することができる。

【0016】

いくつかの実施形態では、上記入力は、１つ以上のデジタル現実アプリケーションの開発に関連していてもよい。そのような場合、少なくとも１つのサーバは、アプリケーション開発者によってアプリケーション開発環境モジュールにより１つ以上のデジタル現実アプリケーションを開発し、アプリケーション開発者によってデジタル現実アプリケーションをアプリケーション管理環境モジュールと共有し、アプリケーション管理者によってアプリケーション管理環境モジュールによりコンプライアンス評価のためにデジタル現実アプリケーションを試験し、アプリケーション管理者によってアプリケーション管理環境モジュールによりデジタル現実アプリケーションを承認／拒絶し、必要な場合に、アプリケーション開発環境モジュールにアプリケーション調整要求を送信し、アプリケーション開発者によってアプリケーション開発環境モジュールによりアプリケーションを調整し、かつデジタル現実アプリケーションがアプリケーション管理者コンプライアンスパラメータに準拠したらアプリケーション管理者によってオンラインアプリケーションライブラリの中にデジタル現実アプリケーションを展開および試験展開するさらなる工程を容易にしてもよい。

【0017】

一実施形態によれば、アプリケーション開発環境モジュールにより１つ以上のデジタル現実アプリケーションを開発する工程は、アプリケーション開発者によってアプリケーションの構成（例えば、特に位置、時間および標的ユーザパラメータ）を設定すること、アプリケーション開発者によってデジタル現実アプリケーションをアプリケーション開発空間において試験すること、およびアプリケーション開発者によって仮想現実における仮想世界の最終的な位置的もしくは地域的位置および拡張現実における実世界の最終的な位置的もしくは地域的位置でさらなる試験を行うことをさらに含む。

【0018】

１つ以上のデジタル現実アプリケーションが位置決めおよび展開される本開示のアプリケーションライブラリは、実世界レイヤーの上に構成されたパーシステント仮想世界システムの仮想世界レイヤーの上に構成されたデジタル現実アプリケーションレイヤーとみなしてもよい。仮想世界レイヤーは、１つ以上の仮想レプリカおよび純粋に仮想の物体を含む。このレイヤーのセットは融合現実を形成し、ここではユーザ装置を用いるユーザは、拡張現実、仮想現実またはそれらの組み合わせの中でデジタル現実アプリケーションおよび少なくともいくつかの仮想レプリカを見て対話してもよい。実世界の実物体の全てまたは大部分はパーシステント仮想世界システムの中にマップまたは仮想化されているので、パーシステント仮想世界システムの領域に位置しているユーザは、実世界が、実世界のいくつかの部分に構成されたデジタル現実アプリケーションを有するアプリケーションライブラリであるという感覚を有し得る。

【0019】

上記発明の概要は、本開示の全ての態様の網羅的なリストを含んでいない。本開示は上に要約されている各種態様の全ての好適な組み合わせ、ならびに以下の発明を実施するための形態に開示されているもの、特に本出願と共に出願されている特許請求の範囲に示されているものに基づいて実施することができる全てのシステムおよび方法を含むものと想定される。そのような組み合わせは上記発明の概要に具体的には列挙されていない特定の利点を有する。本開示の他の特徴および利点は、添付の図面および以下に続く発明を実施するための形態から明らかになるであろう。

【0020】

上記態様および本開示の付随する利点の多くは、添付の図面と共に解釈される場合に、以下の発明を実施するための形態を参照することによってより良好に理解されるので、より容易に理解されるようになるであろう。

【図面の簡単な説明】

【0021】

【図1】一実施形態に係る、パーシステント仮想世界システムを介して１つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するためのシステムの図を描写している。

【図2】一実施形態に係る、パーシステント仮想世界システムを介して１つ以上のデジタル現実アプリケーションを開発して実世界の中に試験するためのアプリケーション開発環境モジュールの図を描写している。

【図3】一実施形態に係る、パーシステント仮想世界システムを介して１つ以上のデジタル現実アプリケーションのコンプライアンス試験および実世界の中への展開を可能にするアプリケーション管理環境モジュールの図を描写している。

【図4A】パーシステント仮想世界システムを介して１つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するためのシステムの概略図を描写しており、ここでは仮想世界システムおよび実世界は、１つ以上のデジタル現実アプリケーションの展開を可能にする融合現実にマージされている。

【図4B】パーシステント仮想世界システムを介して１つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するためのシステムの概略図を描写しており、ここでは仮想世界システムおよび実世界は、１つ以上のデジタル現実アプリケーションの展開を可能にする融合現実にマージされている。

【図5】一実施形態に係る、本開示の１つ以上のデジタル現実アプリケーションを開発、試験および展開するために使用することができるユーザ装置の図を描写している。

【図6】パーシステント仮想世界システムを介して１つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するための方法のブロック図を描写している。

【発明を実施するための形態】

【0022】

以下の説明では、様々な実施形態を例示として示す図面を参照する。また、様々な実施形態をいくつかの例を参照することによって以下に説明する。当然のことながら当該実施形態は、特許請求されている主題の範囲から逸脱することなく設計および構造における変化を含んでもよい。

【0023】

図１は、一実施形態に係る、パーシステント仮想世界システムを介して位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含む１つ以上のデジタル現実アプリケーションを開発および試験して実世界の中に展開させるために使用することができるシステム１００を描写している。

【0024】

システム１００は、メモリ１０４および少なくとも１つのプロセッサ１０６を備える少なくとも１つのサーバ１０２であって、メモリ１０４は１つ以上のデジタル現実アプリケーションおよび対応する実物体（図示せず）の少なくとも１つの仮想レプリカ１１０（例えば仮想レプリカＡ〜Ｎ）を含むパーシステント仮想世界システム１０８を格納し、仮想レプリカ１１０の仮想３Ｄ世界座標および仮想特性は実物体の３Ｄ世界座標および特性に基づいているサーバ１０２と、ユーザ１１４（例えば、アプリケーション開発者）がパーシステント仮想世界システム１０８にアクセスし、かつ１つ以上のデジタル現実アプリケーション１１６を開発することができるように構成されたアプリケーション開発環境モジュール１１２と、ユーザ１１４（例えばアプリケーション管理者）がアプリケーション開発環境モジュール１１２により創出された１つ以上のデジタル現実アプリケーション１１６を管理することができるように構成されたアプリケーション管理環境モジュール１１８とを備えていてもよい。ユーザ１１４は自身の権利に応じて、ネットワーク１２２を介して接続されたユーザ装置１２０を介してパーシステント仮想世界システム１０８、アプリケーション開発環境モジュール１１２およびアプリケーション管理環境モジュール１１８のうちの１つ以上にアクセスしてもよい。少なくとも１つのプロセッサ１０６は、仮想レプリカ１１０およびデジタル現実アプリケーション１１６のデータに対して命令を実行するように構成されている。いくつかの実施形態では、パーシステント仮想世界システム１０８は、以下でさらに詳細に説明するように、ユーザが、実世界レイヤー、実世界レイヤーの上に構成された仮想世界レイヤーおよび仮想世界レイヤーの上に構成された１つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において、デジタル現実アプリケーション１０６を見て対話することができるように構成されている。

【0025】

本開示では「パーシステント」という用語は、連続的に実行するプロセスまたはネットワーク接続なしに存在し続けることができるシステムの状態を特徴づけるために使用される。例えば「パーシステント」という用語は、仮想世界システムおよびその中に含まれる仮想レプリカ、純粋に仮想の物体およびデジタル現実アプリケーションの全てが、仮想レプリカ、純粋に仮想の物体およびデジタル現実アプリケーションを創出するために使用されるプロセスが停止した後にユーザが仮想世界システムに接続されているかに関わらず存在し続ける仮想世界システムを特徴づけるために使用されてもよい。従って仮想世界システムはサーバ内の不揮発性記憶位置に保存されている。このように、仮想レプリカ、純粋に仮想の物体およびデジタル現実アプリケーションは、ユーザがサーバに接続されていないとしても特定の目標を達成するために構成されている場合は互いに対話および共同することができる。

【0026】

アプリケーション開発環境モジュール１１２は、１人以上のアプリケーション開発者などの１人以上のユーザ１１４が一緒または別々に、仮想世界システム１０８を介して接続して１つ以上のデジタル現実アプリケーションを開発、創出および試験し、かつ１つ以上のデジタル現実アプリケーション１１６をアプリケーション管理環境モジュール１１８と共有するのを可能にするように構成されている。アプリケーション管理環境モジュール１１８は、アプリケーション管理者などの１人以上のユーザ１１４が、デジタル現実アプリケーション１１６のコンプライアンス試験、ユーザ装置１２０を介してエンドユーザによってアクセスすることができるオンラインアプリケーションライブラリの中への展開および試験展開を可能にするように構成されている。

【0027】

いくつかの実施形態では、デジタル現実アプリケーション１１６を展開および試験展開したら、パーシステント仮想世界システム１０８に存在している仮想レプリカ１１０にアタッチしてもよく、これはデジタル現実アプリケーション１１６のうちのいくつかが少なくとも１つの仮想レプリカ１１０の方を向いている矢印によって図１に表すことができる。従って、１つ以上のデジタル現実アプリケーション１１６を仮想レプリカ１１０と同じ位置に構成してもよく、かつ既存の仮想レプリカ１１０の拡張部分とみなしてもよい。但し他の実施形態では、１つ以上のデジタル現実アプリケーション１１６を特定の仮想レプリカ１１０にアタッチすることなくパーシステント仮想世界システム１０８の位置にアタッチしてもよい。他の実施形態では、１つ以上のデジタル現実アプリケーション１１６の１つ以上の地域的デジタル現実アプリケーションサービスの領域を指定することは、１つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていないパーシステント仮想世界システム１０８の１つ以上の地理的領域にアタッチすることを含む。

【0028】

パーシステント仮想世界システム１０８内の仮想レプリカ１１０は、仮想レプリカ１１０の基となる実物体のそれぞれの形状、位置、位置決めおよび向き、他の特性（例えば、物理的および論理的特性）ならびに予測される機能的およびシステム的影響（例えば、エネルギ消費、交通現象、炭素排出など）に基づいて開発することができる。従って、例えば仮想レプリカ１１０は、これらの特性のそれぞれを構成するのを可能にし得る各仮想レプリカ１１０のデータおよび命令を入力するように構成されたレプリカエディタ（図示せず）に含まれているソフトウェアモジュールおよびツールにより入力されるデータおよび命令を含んでもよい。但し仮想レプリカ１１０は、純粋に仮想の物体などの実生活に存在していない物体を表してもよい。純粋に仮想の物体を表すこれらの仮想レプリカ１１０は実物体の位置に対して位置決めすることもでき、かつデジタル現実アプリケーション１１６がその上にアタッチされていてもよい。

【0029】

いくつかの実施形態では、仮想レプリカは、ＳＬＡＭまたは派生物マッピングベースのデータなどの３Ｄ世界および建物データ、３Ｄジオメトリデータ、３Ｄポイントクラウドデータ、またはデジタル現実アプリケーションのために３Ｄ構造をモデル化するのに役立ち得る実世界の構造特性を表す地理的情報システムデータのうちの１つ以上を含む。

【0030】

パーシステント仮想世界システム１０８は、仮想レプリカ１１０の設定の中に組み込まれる緯線方向および長手方向の位置および向きデータを含む、実物体の３Ｄ位置、向きおよび縮尺などの実世界座標を含む仮想化バージョンの実世界である。パーシステント仮想世界システム１０８は、各実体（例えば、建物、森林、人々など）が実世界データに基づいてモデル化されている実在のモデルに従った詳細な世界地図を含むことができるが、これは実世界データに基づいていない仮想物体を含んでもよい。実世界物体を仮想レプリカ１１０に変換するためのモデル化技術は、当該技術分野で知られている技術に基づいていてもよい。一実施形態では、仮想レプリカ１１０は実世界要素の容易に利用可能なコンピュータ支援設計（ＣＡＤ）モデルに基づいてモデル化されていてもよい。例えば、機械所有者は、自身の機械の既に存在しているデジタルＣＡＤモデルを提供してもよい。同様に、建物所有者または政府当局は、施設の物理的および機能的特性のデジタル表示である建物情報モデル（ＢＩＭ）を提供し、かつそれらをパーシステント仮想世界システム１０８に格納してもよい。他の実施形態では、仮想レプリカは、様々な写真、ビデオ、深度の同時位置特定およびマッピング（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）スキャンにより入力される車またはドローンを用いた画像スキャンパイプラインによりモデル化されてもよい。他の実施形態では、合成開口レーダ、実開口レーダ、光検出と測距（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、逆合成開口レーダ、モノパルスレーダなどのレーダイメージングおよび他の種類のイメージング技術を使用して、実世界要素をマップおよびモデル化した後にそれらをパーシステント仮想世界システム１０８の中に一体化させてもよい。レーダイメージング解決法は、特に構造物の元のモデルが利用可能でない場合または欠損している情報が存在するかさらなる情報をＣＡＤモデルによって提供されない仮想世界実体に追加する必要がある場合に実施してもよい。

【0031】

一実施形態によれば、デジタル現実アプリケーション１１６によって提供されるデジタルコンテンツは、画像データ、３Ｄジオメトリ、ビデオデータ、音声データ、触覚データ、テキストデータまたはそれらの組み合わせのうちの少なくとも１つを含んでもよい。少なくとも１つのユーザ１１４に提供されるデジタルコンテンツの１つ以上の部分は、拡張現実（ＡＲ）、仮想現実（ＶＲ）デジタルコンテンツまたはそれらの組み合わせを含んでいてもよい。ユーザ１１４がデジタルコンテンツをＡＲデジタルコンテンツとして見る場合、ＡＲデジタルコンテンツは音、ビデオ、グラフィックスまたはＧＰＳデータなどのコンピュータによって生成される感覚入力によって拡張された実世界環境要素を含む。実世界における追加の情報または仮想物体をオーバーレイすることなどの拡張技術は典型的に、リアルタイムで環境要素を含むセマンティックコンテキストにおいて行われる。ＡＲデジタルコンテンツにより、ユーザ１１４の実世界の周りに関する情報または実世界における仮想物体オーバーレイを対話型およびデジタル対話型になるようにすることができる。ユーザ１１４がデジタルコンテンツをＶＲデジタルコンテンツとして見る場合、ＶＲデジタルコンテンツは、実世界をシミュレートされたものと置き換えるために使用される仮想の要素を含んでもよい。

【0032】

少なくとも１つのサーバ１０２は、ユーザ１１４との対話のために１つ以上のデジタル現実アプリケーション１１６からのデジタルコンテンツを保守点検、配信、計算、ストリーミングおよび／またはレンダリングするなどの重い負荷アプリケーションを実行するのに十分な計算リソースを提供してもよい。好ましい実施形態では、サーバ１０２の計算環境は、クラウドサーバなどにおいてアプリケーション間でＣＰＵ、メモリおよび記憶装置などのリソースを共有する抽象化された仮想化インフラ上で実行される。クラウドコンピューティングネットワークを用いた計算能力、コンピュータインフラ（例えば、サービスとしてのいわゆるインフラ、すなわちＩａａＳを介して）、アプリケーションおよびビジネスプロセスへのアクセスは、要求に応じてユーザ１１４へのサービスとして提供することができる。

【0033】

いくつかの実施形態では、少なくとも１つのデジタル現実アプリケーション１１６の処理およびプロビジョニングは、１つ以上のユーザ装置１２０の少なくとも１つのデジタル現実アプリケーション１１６への近接に基づいている。いくつかの実施形態では、少なくとも１つのデジタル現実アプリケーション１１６の処理およびプロビジョニングは、サーバベース、クライアントベースまたはそれらの組み合わせである。サーバベースの処理およびプロビジョニングの実施形態では、ユーザ１１４によって用いられる１つ以上のユーザ装置１２０が少なくとも１つのデジタル現実アプリケーション１１６に近接している場合、少なくとも１つのデジタル現実アプリケーション１１６の処理の大部分および任意にレンダリングは、少なくとも１つのサーバ１０２の少なくとも１つのプロセッサ１０６によって行われる。従って、１つ以上のユーザ装置１２０が少なくとも１つのデジタル現実アプリケーション１１６に近接している場合、サーバ１０２の少なくとも１つのプロセッサ１０６は、１つ以上のデジタル現実アプリケーションメディアコンテンツを地理空間的に（すなわち、ユーザ装置１２０を用いるユーザ１１４の現在の実もしくは仮想位置および向きに基づいて）処理し、任意にレンダリングし、かつユーザ装置１２０による出力のためにユーザ１１４に伝送し、軽い動作および計算のみをユーザ装置１２０によって行われるままにしてもよい。クライアントベースの処理およびプロビジョニングの実施形態では、ユーザ１１４が少なくとも１つのデジタル現実アプリケーション１１６に近接している場合、サーバ１０２はユーザ装置１２０による局所的処理および実行のために１つ以上のデジタル現実アプリケーションを伝送するのを続行してもよい。

【0034】

他の実施形態では、ユーザ１１４によって用いられる１つ以上のユーザ装置１２０が１人以上のユーザ１１４の視野（例えば最大９０°）または広視野（例えば、１２０°、１８０°またはさらには３６０°などの９０°超）において１つ以上のデジタル現実アプリケーション１１６の複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスに近接している場合、サーバ１０２は、１つ以上のデジタル現実アプリケーション１１６の複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスのメディアコンテンツを１人以上のユーザ１１４の視野または広視野において計算および合成し、かつそれらの合成されたメディアコンテンツをユーザ装置１２０に伝送するのを続行することができる。

【0035】

いくつかの実施形態では、少なくとも１つのサーバ１０２は分散された計算能力を実装し得るクラウド・エッジ間インフラストラクチャを使用してもよく、これは企業システム、モバイルプラットフォームおよびユーザ装置などのパブリックもしくはプライベートクラウド、クラウドレットおよびエッジシステムを用いることを含む。このように、物理的なサーバおよびネットワーク機器を含むリソースは、ユーザのリソースまでの距離ならびにユーザからのネットワークおよび計算要求などの因子に応じて動的に割り当てられ得る共有される記憶および計算を可能にする。

【0036】

一実施形態では、ハードウェアおよびネットワーク要求を減らし、ネットワークレイテンシの減少に寄与し、かつ一般的なデジタル現実体験を向上させるために、デジタル現実エコシステムは、第５世代無線システム通信（５Ｇ）などのミリ波（ｍｍＷ）またはｍｍＷとサブ６ＧＨｚ通信システムとの組み合わせを含むネットワーク１２２を介して接続してもよい。他の実施形態では、本システムは好ましくは１６ＧＨｚでデータを提供する無線ローカルエリアネットワーキング（Ｗｉ−Ｆｉ）を介して接続してもよい。提供される通信システムは、典型的には高対話型デジタル現実アプリケーションを実行するために必要なパラメータに準拠している約１〜約５ミリ秒のエンドツーエンド（Ｅ２Ｅ）レイテンシおよびその現場内のエンドポイントまでの１〜１０Ｇｂｐｓのダウンリンク速度を可能にしてもよい。これにより高品質、低レイテンシ、リアルタイムのデジタルアプリケーションコンテンツストリーミングが得られる。他の実施形態では、デジタル現実エコシステムは、第４世代無線システム通信（４Ｇ）を介して通信可能に接続してもよく、４Ｇ通信システムによってサポートされてもよく、あるいは他の有線もしくは無線通信システムを備えていてもよい。

【0037】

ユーザ装置１２０としては、例えば、携帯電話、スマートフォン、スマートコンタクトレンズ、ヘッドアップディスプレイ、ＰＤＡ（携帯情報端末）、ハンドヘルドゲーム装置、携帯型メディアプレーヤ、パーソナルコンピュータ、ゲームコンソール、メディアセンターまたはデジタル現実と対話するために特に設計された装置（例えば、ＶＲ／ＡＲ／ＭＲメガネ、ＶＲ／ＡＲ／ＭＲコンタクトレンズなど）などが挙げられる。

【0038】

いくつかの実施形態では、デジタルコンテンツとのユーザの対話はジェスチャにより可能になってもよく、この場合、ユーザ１１４がユーザ装置１２０を介した対話のために１つ以上のジェスチャを用いる。例えばジェスチャはナチュラルユーザインタフェース（ＮＵＩ）ジェスチャであってもよい。ＮＵＩは、ユーザ１１４がマウス、キーボード、遠隔制御などの入力装置によって課される人工拘束なしに装置と自然に対話するのを可能にする任意のインタフェース技術として定めてもよい。ＮＵＩ方法の例としては、音声認識、タッチ認識、顔認識、スタイラス認識、エアジェスチャ（ａｉｒ ｇｅｓｔｕｒｅ）（例えば、手のポーズや動きおよび他の体／手足の動き／ポーズ）、頭および視線追跡、発声および発話などの触覚型および非触覚型インタフェースなどのジェスチャを用いる方法ならびに例えば視覚、音声、声、ポーズおよび／またはタッチデータに関する機械学習が挙げられる。

【0039】

図２は、一実施形態に係る、パーシステント仮想世界システムを介してデジタル現実アプリケーション１１６を開発、試験および実世界の中に展開するために使用し得るアプリケーション開発環境モジュール１１２を描写している。図２のいくつかの要素は図１の要素と同様である場合があり、従って、それらの要素を特定するために同様もしくは同一の符号が使用されている場合がある。アプリケーション開発環境モジュール１１２は、開発サブモジュール２０２、設定サブモジュール２０４および試験サブモジュール２０６を含む。

【0040】

開発サブモジュール２０２は、１人以上のアプリケーション開発者２０８が１つ以上のデジタル現実アプリケーション１１６を開発するのを可能にするように構成されている。開発サブモジュール２０２は、１つ以上のデジタル現実アプリケーション１１６を作成するために、リアルタイム３Ｄゲームエンジンソフトウェア開発キット（ＳＤＫ）などのアプリケーション開発ツール２１０を含む。設定サブモジュール２０４は、１人以上のアプリケーション開発者２０８がデジタル現実アプリケーション１１６の好適な展開のために必要な各種特徴を設定することができるように構成されている。設定サブモジュール２０４は、位置および空間設定２１２、時間設定２１４および標的ユーザパラメータ設定２１６を含んでもよい。

【0041】

位置および空間設定２１２は、少なくとも１つのデジタル現実アプリケーション１１６の相対的３次元位置および縮尺調整を含む、少なくとも１つのデジタル現実アプリケーション１１６がエンドユーザに利用可能になり得る１つ以上の位置的もしくは地域的位置を定めることが可能になるように構成されている。従って、１つ以上のデジタル現実アプリケーション１１６は、ユーザが対話のためにそれらを見つけることができる実世界を表すパーシステント仮想世界システム上の１つ以上のデジタル現実アプリケーションレイヤーの上に位置決めされている。

【0042】

いくつかの実施形態では、位置および空間設定２１２により１つ以上の位置的デジタル現実アプリケーションの位置および空間を指定することは、１つ以上の位置的デジタル現実アプリケーションをパーシステント仮想世界システムに存在している１つ以上の仮想レプリカにアタッチすることを含む。他の実施形態では、位置および空間設定２１２により１つ以上の位置的デジタル現実アプリケーションの位置および空間を指定することは、１つ以上のデジタル現実アプリケーションを特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの空の位置にアタッチすることを含む。他の実施形態では、位置および空間設定２１２により１つ以上のデジタル現実アプリケーションサービスの領域を指定することは、１つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの１つ以上の地理的領域にアタッチすることを含む。例えば設定サブモジュール２０４は、１つ以上の位置的デジタル現実アプリケーションを、パーシステント仮想世界システムに存在している１つ以上の仮想レプリカまたは特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの空の位置にアタッチするか、あるいは１つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの１つ以上の地理的領域にアタッチするように構成されていてもよい。

【0043】

時間設定２１４は、デジタル現実アプリケーション１１６がユーザ１１４に利用可能になり得る異なる時間スロットを構成するのを可能にしてもよい。一実施形態では、時間設定２１４は、１つ以上のデジタル現実アプリケーション１１６が決定された間隔で自動的に更新または修正されるように構成するのを可能にしてもよい。別の実施形態では、時間設定２１４は、デジタル現実アプリケーション１１６が時間および日付に応じて様々な時点で無効にされるのを可能にしてもよい。さらなる実施形態では、位置および空間設定２１２は、デジタル現実アプリケーション１１６が特定の季節または所定の天候条件の間に構成されるのを可能にしてもよい。例えば時間設定２１４は、デジタル現実アプリケーション１１６が昼間、夜間、特定の時間もしくは特定の期間、夏もしくは冬の間または１日のうちの雨もしくは乾燥している時間の間のみ利用可能になり得ることを決定してもよい。標的ユーザパラメータ設定２１６は、アプリケーション開発者２０８がデジタル現実アプリケーション１１６へのアクセス権を指定するのを可能にしてもよい。例えば、アプリケーション開発者２０８は、人口統計学的パラメータ（例えば年齢または性別）などによって、ユーザの選択されたグループがデジタル現実アプリケーション１１６にアクセスできるようにしてもよい。他の実施形態では、標的ユーザパラメータ設定２１６は、ユーザ嗜好データ、一般的なビッグデータ条件、機械学習出力などの他のルールベース基準を利用してもよい。

【0044】

いくつかの実施形態では、設定サブモジュール２０４は、１つ以上のデジタル現実アプリケーション１１６の適応的特性構成を可能にするようにさらに構成されていてもよい。適応的特性構成は、デジタル現実アプリケーション１１６が利用可能な設定に基づいて少なくとも１つのデジタル現実アプリケーション１１６の１つ以上の特性の構成を変更するのを可能にしてもよい。例えば、設定サブモジュール２０４の適応的構成は、その日の時間、照明条件、天候条件、交通条件などに基づいて１つ以上のデジタル現実アプリケーション１１６の色、輝度、陰影、サイズ、テキスト、音などを調整することができる。別の例では、適応的特性構成は、日中のデジタル現実アプリケーション１１６のグラフィック表示の輝度を高めて、晴天の日の間のデジタル現実アプリケーション１１６の可視性を高めることができ、かつ夜間の間の輝度を調整して下げることができる。

【0045】

試験サブモジュール２０６は、アプリケーション開発者２０８が創出されたデジタル現実アプリケーション１１６を試験することができるように構成されている。試験サブモジュール２０６は、開発空間試験ツール２１８、最終位置仮想現実試験ツール２２０および最終位置拡張現実試験ツール２２２を含んでもよい。開発空間試験ツール２１８は、アプリケーション開発者１０４がデジタル現実アプリケーション１１６をパーシステント仮想世界システム内に位置決めすることなく開発空間においてアプリケーションを試験することができるようにするためのリソースシミュレータを備えていてもよい。従って、このシミュレータは、シミュレートされた入力をデジタル現実アプリケーション１１６に提供して、試験およびアプリケーション検証を可能にしてもよい。最終位置仮想現実（ＶＲ）試験ツール２２０は、仮想現実における仮想世界の最終的な位置的もしくは地域的位置でアプリケーション開発者２０８が１つ以上のデジタル現実アプリケーション１１６を試験することができるように構成されていてもよい。このシナリオでは、デジタル現実アプリケーション１１６を展開させることができる仮想化バージョンの領域および要素が試験のために必要とされ、これらは、例えば図１のサーバ１０２のパーシステント仮想世界システム１０８に既に格納されて計算されていてもよい。最終位置拡張現実（ＡＲ）試験ツール２２２は、アプリケーション開発者２０８が拡張現実における実世界の最終的な位置的もしくは地域的位置で１つ以上のデジタル現実アプリケーション１１６を試験することができるように構成されていてもよい。このシナリオでは、デジタル現実アプリケーション１１６を開発しているアプリケーション開発者２０８との対話に関与し得るデジタル現実アプリケーション１１６およびパーシステント仮想世界システム内の１つ以上の仮想レプリカは、試験のために現実の上にオーバーレイされていてもよい。デジタル現実アプリケーション１１６が所定のレベルの開発に達したら最終位置ＶＲおよびＡＲ試験ツール２２０および２２２を使用してもよく、故にこれはエンドユーザが１つ以上のデジタル現実アプリケーション１１６と対話し得る最終位置で試験するのに適している。

【0046】

アプリケーション開発者２０８がデジタル現実アプリケーション１１６を開発した後、アプリケーション開発者２０８はデジタル現実アプリケーション１１６をアプリケーション管理環境モジュールと共有してもよい。

【0047】

図３は、一実施形態に係る、デジタル現実アプリケーション１１６のコンプライアンス試験および展開のために使用することができるアプリケーション管理環境モジュール１１８の概略図を描写している。図３のいくつかの要素は図１〜２の要素と同様である場合があり、従って同様もしくは同一の符号がそれらの要素を特定するために使用されている場合がある。

【0048】

アプリケーション管理環境モジュール１１８は、ネットワーク１２２を介してアプリケーション管理環境モジュール１１８をホストしている１つ以上のサーバ（例えば、図１のサーバ１０２）に好適なユーザ装置１２０を介して接続することによってアプリケーション管理者３０２によってアクセスされてもよい。アプリケーション管理環境モジュール１１８は、アプリケーション開発環境モジュールから共有される１つ以上のデジタル現実アプリケーション１１６、アプリケーション管理試験サブモジュール３０４、ルールベースアプリケーション評価サブモジュール３０６、アプリケーション展開サブモジュール３０８およびオンラインアプリケーションライブラリ３１０を含んでもよい。アプリケーション管理試験サブモジュール３０４は、アプリケーション管理者３０２が好適なユーザ装置１２０を介してデジタル現実アプリケーション１１６を試験するのを可能にしてもよい。行われる試験は、１つ以上の最終位置でデジタル現実アプリケーション１１６を試験すること、１日の異なる時間、季節または天候条件で試験すること、または異なる標的ユーザパラメータ設定を試すことなどの、アプリケーション開発環境モジュールにおいて既に構成されているデジタル現実アプリケーション１１６の異なるパラメータおよびオプションを試験することを含んでもよい。

【0049】

アプリケーション管理試験サブモジュール３０４において行われる試験の際に、アプリケーション管理者３０２は、デジタル現実アプリケーション１１６が展開および試験展開のために適しているかを決定するために、ルールベースアプリケーション評価サブモジュール３０６を用いてもよい。ルールベースアプリケーション評価サブモジュール３０６の基となるルールは、特にコンテンツ、実および／または仮想位置および空間、時間および標的ユーザパラメータに関連していてもよい。例えばアプリケーション管理者３０２は、ルールベースアプリケーション評価サブモジュール３０６により、コンテンツの一部がこれらの承認／拒絶ルールに準拠しない場面を含んでいる場合があるという理由でデジタル現実アプリケーション１１６が展開および試験展開のために適し得ないことを決定してもよい。アプリケーション管理者３０２がデジタル現実アプリケーション１１６が展開および試験展開のために適していると決定した場合、アプリケーション管理者３０２はアプリケーション展開サブモジュール３０８を用いてデジタル現実アプリケーション１１６のオンラインアプリケーションライブラリ３１０の中への展開および試験展開を可能にしてもよい。オンラインアプリケーションライブラリ３１０は１つ以上のユーザ装置１２０上で実行され、ユーザ１１４がデジタル現実アプリケーション１１６を見つけてアクセスすることができるようにするための機能性を提供する。

【0050】

アプリケーション管理者３０２によるデジタル現実アプリケーション１１６のアプリケーションライブラリ３１０の中への展開および試験展開後に、オンラインアプリケーションライブラリ３１０にログインした任意のエンドユーザ３１２は、エンドユーザ３１２がデジタル現実アプリケーション１１６から特定の距離に位置したら、デジタル現実アプリケーション１１６を見て、それにアクセスして対話することができるようにしてもよい。例えば、アプリケーションが実彫像の仮想レプリカにアタッチされるように展開された場合、実彫像に接近しているエンドユーザ３１２は、デジタル現実アプリケーション１１６がエンドユーザ３１２の視野または広視野内に位置すると、そのアプリケーションを見て対話することができるようにしてもよい。

【0051】

本開示のアプリケーションライブラリ３１０は、パーシステント仮想世界システムの１つ以上の仮想のレイヤーまたは仮想世界レイヤーの上の１つ以上のデジタル現実アプリケーションレイヤーとみなしてもよく、ここでは、デジタル現実アプリケーションは拡張、仮想もしくは複合現実においてユーザによって見られてもよい。実世界の実物体の全てまたは大部分がパーシステント仮想世界システムの中にマップまたは仮想化されているので、パーシステント仮想世界システムの領域に位置しているユーザは、実世界が実および仮想物体の両方を見て対話することができるアプリケーションストアのようであると感じるかもしれない。

【0052】

図４Ａ〜４Ｂは、パーシステント仮想世界システムを介して１つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するためのシステム４００ａ〜ｂの概略図を描写しており、ここでは仮想世界システム１０８および実世界４０２は、１つ以上のデジタル現実アプリケーション１１６の展開を可能にする融合現実４０４の中にマージされている。図４Ａ〜４Ｂのいくつかの要素は図１〜３の要素と同様である場合があり、同様もしくは同一の符号がそれらの要素を特定するために使用されている場合がある。

【0053】

図４Ａのシステム４００ａの例示では、ユーザ装置１２０を身に付けている２人のエンドユーザ４０６ａ〜ｂが実世界４０２の領域に立っている。ユーザ装置１２０を身に付けていない人から見れば、実世界４０２は例えば建物４０８、木４１０、飛行機４１２および２人のエンドユーザ４０６ａ〜ｂを含む。

【0054】

パーシステント仮想世界システム１０８には３つのデジタル現実アプリケーション４１４ａ〜ｃが存在し、ここではデジタル現実アプリケーション４１４ａ〜ｂはパーシステント仮想世界システム１０８の空の領域に位置決めおよび展開されているが、デジタル現実アプリケーション４１４ｃは木の仮想レプリカ４１０ａにアタッチされている。パーシステント仮想世界システム１０８では、エンドユーザ４０６ａ〜ｂは自身のそれぞれの仮想アバター４１６ａ〜ｂを有し、他の実物体（例えば、建物４０８、木４１０および飛行機４１２）もそれ自体の仮想レプリカ（例えば、建物の仮想レプリカ４０８ａ、木の仮想レプリカ４１０ａおよび飛行機の仮想レプリカ４１２ａ）を有する。またパーシステント仮想世界システム１０８には、実世界からの物体を表わさない１つ以上の仮想レプリカ（例えば、仮想の鳥４１８および仮想の噴水４２０などの純粋に仮想の物体）が存在してもよい。

【0055】

融合現実４０４は、実世界レイヤー４２２、実世界レイヤー４２２の上に構成された仮想世界レイヤー４２４、および仮想世界レイヤー４２４の上に構成された１つ以上のデジタル現実アプリケーションレイヤー４２６を含む。従って、デジタル現実アプリケーションをオンラインアプリケーションライブラリ（例えば、図３のオンラインアプリケーションライブラリ３１０）の中に展開させた場合、デジタル現実アプリケーションは１つ以上のデジタル現実アプリケーションレイヤー４２６の上に位置決めおよび展開される。

【0056】

エンドユーザ４０６ａ〜ｂは、融合現実４０４（例えば、仮想現実または拡張現実）においてパーシステント仮想世界システム１０８と対話するために選択された実設定に応じて、１つ以上の実世界物体４０８〜４１２、それらのそれぞれの仮想レプリカ４０８〜４１２ａ、デジタル現実アプリケーション４１４ａ〜ｃ、純粋に仮想の物体４１８〜４２０またはそれらの組み合わせのいずれかを見てもよい。ユーザ４０６ａ〜ｂは、１つ以上の仮想レプリカ４０８ａ〜４１２ａ、デジタル現実アプリケーション４１４ａ〜ｃおよび純粋に仮想の物体４１８〜４２０とさらに対話してもよい。例えば、エンドユーザが仮想現実において融合現実４０４を見る場合、エンドユーザはデジタル現実アプリケーション４１４ａ〜ｃを見てそれと対話してもよく、かつ利用可能な構成およびメディアコンテンツに応じて、仮想レプリカ４０８ａ〜４１２ａおよび純粋に仮想の物体４１８〜４２０を見てそれと対話してもよい。別の例では、エンドユーザが拡張現実において融合現実４０４を見る場合、エンドユーザはデジタル現実アプリケーション４１４ａ〜ｃを見てそれと対話してもよく、実世界物体４０８〜４１２を見てもよく、かつ利用可能な構成およびメディアコンテンツに応じて、それらのそれぞれの仮想レプリカ４０８ａ〜４１２ａおよび純粋に仮想の物体４１８〜４２０を見て対話してもよい。

【0057】

本開示のいくつかの実施形態では、デジタル現実アプリケーションは、位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを指す。位置的デジタル現実アプリケーションは、３Ｄ位置および向きを含む１つ以上の所定かつ正確な３Ｄ世界位置の上にパーシステント仮想世界システム１０８を介して構成されており、かつ３Ｄ世界位置の複数のインスタンスを有することができる。地域的デジタル現実アプリケーションサービスは、１つ以上の位置的デジタル現実アプリケーションを包含する１つ以上の所定の地理的領域上で永続的に利用可能なアプリケーションサービスを指し、それらのサービスはそれらの領域内にいるかそれらに近接しているユーザに、１つ以上の位置的デジタル現実アプリケーションに関するそれぞれのアプリケーションサービスを提供することができる。位置的デジタル現実アプリケーションおよび地域的デジタル現実アプリケーションサービスは、１つ以上のデジタル現実アプリケーションレイヤー４２６の上に構成されている。

【0058】

図４Ｂは、仮想世界システム１０８が仮想世界レイヤー４２４および１つ以上のデジタル現実アプリケーションレイヤー４２６を含むシステム４００ｂの例示を描写している。仮想世界レイヤー４２４は、仮想レプリカ４０８ａ〜４１０ａおよび純粋に仮想の物体４１８〜４２０などのパーシステント仮想世界システム１０８に含まれ得る仮想の要素のみを含む。他方、１つ以上のデジタル現実アプリケーションレイヤー４２０は、デジタル現実アプリケーション４１４ａ〜４１４ｃなどのパーシステント仮想世界システム１０８に含まれ得るアプリケーションのみを含む。

【0059】

一実施形態によれば、仮想世界システム１０８における複数の仮想レプリカ（例えば、仮想レプリカ４０８ａ〜４１２ａ）、純粋に仮想の物体（例えば、純粋に仮想の物体４１８〜４２０）、および位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含むデジタル現実アプリケーション（例えば、デジタル現実アプリケーション４１４ａ〜ｃ）は、実物体（それらの仮想レプリカを介して）、デジタル現実アプリケーションおよび純粋に仮想の物体のそれぞれの正確な特性を含む仮想３Ｄインフラとみなしてもよい。従って、例えば仮想世界レイヤー４２４のこの仮想３Ｄインフラは、デジタル現実アプリケーション４１４ａ〜ｃ、仮想レプリカ４０８ａ〜４１２ａおよび純粋に仮想の物体４１８間の空間的構成、いくつかの行動ならびに計算的および論理的対話を可能にすることができる。いくつかの実施形態では、仮想３Ｄインフラにおける純粋に仮想の物体は、それらの仮想レプリカ、純粋に仮想の物体またはデジタル現実アプリケーションを通る実物体の経路を定めて境界を定めるのに役立ち得る仮想回廊をさらに含む。例えば図４Ａを参照すると、実飛行機４１２（およびその上にアタッチされる任意のデジタル現実アプリケーション）は、所定の飛行経路を仮想回廊として保守点検させ、かつそのそれぞれの仮想レプリカ４１２ａを介してアクセスおよび処理することができる。同様に自立的または手動で制御される任意の他の移動物体（例えば、飛行、運転、歩行など）は、仮想回廊または仮想３Ｄインフラサービスを使用して仮想世界システム１０８を介して実世界をナビゲート、処理および計算することができる。

【0060】

一実施形態によれば、展開の間のアプリケーションの公開は、ユーザによる関与の間にパーシステントレイヤである１つ以上のデジタル現実アプリケーションレイヤー４２６の上で行われるが、１つ以上の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスは、特定のデジタル現実アプリケーションに関連する仮想レプリカおよび純粋に仮想の物体を含む仮想世界レイヤー４２６の全てまたは大部分の要素によりフィルタリングして処理することができる。例えば、ファストフードレストランのデジタル現実アプリケーションレイヤーは、全てのファストフードレストランをそれらのそれぞれの仮想レプリカによりフィルタリングしてユーザのために強調し、かつ各レストランの必要なデータをユーザに提供することができる。別の例では、デーティングアプリケーションレイヤーは、そのようなアプリケーションを使用している人々のみをユーザのためにフィルタリングし、ユーザのためにこれらの人々を強調し、かつユーザの背景、人格または好みに一致する見込みのある人をユーザに提供することができる。

【0061】

図５は、ユーザ装置１２０の概略図を描写している。ユーザ装置１２０は、入力／出力（Ｉ／Ｏ）モジュール５０２、電源５０４、メモリ５０６、追跡モジュール５１２を形成するセンシング機構５０８および送受信機５１０、およびネットワークインタフェース５１４などの操作構成要素を備えていてもよく、それら全てがプロセッサ５１６に接続されている。

【0062】

Ｉ／Ｏモジュール５０２はユーザと対話し、かつユーザ入力データを１つ以上の他のシステム構成要素に提供するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されている。例えば、Ｉ／Ｏモジュール５０２は、ユーザと対話し、その対話に基づいてユーザ入力データを生成し、かつこのユーザ入力データをネットワークを介してサーバなどの他の処理システムに転送する前にプロセッサ５１６に提供するように構成されていてもよい。別の例では、Ｉ／Ｏモジュール５０２は、他の接続された要素と対話するように構成された外部コンピューティングポインティングデバイス（例えば、タッチスクリーン、マウス、３Ｄ制御、ジョイスティック、ゲームパッドなど）および／またはテキスト入力装置（例えば、キーボード、ディクテーションツールなど）として実装されている。さらに他の実施形態では、Ｉ／Ｏモジュール５０２は、上に記載したものへのさらなる機能性、それより少ない機能性、またはそれとは異なる機能性を提供してもよい。

【0063】

電源５０４は、電力をユーザ装置１２０に提供するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されている。一実施形態では、電源５０４は電池であってもよい。電源５０４は上記装置に内蔵されていても上記装置から取外し可能であってもよく、かつ充電式であっても非充電式であってもよい。一実施形態では、ある電源５０４を別の電源５０４と置き換えることによってユーザ装置１２０に電力を再供給してもよい。別の実施形態では、電源５０４は、パーソナルコンピュータに取り付けられるユニバーサル・シリアル・バス（「ＵＳＢ」）、ファイアワイヤ、イーサネット、サンダーボルト（Ｔｈｕｎｄｅｒｂｏｌｔ）またはヘッドホンケーブルなどの充電源に取り付けられるケーブルによって再充電してもよい。さらに別の実施形態では、電源５０４は電磁誘導充電によって再充電されてもよく、ここではエネルギを電磁誘導充電器から電源５０４に移動させるために電磁場が使用され（その２つを至極近接させた場合）、ケーブルを介して互いにプラグを差し込む必要はない。別の実施形態では、ドッキングステーションを使用して充電を容易にしてもよい。

【0064】

メモリ５０６は、アプリケーションプログラム命令を格納し、かつセンシング機構によって取得されたマルチソース感覚データを格納するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。メモリ５０６は、ハードドライブ、メモリカード、フラッシュドライブ、ＲＯＭ、ＲＡＭ、ＤＶＤまたは他の光ディスクなどの電子装置の助けを借りて読み込むことができるデータを格納する非一時的コンピュータ可読媒体ならびに他の書込み可能および読取り専用メモリなどの、プロセッサ５１６によってアクセス可能な情報を格納することができる任意の好適な種類のものであってもよい。メモリ５０６はパーシステント記憶装置に加えて一時記憶装置を含んでもよい。

【0065】

センシング機構５０８は、開発、管理またはエンドユーザのアプリケーションとの対話などにおいて、そのアプリケーションとの対話の間に使用することができるユーザからの感覚データを得るように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。例えばセンシング機構５０８を使用して、ユーザ装置１２０および従ってユーザ装置１２０と対話する１つ以上の仮想レプリカおよびデジタル現実アプリケーションの位置および向きを決定／追跡してもよい。センシング機構は、特に１つ以上の慣性測定ユニット（ＩＭＵ）、加速度計およびジャイロスコープを備えていてもよい。ＩＭＵは加速度計とジャイロスコープとの組み合わせを用いることによって、ユーザ装置１２０の速度、加速度、角運動量、並進速度、回転速度および他の遠隔測定メタデータを測定および報告するように構成されている。センシング機構５０８は、光センサ、触覚センサ、音声センサまたは拡張もしくは仮想現実体験をユーザに提供するために使用される他の好適なセンサを有するカメラをさらに備えてもよい。

【0066】

送受信機５１０は、装置がアンテナから無線電波を受信し、かつデータをアンテナに送り戻すのを可能にするように構成されたコンピューティングソフトウェアおよびハードウェアとして実装されていてもよい。いくつかの実施形態では、ｍｍＷ送受信機５１０を用いてもよく、これはイマーシブコンテンツと対話する場合に、アンテナからｍｍＷ波信号を受信し、かつデータをアンテナに送り戻すように構成されていてもよい。送受信機５１０は双方向通信送受信機５１０であってもよい。

【0067】

一実施形態では、追跡モジュール５１２は、ＩＭＵ、加速度計およびジャイロスコープの能力を送受信機５１０によって提供される位置追跡と組み合わせることによって実装されてもよく、かつｍｍＷベースのアンテナによって提供される正確な追跡、低レイテンシおよび高ＱｏＳ機能性は、サブセンチメートルまたはサブミリメートルでの位置および向きの追跡を可能にしてもよく、これによりユーザ装置１２０のリアルタイム位置および向きを追跡する際の正確性を高めてもよい。他の実施形態では、センシング機構および送受信機５１０は単一の追跡モジュール装置として互いに結合されていてもよい。

【0068】

ネットワークインタフェース５１４は、ネットワークに通信可能に接続し、サーバまたは他の装置によって送信されるネットワークからのコンピュータ可読プログラム命令を受信し、かつプロセッサ５１６による実行のためにメモリ５０６に格納するための命令を転送するためのコンピューティングソフトウェアおよびハードウェアとして実装されていてもよい。

【0069】

プロセッサ５１６は、命令を受信して処理するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。例えば、プロセッサ５１６は、イメージング要求を行い、イメージングデータを受信し、イメージングデータを処理して環境もしくは他のデータにし、ユーザ入力データおよび／またはイメージングデータを処理してユーザ対話データを生成し、エッジベース（オンデバイス）機械学習のトレーニングおよび推論を行い、サーバ要求を行い、サーバ応答を受信し、かつ／またはユーザ対話データ、環境データおよびコンテンツ物体データを１つ以上の他のシステム構成要素に提供するように構成されていてもよい。例えばプロセッサ５１６は、Ｉ／Ｏモジュール５０２からユーザ入力データを受信してもよく、かつメモリ５０６に格納されたアプリケーションプログラムをそれぞれ実行してもよい。他の例では、プロセッサ５１６は追跡モジュール５１２によりユーザ装置１２０の正確な位置および向きを受信してもよく、かつデータのうちのいくつかをさらなる処理のためにサーバに送信する前にこれらのデータを準備してもよい。オンデバイスプロセッサ５１６はサーバによって行われる処理タスクのうちのいくつかを共有してもよい。

【0070】

いくつかの実施形態では、ユーザ装置１２０は、タッチセンサ式ディスプレイ、声および音声認識、意図および目標の理解、深度計測カメラ（例えば、立体カメラシステム、赤外線カメラシステム、カラーカメラシステムおよびそれらの組み合わせ）を用いるモーションジェスチャ検出、加速度計／ジャイロスコープを用いるモーションジェスチャ検出、顔認識、３Ｄディスプレイ、頭、目および視線追跡によるＮＵＩ対話を可能にしてもよく、これらを本開示のＡＲもしくはＶＲ体験を可能にするために使用してもよい。

【0071】

いくつかの実施形態では、デジタル現実アプリケーションの開発、試験および展開を容易にするために、サーバコンピュータシステムは、本明細書に記載されている技術を用いて、１つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも１つの仮想レプリカを含むパーシステント仮想世界システムであって、仮想レプリカの仮想３Ｄ世界座標および仮想特性は実物体の３Ｄ世界座標および特性に基づいているシステムを提供し、かつパーシステント仮想世界システムにアクセスしている少なくとも１つのユーザ装置からの入力を受信してもよい。少なくとも１つのユーザ装置は、ネットワークを介してサーバコンピュータシステムに接続されていてもよい。パーシステント仮想世界システムにより、１人以上のユーザが実世界レイヤー、実世界レイヤーの上に構成された仮想世界レイヤー、および仮想世界レイヤーの上に構成された１つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において１つ以上のデジタル現実アプリケーションを見て対話することができる。

【0072】

ユーザ装置から受信された入力は、デジタル現実アプリケーションの開発、試験または展開に関連していてもよい。この開発は、アプリケーション構成を設定すること、１つ以上のデジタル現実アプリケーションを開発空間において試験すること、および拡張および仮想現実の最終位置でさらなる試験を行うことを含んでもよい。この開発はメモリに格納されたアプリケーション開発環境モジュールにおいて行ってもよく、デジタル現実アプリケーションの管理はアプリケーション管理環境モジュールにおいて行ってもよい。

【0073】

図６は、一実施形態に係る、パーシステント仮想世界システムを介して位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含む１つ以上のデジタル現実アプリケーションを開発、試験および実世界の中に展開するための方法６００を描写している。方法６００は、図１〜５に開示されている本開示のシステムによって実行されるソフトウェアツールによって容易にしてもよい。

【0074】

方法６００は、アプリケーション開発者がデジタル現実アプリケーションを創出した時に工程６０２において開始してもよい。例えば図２を参照すると、デジタル現実アプリケーションの創出は、アプリケーション開発環境モジュール１１２の開発サブモジュール２０２を用いて達成してもよい。次いで工程６０４では、方法６００はアプリケーション開発者がアプリケーション構成パラメータを設定した時に続行してもよい。例えば図２を参照すると、アプリケーション開発者は、アプリケーション開発環境モジュール１１２の設定サブモジュール２０４を用いてアプリケーション構成パラメータを設定してもよく、それにより位置、３Ｄ位置決めおよび縮尺調整を含む位置および空間設定２１２、時間設定２１４および標的ユーザパラメータ設定２１６を定めてもよい。

【0075】

その後に工程６０６では、方法６００は、例えば図２の試験サブモジュール２０６に含まれている開発空間試験ツール２１８などによって、アプリケーション開発空間においてデジタル現実アプリケーションを試験するアプリケーション開発者により続行してもよい。工程６０８では、アプリケーション開発者はデジタル現実アプリケーションのさらなる試験を行う。例えば図２を参照すると、さらなる試験は、試験サブモジュール２０６に含まれている仮想現実における仮想世界の最終的な位置的もしくは地域的位置で試験するための最終位置仮想現実試験ツール２２０および拡張現実における実世界の最終的な位置的もしくは地域的位置で試験するための最終位置拡張現実試験ツール２２２を用いてもよい。

【0076】

工程６１０では、アプリケーション開発者は、例えば図３のアプリケーション管理環境モジュール１１８を介して、デジタル現実アプリケーションをアプリケーション管理者と共有する。次いで工程６１２では、アプリケーション管理者は、例えば、アプリケーション管理環境モジュール１１８のアプリケーション管理試験サブモジュール３０４によりコンプライアンス評価のためにデジタル現実アプリケーションを試験する。

【0077】

チェック６１４では、アプリケーション管理者は、例えば、図３のルールベースアプリケーション評価サブモジュール３０６を用いることによってデジタル現実アプリケーションを承認するか拒絶するかを決定してもよい。図３に記載されているように、アプリケーション管理者は、図２に記載されているコンテンツ、位置および空間設定２１２、時間設定２１４および標的ユーザパラメータ設定２１６などの因子に関するルールを考慮に入れてデジタル現実アプリケーションを承認するか拒絶するかの決定を基にしてもよい。アプリケーション管理者がデジタル現実アプリケーションを拒絶する場合、アプリケーション管理者は工程６１６に示されているように、アプリケーション調整要求をアプリケーション開発者に送信してもよい。次いで工程６１８では、アプリケーション開発者は、調整要求（例えば、特にコンテンツ、位置設定、時間設定、および標的ユーザパラメータ設定の調整）に基づいてデジタル現実アプリケーションを調整することによって続行してもよい。次いで方法６００は、工程６０６に戻ってもよく、これによりアプリケーション開発者は、アプリケーション開発空間においてアプリケーションを試験する。その後に方法６００は、アプリケーション管理者の承認を得るまで続行してもよい。チェック６１４において、アプリケーション管理者がデジタル現実アプリケーションを承認することを決定した場合、アプリケーション管理者は工程６２０に示されているように、先に定められ、かつ承認されているコンテンツおよび構成に基づいてデジタル現実アプリケーションをオンラインアプリケーションライブラリ上で展開することによって続行してもよい。

【0078】

特定の実施形態について説明し、かつ添付の図面に図示してきたが、当然のことながらそのような実施形態は広範な本開示の単に例示であってそれを限定するものではなく、様々な他の修正が当業者に思い付く場合があるため、本開示は図示および説明されている特定の構造および構成に限定されない。従って上記説明は、本開示を限定するものではなく例示とみなされるべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】