特許 6859436 拡張現実ソフトウェアアプリケーションのサポート

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6859436

(24)【登録日】2021年3月29日

(45)【発行日】2021年4月14日

(54)【発明の名称】拡張現実ソフトウェアアプリケーションのサポート

(51)【国際特許分類】

   G06T 19/00 20110101AFI20210405BHJP

   G06F 3/01 20060101ALI20210405BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/01 510

【請求項の数】19

【全頁数】22

(21)【出願番号】特願2019-524378(P2019-524378)

(86)(22)【出願日】2016年11月11日

(65)【公表番号】特表2020-514848(P2020-514848A)

(43)【公表日】2020年5月21日

(86)【国際出願番号】EP2016077453

(87)【国際公開番号】WO2018086704

(87)【国際公開日】20180517

【審査請求日】2019年7月24日

(73)【特許権者】

【識別番号】598036300

【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）

(74)【代理人】

【識別番号】100109726

【弁理士】

【氏名又は名称】園田 吉隆

(74)【代理人】

【識別番号】100161470

【弁理士】

【氏名又は名称】冨樫 義孝

(74)【代理人】

【識別番号】100194294

【弁理士】

【氏名又は名称】石岡 利康

(74)【代理人】

【識別番号】100194320

【弁理士】

【氏名又は名称】藤井 亮

(72)【発明者】

【氏名】ワン， ユ

(72)【発明者】

【氏名】ハラルドソン， ヨーアン

(72)【発明者】

【氏名】チョン， チェソン

(72)【発明者】

【氏名】ベックストレーム， サンドラ

(72)【発明者】

【氏名】ローレンソン， マシュー ジョン

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２０１３−１７２３５４（ＪＰ，Ａ）

【文献】 特表２０１３−５３０５７５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１２２５７０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ − ３／０４８９

(57)【特許請求の範囲】

【請求項1】

拡張現実（ＡＲ）ソフトウェアアプリケーションをサポートするためのコンピューティングデバイス（１２０；５００；６００）であって、
前記ＡＲソフトウェアアプリケーションのユーザ（１１０）の周辺環境において、物理的シーン（１００；２００）をキャプチャするビデオシーケンス上にオーバーレイされた時に現在の仮想オブジェクト（１０４；２０４）が配置されているように見える、前記現在の仮想オブジェクトを配置するための物理的位置（１３１；２３１）を、
前記物理的シーンおよび前記オーバーレイされた現在の仮想オブジェクトを前記ユーザに表示すること（１２３；２２３）に応答して前記ユーザが移動する先の予想物理的位置であるか、または前記ユーザがとどまる予想物理的位置、および
前記ユーザの前記周辺環境において空間依存し、前記ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える空間依存特性
に基づいて、選択するように動作可能である処理手段（１２５）を含む、コンピューティングデバイス。

【請求項2】

前記処理手段は、前記現在の仮想オブジェクトを配置するための少なくとも１つの候補物理的位置（１３１、１３２；２３１、２３２）に対して、
前記物理的シーンと、前記候補物理的位置に配置されているように見えるようにオーバーレイされた前記現在の仮想オブジェクトとを前記ユーザに表示することに応答して、前記ユーザが想定する前記予想物理的位置を判断すること、および
前記予想物理的位置における前記空間依存特性の値を評価すること
によって、前記現在の仮想オブジェクトを配置するための前記物理的位置を選択するように動作可能であり、
前記現在の仮想オブジェクトを配置するための前記物理的位置を選択することは、前記少なくとも１つの候補物理的位置において評価された前記空間依存特性の複数の値に基づく、請求項１に記載のコンピューティングデバイス。

【請求項3】

前記物理的シーンおよび前記オーバーレイされた現在の仮想オブジェクトを前記ユーザに表示することに応答して前記ユーザが想定する前記予想物理的位置は、前記候補物理的位置の所定の範囲内にある、請求項２に記載のコンピューティングデバイス。

【請求項4】

前記物理的シーンおよび前記オーバーレイされた現在の仮想オブジェクトを前記ユーザに表示することに応答して前記ユーザが想定する前記予想物理的位置は、前記現在の仮想オブジェクトのタイプに基づいて判断される、請求項２に記載のコンピューティングデバイス。

【請求項5】

前記物理的シーンおよび前記オーバーレイされた現在の仮想オブジェクトを前記ユーザに表示することに応答して前記ユーザが想定する前記予想物理的位置は、前記現在の仮想オブジェクトと同じタイプの仮想オブジェクトを前記ユーザに表示することに応答して、前記ＡＲソフトウェアアプリケーションのユーザの予想される行動に関する情報に基づいて判断される、請求項４に記載のコンピューティングデバイス。

【請求項6】

前記物理的シーンおよび前記オーバーレイされた現在の仮想オブジェクトを前記ユーザに表示することに応答して前記ユーザが想定する前記予想物理的位置は、前記現在の仮想オブジェクトと同じタイプの以前に表示された仮想オブジェクトに応答して前記ユーザの学習済み行動に基づいて判断される、請求項４に記載のコンピューティングデバイス。

【請求項7】

前記ユーザの前記周辺環境における物理的位置に応じて、前記空間依存特性の１つまたは複数の値をデータベース（７０３；８０４）から検索するようにさらに動作可能である、請求項１から６のいずれか一項に記載のコンピューティングデバイス。

【請求項8】

前記処理手段は、データベース（７０３；８０４）において、物理的位置に応じて前記空間依存特性の測定された値を記憶するようにさらに動作可能である、請求項１から７のいずれか一項に記載のコンピューティングデバイス。

【請求項9】

前記データベースは、前記コンピューティングデバイス、無線アクセスネットワーク（ＲＡＮ）ノード、およびオペレーションサポートシステム（ＯＳＳ）ノードのいずれか１つによって維持される、請求項７または８に記載のコンピューティングデバイス。

【請求項10】

前記空間依存特性は、前記ＡＲソフトウェアアプリケーションによって利用される無線接続の性能に関連している、請求項１から９のいずれか一項に記載のコンピューティングデバイス。

【請求項11】

前記空間依存特性は、前記無線接続の、信号強度、データ速度、帯域幅、誤り率、再送率、およびレイテンシのいずれか１つである、請求項１０に記載のコンピューティングデバイス。

【請求項12】

前記空間依存特性は、前記ＡＲソフトウェアアプリケーションによってレンダリングされる音声の前記ユーザによる認知に関連している、請求項１から９のいずれか一項に記載のコンピューティングデバイス。

【請求項13】

前記処理手段は、前記物理的シーンをキャプチャする前記ビデオシーケンス上に前記現在の仮想オブジェクトを、前記オーバーレイされた現在の仮想オブジェクトが前記選択された物理的位置に配置されているように見えるようにオーバーレイするようにさらに動作可能である、請求項１から１２のいずれか一項に記載のコンピューティングデバイス。

【請求項14】

前記処理手段は、前記物理的シーンをキャプチャする前記ビデオシーケンス（１２３；２２３）、および前記オーバーレイされた現在の仮想オブジェクトを前記ユーザに表示するようにさらに動作可能である、請求項１３に記載のコンピューティングデバイス。

【請求項15】

前記ビデオシーケンスは、前記ユーザによって着用されるカメラ（１２１）によって、前記カメラの視野（１２２）が前記ユーザの物理的位置および向きと相関するようにキャプチャされる、請求項１から１４のいずれか一項に記載のコンピューティングデバイス。

【請求項16】

前記ユーザによって着用されるディスプレイ（１２４）をさらに備える、請求項１から１５のいずれか一項に記載のコンピューティングデバイス。

【請求項17】

前記ＡＲソフトウェアアプリケーションをホストするゲームサーバ（６００）、仮想現実ヘッドセット（１２０）、ヘッドマウントディスプレイ（１２０）、携帯電話（５００）、スマートフォン（５００）、移動体端末（５００）、パーソナルコンピュータ、ラップトップ、タブレット、およびゲーム機のいずれか１つである、請求項１から１６のいずれか一項に記載のコンピューティングデバイス。

【請求項18】

コンピューティングデバイスによって実施される、拡張現実（ＡＲ）ソフトウェアアプリケーションをサポートする方法（９００）であって、
前記ＡＲソフトウェアアプリケーションのユーザの周辺環境において、物理的シーンをキャプチャするビデオシーケンス上にオーバーレイされた時に現在の仮想オブジェクトが配置されているように見える、前記現在の仮想オブジェクトを配置するための物理的位置を、
前記物理的シーンおよび前記オーバーレイされた現在の仮想オブジェクトを前記ユーザに表示することに応答して前記ユーザが移動する先の予想物理的位置であるか、または前記ユーザがとどまる予想物理的位置、および
前記ユーザの前記周辺環境において空間依存し、前記ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える空間依存特性に基づいて
選択すること（９０６）を含む、方法。

【請求項19】

デバイスに含まれた処理ユニット（７０２）上でコンピュータ実行可能命令が実行される時、請求項１８に記載の方法を前記デバイスに実施させる前記コンピュータ実行可能命令を含む、コンピュータプログラム（７０４）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実（ＡＲ）ソフトウェアアプリケーションをサポートするためのコンピューティングデバイス、ＡＲソフトウェアアプリケーションをサポートする方法、対応するコンピュータプログラム、および対応するコンピュータプログラム製品に関する。

【背景技術】

【0002】

ＡＲは、音声、ビデオ、またはグラフィックスといったコンピュータ生成の感覚入力によって要素が拡張される（または補足される）物理的な実世界環境の生の直接的または間接的ビューである。このＡＲは、現実のビューがコンピュータによって修正される（拡張ではなく減少される場合もある）媒介現実と呼ばれる、より全般的な概念に関する。拡張は従来、環境物と共に、リアルタイムでおよび意味的コンテキストにおいて行われる。さらに、オブジェクト認識を利用することによって、物理的な実世界のオブジェクトは、操作され、または実世界環境を拡張することを考慮に入れ得る。

【0003】

典型的には、ＡＲソフトウェアアプリケーションは、ユーザによって着用されるカメラによってキャプチャされることが多い、ユーザの周辺環境の拡張シーンを表示するためにユーザによって着用されるディスプレイを利用する。近年、ヘッドマウントディスプレイ（ＨＭＤ）、または仮想現実（ＶＲ）ヘッドセットは、ＡＲでの使用に対してますます普及してきている。これらのデバイスは、１つまたは複数のディスプレイ、および多くはカメラも含み、ハーネスまたはヘルメットのようにユーザの前額部に合わせるように設計される。ＨＭＤは、物質的世界、および物質的世界を拡張する仮想オブジェクト両方の画像をユーザの視野に覆いかぶせる。これらＨＭＤは、ＡＲソフトウェアアプリケーションを、ユーザの動きに応答して仮想オブジェクトを物質的世界に正確に位置合わせ可能とする６自由度監視のためのセンサを採用することが多い。例えば、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓおよびＯｃｕｌｕｓ ＲｉｆｔといったＨＭＤが市販されている。また、スマートフォンをＨＭＤとして利用することで、スマートフォンをユーザの前額部と合わせることを容易にするユーティリティも利用可能である（例えば、Ｇｏｏｇｌｅ ＣａｒｄｂｏａｒｄおよびＳａｍｓｕｎｇ Ｇｅａｒ ＶＲ）。

【0004】

ＡＲソフトウェアアプリケーションの数は、市販のＨＭＤの出現と共に大幅に増加している。ＡＲは、例えば、建築プロジェクトを視覚化するためのアーキテクチャにおいて、製品を顧客に視覚化するための商業目的に、およびゲーム目的に使用される。例として、２０１６年７月に任天堂によってリリースされた、モバイルゲームアプリケーションのポケモンＧｏは、すぐに世界的に成功して、何億回もダウンロードされた。ポケモンＧｏは、ポケットモンスターの形態の仮想オブジェクトを物理的位置に展開する位置ベースのＡＲゲームであり、プレイヤーは、モンスターをキャプチャするために物理的位置に移動しなければならない。

【0005】

ポケモンＧｏの成功に続いて、位置ベースのＡＲゲームおよびアプリの数が大幅に増加することが予想される。位置ベースのＡＲゲームおよびアプリの共通の特徴は、プレイヤーまたはユーザが、具体的な物理的、すなわち、実世界の場所を訪問して、そこに配置されている仮想オブジェクトと対話することが必要とされることである。ＡＲソフトウェアアプリケーションは典型的には、無線アクセスネットワーク（ＲＡＮ）を介してＡＲソフトウェアアプリケーションをホストするアプリケーションサーバと通信するため、これらのアプリケーションは、かなりのネットワーク負荷を発生させることによってＲＡＮに大きな負担をかけている。とりわけ、このことは、相当な数のＡＲユーザが互いに近接して移動する場合に当てはまる。位置ベースのＡＲゲームおよびアプリはまた、ユーザが例えば、シャドーイングまたは干渉などによって引き起こされる悪いカバレッジの領域に移動する場合の悪い接続性に悩まされる場合がある。これらの問題点は両方共、ＡＲソフトウェアアプリケーションのユーザ体感に悪影響を与えている。

【発明の概要】

【0006】

本発明の目的は、上記の技法および先行技術に対して改善された代替策を提供することである。

【0007】

より具体的には、本発明の目的は、ＡＲソフトウェアアプリケーションによって、仮想オブジェクトを配置するための物理的位置を選択するための改善された解決策を提供することである。

【0008】

本発明のこれらのおよび他の目的は、独立請求項によって規定されるような、本発明の種々の態様によって実現される。本発明の実施形態は従属請求項によって特徴付けられる。

【0009】

本発明の第１の態様によると、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスが提供される。コンピューティングデバイスは、ＡＲソフトウェアアプリケーションのユーザが想定する予想物理的位置、およびユーザの周辺環境に空間依存する特性に基づいて、現在の仮想オブジェクトを配置するための物理的位置を選択するように動作可能な処理手段を含む。空間依存特性は、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える。予想物理的位置は、ユーザの周辺環境において物理的シーンをキャプチャするビデオシーケンス、およびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する物理的位置である。選択された物理的位置は、現在の仮想オブジェクトが、ユーザの周辺環境において物理的シーンをキャプチャするビデオシーケンス上にオーバーレイされる時に配置されているように見える物理的位置である。

【0010】

本発明の第２の態様によると、ＡＲソフトウェアアプリケーションをサポートするための方法が提供される。方法は、コンピューティングデバイスによって実施される、ＡＲソフトウェアアプリケーションのユーザが想定する予想物理的位置、およびユーザの周辺環境に空間依存する特性に基づいて現在の仮想オブジェクトを配置するための物理的位置を選択することを含む。空間依存特性は、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える。予想物理的位置は、ユーザの周辺環境において物理的シーンをキャプチャするビデオシーケンス、およびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する物理的位置である。選択された物理的位置は、現在の仮想オブジェクトが、ユーザの周辺環境において物理的シーンをキャプチャするビデオシーケンス上にオーバーレイされる時に配置されているように見える物理的位置である。

【0011】

本発明の第３の態様によると、コンピュータプログラムが提供される。コンピュータプログラムは、コンピュータ実行可能命令であって、デバイスに、コンピュータ実行可能命令が、デバイスに含まれる処理ユニット上で実行される時、本発明の第２の態様の一実施形態による方法を行わせる、コンピュータ実行可能命令を含む。

【0012】

本発明の第４の態様によると、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、本発明の第３の態様によるコンピュータプログラムが具現化されているコンピュータ可読記憶媒体を含む。

【0013】

このコンテキストでは、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスは、例えば、ＡＲソフトウェアアプリケーションをホストするアプリケーションサーバ、ＨＭＤもしくはＶＲヘッドセット、携帯電話、スマートフォン、移動体端末、パーソナルコンピュータ、ラップトップ、タブレット、またはゲーム機によって具現化されてよい。ＡＲソフトウェアアプリケーションは、例えば、ポケモンＧｏなどのＡＲゲーム、または、ＡＲ観光ガイドなどの物理的な実世界のオブジェクトを拡張するためのＡＲアプリであってよい。本開示全体を通して、「物理的」および「実世界」という用語は区別なく使用され、実世界におけるオブジェクトまたは位置に言及すると理解されるものとする。ユーザの周辺環境、および仮想オブジェクトをオーバーレイすることによって拡張されるキャプチャされたシーンは、任意の実世界の屋内または屋外の位置、例えば、部屋または公共空間であってよい。

【0014】

本発明は、ＡＲソフトウェアアプリケーションによる、仮想オブジェクトの配置または展開のための物理的位置の改善された選択が、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える、空間依存特性を考慮に入れることによって実現可能であるという理解を活用する。空間依存特性は、少なくともユーザの周辺環境において、実世界における物理的位置に応じて変化する。空間依存特性は、例えば、無線接続の、信号強度、データ速度、帯域幅、誤り率、再送率、およびレイテンシといった、ＡＲソフトウェアアプリケーションによって利用される無線接続の性能に関連している場合がある。ＡＲソフトウェアアプリケーションのユーザ体感が典型的には、高い信号強度、高いデータ速度または帯域幅、低い誤り率、低い再送率、および低いレイテンシから利益を得ることは理解されるであろう。無線接続は、受信された情報に基づいてユーザに対して表示するために拡張シーンをレンダリングするユーザデバイスに対する仮想オブジェクトの配置に関する情報を送信するためにＡＲソフトウェアアプリケーションによって利用される接続であってよい。代替的には、無線接続は、ビデオストリームとしてレンダリングされた拡張シーンをユーザデバイスに送信して、拡張シーンをユーザに表示するために利用されてよい。無線接続は、例えば、セルラーＲＡＮ、無線ローカルエリアネットワーク（ＷＬＡＮ）／Ｗｉ−Ｆｉネットワーク、またはＢｌｕｅｔｏｏｔｈなどによって行われてよい。

【0015】

代替的には、空間依存特性は、ＡＲソフトウェアアプリケーションによってレンダリングされる音声のユーザによる認知に関連していてよい。とりわけ、これは、ユーザの周辺環境に配置されるスピーカによってレンダリングされる音声であってよい。例えば、ユーザの認知は、ステレオオーディオまたは３Ｄオーディオが、十分な品質を有し、ひいては、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える特定の位置において送出することが可能であるかどうかに関係している場合がある。

【0016】

現在の仮想オブジェクト、すなわち、ＡＲソフトウェアアプリケーションが展開しようとしている仮想オブジェクトを配置するための物理的位置は、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置における空間依存特性を評価することによって選択される。これは、ユーザの可能性がある将来的な位置、すなわち、オーバーレイされた仮想オブジェクトが、ユーザに表示されかつユーザが見た後のユーザの位置である。特に、仮想オブジェクトは、ユーザに表示される時、ユーザを自身の現在の物理的位置にとどめる、または位置の変化をトリガするための効果を有する場合がある。例えば、ユーザは、例えば、ＡＲゲームにおける「友好的な」キャラクターからのアイテムを収集するために、仮想オブジェクトと対話することを望む場合がある。この場合、ユーザは、現在の仮想オブジェクトが実世界に配置されているように見える物理的位置に近い物理的位置に移動することが予想される。他方では、ＡＲゲームにおいて「非友好的な」キャラクターを表す仮想オブジェクト、すなわち、ユーザのゲームキャラクターに脅威を与えるキャラクターは、ユーザを自身の現在の物理的位置にとどめる、またはさらには、仮想オブジェクトが配置されているように見える物理的位置への距離が増大するようにユーザの物理的位置の変更を開始する可能性がある。

【0017】

仮想オブジェクトを配置するための物理的位置を選択する際にユーザの予想物理的位置における空間依存特性を考慮に入れることは、仮想オブジェクトが、改善された、または少なくとも満足のいくようなユーザ体感をユーザに提供するような物理的位置において展開可能であるという点で有利である。この目的に向けて、ＡＲソフトウェアアプリケーションは、仮想オブジェクトを展開することを回避してよい。これは、悪い無線条件または無線接続性に悩まされる、または、ＡＲソフトウェアアプリケーションによってレンダリングされる音声が十分な品質で認知できない物理的位置において、仮想オブジェクトが配置されているように見える実世界の位置へのユーザの物理的位置の変更をトリガすることが知られている。

【0018】

本発明の一実施形態によると、現在の仮想オブジェクトを配置するための物理的位置は、現在の仮想オブジェクトを配置するための少なくとも１つの候補物理的位置を考慮することによって選択される。これらの候補位置は、例えば、ＡＲソフトウェアアプリケーションから取得されてよい。代替的には、ＡＲソフトウェアアプリケーションは、例えば、ユーザからの距離、および／または他の仮想オブジェクトもしくは実世界のオブジェクトからの距離といった、地理的境界および／または他の情報に基づいて、仮想オブジェクトを配置するための物理的位置を要求してよい。より具体的には、少なくとも１つの候補物理的位置のそれぞれに対して、ユーザが想定する予想物理的位置が判断され、その予想物理的位置における空間依存特性の値が評価される。物理的シーン、および候補物理的位置に配置されているように見えるようにオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答して、ユーザが想定する予想物理的位置はユーザが移動する先であるか、またはユーザがとどまる位置である。空間依存特性が少なくとも１つの候補物理的位置に対して評価された後、現在の仮想オブジェクトを配置するための物理的位置は、少なくとも１つの候補物理的位置において評価された空間依存特性の複数の値に基づいて選択される。

【0019】

本発明の一実施形態によると、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置は、候補物理的位置の所定の範囲内にある。とりわけ、予想物理的位置は、候補物理的位置に近い、または等しいものであってよい。これは、ユーザが、現在の仮想オブジェクトが配置されているように見える物理的位置の近くに移動することが予想される場合に有利である。

【0020】

本発明の一実施形態によると、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置は、現在の仮想オブジェクトのタイプに基づいて判断されてよい。例えば、予想物理的位置は、現在の仮想オブジェクトと同じタイプの仮想オブジェクトをユーザに表示することに応答して、ＡＲソフトウェアアプリケーションのユーザの予想される行動に関する情報に基づいて判断されてよい。例として、ＡＲゲームにおいて、仮想オブジェクトは、ユーザが、それぞれ、仮想オブジェクトの近くに移動する、自身の物理的位置にとどまる、または仮想オブジェクトからさらに遠ざかる可能性があるという予想に従って、「友好的」、「中立」、および「非友好的」などのタイプに分類されてよい。代替的には、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置は、現在の仮想オブジェクトと同じタイプの以前に表示された仮想オブジェクトに応答してユーザの学習済み行動に基づいて判断されてよい。例として、ＡＲ観光ガイドのユーザは、オブジェクトについての情報（例えば、歴史的情報または営業時間）によって拡張される時、ユーザがこのようなオブジェクトを以前に訪れたことを知っている場合、像または建物といった実世界のオブジェクトの近くに移動することが予想される場合がある。

【0021】

本発明の一実施形態によると、空間依存特性の１つまたは複数の値は、ユーザの周辺環境における物理的位置に応じて、データベースから検索されてよい。検索された値は、測定された値、例えば、ユーザが携帯する時のコンピューティングデバイスによって測定された値、または他の同様のコンピューティングデバイス（すなわち、クラウドソースによる）によって測定された値であってよい。代替的には、検索された値は、シミュレーションされた値であってよく、例えば、ユーザの周辺環境における無線カバレッジに対するモデルに基づいて算出されてよい。

【0022】

本発明の利点が場合によって、本発明の第１の態様の実施形態に関して説明されていても、対応する推論は本発明の他の態様の実施形態にも当てはまる。

【0023】

本発明の、さらなる目的、特徴、および利点は、以下の詳細な開示、図面、および添付の特許請求の範囲を検討すると明らかになるであろう。当業者には認識されることであるが、本発明の種々の特徴は以下に説明されるもの以外の実施形態を生じさせるために組み合わせ可能である。

【0024】

本発明の、上記のならびに追加の目的、特徴、および利点は、添付の図面を参照して、本発明の実施形態の以下の例示の非限定的な、詳細な説明を通してより良く理解されるであろう。

【図面の簡単な説明】

【0025】

【図1】本発明の実施形態による、ＡＲソフトウェアアプリケーションのために仮想オブジェクトを配置するための物理的位置を選択するための第１のシナリオを示す図である。

【図2】本発明の実施形態による、ＡＲソフトウェアアプリケーションのために仮想オブジェクトを配置するための物理的位置を選択するための第２のシナリオを示す図である。

【図3】ＡＲソフトウェアアプリケーションのために仮想オブジェクトを配置するための物理的位置を選択する際に本発明の実施形態の種々の役割の間の相互作用を示す図である。

【図4】本発明の一実施形態による、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスを示す図である。

【図5】本発明の別の実施形態による、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスを示す図である。

【図6】本発明のさらなる実施形態による、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスを示す図である。

【図7】ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスに含まれる処理手段の一実施形態を示す図である。

【図8】ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスに含まれる処理手段の別の実施形態を示す図である。

【図9】本発明の実施形態による、ＡＲソフトウェアアプリケーションをサポートする方法を示す図である。

【発明を実施するための形態】

【0026】

図全ては、概略的であり、必ずしも一定尺度ではなく、全般的に、本発明を明らかにするために必要である部分のみを示し、他の部分は、省略される、または示唆されるだけである場合がある。

【0027】

ここで、本発明については、本発明のある特定の実施形態が示されている添付の図面を参照することで本明細書においてより詳しく説明する。しかしながら、本発明は、多くの種々の形態で具現化されてよく、本明細書に示される実施形態に限定されると解釈されないものとする。もっと正確に言えば、これらの実施形態は、本開示が綿密かつ完全なものになるようにして、本発明の範囲を当業者に十分に伝達するように例として提供される。

【0028】

図１において、ＡＲソフトウェアアプリケーションのために仮想オブジェクトを配置するための物理的位置を選択することは、例としてのＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスの一実施形態１２０を使用して示される。ＡＲソフトウェアアプリケーションは、例えば、ＡＲゲームアプリ、またはＡＲ観光ガイドなどの任意の他のタイプのＡＲアプリであってよい。ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスは、例えば、ＡＲソフトウェアアプリケーションをホストするアプリケーションサーバ、ＡＲソフトウェアアプリケーションによる要求に応じて仮想オブジェクトを配置するための物理的位置を選択するためのアプリケーションサーバ、ＨＭＤもしくはＶＲヘッドセット、携帯電話、スマートフォン、移動体端末、パーソナルコンピュータ、ラップトップ、タブレット、またはゲーム機によって具現化されてよい。

【0029】

以下では、本発明の実施形態について、図１を参照して説明する。図１では、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスの一実施形態１２０が、図４においてさらに詳細に示される、ＨＭＤまたはＶＲヘッドセットとして示されている。コンピューティングデバイス１２０は、視野１２２を有するカメラ１２１、少なくとも１つのディスプレイ１２４、処理手段１２５、および通信モジュール１２６を含む。

【0030】

このコンテキストにおいて、仮想オブジェクトを配置すること、または仮想オブジェクトを展開することは、仮想オブジェクトのグラフィック表示、例えば、ＡＲゲームにおけるキャラクター、またはＡＲ観光ガイドによって提供される実世界のオブジェクトについての情報が、物理的な実世界のシーンをキャプチャするビデオシーケンス上にオーバーレイされることで、仮想オブジェクトが物理的シーンにおける対応する物理的位置に配置されているように見えると理解されるものとする。これは図１に示され、ここでは、物理的位置１３１に配置されるオーバーレイされた仮想オブジェクト１０４を有する屋内の物理的シーン１００が示されている。さらに、ＡＲソフトウェアアプリケーションによってレンダリングされ、かつコンピューティングデバイス１２０に組み込まれるディスプレイ１２１を使用して、ＡＲソフトウェアアプリケーションのユーザ１１０に提示されるシーン１２３も示されている。

【0031】

本開示全体を通して、ユーザ１１０が、物理的シーン１００を含む自身の周辺環境全体にわたって移動する場合があることが想定される。物理的シーン１００上にオーバーレイされ、かつユーザ１１０に提示される仮想オブジェクト１０４のタイプに応じて、ユーザ１１０は、仮想オブジェクト１０４が配置される物理的位置１３１の近くに移動してよい、自身の現在の位置にとどまってよい、または仮想オブジェクト１０４からさらに遠ざかってよい。例えば、仮想オブジェクト１０４がＡＲゲームにおいて「友好的」なキャラクターを表す場合、ユーザ１１０は、例えば、宝物といった価値のあるアイテムを収集するために、仮想オブジェクト１０４と対話するために、仮想オブジェクト１０４が配置される物理的位置１３１の近くに移動することが予想される場合がある。対照的に、仮想オブジェクト１０４が「非友好的な」キャラクターを表す場合、ユーザ１１０は、仮想オブジェクト１０４が配置される物理的位置１３１からさらに遠ざかる、または自身の現在の位置を維持する可能性がある。

【0032】

この目的に向けて、処理手段１２５は、図１に示される物理的位置１３１に配置される仮想オブジェクト１０４といった現在の仮想オブジェクトを配置するための物理的位置を選択するように動作可能である。選択された物理的位置１３１は、物理的シーン１００をキャプチャするビデオシーケンス上にオーバーレイされる時に現在の仮想オブジェクト１０４が配置されているように見える物理的位置である。処理手段１２５は、物理的シーン１００およびオーバーレイされた現在の仮想オブジェクト１０４をユーザ１１０に表示することに応答してユーザ１１０が想定する予想物理的位置、および、ユーザ１１０の周辺環境に空間依存する特性に基づいて、物理的位置１３１を選択するように動作可能である。空間依存特性は、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える。本明細書において、ユーザ１１０が想定する予想物理的位置は、オーバーレイされた現在の仮想オブジェクト１０４がユーザ１１０に表示された後の、ユーザ１１０の、推定される、可能性がある将来的な位置である。ユーザ１１０のこの予想物理的位置は、現在の仮想オブジェクト１０４を配置するための物理的位置を選択する際に考慮に入れることで、ＡＲソフトウェアアプリケーションのユーザに、改善された、または少なくとも満足のいくユーザ体感を提供するようにする。

【0033】

空間依存特性は、ＡＲソフトウェアアプリケーションが頼る物理的性質であり、これは、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える。例えば、空間依存特性は、ＡＲソフトウェアアプリケーションによって利用される無線接続の性能に関係している場合がある。図１を参照すると、無線接続は、例えば、無線ローカルエリアネットワーク（ＷＬＡＮ）／Ｗｉ−Ｆｉネットワークのアクセスポイント１０３（ＡＰ）と、コンピューティングデバイス１２０に含まれる通信モジュール１２６との間で確立可能である。空間依存特性は、無線接続の、信号強度、データ速度、帯域幅、誤り率、再送率、およびレイテンシのいずれか１つであってよい。とりわけ、ＡＲソフトウェアアプリケーションのユーザ体感は典型的には、高い信号強度、高いデータ速度、高い帯域幅、低い誤り率、低い再送率、および低いレイテンシから利益を得る。代替策として、空間依存特性は、ＡＲソフトウェアアプリケーションによって、例えば、（図１に示されない）物理的シーン１００の近くに設けられるスピーカによってレンダリングされる音声のユーザ１１０による認知に関係していてよい。この場合、ユーザ１１０による認知は、ステレオオーディオまたは３Ｄオーディオが十分な品質または音量である特定の位置において送出可能かどうかに関係している場合がある。

【0034】

さらに、図１を参照すると、現在の仮想オブジェクト１０４を配置するための代替的な物理的位置１３２が示されている。本発明の実施形態が、現在の仮想オブジェクトを配置するための２つの候補物理的位置を考慮することに限定されないことは理解されるであろう。もっと正確に言えば、ここに提示される例は、簡略化のために簡潔にされている。物理的位置１３１と同様に、代替的な物理的位置１３２は、食器棚１０１に近く、物理的位置１３１および１３２は、例えば、ここではＡＲゲームのキャラクターとして示され、このキャラクターが、部屋の隅、または食器棚１０１といった家具の近くに隠れることができるような、現在の仮想オブジェクト１０４を配置するための物理的位置を見つけるためのＡＲゲームの要件に基づいて、選択されていてよい。しかしながら、物理的位置１３１と対照的に、代替的な物理的位置１３２は、ＡＰ１０３によってもたらされた無線ネットワークにおける干渉を引き起こす場合がある電子レンジ１０２により近い。それゆえに、通信モジュール１２６を介して、ＡＲソフトウェアアプリケーションによって利用される無線接続の性能は、物理的位置１３１と比較して代替的な物理的位置１３２においては劣っていることが予想される。低位性能は、無線接続の、信号強度、データ速度、帯域幅、誤り率、再送率、またはレイテンシなどの空間依存特性によって反映され、かつこの空間依存特性から推測可能である。この目的に向けて、現在の仮想オブジェクト１０４を配置するための物理的位置１３１は、物理的位置１３１における無線接続の上位性能に基づいて２つの候補物理的位置１３１および１３２から選択される。

【0035】

図２において、本発明の実施形態は異なるシナリオで示されている。ここで、ユーザ１１０によって着用される、ＨＭＤまたはＶＲヘッドセットとして再び示される、コンピューティングデバイス１２０に含まれるカメラ１２１によってキャプチャされる、屋外の物理的シーン２００が示されている。図１と同様に、処理手段１２５は、物理的シーン２００およびオーバーレイされた現在の仮想オブジェクト１０４を含むレンダリングされた拡張シーン２２３をユーザ１１０に表示することに応答して、ユーザ１１０が想定する予想物理的位置、および空間依存特性に基づいて、現在の仮想オブジェクト２０４を配置するための物理的位置２３１を選択するように動作可能である。物理的位置２３１は、現在の仮想オブジェクト１０４が、物理的シーン２００をキャプチャするビデオシーケンス上にオーバーレイされる時に配置されているように見える物理的位置である。図１と同様に、空間依存特性は、この例では、ＡＲソフトウェアアプリケーションによって利用される無線接続の性能に関連しており、これは、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える。図１と対照的に、無線接続は、図２において、セルラー通信ネットワークの無線基地局２０３（ＲＢＳ）と、コンピューティングデバイス１２０に含まれる通信モジュール１２６との間で確立される。セルラー通信ネットワークは、例えば、汎欧州デジタル移動電話方式（ＧＳＭ）ネットワーク、Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ（ＵＭＴＳ）ネットワーク、Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）ネットワーク、または５Ｇネットワークのいずれか１つであってよい。

【0036】

図２に示されるシナリオでは、代替的な物理的位置２３２ではなく、物理的位置２３１が、物理的位置２３１における無線接続の上位性能に基づいて、仮想オブジェクト１０４を配置するために選択される。これは、代替的な物理的位置２３２がＲＢＳ２０３と通信モジュール１２６との間の無線接続に悪影響を与える建物２０２の陰にあるという事実による。本発明の実施形態が、現在の仮想オブジェクト２０４を配置するための２つの候補物理的位置２３１および２３２を考慮することに限定されないことは理解されるであろう。

【0037】

以下では、現在の仮想オブジェクト１０４／２０４を配置するための物理的位置を選択することについて、本発明の実施形態に従って、より詳細に説明する。この目的に向けて、処理手段１２５は、候補物理的位置のセットから現在の仮想オブジェクト１０４／２０４を配置するための物理的位置を選択するように動作可能であってよく、このセットは、図１に示される物理的位置１３１および１３２、または図２に示される物理的位置２３１および２３２といった、少なくとも１つの候補物理的位置を含む。候補物理的位置は、例えば、ＡＲソフトウェアアプリケーションによって提供されてよい。例えば、候補物理的位置のリストは、現在の仮想オブジェクト１０４／２０４を配置するための物理的位置を選択するための要求と共に、ＡＲソフトウェアアプリケーションによって提供されてよい。代替的には、ＡＲソフトウェアアプリケーションは、地理的境界、またはＡＲソフトウェアアプリケーションによって提供される他の情報に基づいて、コンピューティングデバイス１２０から現在の仮想オブジェクト１０４／２０４を配置するための物理的位置を要求してよい。例として、ＡＲソフトウェアアプリケーションは、ユーザ１１０、実世界のオブジェクト、および／または他の仮想オブジェクトからの距離、または現在の仮想オブジェクト１０４を配置するための物理的位置が選択可能である範囲内の地理的領域を提供することができる。

【0038】

候補物理的位置のそれぞれについて、現在の仮想オブジェクト１０４／２０４が現在の候補物理的位置に配置されているように見えるように、物理的シーン１００／２００および現在の仮想オブジェクト１０４／２０４をユーザ１１０に表示することに応答して、ユーザ１１０が想定する予想物理的位置が判断される。その後、空間依存特性の値は、ユーザ１１０の判断された予想物理的位置において評価される。したがって、有利には、ＡＲソフトウェアアプリケーションのユーザ体感は、現在の仮想オブジェクト１０４／２０４を配置するための物理的位置が選択される時に考慮される。これは、例えば、以下にさらに説明されるように、データベースからユーザ１１０の周辺環境における物理的位置に応じて空間依存特性の１つまたは複数の値を検索することによって、実現可能である。値は、例えば、１つの候補物理的位置に対して一度に検索されてよい。代替的には、ユーザ１１０の周辺環境を含める、空間依存特性を表す値のリストもしくは配列、またはマップは、データベースから検索されてよい。検索された値は、デバイス１２０の物理的位置、以前に配置された仮想オブジェクト、またはユーザ１１０によって着用されるカメラ１２１の視野１２２などに基づいて選択されてよい。最後に、現在の仮想オブジェクト１０４／２０４を配置するための物理的位置は、少なくとも１つの候補物理的位置において評価された空間依存特性の値に基づいて、候補物理的位置のセットから選択される。

【0039】

例えば、対応する予想物理的位置において評価された空間依存特性が所定の基準を満たす候補物理的位置のうちの１つは、現在の仮想オブジェクト１０４／２０４を配置するための物理的位置として選択されてよい。例として、選択された物理的位置は、候補物理的位置において評価された空間依存特性が所定の基準を満たす第１の候補物理的位置であってよい。好ましくは、所定の基準は、空間依存特性によって影響されるＡＲソフトウェアアプリケーションのユーザ体感に関する、またはこれを反映する。所定の基準は、例えば、それぞれ、ある特定のデータ速度または帯域幅を超える、またはある特定のレイテンシまたは誤り率を超えないといった閾値基準であってよい。

【0040】

代替策として、現在の仮想オブジェクト１０４／２０４を配置するための物理的位置によって、評価された空間依存特性が最大値（例えば、データ速度または帯域幅）または最小値（例えば、誤り率またはレイテンシ）と想定される候補物理的位置として選択されてよい。

【0041】

さらなる代替策として、現在の仮想オブジェクト１０４／２０４を配置するための物理的位置は、複数の候補物理的位置において評価された空間依存特性の複数の値を補間すること、および空間依存特性の補間された値によって、極値、例えば、データ速度または帯域幅の最大値、またはレイテンシまたは誤り率の最小値それぞれであると想定される物理的位置を選択することによって、選択されてよい。

【0042】

空間依存特性が評価される候補物理的位置は、オプションとして、適応可能なやり方で判断されてよい。例えば、次の候補物理的位置は、以前の候補物理的位置に対して評価された空間依存特性の値において特定される傾向に基づいて選択されてよい。例として、次の候補物理的位置は、特定された傾向に基づいて、空間依存特性が無線接続のデータ速度または帯域幅に関する場合に増加する、または、空間依存特性が無線接続の誤り率またはレイテンシに関する場合に減少するようにそれぞれ予想される、ユーザ１１０の周辺環境における方向に基づいて選択されてよい。また、評価される候補物理的位置の数が、ユーザ１１０の周辺環境における物理的位置に応じて空間依存特性の変化率に左右されるものであってよいことは、理解されるであろう。すなわち、空間依存特性がユーザ１１０の周辺環境において比較的一定である場合、空間依存特性が物理的位置をすぐに変化させるシナリオと比較して、より少数の候補物理的位置を評価することで十分である。

【0043】

処理手段１２５は、現在の候補物理的位置、すなわち、評価中の候補物理的位置の所定の範囲内にある予想物理的位置を選択することによって、物理的シーン１００／２００およびオーバーレイされた現在の仮想オブジェクト１０４／２０４をユーザ１１０に表示することに応答して、ユーザ１１０が想定する予想物理的位置を判断するように動作可能であってよい。とりわけ、空間依存特性を評価する目的で、ユーザ１１０の予想物理的位置は、候補物理的位置に近いまたは等しいものになるように選択されてよい。とりわけ、このことは、現在の仮想オブジェクト１０４／２０４が、物理的シーン１００／２００上にオーバーレイされる時の、現在の仮想オブジェクト１０４／２０４へとユーザ１００の物理的位置の変更をトリガする可能性があるタイプのものである場合に当てはまる。

【0044】

オプションとして、物理的シーン１００／２００およびオーバーレイされた現在の仮想オブジェクト１０４／２０４をユーザ１１０に表示することに応答して、ユーザ１１０が想定する予想物理的位置は、現在の仮想オブジェクト１０４／２０４のタイプに基づいて判断される。例えば、ＡＲゲームにおいて、ＡＲゲームのキャラクターに対して可能な仮想オブジェクトのタイプは、「友好的」、「非友好的」、「友達」、または「敵」などであってよい。好ましくは、仮想オブジェクトは、仮想オブジェクトから遠ざかる、仮想オブジェクトの近くに移動する、または自身の現在の物理的位置を維持するといったユーザの行動を反映する種々のタイプに分類される。例えば、物理的シーン１００／２００およびオーバーレイされた現在の仮想オブジェクト１０４／２０４をユーザ１１０に表示することに応答して、ユーザ１１０が想定する予想物理的位置は、現在の仮想オブジェクト１０４と同じタイプの仮想オブジェクトをユーザに表示することに応答して、ＡＲソフトウェアアプリケーションのユーザのグループの予想される行動に関する情報に基づいて、判断されてよい。この情報は、例えば、ＡＲソフトウェアアプリケーションによって提供されてよい。代替的には、物理的シーン１００／２００およびオーバーレイされた現在の仮想オブジェクト１０４／２０４をユーザ１１０に表示することに応答して、ユーザ１１０が想定する予想物理的位置は、現在の仮想オブジェクト１０４と同じタイプの以前に表示された仮想オブジェクトに応答して、ユーザ１１０の学習済み行動に基づいて判断される。すなわち、コンピューティングデバイス１２０の一実施形態は、ユーザ１１０が、ある特定のタイプのオーバーレイされた仮想オブジェクトにどのように反応するか、すなわち、ユーザ１１０は、仮想オブジェクトに対する自身の距離を、増加させる、減少させる、または維持するかどうかを学習することができる。

【0045】

先に説明されるように、候補物理的位置のうちの１つに配置される現在の仮想オブジェクト１０４／２０４を表示することに応答して、ユーザ１１０が想定する予想物理的位置における空間依存特性の値を評価する際に、空間依存特性の１つまたは複数の値は、位置ごとに、または値のリストまたは配列を検索することによって、またはある特定の地理的領域内の空間依存特性を表すマップで、データベースから検索されてよい。とりわけ、これは、ユーザ１１０の周辺環境内の領域であってよい。これらの値は、コンピューティングデバイス１２０によって測定される値、または他の同様の、すなわち、クラウドソースによるコンピューティングデバイスによって測定される値のどちらかであってもよい。代替的には、これらの値は、ユーザ１１０の周辺環境における無線カバレッジに対するモデルを使用して得られる、シミュレーションされた値であってよい。

【0046】

オプションとして、処理手段１２５は、データベースにおいて物理的位置に応じて空間依存特性の測定された値を記憶するようにさらに動作可能であってよい。この目的に向けて、これらの値は、ユーザ１１０によって着用される時にコンピューティングデバイス１２０によって測定される。測定は、一定の間隔を置いて、または測定された値が所定の程度まで変更された時、連続的に行われてよい。測定された値は、それらが測定された物理的位置、例えば、測定中のコンピューティングデバイス１２０の物理的位置と共に記憶される。値は、自らの使用のためにまたはクラウドソーシング目的のために、すなわち、ＡＲソフトウェアアプリケーションの他のユーザによる使用のために記憶されてよい。

【0047】

以下では、図３を参照して、種々の役割、およびこれらの相互作用に関する、本発明の実施形態について説明する。

【0048】

ユーザデバイス３０１の役割は典型的には、ユーザ１１０によって着用されるＨＭＤ１２０もしくはＶＲヘッドセット１２０、タブレット、携帯電話、移動体端末、スマートフォン、またはゲーム機といった、ＡＲソフトウェアアプリケーションのユーザによって動作させるデバイスによって具現化される。ユーザデバイス３０１は典型的には、ユーザ１１０の周辺環境における物理的シーン１００／２００をキャプチャする３１１ためのカメラ１２１、および、レンダリングされたビュー１２３／２２３、すなわち、物理的シーン１００／２００およびオーバーレイされた現在の仮想オブジェクト１０４／２０４をキャプチャするビデオシーケンスをユーザ１１０に表示するためのディスプレイ１２４を含む。

【0049】

ＡＲアプリ３０２の役割は、典型的には、ＡＲソフトウェアアプリケーションをホストする、すなわち実行するコンピューティングデバイスまたはネットワークノードによって具現化される。とりわけ、これは、物理的シーン１００／２００に関するデータに基づいて、ＡＲゲームにおけるキャラクター１０４／２０４またはＡＲ観光ガイドによって提供される情報といった、仮想オブジェクトの展開を評価しかつ決定することを包含し得る。物理的シーン１００／２００に関するデータは、ビデオデータ、例えば、物理的シーン１００／２００をキャプチャするビデオシーケンス、または物理的シーン１００／２００における実世界の物理的対象の対応する物理的位置およびタイプを表すデータのどちらかとして、ユーザデバイス３０１から受信される３１２。実世界のオブジェクトを表すデータは、オブジェクト認識技法を利用することによって、物理的シーン１００／２００をキャプチャするビデオシーケンスを処理する画像／ビデオに基づいて、ユーザデバイス３０１によって判断されてよい。

【0050】

ＡＲアプリ３０２が仮想オブジェクト１０４／２０４を展開する決定を行う３１３時、仮想オブジェクト１０４／２０４を配置するための物理的位置についての要求３１４は、位置選択部３０３に送られる。位置選択部３０３の役割は、本発明の実施形態、とりわけ、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスによって実装され、かつ、物理的シーン１００／２００およびオーバーレイされた現在の仮想オブジェクト１０４／２０４をユーザ１１０に表示すること１２３／２２３に応答して、ユーザ１１０が想定する予想物理的位置、およびＡＲアプリ３０２によってホストされるＡＲソフトウェアアプリケーションのユーザ体感に影響を与える空間依存特性に基づいて、仮想オブジェクト１０４／２０４を配置するための物理的位置１３１／２３１を選択することによって、ＡＲソフトウェアアプリケーションをホストするＡＲアプリ３０２をサポートする。

【0051】

仮想オブジェクト１０４／２０４を配置するための物理的位置を選択する際に、位置選択部３０３は、ユーザ１１０の予想物理的位置における空間依存特性の値についての要求３１５を特性データベース３０４に送り、この特性データベース３０４は、要求された値を位置選択部３０３に送ること３１６によって応答する。特性データベース３０４の役割は、典型的には、位置に応じて空間依存特性の値を維持するコンピューティングデバイスまたはネットワークノードによって実装される。空間依存特性の値を記憶するデータベースは、例えば、コンピューティングデバイス１２０に含まれるメモリまたはデータ記憶域において、コンピューティングデバイス１２０によって、または別個のデバイスによってどちらかで維持されてよい。例えば、データベースは、ＡＲソフトウェアアプリケーションをホストするアプリケーションサーバ、またはＡＲソフトウェアアプリケーションに関連付けられた別のネットワークノードによって維持されてよい。さらなる例として、データベースは、ＲＡＮノードまたはオペレーションサポートシステム（ＯＳＳ）ノードによって維持されてよい。例えば、ＲＡＮノードは、データ速度、誤り率、および信号強度といった、ＲＡＮの性能についての空間分解情報を維持してよい。この情報は、ＲＡＮを使用して移動体端末から収集されてよい、またはシミュレーションされてよい。

【0052】

空間依存特性について受信された３１６値に基づいて、位置選択部３０３は、本明細書に説明されるように、仮想オブジェクト１０４／２０４を配置するために物理的位置１３１／２３１を選択する。選択された物理的位置はＡＲアプリ３０２に送られ３１８、このＡＲアプリ３０２は、選択された物理的位置に仮想オブジェクト１０４／２０４を配置することによって仮想オブジェクト１０４／２０４を展開する３１９。展開された仮想オブジェクトを表すデータは、ユーザデバイス３０１に提供され３２０、このユーザデバイス３０１はその後、選択された物理的位置における仮想オブジェクト１０４／２０４を物理的シーン１００／２００上にオーバーレイすること３２１によって、ユーザ１１０に表示されるビュー１２３／２２３をレンダリングする。代替的には、ユーザ１１０に表示されるビュー１２３／２２３は、ユーザデバイス３０１ではなくＡＲアプリ３０２によってレンダリングされてよい。この場合、展開された仮想オブジェクトを表すデータ３２０は、レンダリングされた拡張シーンの画像／ビデオデータであり、これはその後、ユーザデバイス３０１によって表示される。

【0053】

本発明の実施形態が、別個にまたは組み合わせてのどちらかで先に説明した種々の役割を実装することができることは理解されるであろう。例えば、ＨＭＤ１２０は、ユーザデバイス３０１の役割を実装することに加えて、ＡＲアプリ３０２、位置選択部３０３、および特性データベース３０４の役割のいずれか１つまたはいくつかをさらに実装することができる。代替的には、ＨＭＤ１２０がユーザデバイス３０１の役割のみを実装する場合、ＨＭＤ１２０は、通信ネットワーク、とりわけ、無線接続を介して、ＡＲアプリ３０２の役割を実装する、およびオプションとして、位置選択部３０３および特性データベース３０４の役割を実装するアプリケーションサーバと対話してよい。ＡＲアプリ３０２の役割を実装するだけのアプリケーションサーバは、さらにまた、位置選択部３０３の役割を実装する、およびオプションとして特性データベース３０４の役割を実装する位置サーバと対話してよい。位置選択部３０３の役割を実装するだけの位置サーバは、さらにまた、特性データベース３０４の役割を実装するネットワークノードと対話してよい。

【0054】

本発明の実施形態は、図１、図２、および図４においてＨＭＤまたはＶＲヘッドセットとして示されるコンピューティングデバイス１２０を参照して主に説明されているが、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスは代替的には、他のタイプのデバイスによって具現化されてよい。例えば、コンピューティングデバイスは、図５に示されるように、タブレット、携帯電話、移動体端末、ゲーム機、またはスマートフォン５００によって具現化されてよい。ＨＭＤ１２０と同様に、スマートフォン５００は、カメラ１２１、ディスプレイ１２４、処理手段１２５、および通信モジュール１２６を含む。スマートフォン５００は、ユーザ１１０によって保持されてよい、またはＧｏｏｇｌｅ ＣａｒｄｂｏａｒｄまたはＳａｍｓｕｎｇ Ｇｅａｒ ＶＲと同様のアダプタ５１０を使用してユーザ１１０の前額部に合わせられてよい。

【0055】

さらなる代替策として、図６を参照して、コンピューティングデバイスは、ＡＲアプリ３０２の役割、または位置選択部３０３の役割を実装する、本発明の実施形態による、ＡＲソフトウェアアプリケーションをホストするアプリケーションサーバ６００として、またはＡＲソフトウェアアプリケーションをサポートする位置サーバ６００としてそれぞれ、具現化されてよい。また、アプリケーション／位置サーバ６００の実施形態は、ユーザデバイス３０１の役割および／または特性データベース３０４の役割をさらに実装してよい。ＨＭＤ１２０およびスマートフォン５００と同様に、アプリケーション／位置サーバ６００は、処理手段１２５および通信モジュール１２６を含む。図６に示されるように、アプリケーション／位置サーバ６００は、ユーザ１１０の周辺環境における物理的シーンをキャプチャするためのカメラ、またはキャプチャされたシーンおよびオーバーレイされた仮想オブジェクトをユーザ１１０に提示するためのディスプレイを含まない。もっと正確に言えば、これは、外付けカメラおよび外付けディスプレイそれぞれによって達成されてよい。例えば、ＡＲソフトウェアアプリケーションをホストするアプリケーションサーバ６００は、ユーザデバイス３０１の役割を実装し、かつ、ユーザ１１０の周辺環境における物理的シーンをキャプチャするためのカメラのみならず、キャプチャされたシーンおよびオーバーレイされた仮想オブジェクトをユーザ１１０に提示するためのディスプレイを含む、ユーザ１１０によって着用されるデバイスと、好ましくは無線接続を介して通信してよい。ユーザ着用のデバイスは、例えば、図４に示されるものと同様のＨＭＤまたはＶＲであってよい。さらなる例として、位置サーバ６００は、ユーザデバイス３０１の役割を実装し、かつ、ユーザ１１０の周辺環境における物理的シーンをキャプチャするためのカメラのみならず、キャプチャされたシーンおよびオーバーレイされた仮想オブジェクトをユーザ１１０に提示するためのディスプレイを含むことに加えて、ＡＲソフトウェアアプリケーションをホストすることによってＡＲアプリ３０２の役割も実装する、ユーザ着用のデバイスと、好ましくは無線接続を介して通信してよい。

【0056】

この目的に向けて、現在の仮想オブジェクトを配置するための物理的位置を選択すること、すなわち、位置選択部３０３の役割を実装することに加えて、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスの一実施形態は、ＡＲソフトウェアアプリケーションをホストする、すなわち実行するように、すなわち、ＡＲアプリ３０２の役割を実装するようにさらに動作可能であってよい。代替的には、ＡＲソフトウェアアプリケーションは、位置選択部３０３の役割を実装するＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスと通信している、ＡＲアプリ３０２の役割を実装するアプリケーションサーバ６００といった、別個のデバイスによって実行されてよい。

【0057】

ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスの一実施形態は、仮想オブジェクトを、ＡＲソフトウェアアプリケーションのユーザの周辺環境における物理的シーンをキャプチャするビデオシーケンス上にオーバーレイすることで、オーバーレイされた仮想オブジェクトが選択された物理的位置に配置されているように見えるようにすることによって、ユーザデバイス３０１の役割をさらに実装することができる。好ましくは、ビデオシーケンスは、ユーザによって着用されるカメラによってキャプチャされることで、カメラの視野がユーザの物理的位置および向きと相関する、すなわち、ユーザと共に移動するようにする。カメラはオプションとして、コンピューティングデバイス、例えば、スマートフォン、ＨＭＤ、またはＶＲヘッドセットに含まれてよい。代替的には、外付けカメラは、有線または無線接続を使用してコンピューティングデバイスに、とりわけ、ＧｏＰｒｏ型カメラなど、ユーザによって着用されるカメラに接続されてよい。

【0058】

さらに、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスの一実施形態は、好ましくは、ユーザによって着用されるディスプレイを使用して、物理的シーンをキャプチャするビデオシーケンス、およびオーバーレイされた仮想オブジェクトをユーザに表示するようにさらに動作可能であってよい。ディスプレイは、例えば、スマートフォン、ＨＭＤ、またはＶＲヘッドセットにおいて、例えば、コンピューティングデバイスに組み込まれてよい。代替的には、ディスプレイは、ユーザの視野にわたって、物質的世界および仮想オブジェクト両方の画像を配置するようにユーザの前額部に合わせられてよい。

【0059】

以下では、コンピューティングデバイス１２０、５００、および６００といった、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスに含まれる処理手段１２５の実施形態について、図７および図８を参照して説明する。

【0060】

図７において、処理手段１２５の第１の実施形態７００が示されている。処理手段７００は、汎用プロセッサなどの処理ユニット７０２、ランダムアクセスメモリ（ＲＡＭ）またはフラッシュメモリなどのコンピュータ可読記憶媒体７０３を含む。さらに、処理手段７００は、カメラ１２１、ディスプレイ１２４、および通信モジュール１２６など、コンピューティングデバイス１２０／５００／６００に含まれる他の構成要素からの情報を制御するおよび／または受信するための１つまたは複数のインターフェース７０１（図７における「Ｉ／Ｏ」）を含む。メモリ７０３は、実行可能命令７０４であって、コンピュータ実行可能命令７０４が処理ユニット７０２上で実行される時、コンピューティングデバイス１２０／５００／６００に、本明細書に説明されるように本発明の実施形態に従って行わせる、実行可能命令７０４、すなわち、コンピュータプログラムを含有する。とりわけ、コンピューティングデバイス１２０／５００／６００は、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答して、ＡＲソフトウェアアプリケーションのユーザが想定する予想物理的位置、およびユーザの周辺環境に空間依存しており、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える特性に基づいて、現在の仮想オブジェクトを配置するための物理的位置を選択するように動作可能であってよい。例えば、現在の仮想オブジェクトを配置するための物理的位置は、現在の仮想オブジェクトを配置するための少なくとも１つの候補物理的位置に対して、物理的シーンおよび現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置を判断すること、および予想物理的位置における空間依存特性の値を評価することによって、選択されてよい。現在の仮想オブジェクトを配置するための物理的位置は、さらにまた、少なくとも１つの候補物理的位置において評価された空間依存特性の複数の値に基づいて、選択される。物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置は、例えば、候補物理的位置の所定の範囲内のものであってよい、またはこれに等しいものであってよい。

【0061】

オプションとして、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置は、現在の仮想オブジェクトのタイプに基づいて判断されてよい。例えば、予想物理的位置は、現在の仮想オブジェクトと同じタイプの仮想オブジェクトをユーザに表示することに応答して、ＡＲソフトウェアアプリケーションのユーザの予想される行動に関する情報に基づいて判断されてよい。代替的には、予想物理的位置は、現在の仮想オブジェクトと同じタイプの以前に表示された仮想オブジェクトに応答してユーザの学習済み行動に基づいて判断されてよい。

【0062】

空間依存特性は、ＡＲソフトウェアアプリケーションによって利用される無線接続の性能に関連している場合がある。例えば、空間依存特性は、無線接続の、信号強度、データ速度、帯域幅、誤り率、再送率、およびレイテンシのいずれか１つであってよい。代替的には、空間依存特性は、ＡＲソフトウェアアプリケーションによってレンダリングされる音声のユーザによる認知に関連している場合がある。

【0063】

図８において、処理手段１２５の代替的な実施形態８００が示されている。処理手段７００と同様に、処理手段８００は、カメラ１２１、ディスプレイ１２４、および通信モジュール１２６など、コンピューティングデバイス１２０／５００／６００に含まれる他の構成要素からの情報を制御するおよび／または受信するための１つまたは複数のインターフェース８０１（図８における「Ｉ／Ｏ」）を含む。処理手段８００は、コンピューティングデバイス１２０／５００／６００に、本明細書に説明されるように本発明の実施形態に従って行わせるように設定される位置選択モジュール８０３をさらに含む。とりわけ、位置選択モジュール８０３は、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してＡＲソフトウェアアプリケーションのユーザが想定する予想物理的位置、およびユーザの周辺環境に空間依存しており、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える特性に基づいて、現在の仮想オブジェクトを配置するための物理的位置を選択するように設定される。例えば、現在の仮想オブジェクトを配置するための物理的位置は、現在の仮想オブジェクトを配置するための少なくとも１つの候補物理的位置に対して、物理的シーンおよび現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置を判断すること、および予想物理的位置における空間依存特性の値を評価することによって、選択されてよい。現在の仮想オブジェクトを配置するための物理的位置は、さらにまた、少なくとも１つの候補物理的位置において評価された空間依存特性の複数の値に基づいて、選択される。物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置は、例えば、候補物理的位置の所定の範囲内のものであってよい、またはこれに等しいものであってよい。

【0064】

処理手段８００は、オプションとして、ＡＲソフトウェアアプリケーションをホストする、すなわち、実行するように設定されるＡＲモジュール８０２を含んでよい。

【0065】

オプションとして、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置は、現在の仮想オブジェクトのタイプに基づいて判断されてよい。例えば、予想物理的位置は、現在の仮想オブジェクトと同じタイプの仮想オブジェクトをユーザに表示することに応答して、ＡＲソフトウェアアプリケーションのユーザの予想される行動に関する情報に基づいて判断されてよい。この情報は、例えば、ＡＲモジュール８０２によって提供されてよい、またはＡＲソフトウェアアプリケーションをホストするアプリケーションサーバから検索されてよい。代替的には、予想物理的位置は、現在の仮想オブジェクトと同じタイプの以前に表示された仮想オブジェクトに応答してユーザの学習済み行動に基づいて、処理手段８００に含まれるオプションの学習モジュール８０５によって判断されてよい。

【0066】

空間依存特性は、ＡＲソフトウェアアプリケーションによって利用される無線接続の性能に関連している場合がある。例えば、空間依存特性は、無線接続の、信号強度、データ速度、帯域幅、誤り率、再送率、およびレイテンシのいずれか１つであってよい。代替的には、空間依存特性は、ＡＲソフトウェアアプリケーションによってレンダリングされる音声のユーザによる認知に関連している場合がある。処理手段８００はオプションとして、ユーザの周辺環境における物理的位置に応じて空間依存特性の１つまたは複数の値が検索されてよいデータベースを維持するように設定されるデータベースモジュール８０４を含んでよい。さらにオプションとして、コンピューティングデバイス１２０／５００／６００によって測定される空間依存特性の値は、物理的位置に応じてデータベースにおいてデータベースモジュール８０４によって記憶可能である。

【0067】

インターフェース７０１および８０１、モジュール８０２〜８０５、ならびに処理手段８００に含まれる任意の追加のモジュールは、任意の種類の電子回路構成、例えば、アナログ電子回路構成、デジタル電子回路構成、および適したコンピュータプログラムを実行する処理手段のいずれか１つまたは組み合わせによって、実装されてよい。

【0068】

コンピューティングデバイス１２０／５００／６００に含まれる通信モジュール１２６は、例えば、Ｂｌｕｅｔｏｏｔｈモジュール、ＷＬＡＮ／Ｗｉ−Ｆｉモジュール、または、ＧＭＳ、ＵＭＴＳ、ＬＴＥ、および５Ｇ標準のいずれか１つまたは組み合わせをサポートするセルラー通信モジュールであってよい。代替的には、通信モジュール１２６は、赤外（ＩＲ）光、符号化可視光（ＶＣＬ）、およびＺｉｇＢｅｅなどによって通信をもたらすように設定されてよい。

【0069】

以下では、ＡＲソフトウェアアプリケーションをサポートする方法の実施形態９００について、図９を参照して説明する。方法９００は、ＡＲソフトウェアアプリケーションをホストするゲームサーバ、ＡＲソフトウェアアプリケーションをサポートするための位置サーバ、ＶＲヘッドセットまたはＨＭＤ、携帯電話、スマートフォン、移動体端末、パーソナルコンピュータ、ラップトップ、タブレット、およびゲーム機といった、コンピューティングデバイスによって実施されてよい。方法９００は、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置、およびユーザの周辺環境において空間依存しており、ＡＲソフトウェアアプリケーションのユーザ体感に影響を与える特性に基づいて、現在の仮想オブジェクトを配置するための物理的位置を選択すること９０６を含む。選択された物理的位置は、ＡＲソフトウェアアプリケーションのユーザの周辺環境における物理的シーンをキャプチャするビデオシーケンス上にオーバーレイされる時に現在の仮想オブジェクトが配置されているように見える物理的位置である。

【0070】

現在の仮想オブジェクトを配置するための物理的位置は、（より多くの候補物理的位置が評価される必要があることを判断すること９０５に応答して新しい候補物理的位置を選択するまたは生じさせること９０２によって）現在の仮想オブジェクトを配置するための少なくとも１つの候補物理的位置に対して、物理的シーン、および、候補物理的位置に配置されているように見えるようにオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置を判断すること９０３、および予想物理的位置における空間依存特性の値を評価すること９０４によって、選択されて９０６よい。現在の仮想オブジェクトを配置するための物理的位置は、さらにまた、少なくとも１つの候補物理的位置において評価された９０４空間依存特性の複数の値に基づいて、選択される９０６。候補物理的位置のセットは、例えば、ＡＲソフトウェアアプリケーションから受信されてよい。代替的には、新しい候補物理的位置は、先に説明されるように、ＡＲソフトウェアアプリケーションによって提供される情報に基づいて生じさせて９０２よい。

【0071】

物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置は、例えば、候補物理的位置の所定の範囲内である、またはこれに等しいと判断されて９０３よい。オプションとして、物理的シーンおよびオーバーレイされた現在の仮想オブジェクトをユーザに表示することに応答してユーザが想定する予想物理的位置は、現在の仮想オブジェクトのタイプに基づいて判断されて９０３よい。例えば、予想物理的位置は、現在の仮想オブジェクトと同じタイプの仮想オブジェクトをユーザに表示することに応答して、ＡＲソフトウェアアプリケーションのユーザの予想される行動に関する情報に基づいて、判断されて９０３よい。代替的には、予想物理的位置は、現在の仮想オブジェクトと同じタイプの以前に表示された仮想オブジェクトに応答してユーザの学習済み行動に基づいて判断されて９０３よい。

【0072】

方法９００は、ユーザの周辺環境における物理的位置に応じて空間依存特性の１つまたは複数の値を、データベースから検索することをさらに含んでよい。これらの値も、例えば、ユーザの判断された９０３予想物理的位置における空間依存特性を評価する９０４時に検索されてよい。代替的には、値のリストもしくは配列、またはある特定の地理的領域において空間依存特性を表すマップは、検索されて９０１よい。

【0073】

方法９００は、現在の仮想オブジェクトを、物理的シーンをキャプチャするビデオシーケンス上にオーバーレイすることで、オーバーレイされた現在の仮想オブジェクトが選択された物理的位置に配置されているように見えるようにすることをさらに含んで９０７よい。

【0074】

方法９００は、物理的シーンをキャプチャするビデオシーケンス、およびオーバーレイされた現在の仮想オブジェクトをユーザに表示すること９０８をさらに含んでよい。

【0075】

方法９００が、本開示全体を通して説明されることに従って、追加のまたは修正されたステップを含んでよいことは理解されるであろう。方法９００の一実施形態は、ＡＲソフトウェアアプリケーションをサポートするためのコンピューティングデバイスに含まれる処理ユニットによって実行される、コンピュータプログラム７０４といったソフトウェアとして実装されてよく、したがって、コンピューティングデバイスは、本明細書に説明される本発明の実施形態に従って行うように動作可能である。

【0076】

当業者には認識されることだが、本発明は上述される実施形態には決して限定されない。むしろ、添付の特許請求の範囲内での多くの修正および変形が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】