(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-08
(54)【発明の名称】拡張現実コンテンツ提供のための装置および方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20230426BHJP
G06F 3/01 20060101ALI20230426BHJP
G06F 3/04815 20220101ALI20230426BHJP
【FI】
G06T19/00 A
G06F3/01 510
G06F3/04815
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022558053
(86)(22)【出願日】2021-03-22
(85)【翻訳文提出日】2022-11-15
(86)【国際出願番号】 EP2021057297
(87)【国際公開番号】W WO2021191158
(87)【国際公開日】2021-09-30
(32)【優先日】2020-03-23
(33)【優先権主張国・地域又は機関】CH
(81)【指定国・地域】
(71)【出願人】
【識別番号】522375408
【氏名又は名称】メンター ホールディング アクチェンゲゼルシャフト
【氏名又は名称原語表記】Mentar Holding AG
【住所又は居所原語表記】Boesch 65, 6331 Huenenberg, Switzerland
(74)【代理人】
【識別番号】110002664
【氏名又は名称】弁理士法人相原国際知財事務所
(72)【発明者】
【氏名】シュペリ, レト
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050AA10
5B050BA09
5B050CA07
5B050CA08
5B050DA04
5B050EA09
5B050EA19
5B050EA27
5B050FA02
5B050FA05
5B050FA08
5E555AA25
5E555AA27
5E555AA64
5E555BA02
5E555BA04
5E555BA38
5E555BB04
5E555BB38
5E555BC04
5E555BE17
5E555CA12
5E555CA17
5E555CA42
5E555CA44
5E555CA45
5E555CA47
5E555DA08
5E555DA09
5E555DA23
5E555DC09
5E555DC10
5E555DC13
5E555DC30
5E555DD07
5E555FA00
(57)【要約】
移動通信デバイス(1)は、ユーザの位置を決定(S1)し、コンピュータ化された仮想不動産ディレクトリシステム(4)に問い合わせ要求を送信(S2)し、そして、そこから問い合わせ応答を受信(S3)する、ように構成された電子回路を含む。問い合わせ応答は、ユーザ周辺の予め定められた領域内の仮想不動産オブジェクト位置に割り当てられた1つ以上の仮想不動産オブジェクトを含む。移動通信デバイス(1)は、少なくとも1つの特定の仮想不動産オブジェクトについて、問い合わせ応答で定められた拡張現実コンテンツサーバ5へコンテンツ要求を送信(S5)する。移動通信デバイス(1)は、拡張現実コンテンツサーバ(5)から拡張現実コンテンツを受信(S6)し、特定の仮想不動産オブジェクトのための前記拡張現実コンテンツを再生(S8)する。
【選択図】
図8
【特許請求の範囲】
【請求項1】
移動通信デバイス(1)であって、電子回路(13)を備え、
前記電子回路(13)は、
前記移動通信デバイス(1)のユーザ(2)の位置(21)を決定(S1)し、
通信ネットワーク(3)を介して、コンピュータ化された仮想不動産ディレクトリシステム(4)に問い合わせ要求を送信(S2)し、
前記問い合わせ要求は少なくとも前記ユーザ(2)の前記位置(21)含み、
前記電子回路(13)は、
前記通信ネットワーク(3)を介して前記仮想不動産ディレクトリシステム(4)から問合せ応答を受信(S3)し、
前記問合せ応答は、前記ユーザ(2)周辺の予め定められた領域(R)内の仮想不動産オブジェクト位置(42, 42A, 42B, 42C)に割り当てられた1つ以上の仮想不動産オブジェクト(41, 41A, 41B, 41C)を含み、前記仮想不動産オブジェクト(41, 41A, 41B, 41C)のそれぞれは、識別情報(43)と拡張現実コンテンツサーバ(5, 5A, 5B, 5C)のネットワークアドレス(44)とを含み、
前記電子回路(13)は、
少なくとも1つの特定の仮想不動産オブジェクト(41, 41A, 41B, 41C)について、前記拡張現実コンテンツサーバ(5, 5A, 5B, 5C)の前記ネットワークアドレス(44)をそれぞれ用いて、前記拡張現実コンテンツサーバ(5, 5A, 5B, 5C)の1つにコンテンツ要求を前記通信ネットワーク(3)を介して送信(S5)し、
各コンテンツ要求は、前記特定の仮想不動産オブジェクト(41A, 41B, 41C)の前記識別情報(43)を含み、
前記電子回路(13)は、
前記通信ネットワーク(3)を介して前記拡張現実コンテンツサーバ(5, 5A, 5B, 5C)から前記特定の仮想不動産オブジェクト(41, 41A, 41B, 41C)のための拡張現実コンテンツ(51, 51A, 51B, 51C)を受信(S6)し、
前記特定の仮想不動産オブジェクト(41, 41A, 41B, 41C)のための前記拡張現実コンテンツ(51, 51A, 51B, 51C)を再生(S8)する、
ように構成されている、移動通信デバイス。
【請求項2】
請求項1に記載の移動通信デバイス(1)であって、
前記移動通信デバイス(1)はディスプレイ(11)をさらに備え、
前記電子回路(13)は、前記ディスプレイ(11)上で、前記拡張現実コンテンツ(51, 51A, 51B, 51C)をレンダリングすることによって前記拡張現実コンテンツ(51, 51A, 51B, 51C)を再生(S8)する、
ように構成されている、移動通信デバイス。
【請求項3】
請求項1または請求項2に記載の移動通信デバイス(1)であって、
前記移動通信デバイス(1)はオーディオモジュール(14)をさらに備え、
前記電子回路(13)は、前記オーディオモジュール(14)を用いて前記拡張現実コンテンツ(51, 51A, 51B, 51C)を再生(S8)する、
ように構成されている、移動通信デバイス。
【請求項4】
請求項1~3の何れかに1項に記載の移動通信デバイス(1)であって、
前記電子回路(13)は、
前記拡張現実コンテンツ(51, 51A, 51B, 51C)が前記仮想不動産オブジェクト(41, 41A, 41B, 41C)の境界ボリューム(V)内に完全に含まれるかどうかを検証(S71)し、
肯定的な検証に応答して前記拡張現実コンテンツ(52, 52A, 52B, 52C)を再生し(S8)、
否定的な検証に応答して、前記拡張現実コンテンツ(51, 51A, 51B, 51C)を再生しない(S82)か又は前記拡張現実コンテンツ(51, 51A, 51B, 51C)を修正(S72)して前記仮想不動産オブジェクト(41, 41A, 41B, 41C)の前記境界ボリューム(V)内に適合(52)する修正された拡張現実コンテンツを前記ディスプレイ(11)上で再生する(S81)、
ようにさらに構成されている、移動通信デバイス。
【請求項5】
請求項1~4の何れか1項に記載の移動通信デバイス(1)であって、
前記移動通信デバイス(1)はカメラ(12)をさらに備え、
前記電子回路(13)は、
前記ユーザ(2)の及び/又は前記カメラ(12)の視野(F)をさらに決定し、
前記視野(F)をさらに含む前記問い合わせ要求を送信(S2)する、
ように構成されている、移動通信デバイス。
【請求項6】
請求項1~5の何れか1項に記載の移動通信デバイス(1)であって、
前記電子回路(13)は、
前記視野(F)から、前記ユーザ(2)の前記位置(21)に対する前記視野(F)内の現実世界の特徴の座標(C)を決定し、
そして、前記問い合わせ要求において、前記現実世界の特徴の前記座標(C)を送信(S2)する、
ようにさらに構成されている、移動通信デバイス。
【請求項7】
請求項1~6の何れか1項に記載の移動通信デバイス(1)であって、
前記電子回路(13)は、
前記通信ネットワーク(3)を介してコンテンツIDサーバ(6)から、前記少なくとも1つの拡張現実コンテンツサーバ(5, 5A, 5B, 5C)にそれぞれ割り当てられた少なくとも1つの暗号鍵(61)を受信(S94)し、
前記通信ネットワーク(3)を介して前記少なくとも1つの拡張現実コンテンツサーバ(5, 5A, 5B, 5C)から前記仮想不動産オブジェクト(41, 41A, 41B, 41C)に対する署名付き拡張現実コンテンツを受信(S6’)し、
そして、対応する少なくとも1つの暗号鍵(61)を用いて、前記少なくとも1つの拡張現実コンテンツサーバ(5, 5A, 5B, 5C)から受信した前記署名付き拡張現実コンテンツを検証(S61)する、
ようにさらに構成されている、移動通信デバイス。
【請求項8】
電子回路を(13)有する移動通信デバイス(1)のユーザ(2)に拡張現実コンテンツ(51, 51A, 51B, 51C)を提供する方法であって、
前記方法は、
前記移動通信デバイス(1)において、前記移動通信デバイス(1)の前記ユーザ(2)の位置(21)を決定(S1)することと、
前記移動通信デバイス(1)から通信ネットワーク(3)を介してコンピュータ化された仮想不動産ディレクトリシステム(4)に問い合わせ要求を送信(S2)することと、
を含み、前記問い合わせ要求は少なくとも前記ユーザ(2)の前記位置(21)を含み、
前記方法は、
前記移動通信デバイス(1)において、前記通信ネットワーク(3)を介して前記仮想不動産ディレクトリシステム(4)から問い合わせ応答を受信(S3)すること、
を含み、前記問い合わせ応答は、ユーザ(2)周辺の予め定められた領域(R)内の仮想不動産オブジェクト位置(42, 42A, 42B, 42C)に割り当てられた1つ以上の仮想不動産オブジェクト(41, 41A, 41B, 41C)を含み、前記仮想不動産オブジェクト(41, 41A, 41B, 41C)の各々は、識別情報(43)および拡張現実コンテンツサーバ(5, 5A, 5B, 5C)のネットワークアドレス(44)を含み、
前記方法は、
少なくとも1つの特定の仮想不動産オブジェクト(41, 41A, 41B, 41C)について、前記移動通信デバイス(1)から、前記拡張現実コンテンツサーバ(5, 5A, 5B, 5C)の前記ネットワークアドレス(44)をそれぞれ用いて、前記拡張現実コンテンツサーバ(5, 5A, 5B, 5C)の1つにコンテンツ要求を前記通信ネットワーク(3)を介して送信(S5)すること、
を含み、各コンテンツ要求は、前記特定の仮想不動産オブジェクト(41A, 41B, 41C)の前記識別情報(43)を含み、
前記方法は、
前記移動通信デバイス(1)において、前記通信ネットワーク(3)を介して前記拡張現実コンテンツサーバ(5, 5A, 5B, 5C)から前記特定の仮想不動産オブジェクト(41, 41A, 41B, 41C)のための前記拡張現実コンテンツ(51, 51A, 51B, 51C)を受信(S6)することと、
前記移動通信デバイス(1)において、前記特定の仮想不動産オブジェクト(41, 41A, 41B, 41C)のための前記拡張現実コンテンツ(51, 51A, 51B, 51C)を再生(S8)することと、
を含む、ことを特徴とする方法。
【請求項9】
請求項8に記載の方法であって、
前記移動通信デバイス(1)はディスプレイ(11)を備え、
前記拡張現実コンテンツ(51, 51A, 51B, 51C)を再生(S8)することは、前記ディスプレイ(11)上で、前記拡張現実コンテンツ(51, 51A, 51B, 51C)をレンダリングすることを含む、
ことを特徴とする方法。
【請求項10】
請求項8または請求項9に記載の方法であって、
前記移動通信デバイス(1)はオーディオモジュール(14)を備え、
前記拡張現実コンテンツ(51, 51A, 51B, 51C)を再生(S8)することは、前記オーディオモジュール(14)を用いて前記拡張現実コンテンツ(51, 51A, 51B, 51C)を再生することを含む、
ことを特徴とする方法。
【請求項11】
請求項8~10の何れか1項に記載の方法であって、
前記方法は、
前記拡張現実コンテンツ(51, 51A, 51B, 51C)が前記仮想不動産オブジェクト(41, 41A, 41B, 41C)の境界ボリューム(V)内に完全に含まれるかどうかを前記移動通信デバイス(1)において検証(S71)することと、
肯定的な検証に応答して前記拡張現実コンテンツ(52, 52A, 52B, 52C)を再生する(S8)ことと、
否定的な検証に応答して、前記拡張現実コンテンツ(51, 51A, 51B, 51C)を再生しない(S82)か又は前記拡張現実コンテンツ(51, 51A, 51B, 51C)を前記移動通信デバイス(1)において修(S72)正して前記仮想不動産オブジェクト(41, 41A, 41B, 41C)の前記境界ボリューム(V)内に適合する修正された拡張現実コンテンツ(52)を再生する(S81)ことと、
をさらに含む、ことを特徴とする方法。
【請求項12】
請求項8~11の何れか1項に記載の方法であって、
前記方法は、
前記移動通信デバイス(1)において前記ユーザ(2)の視野(F)および/または前記移動通信デバイス(2)のカメラ(12)の視野(F)を決定することと、
前記移動通信デバイス(1)から前記視野(F)をさらに含む前記問い合わせ要求を送信(S2)することと、
をさらに含む、ことを特徴とする方法。
【請求項13】
請求項12に記載の方法であって、
前記方法は、
前記移動通信デバイス(1)において前記視野(F)から前記ユーザ(2)の前記位置(21)に対する前記視野(F)内の現実世界の特徴の座標(C)を決定することと、
前記移動通信デバイス(1)から、前記現実世界の特徴の前記座標(C)を前記問い合わせ要求で送信(S2)することと、
をさらに含む、ことを特徴とする方法。
【請求項14】
請求項8~13の何れか1項に記載の方法であって、
前記方法は、
前記移動通信デバイス(1)において前記通信ネットワーク(3)を介してコンテンツIDサーバ(6)から、前記少なくとも1つの拡張現実コンテンツサーバ(5, 5A, 5B, 5C)にそれぞれ割り当てられた少なくとも1つの暗号鍵(61)を受信(S94)することと、
前記移動通信デバイス(1)において、前記通信ネットワーク(3)を介して前記少なくとも1つの拡張現実コンテンツサーバ(5, 5A, 5B, 5C)から前記仮想不動産オブジェクト(41, 41A, 41B, 41C)に対する署名付き拡張現実コンテンツを受信(S6’)することと、
前記移動通信デバイス(1)において、対応する少なくとも1つの暗号鍵(61)を用いて、前記少なくとも1つの拡張現実コンテンツサーバ(5, 5A, 5B, 5C)から受信した前記署名付き拡張現実コンテンツを検証(S61)することと、
をさらに含む、ことを特徴とする方法。
【請求項15】
非一時的なコンピュータ可読媒体を含むコンピュータプログラム製品であって、
前記非一時的なコンピュータ可読媒体は、コンピュータプログラムコードをその上に格納しており、
前記コンピュータプログラムコードは、移動通信デバイス(1)が請求項8~14のうちの1つの前記方法によるステップを実行するように、当該移動通信デバイス(1)の電子回路(13)を制御するように構成される、
ことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡張現実コンテンツ提供のための装置および方法に関する。具体的には、本発明は、拡張現実コンテンツ提供のための装置、方法、およびコンピュータプログラム製品に関する。
【背景技術】
【0002】
AR(Augmented Reality:拡張現実)とは、コンピュータが生成した仮想の情報で現実世界の環境を拡張する技術である。ARは、VR(Virtual Reality:仮想現実)とは異なり、現実世界をコンピュータが生成した世界に置き換えるのではなく、多くの場合、現実世界の物体(オブジェクト)に仮想コンテンツを重ね合わせる(オーバーレイする)ことによって、現実世界にコンピュータが生成した情報を付加するものである。仮想コンテンツには、現実世界のオブジェクトにオーバーレイされて、現実世界の視覚体験を高める視覚コンテンツ(デジタルの画像やモデルなど)だけでなく、聴覚コンテンツ、触覚コンテンツ、嗅覚コンテンツ、その他の感覚モダリティ(感覚様相)に関与するコンテンツも含まれ得る。
【0003】
仮想オブジェクトなどの拡張現実コンテンツを再生するハードウェア装置(デバイス)は、通常、移動可能であり、ユーザによって携帯または着用される。これらのモバイルデバイスは、接眼レンズ付きヘッドセット、スマートグラスなどのようなウェアラブルデバイスであり、接眼レンズ上に拡張現実コンテンツをオーバーレイし、それをとおして、ユーザは現実世界と投影された視覚コンテンツとの両方を見ることができる。これらのモバイルデバイスは、スマートフォンなどの携帯電話であってもよく、携帯電話のカメラで撮影した画像を携帯電話のディスプレイにライブ表示し、同時にそのディスプレイ上に拡張現実コンテンツを表示する。携帯電話は、拡張現実コンテンツを再生するために、聴覚コンテンツ用のヘッドフォンや、正確なモーショントラッキングと触覚フィードバックとを提供するグローブなどの追加の接続デバイスによってサポートされ得る。
【0004】
大規模な拡張現実環境では、すべての拡張現実コンテンツをモバイルデバイスにローカルに保存することは現実的でない。なぜなら、モバイルデバイスのローカルストレージ機能は限られており、拡張現実コンテンツは変更・更新される可能性があるためである。モバイルデータネットワークでの高速データ転送が利用可能なことから、オンデマンドで拡張現実コンテンツを提供することが現実的になってきている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、拡張現実コンテンツ提供のための装置および方法を提供することである。
【課題を解決するための手段】
【0006】
特に、本発明は、ユーザの移動通信デバイスに拡張現実コンテンツを提供するための装置、方法、およびコンピュータプログラム製品に関するものである。
本発明によれば、これらの目的は、独立請求項の特徴によって達成される。さらに、従属請求項および説明から、さらなる有利な実施形態が導かれる。
【0007】
本発明によれば、上記目的は、特に、移動通信デバイスであって、前記移動通信デバイスのユーザの位置を決定し、通信ネットワークを介して、コンピュータ化された仮想不動産ディレクトリシステムに問い合わせ要求を送信するように構成された電子回路を備え、前記問い合わせ要求が少なくとも前記ユーザの前記位置を含む、移動通信デバイスによって達成される。前記電子回路は、前記通信ネットワークを介して前記仮想不動産ディレクトリシステムから問合せ応答を受信するように構成され、前記問合せ応答は、前記ユーザ周辺の予め定められた領域内の仮想不動産オブジェクト位置に割り当てられた1つ以上の仮想不動産オブジェクトを含み、前記仮想不動産オブジェクトのそれぞれは、識別情報と拡張現実コンテンツサーバのネットワークアドレスとを含む。前記電子回路は、少なくとも1つの特定の仮想不動産オブジェクトについて、前記拡張現実コンテンツサーバの前記ネットワークアドレスをそれぞれ用いて、前記拡張現実コンテンツサーバの1つにコンテンツ要求を前記通信ネットワークを介して送信するように構成され、各コンテンツ要求は、前記特定の仮想不動産オブジェクトの前記識別情報を含む。前記電子回路は、前記通信ネットワークを介して前記拡張現実コンテンツサーバから前記特定の仮想不動産オブジェクトのための拡張現実コンテンツを受信し、前記特定の仮想不動産オブジェクトのための前記拡張現実コンテンツを再生するように構成される。
【0008】
一実施形態において、前記移動通信デバイスはディスプレイをさらに備え、前記電子回路は、前記ディスプレイ上で、前記拡張現実コンテンツをレンダリング(描画)することによって前記拡張現実コンテンツを再生するように構成される。
一実施形態において、前記移動通信デバイスはオーディオモジュールをさらに備え、前記電子回路は、前記オーディオモジュールを用いて前記拡張現実を再生するように構成される。
一実施形態において、前記電子回路は、前記拡張現実コンテンツが前記仮想不動産オブジェクトの境界ボリューム内に完全に含まれるかどうかを検証し、肯定的な検証に応答して前記拡張現実コンテンツを再生し、否定的な検証に応答して、前記拡張現実コンテンツを再生しないか又は前記拡張現実コンテンツを修正して前記仮想不動産オブジェクトの前記境界ボリューム内に適合(フィット)する修正された拡張現実コンテンツを前記ディスプレイ上で再生する、ようにさらに構成される。
【0009】
一実施形態において、前記移動通信デバイスはカメラをさらに備え、前記電子回路は、前記ユーザの視野および/または前記カメラの視野をさらに決定し、前記視野をさらに含む前記問い合わせ要求を送信するように構成される。
一実施形態において、前記電子回路は、前記視野から、前記ユーザの前記位置に対する前記視野内の現実世界の特徴の座標を決定し、そして、前記問い合わせ要求において、前記現実世界の特徴の前記座標を送信する、ようにさらに構成される。
一実施形態において、前記電子回路は、前記通信ネットワークを介してコンテンツIDサーバから、前記少なくとも1つの拡張現実コンテンツサーバにそれぞれ割り当てられた少なくとも1つの暗号鍵を受信し、前記通信ネットワークを介して前記少なくとも1つの拡張現実コンテンツサーバから前記仮想不動産オブジェクトに対する署名付き拡張現実コンテンツを受信し、そして、対応する少なくとも1つの暗号鍵を用いて、前記少なくとも1つの拡張現実コンテンツサーバから受信した前記署名付き拡張現実コンテンツを検証する、ようにさらに構成される。
【0010】
拡張現実コンテンツ提供のための前記移動通信デバイスに加えて、本発明は、さらに、電子回路を有する移動通信デバイスのユーザに拡張現実コンテンツを提供するための方法に関する。この方法は、前記移動通信デバイスにおいて、前記移動通信デバイスの前記ユーザの位置を決定することと、前記移動通信デバイスから通信ネットワークを介してコンピュータ化された仮想不動産ディレクトリシステムに問い合わせ要求を送信することと、を含むものであり、前記問い合わせ要求は少なくとも前記ユーザの前記位置を含む。この方法は、前記移動通信デバイスにおいて、前記通信ネットワークを介して前記仮想不動産ディレクトリシステムから問い合わせ応答を受信すること、を含むものであり、前記問い合わせ応答は、ユーザ周辺の予め定められた領域内の仮想不動産オブジェクト位置に割り当てられた1つ以上の仮想不動産オブジェクトを含み、前記仮想不動産オブジェクトの各々は、識別情報および拡張現実コンテンツサーバのネットワークアドレスを含む。この方法は、少なくとも1つの特定の仮想不動産オブジェクトについて、前記移動通信デバイスから、前記拡張現実コンテンツサーバの前記ネットワークアドレスをそれぞれ用いて、前記拡張現実コンテンツサーバの1つにコンテンツ要求を前記通信ネットワークを介して送信すること、を含むものであり、各コンテンツ要求は、前記特定の仮想不動産オブジェクトの前記識別情報を含む。この方法は、前記移動通信デバイスにおいて、前記通信ネットワークを介して前記拡張現実コンテンツサーバから前記特定の仮想不動産オブジェクトのための前記拡張現実コンテンツを受信することと、前記移動通信デバイスにおいて、前記特定の仮想不動産オブジェクトのための前記拡張現実コンテンツを再生することと、を含む。
【0011】
一実施形態において、前記移動通信デバイスはディスプレイを備え、前記拡張現実コンテンツを再生することは、前記ディスプレイ上で、前記拡張現実コンテンツをレンダリングすることを含む。
一実施形態において、前記移動通信デバイスはオーディオモジュールを備え、前記拡張現実コンテンツを再生することは、前記オーディオモジュールを用いて前記拡張現実コンテンツを再生することを含む。
一実施形態において、前記方法は、前記拡張現実コンテンツが前記仮想不動産オブジェクトの境界ボリューム内に完全に含まれるかどうかを前記移動通信デバイスにおいて検証することと、肯定的な検証に応答して前記拡張現実コンテンツを再生することと、否定的な検証に応答して、前記拡張現実コンテンツを再生しないか又は前記拡張現実コンテンツを前記移動通信デバイスにおいて修正して前記仮想不動産オブジェクトの前記境界ボリューム内に適合(フィット)する修正された拡張現実コンテンツを再生することと、をさらに含む。
【0012】
一実施形態において、前記方法は、前記移動通信デバイスにおいて前記ユーザの視野および/または前記移動通信デバイスのカメラの視野を決定することと、前記移動通信デバイスから前記視野をさらに含む前記問い合わせ要求を送信することと、をさらに含む。
一実施形態において、前記方法は、前記移動通信デバイスにおいて前記視野から前記ユーザの前記位置に対する前記視野内の現実世界の特徴の座標を決定することと、前記移動通信デバイスから、前記現実世界の特徴の前記座標を前記問い合わせ要求で送信することと、をさらに含む。
【0013】
一実施形態において、前記方法は、前記移動通信デバイスにおいて前記通信ネットワークを介してコンテンツIDサーバから、前記少なくとも1つの拡張現実コンテンツサーバにそれぞれ割り当てられた少なくとも1つの暗号鍵を受信することをさらに含む。前記方法は、前記移動通信デバイスにおいて、前記通信ネットワークを介して前記少なくとも1つの拡張現実コンテンツサーバから前記仮想不動産オブジェクトに対する署名付き拡張現実コンテンツを受信することと、前記移動通信デバイスにおいて、対応する少なくとも1つの暗号鍵を用いて、前記少なくとも1つの拡張現実コンテンツサーバから受信した前記署名付き拡張現実コンテンツを検証することと、を含む。
【0014】
拡張現実コンテンツの提供を決定するための前記デバイスおよび前記方法に加えて、本発明は、さらに、非一時的なコンピュータ可読媒体を含むコンピュータプログラム製品に関する。非一時的なコンピュータ可読媒体は、コンピュータプログラムコードをその上に格納しており、コンピュータプログラムコードは、移動通信デバイスの電子回路を制御するように構成される。具体的には、コンピュータプログラムコードは、前記移動通信デバイスが、前記移動通信デバイスにおいて前記移動通信デバイスの前記ユーザの位置を決定するステップと、前記移動通信デバイスから通信ネットワークを介してコンピュータ化された仮想不動産ディレクトリシステムに問い合わせ要求を送信するステップと、を含むいくつかのステップを実行するように、移動通信デバイスの電子回路を制御するように構成される。なお、前記問い合わせ要求は、少なくとも前記ユーザの前記位置を含むものである。前記ステップは、前記移動通信デバイスにおいて、前記通信ネットワークを介して前記仮想不動産ディレクトリシステムから問い合わせ応答を受信すること、を含むものであり、前記問い合わせ応答は、ユーザ周辺の予め定められた領域内の仮想不動産オブジェクト位置に割り当てられた1つ以上の仮想不動産オブジェクトを含み、前記仮想不動産オブジェクトの各々は、識別情報および拡張現実コンテンツサーバのネットワークアドレスを含む。前記ステップは、少なくとも1つの特定の仮想不動産オブジェクトについて、前記移動通信デバイスから、前記拡張現実コンテンツサーバの前記ネットワークアドレスをそれぞれ用いて、前記拡張現実コンテンツサーバの1つにコンテンツ要求を前記通信ネットワークを介して送信すること、を含むものであり、各コンテンツ要求は、前記特定の仮想不動産オブジェクトの前記識別情報を含む。前記ステップは、前記移動通信デバイスにおいて、前記通信ネットワークを介して前記拡張現実コンテンツサーバから前記特定の仮想不動産オブジェクトのための前記拡張現実コンテンツを受信することと、前記移動通信デバイスにおいて、前記特定の仮想不動産オブジェクトのための前記拡張現実コンテンツを再生することと、を含む。
【0015】
一実施形態において、前記移動通信デバイスはディスプレイを備え、前記コンピュータプログラムコードは、前記拡張現実コンテンツを再生するステップがディスプレイ上で前記拡張現実コンテンツをレンダリングすることを含むように、前記移動通信デバイスの前記電子回路を制御するように構成される。
一実施形態において、前記移動通信デバイスはオーディオモジュールを備え、前記コンピュータプログラムコードは、前記拡張現実コンテンツを再生するステップが前記オーディオモジュールを用いて前記拡張現実コンテンツを再生することを含むように、前記移動通信デバイスの前記電子回路を制御するように構成される。
【0016】
一実施形態において、前記コンピュータプログラムコードは、前記ステップが、前記拡張現実コンテンツが前記仮想不動産オブジェクトの境界ボリューム内に完全に含まれるかどうかを前記移動通信デバイスにおいて検証することと、肯定的な検証に応答して前記拡張現実コンテンツを再生することと、否定的な検証に応答して、前記拡張現実コンテンツを再生しないか又は前記拡張現実コンテンツを前記移動通信デバイスにおいて修正して前記仮想不動産オブジェクトの前記境界ボリューム内に適合(フィット)する修正された拡張現実コンテンツを再生することと、をさらに含むように、前記移動通信デバイスの前記電子回路を制御するようにさらに構成される。
【0017】
一実施形態において、前記コンピュータプログラムコードは、前記ステップが、前記移動通信デバイスにおいて前記ユーザの視野および/または前記移動通信デバイスのカメラの視野を決定することと、前記移動通信デバイスから前記視野をさらに含む前記問い合わせ要求を送信することと、をさらに含むように、前記移動通信デバイスの前記電子回路を制御するようにさらに構成される。一実施形態において、前記コンピュータプログラムコードは、前記ステップが、前記移動通信デバイスにおいて前記視野から前記ユーザの前記位置に対する前記視野内の現実世界の特徴の座標を決定することと、前記移動通信デバイスから、前記現実世界の特徴の前記座標を前記問い合わせ要求で送信することと、をさらに含むように、前記移動通信デバイスの前記電子回路を制御するようにさらに構成される。
【0018】
一実施形態において、前記コンピュータプログラムコードは、前記ステップが、前記移動通信デバイスにおいて前記通信ネットワークを介してコンテンツIDサーバから、前記少なくとも1つの拡張現実コンテンツサーバにそれぞれ割り当てられた少なくとも1つの暗号鍵を受信することをさらに含むように、前記移動通信デバイスの前記電子回路を制御するようにさらに構成される。前記ステップは、前記移動通信デバイスにおいて、前記通信ネットワークを介して前記少なくとも1つの拡張現実コンテンツサーバから前記仮想不動産オブジェクトに対する署名付き拡張現実コンテンツを受信することと、前記移動通信デバイスにおいて、対応する少なくとも1つの暗号鍵を用いて、前記少なくとも1つの拡張現実コンテンツサーバから受信した前記署名付き拡張現実コンテンツを検証することと、をさらに含む。
【0019】
以下、本発明を、図面を参照しながら、例示的に、より詳細に説明する。
【図面の簡単な説明】
【0020】
【
図1】拡張現実コンテンツをユーザに提供するための移動通信デバイスを模式的に示すブロック図。
【
図2】移動通信デバイスを持つユーザ、コンピュータ化された仮想不動産ディレクトリシステム、拡張現実コンテンツサーバ、及びその間にあるネットワークを模式的に示す図。
【
図3】仮想不動産オブジェクトおよび拡張現実コンテンツからなる都市環境においてユーザを平面視した場合を模式的に示す図面。
【
図4】仮想不動産オブジェクトおよび拡張現実コンテンツからなる都市環境におけるユーザの視野を模式的に示す図面。
【
図5】仮想不動産ディレクトリシステムを模式的に示すブロック図。
【
図6】拡張現実コンテンツを含む拡張現実コンテンツサーバを模式的に示すブロック図。
【
図7】コンテンツIDサーバを模式的に示すブロック図。
【
図8】拡張現実コンテンツをユーザに提供するための一連のステップを示す流れ図。
【
図9】拡張現実コンテンツを処理するための一連のステップを示す流れ図。
【
図10】拡張現実コンテンツの修正を説明するためのブロック図。
【
図11】拡張現実コンテンツをユーザに提供するための一連のステップを示す流れ図。
【発明を実施するための形態】
【0021】
図1において、参照番号1は、電子回路13を含む移動通信デバイス1を示す。実施形態に応じて、移動通信デバイス1は、ディスプレイ11、カメラ12、オーディオモジュール14、メモリ、通信インターフェース、バッテリ、位置モジュール、方向モジュール、および/またはユーザインターフェースなどの様々なさらなるモジュールを含む。ユーザインターフェースは、タッチセンサ式ディスプレイの形態でディスプレイ11に統合することができる。移動通信デバイス1のモジュールは、データの送受信が可能なように、データ接続機構を介して互いに接続される。代替的に、または追加的に、移動通信デバイス1のモジュールの1つ又は複数が電子回路13に統合される。移動通信デバイス1の通信インターフェースは、通信ネットワーク3を介してリモートのサーバと無線通信を行うように構成される。通信ネットワーク3は、インターネットのほか、他の中間ネットワークを含む。無線通信は、GSM、CDMA、LTEネットワークなどのモバイルデータネットワーク、および/またはWi-Fi(登録商標)ネットワーク、Bluetooth(登録商標)、および/または他の無線ネットワークの種類と規格とを使用した近距離無線通信インターフェースを用いて行われる。一実施形態において、移動通信デバイス1は、ヘッドフォン、ヘッドマウントディスプレイおよび/またはスマートグラスなどのディスプレイ、および/または触覚グローブを含むアクセサリモジュールをさらに含む。これらのアクセサリモジュールは、データ接続機構を介して移動通信デバイス1とデータのやり取りを行うように構成される。
【0022】
データ接続機構とは、2つのコンポーネント間、デバイス間、システム間、または他のエンティティ間のデータ通信を容易にするメカニズムに関する用語である。一実施形態では、データ接続機構は、ケーブルやシステムバスなどの配線である。一実施形態では、データ接続機構は、移動通信デバイスのいくつかのコンポーネントが互いに物理的に分離され、そして、例えばBluetooth規格を使用して互いに無線でデータを交換するような無線通信を含む。例えば、移動通信デバイス1のある部分は接眼レンズで構成され、一方、別の部分はブレスレットとして手首に装着される装置で構成される。
【0023】
実施形態に応じて、電子回路13は、SoC(System on a Chip)、CPU(Central Processing Unit)、及び/又はGPU(Graphical Processing Unit)、ASICs(Application Specific Integrated Circuits)のようなその他のより特定の処理ユニット、FPGAs(Field Programmable Gate Arrays)などの再プログラム可能な処理ユニット、並びに、ニューラルネットワークおよび/または機械学習処理を高速化するためのAI(Artificial Intelligence)アクセラレータのような特定のアプリケーションを高速化するために特に構成された処理ユニットを含む。
【0024】
メモリは、1つまたは複数の、揮発性および/または不揮発性の記憶部品を含む。記憶部品は、取り外し可能および/または取り外し不可能であってよく、また、全体的に又は部分的に、移動通信デバイス1と一体化することができる。記憶部品の例としては、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、データメモリ、及び/又はその他のデータストアが含まれる。データ記憶システムは、移動通信デバイス1が本明細書に記載される1つ以上のステップおよび/または機能を実行するように、電子回路13を制御するように構成されたコンピュータプログラムコードをその上に格納した非一時的なコンピュータ可読媒体を含む。実施形態に応じて、コンピュータプログラムコードは、コンパイル済み又は非コンパイルのプログラムロジックおよび/または機械コードとなる。このように、移動通信デバイス1は、1つ以上のステップおよび/または機能を実行するように構成される。コンピュータプログラムコードは、個別のソフトウェアアプリケーションを定義するもの、及び/又はその一部である。当業者であれば、コンピュータプログラムコードが、また、複数のソフトウェアアプリケーションに分散され得ることを理解するであろう。一実施形態において、コンピュータプログラムコードは、クライアントアプリケーション又はウェブブラウザを介するなどして、移動通信デバイス1の機能および/またはデータに遠隔でアクセスすることができるように、API(Application Programming Interfaces)などのインターフェースをさらに提供する。一実施形態において、コンピュータプログラムコードは、1つ以上のステップ及び/又は機能が、移動通信デバイス1においてではなく、移動通信デバイス1から離れた別のコンピュータシステムにおいて実行されるように構成される。
【0025】
一実施形態では、移動通信デバイス1は携帯電話である。携帯電話、例えばAndroid(登録商標)オペレーティングシステム又はiOS(登録商標)オペレーティングシステムが動作するスマートフォンは、サーバから、例えばAppストアからコンピュータプログラムコードをダウンロードしてインストールするように構成される。移動通信デバイス1のさらなる例は、タブレットコンピュータやスマートウォッチなどである。
一実施形態では、移動通信デバイス1は、ウェアラブルグラスデバイス(スマートグラスともいう)やヘッドマウントデバイスなどのウェアラブルデバイスである。スマートグラスは、従来のメガネと同様に装着する電子機器であるが、ディスプレイ11がメガネに内蔵されており、ハンズフリーで使用できるのが特徴である。一実施形態において、スマートグラスは、さらに、画像を取り込むためのカメラ12を含む。
【0026】
一実施形態では、コンピュータが移動通信デバイス1をエミュレートし、エミュレートした入力を移動通信デバイス1に与えることで、現実世界の移動通信デバイス1を模擬的に再現する。
一実施形態において、移動通信デバイス1のディスプレイモジュール11は、平面または曲面のLED又はOLEDスクリーンなどの電子ディスプレイを含む。
一実施形態において、移動通信デバイス1のディスプレイモジュール11は、接眼レンズに画像を投影するように構成された投影機などのプロジェクタを含む。
一実施形態において、オーディオモジュール14は、オーディオコンテンツを再生するように構成され、ラウドスピーカーやヘッドフォンなどの電気音響変換器(electro-acoustic transducer)を含む。
一実施形態において、オーディオモジュール14は、有線接続または無線接続を介して、オーディオコンテンツを外部ラウドスピーカー、またはヘッドフォンのセットに送信するように構成される。
移動通信デバイス1の方向モジュールは、ユーザ2および/または移動通信デバイス1の方位(向き)を捉えるものであり、コンパス、加速度センサ、ジャイロセンサなどを含むことができる。
【0027】
ユーザインターフェースは、ユーザ2が移動通信デバイス1と対話することを可能にする。特に、ユーザインターフェースは、ユーザ2が移動通信デバイス1にデータを入力することを可能にする。ユーザインターフェースの例は、ディスプレイ11に統合されたタッチセンサ式ディスプレイ、キーボードなどのハードウェアボタン、およびユーザ2の音声コマンドを取り込むためのマイクロフォンを含む。一実施形態では、ユーザインターフェースは、ユーザ入力として、ユーザ2の動き及び/又はジェスチャーを捕捉するために、カメラなどの他のモジュールをさらに使用する。
【0028】
図2は、移動通信デバイス1を持つユーザ2、コンピュータ化された仮想不動産ディレクトリシステム4、拡張現実コンテンツサーバ5、5A、5B、5C、及び、移動通信デバイス1と仮想不動産ディレクトリシステム4との間および移動通信デバイス1と拡張現実コンテンツサーバ5、5A、5B、5Cとの間の通信が行われる通信ネットワーク3、を模式的に示す図である。図にはステップS2、S4、S5、及びS6も示されているが、これらステップについては、以下、
図8を参照してより詳細に説明される。ユーザ2は、移動通信デバイス1を持ち歩く。
【0029】
移動通信デバイス1がウェアラブルデバイスである一実施形態では、ユーザ2は、移動通信デバイス1を、例えばヘッドピースやアイピースとして身につける。
仮想不動産ディレクトリシステム4と拡張現実コンテンツサーバ5、5A、5B、5Cとを分離することで、仮想不動産オブジェクト41を迅速かつ効率的に決定するように仮想不動産ディレクトリシステム4を構成することができる。したがって、仮想不動産ディレクトリシステム4の所有権およびガバナンスは、拡張現実コンテンツサーバ5、5A、5B、5Cの所有権およびガバナンスから切り離される。仮想不動産ディレクトリシステム4は、移動通信デバイス1に対して比較的少ないデータを提供するのに対し、拡張現実コンテンツサーバ5、5A、5B、5Cは、移動通信デバイス1に対して比較的大きい量のデータを提供する。したがって、仮想不動産ディレクトリシステム4のサーバよりも、拡張現実コンテンツサーバ5、5A、5B、5Cを、比較的密に、かつ、より局所的に提供することで、サーバの効率的な分散が可能となり、そして、拡張現実コンテンツサーバ5、5A、5B、5Cから移動通信デバイス1に対して比較的大きな量のデータを低い伝送遅延かつ大きな帯域幅で提供することが可能となる。
【0030】
図3は、仮想不動産オブジェクト41A、41B、41C、拡張現実コンテンツ51A、51B、51C、および位置21に居るユーザ2からなる都市環境の平面図を模式的に示す図面である。位置21は、ユーザ2の物理的な地理的位置であり、座標系における座標で表現することができる。例えば、座標系は、球座標、すなわち緯度および経度で表現される地理座標系、UTM(Universal Transverse Mercator)のような投影座標系などである。また、スイスの座標系などの国家座標系を使用してユーザ2の位置21を表現することも可能である。一実施形態では、大陸移動(漂移)を補償するためにユーザ2の位置21に対する補正が提供される。
【0031】
移動通信デバイス1がエミュレートされた一実施形態では、ユーザ2の位置21は、エミュレートされた位置である。
ユーザ2周辺の領域Rは、ユーザ2が位置する2次元または3次元の空間として定義される。実施形態または構成によっては、領域Rは、ユーザ2の位置21を中心とする球体、ユーザ2を内側に伴う矩形などの幾何学的なオブジェクトである。一実施形態においては、領域Rは、ユーザ2が向いていない方向よりも、ユーザ2が向いている(例えば、向いている及び/又は見ている)方向に領域Rがユーザ2からさらに延びるように、ユーザ2が向いている方向に関して定義される。
【0032】
現実世界空間は、ツリーデータ構造と同様に配置された仮想不動産オブジェクト41A、41B、41Cの階層に仮想的に分割され、そして、その親仮想不動産オブジェクトは子仮想不動産オブジェクトを含む。階層は、複数のレベルを含む。上位レベルの仮想不動産オブジェクト41A、41B、41Cは、国、州、又は都市など、より大きい地理的領域をカバーする。下位レベルの仮想不動産オブジェクト41A、41B、41Cは、市の広場、ブロック、建物など、より小さい領域をカバーする。さらに低いレベルでは、仮想不動産オブジェクト41A、41B、41Cは、建物の階、店舗、個々の部屋、及び/又は部屋の個々の区画や棚など、さらに小さい空間をカバーする。説明のため、
図4には、仮想不動産オブジェクト41A、41B、41Cが示されている。一例では、仮想不動産オブジェクト41A、41B、41Cは、ポリゴンの集合、辺と頂点との集合、および/またはボクセルによって定義される3次元(3D)オブジェクトである。別の例では、仮想不動産オブジェクト41A、41B、41Cは、仮想不動産オブジェクト41A、41B、41Cの周りに仮想フェンスを定義する線の集合および/または点の集合によって表される2次元(2D)オブジェクトである。さらに、仮想不動産オブジェクト41Dおよび41Eが示されており、仮想不動産オブジェクト41Eは、仮想不動産オブジェクト41Dを含む。
【0033】
各仮想不動産オブジェクト41A、41B、41Cは、仮想不動産オブジェクト41A、41B、41Cを現実世界の場所に関連付ける仮想不動産ディレクトリシステム4内の仮想不動産オブジェクト位置42A、42B、42Cに割り当てられ、これにより仮想不動産オブジェクト位置42A、42B、42Cが座標系における座標によって表現される。ユーザ2の位置21についても上記と同様に、座標系は、例えば、地域または国家の座標系に基づく球座標または投影座標を用いる。一実施形態では、大陸移動やその他の誤差要因を考慮して、座標がさらに補正される。
【0034】
拡張現実コンテンツ51A、51B、51Cは、仮想不動産オブジェクト41A、41B、41Cの内側に配置される。拡張現実コンテンツ51A、51B、51Cの各々は、特定の仮想不動産オブジェクト41A、41B、41Cに割り当てられる。ただし、仮想不動産オブジェクト41、41A、41B、41Cは、拡張現実コンテンツ51A、51B、51Cの1つ又は複数を含んでもよい。拡張現実コンテンツ51A、51B、51Cは、視覚コンテンツ、触覚コンテンツ、聴覚コンテンツなど、1つ又は複数の感覚モダリティの感覚コンテンツを含む。例えば、各拡張現実コンテンツ51A、51B、51Cは、例えば、ポリゴンの集合によって表現される3Dモデルの視覚コンテンツを、例えば、オーディオトラックによって表現される聴覚コンテンツと共に含む。一実施形態では、3Dモデル以外にも、拡張現実コンテンツ51A、51B、51Cは、動的コンテンツ、ユーザ2が対話可能なインタラクティブコンテンツ等を含む。
【0035】
拡張現実コンテンツ51A、51B、51Cは、移動通信デバイス1上で、ユーザ2に対して再生される。移動通信デバイス1の特定のハードウェア構成、例えば、移動通信デバイス1は、どのタイプのデバイスであるか、移動通信デバイス1は、どのモジュールを含んでいるか、および移動通信デバイス1には、どのアクセサリモジュールが接続されているか、によって、拡張現実コンテンツ51A、51B、51Cの再生は、
図8を参照してより詳細に説明するように、感覚コンテンツの1つ以上の種類を再生することを含む。
【0036】
図4は、仮想不動産オブジェクト41、41A、41B、41Cおよび拡張現実コンテンツ51、51A、51B、51Cからなる都市環境におけるユーザ2の視野を模式的に示す図面である。各仮想不動産オブジェクト41、41A、41B、41Cは、仮想不動産オブジェクト41、41A、41B、41Cを含む閉じたボリュームである境界ボリュームVを有している。境界ボリュームVは、ポリゴン、頂点および辺、及び/又は他の幾何学的オブジェクトを用いて定義される。境界ボリュームVが閉じたボリュームであるとは、ある点が、境界ボリュームVの外面を通らずに境界ボリュームVの内側から外側に移動することができないことを意味する。
【0037】
一例として、境界ボリュームVは、仮想不動産オブジェクト41、41A、41B、41Cの形状に正確に一致する。別の例では、境界ボリュームVは、比較的に、より複雑な仮想不動産オブジェクト41、41A、41B、41Cよりも比較的単純な形状であり、これは、仮想不動産オブジェクト41、41A、41B、41Cよりも少ないポリゴン及び/又は少ない頂点と辺とで表現されることを意味する。ただし、境界ボリュームVが仮想不動産オブジェクト41、41A、41B、41Cを完全に含むこと、例えば、仮想不動産オブジェクト41、41A、41B、41Cの点が境界ボリュームVの外側に存在しないことは保証される。一実施形態では、境界ボリュームVは、直方体である。
【0038】
視野Fは破線で示される。視野Fは、例えば、その頂点がユーザ2または移動通信デバイス1にある立体角によって定義される。あるいは、視野は、水平角および垂直角を持ち、頂点が移動通信デバイス1のユーザ2にある四角錐として定義される。
一実施形態では、視野Fは、移動通信デバイス1のカメラ12の視野を用いて定義される。さらに、移動通信デバイス1の加速度センサ及び/又はジャイロセンサは、移動通信デバイス1の向きを決定するために、移動通信デバイス1によって使用される。そして、移動通信デバイス1の向きは、視野Fを決定するために使用される。
【0039】
一実施形態において、視野Fは、移動通信デバイス1の方向モジュールを使用して、ユーザ2の向き、例えば、ユーザ2の体の向き、ユーザ2の頭の向き、および/またはユーザ2の目の向きを決定することによって、ユーザ2の視野として定義される。実施形態によっては、移動通信デバイス1の方向モジュールは、ユーザ2の向きを検出するためのヘッドトラッカー、アイトラッカー、又は他のコンポーネント(複数)を含む。
【0040】
視野Fを使用して、一実施形態では、座標Cが現実世界にオーバーレイされ、視野Fから現実世界のオブジェクト(物体)および特徴の座標を抽出することができるようにする。例えば、移動通信デバイス1のカメラ12は、視野Fを1つ又は複数の画像として取り込み、そして、移動通信デバイス1は、1つ又は複数の画像から、建物の角、通りの端、地平線、および他の人物などの現実世界のオブジェクトの点、辺、および他の特徴を抽出し、これらの抽出した特徴を記憶する。抽出された特徴は、例えば、ユーザ2の算出された位置を改善するため、ユーザ2または移動通信デバイス1の決定された向きを改善するため、及び/又は拡張現実コンテンツ51A、51B、51Cの位置決めおよび再生を改善するために、移動通信デバイス1によって使用される。
【0041】
図5は、仮想不動産ディレクトリシステム4を模式的に示すブロック図である。仮想不動産ディレクトリシステム4は、1つ以上のサーバコンピュータを含むサーバコンピュータシステムを用いて実現される。仮想不動産ディレクトリシステム4のサーバコンピュータは、同じ場所に配置されるか、又は分散配置、即ち、異なる場所に互いに遠隔配置される。仮想不動産ディレクトリシステム4のサーバコンピュータは、1つ以上のプロセッサ、メモリ、および通信ネットワーク3を使用して他のシステムおよび/またはデバイス(装置)とデータを交換するための通信インターフェースを含む。例えば、仮想不動産ディレクトリシステム4は、通信ネットワーク3を使用して、移動通信デバイス1とデータの交換を行う。仮想不動産ディレクトリシステム4は、仮想不動産オブジェクト41を含んだ階層システムおよび/または階層データベースとしてサーバコンピュータ上に実装される。
【0042】
図3に関連して上記で説明したように、現実世界空間は、国、州、又は都市などの、より大きい地理的領域をカバーする上位レベルの仮想不動産オブジェクト41、41A、41B、41Cと、より小さい領域をカバーする下位レベルの仮想不動産オブジェクト41、41A、41B、41Cと、を伴う仮想不動産オブジェクト41、41A、41B、41Cの階層に仮想的に分割される。仮想不動産ディレクトリシステム4は、より上位レベルの仮想不動産オブジェクト41、41A、41B、41Cを含む1つ以上の上位レベルのサーバコンピュータと、下位レベルの仮想不動産オブジェクト41、41A、41B、41Cを含む1つ以上の下位レベルのサーバコンピュータと、が同様の階層構造で配置される。一実施形態では、サーバコンピュータは、それら(当該サーバコンピュータ)が記憶する仮想不動産オブジェクト41、41A、41B、41Cと同じ場所、またはエリア(領域)に配置される。例えば、特定の国のための仮想不動産オブジェクト41、41A、41B、41Cを含むサーバコンピュータは、その同じ国に配置され、そして、特定の都市のための仮想不動産オブジェクト41、41A、41B,41Cを含むサーバコンピュータは、その同じ都市に配置される。
【0043】
仮想不動産オブジェクト41は、仮想不動産オブジェクト位置42、仮想不動産オブジェクト41を一意に識別する識別情報43、拡張現実コンテンツサーバ44のネットワークアドレス、および境界ボリュームVを含む。識別情報43は、少なくとも、仮想不動産オブジェクト41を一意に識別する識別子、または仮想不動産オブジェクト41のハッシュ値を含む。ハッシュ値は、仮想不動産オブジェクト41又はその1つ以上の構成要素をハッシュ化することによって生成される。さらに、仮想不動産オブジェクト41は、仮想不動産オブジェクトの所有者および/または譲受人に関する情報、および仮想不動産オブジェクト41のより複雑な境界に関する3Dコンテンツを含む。所定の仮想不動産オブジェクト41は、その階層レベルに応じて、その所定の仮想不動産オブジェクト41に含まれる子仮想不動産オブジェクト41の識別情報と、その所定の仮想不動産オブジェクト41自体が子仮想不動産オブジェクト41である親仮想不動産オブジェクト41の識別情報と、を含む。これにより、仮想不動産ディレクトリシステム4における仮想不動産オブジェクト41の対応付け(mapping)および走査(traversing)を効率的に行うことができるようになる。
【0044】
一実施形態では、識別情報43は、境界ボリュームVを含む、及び/又は、定義する。さらなる実施形態において、識別情報43は、識別子、ハッシュ値、境界ボリュームV、または仮想不動産オブジェクト位置42のうちの1つ以上を含む。
【0045】
図6は、拡張現実コンテンツ51を含む拡張現実コンテンツサーバ5を模式的に示すブロック図である。拡張現実コンテンツサーバ5は、1つ以上のサーバコンピュータを含む。拡張現実コンテンツサーバ5のサーバコンピュータは、1つ以上のプロセッサ、メモリ、および通信ネットワーク3を使用して他のシステムおよび/またはデバイスとデータを交換するための通信インターフェースを含む。例えば、拡張現実コンテンツサーバ5は、通信ネットワーク3を使用して、移動通信デバイス1とデータの交換を行う。拡張現実コンテンツサーバ5は、仮想不動産ディレクトリシステム4とは別個のものである。例えば、拡張現実コンテンツサーバ5は、仮想不動産オブジェクト41が割り当てられた場所の近くに配置される。拡張現実コンテンツ51は、
図3に関連して上記で説明したように、1つ又は複数の感覚モダリティの感覚コンテンツを含む。
一実施形態では、拡張現実コンテンツサーバ5は、仮想不動産ディレクトリシステム4と同じ場所に配置され、及び/又は仮想不動産ディレクトリシステム4のサーバ上に実装される。
【0046】
図7は、暗号鍵61を含むコンテンツIDサーバ6を模式的に示すブロック図である。コンテンツIDサーバ6は、1つ以上のサーバコンピュータを含む。コンテンツIDサーバ6のサーバコンピュータは、1つ以上のプロセッサ、メモリ、および通信ネットワーク3を使用して他のシステムおよび/またはデバイスとデータを交換するための通信インターフェースを含む。例えば、コンテンツIDサーバ6は、通信ネットワーク3を使用して移動通信デバイス1とデータの交換を行う。コンテンツIDサーバ6は、仮想不動産ディレクトリシステム4とは別個のものである。例えば、コンテンツIDサーバ6は、仮想不動産オブジェクト41が割り当てられた場所の近くに配置される。
一実施形態では、コンテンツIDサーバ6は、仮想不動産ディレクトリシステム4と同じ場所に配置される。
コンテンツIDサーバ6は、以下で
図11を参照してより詳細に説明するように、拡張現実コンテンツサーバ5に格納された拡張現実コンテンツ51を検証するために移動通信デバイス1によって使用される暗号鍵61を記憶する。
【0047】
図8は、拡張現実コンテンツ51を移動通信デバイス1のユーザ2に提供するための一連のステップ(手順)を示す流れ図である。
ステップS1で、ユーザ2の位置21が決定される。ユーザ2の位置21は、移動通信デバイス1の電子回路13によって決定される。移動通信デバイス1の位置モジュールは、例えばGPS(Global Positioning System)、Glonass、及び/又はGalileoなどのグローバルナビゲーション衛星システムからの信号に基づく三辺測量を使用して位置21を決定する。一実施形態では、位置モジュールは、さらに、移動無線またはWLANネットワークなどの他の無線ネットワークの所在(位置)を使用して、例えば、三辺測量によって、ユーザ2の位置21を決定する。一実施形態では、位置モジュールは、ユーザ2の位置21を決定するために、BluetoothまたはUWB(Ultra Wide Band)ビーコンなどのビーコンをさらに使用する。これは、衛星ベースのシステムを使用した場合にユーザ2の位置21を正確に決定できないことがある屋内で、特に有利である。
一実施形態では、ユーザ2の移動通信デバイス1とは別のデバイスが、ユーザ2の位置21を決定し、その位置21を移動通信デバイス2に送信する。
【0048】
ステップS2で、移動通信デバイス1は、送信T2において、通信ネットワーク3を使用して、仮想不動産ディレクトリシステム4に問い合わせ要求を送信する。問い合わせ要求は、ユーザ2の位置21を含む。一実施形態では、問い合わせ要求は、ユーザ2の向き、ユーザ2の視野F、ユーザ2のユーザ識別子、移動通信デバイス1の装置識別子、移動通信デバイス1のネットワークアドレス、移動通信デバイス1の装置タイプ、移動通信デバイス1のハードウェア構成、および/または移動通信デバイス1のユーザ2の移動速度をさらに含む。移動通信デバイス1のハードウェア構成は、移動通信デバイス1の有するハードウェアモジュールを含む。
【0049】
ステップS21で、仮想不動産ディレクトリシステム4において、移動通信デバイス1から問い合わせ要求を受信する。問い合わせ要求は、サーバコンピュータシステムで受信される。特に、問い合わせ要求は、サーバコンピュータシステムの特定のサーバコンピュータで受信される。
【0050】
ステップS22で、仮想不動産ディレクトリシステム4は、問い合わせ要求を処理する。問い合わせ要求は、サーバコンピュータシステムで処理される。問い合わせ要求の処理は、問い合わせ要求を受信した仮想不動産ディレクトリシステム4の特定のサーバコンピュータが、問い合わせ要求を仮想不動産ディレクトリシステム4の別のサーバコンピュータに転送するかどうかをチェックする、ことを含む。問い合わせ要求は、ユーザ2の位置21、ユーザ2のユーザ識別子、移動通信デバイス1の装置識別子、および移動通信デバイス1のネットワークアドレス、との要因のうちの1つ又は複数に応じて転送される。特に、ユーザ2の位置21に応じて、問い合わせ要求は、ユーザ2の位置21の地理的領域を担当する、つまり、ユーザ2の位置21の地理的領域内の仮想不動産位置42に割り当てられた仮想不動産オブジェクト41を含む仮想不動産ディレクトリシステム4の1つ又は複数のさらなるサーバコンピュータに転送される。一実施形態では、仮想不動産ディレクトリシステム4における問い合わせ要求の転送は、所定の受信サーバコンピュータが問い合わせ要求を1つ以上のさらなるサーバコンピュータに転送し、その転送されたサーバコンピュータが問い合わせ結果を処理して他のサーバコンピュータに転送する、という1つ以上の個別の転送ステップを含む。このように、問い合わせ要求は、階層システムおよび/または階層データベースに配置された(複数の)サーバコンピュータを渡る(横断する)ものである。
【0051】
ステップS23で、仮想不動産ディレクトリシステム4は、問い合わせ応答を生成する。問い合わせ応答は、ユーザ2の位置21の近くに位置する仮想不動産オブジェクト41を含む。特に、問い合わせ応答は、ユーザ2の位置21周辺の領域R内の仮想不動産位置42に割り当てられた仮想不動産オブジェクト41を含む。一実施形態では、問い合わせ応答は、視野F内に位置する仮想不動産オブジェクト41を含む。例えば、問い合わせ応答は、仮想不動産ディレクトリシステム4の1つ又は複数のサーバコンピュータに記憶された仮想不動産オブジェクト41を含む。特に、問い合わせ応答は、仮想不動産ディレクトリシステム4の複数のサーバコンピュータからの複数の問い合わせ応答メッセージを含むことができ、各問い合わせ応答メッセージは、ユーザ2の位置21周辺の領域R内の仮想不動産位置42に割り当てられた仮想不動産オブジェクト41を含む。例えば、ある都市を担当する仮想不動産ディレクトリシステム4のサーバコンピュータは、街区、ランドマーク、及び/又は自然地理的特徴に対応する大きな仮想不動産オブジェクト41を有する問い合わせ応答メッセージを生成してもよく、特定の建物を担当する仮想不動産ディレクトリシステム4の別のサーバコンピュータは、建物の特定の階、ユニット、及び/又はエリアとともに特定の建物に対応する、より小さな仮想不動産オブジェクト41を有する別の問い合わせ応答メッセージを生成してもよい。
【0052】
ステップS24で、送信T3において、仮想不動産ディレクトリシステム4から通信ネットワーク3を介して移動通信デバイス1に問い合わせ応答を送信する。問い合わせ応答は、仮想不動産ディレクトリシステム4のサーバコンピュータシステムから送信され、そして、仮想不動産ディレクトリシステム4の1つ又は複数のサーバコンピュータからの1つ以上の個別の問い合わせ応答メッセージを含む。
【0053】
ステップS3で。移動通信デバイス1において、問い合わせ応答を受信する。問い合わせ応答は、1つ以上の仮想不動産オブジェクト41を含む。上記で
図5に基づいて説明したように、各仮想不動産オブジェクト41は、仮想不動産オブジェクト位置42、識別情報43、拡張現実コンテンツサーバのネットワークアドレス44、および境界ボリュームVを含む。
【0054】
ステップS4で、移動通信デバイス1において、問い合わせ応答を処理する。実施形態および/または構成によっては、問い合わせ応答を処理することは、移動通信デバイス1が、ユーザ2の向き及び/又は視野Fを使用して、ユーザ2の向きの方向に位置する及び/又はユーザ2の視野F内に位置する仮想不動産オブジェクト位置42を有する仮想不動産オブジェクト41のサブセットを生成することを含む。さらに、問い合わせ応答を処理することは、移動通信デバイス1が、ユーザ2の移動速度を使用して、ユーザ2が移動する方向に位置する仮想不動産オブジェクト位置42を有する仮想不動産オブジェクト41のサブセットを生成することを含んでもよい。問い合わせ応答は、移動通信デバイス1に記憶される。
一実施形態では、仮想不動産オブジェクト41は、仮想不動産オブジェクト41が仮想不動産オブジェクト位置42において半透明に又は半透明の方法で現実世界の上に重ねられてディスプレイ11上に現れるように、移動通信デバイス1のディスプレイ11に表示される。一実施形態では、これは、仮想不動産オブジェクト41の境界ボリュームVを表示することを含む。
移動通信デバイス1は、当該移動通信デバイス1が問い合わせ応答で受信した仮想不動産オブジェクト41ごとにコンテンツ要求を生成する。一実施形態では、移動通信デバイス1は、仮想不動産オブジェクト41のサブセットのそれらの仮想不動産オブジェクト41に対してのみコンテンツ要求を生成する。各特定のコンテンツ要求は、特定の仮想不動産オブジェクト41の識別情報43を含む。さらに、各特定のコンテンツ要求は、ユーザ2のユーザ識別子、移動通信デバイス1の装置識別子、移動通信デバイス1のネットワークアドレス、移動通信デバイス1の装置タイプ、及び/又は移動通信デバイス1のハードウェア構成を含んでもよい。
【0055】
ステップS5で、移動通信デバイス1は、送信T5において、通信ネットワーク3を介して各特定の拡張現実コンテンツサーバ5の特定のネットワークアドレス44を使用して、1つ以上のコンテンツ要求を1つ以上の拡張現実コンテンツサーバ5に送信する。実施形態および/またはシナリオに応じて、移動通信デバイス1は、1つ以上のコンテンツ要求を各拡張現実コンテンツサーバ5に送信する。
【0056】
ステップS51で、拡張現実コンテンツサーバ5は、コンテンツ要求を受信する。各拡張現実コンテンツサーバ5は、移動通信デバイス1から1つ以上のコンテンツ要求を受信し得る。
【0057】
ステップS52で、各拡張現実コンテンツサーバ5は、コンテンツ要求を使用して拡張現実コンテンツ51を決定する。特に、各特定の仮想不動産オブジェクト41の識別情報43は、その特定の仮想不動産オブジェクト41に割り当てられた拡張現実コンテンツ51を決定するために使用される。さらに、移動通信デバイス1のハードウェア構成は、拡張現実コンテンツ51を決定するために使用され得る。特に、視覚コンテンツ、触覚コンテンツ、及び/又は聴覚コンテンツが拡張現実コンテンツ51に含まれるかどうかは、移動通信デバイス1が所定のコンテンツの種類を再生できるハードウェアモジュールを有することを、そのハードウェア構成が示すかどうかに依存する。さらに、移動通信デバイス2のユーザ2のユーザ識別子は、所定のユーザ2が特定の拡張現実コンテンツ51に対するアクセス権を有していない場合があることから、拡張現実コンテンツ51かどうかを判断するために使用される。
【0058】
ステップS53で、拡張現実コンテンツ51を、送信T6において、1つ又は複数の拡張現実コンテンツサーバ5から移動通信デバイス1に通信ネットワーク3を介して送信する。特に、各拡張現実コンテンツサーバ5は、1つ又は複数の拡張現実コンテンツメッセージを移動通信デバイス1に送信する。拡張現実コンテンツ51に加えて、送信T6は、また、拡張現実コンテンツ51が割り当てられた各特定の仮想不動産オブジェクト41の識別情報43を含む。
【0059】
ステップS6で、移動通信デバイス1において、拡張現実コンテンツ51を、1つ又は複数の拡張現実コンテンツサーバ5から通信ネットワーク3を介して受信する。特に、各拡張現実コンテンツサーバ5は、1つ又は複数の拡張現実コンテンツメッセージを送信する。
【0060】
ステップS7で、移動通信デバイス1において、受信した拡張現実コンテンツ51を処理する。移動通信デバイス1に記憶されている特定の仮想不動産オブジェクト41の識別情報43と、送信T6において受信した識別情報43とを照合することにより、拡張現実コンテンツ51と特定の仮想不動産オブジェクト41とを関連付けることで、拡張現実コンテンツ51が処理される。
【0061】
ステップS8で、移動通信デバイス1において、拡張現実コンテンツ51を再生する。移動通信デバイス1の特定のタイプおよび/または移動通信デバイス1のハードウェア構成に応じて、拡張現実コンテンツ51を再生することは、拡張現実コンテンツ51に含まれる視覚コンテンツを表示する(例えば、ディスプレイ11に画像を表示する)こと、聴覚コンテンツを再生する(例えば、オーディオモジュール14を用いてオーディオトラックを再生する)こと、及び/又は他の種類のコンテンツをレンダリングすること、を含む。
拡張現実コンテンツ51は、拡張現実コンテンツ51が仮想不動産オブジェクト41内に位置する(マッピングおよび配置される)ように再生される。例えば、拡張現実コンテンツ51が視覚コンテンツを含む場合、この視覚コンテンツは、ディスプレイ11上で、仮想不動産オブジェクト位置42の仮想不動産オブジェクト41内に表示されることとなる。特に、視覚コンテンツは、仮想不動産オブジェクト41の境界ボリュームVの内側にレンダリングされることとなる。さらに、拡張現実コンテンツ51が聴覚コンテンツを含む場合、聴覚コンテンツは、仮想不動産オブジェクト位置42の仮想不動産オブジェクト41内部の仮想音源を起点とするかのように再生されることとなる。さらに、移動通信デバイス1は、ユーザ2の位置21が仮想不動産オブジェクト41またはその境界ボリュームVの内部にある場合にのみ、オーディオモジュール14を用いてユーザ2に聴覚コンテンツを再生するように構成される。
【0062】
移動体通信デバイス1がディスプレイ11を含む一実施形態では、拡張現実コンテンツ51の視覚コンテンツは、拡張現実コンテンツ51が現実世界の画像に重ねられた画像として表示される。
移動通信デバイス1がスマートフォンである一実施形態では、電子回路13は、カメラ12に現実世界の画像を撮影するように指示し、そして、ディスプレイ11にその現実世界の画像を表示するように指示する、ように構成される。その後、電子回路13は、現実世界と拡張現実コンテンツ51との両方が同時に表示されるように、現実世界の画像に視覚コンテンツが重ねられた拡張現実コンテンツ51の画像(視覚コンテンツ)をディスプレイ11に描画する。
移動通信デバイスがスマートグラスを含む一実施形態では、電子回路は、拡張現実コンテンツ51が、スマートグラスを装着したユーザ2によって見られる現実世界の画像に重ねられるように拡張現実コンテンツ51の視覚コンテンツをディスプレイ11に表示する、ように構成される。
【0063】
拡張現実コンテンツ51が対話型コンテンツを含む一実施形態において、拡張現実コンテンツ51を再生することは、移動通信デバイス1が、対話型コンテンツと対話するユーザ2の1つ又は複数の対話動作を登録すること、および、ユーザ2の対話動作に基づいて対話型コンテンツを修正または変更すること、を含む。対話動作は、移動通信デバイス1の1つ又は複数のモジュール、例えば、ユーザ2の動きを登録し、その動きを対話型コンテンツとの対話として登録できる位置モジュール、および/またはユーザ2の1つ又は複数の対話動作を登録可能とするユーザ2のユーザ入力、を登録するユーザインターフェースモジュール、を使用して登録される。
一実施形態では、ユーザ2の対話動作は、通信ネットワーク3を介して、移動通信デバイス1から、ユーザ2が対話した特定の拡張現実コンテンツ51を提供した拡張現実コンテンツサーバ5に送信される。
【0064】
図9は、本発明の一実施形態による、拡張現実コンテンツ51を処理するための例示的な一連のステップを示す流れ図である。ステップS71で、移動通信デバイス1の電子回路13は、拡張現実コンテンツ51が仮想不動産オブジェクトの境界ボリュームV内に収まっているか否かを検証する。特に、電子回路13は、拡張現実コンテンツ51の視覚コンテンツが境界ボリュームVを超えて広がっていないことを検証する。3Dモデルまたは画像などの視覚的コンテンツが仮想不動産オブジェクト51の境界ボリュームVを超えて広がっていない場合は、
図8に関連して上記でより詳細に説明したように、電子回路13で肯定的な検証が生成されて、電子回路13によりステップS8が実行される。視覚コンテンツが仮想不動産オブジェクト51の境界ボリュームVを超えて広がっている場合は、電子回路13で否定的な検証が生成されて、電子回路は、移動通信デバイス1の構成に応じて、ステップS72またはステップS82のいずれかに進む。
ステップS82では、電子回路13は、拡張現実コンテンツ51を再生しない。ステップS72では、拡張現実コンテンツ51が、拡張現実コンテンツ51の境界ボリュームVの内側に収まるように、すなわち、そこからはみ出さないように修正される。拡張現実コンテンツ51のこの修正により、移動通信デバイス1は、ステップS81において、拡張現実コンテンツ51が仮想不動産オブジェクト41を超えて拡張することなく、また隣接する仮想不動産オブジェクト41内に拡張することなく、拡張現実コンテンツ51を再生することが可能になる。
【0065】
図10は、本発明の一実施形態による、拡張現実コンテンツ51の修正を説明するためのブロック図である。拡張現実コンテンツ51、特に拡張現実コンテンツ51の視覚コンテンツは、ステップS72において、仮想不動産オブジェクト41の境界ボリュームの内側に収まるように、サイズ変更、変形、切り捨て、及び/又はその他の修正が行われる。
【0066】
図11は、拡張現実コンテンツ51をユーザ2に提供するための例示的な一連のステップを示す流れ図である。ステップS1~S5、そしてS7およびS8に関しては、
図8を参照して提供される上記の説明を参照されたい。ステップS54で、拡張現実コンテンツサーバ5は、暗号化鍵を用いて拡張現実コンテンツ51に署名を行う。拡張現実コンテンツ51に署名することは、暗号化鍵を用いて拡張現実コンテンツ51を暗号化することをさらに含んでもよい。拡張現実コンテンツ51の各部分は、同じ暗号化鍵または異なる暗号化鍵を用いて署名されてもよい。
一実施形態では、拡張現実コンテンツ51は、コンテンツIDサーバ6によって事前に署名され、そして、拡張現実コンテンツサーバ5に送信されてそこに記憶される。
【0067】
そして、ステップS55で、署名された拡張現実コンテンツ(署名付き拡張現実コンテンツ)を、送信T6において、拡張現実コンテンツサーバ5から移動通信デバイス1に送信する。移動通信デバイス1は、ステップS9で、コンテンツID要求をコンテンツIDサーバ6に送信する。コンテンツIDサーバ6は、仮想不動産ディレクトリシステム4とは別個のものであっても、それに統合されたものであってもよい。コンテンツID要求は、ユーザ2の位置21周辺の領域R内の仮想不動産オブジェクト41の識別情報43を含む。
【0068】
ステップS93で、コンテンツIDサーバ6は、送信T92において、1つ又は複数の暗号鍵61を移動通信デバイス1に送信する。実施形態によっては、拡張現実コンテンツサーバ5が拡張現実コンテンツ51に署名するために使用する1つ又は複数の暗号化鍵は、コンテンツIDサーバ6から受信した1つ又は複数の暗号鍵61と同じであるか又は異なっている。
【0069】
ステップS61で、移動通信デバイス1は、暗号鍵61を用いて、署名付き拡張現実コンテンツを検証する。検証は、拡張現実コンテンツサーバ5のアイデンティティ(同一性)を検証することを含む。検証は、署名付き拡張現実コンテンツ51を復号(decrypting)することをさらに含んでもよい。
一実施形態では、暗号化鍵と暗号鍵61とは、非対称の鍵ペアを形成する。
一実施形態では、暗号化鍵と暗号鍵61とは、対称の鍵ペアを形成する。
【0070】
本明細書では、ステップの順序を特定の順序で示したが、当業者であれば、本発明の範囲を逸脱することなく、少なくともいくつかのステップの順序を変更し得ることを理解するであろうことに留意されたい。
【国際調査報告】