特開 2024-88703 マッピングデバイスからのローカルマップのマージング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024088703

(43)【公開日】2024-07-02

(54)【発明の名称】マッピングデバイスからのローカルマップのマージング

(51)【国際特許分類】

   G06T 17/05 20110101AFI20240625BHJP

   G06T 11/60 20060101ALI20240625BHJP

   G09B 29/00 20060101ALI20240625BHJP

   A63F 13/216 20140101ALN20240625BHJP

   A63F 13/65 20140101ALN20240625BHJP

   A63F 13/30 20140101ALN20240625BHJP

【ＦＩ】

G06T17/05

G06T11/60 300

G09B29/00 Z

A63F13/216

A63F13/65

A63F13/30

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2024059577

(22)【出願日】2024-04-02

(62)【分割の表示】P 2022538069の分割

【原出願日】2020-12-18

(31)【優先権主張番号】62/952,036

(32)【優先日】2019-12-20

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】519087723

【氏名又は名称】ナイアンティック， インコーポレイテッド

【氏名又は名称原語表記】ＮＩＡＮＴＩＣ，ＩＮＣ．

【住所又は居所原語表記】Ｏｎｅ Ｆｅｒｒｙ Ｂｕｉｌｄｉｎｇ，Ｓｕｉｔｅ ２００ Ｓａｎ Ｆｒａｎｃｉｓｃｏ，ＣＡ ９４１１１ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】アンヴィズ エッカティ

(72)【発明者】

【氏名】プルナ ソウミャ ムヌクトラ

(72)【発明者】

【氏名】ダーリニ クリシュナ

(72)【発明者】

【氏名】ピーター ジェームズ ターナー

(72)【発明者】

【氏名】ガンディヴァン ラグラマン

(72)【発明者】

【氏名】シー イン ダイアナ フー

(57)【要約】

【課題】マッピングデバイスからのローカルマップのマージングを提供する。
【解決手段】拡張現実システムは、クライアントデバイス上でコンピュータ媒介リアリティを生成する。クライアントデバイスは、環境の画像データを取り込むように構成されたカメラを含むセンサーを有する。拡張現実システムは、取り込まれた画像データに基づいて、クライアントデバイスの周囲の環境の第１の３Ｄマップを生成する。サーバーは、環境内の第２のクライアントデバイスから取り込まれた画像データを受信し、環境の第２の３Ｄマップを生成する。サーバーは、第１及び第２の３Ｄを単一の３Ｄマップに連結する。単一の３Ｄマップは、クライアントデバイスで取り込まれた画像データによって生成された３Ｄマップを表すノードと、ノード間の変換を表すエッジとを用いた実世界のグラフィック表現であり得る。
【選択図】図５

【特許請求の範囲】

【請求項1】

マップデータを組み合わせて環境の３次元（３D）マップを生成するコンピュータ実装方法であって、
第１のクライアントデバイスと第２のクライアントデバイスとの間で位置を同期させることと、
第１の画像データのセットに基づいて、第１の３Ｄマップを特定することであって、前記第１の画像データのセットは、前記第１のクライアントデバイスによって生成されることと、
第２の画像データのセットに基づいて、第２の３Ｄマップを特定することであって、前記第２の画像データのセットは、前記第２のクライアントデバイスによって生成されることと、
前記第１のクライアントデバイスと前記第２のクライアントデバイスとの間で同期された前記位置に基づいて、前記第１の３Ｄマップ及び前記第２の３Ｄマップから単一の３Ｄマップを生成することと、
を備える、コンピュータ実装方法。

【請求項2】

前記単一の３Ｄマップを生成することは、前記第１のクライアントデバイスと前記第２のクライアントデバイスとの間で同期された前記位置に基づいて、前記第１の３Ｄマップ及び前記第２の３Ｄマップを互いにつなぎ合わせることを備える、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記単一の３Ｄマップを生成することは、前記第１の画像データのセット及び前記第２の画像データのセットの共通の特徴にさらに基づく、請求項１に記載のコンピュータ実装方法。

【請求項4】

前記共通の特徴は、ＱＲコード又は第３のクライアントデバイスである、請求項３に記載のコンピュータ実装方法。

【請求項5】

前記第１の３Ｄマップ及び前記第２の３Ｄマップから前記単一の３Ｄマップを生成する前に、
前記第１の３Ｄマップにおける第１の特徴を特定することと、
前記第２の３Ｄマップにおける第２の特徴を特定することと、
前記第１のクライアントデバイスと前記第２のクライアントデバイスとの間で同期された前記位置に基づいて、前記第２の特徴に対する前記第１の特徴の相対的な位置を決定することと、
をさらに備える、請求項１に記載のコンピュータ実装方法。

【請求項6】

前記単一の３Ｄマップを生成することは、前記第２の特徴に対する前記第１の特徴の前記相対的な位置にさらに基づく、請求項５に記載のコンピュータ実装方法。

【請求項7】

前記第１の特徴は、前記第１の３Dマップ及び前記第２の３Dマップに共通する特徴である、請求項５に記載のコンピュータ実装方法。

【請求項8】

前記第１の３Ｄマップ及び前記第２の３Ｄマップは重ならない、請求項１に記載のコンピュータ実装方法。

【請求項9】

前記第１の３Ｄマップは、グラフの第１のノードに関連付けられ、
前記第２の３Ｄマップは、前記グラフの第２のノードに関連付けられ、
前記第１のノード及び前記第２のノードは、前記第１のクライアントデバイスと前記第２のクライアントデバイスとの間で同期された前記位置に基づいて決定されたエッジによって連結される、
請求項１に記載のコンピュータ実装方法。

【請求項10】

前記第１の３Ｄマップ及び前記第２の３Ｄマップから前記単一の３Ｄマップを生成する前に、
前記第１の画像データのセット及び前記第２の画像データのセットを受信することと、
前記第１の画像データのセットに基づいて、前記第１の３Ｄマップを生成することと、
前記第２の画像データのセットに基づいて、前記第２の３Ｄマップを生成することと、
をさらに備える、請求項１に記載のコンピュータ実装方法。

【請求項11】

非一時的コンピュータ可読記憶媒体であって、コンピューティングデバイスによって実行されると、
第１のクライアントデバイスと第２のクライアントデバイスとの間で位置を同期させることと、
第１の画像データのセットに基づいて、第１の３Ｄマップを特定することであって、前記第１の画像データのセットは、前記第１のクライアントデバイスによって生成されることと、
第２の画像データのセットに基づいて、第２の３Ｄマップを特定することであって、前記第２の画像データのセットは、前記第２のクライアントデバイスによって生成されることと、
前記第１のクライアントデバイスと前記第２のクライアントデバイスとの間で同期された前記位置に基づいて、前記第１の３Ｄマップ及び前記第２の３Ｄマップから単一の３Ｄマップを生成することと、
を含む動作を前記コンピューティングデバイスに実行させる指令を備える、非一時的コンピュータ可読記憶媒体。

【請求項12】

前記単一の３Ｄマップを生成することは、前記第１のクライアントデバイスと前記第２のクライアントデバイスとの間で同期された前記位置に基づいて、前記第１の３Ｄマップ及び前記第２の３Ｄマップを互いにつなぎ合わせることを備える、請求項１１に記載の非一時的コンピュータ可読記憶媒体。

【請求項13】

前記単一の３Ｄマップを生成することは、前記第１の画像データのセット及び前記第２の画像データのセットの共通の特徴にさらに基づく、請求項１１に記載の非一時的コンピュータ可読記憶媒体。

【請求項14】

前記共通の特徴は、ＱＲコード又は第３のクライアントデバイスである、請求項１３に記載の非一時的コンピュータ可読記憶媒体。

【請求項15】

前記動作は、
前記第１の３Ｄマップ及び前記第２の３Ｄマップから前記単一の３Ｄマップを生成する前に、
前記第１の３Ｄマップにおける第１の特徴を特定することと、
前記第２の３Ｄマップにおける第２の特徴を特定することと、
前記第１のクライアントデバイスと前記第２のクライアントデバイスとの間で同期された前記位置に基づいて、前記第２の特徴に対する前記第１の特徴の相対的な位置を決定することと、
をさらに備える、請求項１１に記載の非一時的コンピュータ可読記憶媒体。

【請求項16】

前記単一の３Ｄマップを生成することは、前記第２の特徴に対する前記第１の特徴の前記相対的な位置にさらに基づく、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項17】

前記第１の特徴は、前記第１の３Dマップ及び前記第２の３Dマップに共通する特徴である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項18】

前記第１の３Ｄマップ及び前記第２の３Ｄマップは重ならない、請求項１１に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

前記第１の３Ｄマップは、グラフの第１のノードに関連付けられ、
前記第２の３Ｄマップは、前記グラフの第２のノードに関連付けられ、
前記第１のノード及び前記第２のノードは、前記第１のクライアントデバイスと前記第２のクライアントデバイスとの間で同期された前記位置に基づいて決定されたエッジによって連結される、
請求項１１に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

コンピュータシステムであって、
コンピュータプロセッサシステムと、
コンピュータ可読記憶媒体であって、前記コンピュータプロセッサシステムによって実行されると、
第１のクライアントデバイスと第２のクライアントデバイスとの間で位置を同期させることと、
第１の画像データのセットに基づいて、第１の３Ｄマップを特定することであって、前記第１の画像データのセットは、前記第１のクライアントデバイスによって生成されることと、
第２の画像データのセットに基づいて、第２の３Ｄマップを特定することであって、前記第２の画像データのセットは、前記第２のクライアントデバイスによって生成されることと、
前記第１のクライアントデバイスと前記第２のクライアントデバイスとの間で同期された前記位置に基づいて、前記第１の３Ｄマップ及び前記第２の３Ｄマップから単一の３Ｄマップを生成することと、
を備えた動作を実行する指令を格納する、該コンピュータ可読記憶媒体と、
を備える、コンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、コンピュータ媒介リアリティシステムに関し、より詳細には、クライアントデバイスによって集められたデータから生成される３Ｄマップを単一の３Ｄマップに連結する拡張現実（ＡＲ）システムに関するものである。

【背景技術】

【0002】

本出願は、その全体が参照により組み込まれる２０１９年１２月２０日出願の米国仮出願第６２／９５２，０３６号の利益を主張するものである。

【0003】

パラレルリアリティゲームは、プレイヤのコミュニティを魅了することができる様々なインタラクションをホストすることが可能な、実世界の少なくとも一部を並行する共有仮想世界を提供し得る。実世界の少なくとも一部に並行する地理を有する仮想世界を提供することは、プレイヤが、実世界をナビゲートすることによって仮想世界をナビゲートすることを与える。プレイ中、プレイヤは携帯型又は装着型のデバイスを通して仮想世界を見る場合があり、コンピュータ媒介リアリティ技術を使用して、プレイヤの視覚又は聴覚による環境の認識を追加、減算、又はその他の方法で変化させる。

【0004】

しかしながら、環境のプレイヤの視覚的知覚を正確に変更することは、典型的には、実世界におけるプレイヤの位置を正確に知ることを伴う。従来の測位デバイスは、相当の大きさの誤差範囲なしにプレイヤの位置を決定するほど正確ではないので、これを確認することは困難であり得る。したがって、将来的にモバイル機器の位置を決定することを支援するために、プレイヤのモバイル機器のカメラによって取り込まれた実世界をマッピングするためのシステムが望まれている。

【発明の概要】

【0005】

位置情報パラレルリアリティゲームでは、プレイヤは、スマートフォンなどの位置認識クライアントデバイスを使用し、実世界を移動することによって仮想世界をナビゲートする。多くのクライアントデバイスは、デバイス上のカメラによって取り込まれた画像データを使用してプレイヤの環境をマッピングし、それらは、プレイヤの位置を決定したり、取り込まれた画像データ上にオーバーレイする拡張現実（ＡＲ）画像を決定したりすることなどであり得る。これらのマップは、同じ環境を記述し得るが、異なるクライアントデバイスで取り込まれるため、マップは、異なる座標空間を有し、環境の異なる視野を取り込み得る。環境の単一の３Ｄマップを作成するために、生成されたマップは、画像データ、位置データ、及び/又はそのデータを取り込んだクライアントデバイスに基づいて、一緒に連結され得る。

【0006】

特定の実施形態によれば、ネットワークによって複数のクライアントデバイスに接続されたシステムは、第１のクライアントデバイスに統合されたカメラによって取り込まれた画像データの第１のセットを受信する。画像データの第１のセットは、第１のクライアントデバイスの周囲の第１のエリアのほぼリアルタイムの視野を表す。システムは、画像データの第１のセットに基づき、第１の３Ｄマップを生成する。３Ｄマップは、第１のクライアントデバイスの周囲の第１のエリアを空間的に記述する。システムは、第２のクライアントデバイスの周囲の第２のエリアのほぼリアルタイムの視野を表す第２の画像データのセットを受信し、第２の画像データのセットに基づいて第２の３Ｄマップを生成する。システムは、第１及び第２の３Ｄマップを分析して共通の特徴を特定し、第１及び第２の３Ｄマップを、共通の特徴に基づいて単一の３Ｄマップに連結する。

【0007】

単一の３Ｄマップは、それぞれがクライアントデバイスで取り込まれた画像データによって生成された３Ｄマップを表すノードのグラフであり得る。各ノードは、画像データを取り込んだクライアントデバイスに基づく異なる座標空間と関連付けられてもよく、グラフは、座標空間間の変換を表すノード間のエッジを含んでもよい。システムは、グラフを使用して、環境におけるクライアントデバイスの位置を決定してもよい。

【0008】

これら及び他の特徴、態様、及び利点は、以下の説明及び添付の特許請求の範囲を参照することにより、より良く理解され得る。添付の図面は、特定の実施形態を示し、説明と合わせて、様々な原理を説明するのに役立つ。しかしながら、図面は、限定的であると考えるべきではない。むしろ、保護範囲は、特許請求の範囲から決定されるべきである。

【図面の簡単な説明】

【0009】

【図1】一実施形態による、拡張現実データを生成及び表示するためのネットワーク化されたコンピューティング環境を示す図である。

【図2】一実施形態によるワンワールドマッピングモジュール１２０のブロック図である。

【図3】一実施形態による、拡張現実データを生成及び表示するためのＡＲコンピューティングシステムによって実行可能な処理を示すフローチャートである。

【図4】一実施形態による、位置情報パラレルリアリティゲームのプレイヤのゲームボードとして動作できる、実世界と並行する仮想世界の概念図である。

【図5】一実施形態による、第１の３Ｄマップと第２の３Ｄマップを環境の単一の３Ｄマップに連結することを示すフローチャートである。

【図6】一実施形態による、同期に基づく環境の単一の３Ｄマップを生成することを示すフローチャートである。

【図7】一実施形態による、クライアントデバイス又はサーバーとして使用するのに適したコンピュータの例を示す高レベルブロック図である。

【発明を実施するための形態】

【0010】

システム及び方法は、２つ以上のローカルマップを１つのマップに連結する。単一のマップは、実世界と並行する仮想世界における拡張現実インタラクションを可能にするために使用され得る。様々な実施形態において、ローカルマップは、共通の特徴を含むこと、ローカルマップを生成したクライアントデバイスの相対位置を示す同期データ、又はその両方に基づいてつなぎ合わされる。

【0011】

一実施形態では、システムは、クライアントデバイス（例えば、携帯型又は装着型の電子デバイス）上の画像及び全地球測位システム（ＧＰＳ）座標を使用して、３Ｄマップを生成する。３Ｄマップは、カメラ記録モジュールと、加速度計やジャイロスコープなどの慣性測定ユニット（ＩＭＵ）とで構築される。画像とＧＰＳ座標は、サーバーに送信される。サーバーとクライアントデバイスは、データを一緒に処理し、オブジェクトとジオメトリを確立し、潜在的な相互作用を決定する。潜在的なインタラクションの例としては、ＡＲアニメーションのある部屋で仮想の要素を動かすようなものがある。

【0012】

画像と３Ｄマップを一緒に使用することにより、システムは、ニューラルネットワーク又は他のタイプのモデルを使用して、オブジェクト検出及びジオメトリ推定を達成し得る。ニューラルネットワークの例は、接続された単純なユニット（人工ニューロン）の大規模なコレクションを使用する機械学習で使用される計算モデルである。ソフトウェアでユニットを接続し、結合された入力信号が十分に大きければ、ユニットが独自の出力信号を発射する。システムは、ＡＲデータを文脈的に理解するために、深層学習（例えば、多層ニューラルネットワーク）を使用してもよい。他の種類のモデルには、他の統計モデル又は他の機械学習モデルが含まれてもよい。

【0013】

システムは、ローカルマップを集約して、１つ又は複数のグローバルマップを作成する（例えば、ローカルマップを一緒に連結することによって）。集約されたマップは、サーバー上で単一のグローバルマップに結合され、環境、すなわち「世界」のデジタルマップを提供する。例えば、１つ又は複数のデバイスによって生成された２つのローカルマップは、異なる座標空間のノードとして表現され得る。類似のＧＰＳ座標、類似の画像、及び類似のセンサーデータの任意の組み合わせについて、所定の閾値内で一致するローカルマップの部分を含むものは、共通の特徴を含む（例えば、空間内で「重なる」）と決定され得る。したがって、システムは、２つのノードを、ノードの座標空間間の変換を表すエッジで互いに連結させることができる。連結されたノードは、クライアントデバイスによって取り込まれた画像を使用して作成された他のローカルマップを表すノードのグラフに含まれ得る。このグラフは、単一のグローバルマップを表し、多様なクライアントデバイスに表現される仮想世界間の一貫性を維持することを支援し得る。

【0014】

さらに、いくつかの実施形態では、システムは、ローカルマップ内に含まれるエッジ又は共通の特徴に基づいて、ローカルマップを世界地図につなぎ合わせ得る。世界地図は、特定のＧＰＳ座標における仮想世界のためのアニメーションを格納し、さらに、３Ｄ点及び視覚画像を通じて、世界の特定の場所（例えば、１フィート／３０センチメートルのオーダーの解像度で）までインデックス化され得る。別の例では、システムは、ローカルマップを生成したクライアントデバイスが環境を横断する際の相対位置を示す同期データに基づいて、ローカルマップをつなぎ合わせ得る。

【0015】

例示的なプロセスは、データをクラウドに、及びクラウドからデータにマッピングする。一実施形態では、マップは、３Ｄ画素に類似する方法で世界を表す、点群などの空間内の３Ｄ点の集合体である。画像データは、利用可能で有用な場合、３Ｄマップと共に送信される。ある例では、画像データなしで３Ｄマップデータを送信する。

【0016】

様々な実施形態において、クライアントデバイスは、プロセッサによって実行される３Ｄアルゴリズムを使用して、３Ｄマップを生成する。クライアントデバイスは、画像、３Ｄマップ、ＧＰＳデータ、及び任意の他のセンサーデータ（例えば、ＩＭＵデータ、任意の他の位置データ）を効率的な方法で送信する。例えば、画像は、送信又は処理を停滞させないように選択的に送信され得る。一例では、画像は、環境の新規な視点を示すときには選択的に送信され、環境内の以前に見た視点を単に示すときには送信されない場合がある。画像は、例えば、クライアントデバイスのカメラの視野が、過去又は最近のカメラの姿勢からの以前の画像と最小限の重複を有するとき、又は画像内の視点が、オブジェクトの予想される動きに依存する時間量だけ観察されていないとき、システムによって送信のために指定される。別の例として、現在の（又は実質的に重複する）視点からの以前の画像が提供されてから閾値以上の時間が経過した場合に、画像が提供され得る。これにより、画像によって描かれた実世界の場所のより現在の（又は少なくとも最近の）状態を反映するために、マップに関連付けられた格納された画像を更新することが可能になり得る。

【0017】

様々な実施形態において、サーバーなどのクラウド側のデバイスは、３Ｄデータ及び画像を使用してオブジェクトを検出し、画像に描かれた実世界環境の幾何学的構造を推定するリアルタイム検出システムを含む。例えば、フォトリアリスティックではない部屋の３Ｄマップ（例えば、半密度及び／又は高密度３Ｄ再構成）は、画像で決定可能である。サーバーは、画像と３Ｄデータを検出システムで融合し、一貫性があり容易にインデックス化された世界の３Ｄマップ、又はＧＰＳデータを使用した合成実世界マップを構築する。一度格納されると、実世界マップは、以前に格納されたアニメーションや他の仮想オブジェクトを見つけるために検索され得る。

【0018】

様々な実施形態において、マッピング及びトラッキングは、クライアントデバイス上で行われる。クライアントデバイスは、実世界に対するクライアントデバイスのカメラの位置とともに、実世界の疎な再構成を収集する（世界をデジタル化する）。マッピングは、点群又は３Ｄ点の集合を作成することを含む。クライアント端末は、点群情報とＧＰＳデータをシリアライズして送信することで、サーバーに疎な表現を返す。クラウド処理は、マルチプレイヤ機能（独立したクライアントデバイス間でマップデータをリアルタイム又はそれに近い状態で共有）、ワーキングフィジカルメモリ（デバイスにローカルに格納されていない将来の体験のためのマップ及びアニメーションデータの格納）、及びオブジェクト検出を可能にする。

【0019】

サーバーは、マップとフレームのデータベースを含む。各フレームは、画像を形成する画素、座標空間に関する姿勢、カメラの固有値（例えば、焦点距離などのカメラパラメータ）、特徴ポイント、及び／又は特徴記述子などの１つ又は複数のセンサーデータを含む。サーバーは、ＧＰＳデータを使用して、実世界のマップが実世界の場所に対して以前に格納されているかどうかを決定する。位置が特定された場合、サーバーは、格納されたマップをクライアントデバイスに送信し得る。

【0020】

（拡張現実コンピューティングシステム）
図１は、一実施形態による、ネットワーク１０４を介してアクセスされる要素と協働するクライアントデバイス１０２を含むＡＲコンピューティングシステム１００のブロック図である。例えば、要素は、ＡＲデータを生成するためのサーバーのコンポーネントであり得る。クライアントデバイス１０２は、いくつかの実施形態において、ユーザーがパラレルリアリティゲーム（例えば、拡張現実ゲーム）又は別の拡張現実システムにアクセスするために使用することができるコンピューティングデバイスである。クライアントデバイスは、オンデバイスカメラ、３Ｄデータ、ＧＰＳデータなどを介して画像データ（画像とも呼ばれる）を取り込む。クライアントデバイス１０２は、例えば、ゲームエンジン１０６（例えば、ＵＮＩＴＹ（登録商標）ゲームエンジン又は別の物理／レンダリングエンジン）及びＡＲプラットフォーム１０８を含む。

【0021】

ゲームエンジン１０６は、クライアントデバイス１０２におけるパラレルリアリティゲーム（又は他のＡＲプログラム）を容易にし得る。例えば、ゲームエンジン１０６は、ユーザーがクライアントデバイス１０２のインターフェースを介して情報を入力すること、又はユーザーが実世界内でクライアントデバイスを移動させることなど、ユーザーがクライアントデバイス１０２と行うインタラクションを受信し得る。ゲームエンジン１０６は、これらのインタラクションに基づいて、インターフェースを介して、パラレルリアリティゲームの情報をユーザーに表示し得る。ゲームエンジン１０６は、実世界内の場所に対応する仮想世界内の仮想場所で利用可能な仮想要素を含む、パラレルリアリティゲームのための情報をローカルに格納してもよい。あるいは、ゲームエンジン１０６は、サーバーにおいて仮想世界を記述するゲームボード情報にアクセスし、クライアントデバイス１０２におけるパラレルリアリティゲームを容易にするために、サーバーと継続的に通信してもよい。パラレルリアリティゲームのための仮想世界と実世界との間の並列性については、図４に関連してさらに説明する。

【0022】

ＡＲプラットフォーム１０８は、クライアントデバイス１０２によって取り込まれたデータに対してセグメンテーション及びオブジェクト認識を実行し得る。ＡＲプラットフォームは、複合ビジョンモジュール１１０、自己位置推定及びマッピングモジュール１１２、マップ検索モジュール１１４、及び深層学習モジュール１１６を含む。いくつかの実施形態では、ＡＲプラットフォームは、代替又は追加のモジュールを含む。

【0023】

複合コンピュータビジョンモジュール１１０は、クライアント側の画像処理を実行する。複合コンピュータビジョンモジュール１１０は、クライアントデバイス１０２上のカメラによって取り込まれた画像データを受信し、画像データに対して画像処理を実行する。画像処理は、画像セグメンテーション及び局所的な３Ｄ推定を含み得る。

【0024】

自己位置推定及びマッピング（例えば、ＳＬＡＭ）モジュール１１２は、クライアントデバイス１０２によって取り込まれた画像データ及びＧＰＳデータに基づいて、クライアントデバイス１０２の周囲の環境をマッピングする。特に、ＳＬＡＭモジュール１１２は、クライアントデバイス１０２によって取り込まれたデータで見た実世界の一部を表す１つ又は複数のローカルマップをそれぞれ作成する。ＳＬＡＭモジュール１１２はまた、いくつかの実施形態において、環境におけるクライアントデバイス１０２の位置を決定し得る。ＳＬＡＭモジュール１１２は、点、線、及び平面のジオメトリを含み得るローカルマップを作成するマッピングシステムを含む。さらに、ＳＬＡＭモジュール１１２は、点群を構築し、クライアントデバイス１０２によって取り込まれた追跡情報を使用して、空間におけるカメラ（例えば、クライアントデバイス１０２）の位置を求め得る。他の実施形態では、ＳＬＡＭモジュールは、画像データ及び追跡情報を用いてマップを構築し得る。ＳＬＡＭモジュール１１２は、さらに、クライアントデバイス１０２のディスプレイを介して提示される、クライアントデバイス１０２によって取り込まれた画像データにアニメーション又は拡張された値を重ねることによって、仮想世界から実世界へ戻って再投影をする。他の実施形態では、ＳＬＡＭモジュール１１２は、クライアントデバイス１０２の周囲の環境をマッピングすること、及び／又はその環境におけるクライアントデバイス１０２の位置を決定することに、異なる又は追加のアプローチを使用し得る。

【0025】

いくつかの実施形態では、ＳＬＡＭモジュール１１２は、環境のローカルマップを生成する前に、クライアントデバイス１０２の位置を別のクライアントデバイスと同期させ得る。例えば、ＳＬＡＭモジュールは、環境内の機械可読コード（例えば、ＱＲコード（登録商標））の画像データを受信し、クライアントデバイス１０２の位置を、同じ機械可読コードの画像を取り込んだ他のクライアントデバイスと同期させ得る。ＳＬＡＭモジュール１１２は、この情報を、環境の位置を示すローカルマップの同期データとして格納してもよい。別の例では、画像データが、ＳＬＡＭモジュール１１２が画像データから決定し得る、又はユーザーがクライアントデバイス１０２を介して示し得る、別のクライアントデバイスの視野を含む場合、ＳＬＡＭモジュール１１２は、クライアントデバイス１０２が別のクライアントデバイスと同位置にあったことを示すローカルマップのための同期データを格納し、そのローカルマップを参照してもよい。

【0026】

マップ検索モジュール１１４は、ＳＬＡＭモジュール１１２によって生成されたマップを検索する。マップ検索モジュール１１４は、以下にさらに説明するマップデータベース１２４から（例えば、ネットワーク１０４を介して）以前に生成されたマップを検索する。いくつかの実施形態では、マップ検索モジュール１１４は、ユーザーの自宅の場所のマップなど、クライアントデバイス１０２にいくつかのマップをローカルに格納し得る。マップ検索１１４は、ゲームエンジン１０６からの通知に基づいてマップを検索し、パラレルリアリティゲームを容易にするために使用するために、ゲームエンジン１０６にマップを送信し得る。

【0027】

深層学習モジュール１１６は、マップ上のオブジェクト認識のための機械学習されたモデルを適用する。深層学習モジュール１１６は、マップ検索モジュール１１４からマップを受信する。深層学習モジュール１１６は、１つ又は複数の機械学習されたモデルを適用して、オブジェクト検出及び分類と共に、関心ポイント又は特徴ポイント検出（例えば、スケール不変特徴変換（ＳＩＦＴ）又は配向ＦＡＳＴ及び回転ＢＲＩＥＦ（ＯＲＢ）を使用）を実行する。例えば、深層学習モジュール１１６は、機械学習モデルをマップに適用して、マップ内に含まれるオブジェクトを決定し得る。機械学習モデルは、分類器、回帰モデルなどであり得る。深層学習モジュール１１６は、外部システムで（例えば、ネットワーク１０４を介して）訓練した後、機械学習されたモデルを得てもよい。いくつかの実施形態では、深層学習モジュール１１６は、さらなるモデル訓練を可能にするために、オブジェクト認識の結果及び／又はユーザフィードバックを提供し得る。

【0028】

ＡＲコンピューティングシステム１００は、クライアントデバイス１０２がネットワーク１０４を介してアクセスし得る要素を含む。これらの要素は、リモートサーバーに配置されてもよく、ワンワールドマッピングモジュール１２０、オブジェクト認識モジュール１２２、マップデータベース１２４、オブジェクトデータベース１２６、及び深層学習訓練モジュール１２８と通信するＡＲバックエンドエンジン１１８を含む。他の実施形態では、追加の又は異なるコンポーネントが含まれてもよい。さらに、機能は、本明細書に記載されるのとは異なるように分散されてもよい。例えば、オブジェクト認識機能の一部又は全部は、いくつかの実施形態において、クライアントデバイス１０２で実行されてもよい。

【0029】

ワンワールドマッピングモジュール１２０は、異なるローカルマップを融合して、合成実世界マップ（例えば、実世界の単一の３Ｄマップ）を作成する。単一の３Ｄマップは、エッジによって互いに連結されたノードのグラフとして表され得る。各ノードは、クライアントデバイス１０２によって生成されたマップを表してもよく、クライアントデバイス１０２は、図１にされるクライアントデバイス１０２であってもよいし、パラレルリアリティゲームのためのサーバーに接続された別のクライアントデバイスであってもよい。各マップは、マップを生成したクライアントデバイス１０２に基づく独自の座標空間を有していてもよいし、同じデバイスの座標空間の時間的な変動（例えば、ＧＰＳドリフト又は条件の変化などによる）を有していてもよい。ノードを接続するエッジは、ノードの座標空間間の変換を表してもよい。ワンワールドマッピングモジュール１２０は、ネットワーク１０４を介してクライアントデバイス１０２から新しいマップを受信すると、単一の３Ｄマップに新しいノード及びエッジを追加してもよい。ワンワールドマッピングモジュール１２０は、単一の３Ｄマップをマップデータベース１２４に格納する。

【0030】

例示的な使用事例シナリオでは、ワンワールドマッピングモジュール１２０は、ローカルマップの間にギャップが存在する場合でも、ローカルマップのノード間のエッジを決定し得る。例えば、ワンワールドマッピングモジュール１２０は、他の２つの部分を接続する部分がない線の部分を各々が含むローカルマップのノードを受信し得る。ワンワールドマッピングモジュール１２０は、ローカルマップに示されるものを超えて、線の各部分を指定量（例えば、１０センチメートル、１メートル、又は無限大まで）暫定的に拡張し得る。ローカルマップの相対的な位置が既知であると仮定すると（例えば、前述のように、共通の特徴を特定する特徴分析又は位置同期に基づいて）、ワンワールドマッピングモジュール１２０は、各ローカルマップにおける線の部分が両方とも同じ線の一部であると決定し得る。例えば、一方の線の投影により、他方の線と閾値（例えば、１ミリメートル、１センチメートルなど）以内で重なる場合、ワンワールドマッピングモジュール１２０は、２つの部分が同じ線の一部であると決定し得る。したがって、ワンワールドマッピングモジュール１２０は、線を接続する欠落部分を用いてノード間のエッジを決定し、欠落部分をローカルマップの一方又は両方に追加し得る。ワンワールドマッピングモジュール１２０及び単一の３Ｄマップは、図２に関連してさらに説明される。

【0031】

マップデータベース１２４は、クライアントデバイス１０２によって生成されたマップデータ（すなわち、「マップ」）を格納するように構成された１つ又は複数のコンピュータ可読媒体を含む。マップデータは、ある場所でクライアントデバイス１０２によって収集された画像及び他のセンサーデータと関連付けて格納された３Ｄ点群のローカルマップを含むことができる。また、マップデータは、異なるローカルマップと、実世界又は実世界内の特定の環境を表す単一の３Ｄマップとの間の地理的関係を示すマッピング情報を含み得る。マップデータベース１２４は、単一の実体として示されているが、多様なデバイスにおける多様な記憶媒体に分散されていてもよい（例えば、分散データベースとして）。

【0032】

オブジェクト認識モジュール１２２は、クライアントデバイス１０２によって取り込まれた画像及び３Ｄデータからのオブジェクト情報を使用して、データ中に表される実世界の特徴を特定する。例えば、オブジェクト認識モジュール１２２は、椅子が環境内の３Ｄ位置にあることを決定し、椅子の３Ｄ位置を記述するオブジェクト情報をオブジェクトデータベース１２６に追加し得る。オブジェクト認識モジュール１２２は、マップデータベースに格納されたマップ、１つ又は複数のクライアントデバイス１０２によって取り込まれた画像データ、又は１つ又は複数のクライアントデバイス１０２によって生成されたマップに対してオブジェクト認識を実行し得る。オブジェクト認識モジュールは、同じ環境の新しい画像データに対してオブジェクト認識を実行した後、オブジェクトデータベース１２６に格納されているオブジェクト情報をさらに更新し得る。オブジェクト認識モジュール１２２は、オブジェクトデータベース１２６に追加するために、様々なクライアントデバイス１０２から取り込まれた画像からオブジェクト情報を継続的に受信し得る。

【0033】

いくつかの実施形態では、オブジェクト認識モジュール１２２は、検出されたオブジェクトを様々なカテゴリにさらに区別し得る。一実施形態では、オブジェクト認識モジュール１２２は、取り込まれた画像内のオブジェクトを静止又は一時のいずれかとして識別し得る。例えば、オブジェクト認識モジュール１２２は、木を静止オブジェクトであると決定し得る。後続の例では、オブジェクト認識モジュール１２２は、一時的であると決定され得るオブジェクトと比較して、静止オブジェクトを頻繁に更新しなくてもよい。例えば、オブジェクト認識モジュール１２２は、取り込まれた画像内の動物が一時的であると決定してもよく、後続の画像において動物が環境内にもはや存在しない場合、オブジェクトを削除してもよい。

【0034】

オブジェクトデータベース１２６は、認識されたオブジェクトに関するオブジェクト情報を格納するように構成された１つ又は複数のコンピュータ可読媒体を含む。例えば、オブジェクトデータベース１２６は、既知のオブジェクト（例えば、椅子、机、木、建物など）のリストを、オブジェクトの対応する位置及びオブジェクトのプロパティと共に含み得る。プロパティは、オブジェクトのタイプに対して一般的であってもよいし、オブジェクトの各インスタンスに対して特別に定義されてもよい（例えば、すべての椅子は家具とみなされるかもしれないが、各椅子の位置は個別に定義されてもよい）。オブジェクトデータベース１２６は、さらに、各オブジェクトのオブジェクトタイプに基づいてオブジェクトを区別し得る。オブジェクトタイプは、類似の特性に基づいてオブジェクトデータベース１２６内の全てのオブジェクトをグループ化することができる。例えば、植物オブジェクトタイプの全てのオブジェクトは、オブジェクト認識モジュール１２２によって木、茂み、草、つるなどの植物として識別されるオブジェクトであり得る。いくつかの実施形態では、システムは、比較的安定している（例えば、静止している）特徴と、より動的な特徴とを区別するように学習し得る。例えば、システムは、椅子は多少動き回る傾向があるのに対して、テーブルは長時間ほぼ同じ場所に留まる傾向があることを学習し得る。オブジェクトデータベース１２６は、単一の実体として示されているが、多様なデバイスにおける多様な記憶媒体に分散されていてもよい（例えば、分散データベースとして）。

【0035】

深層学習モジュール１２８は、マップデータとオブジェクト情報とを融合させる。特に、深層学習モジュール１２８は、マップデータベース１２４又は１つ又は複数のクライアントデバイス１０２からマップを取得し、オブジェクトデータベース１２６からオブジェクト情報を取得し得る。深層学習モジュールは、オブジェクト情報を、オブジェクト情報からのオブジェクトを含む対応するマップデータと結び付け得る。深層学習モジュール１２８は、サーバー上で訓練された１つ又は複数の機械学習モデルを使用してそのようにし得る。機械学習モデルは、分類器、ニューラルネットワーク、回帰モデルなどを含み得る。深層学習モジュール１２８は、融合された情報を、マップデータベース１２４又はサーバーの別のデータベースに格納し得る。

【0036】

図２は、一実施形態によるワンワールドマッピングモジュール１２０のブロック図である。ワンワールドマッピングモジュール１２０は、マップモジュール２１０、グラフモジュール２１５、組み合わせモジュール２２０、画像データベース２３０、及びマップデータベース２４０を含む。追加的又は代替的な実施形態において、ワンワールドマッピングモジュール１２０は、後述しない追加的な動作を行う他のモジュールを含んでもよい。

【0037】

マップモジュール２１０は、クライアントデバイス１０２によって取り込まれたデータに基づいて、環境のマップを決定する。そのようなデータは、画像データ、センサーデータ、ＧＰＳデータなどを含み得る。マップモジュール２１０は、取り込まれたデータに基づいて点群を構築してもよく、それは環境のマップとして使用される。いくつかの実施形態では、マップモジュール２１０は、クライアントデバイス１０２によって取り込まれたデータに基づいて環境のマップを決定するために他の技術を使用してもよい。しかしながら、他の実施形態では、マッピングは、マッピングモジュール２１０ではなくＳＬＡＭモジュール１１２によって実行され、マッピングモジュール２１０は、代わりに、ＳＬＡＭモジュール１１２からクライアントデバイス１０２で生成されたローカルマップを取得する。いくつかの実施形態では、ローカルマップの１つ又は複数は、同じ環境内の多様なクライアントデバイス１０２によって取り込まれたデータを使用して共同的に構築され得る。マップモジュール２１０は、マップデータベース２４０でローカルマップを格納し得る。マップモジュール２１０は、ローカルマップをグラフモジュール２１５に送信する。

【0038】

グラフモジュール２１５は、１つ又は複数のローカルマップのグラフィカルな表現を決定する。グラフモジュール２１５は、マップモジュール２１０からローカルマップを受信する。グラフモジュール２１５はまた、各ローカルマップを説明する情報を受信し得る。そのような情報は、どのクライアントデバイスがローカルマップを生成したか、及び／又は、ローカルマップを生成するために使用されたデータを取り込んだか、データが取り込まれた時（例えば、日付及び時間）、等を含み得る。

【0039】

各ローカルマップについて、グラフモジュール２１５は、ローカルマップを表すノードを作成する。いくつかの実施形態では、各クライアントデバイス１０２及び／又はサーバーもまた、グラフモジュール２１５によって作成されたノードによって表される。各ノードは、ノードが表すローカルマップ、クライアントデバイス、又はサーバーを記述する情報に基づいて、それ自身の独立した座標系を有する。環境のローカルマップを表すノードは、さらに、環境の空間的範囲だけでなく、時間的範囲（例えば、環境が時間と共にどのように変化するか）を表し得る。グラフモジュールは、先に説明した単一の３Ｄマップに組み込むために、ノードを組み合わせモジュール２２０に送信する。別の実施形態では、異なる時間（例えば、朝、昼、夕、夜などの１日内の異なる期間）のマップが異なるノードに格納され、それらの間のエッジは、マップの空間座標及び時間座標の両方におけるマッピングを示す。

【0040】

組み合わせモジュール２２０は、特徴分析を用いて、ローカルマップを実世界の単一の３Ｄマップに変換する。いくつかの実施形態において、組み合わせモジュール２２０は、ローカルマップを１つの単一な３Ｄマップに結合し得る。他の実施形態では、組み合わせモジュールは、ローカルマップを使用して各環境の３Ｄマップを作成し、単一の３Ｄマップにおいて３Ｄマップを連結させる。

【0041】

組み合わせモジュール２２０は、１つ又は複数のローカルマップを表すグラフモジュール２１５からノードを受信する。ノードの各ペアについて、組み合わせモジュール２２０は、エッジを決定し得る。エッジは、ノードの座標空間間の変換を表す。場合によっては、ノードのペアは、それらの間にエッジを有さないことがある（例えば、ノードが完全に異なる環境を示す場合）。そうでなければ、ノードのペアは、それらに関連付けられた１つ又は複数のエッジを有し得る。いくつかの実施形態では、組み合わせモジュール２２０は、同じ環境内のノードについてのみエッジを決定してもよく、この組み合わせモジュールは、ローカルマップ間の特徴マッチングに基づいて決定してもよい。一実施形態では、マッピングモジュール２１０は、ローカルマップが互いから閾値距離内にあることに基づいて、２つのローカルマップを単一の環境を示すものとして識別してもよく、組み合わせモジュール２２０が各ローカルマップを生成するために使用されたＧＰＳデータから決定してもよい。

【0042】

組み合わせモジュール２２０は、多様なクライアントデバイス１０２によって取り込まれたデータに基づいてエッジを形成し得る。各クライアントデバイスは、それに関連付けられた信頼度スコアを有してもよく、信頼度スコアは、エッジの信頼度スコアを決定するために使用されてもよい。第１のノードから第２のノードに移動するためのエッジが表す変換を使用する可能性を表すエッジの信頼度スコアは、第２のノードと同一の出力ノードをもたらす。エッジを決定するために、組み合わせモジュールは、追跡情報（例えば、パラレルリアリティゲームの同じセッション中に同じクライアントデバイスによって取り込まれたローカルマップのノードがエッジを有する可能性が高い）、特徴ベースの位置推定（例えば、点、線などのローカルマップに含まれる特徴に基づいてノードの２つのローカルマップを位置推定すること）、３Ｄクラウドアライメント（例えば、ＩＣＰアルゴリズムによる）、同じクライアントデバイス１０２によって生成された連続するローカルマップ間の強制オーバーラップ、複数のローカルマップにわたる後処理最適化、及び／又は機械可読コードベースの位置推定（例えば、同期）を使用し得る。

【0043】

例えば、一実施形態では、組み合わせモジュール２２０は、２つのノードについてエッジを決定するために特徴分析を実行し得る。組み合わせモジュール２２０は、２つのローカルマップのそれぞれについてオブジェクトデータベース１２６から情報を取得し、その情報を用いてローカルマップが両方とも共通の特徴を含むかどうかを決定するために、各ローカルマップに対して特徴分析を実行する。組み合わせモジュール２２０は、各マップが同じ共通の特徴を含むと決定した場合、組み合わせモジュール２２０は、共通の特徴に基づいてエッジを作成する。

【0044】

別の例では、組み合わせモジュール２２０は、クライアントデバイス１０２によって実行された同期に基づいて、ノード間のエッジを決定し得る。組み合わせモジュール２２０は、クライアントデバイス１０２が同じ環境内に併置されたことを示す各ローカルマップの同期データを取得する。同期データは、クライアントデバイス１０２が互いに向けられたとき、又は各クライアントデバイス１０２が機械可読コード（例えば、二次元バーコード）又は環境内の他の認識可能な特徴の画像を取り込んだときに決定され得る。同期データに基づいて、組み合わせモジュール２２０は、ローカルマップのノードに対するエッジを決定する。

【0045】

ノードの各ペアについて、組み合わせモジュール２２０は、マップデータベース２４０から実世界の単一な３Ｄマップにアクセスする。単一な３Ｄマップは、サーバーに接続された多様なクライアントデバイス１０２によって取り込まれた複数のノードを含み、実世界のレイアウトを表す。ノードの一方又は両方が単一の３Ｄマップに存在しない場合、組み合わせモジュール２２０は、不足しているノード又はノードを単一の３Ｄマップに追加する。さらに、組み合わせモジュール２２０がノードのペアのエッジを決定した場合、組み合わせモジュール２２０は、単一の３Ｄマップにおいてエッジを一緒に連結し、ローカルマップを１つの大きなマップ（例えば、単一の３Ｄマップ）に本質的に連結させる。いくつかの実施形態では、組み合わせモジュール２２０は、さらに、エッジに基づいてローカルマップをつなぎ合わせ、両方のローカルマップの少なくとも一部を含む単一のマップを形成し得る。

【0046】

組み合わせモジュール２２０は、単一の３Ｄマップ内の既存のノード間にエッジを追加もし得る。いくつかの実施形態では、組み合わせモジュール２２０は、新しいエッジが決定されたときに、ノードのペア間の多様なエッジを単一のエッジに結合し得る。他の実施形態では、組み合わせモジュール２２０は、単一の３Ｄマップ内のノードのペア間のすべてのエッジを保持し、クライアントデバイスが必要に応じてローカルマップ間で変換するために最新のエッジを使用し得るように、すべてのエッジのうちどのエッジが最も新しいかを示してもよい。

【0047】

サーバーに接続されたクライアントデバイス１０２は、単一の３Ｄマップを使用して、環境内で自分自身を位置推定し、パラレルリアリティゲームのための場所での仮想世界に関する情報を取得し得る。さらに、ノード及びエッジのシステムは、単一の３Ｄマップにおけるドリフト及び外れ値を低減するために使用され得る。例えば、組み合わせモジュール２２０は、ノードが閾値の時間だけ単一の３Ｄマップ内に存在した後に、エッジによって他のノードに連結されていないノードを除去し得る。

【0048】

（例示的なデータフロー）
図３は、一実施形態による、ＡＲデータを生成及び表示するために、クライアントデバイス１０２とサーバーによって実行される処理を示すフローチャートである。クライアントデバイス１０２及びサーバーは、図１に示されるものと同様であり得る。破線は、クライアントデバイス１０２とサーバーとの間のデータの通信を表し、実線は、単一のデバイス内（例えば、クライアントデバイス１０２内又はサーバー内）のデータの通信を表す。他の実施形態では、機能は、デバイス間で異なって分配されてもよく、及び／又は、異なるデバイスが使用されてもよい。

【0049】

３０２において、生データは、１つ又は複数のセンサーによってクライアントデバイス１０２で収集される。一実施形態では、生データは、画像データ、慣性測定データ、及び位置データを含む。画像データは、クライアントデバイス１０２に物理的又は無線で連結されている１つ又は複数のカメラによって取り込まれ得る。慣性測定データは、ジャイロスコープ、加速度計、又はそれらの組み合わせを使用して収集されてもよく、最大６自由度－すなわち、３度の並進運動及び３度の回転運動－までの慣性測定データを含んでもよい。位置データは、全地球測位システム（ＧＰＳ）受信器で収集され得る。追加の生データは、圧力レベル、照明レベル、湿度レベル、高度レベル、音レベル、オーディオデータなど、他の様々なセンサーによって収集されてもよい。生データは、クライアントデバイス１０２の様々なセンサーによって取得された生データを経時的に記録できる１つ又は複数のクライアントデバイス１０２内の格納モジュールに格納されてもよい。

【0050】

クライアントデバイス１０２は、３０４において、ローカルマップストレージを維持し得る。ローカルマップストレージは、ローカル点群データを含む。点群データは、構築可能なメッシュ面を形成する空間内の位置を含む。３０４におけるローカルマップストレージは、クライアントデバイス１０２による使用のために容易に検索できるように、ローカル点群データの階層的なキャッシュを含み得る。３０４におけるローカルマップストレージは、ローカル点群データに融合されたオブジェクト情報を追加的に含み得る。オブジェクト情報は、ローカル点群データ内の様々なオブジェクトを指定し得る。

【0051】

生データが３０２において収集されると、クライアントデバイス１０２は、マップが３０６において初期化されたかどうかを確認する。マップが３０６において初期化された場合、クライアントデバイス１０２は、３０８においてＳＬＡＭ機能を開始し得る。ＳＬＡＭ機能は、点群を構築するマッピングシステムと、初期化されたマップ上の空間におけるカメラの位置を見つけるための追跡を含む。例示的なＳＬＡＭプロセスは、さらに、アニメーション又は拡張された値を実世界へ再投影する。３１０においてマップが初期化されなかった場合、クライアントデバイス１０２は、３０４においてローカルマップストレージを検索して、ローカルに格納されているマップを検索し得る。３０４においてマップがローカルマップストレージに見つかった場合、クライアントデバイス１０２は、ＳＬＡＭ機能によって使用するためにそのマップを取得し得る。３１０においてマップが見つからない場合、クライアントデバイス１０２は、初期化モジュールを使用して、３１２において新しいマップを作成し得る。

【0052】

新しいマップが作成されると、初期化モジュールは、新しく作成されたマップを３０４においてローカルマップストレージに格納し得る。クライアントデバイス１０２は、ローカルマップストレージ３０４内のマップデータをサーバー側のクラウドマップストレージ３２０と日常的に同期させ得る。マップデータを同期させるとき、クライアントデバイス１０２のローカルマップストレージ３０４は、新たに作成されたマップをサーバーに送信し得る。３２６においてサーバー側は、クライアントデバイス１０２から受信したマップが、以前にクラウドマップストレージ３２０に格納されていたかどうかを確認する。そうでない場合、サーバー側は、３２８において、クラウドマップストレージ３２０に格納するための新しいマップを生成する。サーバーは、代替的に、３２８における新しいマップを、クラウドマップストレージ３２０における既存のマップに付加してもよい。

【0053】

クライアント側に戻ると、クライアントデバイス１０２は、３１４において新規の視点が検出されたかどうかを決定する。いくつかの実施形態では、クライアントデバイス１０２は、取り込まれた画像のストリーム内の各視点が、クライアントデバイス１０２に格納された既存の視点と閾値未満の重複を有するかどうかを決定する（例えば、ローカルマップストレージ３０４は、クライアントデバイス１０２によって取得された視点又はクラウドマップストレージ３２０から取得された視点を格納し得る）。他の実施形態では、クライアントデバイス１０２は、新規の視点が検出されたかどうかを多段階の決定で、３１４において決定する。高レベルで、クライアントデバイス１０２は、クライアントデバイス１０２のジオロケーションのローカル半径内の任意の既存の視点を取得し得る。既存の視点から、クライアントデバイス１０２は、既存の視点と比較して、問題の視点における類似のオブジェクト又は特徴を識別し始め得る。例えば、クライアントデバイス１０２は、視点における木を識別し、木も見えるすべての既存の視点をローカル半径内の既存の視点から、さらに減らしてもよい。クライアントデバイス１０２は、問題の視点をフィルタリングされた既存の視点の集合にマッチングする際に、よりロバストである追加のフィルタリングの層を使用してもよい。一例では、クライアントデバイス１０２は、機械学習モデルを使用して、問題の視点がフィルタリングされたセット内の別の視点と一致するかどうか（すなわち、問題の視点は既存の視点と一致するので新規ではないこと）を決定する。３１４において新規の視点が検出された場合、クライアントデバイス１０２は、ローカル環境推定によって収集されたデータを３１６において記録する。例えば、クライアントデバイス１０２が現在において新規の視点を有すると決定した場合、新規の視点で取り込まれた画像をサーバーに（例えば、サーバー側のマップ／画像データベース３１８に）送信し得る。新規視点検出モジュールは、３Ｄデータを有する画像を送信するタイミング及び方法を決定するために使用され得る。ローカル環境推定は、ローカルマッピングシステムの更新されたキーフレームと、シリアライズされた画像及び／又はマップデータを含み得る。ローカル環境推定は、マップ内の所定の位置における他の視点に対して新規の視点を適合させるために、サーバーによって使用され得る。

【0054】

サーバー側では、新規視点データ（例えば、メッシュデータを上に乗せた点群情報からなる）が、サーバー側のマップ／画像データベースに３１８において格納され得る。サーバーは、格納されたクラウドマップストレージ３２０とオブジェクトデータベース３２２から実世界のマップの異なる部分を追加し得る。クラウド環境推定３２４（追加されたコンポーネントデータを含む）は、クライアントデバイスに送り返されてもよい。追加されたデータは、ローカルマップストレージ３０４に格納される点及びメッシュ、ならびにセマンティックラベルを有するオブジェクトデータ（例えば、壁又はベッド）を含み得る。

【0055】

（仮想世界の概念図）
図４は、一実施形態による、位置情報パラレルリアリティゲームのプレイヤのためのゲームボードとして機能することができる、実世界４００と並行な仮想世界４１０の概念図を示す図である。図１のクライアントデバイス１０２は、図４に示されるように、実世界４００に対応する仮想世界４１０を有するパラレルリアリティゲーム（又は他の位置情報ゲーム）をホストし得る。

【0056】

図示されているように、仮想世界４１０は、実世界４００の地理に並行する地理を含むことができる。特に、実世界４００における地理的エリア又は空間を定義する座標の範囲は、仮想世界４１０における仮想空間を定義する座標の対応する範囲にマッピングされる。実世界４００における座標の範囲は、町、近隣、都市、キャンパス、ロケール、国、大陸、地球全体、又は他の地理的エリアと関連付けられることができる。地理的座標の範囲内におけるそれぞれの地理的座標は、仮想世界における仮想空間内の対応する座標にマッピングされる。

【0057】

仮想世界４１０におけるプレイヤの位置は、実世界４００におけるプレイヤの位置に対応する。例えば、実世界４００の位置４１２に位置するプレイヤＡは、仮想世界４１０において対応する位置４２２を有する。同様に、実世界の位置４１４に位置するプレイヤＢは、仮想世界の位置４２４に対応している。プレイヤが実世界４００における地理的座標の範囲内を移動すると、プレイヤは、仮想世界４１０における仮想空間を定義する座標の範囲内も移動する。特に、プレイヤが携帯するクライアントデバイス１０２に関連付けられた測位システム（例えば、ＧＰＳシステム又は位置推定及びマッピングモジュール１１２によって使用される他のシステム）は、プレイヤが実世界の地理的座標の範囲を移動する際に、プレイヤの位置を追跡するために使用されることが可能である。実世界４００におけるプレイヤの位置に関連付けられるデータは、仮想世界４１０における仮想空間を定義する座標の対応する範囲におけるプレイヤの位置を更新するために使用される。このようにして、プレイヤは、実世界４００の特定の離散的な場所でチェックインしたり、定期的に位置情報を更新したりすることなく、実世界４００の地理的座標の対応する範囲間を移動するだけで、仮想世界４１０の仮想空間を定義する座標の範囲内の連続的な追跡をナビゲートすることができる。

【0058】

パラレルリアリティゲームは、仮想世界４１０の様々な仮想位置に散在する様々な仮想要素及び／又は仮想オブジェクトに移動し、及び／又はそれらと相互作用することをプレイヤに要求する複数のゲームオブジェクトを含むことができる。プレイヤは、実世界４００における仮想要素又はオブジェクトの対応する位置に移動することによって、これらの仮想位置に移動することができる。例えば、クライアントデバイス１０２の測位システムは、プレイヤが実世界４００を連続的にナビゲートする際に、プレイヤも並行する仮想世界４１０を連続的にナビゲートするように、プレイヤの位置を連続的に追跡することが可能である。次いで、プレイヤは、特定の場所で様々な仮想要素及び／又はオブジェクトと相互作用して、１つ又は複数のゲームオブジェクトを達成又は実行することができる。

【0059】

例えば、図４を参照すると、ゲームオブジェクトは、仮想世界４１０の様々な仮想位置に配置された仮想要素４３０を取り込むか、又はその所有権を主張することをプレイヤに要求することができる。これらの仮想要素４３０は、実世界４００のランドマーク、地理的位置、又はオブジェクト４４０に連結させることができる。実世界のランドマーク又はオブジェクト４４０は、芸術作品、モニュメント、建物、企業、図書館、博物館、又は他の適切な実世界のランドマーク又はオブジェクトとすることができる。これらの仮想要素４３０を取り込むために、プレイヤは、実世界の仮想要素４３０に連結されたランドマーク、地理的位置、又はオブジェクト４４０に移動する必要があり、仮想世界４１０において仮想要素４３０との必要なインタラクションを実行する必要がある。例えば、図４のプレイヤＡは、クライアントデバイス１０２を介して、その特定のランドマーク４４０に連結された仮想要素４３０と相互作用するか又は取り込むために、実世界４００のランドマーク４４０に移動しなければならない。仮想要素４３０との相互作用は、写真を撮ること及び／又は仮想要素４３０に関連付けられたランドマーク又はオブジェクト４４０に関する他の情報を検証、取得、又は取り込むことなど、実世界４００における行動を要求することができる。

【0060】

ゲーム目的は、パラレルリアリティゲームにおいてプレイヤが収集する１つ又は複数の仮想アイテムを使用することを要求することができる。例えば、プレイヤは、ゲーム目的を完了するために有用な仮想アイテム（例えば、武器又は他のアイテム）を求めて仮想世界４１０を移動しなければならない場合がある。これらの仮想アイテムは、実世界４００の異なる場所に移動することによって、又は仮想世界４１０又は実世界４００のいずれかにおいて様々なアクションを完了することによって、発見又は収集されることができる。図４に示される例では、プレイヤは、仮想アイテム４３２を使用して、１つ又は複数の仮想要素４３０を取り込む。特に、プレイヤは、仮想要素４３０に近接する仮想世界４１０内の場所に仮想アイテム４３２を配備することができる。仮想要素４３０に近接する１つ又は複数の仮想アイテム４３２を配備することは、特定のプレイヤのために、又は特定のプレイヤのチーム及び／又は派閥のために、仮想要素４３０を取り込むことをもたらし得る。

【0061】

１つの特定の実装では、プレイヤは、パラレルリアリティゲームの一部として仮想エネルギーを収集しなければならない場合がある。図４に描かれているように、仮想エネルギー４５０は、仮想世界４１０の異なる場所に散在されることができる。プレイヤは、実世界４００の仮想エネルギー４５０の対応する場所に移動することによって、仮想エネルギー４５０を収集することができる。仮想エネルギー４５０は、仮想アイテムにパワーを供給するため、及び／又はパラレルリアリティゲームにおいて様々なゲーム目的を実行するために使用されることができる。全ての仮想エネルギー４５０を失ったプレイヤは、パラレルリアリティゲームから切り離されることができる。

【0062】

本開示の態様によれば、パラレルリアリティゲームは、パラレルリアリティゲームのすべての参加者が同じ仮想世界を共有する大規模マルチプレイヤ位置情報ゲームとすることができる。プレイヤは、別々のチーム又は派閥に分けられ、仮想要素４３０を取り込む又は所有権を主張するなど、１つ又は複数のゲーム目的を達成するために協力することができる。このようにして、パラレルリアリティゲームは本質的に、パラレルリアリティゲーム内のプレイヤ間の協力を促すソーシャルゲームであることができる。敵対するチームのプレイヤは、パラレルリアリティゲーム中において、互いに協力し合うことができる。プレイヤは、仮想アイテム４３２を使用して、敵対するチームのプレイヤを攻撃したり、進行を妨げたりすることができる。

【0063】

パラレルリアリティゲームは、パラレルリアリティゲーム内でのゲームプレイを強化し、奨励するための様々な機能を有することができる。例えば、プレイヤは、パラレルリアリティゲーム全体で使用できる仮想通貨又は他の仮想報酬を蓄積することができる。プレイヤは、パラレルリアリティゲーム内で１つ又は複数のゲーム目的を完了し、経験を積むことにより、様々なレベルを通じて進むことができる。プレイヤは、パラレルリアリティゲーム内で提供される１つ又は複数の通信インターフェースを通じて、互いに通信することができる。プレイヤは、パラレルリアリティゲーム内でゲーム目的を完了するために使用できる強化された「パワー」又は仮想アイテム４３２を得ることもできる。当業者であれば、本明細書に提供された開示を使用して、本開示の範囲から逸脱することなく、様々な他のゲーム特徴をパラレルリアリティゲームに含められることができることを理解するであろう。

【0064】

（例示的な方法）
図５は、一実施形態による、第１の３Ｄマップと第２の３Ｄマップとを環境の単一の３Ｄマップに連結するためのプロセス５００を示すフローチャートである。いくつかの実施形態では、プロセス５００は、サーバー側の代わりにクライアント側で実行されるように変更され得る。この実施形態では、サーバーは、第１のクライアントデバイス１０２のカメラによって取り込まれた第１の画像データのセットを受信５１０する。画像データは、環境における第１のクライアントデバイス１０２の周囲の第１のエリアのほぼリアルタイムの視野を表す。サーバーは、第１の画像データのセットと、場合によっては、第１のクライアントデバイス１０２によって取り込まれた位置データとに基づいて、第１の３Ｄマップを生成５２０する。３Ｄマップは、第１のクライアントデバイス１０２の周囲の第１のエリアを空間的に記述する。

【0065】

サーバーは、環境内の第２のクライアントデバイス１０２から取り込まれた第２の画像データのセットを受信する。第２の画像データのセットは、第２のクライアントデバイス１０２の周囲の第２のエリアを記述し、サーバーは、第２の画像データのセットに基づいて第２の３Ｄマップを生成５３０する。サーバーは、両方の３Ｄマップに位置する共通の特徴について、第１の３Ｄマップ及び第２の３Ｄマップを分析５４０する。サーバーが第１の３Ｄマップ及び第２の３Ｄマップに共通の特徴を見つけることに応答して、サーバーは、第１の３Ｄマップ及び第２の３Ｄマップを、環境を記述する単一の３Ｄマップに連結５５０させる。別の実施形態では、クライアントデバイス１０２は、第１及び第２の３Ｄマップを生成してサーバーに送信し、サーバーは、それらを連結させるかどうか及びどのように連結させるかを決定する。

【0066】

いくつかの実施形態では、第１及び第２の３Ｄマップは、ノードのグラフにおいて関連付けられ得る。特に、第１及び第２の３Ｄマップは、それぞれ、グラフ内のエッジによって連結されたノードによって表され得る。各ノードは、３Ｄマップを生成するために使用される画像データを取り込んだクライアントデバイス１０２、又は画像データがそれぞれのクライアントデバイスによって取り込まれた時間を表す異なる座標空間と関連付けられる。エッジは、連結されたノードの異なる座標空間間の変換を含む。サーバーは、セッション情報、点特徴ベースの位置推定、線特徴ベースの位置推定、３Ｄクラウドアライメント、強制オーバーラップ、最適化、又は二次元バーコードベースの位置推定のうちの１つ又は複数を含み得る分析５４０に基づいて、エッジを決定し得る。

【0067】

図６は、一実施形態による、同期に基づく環境の単一の３Ｄマップを生成するためのプロセス６００を示すフローチャートである。いくつかの実施形態では、プロセス６００は、クライアント側で実行されるように変更され得る。この実施形態では、サーバーは、第１のクライアントデバイス１０２のカメラによって取り込まれた画像データ６１０を受信する。画像データは、環境における第１のクライアントデバイスの周囲の第１のエリアのほぼリアルタイムの視野を表す。サーバーは、第１のクライアントデバイス１０２と第２のクライアントデバイス１０２との間の位置を同期６２０させる。いくつかの実施形態では、サーバーは、二次元バーコードなどの特徴の各クライアントデバイス１０２又は別のクライアントデバイスから画像データを受信することによって、位置を同期させる。

【0068】

サーバーは、画像データに基づいて、第１のクライアントデバイスから第１の３Ｄマップを生成６３０する。代替的に、第１の３Ｄマップは、画像データではなく、クライアントデバイス１０２によって生成されてよく、サーバーに送信されてもよい。第１の３Ｄマップは、第１のクライアントデバイス１０２の周囲の第１のエリアを空間的に記述する。第１の３Ｄマップは、第１のクライアントデバイス１０２によって生成された生画像又は点群であり得る。サーバーは、環境内の第２のクライアントデバイス１０２から取り込まれた画像データを受信する。画像データは、第２のクライアントデバイス１０２の周囲の第２のエリアを記述し、サーバーは、画像データに基づいて、第２のクライアントデバイスから第２の３Ｄマップを生成６４０する。サーバーは、同期に基づいて、第１の３Ｄマップと第２の３Ｄマップとから単一の３Ｄマップを生成６５０する。デバイスの位置は環境内で同期しているので、マップが重なっていなくても、第１及び第２の３Ｄマップ内の特徴の相対的な位置が決定され得る。

【0069】

（コンピューティング機械のアーキテクチャ）
図７は、クライアントデバイス１０２又はサーバーとして使用するのに適した例示的なコンピュータ７００を示す高レベルブロック図である。例示的なコンピュータ７００は、チップセット７０４に結合された少なくとも１つのプロセッサ７０２を含む。チップセット７０４は、メモリコントローラハブ７２０と、入力／出力（Ｉ／Ｏ）コントローラハブ７２２とを含む。メモリ７０６とグラフィックアダプタ７１２はメモリコントローラハブ７２０に結合され、ディスプレイ７１８はグラフィックアダプタ７１２に結合される。ストレージデバイス７０８、キーボード７１０、ポインティングデバイス７１４、及びネットワークアダプタ７１６は、Ｉ／Ｏコントローラハブ７２２に結合される。コンピュータ７００の他の実施形態は、異なるアーキテクチャを有する。

【0070】

図７に示される実施形態では、ストレージデバイス７０８は、ハードディスク、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、ＤＶＤ、又はソリッドステートメモリデバイスなどの非一時的コンピュータ可読記憶媒体である。メモリ７０６は、プロセッサ７０２によって使用される指令及びデータを保持する。ポインティングデバイス７１４は、マウス、トラックボール、タッチスクリーン、又は他のタイプのポインティングデバイスであり、コンピュータシステム７００にデータを入力するためにキーボード７１０（画面キーボードであり得る）と組み合わせて使用される。他の実施形態では、コンピュータ７００は、タッチスクリーン、ジョイスティック、ボタン、スクロールホイール等、又はそれらの任意の組み合わせ等の様々な他の入力機構を有する。グラフィックアダプタ７１２は、ディスプレイ７１８に画像や他の情報を表示する。ネットワークアダプタ７１６は、コンピュータシステム７００を１つ又は複数のコンピュータネットワークに結合する（例えば、ネットワークアダプタ７１６は、ネットワーク１０４を介してクライアントデバイス１０２をサーバーに結合し得る）。

【0071】

図１のエンティティによって使用されるコンピュータのタイプは、実施形態及びエンティティによって必要とされる処理能力に応じて変化することができる。例えば、サーバーは、説明した機能を提供するために協働する多様なブレードサーバーを含む分散データベースシステムを含み得る。さらに、コンピュータは、キーボード７１０、グラフィックアダプタ７１２、及びディスプレイ７１８など、上述したコンポーネントのいくつかを欠くことができる。

【0072】

当業者は、記載された概念から逸脱することなく、本明細書に開示された装置及び技術の多数の使用及び修正、並びに逸脱を行うことができる。例えば、本開示において図示又は説明されるコンポーネント又は特徴は、図示又は説明される位置、設定、又は文脈に限定されない。本開示に従う装置の例は、先行する１つ又は複数の図を参照して説明されたコンポーネントよりも、全ての、より少ない、又は異なるコンポーネントを含むことができる。したがって、本開示は、本明細書に記載された特定の実施態様に限定されるものではなく、むしろ、添付の請求項、及びその等価物と一致する可能な限り広い範囲を与える。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】