特許 7690698 既存のユーザ生成コンテンツの没入型ビューへの投影

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-06-02

(45)【発行日】2025-06-10

(54)【発明の名称】既存のユーザ生成コンテンツの没入型ビューへの投影

(51)【国際特許分類】

   G01C 21/26 20060101AFI20250603BHJP

   G06T 19/20 20110101ALI20250603BHJP

【ＦＩ】

G01C21/26 P

G06T19/20

【請求項の数】 18

【外国語出願】

(21)【出願番号】P 2025020791

(22)【出願日】2025-02-12

【審査請求日】2025-03-25

(31)【優先権主張番号】18/444,013

(32)【優先日】2024-02-16

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(72)【発明者】

【氏名】チャールズ・ゴラン

(72)【発明者】

【氏名】イリエス・ガンゾウリ

(72)【発明者】

【氏名】カルディン・エヴェレット・モフェット

(72)【発明者】

【氏名】ジュリアン・バンジャマン・ブレット

(72)【発明者】

【氏名】サンティアゴ・ダビド・ロペス・ロペス

(72)【発明者】

【氏名】マルコス・ゼーフェルダー・デ・アシス・アラウホ

(72)【発明者】

【氏名】ダニエル・ジョセフ・フィリップ

【審査官】上野 博史

(56)【参考文献】

【文献】米国特許出願公開第２０１５／０３６３９３４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２３／０３５１７１１（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１８７７４９（ＷＯ，Ａ１）

【文献】特開２００６－１９４７９５（ＪＰ，Ａ）

【文献】特開２００４－２３４４５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／２６

Ｇ０６Ｔ １９／２０

(57)【特許請求の範囲】

【請求項1】

コンピュータに実装される方法であって、
地理的ロケーションを表す３次元モデルを取得することであって、前記３次元モデルは、前記地理的ロケーションを通る１つまたは複数の経路に沿って以前にカメラでキャプチャされた前記地理的ロケーションの一連の２次元画像に基づいて機械学習済みモデルによって生成される、取得することと、
前記地理的ロケーションに関連付けられたユーザ生成メディアコンテンツにアクセスすることと、
前記地理的ロケーションを表す前記３次元モデルを通る経路の少なくとも一部を表す経路情報を受信することであって、前記経路情報は、前記３次元モデルの生成に使用する前記地理的ロケーションの順序付けられた一連の２次元画像をキャプチャするために、以前に前記地理的ロケーションを通って移動していた際の前記カメラの経路に基づいて生成される、受信することと、
前記経路情報に少なくとも部分的に基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを選択することと、
前記経路情報と、ユーザに表示されるべき前記３次元モデルの部分とに基づいて、前記ユーザ生成メディアコンテンツの１つまたは複数のピースを含むように、前記地理的ロケーションを表す前記３次元モデルを修正することであって、前記ユーザ生成メディアコンテンツのピースは、前記３次元モデル内で１つまたは複数の視覚的ポップアウト内に提示される、修正することと、
ユーザに表示するための前記地理的ロケーションを表す前記３次元モデルを提供することと、
を含む、方法。

【請求項2】

前記ユーザ生成メディアコンテンツは１人または複数のユーザによってキャプチャされる、請求項１に記載のコンピュータに実装される方法。

【請求項3】

前記ユーザ生成メディアコンテンツは、ユーザ生成ビジュアルコンテンツ、ユーザ生成オーディオコンテンツ、及びユーザ生成テキストコンテンツのうちの少なくとも１つを含む、請求項２に記載のコンピュータに実装される方法。

【請求項4】

前記３次元モデルは、
前記一連の２次元画像にアクセスすることであって、前記２次元画像は、前記地理的ロケーションを通って移動し、前記地理的ロケーションの１つまたは複数の２次元画像を特定の順序で定期的にキャプチャするカメラによってキャプチャされたものである、アクセスすることと、
前記３次元モデルを出力として生成するようにトレーニングされた機械学習済みモデルに前記一連の画像を提供することと、
によって生成される、請求項１に記載のコンピュータに実装される方法。

【請求項5】

ユーザ生成メディアコンテンツの１つまたは複数のピースは、１つまたは複数の実世界動的オブジェクトを含む前記地理的ロケーションのイメージを含む、請求項１に記載のコンピュータに実装される方法。

【請求項6】

前記経路情報に基づいてユーザ生成メディアコンテンツの１つまたは複数のピースを選択することは、さらに、
前記３次元モデルに表示されるべきコンテンツの１つまたは複数のカテゴリを決定することと、
前記コンテンツの１つまたは複数のカテゴリに基づいて、前記ユーザ生成メディアコンテンツの１つまたは複数のピースを選択することと、
を含む、請求項１に記載のコンピュータに実装される方法。

【請求項7】

前記経路情報に基づいてユーザ生成メディアコンテンツの１つまたは複数のピースを選択することは、さらに、
前記地理的ロケーションを表す前記３次元モデル内の視覚的ポップアウトの目標密度を決定することと、
ユーザに表示されるべき前記地理的ロケーションを表す前記３次元モデルの前記部分に基づいて画像の数を選択することと、
を含む、請求項１に記載のコンピュータに実装される方法。

【請求項8】

前記経路情報に基づいてユーザ生成メディアコンテンツの１つまたは複数のピースを選択することは、さらに、
前記地理的ロケーションを表す前記３次元モデル内のそれぞれの位置に視覚的ポップアウトが表示されるべきであると決定することと、
ユーザ生成メディアコンテンツの複数の候補ピースのうちのユーザ生成メディアコンテンツの各候補ピースについて、前記３次元モデル内の関連ロケーションを決定することと、
ユーザ生成メディアコンテンツの各候補ピースについてコンテンツのレーティングを受信することと、
ユーザ生成メディアコンテンツの各候補ピースに関連付けられた前記地理的ロケーションと、ユーザ生成メディアの各候補ピースについての前記レーティングとに基づいて、ユーザ生成メディアコンテンツの前記候補ピースから、前記それぞれの位置についてユーザ生成メディアコンテンツのピースを選択することと、
を含む、請求項１に記載のコンピュータに実装される方法。

【請求項9】

前記ユーザ生成メディアコンテンツのピースは、前記ユーザ生成メディアコンテンツと、前記地理的ロケーションとの時間的関連性に少なくとも部分的に基づいて選択される、請求項８に記載のコンピュータに実装される方法。

【請求項10】

前記ユーザ生成メディアコンテンツのピースは、前記ユーザ生成メディアコンテンツのピースに関連付けられた時間帯に少なくとも部分的に基づいて選択される、請求項９に記載のコンピュータに実装される方法。

【請求項11】

前記ユーザ生成メディアコンテンツのピースは、前記ユーザ生成メディアコンテンツのピースに関連付けられた日付に少なくとも部分的に基づいて選択される、請求項９に記載のコンピュータに実装される方法。

【請求項12】

ユーザの嗜好のデータにアクセスすることをさらに含み、前記ユーザ生成メディアコンテンツのピースは、前記ユーザの嗜好に少なくとも部分的に基づいて選択される、請求項８に記載のコンピュータに実装される方法。

【請求項13】

前記ユーザ生成メディアコンテンツの複数のピースのうちのユーザ生成メディアコンテンツの各ピースは、関連付けられたメディア視点を有し、ユーザ生成メディアコンテンツの各候補ピースに関連付けられた前記地理的ロケーションと、ユーザ生成メディアコンテンツ画像の各ピースについての前記レーティングとに基づいて、前記ユーザ生成メディアコンテンツの前記候補ピースから前記それぞれの位置について前記ユーザ生成メディアコンテンツのピースを選択することは、さらに、
表示されるべき前記地理的ロケーションを表す前記３次元モデルの部分に関連付けられたユーザ視点を決定することと、
ユーザ生成メディアコンテンツの各ピースの前記関連付けられたメディア視点と、表示されるべき前記地理的ロケーションを表す前記３次元モデルの部分に関連付けられたユーザ視点とに少なくとも部分的に基づいて、前記ユーザ生成メディアコンテンツの１つまたは複数のピースを選択することと、
を含む、請求項８に記載のコンピュータに実装される方法。

【請求項14】

前記地理的ロケーションを表す前記３次元モデル内の前記それぞれの位置に関連付けられたセマンティックラベルを決定することと、
前記地理的ロケーションを表す前記３次元モデル内の前記それぞれの位置に関連付けられた前記セマンティックラベルに少なくとも部分的に基づいて、前記ユーザ生成メディアコンテンツの前記候補ピースから、前記それぞれの位置について前記ユーザ生成メディアコンテンツのピースを選択することと、
をさらに含む、請求項８に記載のコンピュータに実装される方法。

【請求項15】

前記地理的ロケーションを表す前記３次元モデルの部分を前記ユーザに表示している間に、
視覚的ポップアウトに表示されたユーザ生成メディアコンテンツのピースの選択を示すユーザ入力を受信することと、
前記ユーザ生成メディアコンテンツの選択されたピースをより詳細に表示するためにユーザインターフェースを更新することと、
をさらに含む、請求項１に記載のコンピュータに実装される方法。

【請求項16】

前記地理的ロケーションを表す前記３次元モデル内の仮想カメラの位置及び方向に基づいて決定された、前記地理的ロケーションの前記３次元モデルの部分を前記ユーザに表示している間に、
視覚的ポップアウトに表示されたユーザ生成メディアコンテンツのピースの選択を示すユーザ入力を受信することと、
ユーザインターフェース内で前記ユーザ生成メディアコンテンツの選択されたピースの追加の詳細を提供するために、前記地理的ロケーションを表す前記３次元モデル内の前記仮想カメラの前記方向を更新することと、
をさらに含む、請求項１に記載のコンピュータに実装される方法。

【請求項17】

コンピューティングデバイスであって、
入力デバイスと、
ディスプレイデバイスと、
命令を記憶する少なくとも１つのメモリと、
動作を行わせるために前記命令を実行するように構成された少なくとも１つのプロセッサと、を備え、前記動作は、
地理的ロケーションを表す３次元モデルを取得することであって、前記３次元モデルは、前記地理的ロケーションを通る１つまたは複数の経路に沿って以前にカメラでキャプチャされた前記地理的ロケーションの一連の２次元画像に基づいて機械学習済みモデルによって生成される、取得することと、
前記地理的ロケーションに関連付けられたユーザ生成メディアコンテンツにアクセスすることと、
前記地理的ロケーションを表す前記３次元モデルを通る経路の少なくとも一部を表す経路情報を受信することであって、前記経路情報は、前記３次元モデルの生成に使用する前記地理的ロケーションの順序付けられた一連の２次元画像をキャプチャするために、以前に前記地理的ロケーションを通って移動していた際の前記カメラの経路に基づいて生成される、受信することと、
前記経路情報に少なくとも部分的に基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを選択することと、
前記経路情報と、ユーザに表示されるべき前記３次元モデルの部分とに基づいて、前記ユーザ生成メディアコンテンツの１つまたは複数のピースを含むように、前記地理的ロケーションを表す前記３次元モデルを修正することであって、前記ユーザ生成メディアコンテンツのピースは、前記３次元モデル内で１つまたは複数の視覚的ポップアウト内に提示される、修正することと、
ユーザに表示するための前記地理的ロケーションを表す前記３次元モデルを提供することと、
を含む、コンピューティングデバイス。

【請求項18】

１つまたは複数のコンピューティングデバイスによって実行されると、前記１つまたは複数のコンピューティングデバイスに動作を行わせる命令をまとめて記憶する１つまたは複数の非一時的コンピュータ可読媒体であって、前記動作は、
地理的ロケーションを表す３次元モデルを取得することであって、前記３次元モデルは、前記地理的ロケーションを通る１つまたは複数の経路に沿って以前にカメラでキャプチャされた前記地理的ロケーションの一連の２次元画像に基づいて機械学習済みモデルによって生成される、取得することと、
前記地理的ロケーションに関連付けられたユーザ生成メディアコンテンツにアクセスすることと、
前記地理的ロケーションを表す前記３次元モデルを通る経路の少なくとも一部を表す経路情報を受信することであって、前記経路情報は、前記３次元モデルの生成に使用する前記地理的ロケーションの順序付けられた一連の２次元画像をキャプチャするために、以前に前記地理的ロケーションを通って移動していた際の前記カメラの経路に基づいて生成される、受信することと、
前記経路情報に少なくとも部分的に基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを選択することと、
前記経路情報と、ユーザに表示されるべき前記３次元モデルの部分とに基づいて、前記ユーザ生成メディアコンテンツの１つまたは複数のピースを含むように、前記地理的ロケーションを表す前記３次元モデルを修正することであって、前記ユーザ生成メディアコンテンツのピースは、前記３次元モデル内で１つまたは複数の視覚的ポップアウト内に提示される、修正することと、
ユーザに表示するための前記地理的ロケーションを表す前記３次元モデルを提供することと、
を含む、１つまたは複数の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、ロケーションの没入型ビューを提供することに関する。例えば、本開示は、既存のユーザ生成メディアコンテンツを、ロケーションの３次元没入型表現に統合するための方法及びシステムに関する。

【背景技術】

【0002】

地理情報システム（ＧＩＳ）は、都市計画、ナビゲーション、環境モニタリング、及び仮想ツーリズムを含む様々な用途を可能にする。高解像度画像の出現及びロケーション認識デバイスの普及により、仮想地理的表現の現実性及び情報値を強化するために利用できるユーザ生成コンテンツの量が急激に増加している。

【0003】

しかしながら、このユーザ生成コンテンツを３Ｄ地理モデルに統合することから、重大な技術的課題が発生する。具体的には、一貫性のあるナビゲート可能な３Ｄ環境になるように、大量の異種のデータを処理、選択、及びレンダリングすることに関連付けられた計算の複雑さは相当なものである。これらの仮想環境内でリアルタイムのインタラクティビティ及び視覚的な忠実度を維持する必要性を考慮すると、この複雑さはさらに深刻化する。

【0004】

結果として、コンピュータ化された地理情報システムの分野において、ユーザ生成コンテンツをリアルタイムで処理、選択、及びレンダリングに固有の複雑な計算に対処しながら、ロケーションの没入型３Ｄビューに効率的かつ効果的に投影する方法に関する技術的な問題が存在する。この技術的問題を解決すると、仮想地理的表現の有用性及びリアリズムが大幅に向上し、仮想環境を探索する際に、よりリッチかつより有益な体験がユーザに提供される。

【発明の概要】

【0005】

本開示の実施形態の態様及び利点は、以下の説明において部分的に説明される、または説明から習得できる、または例示的な実施形態の実践を通じて習得できる。

【0006】

１つまたは複数の例示的な実施形態では、ユーザ生成コンテンツを含むように３次元表現を更新するためのコンピュータに実装される方法が示される。本方法はロケーションの３次元表現を取得することを含み、３次元表現は複数の画像に基づいて生成される。本方法は、ロケーションに関連付けられたユーザ生成メディアコンテンツにアクセスすることを含む。本方法は、ロケーションの３次元表現を通る経路の少なくとも一部を表す経路情報を受信することを含む。本方法は、経路情報に少なくとも部分的に基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを選択することを含む。本方法は、経路情報と、ユーザに表示される３次元表現の部分とに基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを、ロケーションの３次元表現に統合することを含み得、ユーザ生成メディアコンテンツのピースは、３次元表現内で１つまたは複数の視覚的ポップアウト内に提示される。本方法は、ユーザに表示するためのロケーションの３次元表現を提供することを含む。

【0007】

本開示の他の例示的な態様は、コンピューティングシステムを対象とする。システムは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されると、コンピューティングシステムに動作を行わせる命令をまとめて記憶する１つまたは複数の非一時的コンピュータ可読媒体と、を含み得る。動作はロケーションの３次元表現を取得することを含み得、３次元表現は複数の画像に基づいて生成される。動作は、ロケーションに関連付けられたユーザ生成メディアコンテンツにアクセスすることを含み得る。動作は、ロケーションの３次元表現を通る経路の少なくとも一部を表す経路情報を受信することを含み得る。動作は、経路情報に少なくとも部分的に基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを選択することを含み得る。動作は、経路情報と、ユーザに表示される３次元表現の部分とに基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを、ロケーションの３次元表現に統合することを含み得、ユーザ生成メディアコンテンツのピースは、３次元表現内で１つまたは複数の視覚的ポップアウト内に提示される。動作は、ユーザに表示するためのロケーションの３次元表現を提供することを含み得る。

【0008】

本開示の他の例示的な態様は、１つまたは複数のコンピューティングデバイスによって実行されると、１つまたは複数のコンピューティングデバイスに動作を行わせる命令をまとめて記憶する１つまたは複数の非一時的コンピュータ可読媒体を対象とする。動作はロケーションの３次元表現を取得することを含み得、３次元表現は複数の画像に基づいて生成される。動作は、ロケーションに関連付けられたユーザ生成メディアコンテンツにアクセスすることを含み得る。動作は、ロケーションの３次元表現を通る経路の少なくとも一部を表す経路情報を受信することを含み得る。動作は、経路情報に少なくとも部分的に基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを選択することを含み得る。動作は、経路情報と、ユーザに表示される３次元表現の部分とに基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを、ロケーションの３次元表現に統合することを含み得、ユーザ生成メディアコンテンツのピースは、３次元表現内で１つまたは複数の視覚的ポップアウト内に提示される。動作は、ユーザに表示するためにロケーションの３次元表現を提供することを含み得る。

【0009】

本開示の様々な実施形態のこれら及び他の特徴、態様、及び利点は、以下の説明、図面、及び添付の特許請求の範囲を参照して、より深く理解されるようになる。本明細書に組み込まれ、本明細書の一部を構成する付随の図面は、本開示の例示的な実施形態を例示し、その説明と一緒に、関連する原理を説明する役割を果たしている。

【0010】

当業者を対象にした例示的な実施形態の詳細な説明が、添付図面を参照する明細書に記載されている。

【図面の簡単な説明】

【0011】

【図1】本開示の１つまたは複数の例示的な実施形態による、例示的なシステムである。

【図2】本開示の１つまたは複数の例示的な実施形態による、電子デバイス及びサーバーの例示的なブロック図を含む。

【図3】本開示の例示的な実施形態による、ユーザ生成コンテンツをロケーションの３次元表現に統合するための例示的なシステムを表す。

【図4】本開示の１つまたは複数の例示的な実施形態による、マッピングアプリケーションのユーザインターフェース画面を示す。

【図5A】本開示の１つまたは複数の例示的な実施形態による、ロケーションの例示的な没入型３次元表現を示す。

【図5B】本開示の１つまたは複数の例示的な実施形態による、ロケーションの例示的な没入型３次元表現を示す。

【図6A】本開示の１つまたは複数の例示的な実施形態による、視覚的ポップアウトが挿入されたロケーションの例示的な没入型３次元表現を示す。

【図6B】本開示の１つまたは複数の例示的な実施形態による、視覚的ポップアウトが挿入されたロケーションの例示的な没入型３次元表現を示す。

【図6C】本開示の１つまたは複数の例示的な実施形態による、視覚的ポップアウトが挿入されたロケーションの例示的な没入型３次元表現を示す。

【図7A】本開示のいくつかの実施態様による、ユーザ生成メディアコンテンツがシームレスに統合されているロケーションの３次元表現の例を表示する。

【図7B】本開示のいくつかの実施態様による、３Ｄ表現を生成するために使用されるユーザ生成メディアコンテンツのピースを表示する。

【図8】本開示の例示的な実施形態による、ユーザ生成メディアコンテンツをロケーションの３次元表現に統合する方法の例示的なフロー図を示す。

【発明を実施するための形態】

【0012】

ここで本開示の実施形態を参照すると、実施形態の１つまたは複数の例は、図面に示されており、同様の参照符号は同様の要素を示す。それぞれの例は、本開示の説明として提供され、本開示を限定することを意図していない。実際、本開示の範囲または趣旨から逸脱することなく、本開示に対して様々な修正及び変形を加えることができることが当業者には明らかである。例えば、１つの実施形態の一部として図示または説明される特徴は、他の実施形態とともに使用して、さらに他の実施形態を生じさせることができる。したがって、本開示が、添付の特許請求の範囲及びそれらの均等物の範囲内に入るような修正及び変形を網羅することが意図される。

【0013】

本明細書で使用される用語は、例示的な実施形態を説明するために使用され、本開示を限定及び／または制限することを意図するものではない。単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が別段に明確に示さない限り、同様に複数形も含むことが意図される。本開示では、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「備える／含む（ｃｏｍｐｒｉｓｉｎｇ）」等の用語は、特徴、数、ステップ、動作、要素、コンポーネント、またはそれらの組み合わせを指定するために使用されるが、特徴、要素、ステップ、動作、要素、コンポーネント、またはそれらの組み合わせの１つまたは複数の存在または追加を排除しない。

【0014】

第１の、第２の、第３の等の用語が、様々な要素を説明するために本明細書で使用され得るが、要素がこれらの用語によって制限すべきではないことが理解されるであろう。代わりに、これらの用語は、一方の要素を他の要素と区別するために使用される。例えば、本開示の範囲から逸脱することなく、第１の要素は第２の要素と呼ばれ得、第２の要素は第１の要素と呼ばれ得る。

【0015】

「及び／または」という用語は、複数の関連する列挙された項目の組み合わせ、または複数の関連する列挙された項目のうちの任意の項目を含む。例えば、「Ａ及び／またはＢ」という表現または語句の範囲は、項目「Ａ」、項目「Ｂ」、及び項目「Ａ及びＢ」の組み合わせを含む。

【0016】

さらに、「ＡまたはＢのうちの少なくとも１つ」という表現または語句の範囲は、（１）Ａのうちの少なくとも１つ、（２）Ｂのうちの少なくとも１つ、ならびに（３）Ａのうちの少なくとも１つ及びＢのうちの少なくとも１つ、の全てを含むことが意図される。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」という表現または語句の範囲は、（１）Ａのうちの少なくとも１つ、（２）Ｂのうちの少なくとも１つ、（３）Ｃのうちの少なくとも１つ、（４）Ａのうちの少なくとも１つ及びＢのうちの少なくとも１つ、（５）Ａのうちの少なくとも１つ及びＣのうちの少なくとも１つ、（６）Ｂのうちの少なくとも１つ及びＣのうちの少なくとも１つ、ならびに（７）Ａのうちの少なくとも１つ、Ｂのうちの少なくとも１つ、及びＣのうちの少なくとも１つ、の全てを含むことが意図される。

【0017】

本開示は、ロケーションの３次元（３Ｄ）表現内にユーザ生成メディアコンテンツを統合する（例えば、埋め込む）ためのシステム及び方法を対象とする。より具体的には、ユーザがロケーションの没入型３次元表現の表示を選択すると、表現修正システムは、ロケーションの没入型３次元表現に統合されるユーザ生成メディアコンテンツの１つまたは複数のピースを選択できる。ユーザ生成メディアコンテンツの１つまたは複数のピースは、メディアコンテンツの特定のカテゴリ、特定のサブジェクトもしくはトピック、特定の３次元表現（または、その一部）に関連付けられたロケーション、メディアコンテンツのピースに含まれるサブジェクト、ユーザ生成メディアコンテンツのピースのレーティング等のうちの１つまたは複数に基づいて選択できる。

【0018】

ユーザ生成メディアコンテンツの選択されたピースは、ロケーションの３次元表現に挿入できる。いくつかの例では、ユーザ生成メディアコンテンツのピースは、シーンの３次元表現を通る経路に沿って１つまたは複数の視覚的ポップアップアウトとして表示できる。各視覚的ポップアップアウトは、３次元表現の特定のピースに表示でき、それにより、ユーザ生成メディアコンテンツのピースは３次元表現内に表示される。ユーザは、特定のポップアップを選択して、ユーザ生成視覚メディアのピースのより詳細なバージョンを受信できる。

【0019】

例えば、ロケーションの３次元表現は、レストランのものであり得る。ユーザがロケーションの３次元表現の表示を開始すると、ディスプレイシステムは、ロケーションの３次元表現における１つまたは複数のポップアウトに表示する１つまたは複数のユーザ生成メディアコンテンツを決定できる。これらのユーザ生成コンテンツのピースは、ユーザ生成メディアコンテンツの各々のピースが関連付けられる３次元空間内の特定の位置に基づいて、及び／またはユーザ生成メディアコンテンツのピースのコンテンツに基づいて選択できる。各ポップアウトは、ユーザ生成メディアコンテンツ（例えば、画像、ビデオ、またはオーディオ）の単一のピースがポピュレートされ得る。

【0020】

３次元表現のユーザに提示されたビューは、特定の経路に沿って３次元表現を通って進むように制御できる。ディスプレイが３次元表現を経由した経路をたどるとき、複数の視覚的ポップアップアウトを表示できる。ユーザは、（例えば、ユーザインターフェースのポップアウトをクリックすることによって）各々のポップアウトを選択できる。それに応答して、ユーザインターフェースを更新して、ユーザ生成メディアコンテンツのより大きくより詳細なビューを提示できる。いくつかの例では、ユーザ生成コンテンツは、指定条件（例えば、特定の時間、特定の天候条件等）の下でのロケーション、ロケーションにいる人数（例えば、混雑している、空いている等）、一般的な雰囲気（例えば、活気がある、落ち着いている等）、推奨される服装（例えば、フォーマル、トレンド、カジュアル、スポーツウェア等）、ノイズレベル（例えば、静か、騒がしい等）などを含む。

【0021】

より一般的には、本開示は、ロケーションの３次元（３Ｄ）表現とユーザ生成メディアコンテンツを統合する（例えば、埋め込む）ためのシステム及び方法を対象とする。システム及び方法は、ユーザコンピューティングデバイス上のアプリケーション、リモートサーバーシステム、またはその両方の組み合わせによって行うことができる。サーバーコンピューティングシステムは、情報またはサービスを提供するためにネットワークを通じてユーザコンピューティングデバイス（またはその他のコンピューティングデバイス）と通信するように構成された任意のコンピューティングシステムであり得る。サーバーコンピューティングシステムが用いられている場合、サーバーコンピューティングシステムは、ユーザコンピューティングデバイスから、ロケーションの３次元表現を視認する要求を受信できる。３次元表現を記述するデータは、ユーザコンピューティングデバイス上のアプリケーションを介してユーザに表示されるよう、ユーザコンピューティングデバイスに送信され得る。

【0022】

ユーザコンピューティングデバイスは、エンドユーザによって操作されるように設計された任意のコンピューティングデバイスであり得る。例えば、ユーザコンピューティングデバイスは、限定ではないが、パーソナルコンピュータ、スマートフォン、スマートウォッチ、フィットネスバンド、タブレットコンピュータ、ラップトップコンピュータ、ハンドヘルドナビゲーションコンピューティングデバイス、ウェアラブルコンピューティングデバイス、ゲーム機等を含み得る。いくつかの例では、ユーザコンピューティングデバイスは、通信ネットワークを経由してサーバーシステムと通信できる１つまたは複数の通信システムを含み得る。

【0023】

ナビゲーション及びマッピングシステムは、没入型ビューアプリケーションを含み得、これにより、ランドマーク、レストラン、店舗等を含む関心のあるエリアまたは地点の多次元ビューを通してロケーションを探索する方法をコンピューティングデバイスのユーザに提供する。没入型ビューアプリケーションは、ナビゲーションアプリケーションの一部、別個のマッピングアプリケーション、またはスタンドアロンアプリケーションであり得る。没入型ビューアプリケーションは、特定の関心のあるロケーションまたは地点の複数の画像を受信できる。いくつかの例では、複数の画像は、没入型ビューアプリケーション専用に生成される。この場合、複数の画像は、ユーザがロケーションを通って移動し、画像を定期的に（例えば、１秒に１つの画像）キャプチャすることによって生成（またはキャプチャ）される。他の例では、複数の画像は、エリアの既存の画像から供給できる。これらの既存の画像をフィルタリングして、シーンの３次元表現を生成するための最も価値のある画像を識別できる。

【0024】

複数の画像は、複数の画像に基づいてロケーションの３次元表現を生成するようにトレーニングされた機械学習済みモデルに提供できる。例えば、機械学習済みモデルは、複数の画像に基づいてロケーションの３次元表現を生成するためにニューラルラジアンスフィールドプロセスを使用できる。機械学習済みモデルは、ロケーションの３次元表現を出力できる。ロケーションの３次元表現は、ロケーションに関連付けられたシーンの没入型ビューを表示できる。表示された没入型ビューのコンテンツは、視点オブジェクト（viewing object）（例えば、３次元表現内に位置付けられたシミュレートされたカメラ）のロケーション及び方向に依存し得る。

【0025】

視点オブジェクトは、シーンの異なる部分及びロケーションの態様を異なる角度から表示するように、３次元表現全体にわたって移動できる。いくつかの例では、視点オブジェクトの移動は、３次元空間全体にわたる１つまたは複数の所定のトラックまたは経路に基づいて事前に決定できる。これらの事前定義された経路は、ロケーションの３次元表現を作成するために使用される画像を生成したユーザの経路に基づいて決定され得る。他の例では、３次元表現は、視点オブジェクトがユーザの入力に従って移動できるようにフレキシブルであり得る。

【0026】

いくつかの例では、３次元表現を追加のメディアコンテンツで拡張して、ユーザが３次元表現を見る際に追加情報を提供できる。例えば、３次元表現は、ロケーションの固定特徴または静的特徴（例えば、永久的または半永久的な特徴）だけを含み得る。結果として、人、食べ物、及び照明や雰囲気を含む環境等の可動オブジェクトまたは過渡現象に関連付けられた情報は、３次元表現内に表されない場合がある。この追加情報は、３Ｄ表現全体に位置付けられた一連の２次元ポップアウトまたは視覚データ表示ウィンドウとして３Ｄ表現に挿入された、ユーザ生成メディアコンテンツを通じて提供できる。

【0027】

ユーザ生成メディアコンテンツはユーザによってキャプチャされ、表現生成システムに利用可能な画像、ビデオ、及びオーディオを含み得る。例えば、ユーザは、この情報を、一般公開されたソーシャルメディアサイトにポストし、その情報がロケーションの３次元表現を生成に利用可能であることを示し得る。したがって、ユーザ生成コンテンツは、ユーザの明示的な許可がある場合にだけ使用される。

【0028】

ユーザ生成メディアコンテンツは、ロケーションの非永久的な態様または特徴に関する情報を提供できる。この情報には、ロケーションの全体的な雰囲気や空気感、提供されるサービスや食事、季節ごとの装飾、特定の時間におけるそのロケーションの推定混雑度等が含まれ得る。

【0029】

表現生成システムは、表現内における１つまたは複数のポップアウトに表示するユーザ生成メディアコンテンツの数及びタイプを決定できる。表現生成システムは、いくつかの要因に基づいて、表現内に表示するポップアウトの数を決定できる。例えば、表現生成システムは、ロケーションの３Ｄ表現の全体的なサイズを決定できる。例えば、表現生成システムは、表現を通る経路を決定できる。表現経路は、表現の生成に使用する画像を最初にキャプチャしたときのユーザの経路に基づいて決定できる。他の例では、ユーザは、表現内で自分の経路を選ぶことができ、これがユーザの経路の総距離として使用され得る。

【0030】

表現生成システムは、ロケーションの表現に表示される視覚的ポップアップの密度を決定できる。いくつかの例では、密度は、ユーザがロケーションの１つまたは複数の非固定特徴を理解するために、ポップアップがどの程度重要であるかに基づき得る。例えば、表現内に多くのオブジェクトが存在する場合、密度は、元の表示においてオブジェクトが少ない表現よりも小さくなり得る。いくつかの例では、また、ロケーションを通るカメラの推定速度も使用して、ポップアウトの密度を決定できる。例えば、ユーザに関連付けられたカメラがゆっくり移動する場合、ポップアップの密度は高くなり得、逆もまた同様である。生成表現システムは、１つまたは複数の要因に基づいて、表示するポップアウトの数を決定できる。

【0031】

いくつかの例では、表現生成システムは、ロケーションの３次元表現内における既存の特徴に基づいて、ポップアウトのロケーションを決定できる。例えば、表現の特定の特徴は、ポップアウトのアンカーポイントとして選択され得る。他の例では、ポップアップのロケーションは、ユーザ生成メディアコンテンツの最高レーティングのロケーションに基づいて決定できる。

【0032】

例えば、ユーザ生成メディアコンテンツの各ピースは、関連付けられたロケーションを有し得る。その関連ロケーションは、ロケーションの表現にマッピングされ、メディアコンテンツが表現内のどこに表示されるかを決定できる。いくつかの例では、表現生成システムは、ロケーションの表現に関連すると決定された１つまたは複数のサブジェクトに基づいて、どのメディアユーザ生成メディアコンテンツのピースを表示するかを選択できる。例えば、レストラン等の特定のロケーションの場合、関心の対象は、環境、ムード、雰囲気、食事、アクティビティ等のうちの１つであり得る。関心の対象は、例えばミニゴルフコースなど、他のロケーションでは異なり得る。例えば、ミニゴルフコースにおける関心の対象には、ユーザの密度、一般的な天候、及び一般的な来場者の雰囲気が含まれ得、これらがより関心を引く可能性がある。

【0033】

いくつかの例では、ユーザ生成メディアコンテンツの特定のピースは、それらに関連付けられたロケーションに基づいて選択され得る。例えば、表現生成システムは、表現内における特定のロケーションがポップアウトに好適であると決定し得る。この決定に基づいて、３次元表現修正システムは、そのロケーションに関連付けられた最高レーティングのピースのコンテンツを選択できる。同様に、高レーティングのユーザ生成コンテンツの２つのピースが互いに近くにあると仮定する。その場合、表現生成システムは、ロケーションの表現において２つのポップアウトが密集して表示されないように、１つだけを含み得る。

【0034】

いくつかの例では、ユーザ生成コンテンツの選択されるピースは、ユーザ生成コンテンツのピースがキャプチャされた時間に基づいて選ばれる。例えば、ユーザは、ロケーションの３次元表現を見ることにした場合に、特定の時間（例えば、午後６：３０）、日付（金曜の夜）、またはその両方（例えば、具体的な日付と特定の時間）を選択し得る。ユーザが選択した時刻及び／または日付に基づいて、表現生成システムは、選択された時刻／日付におけるロケーションの３次元表現内に挿入するユーザ生成コンテンツを選択できる。例えば、特定のレストランが、金曜の午後１０：００以降にダンスフロア用のスペースを開放すると仮定する。その場合、金曜の午後１０：３０に表示されるユーザ生成コンテンツのピースには、ダンスフロアと、それに付随する予想される雰囲気を示すコンテンツが含まれ得る。同様に、その時間より前に、ユーザ生成メディアコンテンツの選択されたピースはダンスフロアと関連付けられないであろう。

【0035】

いくつかの例では、ユーザは、具体的な日付または季節（例えば、祝日、またはその他の重要な日付もしくは季節）を選択でき、表現修正システムは、その日付または季節に適したユーザ生成メディアコンテンツのピースを選択できる。例えば、ユーザは、冬のホリデーシーズンに特定のロケーションで予想できる雰囲気もしくは照明の例を確認したり、または夏期にリゾートで利用できるプールの雰囲気を見たりすることができる。

【0036】

表現修正システムがメディアコンテンツのピースの数、メディアコンテンツのピースのロケーション、ユーザ生成メディアコンテンツのピースの関心の対象、及びユーザが関心のある時刻／日付を決定すると、表現修正システムは、指定基準に基づいて、ユーザ生成メディアコンテンツの候補ピースをフィルタリングできる。ユーザ生成メディアコンテンツのピースがフィルタリングされると、表現修正システムは、最高レーティングを伴うユーザ生成メディアコンテンツの１つまたは複数のピースを選択できる。

【0037】

いくつかの例では、ユーザ生成メディアコンテンツは、サブジェクト、場所、時間等を含む基準の特定のセットにマッチする程度に基づいて、レーティングされ得る。いくつかの例では、レーティングは、サードパーティのレーティングサービスによって生成される。いくつかの例では、表現修正システムはレーティングを作成できる。

【0038】

いくつかの例では、表現修正システムは、ユーザ生成メディアコンテンツの選択されたピースを修正できる。例えば、画像をトリミングでき、ビデオを編集できる。いくつかの例では、特定の詳細を削除したり、または特定の特徴をハイライトしたりすることができる。いくつかの例では、また、ユーザ生成メディアコンテンツに関連付けられたテキストも表示できる。

【0039】

いくつかの例では、選択された画像は、視覚的ポップアップアウトとしてロケーションの３次元表現に挿入できる。視覚的ポップアップを３次元表現内に表示できることにより、ユーザは、ロケーションの３次元表現をナビゲートするときに視覚的ポップアップを視認できる。例えば、ユーザのコンピューティングデバイスにインストールされたアプリケーションは、ロケーションの３次元表現をユーザに提示できる。視覚的ポップアウトは、３次元表現を用いた特定のロケーションのコンテキストで表示された２次元画像であり得る。視覚的ポップアウトは、それを３次元表現の他の部分と区別するために境界（例えば、白境界または黒境界）を含み得る。さらに、各視覚的ポップアウトは、３次元表現内の特定のロケーションに関連付けることができ、３次元表現内の特定のロケーションに境界を接続する視覚的テールを有し得る。

【0040】

ロケーションの３次元表現をナビゲートしながら、ユーザは、１つもしくは複数のポップアウトとインタラクトして、または１つもしくは複数のポップアウトを選択して、ユーザ生成コンテンツに関するより多くの詳細を取得できる。例えば、ユーザがユーザ生成視覚コンテンツの特定のピースをクリックした場合、インターフェースが更新され、ユーザが視認できるよう、ユーザ生成コンテンツのそのピースが拡大され得る。

【0041】

本開示の例によると、サーバーコンピューティングシステムは、コンピューティングデバイスのディスプレイデバイスで提示できるロケーションの３次元表現をコンピューティングデバイスに提供し得る。ロケーションの３次元表現は、動的に提供され得る（例えば、コンピューティングデバイスからの要求に応答して生成及び送信される）、またはロケーションの３次元表現は、データベースからのロケーションの３次元表現を取得することによって提供され得る。ロケーションの統合された３次元シーンは、要求の条件に従って、データベースから取得され得る。

【0042】

したがって、本開示は、大量の異種のユーザ生成データをリアルタイムで処理、選択、及びレンダリングして、一貫性がありナビゲート可能な３Ｄ環境へ統合する際の計算の複雑さに対処する技術を提供する。技術的解決策は、コンピュータに実装される方法を含み、これには複数の画像に基づいてロケーションの３Ｄ表現を取得することと、関連するユーザ生成メディアコンテンツにアクセスすることと、３Ｄ表現内の経路情報を受信することと、この経路情報に基づいてコンテンツを選択することと、コンテンツを３Ｄ表現に統合して視覚的ポップアウト内に提示することと、が含まれる。具体的な技術的実施態様は、３Ｄ表現を生成するための機械学習済みモデルを使用すること、ユーザの入力または事前定義されたルートに基づいて表現を通る経路を決定すること、及び／または経路に沿った、ロケーションの非永久的な態様の理解を強化するユーザ生成コンテンツを選択することと、を含む。

【0043】

本明細書に説明される解決策の１つまたは複数の技術的利点は、ユーザが特定の状況または条件下でのロケーションの状態の正確な表現を容易にかつより正確に取得することを可能にすることを含む。例えば、ユーザは、特定の時刻、季節等におけるレストランまたは公園を含む屋内または屋外のスポットの状態の正確な表現を容易にかつより正確に取得できる。例えば、ユーザは、特定の環境条件下で（例えば、晴天時、雨天時、強風時等）、レストランまたは公園を含む屋内または屋外のスポットの状態の正確な表現を容易にかつより正確に取得できる。上記の方法により、そのロケーションにユーザが実際に赴くことなく、仮想的にディスプレイを介して、そのロケーションの状態の正確な表現が提供される。さらに、ユーザが指定した特定の時間または特定の条件下でのロケーションの状態について、正確な予測も提供され得る。

【0044】

また、本明細書に説明される解決策の１つまたは複数の技術的利点は、ロケーションに関連付けられた未使用のメディアコンテンツ（例えば、ユーザ生成メディアコンテンツ）を、ロケーションの既存の３次元表現と統合することも含む。例えば、メディアコンテンツは、ロケーションの３次元表現を形成するために使用されるイメージ（imagery）の取得後に取得され得る。したがって、ユーザ生成メディアコンテンツのピースが統合された３次元表現は、ロケーションの正確な最新の状態を表す。さらに、様々な条件に従って、ロケーションを正確に描写するために、様々な特異な３次元表現が生成され得る。例えば、サーバーコンピューティングシステムは、没入型ビューに対するユーザの要求にマッチするメディアコンテンツに関連付けられた情報に基づいてユーザ生成メディアコンテンツのピースを選択し、統合するように構成される。例えば、ほとんど顧客がいない朝に撮影されたレストランの内部の画像（images）は、夕食時のレストランの没入型ビューのために生成される統合３Ｄシーンには統合されない。したがって、メディアコンテンツに関連付けられたメタデータ及びその他の記述コンテンツを使用して、ロケーションの３次元表現を正確に形成し得る。同様に、画像セグメンテーション技術及び機械学習リソースは、メディアコンテンツから抽出された動的オブジェクトを、ロケーションの３次元表現内の適切なロケーションに位置付けてまたは配置して、ロケーションの状態を正確に提供するために実装され得る。

【0045】

したがって、提案されたシステム及び方法の態様は、ロケーションの静的コンテンツの既存の３次元表現を、ロケーションの動的態様を表すデータで拡張するという技術的問題に対する技術的解決策を表す。このシステムは、ユーザが最小の追加のコスト及び時間でロケーションの雰囲気及び／または環境を把握できるように、ユーザ生成メディアコンテンツを選択してロケーションの非静的態様を表す既存の３次元表現に統合するための新しい方法を導入する。したがって、ロケーションの静的要素を含む３次元表現を表示するとき、動的データをユーザにいかに提示するかという問題を解決する。

【0046】

図１は、本開示の１つまたは複数の例示的な実施形態による例示的なシステムを示す図である。図１は、ユーザコンピューティングデバイス１００、外部コンピューティングデバイス２００、サーバーコンピューティングシステム３００、及び外部コンテンツ５００を含むシステムの例を示し、これらはネットワーク４００を通じて相互に通信し得る。例えば、ユーザコンピューティングデバイス１００及び外部コンピューティングデバイス２００は、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ、グローバルポジショニングサービスデバイス、スマートウォッチ等のいずれかを含み得る。ネットワーク４００は、有線もしくは無線ネットワーク、またはそれらの組み合わせを含む任意のタイプの通信ネットワークを含み得る。ネットワーク４００は、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、仮想プライベートネットワーク（ＶＰＮ）等を含み得る。例えば、例示的な実施形態の要素間の無線通信は、無線ＬＡＮ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、Ｗｉ－Ｆｉダイレクト（ＷＦＤ）、ウルトラワイドバンド（ＵＷＢ）、赤外線データ通信（ＩｒＤＡ）、Ｂｌｕｅｔｏｏｔｈ低エネルギー（ＢＬＥ）、近距離無線通信（ＮＦＣ）、無線周波数（ＲＦ）信号等を介して行われ得る。例えば、例示的な実施形態の要素間の有線通信は、ペアケーブル、同軸ケーブル、光ファイバーケーブル、イーサネットケーブル等を介して行われ得る。ネットワークを通じた通信は、様々な種類の通信プロトコル（例えば、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＳＭＴＰ、ＦＴＰ）、エンコードもしくはフォーマット（例えば、ＨＴＭＬ、ＸＭＬ）、及び／または保護スキーム（例えば、ＶＰＮ、セキュアＨＴＴＰ、ＳＳＬ）を使用できる。

【0047】

下記により詳細に説明されるように、いくつかの実施態様では、ユーザコンピューティングデバイス１００及び／またはサーバーコンピューティングシステム３００は、ユーザコンピューティングデバイス１００のユーザにロケーションの没入型ビューを提供できるナビゲーション及びマッピングシステムの一部を形成し得る。

【0048】

いくつかの例示的な実施形態では、サーバーコンピューティングシステム３００は、ユーザ生成コンテンツデータストア３５０、ＰＯＩデータストア３７０、ナビゲーションデータストア３８０、及びユーザデータストア３９０のうちの１つまたは複数からデータを取得して、本明細書に開示されるナビゲーション及びマッピングシステムの様々な動作及び態様を実施し得る。ユーザ生成コンテンツデータストア３５０、ＰＯＩデータストア３７０、ナビゲーションデータストア３８０、及びユーザデータストア３９０は、サーバーコンピューティングシステム３００と一体的に（例えば、サーバーコンピューティングシステム３００の１つまたは複数のメモリデバイス３２０の一部として）提供され得る、または別個に（例えば、リモートで）提供され得る。さらに、ユーザ生成コンテンツデータストア３５０、ＰＯＩデータストア３７０、ナビゲーションデータストア３８０、及びユーザデータストア３９０は、単一のデータストア（データベース）として組み合わせることができる、または複数の各々のデータストアであり得る。一方のデータストア（例えば、ＰＯＩデータストア３７０）に記憶されたデータは、他のデータストア（例えば、ナビゲーションデータストア３８０）に記憶されたいくつかのデータと重複し得る。いくつかの実施態様では、一方のデータストアは、他のデータストア（例えば、ユーザ生成コンテンツデータストア３５０）に記憶されるデータを参照し得る。

【0049】

ユーザ生成コンテンツデータストア３５０は、例えば、ユーザコンピューティングデバイス１００、外部コンピューティングデバイス２００、またはいくつかの他のコンピューティングデバイスを介して、ユーザによってキャプチャされたメディアコンテンツを記憶できる。ユーザ生成メディアコンテンツは、ユーザ生成画像、ビデオ、及び／またはユーザ生成オーディオコンテンツを含み得る。例えば、メディアコンテンツは、ユーザコンピューティングデバイス（例えば、スマートフォン）を操作する人によってキャプチャされ得る、または、例えば、ロケーションを監視するコンピューティングシステム（例えば、セキュリティシステム、監視システム等）によって間接的にキャプチャされ得る。

【0050】

例えば、ユーザ生成メディアコンテンツは、コンピューティングデバイスのカメラ（例えば、図２の画像キャプチャ装置１８２）によりキャプチャされ得、レストラン、ランドマーク、事業所、学校等を含むロケーションのイメージを含み得る。該イメージは、イメージに関連付けられたロケーションの３次元表現にイメージ（またはイメージの部分）を統合するのに有用な様々な情報（例えば、メタデータ、セマンティックデータ等）を含み得る。例えば、画像は、画像がキャプチャされた日付、画像がキャプチャされた時刻、画像が撮影されたロケーションを示すロケーション情報（例えば、ＧＰＳロケーション）等を含む情報を含み得る。例えば、画像には説明的メタデータが付与され得、説明的メタデータは、画像に関連するキーワード、画像のタイトルまたは名前、画像がキャプチャされた時点における環境情報（例えば、輝度レベルを含む照明条件と、デシベルレベルを含むノイズ条件と、温度、風速、降水量、雲量、湿度などの天候条件を含む天気情報等）を含み得る。環境情報は、画像をキャプチャするために使用されるコンピューティングデバイスのセンサーから、または他のコンピューティングデバイスから取得され得る。

【0051】

例えば、ユーザ生成メディアコンテンツは、ユーザコンピューティングデバイスのマイクロフォン（例えば、サウンドキャプチャ装置１８４）によってキャプチャされ得、レストラン、ランドマーク、事業所、学校等を含むロケーションに関連付けられたオーディオを含み得る。例えば、オーディオコンテンツは、オーディオがキャプチャされた日付、オーディオがキャプチャされた時刻、オーディオがキャプチャされたロケーションを示すロケーション情報（例えば、ＧＰＳロケーション）等を含む情報を含み得る。例えば、オーディオには説明的メタデータが提供され得、説明的メタデータは、オーディオに関連するキーワード、オーディオのタイトルまたは名前、オーディオがキャプチャされた時点における環境情報（例えば、輝度レベルを含む照明条件と、デシベルレベルを含むノイズ条件と、温度、風速、降水量、雲量、湿度などの天候条件を含む天気情報等）を含み得る。環境情報は、オーディオをキャプチャするために使用されるコンピューティングデバイスのセンサーから、または他のコンピューティングデバイスから取得され得る。

【0052】

ＰＯＩデータストア３７０は、例えば１つまたは複数の地理的エリアに関連付けられたエリアまたは領域のポイントオブインタレストにおける、ロケーションまたはポイントオブインタレストに関する情報を記憶できる。ポイントオブインタレストは、任意の目的地または場所を含み得る。例えば、ポイントオブインタレストは、レストラン、ミュージアム、スポーツ会場、コンサートホール、アミューズメントパーク、学校、事業所、食料品店、ガソリンスタンド、劇場、ショッピングモール、宿泊施設等を含み得る。ＰＯＩデータストア３７０に記憶されたポイントオブインタレストデータは、ＰＯＩに関連付けられたいずれかの情報を含み得る。例えば、ＰＯＩデータストア３７０は、ＰＯＩのロケーション情報、ＰＯＩの営業時間、ＰＯＩの電話番号、ＰＯＩに関するレビュー、ＰＯＩに関連付けられた金銭情報（例えば、食事、チケット、部屋等のＰＯＩで提供されるサービス及び／またはＰＯＩで販売されるグッズの平均コスト等）、ＰＯＩに関する環境情報（例えば、ＰＯＩに位置する様々なセンサーによってリアルタイムで提供され得る、または取得され得るノイズレベル、環境の説明、トラフィックレベル等）、ＰＯＩで提供されるサービス及び／またはＰＯＩで販売されるグッズの種類の説明、ＰＯＩで話される言語、ＰＯＩのＵＲＬ、ＰＯＩに関連付けられた画像コンテンツ等を含み得る。例えば、ＰＯＩに関する情報は、外部コンテンツ５００から（例えば、ＰＯＩに関連付けられたウェブページから、またはＰＯＩに配置されたセンサーから）取得可能であり得る。

【0053】

ナビゲーションデータストア３８０は、サーバーコンピューティングシステム３００によって使用されるマップデータ／地理空間データを記憶または提供し得る。例示的な地理空間データは、地理的イメージ（例えば、デジタルマップ、衛星画像、航空写真、ストリートレベルの写真、合成モデル等）、テーブル、ベクターデータ（例えば、道路、区画、建物等のベクター表現）、ポイントオブインタレストのデータ、または１つもしくは複数の地理的エリアに関連付けられた他の適切な地理空間データを含む。いくつかの例では、マップデータは、一連のサブマップを含み得、各サブマップは、オブジェクト（例えば、建物またはその他静的特徴）、移動経路（例えば、道路、高速道路、公共交通ライン、歩道等）、及び関心のある他の特徴を含む地理的エリアのデータを含む。ナビゲーションデータストア３８０は、ナビゲーション案内を提供し、ポイントオブインタレストの検索を行い、ポイントオブインタレストのロケーションもしくは分類データを提供し、ロケーション間の距離、ルート、もしくは移動時間、または、本明細書に開示される例示的な実施形態の動作を行うために必要もしくは有益である任意の他の適切な用途もしくはタスクを決定するために、サーバーコンピューティングシステム３００によって使用できる。

【0054】

例えば、ナビゲーションデータストア３８０は、様々なロケーションの３Ｄシーンの生成に関連付けられた画像を含む３Ｄシーンイメージ３８２を記憶し得る。例えば、３次元表現ジェネレータ３３６は、ロケーション（例えば、レストランの内部、公園等）の複数の画像に基づいて３次元表現を生成するように構成され得る。複数の画像をキャプチャし、機械学習済みモデル（またはその他の方法）を使用して複数の画像を組み合わせて、ロケーションの３Ｄ表現を作成し得る。例えば、３次元表現ジェネレータ３３６は、ニューラルラジアンスフィールド法を使用して、３Ｄ表現モデルを作成できる。いくつかの実施態様では、３次元構造を推定するために、運動アルゴリズムからの構造を含む方法を使用できる。いくつかの実施態様では、機械学習リソースは、キャプチャされた画像に基づいて、ロケーション内の任意の視点からのカメラのような画像を生成するために実装され得る。例えば、ロケーションのビデオフライスルーが、キャプチャされた画像に基づいて生成され得る。いくつかの実施態様では、３次元表現ジェネレータ３３６によって生成された初期の３次元表現は、可変オブジェクトまたは動的オブジェクト（例えば、移動オブジェクト）のない静的３Ｄシーンであり得る。例えば、公園の初期の３Ｄシーンは、樹木、遊具、ピクニックテーブル等のイメージを含む公園のイメージを含み得、人間、イヌ、または非静的オブジェクトのイメージを含まない。ユーザ生成コンテンツは、可変オブジェクトまたは動的オブジェクトのイメージを含み得、該イメージは、異なる時間及び／または条件（例えば、異なる時間帯、曜日、または季節、異なる照明条件、異なる環境条件等）に関連付けられ得る。

【0055】

例えば、ナビゲーションデータストア３８０は、ユーザ生成メディアコンテンツが統合された様々なロケーションの３Ｄシーンを含む、統合済みの３Ｄシーンイメージ３８４を記憶し得る。ある例では、表現修正システム３３８は、ユーザ生成コンテンツデータストア３５０からのユーザ生成コンテンツを、３Ｄシーンイメージ３８２から取得された３次元表現と統合するように構成され得る。例えば、統合済みの３Ｄシーンイメージ３８２は、ユーザ生成メディアコンテンツが統合される様々なロケーションの３Ｄシーンを含み得る。ロケーションの複数の画像に基づいて生成された３Ｄシーンは、既知の方法を使用してメディアコンテンツと統合され、ロケーションの統合済みの３Ｄシーンイメージ３８４を作成し得る。例えば、表現修正システム３３８は、シーンの画像から１つまたは複数のオブジェクト（例えば、１つまたは複数の動的オブジェクト）を識別及び抽出するように構成され得る。

【0056】

例えば、表現修正システム３３８は、１つまたは複数の選択されたユーザ生成メディアコンテンツを、ユーザ生成メディアコンテンツに関連付けられる３次元表現内に位置付ける、または配置するように構成され得る。例えば、表現修正システム３３８は、ユーザによって要求された３次元表現に対応するユーザ生成メディアコンテンツのデータベース（例えば、図３のユーザ生成メディアデータストア３４２）から、ユーザ生成メディアコンテンツのピースを選択し得る。例えば、表現修正システム３３８は、データ（例えば、ユーザ生成メディアデータストア３４２）から、ユーザの要求との類似度が（例えば、時間帯、季節、天候条件、照明条件等において）最も高いユーザ生成コンテンツのピースを、複数のユーザ生成コンテンツのピースの中から選択し得る。例えば、晴天時の正午に公園で撮影されたユーザ生成画像は、遊具で遊んでいる人々を含み得る。表現修正システム３３８は、様々な技術（例えば、画像セグメンテーションアルゴリズム、機械学習リソース、トリミングツール等）を使用して、画像から子供を抽出するように構成され得る。表現修正システム３３８は、画像と同様の特徴（例えば、同じ時間帯、季節、天候条件等）を有するデータベースから、ユーザ生成メディアコンテンツ３Ｄのピースを選択するように構成され得る。表現修正システム３３８は、人々の画像を視覚的ポップアップアウト内に位置付け、人々の画像がシーン内に（例えば、滑り台の上または近くに、シーソーの上または近くに等）配置されるように更新または統合された３次元表現を生成するように構成され得、統合された３次元表現を見ているユーザに、その時間帯における公園の状態の正確な表現だけでなく、その時間帯の、例えば同様の天候条件における公園の全体的な雰囲気を提供する。

【0057】

ユーザ生成コンテンツ及び／または機械生成コンテンツを含むメディアコンテンツは、可変または動的オブジェクトのオーディオコンテンツ及び／またはイメージを含み得、該オーディオコンテンツ及びイメージは、異なる時間及び／または条件（例えば、異なる時間帯、曜日、季節、異なる照明条件、異なる環境条件等）と関連付けられ得る。表現修正システム３３８は、ユーザ生成コンテンツ及び／または機械生成コンテンツを、例えば、メディアコンテンツに関連付けられた時間情報に従って、３次元表現ジェネレータ３３６によって生成された初期の３次元表現と統合するように構成され得る。例えば、ロケーションの第１の統合３次元表現は、第１の時間（例えば、第１の時間帯、第１の季節等）にキャプチャされたまたは第１の時間に関連するメディアコンテンツに基づいて、第１の時間と関連付けられ得、そして、ロケーションの第２の統合３次元表現は、第２の時間（例えば、第２の時間帯、第２の季節等）にキャプチャされた、または第２の時間に関連するメディアコンテンツに基づいて、第２の時間と関連付けられ得る。

【0058】

いくつかの例示的な実施形態では、ユーザデータストア３９０は、単一のデータベースを表す場合がある。いくつかの実施形態では、ユーザデータストア３９０は、サーバーコンピューティングシステム３００からアクセス可能な複数の異なるデータベースを表す。いくつかの例では、ユーザデータストア３９０は、現在のユーザ位置及び進行方向データを含み得る。いくつかの例では、ユーザデータストア３９０は、１つまたは複数のユーザプロファイルに関する情報を含み得る。その情報は、例えば、ユーザの嗜好のデータ（user preference data）、ユーザ人口統計データ、ユーザカレンダーデータ、ユーザソーシャルネットワークデータ、ユーザの移動履歴データ等、様々なユーザデータを含む。例えば、ユーザデータストア３９０は、限定ではないが、テキストコンテンツ、画像、電子メールに関連付けられたカレンダー情報、または連絡先情報を含む電子メールデータ；コメント、レビュー、チェックイン、いいね、招待、連絡先、または予約を含むソーシャルメディアデータ；日付、時間、イベント、説明、またはその他の内容を含むカレンダーアプリケーションデータ；購入、電子チケット、クーポン、または取引を含む仮想ウォレットデータ；スケジューリングデータ；ロケーションデータ；ＳＭＳデータ；またはユーザアカウントに関連付けられたその他の適切なデータを含み得る。本開示の１つまたは複数の例によると、データを分析して、ＰＯＩに関するユーザの嗜好を決定し、例えば、ユーザが好むロケーションの没入型ビューを自動的に提案または提供できる。没入型ビューは、ユーザが好む時間にも関連付けられる（例えば、ユーザデータが、公園がユーザの好みのＰＯＩであり、夕方に最も頻繁に訪問することを示す場合、夕方の公園の没入型ビューが提供される）。例えば、移動に関するユーザの嗜好（例えば、交通手段、移動の許容時間等）や、ユーザに対するＰＯＩの推奨候補、ＰＯＩまでのユーザの可能な移動ルート及び交通手段などを決定するために、データを分析してＰＯＩに関するユーザの嗜好を決定することができる。

【0059】

ユーザデータストア３９０は、いくつかの実施形態では、ユーザの嗜好を識別するために、ＰＯＩを推奨するために、ＰＯＩまでの可能な移動ルートを決定するために、ＰＯＩに移動するために使用する交通手段を決定するために、ユーザに関連付けられたコンピューティングデバイスに提供するロケーションの没入型ビューを決定するために等、サーバーコンピューティングシステム３００によって分析され得る潜在的なデータを示すために提供される。しかしながら、そのようなユーザデータは、どのデータが収集されるか、かつそれらのデータがどのように使用されるかを通知された後、ユーザが同意しない限り、収集、使用、または分析されない場合がある。さらに、いくつかの実施形態では、ユーザは、許可の範囲を無効にする、または修正するツールを（例えば、ナビゲーションアプリケーションで、またはユーザアカウントを介して）提供できる。さらに、特定の情報またはデータは、記憶または使用される前に、１つまたは複数の方法で処理され、個人識別情報が除去されるか、暗号化されて記憶される。したがって、ユーザデータストア３９０に記憶された特定のユーザ情報は、ユーザによって与えられた許可に基づいてサーバーコンピューティングシステム３００にアクセス可能であり得る、もしくはアクセスできない場合がある、または、そのようなデータはユーザデータストア３９０にまったく記憶されない場合がある。

【0060】

外部コンテンツ５００は、ニュース記事、ウェブページ、動画ファイル、オーディオファイル、記述文、レーティング、ゲームコンテンツ、ソーシャルメディアコンテンツ、写真、コマーシャルオファー、交通手段、天候条件、様々なセンサーによって取得されたセンサーデータ、またはその他の適切な外部コンテンツを含む、任意の形式の外部コンテンツであり得る。ユーザコンピューティングデバイス１００、外部コンピューティングデバイス２００、及びサーバーコンピューティングシステム３００は、ネットワーク４００を通じて外部コンテンツ５００にアクセスできる。外部コンテンツ５００は、既知の検索方法により、ユーザコンピューティングデバイス１００、外部コンピューティングデバイス２００、及びサーバーコンピューティングシステム３００によって検索でき、検索結果は、関連性、人気度、またはロケーション固有のフィルタリングもしくはプロモーションを含む他の適切な属性に従ってランク付けできる。

【0061】

図２は、本開示の１つまたは複数の例示的な実施形態によるコンピューティングデバイス及びサーバーコンピューティングシステムの例示的なブロック図を含む。ユーザコンピューティングデバイス１００が図２に表されているが、本明細書に説明されるユーザコンピューティングデバイス１００の特徴は、外部コンピューティングデバイス２００にも適用可能である。

【0062】

ユーザコンピューティングデバイス１００は、１つまたは複数のプロセッサ１１０、１つまたは複数のメモリデバイス１２０、ナビゲーション及びマッピングシステム１３０、位置決定デバイス１４０、入力デバイス１５０、ディスプレイデバイス１６０、出力デバイス１７０、及びキャプチャデバイス１８０を含み得る。サーバーコンピューティングシステム３００は、１つまたは複数のプロセッサ３２２、１つまたは複数のメモリデバイス３２０、ならびにナビゲーション及びマッピングシステム３３０を含み得る。

【0063】

例えば、１つまたは複数のプロセッサ１１０は、ユーザコンピューティングデバイス１００またはサーバーコンピューティングシステム３００に含まれ得る任意の適切な処理デバイスであり得る。例えば、１つまたは複数のプロセッサ１１０は、プロセッサ、プロセッサコア、コントローラ及び算術論理ユニット、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、画像プロセッサ、マイクロコンピュータ、フィールドプログラマブルアレイ、プログラマブルロジックユニット、特定用途向け集積回路（ＡＳＩＣ）、マイクロプロセッサ、マイクロコントローラ等、及びそれらの組み合わせのうちの１つまたは複数を含み得、規定された方式で応答し、命令を実行することが可能な任意の他のデバイスを含む。１つまたは複数のプロセッサ１１０は、単一のプロセッサ、または動作可能に接続される、例えば並列に接続される複数のプロセッサであり得る。

【0064】

１つまたは複数のメモリデバイス１２０は、１つまたは複数の非一時的コンピュータ可読ストレージ媒体を含み得、これは、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、フラッシュメモリ、ＵＳＢドライブ、ランダムアクセスメモリ（ＲＡＭ）を含む揮発性メモリデバイス、ハードディスク、フロッピーディスク、ブルーレイディスク、またはＣＤ ＲＯＭディスク及びＤＶＤ等の光学媒体、ならびにそれらの組み合わせを含む。しかしながら、１つまたは複数のメモリデバイス１２０の例は、上記の説明に限定されず、１つまたは複数メモリデバイス１２０は、当業者によって理解されるように、他の様々なデバイス及び構造によって実現され得る。

【0065】

例えば、１つまたは複数のメモリデバイス１２０は命令３２４を記憶でき、命令３２４が実行されると、１つまたは複数のプロセッサ１１０に、没入型ビューアプリケーション１３２を実行させ、また、以下の動作を行わせるために、命令３２４を実行させる。動作は、入力デバイス１５０を介して、第１の時間におけるロケーションの第１の状態を表すロケーションの第１の没入型ビューを要求する、第１の入力を受信することと、ディスプレイデバイス１６０に提示するために、ロケーションの第１の没入型ビューを提供することと、を含み、第１の没入型ビューは、複数の画像に基づいて生成されたロケーションの３次元（３Ｄ）表現と、ロケーションの３次元表現内の視覚的ポップアウトに含まれるユーザ生成メディアコンテンツの１つまたは複数のピースと、を含む。ユーザ生成メディアコンテンツの１つまたは複数のピースは、ロケーションの状態、またはそれに関連付けられた１つもしくは複数の品質（例えば、ロケーションの雰囲気）に関する追加情報をユーザに提供できる。

【0066】

１つまたは複数メモリデバイス１２０は、また、１つまたは複数のプロセッサ１１０によって取り出し、操作、作成、または記憶できるデータ１２２及び命令１２４を含み得る。いくつかの例示的な実施形態では、そのようなデータは、没入型ビューアプリケーション１３２を実施させ、以下の動作を行わせるために命令を実行するために、入力としてアクセスされ、使用でき、動作は、入力デバイス１５０を介して、第１の時間におけるロケーションの第１の状態を表す第１の没入型ビューを要求する第１の入力を受信することと、ディスプレイデバイス１６０に提示するために、ロケーションの第１の没入型ビューを提供することと、を含み、第１の没入型ビューは、複数の画像に基づいて生成されたロケーションの３次元（３Ｄ）シーンと、ロケーションの３Ｄシーンと統合された第１のメディアコンテンツと、を含み、第１のメディアコンテンツは、第１の時間におけるロケーションの第１の状態を表す。本開示の実施例に従って説明されるように、動作は、さらに、入力デバイス１５０を介して、第２の時間におけるロケーションの第２の状態を表すロケーションの第２の没入型ビューを要求する第２の入力を受信することと、ディスプレイデバイス１６０に提示するために、ロケーションの第２の没入型ビューを提供することと、を含み得、第２の没入型ビューは、複数の画像に基づいて生成されたロケーションの３Ｄシーンと、ロケーションの３Ｄシーンと統合された第２のメディアコンテンツと、を含み、第２のメディアコンテンツは、第２の時間におけるロケーションの第２の状態を表す。

【0067】

いくつかの例示的な実施形態では、ユーザコンピューティングデバイス１００は、ナビゲーション及びマッピングシステム１３０を含む。例えば、ナビゲーション及びマッピングシステム１３０は、没入型ビューアプリケーション１３２及びナビゲーションアプリケーション１３４を含み得る。

【0068】

本開示の例によると、没入型ビューアプリケーション１３２は、ランドマーク、レストラン等を含む関心のあるエリアまたは地点の多次元ビューを通してロケーションを探索する方法を、ユーザコンピューティングデバイス１００のユーザに提供するために、ユーザコンピューティングデバイス１００によって実行され得る。いくつかの実施態様では、没入型ビューアプリケーション１３２は、ロケーションの内部ビューをユーザに提供するために、ロケーションのビデオフライスルーを提供し得る。没入型ビューアプリケーション１３２は、ナビゲーションアプリケーション１３４の一部、別個のマッピングアプリケーション、またはスタンドアロンアプリケーションであり得る。

【0069】

いくつかの例では、没入型ビューアプリケーション１３２の１つまたは複数の態様は、要求された没入型ビューを提供するために、リモートに位置し得るサーバーコンピューティングシステム３００の没入型ビューアプリケーション３３２によって実装され得る。いくつかの例では、没入型ビューアプリケーション３３２の１つまたは複数の態様は、要求された没入型ビューを生成するために、ユーザコンピューティングデバイス１００の没入型ビューアプリケーション１３２によって実装され得る。

【0070】

本開示の例によると、ナビゲーションアプリケーション１３４は、ユーザコンピューティングデバイス１００のユーザに、ロケーションにナビゲートする方法を提供するために、ユーザコンピューティングデバイス１００によって実行され得る。ナビゲーションアプリケーション１３４は、ナビゲーションサービスをユーザに提供できる。いくつかの例では、ナビゲーションアプリケーション１３４は、ナビゲーションサービスを提供するサーバーコンピューティングシステム３００へのユーザのアクセスを容易にできる。いくつかの例示的な実施形態では、ナビゲーションサービスは、ＰＯＩ等の特定のロケーションへの経路を提供することを含む。例えば、ユーザは、目的地（例えば、ＰＯＩのアドレスまたは名前）を入力できる。それに応じて、ナビゲーションアプリケーション１３４は、特定の地理的エリアについてローカルに記憶されたマップデータ及び／またはサーバーコンピューティングシステム３００を介して提供されたマップデータを使用して、ユーザが目的地にナビゲートするためのナビゲーション情報を提供できる。例えば、ナビゲーション情報は、現在地（または提供された原点もしくは出発地）から目的地までのターンバイターンの経路案内を含み得る。例えば、ナビゲーション情報は、現在地（または提供された始点もしくは出発地）から目的地までの移動時間（例えば、推定または予測された移動時間）を含み得る。

【0071】

ナビゲーションアプリケーション１３４は、ユーザコンピューティングデバイス１００のディスプレイデバイス１６０を介して、地理的エリアを視覚的に描写できる。地理的エリアの視覚的な描写は、１つまたは複数の道路、１つまたは複数のポイントオブインタレスト（建物、ランドマーク等を含む）、及び計画されたルートの強調表示を含み得る。いくつかの例では、ナビゲーションアプリケーション１３４は、また、所与の地理的エリア内の１つまたは複数の検索可能なポイントオブインタレストを識別するロケーションベースの検索オプションも提供できる。いくつかの例では、ナビゲーションアプリケーション１３４は、関連マップデータのローカルコピーを含み得る。他の例では、ナビゲーションアプリケーション１３４は、要求されたナビゲーションサービスを提供するために、リモートに位置し得るサーバーコンピューティングシステム３００で情報にアクセスし得る。

【0072】

いくつかの例では、ナビゲーションアプリケーション１３４は、ナビゲーションサービスを提供するように特に設計された専用アプリケーションであり得る。他の例では、ナビゲーションアプリケーション１３４は、一般的なアプリケーション（例えば、ウェブブラウザ）であり得、ネットワーク４００を介して、ナビゲーションサービスを含む様々な異なるサービスへのアクセスを提供できる。

【0073】

いくつかの例示的な実施形態では、ユーザコンピューティングデバイス１００は、位置決定デバイス１４０を含む。位置決定デバイス１４０は、ユーザコンピューティングデバイス１００の現在の地理的ロケーションを決定し、ネットワーク４００を通じて、そのような地理的ロケーションをサーバーコンピューティングシステム３００に送信することができる。位置決定デバイス１４０は、ユーザコンピューティングデバイス１００の位置を分析するための任意のデバイスまたは回路であり得る。例えば、位置決定デバイス１４０は、衛星ナビゲーション測位システム（例えば、ＧＰＳ、ガリレオ測位システム、グローバルナビゲーション衛星システム（ＧＬＯＮＡＳＳ）、ＢｅｉＤｏｕ衛星ナビゲーション及び測位システム）、慣性ナビゲーションシステム、推測航法システムを使用することによって、ＩＰアドレスに基づいて、三角測量及び／またはセルラータワーもしくはＷｉＦｉホットスポットへの近接情報、及び／またはユーザコンピューティングデバイス１００の位置を決定するための他の適切な技術を使用することによって、実際の位置または相対位置を決定できる。

【0074】

ユーザコンピューティングデバイス１００は、ユーザからの入力を受信するように構成された入力デバイス１５０を含み得、例えば、キーボード（例えば、物理キーボード、仮想キーボード等）、マウス、ジョイスティック、ボタン、スイッチ、電子ペンまたはスタイラス、ジェスチャ認識センサー（例えば、身体の動きを含むユーザのジェスチャを認識する）、音声入力デバイスまたは音声認識センサー（例えば、音声コマンドまたは音声クエリ等の音声入力を受信するマイクロフォン）、出力サウンドデバイス（例えば、スピーカー）、トラックボール、リモートコントローラ、ポータブル電話（例えば、携帯電話またはスマートフォン）、タブレットＰＣ、ペダルまたはフットスイッチ、仮想現実デバイス等のうちの１つまたは複数を含み得る。入力デバイス１５０は、さらに、ユーザに触覚フィードバックを提供する触覚デバイスを含み得る。また、入力デバイス１５０は、例えば、タッチスクリーン機能を有するタッチセンサー式ディスプレイによって具現化され得る。例えば、入力デバイス１５０は、入力デバイス１５０に関連付けられたユーザからの入力を受信するように構成され得る。

【0075】

ユーザコンピューティングデバイス１００は、ユーザが視認できる情報（例えば、マップ、ロケーションの没入型ビュー、ユーザインターフェース画面等）を表示するディスプレイデバイス１６０を含み得る。例えば、ディスプレイデバイス１６０は、非タッチセンサー式ディスプレイまたはタッチセンサー式ディスプレイであり得る。ディスプレイデバイス１６０は、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）、フレキシブルディスプレイ、３Ｄディスプレイ、プラズマディスプレイパネル（ＰＤＰ）、陰極線管（ＣＲＴ）ディスプレイ等を含み得る。しかしながら、本開示は、これらの例示的なディスプレイに限定されず、他のタイプのディスプレイを含み得る。ディスプレイデバイス１６０は、ユーザコンピューティングデバイス１００にインストールされたナビゲーション及びマッピングシステム１３０によって使用され、入力に関連する情報（例えば、ユーザにとって関心があるロケーションに関連する情報、ユーザが選択可能なインターフェース要素を有するユーザインターフェース画面等）をユーザに表示できる。ナビゲーション情報は、限定ではないが、地理的エリアのマップ、ロケーションの没入型ビュー（例えば、３次元没入型ビュー、ロケーションのフライスルー没入型ビュー等）、地理的エリアにおけるユーザコンピューティングデバイス１００の位置、マップ上で指定された地理的エリアを通るルート、１つまたは複数のナビゲーション案内（例えば、地理的エリアを通るターンバイターンの経路案内）、地理的エリアを通るルートに対する移動時間（例えば、ユーザコンピューティングデバイス１００の位置からＰＯＩまでの移動時間）、及び地理的エリア内の１つまたは複数のポイントオブインタレストを含み得る。

【0076】

ユーザコンピューティングデバイス１００は、ユーザに出力を提供するための出力デバイス１７０を含み得、例えば、オーディオデバイス（例えば、１つまたは複数のスピーカー）、ユーザに触覚フィードバックを提供する触覚デバイス（例えば、振動デバイス）、光源（例えば、ユーザに視覚フィードバックを提供するＬＥＤ等の１つまたは複数の光源）、熱フィードバックシステム等のうちの１つまたは複数を含み得る。本開示の様々な例によると、出力デバイス１７０は、ユーザがロケーションの没入型ビューを要求することに応答して、ロケーションに関連付けられたサウンドを出力するスピーカーを含み得る。

【0077】

ユーザコンピューティングデバイス１００は、本開示の様々な例によると、メディアコンテンツをキャプチャすることが可能であるキャプチャデバイス１８０を含み得る。例えば、キャプチャデバイス１８０は、ロケーションの画像（例えば、写真、動画等）をキャプチャするように構成された画像キャプチャ装置１８２（例えば、カメラ）を含み得る。例えば、キャプチャデバイス１８０は、ロケーションのサウンドまたはオーディオ（例えば、オーディオ記録）をキャプチャするように構成されるサウンドキャプチャ装置１８４（例えば、マイクロフォン）を含み得る。キャプチャデバイス１８０によってキャプチャされたメディアコンテンツは、サーバーコンピューティングシステム３００、ユーザ生成コンテンツデータストア３５０、ＰＯＩデータストア３７０、ナビゲーションデータストア３８０、及びユーザデータストア３９０のうちの１つまたは複数に、例えば、ネットワーク４００を介して送信され得る。例えば、いくつかの実施態様では、イメージ（imagery）は、３Ｄシーンを生成するために使用され、いくつかの実施態様では、メディアコンテンツは、既存の３Ｄシーンと統合され得る。

【0078】

本明細書に説明される例示的な実施形態によると、サーバーコンピューティングシステム３００は、前述した１つまたは複数のプロセッサ３２２及び１つまたは複数のメモリデバイス３２０を含み得る。サーバーコンピューティングシステム３００は、ナビゲーション及びマッピングシステム３３０を含み得る。

【0079】

例えば、ナビゲーション及びマッピングシステム３３０は没入型ビューアプリケーション３３２を含み得、没入型ビューアプリケーション３３２は、没入型ビューアプリケーション１３２に関して上記に説明した機能と同様の機能を実行する。ナビゲーション及びマッピングシステム３３０は生成マップアプリケーション３３４を含み得、生成マップアプリケーション３３４は、生成マップアプリケーション１３４に関して上記に説明した機能と同様の機能を実行する。

【0080】

例えば、ナビゲーション及びマッピングシステム３３０は３次元表現ジェネレータ３３６を含み得、３次元表現ジェネレータ３３６は、ロケーション（例えば、レストラン、公園等の内部）の複数の画像に基づいて、３Ｄ表現を生成するように構成される。複数の画像をキャプチャし、既知の方法を使用して複数の画像を組み合わせて、ロケーションの３Ｄシーンを作成し得る。例えば、ニューラルラジアンスフィールド法を使用して、複数の画像に基づいてロケーションの３次元表現を生成できる。いくつかの実施態様では、３次元構造を推定するために、運動アルゴリズムからの構造を含む方法を使用できる。いくつかの実施態様では、機械学習リソースは、キャプチャされた画像に基づいて、ロケーション内の任意の視点からのカメラのような画像を生成するために実装され得る。例えば、ロケーションのビデオフライスルーが、キャプチャされた画像に基づいて、３次元表現ジェネレータ３３６によって生成され得る。いくつかの実施態様では、３次元表現ジェネレータ３３６によって生成された初期の３次元表現は、可変オブジェクトまたは動的オブジェクト（例えば、移動オブジェクト）のない静的３Ｄ表現であり得る。例えば、公園の初期の３Ｄシーンは、樹木、遊具、ピクニックテーブル等のイメージを含む公園のイメージを含み得、人間、イヌ、またはその他の移動オブジェクトのイメージは含まない。

【0081】

例えば、ナビゲーション及びマッピングシステム３３０は、ユーザ生成コンテンツデータストア３５０からのユーザ生成コンテンツを、３次元表現ジェネレータ３３６から取得された３次元表現と統合するように構成された表現修正システム３３８を含み得る。また、３次元表現データストア（例えば、図３の３次元表現データストア３４０）に記憶された３次元表現は、時間帯、季節、天候条件、照明条件に従ってカテゴリ化または分類され得る。ロケーションの複数の画像に基づいて生成された３次元表現は、既知の方法を使用してメディアコンテンツと統合され、ロケーションの統合された３次元表現を作成し得る。例えば、表現修正システム３３８は、特定の時間または日付における特定のロケーションに対して適切なユーザ生成コンテンツ（例えば、１つまたは複数の動的オブジェクト）を選択するように構成され得る。

【0082】

図３は、本開示の例示的な実施形態による、ユーザ生成コンテンツをロケーションの３次元表現に統合するための例示的なシステムを表す。表現修正システム３３８は、受信システム３０２、アクセスシステム３０４、メディアアクセスシステム３０６、選択システム３０８、修正システム３１０、表示システム３１２、３次元表現データストア３４０、及びユーザ生成メディアデータストア３４２を含む。

【0083】

受信システム３０２は、ユーザから要求を受信できる。要求は特定のロケーションと関連付けできる。例えば、ユーザは、マッピングアプリケーションとインタラクトして、特定のロケーションに関する情報を視認できる。いくつかの例では、要求情報は、ニューラルラジアンスフィールド法を使用して生成されたロケーションの３次元表現を含み得る。例えば、ユーザは、特定のロケーションまたは建物上で３次元表現インターフェース要素を選択できる。このインタラクションに基づいて、要求を生成できる。要求は、ユーザコンピューティングデバイスから表現修正システム３３８（または表現修正システムに関連付けられたサーバーシステム）に送信できる。受信システム３０２は、要求をアクセスシステム３０４に送信できる。

【0084】

アクセスシステム３０４は、要求に基づいて、ユーザにとって関心があるロケーションの特定の３次元表現を決定できる。例えば、要求は、３次元ロケーションが要求される特定のロケーション、建物、またはエンティティを識別する情報を含み得る。アクセスシステム３０４は、３次元表現データストア３４０にアクセスできる。３次元表現データストア３４０は、複数の異なるロケーションについての複数の３次元表現を記憶できる。いくつかの例では、各３次元表現は、特定のロケーションに関連付けられ、過去にキャプチャされたメディアデータに基づいて生成される。例えば、ロケーションでカメラマンによってキャプチャされた一連の画像を使用して、ニューラルラジアンスフィールド法を使用してそのロケーションの３次元表現を生成できる。

【0085】

アクセスシステム３０４は、クエリからの情報を使用して、３次元表現データストア３４０から取り出しするのに適切な３次元表現を決定できる。例えば、クエリは、ナビゲーションまたはマッピングアプリケーションとのユーザインタラクションに基づいたロケーション識別子を有し得る。ロケーション識別子は、ユーザが視認するのに関心がある特定のロケーションを識別できる。いくつかの例では、ユーザのクエリは、また、ユーザにとって関心がある時間及び／または日付に関する情報も含み得る。３次元表現データストア３４０は、異なる時間、日付、または状況を表す各ロケーションに対して複数の３次元表現を含み得る。

【0086】

アクセスシステム３０４がロケーションの３次元表現データストア３４０から正しい３次元表現にアクセスすると、アクセスシステム３０４は、選択された３次元表現をメディアアクセスシステム３０６に送信できる。メディアアクセスシステム３０６は、選択された３次元表現に対して適切なユーザ生成メディアコンテンツを決定できる。いくつかの例では、メディアアクセスシステム３０６は、３次元表現に関連付けられたロケーションに基づいて、ユーザ生成メディアコンテンツのどのピースにアクセスするかを決定できる。

【0087】

選択システム３０８は、ロケーションの３次元表現にユーザ生成メディアコンテンツのどのピースを挿入するかを決定できる。いくつかの例では、選択システム３０８は、挿入されるユーザ生成メディアコンテンツのピースの数を決定できる。その数は、ユーザ生成メディアコンテンツを通る経路の長さと、ユーザ生成メディアコンテンツのピースの目標密度とに基づき得る。いくつかの例では、ロケーションの３次元表現は、ロケーションを通る所定の経路を含む。例えば、所定の経路は、３次元表現が生成される初期発行画像をキャプチャしたカメラマンが使用した経路をたどることができる。他の例では、ユーザは、インタラクティブ制御を使用して、ターゲットとしてのロケーションを通して自由に移動できる。この状況では、挿入されるユーザ生成メディアコンテンツのピースの数は、エリアの合計サイズ及び目標密度に基づき得る。

【0088】

いくつかの例では、挿入するメディアコンテンツの総数を決定するのではなく、選択システム３０８は、メディアコンテンツが必要とされる特定のロケーションを決定できる。この決定は、ユーザ生成メディアコンテンツがどの程度ユーザの３次元表現の特定のエリアの理解に役立つかに基づき得る。例えば、テーブル及び椅子があるエリアは、食事をしているユーザ、またはそのエリアで楽しんでいるユーザの画像で拡張できる。他のエリア、例えばトイレへ向かう廊下等では、該ユーザ生成メディアコンテンツが、そのロケーションに関するユーザの理解をさほど向上しないため、任意のユーザ生成メディアコンテンツを必要としない場合がある。

【0089】

ユーザ生成コンテンツが挿入される必要がある１つまたは複数のロケーションを選択システムが決定すると、選択システムは、挿入するソーシャルメディア生成コンテンツのタイプ、またはユーザ生成コンテンツのサブジェクトを決定できる。いくつかの例では、ユーザ生成メディアコンテンツのサブジェクトまたはタイプは、ロケーションに基づいて決定できる。例えば、レストランまたはナイトクラブは、特定の雰囲気または環境に関連付けられ得、選択システム３０８は、特定の雰囲気または環境に関連付けられたユーザ生成コンテンツのピースを含めるかどうかを決定できる。他の例では、ユーザ生成コンテンツのピースは、３次元表現に関連付けられた時間及び／または日付に基づいて選択できる。例えば、関連付けられた日が休日である場合、選択システム３０８は、休日に関連付けられたユーザ生成コンテンツのピースを選択できる。同様に、時間が日中である場合、選択システム３０８は、日中の活動に関連付けられたユーザ生成メディアコンテンツのピースを優先できる。

【0090】

選択システム３０８がコンテンツのロケーション及びタイプを決定すると、選択システムは、特定の基準を満たす最高レートのピースのユーザ生成コンテンツを選択できる。例えば、サードパーティシステムは、ユーザコンテンツのピースが特定のトピックサブジェクトにマッチする程度に基づいて、高レーティングもしくはコメント等のユーザフィードバックに基づいて、または他の指標に基づいて、ユーザコンテンツのピースをレーティングできる。選択システム３０８は、指標を決定し、その指標に基づいてユーザ生成コンテンツの最高のピースを選択できる。いくつかの例では、選択システムは、ユーザ生成メディアコンテンツのピースが挿入される３次元表現内の複数のロケーションを決定する。選択システム３０８は、ユーザ生成コンテンツが表示される位置に最も近いロケーションに関連付けられたユーザ生成コンテンツのピースを選択できる。

【0091】

例えば、選択システム３０８は、ユーザ生成メディアコンテンツをトリミングすることによって、詳細を編集することによって、またはメディアコンテンツに１つまたは複数のアニメーション効果を与えることによって、ユーザ生成メディアコンテンツを修正できる。いくつかの例では、画像またはビデオの部分は、特定のサブジェクトまたはトピックに関連付けできるが、画像の他の部分は関連付けできない。選択システム３０８は、選択システム３０８を表示すべきと決定しているサブジェクトに関連付けられていないメディアコンテンツのセクションを編集またはトリミングできる。

【0092】

選択システム３０８がユーザ生成メディアコンテンツの１つまたは複数のピースを選択すると、ユーザ生成コンテンツの選択されたピースは修正システム３１０に送信できる。表現修正システムは、所定ロケーションにユーザ生成コンテンツの選択されたピースを表示する１つまたは複数の視覚的ポップアップを含むように、ロケーションの３次元表現を修正できる。視覚的ポップアウトは、３次元表現の他の部分とは異なるユーザインターフェースの一部であり得る。例えば、視覚的ポップアウトは、２次元画像を３次元表現の他の部分からオフセットするために白い境界によって囲まれた２次元画像であり得る。いくつかの例では、視覚的ポップアウトは、３次元表現に示されるロケーションの特定の部分に関連付けできる。例えば、視覚的ポップアウトは、２次元画像を３次元表現における特定のロケーションに接続するビジュアルテールまたはルートを有し得る。

【0093】

視覚的ポップアウトは、３次元表現内にユーザ生成メディアコンテンツを表示するユーザインターフェースの２次元要素（例えば、ウィンドウ）であり得る。例えば、視覚的ポップアウトは、ロケーションから伸びるステムと、視覚的ポップアウトを周囲のコンテンツと区別するユーザ生成コンテンツのピースの周りの白い境界とを含み得る。他の設計を使用して、３Ｄ表現内でユーザ生成コンテンツを表示できる。

【0094】

いくつかの例では、視覚的ポップアップアウトは選択可能であり得る。したがって、３次元表現を視認するとき、ユーザは、特定のユーザ生成メディアコンテンツに関連付けられた視覚的ポップアウトを選択できる（例えば、クリックまたはタッチする）。特定の視覚的ポップアップが選択されているとき、ユーザインターフェースは更新され、ユーザ生成メディアコンテンツの拡大ビューまたはより詳細なビューが提供され得る。

【0095】

修正システム３１０がユーザ生成メディアコンテンツを１つまたは複数の視覚的ポップアップアウトに挿入すると、視覚的表現は送信システムによってユーザコンピューティングデバイスに送信できる。いくつかの例では、３次元表現は、ユーザ生成コンテンツと、ユーザに表示され得る視覚的ポップアップとを含む。

【0096】

図４は、本開示の１つまたは複数の例示的な実施形態による、マッピングアプリケーションのユーザインターフェース画面を示す。図４では、ユーザインターフェース画面４０２は、ユーザコンピューティングデバイス１００のユーザがウエストミンスターのロケーション、特にシナモンクラブ４１０を含む建物を探索していることを示し、アイコン４２０はシナモンクラブ４１０がレストランを含むことを示す。例えば、ユーザインターフェース要素４３０は、ユーザがロケーションの没入型ビューを取得することを可能にし得る。例えば、ユーザインターフェース要素４３０は、ロケーションの没入型ビューを取得できることをユーザに示すために、ロケーションにオーバーレイされたシンボルまたは選択可能なオブジェクトの形態であり得る。例えば、図４では、ユーザインターフェース要素４３０は白い円である。

【0097】

図５Ａ～図５Ｂは、本開示の１つまたは複数の例示的な実施形態による、ロケーションの例示的な没入型３次元表現５１０を示す。この例では、ユーザインターフェース５０２は、３次元表現内の道路の特定の部分からの特定のビューを表示する。いくつかの例では、３次元表現は、事前定義された経路に基づいて３次元ロケーションを通って移動する特定の視点オブジェクトを含む。他の例では、ユーザは、視点オブジェクトが３次元表現を通ってどのように移動するかを指示するように制御を使用できる。いくつかの例では、事前定義された経路が確立されている場合、その経路は、例えば、ニューラルラジアンスフィールド法を使用して、３次元表現を生成するために使用される画像を収集した人がたどった経路に基づいて決定され得る。

【0098】

いくつかの例では、ユーザインターフェースは、図５Ａに示されるビュー（５０４）から開始し、途切れることなく第２のビューに移動できる。このように、視点オブジェクトは、空間を通って滑らかに中断なく移動でき、利用可能なビューの品質及びタイプは、同じレベルの品質及び忠実度を維持する。

【0099】

図５Ｂは、ロケーションの３次元表現内で利用可能なビュー５０６の第２のスナップショットを表す。例えば、ユーザは、図５Ａに示されるビューをもたらす位置から、図５Ｂの５０６Ａに示されるビューをもたらす位置まで移動するように、視点オブジェクトを制御している。図示されていないが、視点オブジェクトが、事前に定義されたか、またはユーザの入力によって定義された経路に沿って移動するとき、図５Ａ及び図５Ｂに示されるビューの間には複数のビューが存在する。

【0100】

図６Ａ～図６Ｃは、本開示の１つまたは複数の例示的な実施形態による、視覚的ポップアウトが挿入されたロケーション６００の例示的な没入型３次元表現を示す。図６Ａは、ロケーションの永久的な部分（例えば、人等の可動な態様ではない）及び複数の視覚的ポップアップアウトを含む、３次元表現の初期の視点６０４を表示するユーザインターフェース６０２を示す。例えば、視覚的ポップアウト６０６は、ロケーションの動的（例えば、非永久的な）態様を含む、ロケーションの追加のコンテキストを提供する視覚的ポップアウトである。動的特徴の態様は、人々、食事等のサービス、及びロケーションのムードまたは雰囲気の他の態様を含み得る。視覚的ポップアウト６０６を含む視覚的ポップアップアウトは、ロケーションの３次元表現を生成する表現修正システム（例えば、図３の表現修正システム３３８）に提供されるユーザ生成メディアコンテンツを表示できる。例えば、このコンテンツを生成するユーザは、３次元表現を生成するときに使用可能であるユーザ生成メディアコンテンツの特定のピースを指定し得る。

【0101】

図６Ｂは、３次元表現の第２の視点６１０を表す。図６Ａに表示された視点から図６Ｂに表示された視点に到達するために、カメラまたは視点オブジェクトは、３Ｄ表現が常にはっきり見える経路に沿って移動している。いくつかの例では、図６Ａの視点オブジェクトの位置から図６Ｂの視点オブジェクトの位置までの経路は、３次元表現内で事前定義されている。例えば、３次元表現は、３次元表現を通る１つまたは複数の固定または所定の経路を用いて生成できる。他の例では、ユーザは、視点オブジェクトまたはカメラの位置を制御して３Ｄ表現内の任意の点に移動させることができる。

【0102】

図６Ｂは、また、いくつかの追加の視覚的ポップアウトを含む。図から分かるように、視覚的ポップアップ６１２を含む視覚的ポップアップアウトのいくつかは、ユーザ生成メディアがキャプチャされたロケーションの近くに位置付けられたユーザ生成メディアコンテンツを含む。例えば、視覚的ポップアウト６１２は、食事を前にテーブルに座っている女性を示し、視覚的ポップアウト６１２は、女性が視覚的メディアコンテンツ内で写っているテーブルの近くに位置付けられる。いくつかの例では、各ポップアウトに示される特定のユーザ生成メディアコンテンツは、ロケーション、サブジェクト、及び全体的な品質レーティングによって決定できる。

【0103】

図６Ｃは、本開示の１つまたは複数の例示的な実施形態による、ユーザによって選択されると更新されたインターフェース６２０に表示される、ユーザ生成メディアコンテンツ６２２のピースを示している。いくつかの例では、ユーザは、視覚的ポップアップに表示されたユーザ生成コンテンツの特定のピースとインタラクトできる。例えば、ユーザは、特定の視覚的ポップアップアウトをタップまたは選択できる。それに応答して、ユーザインターフェースを更新して、視覚的ポップアウトに表示されたユーザ生成メディアコンテンツのピースを、より大きなフォーマットで、またはより詳細に表示できる。例えば、ユーザは、視覚的ポップアウト（例えば、図６Ｂに表示された視覚的ポップアウト６１２）でユーザ生成コンテンツを選択している、またはそれとインタラクトしている。結果として、ユーザインターフェース６２０は、ユーザ生成コンテンツのピースをより詳細に確認できるよう、より大きいフォーマットで表示するように更新されている。いくつかの例では、視覚的ポップアウトに表示されたユーザ生成コンテンツは、視覚的ポップアウトのフォーマットに適合するように編集またはトリミングされ得る。その場合、視覚的ポップアウトの選択によって、ユーザ生成コンテンツのピース全体が表示され得る。

【0104】

図７Ａは、本開示のいくつかの実施態様による、ユーザ生成メディアコンテンツがシームレスに統合されているロケーションの３次元表現７００の例を表示する。この例では、３次元表現はロケーションの非永久部分を含む。例えば、３次元表現は、アプリケーションのユーザインターフェース７０２に表示される。表示された３次元表現の一部はバーテンダーを含む。この効果を実現するために、表現修正システム（例えば、図３の表現修正システム３３８）は、３次元表現内で表される特定のロケーション及び特定のサブジェクトのテーマまたは雰囲気のターゲットに関連付けられたユーザ生成コンテンツの特定のピースを識別できる。この例では、このロケーションの従業員がフレンドリーで、クールで、親切であるという雰囲気を表現し得る。

【0105】

図から分かるように、ユーザ生成メディアコンテンツのピースは、視覚的ポップアウトに挿入されるのではなく、ロケーションの３次元表現にシームレスに挿入される。いくつかの例では、ユーザ生成メディアコンテンツの特定のピースは、そこに写っているユーザ、及びユーザ生成メディアコンテンツのピースを生成したユーザの許可がある場合にのみ挿入される。いくつかの例では、ユーザ生成メディアコンテンツのシームレスに統合されたピースは特定の角度から、または３次元ユーザ生成コンテンツを経由した特定のルートに沿ってのみ表示され得る。これは、ユーザ生成コンテンツの完全３次元表現を確実に生成するのに、ユーザ生成コンテンツのピースの情報が不足しているためである。

【0106】

図７Ｂは、図７Ａに見られるように、３Ｄ表現を生成するために使用されるユーザ生成メディアコンテンツ７２０のピースを表示する。この例では、ユーザ生成メディアコンテンツは、図７Ａに示される３次元表現に関連付けられたロケーションのバーにいるバーテンダーの画像である。図から分かるように、画像は単一の画像であり、そのため、完全に実現された３次元モデルとして３次元表現に完全に統合するには適さない場合がある。代わりに、ユーザ生成メディアコンテンツのピースは、特定の角度から、特定のルートに沿って、効果がシームレスであるように統合できるが、そのようなシームレスな統合は、３次元表現内の全ての潜在的なロケーションから実現できるとは限らない場合がある。したがって、表示するロケーションの３Ｄ表現をユーザが選択するとき、システムは、ユーザが進む特定の経路を決定し、任意のユーザ生成メディアコンテンツが、３次元表現に統合可能であるかどうかを決定できる。統合可能である場合、システムは、ユーザ生成メディアコンテンツのピースがユーザのためのルートに沿ってシーンに適切に統合されるかどうかを決定できる。

【0107】

そうである場合、表現修正システムは、ユーザ生成メディアコンテンツのユーザピースを含むように３次元表現を修正できる。その結果、ユーザが所定の経路に沿って進んでいる間、３次元表現のシームレスなピースであるように見える。いくつかの例では、ユーザ生成メディアコンテンツ（またはユーザ生成メディアコンテンツのいくつかのピース）には十分なデータがあり、ユーザ生成メディアコンテンツを３次元表現センサーに完全に統合して、全ての潜在的な経路に沿って、全ての潜在的な角度から視認することができる。

【0108】

図８は、本開示の例示的な実施形態による、ユーザ生成メディアコンテンツをロケーションの３次元表現に統合する方法の例示的なフロー図を示す。本方法の１つまたは複数の部分（複数可）は、例えば本明細書に説明されるコンピューティングデバイス等の１つまたは複数のコンピューティングデバイスによって実装できる。さらに、本方法の１つまたは複数の部分（複数可）は、本明細書に説明されるデバイス（複数可）のハードウェアコンポーネント上のアルゴリズムとして実装できる。図８は、例証及び説明の目的で特定の順序で行われた要素を示す。当業者は、本明細書に提供される開示を使用して、本明細書に説明される方法のいずれかの要素が、本開示の範囲から逸脱することなく、様々な様式で適応、再配置、拡張、省略、結合、及び／または修正できることを理解するであろう。本方法は、図１、図２、及び図３に示される１つまたは複数のコンピューティングデバイス等の１つまたは複数のコンピューティングデバイスによって実装できる。

【0109】

コンピューティングシステム（例えば、図１のユーザコンピューティングデバイス１０２）は、１つまたは複数のプロセッサ、メモリ、及び１つまたは複数の通信システムを含み得る。１つまたは複数の通信システムは、コンピューティングシステムが通信ネットワークを介して他のコンピューティングシステムにデータを送信することを可能にする。ユーザコンピューティングデバイス１０２（例えば、図１のユーザコンピューティングデバイス１０２）は他のコンポーネントを含み得る。これらのコンポーネントは、連動して、８０２において、ユーザコンピューティングデバイス１０２（例えば、図１のユーザコンピューティングデバイス１０２）が、ロケーションの３次元表現を取得することを可能にし、表現は複数の画像に基づいて生成される。いくつかの例では、３次元表現は物理的ロケーションの仮想表現であり得る。

【0110】

仮想表現は、空間を通って移動する人をシミュレートする仮想カメラを含み得る。仮想カメラは、ロケーション及び方向性を有し得る。仮想カメラによってキャプチャされた３次元表現の部分（例えば、そのロケーション及び方向性に基づくもの）は、ロケーションの３次元表現を視認しているユーザに表示できる。仮想カメラ（またはその他の表示メカニズム）は、３次元表現を通って移動でき、表示される３次元表現の部分は、仮想カメラが移動するにつれてシームレスに移行できる。仮想カメラの移動は経路または経路情報に基づき得る。

【0111】

表現修正システムは、８０４において、ロケーションに関連付けられたユーザ生成メディアコンテンツにアクセスできる。メディアコンテンツは、１人または複数のユーザによってキャプチャされたユーザ生成メディアコンテンツを含む。いくつかの例では、ユーザ生成メディアコンテンツは、少なくとも１つのユーザ生成ビジュアルコンテンツ、ユーザ生成オーディオコンテンツ、またはユーザ生成テキストコンテンツを含む。いくつかの例では、ユーザは、ロケーションの拡張３次元表現内で使用するために、表現修正システムにメディアコンテンツを利用可能にさせることができる。表現修正システムは、ポリシーとして、この方法で使用のために明示的に利用可能にされているユーザ生成メディアコンテンツだけにアクセスできる。

【0112】

表現修正システムは、８０６において、ロケーションの３次元表現を通る経路の少なくとも一部を表す経路情報を受信できる。いくつかの例では、経路情報は、ユーザがロケーションの３次元表現をナビゲートするときのユーザの経路に基づいて決定できる。例えば、ユーザは、ロケーションの画像を定期的にキャプチャしながら、ロケーションの中を通って歩くことができる。ロケーションの３次元表現は、ロケーションの一連の２次元画像にアクセスすることによって生成でき、画像は、空間を通って移動し、１つまたは複数の２次元画像を定期的にキャプチャするカメラ（ユーザが保持する）によってキャプチャされる。表現生成システムは、出力として３次元表現を生成するようにトレーニングされた機械学習済みモデルに一連の画像を提供できる。

【0113】

いくつかの例では、受信された経路情報は、１つまたは複数の２次元画像をキャプチャするために空間を移動するカメラの経路に基づいて生成され、表現修正システムに提供できる。経路情報は、ロケーションの３次元表現を生成するために使用された一連の２次元画像をキャプチャしたユーザの経路をたどるように事前に生成できる。いくつかの例では、ユーザは、２次元画像をキャプチャしながら、ロケーションを通る複数の別個の経路を移動する場合がある。３次元表現は、画像をキャプチャしたユーザの経路に基づいて、３次元表現を通る複数の所定の経路のいずれかを通って移動することができる。

【0114】

いくつかの例では、経路情報は、ロケーションの３次元表現内で仮想カメラを操作し、３次元表現の異なる部分をシームレスに視認できるようにするためのユーザからの入力に基づいて生成される。例えば、ロケーションの３次元表現を視認しているユーザには、制御（例えば、タッチ入力制御またはその他の制御）が提供され、これらの制御により、ユーザは仮想カメラを移動する方向（例えば、前、後、左、右等）を指定することが可能になる。このように、ユーザは、必要に応じて、リアルタイムで、ロケーションの３次元表現を通る経路を決定できる。ユーザからの各入力は、経路情報として表現修正システムに提供できる。

【0115】

ユーザ生成メディアコンテンツの１つまたは複数のピースは、１つまたは複数の実世界動的オブジェクトを含むロケーションのイメージ（imagery）を含む。例えば、画像（images）は、ユーザ、可動または非永久的オブジェクト、ロケーションで提供されるサービス（例えば、食事、飲料、またはその他のサービス）、一時的な装飾または状態、ロケーションの時間固有の特徴等を含み得る。

【0116】

８０８において、表現修正システムは、ロケーションの３次元表現を通る経路に基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを選択できる。いくつかの例では、表現修正システムは、３次元表現に表示されるコンテンツの１つまたは複数のカテゴリを決定できる。表現修正システムは、１つまたは複数のコンテンツのカテゴリに基づいて、ユーザ生成メディアの１つまたは複数のピースを選択できる。

【0117】

表現修正システムは、その環境を通る経路に沿ってポップアウト画像の目標密度を決定できる。表現修正システムは、経路の長さ及び目標密度に基づいて、画像の数を選択できる。いくつかの例では、表現修正システムは、複数の候補画像の候補画像ごとに３次元表現内の関連ロケーションを決定できる。

【0118】

いくつかの例では、表現修正システムは、各候補画像のコンテンツのレーティングを受信できる。いくつかの例では、表現修正システムは、ロケーションの３次元表現内の各々の位置にポップアウトを表示すべきであることを決定できる。表現修正システムは、各候補画像に関連付けられたロケーション及び各候補画像のレーティングに基づいて、候補画像から各々の位置の画像を選択できる。いくつかの例では、ユーザメディアコンテンツのピースは、ユーザメディアに関連付けられた時間に少なくとも部分的に基づいて選択される。

【0119】

いくつかの例では、表現修正システムは、８１０において、ユーザ生成メディアコンテンツの１つまたは複数のピースを、ロケーションを通る経路に沿ったロケーションの３次元表現に統合でき、統合されたユーザ生成メディアコンテンツのピースは、３次元表現内の視覚的ポップアウト内に表される。

【0120】

いくつかの例では、表現修正システムは、８１２において、メディアコンテンツとロケーションとの時間的関連性に基づいてロケーションの状態を表すために、ロケーションの統合３Ｄシーンを提供できる。

【0121】

本明細書で「モジュール」及び「ユニット」等を含む一般的な用語が使用される場合、これらの用語は、限定ではないが、特定のタスクを行うフィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）等のソフトウェアまたはハードウェアのコンポーネントまたはデバイスを指し得る。モジュールまたはユニットは、アドレス指定可能なストレージ媒体上に存在するように構成され得、１つまたは複数のプロセッサ上で実行するように構成され得る。したがって、モジュールまたはユニットは複数のコンポーネントを含み得、例として、ソフトウェアコンポーネント、オブジェクト指向ソフトウェアコンポーネント、クラスコンポーネント及びタスクコンポーネント、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、ならびに変数等が挙げられる。コンポーネント及びモジュール／ユニットで提供された機能は、より少ないコンポーネント及びモジュール／ユニットに組み合わされ得る、またはさらに、追加のコンポーネント及びモジュールに分割され得る。

【0122】

上記の例示的な実施形態の態様は、コンピュータによって具現化された様々な動作を実施するためのプログラム命令を含む非一時的コンピュータ可読媒体に記録され得る。媒体は、また、単独で、または組み合わせて、プログラム命令、データファイル、データ構造等を含み得る。非一時的コンピュータ可読媒体の例は、ハードディスク、フロッピーディスク、及び磁気テープ等の磁気媒体と、ＣＤ ＲＯＭディスク、Ｂｌｕｅ－Ｒａｙディスク、及びＤＶＤ等の光媒体と、光ディスク等の光磁気媒体と、半導体メモリ、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ＵＳＢメモリ等、プログラム命令を記憶して行うように特別に構成される他のハードウェアデバイスとを含む。プログラム命令の例は、コンパイラによって生成されるもの等のマシンコードと、インタプリタを使用してコンピュータによって実行され得るより高いレベルのコードを含むファイルとの両方を含む。プログラム命令は、１つまたは複数のプロセッサによって実行され得る。説明されるハードウェアデバイスは、上記の実施形態の動作を行うために１つもしくは複数のソフトウェアモジュールとして機能するように構成され得る、またはその逆も同様である。さらに、非一時的コンピュータ可読ストレージ媒体は、ネットワークを経由して接続されたコンピュータシステム間で分散され得、コンピュータ可読コードまたはプログラム命令は、非集中的な方式で記憶及び実行され得る。さらに、非一時的コンピュータ可読ストレージ媒体は、また、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）でも具現化され得る。

【0123】

フローチャートの図の各ブロックは、規定された論理機能（複数可）を実装するための１つまたは複数の実行可能な命令を含むユニット、モジュール、セグメント、またはコードの一部を表し得る。いくつかの代替的な実施態様では、ブロックに記される機能は、順序外で発生し得ることにも留意されたい。例えば、連続して示される２つのブロックは、実際に、実質的に（同時に）実行され得る、または、ブロックは、時々、含有される機能に応じて、逆の順序で実行され得る。

【0124】

本開示が、様々な例示的な実施形態に関して説明されてきたが、それぞれの例は、説明のために提供されており、本開示を限定するものではない。当業者は、前述の理解に達すると、そのような実施形態の変更、変形、及び均等物を容易に生成できる。したがって、本開示は、当業者に容易に明らかであろうように、開示された主題のそのような修正、変形、及び／または追加を含むことを排除しない。例えば、一実施形態の一部として図示または説明される特徴を他の実施形態で使用して、さらに他の実施形態を生じさせることができる。したがって、本開示は、そのような変更、変形、及び均等物を網羅することが意図される。

【要約】

【課題】ユーザが生成したメディアコンテンツを３次元没入型ビューに投影するための、方法、システム、及びデバイスを提供する。
【解決手段】システムは、複数の画像に基づいて生成されたロケーションの３次元表現を取得できる。システムは、ロケーションに関連付けられたユーザ生成メディアコンテンツにアクセスできる。システムは、ロケーションの３次元表現を通る経路を表す経路情報を受信できる。システムは、経路情報に基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースを選択できる。システムは、経路情報と、ユーザに表示されるべき３次元表現の部分とに基づいて、ユーザ生成メディアコンテンツの１つまたは複数のピースをロケーションの３次元表現に統合でき、ユーザ生成メディアコンテンツのピースは、３次元表現内で視覚的ポップアウト内に提示される。システムは、ユーザに表示するためのロケーションの３次元表現を提供できる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図8】