特表 2024-513525 ロケーションに関するクエリに応じたロケーション特有の３次元モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-25

(54)【発明の名称】ロケーションに関するクエリに応じたロケーション特有の３次元モデル

(51)【国際特許分類】

   G09B 29/00 20060101AFI20240315BHJP

   G06T 19/00 20110101ALI20240315BHJP

【ＦＩ】

G09B29/00 A

G09B29/00 F

G06T19/00 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023562577

(86)(22)【出願日】2022-03-04

(85)【翻訳文提出日】2023-11-28

(86)【国際出願番号】 US2022018915

(87)【国際公開番号】W WO2022220950

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】17/227,871

(32)【優先日】2021-04-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】イグナシオ・ガルシア・ドラド

(72)【発明者】

【氏名】チャールズ・ゴラン

(72)【発明者】

【氏名】ジョルディ・セラーノ・ベルベル

(72)【発明者】

【氏名】ルーク・バリントン

(72)【発明者】

【氏名】ビラワル・シン・シドゥ

(72)【発明者】

【氏名】トーマス・ヴィントホイザー

(72)【発明者】

【氏名】トーマス・ロバート・エスコバー

(72)【発明者】

【氏名】ジャン・ストリア

【テーマコード（参考）】

2C032

5B050

【Ｆターム（参考）】

2C032HC23

2C032HC27

5B050AA01

5B050BA09

5B050BA17

5B050EA19

5B050FA05

(57)【要約】

ロケーションクエリに応じて、ロケーション特有の3次元モデルを生成することは、ユーザに、より良好な対話性、より良好な見え方、次元性のより良好な理解を提供することによって、ロケーションのより良好な理解を提供することができる。モデルを生成することは、3次元アセットデータベースおよびセグメント化法を活用することによって可能になり得る。ロケーション特有のモデルは、シミュレートされた気象または交通など、状況特有のシミュレートされた結果をさらに含めることによって、さらなる実用性を提供することができる。

【特許請求の範囲】

【請求項1】

ユーザに3次元モデル化を供給するためのコンピュータにより実施される方法であって、
1つまたは複数のコンピューティングデバイスを備えるコンピューティングシステムによって、ユーザコンピューティングデバイスに関連付けられたロケーションクエリを取得するステップと、
前記コンピューティングシステムによって、前記ロケーションクエリを処理してロケーションを決定するステップと、
前記コンピューティングシステムによって、3次元アセットデータベースにアクセスして、1つまたは複数の他の異なるロケーションと組み合わせて前記ロケーションをモデル化する3次元モデルを取得するステップと、
前記コンピューティングシステムによって、前記ロケーションに対応する前記3次元モデルのロケーション特有のセグメントを生成するために、前記3次元モデルをセグメント化するステップであって、前記ロケーション特有のセグメントは、前記ロケーションを、前記1つまたは複数の他の異なるロケーションから分離してモデル化する、ステップと、
前記コンピューティングシステムによって、前記3次元モデルの前記ロケーション特有のセグメント、または前記3次元モデルの前記ロケーション特有のセグメントの1つまたは複数のレンダリングを、前記ユーザコンピューティングデバイスに提供するステップと
を含む、コンピュータにより実施される方法。

【請求項2】

前記3次元モデルの前記ロケーション特有のセグメントは、前記ロケーションに関連付けられた複数の画像を用いて画像のセグメント化によって生成される、請求項1に記載の方法。

【請求項3】

前記3次元モデルの前記ロケーション特有のセグメントは、前記ロケーションを表すセンサデータに少なくとも部分的に基づいて生成される、請求項1または2に記載の方法。

【請求項4】

前記3次元モデルの前記ロケーション特有のセグメントは、建築構造またはランドマークを含む、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記3次元モデルの前記ロケーション特有のセグメントは、拡張現実アセットである、請求項1から4のいずれか一項に記載の方法。

【請求項6】

前記3次元モデルの前記ロケーション特有のセグメントを含む仮想現実体験を提供するステップをさらに含む、請求項1から5のいずれか一項に記載の方法。

【請求項7】

前記3次元モデルの前記ロケーション特有のセグメントは、対話的な環境で提供される、請求項1から6のいずれか一項に記載の方法。

【請求項8】

前記対話的な環境は、1つまたは複数の2次元地図と組み合わせた、前記3次元モデルの前記ロケーション特有のセグメントの前記1つまたは複数のレンダリングを含む、請求項7に記載の方法。

【請求項9】

前記対話的な環境は、前記ロケーションクエリに応じたさらなる検索結果を含む検索結果ウェブページの一部を含む、請求項7または8に記載の方法。

【請求項10】

前記3次元モデルの前記ロケーション特有のセグメントは、事前にレンダリングされたビデオで提供される、請求項1から9のいずれか一項に記載の方法。

【請求項11】

前記コンピューティングシステムによって、前記ロケーションの住所を取得するステップと、
前記コンピューティングシステムによって、前記3次元モデルの前記ロケーション特有のセグメントを有するロケーションの前記住所、または前記3次元モデルの前記ロケーション特有のセグメントの前記1つまたは複数のレンダリングを提供するステップと
をさらに含む、請求項1から10のいずれか一項に記載の方法。

【請求項12】

前記コンピューティングシステムによって、状況データを取得するステップであって、前記状況データは、前記ロケーションに関連付けられた時間特有の状況を表している、ステップと、
前記コンピューティングシステムによって、前記状況データを処理して、各シミュレーションアセットを決定するステップと、
前記コンピューティングシステムによって、前記各シミュレーションアセットを取得するステップと、
前記コンピューティングシステムによって、前記3次元モデルの前記ロケーション特有のセグメントおよび前記各シミュレーションアセットに基づいて、前記ロケーションおよび前記時間特有の状況を含むシミュレートされたイベントを生成するステップと
をさらに含む、請求項1から11のいずれか一項に記載の方法。

【請求項13】

前記状況データは、交通データを含み、
前記各シミュレーションアセットは、シミュレートされた交通を含む、請求項12に記載の方法。

【請求項14】

前記状況データは、人の混雑データを含み、
前記各シミュレーションアセットは、前記人の混雑データに基づいた規模のシミュレートされた人の混雑を含む、請求項12または13に記載の方法。

【請求項15】

前記状況データは、気象データを含み、
前記各シミュレーションアセットは、シミュレートされた気象状態を含む、請求項12、13、または14に記載の方法。

【請求項16】

コンピューティングシステムであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムに動作を実施させる命令を集合的に記憶する1つまたは複数の非一時的なコンピュータ可読媒体であって、前記動作が、
ユーザコンピューティングデバイスからロケーションクエリを取得するステップ、
前記ロケーションクエリを処理してロケーションを決定するステップ、
3次元アセットデータベースにアクセスして、前記ロケーションに関連付けられた3次元モデルを取得するステップ、
前記3次元モデルにおける他のオブジェクトから前記ロケーションを分離するために、前記3次元モデルをセグメント化することによって、ロケーション特有のモデルを生成するステップ、および
前記ロケーション特有のモデルを、前記ユーザコンピューティングデバイスに提供するステップ
を含む、1つまたは複数の非一時的なコンピュータ可読媒体と、
を備える、コンピューティングシステム。

【請求項17】

前記動作は、
前記ロケーション特有のモデルを含む地図を生成するステップと、
前記地図を前記ユーザコンピューティングデバイスに提供するステップと
をさらに含む、請求項16に記載のコンピューティングシステム。

【請求項18】

前記動作は、
前記ユーザコンピューティングデバイスに対するロケーションデータを取得するステップであって、前記ロケーションデータは、ユーザロケーションを表している、ステップと、
前記ロケーション特有のモデルに関連付けられた前記ロケーションに対する住所を取得するステップと、
ユーザが、前記ユーザロケーションから前記住所に達するための経路を決定するステップと、
前記経路に基づき、視覚的な経路オーバレイを生成するステップと、
拡張地図を生成するステップであって、前記拡張地図は、前記視覚的な経路オーバレイおよび前記地図を含む、ステップと、
前記拡張地図をユーザコンピューティングデバイスに提供するステップと
をさらに含む、請求項17に記載のコンピューティングシステム。

【請求項19】

1つまたは複数のプロセッサによって実行されると、コンピューティングシステムに動作を実施させる命令を集合的に記憶する1つまたは複数の非一時的なコンピュータ可読記録媒体であって、前記動作が、
ロケーションに関係するロケーションクエリを指定するユーザ入力を取得するステップと、
前記ロケーションクエリを、ネットワークを介してサーバシステムに提供するステップと、
3次元モデルのロケーション特有のセグメント、または3次元モデルの前記ロケーション特有のセグメントの1つまたは複数のレンダリングを、前記サーバシステムから前記ネットワークを介して受け取るステップであって、前記3次元モデルは、前記ロケーションを、1つまたは複数の他の異なるロケーションと組み合わせてモデル化し、3次元モデルの前記ロケーション特有のセグメントは、前記ロケーションを、前記1つまたは複数の他のロケーションから分離するために、前記3次元モデルをセグメント化することによって生成される、ステップと、
前記3次元モデルの前記ロケーション特有のセグメントの少なくとも第1のレンダリングの表示を提供するステップと
を含む、1つまたは複数の非一時的なコンピュータ可読記録媒体。

【請求項20】

前記3次元モデルの前記ロケーション特有のセグメントの少なくとも前記第1のレンダリングの表示を提供するステップは、検索結果ウェブページにおける少なくとも前記第1のレンダリングの表示を提供するステップを含む、請求項19に記載の1つまたは複数の非一時的なコンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、2021年4月12日に出願された米国非仮特許出願第17/227,871号の優先権および利益を主張するものである。米国非仮特許出願第17/227,871号は、参照によりその全体が本明細書に組み込まれる。

【0002】

本開示は、一般に、あるロケーションに関連する、またはロケーションに関する情報を求めるユーザクエリに応じて、ロケーションの3次元モデルを提供することに関する。より詳細には、本開示は、例えば、検索クエリ、ナビゲーションクエリ、マッピングクエリ、気象クエリ、レビュークエリ、視覚的なクエリ、および/またはロケーションに関する情報を求める他のユーザ要求など、そのロケーションに関連付けられた情報を求める、ロケーションに関するクエリに応じて、ロケーションの3次元モデルのロケーション特有のセグメントを提供することに関する。

【背景技術】

【0003】

検索エンジンを介してロケーションを検索するとき、いくつかの既存のシステムは、本文の抜粋、写真、または地図を含むことのできるハイパーリンクおよび/または生成された画像の形で結果を返すことができる。モニュメントおよびランドマークに対して、これらの結果は、モニュメントまたはランドマークの実際の見え方および大きさを描写するのに失敗することが多い。さらに、画像は、そのロケーションがどのように見えるかの遠近画を提供することができるが、画像単独では、そのロケーションの次元性を取り込むのに失敗するおそれがある。さらに、そのロケーションのビデオはまた、様々な理由で限定され得る。特に、検索結果は対話性に欠けており、それは、そのロケーションの別の側面を見つけることを困難にする可能性がある(例えば、ロケーションの状況またはロケーションの様々な遠近図)。例えば、様々な見え方のクローズアップを見ようとすること、またはそのロケーションの異なる部分を見ることは、直感的な、対話的なインターフェースで提供されるのではなく、うんざりする検索が必要となる可能性がある。

【0004】

モニュメントおよびランドマークにおける気象、交通、および人の混み具合を知ることは、旅行者および他の訪問者が、そのモニュメントを訪れるためによく理解し、準備するのを助けることができる。地図だけでは、交通または人の混み具合を観点に入れることに失敗する。さらに、モニュメントまたはランドマークの視認性は、人の混み具合または気象により影響を受ける可能性がある。視認性に対するこれらの因子の影響に関する知識は、オブジェクトに対する文献を一掃するには限られていることが多い。しかし、多くの人々は彼ら自身が、視覚的な学習者であると考える。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の実施形態の態様および利点は、部分的に、以下の記述に記載される、またはその記述から学ぶことができる、または実施形態の実務を介して学習することができる。

【0006】

本開示の例示的な一態様は、3次元のモデル化をユーザに提供するためのコンピュータで実施される方法を対象とする。方法は、1つまたは複数のコンピューティングデバイスを含むことのできるコンピューティングシステムにより、ユーザコンピューティングデバイスに関連付けられたロケーションクエリを取得するステップを含む。方法は、コンピューティングシステムにより、ロケーションクエリを処理してロケーションを決定するステップを含むことができる。いくつかの実施形態では、方法は、コンピューティングシステムにより、3次元アセットデータベースにアクセスして、1つまたは複数の他の異なるロケーションと組み合わせて、ロケーションをモデル化する3次モデルを取得するステップを含むことができる。方法は、コンピューティングシステムにより、ロケーションに対応する3次元モデルのロケーション特有のセグメントを生成するために、3次元モデルをセグメント化するステップを含むことができる。いくつかの実施形態では、ロケーション特有のセグメントは、1つまたは複数の他の異なるロケーションから分離して、そのロケーションをモデル化することができる。方法は、コンピューティングシステムにより、3次元モデルのロケーション特有のセグメントを、または3次元モデルのロケーション特有のセグメントの1つまたは複数のレンダリングを、ユーザコンピューティングデバイスに提供するステップを含むことができる。

【0007】

以下でより詳細に述べられるように、ロケーション特有のセグメントを生成するために3次元モデルをセグメント化するステップは、数多くの技術的な利点を提供することができる。特に、3次元モデルを全体としてではなく、ロケーション特有のセグメントをユーザコンピューティングデバイスに提供することができる。こうすることは、ユーザデバイスに関連データを送るための帯域幅要件を低減することができ、またユーザデバイスにおける、ロケーション特有のモデルを記憶し、かつレンダリングするための計算リソース要件を低減することができる。言い換えると、3次元モデルをセグメント化することに関するステップは、ユーザコンピューティングデバイスに送信される必要のあるデータを少なくすることができ、それにより、3次元モデル化をユーザに供給するためのより計算上効率的な方法が可能になる。

【0008】

本開示の別の例示的な態様は、コンピューティングシステムを対象とする。コンピューティングシステムは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサにより実行されたとき、コンピューティングシステムに動作を実施させる命令を集合的に記憶する1つまたは複数の非一時的なコンピュータ可読媒体とを含むことができる。動作は、ユーザコンピューティングデバイスからロケーションクエリを取得するステップを含むことができる。動作は、ロケーションを決定するためにロケーションを処理するステップを含むことができる。いくつかの実施形態では、動作は、そのロケーションに関連付けられた3次元モデルを取得するために、3次元アセットデータベースにアクセスするステップを含むことができる。動作は、3次元モデルにおいて、他のオブジェクトからロケーションを分離するために3次元モデルをセグメント化することにより、ロケーション特有のモデルを生成するステップと、ロケーション特有のモデルをユーザコンピューティングデバイスに提供するステップとを含むことができる。

【0009】

本開示の別の例示的な態様は、1つまたは複数のプロセッサにより実行されたとき、コンピューティングシステムに動作を実施させる命令を集合的に記憶する1つまたは複数の非一時的なコンピュータ可読媒体を対象とする。動作は、ロケーションに関するロケーションクエリを指定するユーザ入力を取得するステップを含むことができる。動作は、ネットワークを介して、サーバシステムにロケーションクエリを提供するステップを含むことができる。いくつかの実施形態では、動作は、ネットワークを介してサーバシステムから、3次元モデルのロケーション特有のセグメント、または3次元モデルのロケーション特有のセグメントの1つまたは複数のレンダリングを受け取るステップを含むことができる。3次元モデルは、1つまたは複数の他の異なるロケーションと組み合わせてロケーションをモデル化することができ、また3次元モデルのロケーション特有のセグメントは、1つまたは複数の他の異なるロケーションからそのロケーションを分離するために、3次元モデルをセグメント化することにより生成することができる。動作は、3次元モデルのロケーション特有のセグメントの少なくとも第1のレンダリングの表示を提供するステップを含むことができる。

【0010】

本開示の他の態様は、様々なシステム、装置、非一時的なコンピュータ可読媒体、ユーザインターフェース、および電子デバイスを対象とする。

【0011】

本開示の様々な実施形態のこれらの、および他の特徴、態様、ならびに利点は、以下の記述および添付の特許請求の範囲を参照するとよく理解されよう。本明細書に組み込まれ、かつその一部を構成する添付図面は、本開示の例示的な実施形態を示しており、本記述と共に、関連する原理を説明するように働く。

【0012】

当業者に向けた実施形態の詳細な論議は、添付図を参照して行われる本明細書で示される。

【図面の簡単な説明】

【0013】

【図1】本開示の例示的な実施形態に従ってロケーションベースのモデル検索を行う例示的なコンピューティングシステムのブロック図である。

【図2】本開示の例示的な実施形態による例示的なモデル検索システムのブロック図である。

【図3】本開示の例示的な実施形態による例示的な状況対応モデル検索システムのブロック図である。

【図4】本開示の例示的な実施形態による例示的な3次元レンダリングのブロック図である。

【図5】本開示の例示的な実施形態による例示的な検索結果ページの図である。

【図6】本開示の例示的な実施形態に従ってロケーションベースのモデル検索を実施する例示的な方法の流れ図である。

【図7】本開示の例示的な実施形態に従ってロケーションベースのモデル検索を実施する例示的な方法の流れ図である。

【図8】本開示の例示的な実施形態に従って3次元モデルデータベースの作成を実施する例示的な方法の流れ図である。

【図9A】本開示の例示的な実施形態による例示的な3次元モデルを示す図である。

【図9B】本開示の例示的な実施形態による例示的な状況対応3次元モデルを示す図である。

【図10】本開示の例示的な実施形態による例示的な拡張現実体験を示す図である。

【図11】本開示の例示的な実施形態による例示的なレンダリング表示を示す図である。

【図12】本開示の例示的な実施形態による例示的な経路オーバレイを示す図である。

【発明を実施するための形態】

【0014】

複数の図にわたって繰り返される参照数字は、様々な実施形態における同じ機能を特定するように意図される。

【0015】

概要
概して、本開示は、例えば、検索クエリ、ナビゲーションクエリ、マッピングクエリ、気象クエリ、レビュークエリ、視覚的なクエリ、および/または情報を求める他のユーザ要求など、そのロケーションに関連付けられた情報を求める、ロケーションに関するクエリに応じて、ロケーションの3次元モデルのロケーション特有のセグメントを提供することを対象とする。本明細書で開示されるシステムおよび方法は、ロケーションに関するクエリ(「ロケーションクエリ」)に応じて、ロケーションベースのレンダリングおよび/またはロケーション特有のモデルを提供するために、3次元モデルのデータベースを利用することができる。いくつかの実施形態では、システムおよび方法は、ロケーションクエリを取得することを含むことができる。ロケーションクエリは、ユーザのコンピューティングデバイスから取得することができる、またはユーザのコンピューティングデバイスによりトリガされ得る。システムおよび方法は、ロケーションを決定するために、ロケーションクエリを処理することを含むことができる。いくつかの実施形態では、システムおよび方法は、ロケーションに関連付けられた3次元モデルを取得するために、3次元アセットデータベースにアクセスすることを含むことができる。3次元モデルおよびロケーションは、ロケーション特有のモデルを生成するために使用され得る。ロケーション特有のモデルを生成することは、3次元モデルにおける他のオブジェクトからそのロケーションを分離するために、3次元モデルをセグメント化することを含むことができる。システムおよび方法は、ロケーション特有のモデルをコンピューティングデバイスに提供することを含むことができる。例えば、ロケーション特有のモデルは、ユーザコンピューティングデバイスに提供され得る。いくつかの実施形態では、ロケーション特有のモデルは、建築構造(例えば、ランドマーク、モニュメントと、および/または建造物)を含むことができる。

【0016】

ロケーションクエリを取得することは、ユーザからの入力を受け取るように構成されたユーザインターフェースにより容易に行うことができる。代替的に、かつ/または加えて、ロケーションクエリは、ユーザコンピューティングデバイスがトリガしたイベントに応じて、コンピューティングシステムにより生成され、かつ取得されたクエリとすることができる。例えば、ユーザは、アトラクションのリストをスクロールすることができ、特定のアトラクションを選択して、そのアトラクションに関してさらに学ぶ。選択に応じて、アトラクションに対するロケーションクエリが生成され、処理するために取得することができる。他の例では、ユーザは、地図上でそのロケーションを見ることを要求し、そのロケーションへのナビゲーション的な指示を要求し、ロケーションに関連付けられた関心のある点に関する情報(例えば、ユーザが生成したレビュー)を要求し、そのロケーションが得られる、テキストのまたは視覚的な検索クエリを提示し、かつ/またはそのロケーションに関する情報を求める要求を示す他のアクションを行うことができる。これらの例示的なアクションのそれぞれは、提案されるシステムにより処理するために、ロケーションクエリをトリガすることができる。

【0017】

いくつかの実施形態では、ロケーションクエリは、特定のロケーションに関連付けられた一連の用語または1つまたは複数の画像を含むことができる。用語は、そのロケーションを記述することができる、ロケーションの名前を含むことができる、ロケーションの住所とすることができる、またはロケーションを含意する、もしくはそれによりロケーションが関連する結果となる、間接的もしくは直接的に関連する情報の任意の他の形態とすることができる。いくつかの例では、ロケーションクエリは、写真がどこで撮られたか、または画像には何が描かれているかを処理し、かつ決定する画像を含むことができる。

【0018】

ロケーションが決定された後、その特定のロケーションが何らかの関連する3次元モデルを有するかどうかを決定するために、3次元アセットデータベースがアクセスされ、かつ検索され得る。3次元モデルは、そのロケーションで見出される特定の構造または複数の構造の構成された3次元モデルとすることができる。特にいくつかの実施形態では、3次元アセットデータベースは、地球の表面の、または個々の国もしくはそこに位置する都市のかなりの部分にわたる、一般的もしくは大域的な3次元モデルを含むことができる。例えば、様々なアルゴリズムを適用して、利用可能な画像(例えば、衛星画像および/またはストリートレベルの画像)から、様々な住所、通り、近隣、都市、および/または同様のものにわたる1つまたは複数の非常に大きな3次元モデルを自動的に生成することができる。

【0019】

ロケーション特有のモデルを提供するために、システムおよび方法は、一般的な3次元モデルにおけるロケーションを分離して、ロケーション特有のモデルを生成することができる。具体的には、本開示の例示的なシステムは、一般的な3次元モデルの部分を複数のセグメントへとセグメント化することができる。いくつかの実施形態では、システムおよび方法は、1つまたは複数の特定のロケーションをモデル化するために、3次元モデルのロケーション特有のセグメントを抽出する3次元セグメント化を実施することができる。ロケーション特有のモデルは、画像のセグメント化を用いて生成することができる。この方法では、必要なロケーションを含むより小さなモデルが取得され得る。より小さなモデルは、記憶し、レンダリングするための処理電力を少なくすることができ、またさらに、モデルをユーザのコンピューティングデバイスに送信するために必要な帯域幅を少なくすることもできる。さらに、ロケーション特有のモデルは、一般的な3次元モデルに対して、ユーザがアクセスし、かつ理解するのが容易になり得る。したがって、ロケーション特有のモデルは、ユーザに対して向上させた対話を可能にすることができる。

【0020】

モデルのロケーション特有のセグメントが生成された後、3次元モデルのロケーション特有のセグメントがレンダリングされ、様々な状況において、ユーザに表示され得る。一例として、サーバのコンピューティングシステムは、3次元モデルのロケーション特有のセグメントをユーザコンピューティングデバイスに送信または供給することができ、またユーザコンピューティングデバイスは、ロケーション特有のモデルを用いてそのロケーションのレンダリングを示すことができる。代替的に、かつ/または加えて、サーバコンピューティングシステムは、3次元モデルのロケーション特有のセグメントのレンダリングを実施して、そのレンダリングを、ユーザコンピューティングデバイスに送信または供給することができる。

【0021】

いくつかの実施形態では、3次元モデルのロケーション特有のセグメントは、そのロケーションに関連付けられた複数の画像を用いて画像セグメント化により生成することができる。さらに複数の画像は、1つまたは複数の航空画像を含むことができる。代替的に、かつ/または加えて、いくつかの実施形態では、モデルは、光による検知と測距(LiDAR)データ、または他のセンサデータ(例えば、樹木または他のオブジェクトをセグメント化するために使用できる、スペクトルセンサを用いて生成されたスペクトルセンサデータなど)を用いて生成することができる。特に、LiDARデータまたは他のセンサデータは、どれをセグメント化すべきかを決定するために使用することができる。

【0022】

3次元モデルのロケーション特有のセグメントは、様々な媒体を介して、様々な方法で提供され得る。いくつかの実施形態では、ロケーション特有のモデルは、拡張現実体験を介して、ユーザの環境においてレンダリングされた拡張現実アセットとして提供され得る。代替的に、かつ/または加えて、ロケーション特有のモデルは、仮想現実体験で提供されるものとすることができる。いくつかの実施形態では、ユーザコンピューティングデバイスは、ロケーション特有のモデルを含むことのできる対話的な仮想環境を備えることができる。さらに、対話的な環境は、1つまたは複数の2次元もしくは3次元地図を含むことができる。3次元モデルのロケーション特有のセグメントは、事前にレンダリングされたビデオ、または1組の事前にレンダリングされたビデオで提供することができ、その場合、各ビデオは、ロケーション特有のセグメントに基づいて生成されたロケーションの様々な見え方を描写することができる。

【0023】

いくつかの実施形態では、ロケーション特有のモデルは、ロケーションに関連する、またはロケーションに関連付けられた他の情報もしくはデータを備えることができる。例えば、システムおよび方法は、そのロケーションの住所を取得すること、およびロケーション特有のモデルを有するロケーションの住所を提供することを含むことができる。いくつかの実施形態では、システムおよび方法は、ロケーション情報データを取得することを含むことができる。ロケーション情報データは、ロケーションに関係する情報(例えば、ロケーションの歴史に関する情報)を含むことができる。ロケーション情報データは、ロケーション特有のモデルを用いてユーザコンピューティングデバイスに提供され得る。いくつかの実施形態では、ロケーション特有のモデルは、ロケーションの複数の画像を備えることができる。さらに、いくつかの実施形態では、システムおよび方法は、ロケーション特有のモデルを含む地図を生成すること、および地図をユーザコンピューティングデバイスに提供することを含むことができる。さらに、いくつかの実施形態では、システムおよび方法は、ユーザコンピューティングデバイスに対して、ロケーションデータを取得することを含むことができる。ロケーションデータは、ユーザのロケーションを記述するものであり得る。システムおよび方法は、ロケーション特有のモデルに関連付けられたロケーションに対する住所を取得することを含むことができる。住所およびユーザのロケーションは、ユーザのロケーションからその住所に行くためにユーザが使用する経路を決定するために使用され得る。視覚的な経路オーバレイは、経路に基づいて生成することができ、また視覚的な経路オーバレイおよび地図は、地図に重ね合わされた視覚的な経路オーバレイを用いて拡張地図を生成するために使用することができる。拡張地図は、次いで、ユーザコンピューティングデバイスに提供され得る。このような拡張地図は、そのロケーションにナビゲートするための効率的かつ有効な手段を提供する技術的効果を有する。

【0024】

代替的に、かつ/または加えて、システムおよび方法は、状況データを取得することを含むことができる。状況データは、ロケーションに関連付けられた時間特有の状況を表すことができる。システムおよび方法は、各シミュレーションアセットを決定するために、状況データを処理すること、および各シミュレーションアセットを取得することを含むことができる。各シミュレーションアセットおよびロケーション特有のモデルは、そのロケーションにおいて生ずる時間特有の状況を含むシミュレートされたイベントを生成するために使用することができる。いくつかの実施形態では、状況は、気象状態の他に、列車、航空機、バス、タクシー、および/または同様のものなどの様々な物理的な項目のロケーション、そのロケーションもしくはその付近の人の混み具合、および/または交通とすることができる。例えば、時間特有の状況は、雨とすることができ、また生成されるシミュレートされたイベントは、シミュレートされた雨を有する3次元モデルのロケーション特有のセグメントのレンダリングとすることができる。より一般的に、そのロケーションで生ずる時間特有の状況を含むシミュレートされたイベントは、シミュレーションそれ自体の実施形態を超えた技術的効果を提供することができる。具体的には、シミュレートされたイベントは、様々な時間特有の状況において、ユーザがそのロケーションを視覚化できるようにし、ユーザに、そのロケーションのより良好な理解を得られるようにし、それにより、実生活において、ユーザ自身がそのロケーションにナビゲートできるようにする。

【0025】

いくつかの実施形態では、ロケーション特有のモデルを提供することは、ウェブページ(例えば、テキストによる、または視覚的なロケーションクエリに応じて返されたウェブページなど)を介して、1つまたは複数の検索結果を有するロケーション特有のモデルを提供することを含むことができる。代替的に、かつ/または加えて、ロケーション特有のモデルは、他の検索結果とは別のウェブページ上のセクションまたはロケーションに提供され、かつ表示され得る。例えば、いくつかの実施形態では、ロケーション特有のモデルは、そのモデルに関連付けられたロケーションにおける他のデータ(例えば、ロケーション特有のモデルに関連付けられたロケーションの名前、ロケーションの住所、および/またはロケーションに関する情報など)と共に、別のパネルに提供され得る。いくつかの実施形態では、メッシュセグメント化により、クエリに対する応答をコンパクトにすることができる。具体的には、メッシュのセグメントは、領域全体のレンダリングよりも、より迅速にレンダリングできるようにする(例えば、パネルにおいて)。セグメント化のレンダリングは、したがって、完全なモデルのレンダリングが生ずるおそれのある帯域幅に対する重い負担を有することなく検索結果の提供を支援することができる。

【0026】

本明細書で開示されるシステムおよび方法は、様々な分野および産業で利用することができる。例えば、本明細書で開示されるシステムおよび方法は、地図アプリケーションに対して向上させたユーザ体験を提供するために利用することができる。より具体的には、本明細書で開示されるシステムおよび方法は、ユーザに、ロケーションクエリに応じて、ロケーション特有のモデルを有する地図を提供するために使用することができる。地図アプリケーションは、ナビゲートされて通るようにする領域の現実的なレンダリングを提供するために、視覚的な経路オーバレイを提供することができる。いくつかの実施形態では、地図アプリケーションは、ある領域を理解するために、いくつかの選択肢を提供することができる。地図アプリケーションは、ロケーションのストリートビュー、頭上の地図、エアリアルビュー(aerial view)地図、または対話的な3次元モデルを提供することができる。この方法では、地図アプリケーションは、ユーザに、そのロケーションへの移動をより有効にできるようにする。

【0027】

別の例は、システムおよび方法を、ビデオゲーム、および/または拡張もしくは仮想現実体験へと実装することを含むことができる。例えば、本明細書で開示されるシステムおよび方法は、オープンワールドゲームの生成を可能にすることができ、その場合、ユーザは、様々なエリアに旅行することができ、あるエリアに達すると、ロケーションクエリを送ることができ、そのエリアのロケーション特有のモデルを、それに応じて受信することができる。より具体的には、ゲームは、フランスに設定することができ、キャラクタが、あるロケーションに旅行したとき、そのロケーションに対するロケーションクエリをサーバに送ることができ、そのロケーションのロケーション特有のモデルを、その返しとして受け取ることができる(例えば、キャラクタは、エッフェル塔に旅行することができ、エッフェル塔に対するロケーションクエリを送ることができ、エッフェル塔のロケーション特有のモデルをその返しとして受け取ることができる)。

【0028】

本明細書により開示されるシステムおよび方法により利用される3次元アセットデータベースは、様々な方法もしくはプロセスを用いて生成され得る。プロセスは、3次元コンテンツの作成で開始することができる。3次元環境は、一般的な3次元再構成法により構築することができる。再構成は、付属されるテクスチャ(例えば、メッシュの色を表す2次元画像など)を有する3次元メッシュを生成することができる。プロセスの次のステップは、画像のセグメント化を含むことができる。セグメント化は、メッシュおよびテクスチャを理解して、環境のその基礎となる意味論的構造を見出すために使用することができる(例えば、再構成された都市の意味論的構造など)。いくつかの実施形態では、プロセスは、画像のセグメント化に対する意味論的多様性を利用することができる。画像のセグメント化は、機械学習モデルを用いて、複数の2次元画像を部分へとセグメント化することを含むことができる。セグメント化された画像は、次いで、3次元メッシュへと投影され得る。プロセスは、ブロブ(blob)を除き、メッシュを清浄化することにより、生成された3次元環境を清浄化することをさらに含むことができる。例えば、樹木、通り、歩道、および他のオブジェクトを除去することができる。清浄化ステップは、手動で完了することができる、または自動化することができる。得られた3次元アセットは、圧縮することができ、またデータベースに記憶することができる。プロセスは、都市、町などから最新の構造を有するデータベースに更新するために、繰り返して反復することができる。

【0029】

本開示のシステムおよび方法は、いくつかの技術的な効果および利益を提供する。一例として、システムおよび方法は、ロケーションクエリに応じて3次元モデルのロケーション特有のセグメントを提供することができる。システムおよび方法は、実時間の交通、人の混み具合、気象、および/または他の背景もしくは状況特有の情報を有するロケーション(例えば、ランドマークまたはモニュメントなど)のモデルを提供するためにさらに使用することができる。さらに、システムおよび方法は、地図アプリケーションに対して3次元モデルを可能にすることができる。

【0030】

本開示のシステムおよび方法の別の技術的な利益は、提供されるレンダリングの次元的に正確なモデリングおよび対話性である。モデルは、次元的に正確なロケーションの表現を提供することができ、潜在的な訪問者が、実際にそのロケーションを訪問することを望むかどうかを決定できるようにする。さらに次元的に正確な表現は、ユーザを、そのロケーションへとより有効にナビゲートできるようする。

【0031】

別の例示的な技術的効果および利益は、コンピューティングシステムにおける向上された計算効率、および機能性の向上に関する。例えば、いくつかの既存のシステムは、ユーザが、大域的な、または一般的な3次元モデルのレンダリングを見ることができるようにする。大域的な、または一般的な3次元モデル全体を処理し、レンダリングすることは、大幅な計算リソースを必要とする。それとは対照的に、3次元モデルのロケーション特有のセグメントを抽出し、次いでレンダリングすることにより、提案されるシステムよび方法は、プロセッサの使用量、メモリの使用量、および/またはネットワーク帯域幅などの計算リソースを節約することができる。特に、ロケーション特有のセグメントは、一般的な3次元モデルを送信するのと比較して、ユーザデバイスに送信されるそれに対する必要な帯域幅を少なくすることができる。さらに、ロケーション特有のセグメントは、ユーザデバイスにおけるメモリの使用量を少なくすることができ、ロケーション特有のセグメントをレンダリングするために、プロセッサの使用量を減らすことになる。

【0032】

諸図を次に参照して、本開示の例示的な実施形態をさらに詳細に論ずるものとする。

【0033】

例示的なデバイスおよびシステム
図1は、本開示の諸態様によるロケーションベースのモデル検索を実施するために使用され得る例示的なコンピューティングシステム100を示す。システム100は、ネットワーク160を介して1つまたは複数のクライアントデバイス130と通信するサーバ110を含むクライアント-サーバアーキテクチャを有する。しかし、本開示は、ネットワークに接続されない単一のコンピューティングデバイスなど、他の適切なアーキテクチャを用いて実施することも可能である。

【0034】

システム100は、例えば、ウェブサーバなどのサーバ110を含む。サーバ110は、並列な、または分散されたコンピューティングシステムとして実施される1つまたは複数のコンピューティングデバイスとすることができる。特に複数のコンピューティングデバイスが、単一のサーバ110として共に動作することができる。サーバ110は、1つまたは複数のプロセッサ112およびメモリ114を有することができる。サーバ110はまた、ネットワーク160を介して1つまたは複数の遠隔のコンピューティングデバイス(例えば、クライアントデバイス)130と通信するために使用されるネットワークインターフェースを含むことができる。

【0035】

プロセッサ112は、マイクロプロセッサ、マイクロコントローラ、集積回路、または他の適切な処理デバイスなど、任意の適切な処理デバイスとすることができる。メモリ114は、これだけに限らないが、非一時的なコンピュータ可読媒体、RAM、ROM、ハードドライブ、フラッシュドライブ、または他のメモリデバイスを含む任意の適切なコンピューティングシステムまたは媒体を含むことができる。メモリ114は、プロセッサ112により実行され得る命令116を含む、プロセッサ112によりアクセス可能な情報を記憶することができる。命令116は、プロセッサ112により実行されたとき、プロセッサ112に、望ましい機能性を提供させる任意の命令セットとすることができる。

【0036】

特に、命令116は、プロセッサ112により実行されて、3次元モデル検索120を実施することができる。3次元モデル検索120は、ロケーションに関連付けられた3次元モデルを検索して、ロケーション特有の3次元モデルをセグメント化し、かつ出力するように構成され得る。いくつかの実施形態では、3次元モデル検索120は、3次元アセットデータベース180にアクセスして、3次元モデルを取得するように構成することができ、また3次元モデルは、サーバコンピューティングシステム110のメモリ114に記憶された画像セグメント化要素122を用いてセグメント化することができる。

【0037】

「要素」という用語は、望ましい機能性を提供するために使用されるコンピュータ論理を指すことができることが理解されよう。したがって、任意の要素、機能、および/または命令は、汎用プロセッサを制御するハードウェア、特定用途向けの回路、ファームウェア、および/またはソフトウェアにおいて実装され得る。一実施形態では、要素または機能は、記憶デバイスに記憶され、メモリへとロードされ、プロセッサにより実行される、プログラムコードファイルである、またはRAM、ハードディスク、または光学的もしくは磁気的な媒体などの有形のコンピュータ可読記憶媒体に記憶される、例えば、コンピュータ実行可能命令である、コンピュータプログラム製品から提供され得る。

【0038】

メモリ114はまた、プロセッサ112により取得され、操作され、作成される、または記憶され得る地理データ118を含むことができる。地理データ118は、地理的な画像(例えば、デジタルマップ、衛星画像、航空写真、ストリートレベルの写真、合成モデルなど)、表、ベクトルデータ(例えば、道路のベクトル表現、区画、建造物など)、関心のある点のデータ(例えば、島などの地方、都市、レストラン、病院、公園、ホテル、および学校など)、または他の適切な地理空間データもしくは関連情報を含むことができる。例として、地理データ118は、ロケーションに関連付けられた情報およびデータにアクセスし、かつ地球の表面の3次元モデルのレンダリングを生成するために使用することができる。

【0039】

地理データ118は、1つまたは複数のデータベースに記憶され得る。1つまたは複数のデータベースは、高帯域幅LANもしくはWANによりサーバ110に接続され得る、またはネットワーク160を介してサーバ110に接続することもできる。1つまたは複数のデータベースは、複数のロケーションに局所的に位置するように分割することができる。

【0040】

サーバ110は、ネットワーク160を介して1つまたは複数のクライアントデバイス130とデータを交換することができる。2つのクライアント130が図1に示されているが、任意の数のクライアントデバイス130を、ネットワーク160を介してサーバ110に接続することができる。クライアントデバイス130は、汎用コンピュータ、専用コンピュータ、ナビゲーションデバイス、ラップトップ、デスクトップ、集積回路、モバイルデバイス、スマートフォン、タブレット、装着可能なコンピューティングデバイス、1つまたは複数のプロセッサが結合された、かつ/もしくは埋め込まれたディスプレイ、または他の適切なコンピューティングデバイスなど、任意の適切なタイプのコンピューティングデバイスとすることができる。さらにクライアントデバイス130は、動作もしくはコンピューティングアクションを実施するように共に動作する、複数のコンピューティングデバイスとすることができる。

【0041】

サーバ110と同様に、クライアントデバイス130は、プロセッサ132およびメモリ134を含むことができる。メモリ134は、プロセッサにより実行できる命令およびデータを含む、プロセッサ132によりアクセス可能な情報を記憶することができる。例として、メモリ134は、ブラウザ要素140およびアプリケーション要素142を記憶することができる。

【0042】

ブラウザ要素140は、ブラウザを実施するための命令を提供することができる。特に、クライアントデバイス130のユーザは、特定のウェブアドレスでアクセス可能なウェブサイトを訪れるために、ブラウザを用いることによりサーバ110とデータを交換することができる。本開示の3次元モデル検索は、ウェブサイトのユーザインターフェースの要素として提供され得る。

【0043】

アプリケーション要素142は、クライアントデバイス130で専用のアプリケーションを動作させるための命令を提供することができる。特に、専用のアプリケーションは、ネットワーク160を介してサーバ110とデータを交換するために使用することができる。アプリケーション要素142は、本開示の諸態様を提供し、実施するためのクライアントデバイス可読コードを含むことができる。例えば、アプリケーション要素142は、マッピングアプリケーション、または仮想の地球アプリケーションを実施するための命令を提供することができる。

【0044】

クライアントデバイス130は、タッチスクリーン、タッチパッド、データ入力キー、スピーカ、マウス、動きセンサ、および/または音声認識に適したマイクロフォンなど、ユーザから情報を受け取るための様々なユーザ入力デバイス150を含むことができる。さらに、クライアントデバイス130は、3次元環境における3次元モデルのレンダリングなど、情報を提示するためのディスプレイ146を有することができる。

【0045】

クライアントデバイス130はまた、クライアントデバイス130の位置を特定するために使用され得る測位システム148を含むことができる。測位システム148は、任意選択で、レンダリングに対するユーザの位置をモニタするために、ユーザによって使用することができる。測位システム148は、クライアントデバイス130の位置をモニタするための任意のデバイスまたは回路をすることができる。例えば、測位デバイス148は、衛星航法測位システム(例えば、GPSシステム、ガリレオ測位システム、全地球航法衛星システム(GLONASS)、北斗衛星航法および測位システムなど)、慣性航法システム、推測航法システム、IPアドレスに基づく、三角測量および/またはセルラタワーもしくはWiFiホットスポットへの近接性を用いることによる、かつ/または位置を決定するための他の適切な技法を用いることにより、実際の、または相対的な位置を決定することができる。

【0046】

クライアントデバイス130は、グラフィックス処理ユニット152をさらに含むことができる。グラフィックス処理ユニット152は、プロセッサ132により使用されて、3次元画像をレンダリングするまたは描写することができる。いくつかの実施形態では、クライアントデバイス130は、3次元環境を提供するために必要ないずれかの、またはすべての3次元レンダリングを実施する。

【0047】

クライアントデバイス130は、ネットワーク160を介してサーバ110と通信するためのネットワークインターフェース154を含むことができる。ネットワークインターフェース154は、例えば、1つまたは複数のポート、送信器、無線カード、コントローラ、物理レイヤ構成要素、または任意の現在知られた、または将来開発される通信プロトコルもしくは技術に従って通信するための他の項目を含む、ネットワーク160を介してサーバ110と通信するのに適した任意の構成要素または構成を含むことができる。

【0048】

ネットワーク160は、ローカルエリアネットワーク(例えば、イントラネット)、広域ネットワーク(例えば、インターネット)、またはそれらの何らかの組合せなど、任意のタイプの通信ネットワークとすることができる。ネットワーク160はまた、クライアントデバイス130とサーバ110の間の直接接続を含むことができる。概して、サーバ110とクライアントデバイス130の間の通信は、任意のタイプの有線および/または無線接続を使用し、様々な通信プロトコル(例えば、TCP/IP、HTTP)、符号化もしくはフォーマット(例えば、HTML、XML)、および/または保護方式(例えば、VPN、セキュアHTTP、SSL)を用いてネットワークインターフェースを介して伝達され得る。

【0049】

例示的なモデル構成
図2は、本開示の例示的な実施形態による例示的なモデル検索システム200のブロック図を示す。いくつかの実施形態では、モデル検索システム200は、検索クエリを表す1組の入力データ202を受け取り、入力データ202を受け取った結果、1つまたは複数の検索結果を含む出力データ206を提供するように訓練される。したがって、いくつかの実施形態では、モデル検索システム200は、検索クエリを処理し、意図を決定するように動作可能な検索エンジン204を含むことができる。

【0050】

例示的なモデル検索システム200は、入力として検索クエリ202を取得し、かつ1つまたは複数のロケーション特有のモデルを含むことのできる検索結果206を出力する検索エンジン204を含むことができる。検索クエリ202は、あるロケーションに関連付けられたロケーション検索クエリとすることができる。検索エンジン204は、クエリを処理して、検索クエリ202に関連付けられたロケーションを決定することができる。検索エンジンは次いで、ロケーションデータベース208にアクセスし、そのロケーションに関連するデータを取得することができ、また3次元アセットデータベース210にアクセスして、そのロケーションが、関連する3次元モデルを有するかどうかを決定することができる。3次元モデルが見つかった場合、3次元モデルは、ロケーション特有のモデルを生成するためにセグメント化することができ、それは、検索結果206として出力され得る。いくつかの実施形態では、検索結果206は、さらに、検索クエリ202に基づく1つまたは複数のリンクをさらに含むことができ、ロケーションデータベース208から取得されたロケーションデータを含むことができる。

【0051】

図3は、本開示の例示的な実施形態による例示的な状況対応モデル検索システム300のブロック図を示す。状況対応モデル検索システム300は、状況対応検索およびレンダリングをさらに含むこと以外は、図2のモデル検索システム200に類似している。

【0052】

例示的な状況対応モデル検索システム300は、入力として検索クエリ302を取得し、かつ1つまたは複数のロケーション特有のモデルを含むことのできる検索結果306を出力する検索エンジン304を含むことができる。検索クエリ302は、ロケーションに関連付けられたロケーション検索クエリとすることができる。検索エンジン304は、クエリを処理して、検索クエリ302に関連付けられたロケーションを決定することができる。検索エンジンは、次いで、ロケーションデータベース308にアクセスし、そのロケーションに関連するデータを取得することができ、3次元アセットデータ310にアクセスして、そのロケーションが、関連する3次元モデルを有するかどうかを決定することができる。3次元モデルが見出された場合、3次元モデルは、ロケーションを分離するためにセグメント化してロケーション特有のモデルを生成することができ、それは、検索結果306として出力され得る。いくつかの実施形態では、検索結果306は、検索クエリ302に基づく1つまたは複数のリンクをさらに含むことができ、またロケーションデータベース308から取得されたロケーションデータを含むことができる。いくつかの実施形態では、検索エンジンは、状況クエリ処理312を用いて、ロケーションに関連する時間特有の状況データにさらにアクセスすることができ、それは、時間特有の状況を決定するために使用することができる。時間特有の状況が決定されると、シミュレーションアセットデータベース314は、決定された状況を表すシミュレーションレンダリング結果を取得するためにアクセスされ得る。ロケーション特有のモデルおよびシミュレーションレンダリング結果は、検索結果として出力されるシミュレートされたイベントを生成するために使用され得る。シミュレートされたイベントは、状況がモデルにレンダリングされた状態のロケーションの3次元モデルを含むことができる。例えば、検索クエリは、ワシントン記念塔に関連することができ、時間特有の状況は、雨を含む現在の気象状態を含むことができる。したがって、シミュレートされたイベントは、ワシントン記念塔のモデルとすることができ、雨がそのモデルにレンダリングされる。

【0053】

図4は、本開示の例示的な実施形態による例示的な結果ページ400のブロック図を示す。いくつかの実施形態では、結果ページ400は、検索クエリ入力バー402を含み、検索クエリを検索クエリ入力バー402に入力した結果、検索クエリ入力に応じて、リンク、テキスト、および/または媒体を含むことのできる1つまたは複数の検索結果404を提供することができる。いくつかの実施形態では、結果ページ400は、1つまたは複数の検索結果に関係する1群のデータを提供するように動作可能な知識グラフ410を含むことができる。

【0054】

図4の例示的な結果ページ400は、検索クエリに応じて出力され得る。検索クエリは、ロケーション検索クエリとすることができ、またウェブ検索サービスに入力される検索クエリとすることができる。検索結果ページ400は、新しいクエリを入力する、または現在のクエリを改良するための検索クエリ入力バー402を含むことができる。いくつかの実施形態では、検索クエリ入力バー402は、最後の検索クエリを表示し続けることができる、または検索結果を取得すると空白にすることができる。さらに検索結果ページ400は、1つまたは複数の検索結果404をさらに含むことができる。検索結果404は、決定された検索意図に関係するリンク、画像、抜粋、地図、ビデオ、および/または文書を含むことができる。検索結果ページ400は、知識グラフ410を含むことができ、それは、1つまたは複数の媒体項目412、ロケーション特有のモデル414、ロケーションの名前416、およびロケーション情報418を含むことができる。知識グラフ410は、そのロケーションに関連付けられた事前定義の関数、1つまたは複数の機械学習モデル、および/または事前定義の知識グラフに基づいて生成され得る。1つまたは複数の媒体項目412は、そのロケーションに関連する画像、ビデオ、グラフ、地図、またはオーディオデータとすることができる。さらに、ロケーション特有のモデル414は、検索クエリを取得することに応じて、3次元モデルを取得し、かつセグメント化することにより生成され得る。ロケーションの名前416は、検索クエリから決定されたロケーションの正式な名前、または言い換えた名前とすることができる。最後に、ロケーション情報418は、人口、歴史、建築、またはロケーションの大きさに関する様々な情報を含むことができる。ロケーション情報418は、1つまたは複数の検索結果から抽出することができる、またはロケーションデータベースにおけるロケーションの名前と対になったデータとすることができる。

【0055】

図5は、本開示の例示的な実施形態による例示的な3次元レンダリング500の図を示す。いくつかの実施形態では、3次元レンダリング500は、エアリアルビューを含むことのできる様々な遠近図を提供することができる。

【0056】

図5の例示的な3次元レンダリング500は、ロケーションの1つの見え方を表示する。レンダリング500は、検索クエリに応じて表示することができ、提供されるロケーション特有のモデルに基づいて表現され得る。ロケーション特有のモデルは、ユーザに、エアリアルビュー502、または様々な側面図504および506を含む、ロケーションの異なる各遠近画を見るために、ロケーション特有のモデルをナビゲートする能力を提供するように、対話的な環境で提供することができる。異なる遠近画のレンダリングは、ロケーション特有のモデルに基づくことができ、またサーバコンピューティングシステムまたはクライアントコンピューティングシステムのいずれかで行うことができる。代替的に、かつ/または加えて、ロケーション特有のモデルは、3次元レンダリング500および様々な遠近図502、504、および506が、ビデオ、スライドショー、または他の表示媒体の一部であり得る事前にレンダリングされた媒体クリップの一部として提供され得る。いくつかの実施形態では、ロケーション特有のモデルは、仮想現実体験の一部として提供することができ、したがって、3次元レンダリング500は、仮想空間をナビゲートする間に、ユーザが見た複数のレンダリングのうちの1つとすることができる。ロケーション特有の3次元モデルを生成することは、地理学的な抽出を利用することができ、またモデルを表示するためにアンリアルエンジン(Unreal Engine)を使用することもできる。

【0057】

図9Aは、本開示の例示的な実施形態による例示的な3次元レンダリング900の図を示す。

【0058】

3次元レンダリング900は、3次元モデルに基づくことができ、1つまたは複数の俯瞰的な見え方を含むことのできる任意の遠近画のレンダリングとすることができる。図9の3次元レンダリング900は、シアトルにあるスペースニードルに関するロケーション特有のモデルに基づく。レンダリング900は、1つの遠近画を含むが、代替的なレンダリングは、これだけに限らないが、エアリアルビュー902または複数の側面図904および906を含む、ロケーション特有のモデルに基づいて生成され得る。いくつかの実施形態では、レンダリング900は、状況特有のシミュレーションを提供する状況特有のレンダリングを含むことができる。例えば、この特有のレンダリング900は、曇りの日の間のスペースニードルを表示する。しかし、シアトルは、常に無降水ではなく、また代替的に常に曇りでもない。ユーザは、様々な気象状態中に、スペースニードルがどのように見えるかのシミュレーションを望む可能性がある。いくつかの実施形態では、ロケーション特有のモデルは、外部の特徴またはオブジェクトを含むことなくユーザコンピューティングデバイスに提供され得る。ロケーション特有のモデルは、その場合、完全に独立して見ることができる、または、外側の環境的な特徴は、ユーザ入力に基づいて、ユーザコンピューティングデバイスにより追加することができる。

【0059】

図9Bは、本開示の例示的な実施形態による例示的な3次元レンダリング910、920、および930の図を示す。3次元レンダリング910、920、および930は、3次元レンダリング910、920、および930が、状況ベースのシミュレーションをさらに含むこと以外は、図9Aの3次元レンダリング900と同様である。

【0060】

本明細書で開示されるシステムおよび方法は、シミュレーションデータを取得または生成するために使用することができ、それは、状況データにより記述された状況に関するシミュレーションアセットを取得するために使用することができる。シミュレーションアセットは、ロケーション特有のモデルを用いてシミュレートされたイベントを生成するために使用することができ、それは、特定の状況のシミュレーションを含むことができる。例えば、図9Bは、ロケーション特有のモデルおよびシミュレーションアセットを用いて生成された3つのシミュレートされた気象状態を表示している。3次元のレンダリングが、ロケーションおよび気象状態と共にユーザインターフェースに表示される。部分的に曇りの3次元レンダリング910は、そのロケーションに対するシミュレートされた部分的に曇りの気象状態を提供することができ、それは、その特定の気象状態を有するそのロケーションを正確に描写しているレンダリングをユーザに提供することができる。さらに、本明細書で開示されるシステムおよび方法は、雨の降る気象状態920、またはひどい雨の気象状態930など、様々な他の気象状態におけるそのロケーションのプレビューを提供することができる。これらのレンダリングは、ユーザにより入力された時間に対して時間特有のものとすることができ、実時間の状況状態に基づくことができ、または手動で選択された状況状態とすることができる。代替的に、かつ/または加えて、状況は、人の混雑状況、交通状況、および/またはユーザに対して決定され、かつシミュレートされ得る様々な他の状況とすることができる。

【0061】

図10は、本開示の例示的な実施形態による例示的な拡張現実体験の図を示す。いくつかの実施形態では、拡張現実体験1020は、3次元モデルを表す1組のデータを受け取り、入力データを受け取った結果、ロケーションの3次元モデルのレンダリングであり得る出力データ1024を提供するように訓練される。したがって、いくつかの実施形態においては、拡張現実体験1020は、拡張現実体験が選択される1016前に、そのロケーションを描写するように使用可能なロケーションのプレビュー1012を含むことができる。

【0062】

拡張現実体験1020は、ロケーション特有のモデルを提供する多くの媒体のうちの1つとすることができる。この実施形態では、ユーザコンピューティングデバイスは、ユーザが、ロケーション特有のモデル1012をコンテキスト1010で、または拡張現実レンダリング1024として見ることができるようにするユーザインターフェースが提供される。この実施形態では、ユーザインターフェースは、コンテキスト1010におけるロケーション特有のモデルに、ロケーションの名前、およびロケーションに関する情報を有するテキストの抜粋1014を提供する。ユーザインターフェースは、ロケーション特有のモデル1012を使用して、そのロケーションをユーザの環境1022へとレンダリングすることのできる拡張現実体験1020へと切り換えるための選択化可能なアイコン1016を含むことができる。拡張現実レンダリング1024は、拡張現実体験1024を介して、ユーザの環境1022に配置されて、そのロケーションを縮尺したモデルとして見ることができる。さらに、ユーザインターフェースは、選択可能なアイコン1026を設けて、拡張現実体験1020を出て、コンテキスト1010におけるロケーション特有のモデル1012に戻ることができる。

【0063】

図11は、本開示の例示的な実施形態による例示的な媒体結果ページ1100の図を示す。いくつかの実施形態では、媒体結果ページ1100は、ロケーションの1組の画像1104、1106、および1108、ならびにロケーション特有の3次元モデル1110を含むことができる。さらに、いくつかの実施形態では、媒体結果ページ1100は、ロケーション特有の3次元モデル1110を見て対話するように使用可能な対話的な環境を含むことができる。

【0064】

図11における媒体結果ページ1100は、複数の画像結果1104、1106、および1108、検索クエリ1102、ロケーションの3次元モデル、ロケーションの地図、およびロケーションの名前1112を含む。示された実施形態では、検索クエリ1102はロケーションの名前を含むが、他の実施形態では、検索クエリは、住所、ロケーションの記述子、またはそのロケーションに関連付けることのできる任意の他のクエリを含むことができる。複数の画像1104、1106、および1108は、結果を改良するために、または異なる形の媒体を示すために、パネルの上部に選択可能なタブを備えたサイドパネルとして表示することができる。さらに、媒体結果ページ1100は、媒体を、または様々な選択可能なアイコンを選択することにより、ソースデータまたは他のページへのリンクを提供することができる。

【0065】

ロケーション特有の3次元モデル1110は、主ペイン、単独のペイン、またはサイドペインに提供することができる。ロケーション特有のモデル1110は、対話環境で、または事前にレンダリングされた媒体形態で提供され得る。いくつかの実施形態では、媒体結果ページ1100は、1つまたは複数の媒体項目の上の重ねられたロケーション情報またはロケーション特有のデータを含むことができる。例えば、この実施形態では、そのロケーションの地図およびその周囲のエリア、ロケーションの名前1112、ロケーションに関する情報が、3次元モデル1110の上に重ねられている。

【0066】

図12は、本開示の例示的な実施形態による例示的な経路オーバレイモデル1200の図を示す。いくつかの実施形態では、経路オーバレイモデル1200は、地図上に重ねられたロケーション特有のモデル1204と、ロケーションに達するための提案されるナビゲーション経路を示す視覚的な経路オーバレイ1208とを含むことができる。

【0067】

経路オーバレイモデル1200は、ロケーション特有のモデル1204、地図データベース、および決定されたナビゲーション経路を利用して、ユーザに、向上した地図アプリケーション体験を提供することができる。経路オーバレイモデルは、ロケーション特有のモデル1204の生成、ユーザコンピューティングデバイスロケーションの取得、ロケーション住所の取得、および地図の取得を含むことができる。取得された地図と共に、取得されたユーザロケーションおよび取得されたロケーションの住所は、ユーザのロケーションからその住所へと行く経路を決定するための使用することができる。決定された経路は、ナビゲーション経路を表す視覚的な経路オーバレイ1208を生成するために使用することができる。地図、ロケーション特有のモデル1204、および視覚的な経路オーバレイ1208を使用して、ロケーション特有のモデル1204、および地図上に重ねられた視覚的な経路オーバレイ1208を表す拡張地図を生成し、ユーザに、3次元モデルに視覚的な微妙な差異を加えて、ナビゲーション方向を提供することができる。

【0068】

この例示的な実施形態では、経路オーバレイモデル1200は、経路プレビュー1202、順序付けられた方向リスト、ロケーションラベル(例えば、乗り継ぎロケーション、レストラン、泊まるロケーションなど)、ロケーションマーカ(例えば、中間地点、最終的な目的地など)など様々な特徴をさらに含むことのできる地図アプリケーションの一部とすることができる。示された経路オーバレイモデル1200は、ロケーションマーカ1206への方向を提供する視覚的な経路オーバレイ1208を有する、地図上に重ねられたロケーション特有のモデル(すなわち、乗り継ぎ駅)を含む。経路オーバレイモデルは、ユーザインターフェースを介して提供することができ、それは、3次元表現と併せて、2次元地図および方向1210を含むことができる。

【0069】

例示的な方法
図6は、本開示の例示的な実施形態に従って実施するための例示的な方法の流れ図を示す。図6は、説明および論議のために特定の順序で実施されるステップを示しているが、本開示の方法は、特に示された順序または構成に限定されない。方法600の様々なステップは、本開示の範囲から逸脱することなく、様々な方法で、削除し、再配置し、組み合わされ、かつ/または適合され得る。

【0070】

602において、コンピューティングシステムは、ユーザコンピューティングデバイスからロケーションクエリを取得することができる。ロケーションクエリは、ユーザによってユーザインターフェースに入力される検索クエリとすることができる。

【0071】

604で、コンピューティングシステムは、ロケーションクエリを処理してロケーションを決定することができる。

【0072】

606で、コンピューティングシステムは、3次元アセットデータベースにアクセスして、そのロケーションに関連付けられた3次元モデルを取得することができる。3次元モデルは、1つまたは複数の建築構造を含むことができ、決定されたロケーションを含むことができる。

【0073】

608において、コンピューティングシステムは、3次元モデルにおいて、そのロケーションを他のオブジェクトから分離するために、3次元モデルをセグメント化することにより、ロケーション特有のモデルを生成することができる。セグメント化は、ロケーション特有のモデルを生成するために、3次元モデルから樹木、道路、および他の建造物を除いた3次元セグメント化または画像セグメント化とすることができる。セグメント化は、3次元モデルをセグメント化するために、そのロケーションの複数の画像を利用することを含むことができ、また複数の画像は1つまたは複数の航空画像を含むことができる。いくつかの実施形態では、ロケーション特有のモデルは、建築構造(例えば、ランドマーク、モニュメント、歴史的な建造物など)のモデルを含むことができる。

【0074】

610で、コンピューティングシステムは、ロケーション特有のモデルをユーザコンピューティングデバイスに提供することができる。ロケーション特有のモデルは、対話的な環境、仮想現実体験、拡張現実体験、および/または事前にレンダリングされた媒体項目の一部として提供され得る。いくつかの実施形態では、ロケーション特有のモデルは、ロケーション情報を備えることができ、それは、ロケーションの名前、ロケーションの住所、ロケーションの画像、および/またはロケーションの実際を含むことができる。

【0075】

図7は、本開示の例示的な実施形態に従って実施する例示的な方法の流れ図を示す。図7は、説明および論議のために特定の順序で実施されるステップを示しているが、本開示の方法は、特に示された順序および構成に限定されない。方法700の様々なステップは、本開示の範囲から逸脱することなく、様々な方法で、削除し、再配置し、組み合わされ、かつ/または適合され得る。

【0076】

702において、コンピューティングシステムは、ロケーションクエリを取得することができる。ロケーションクエリは、1つまたは複数の検索項目、および/または1つまたは複数の画像を含むことができる。

【0077】

704で、コンピューティングシステムは、ロケーションクエリを処理してロケーションを決定することができる。ロケーションは、検索エンジン、ロケーションタグ、および/または他の決定方法を用いて決定することができる。

【0078】

706で、コンピューティングシステムは、3次元アセットデータベースにアクセスして、3次元モデルを取得し、ロケーション特有のセグメントを生成することができる。3次元アセットデータベースは、画像の大きなデータベースを利用して、ロケーションに関連付けられ、かつ容易に検索可能であり得る複数の3次元モデルを生成することができる。ロケーション特有のセグメントを生成することは、特定の決定されたロケーションの一部ではないオブジェクトを3次元モデルから除くことを含むことができる。いくつかの実施形態では、ロケーション特有のセグメントは、3次元モデルの部分を除去することにより、ロケーション特有のモデルを孤立化させるセグメント化プロセスにより生成され得る。

【0079】

708において、コンピューティングシステムは、状況データを取得することができる。状況データは、決定されたロケーションに関連付けられた時間特有の状況を表現することができる。時間特有の状況は、気象状態、交通レベル、人の混み具合、および/または列車のロケーションとすることができる。

【0080】

710で、コンピューティングシステムは、状況データを処理して、各シミュレーションアセットを決定することができる。各シミュレーションアセットは、特定の状況をシミュレートされたイベントへとレンダリングできるようにする1組のデータとすることができる。

【0081】

712で、コンピューティングシステムは、各シミュレーションアセットを取得することができる。シミュレーションアセットは、複数の状況特有のシミュレーションアセットを記憶するシミュレーションアセットのデータベースから取得することができる。

【0082】

714で、コンピューティングシステムは、シミュレーションイベントを生成することができる。シミュレーションイベントは、ロケーション特有のセグメントおよび各シミュレーションアセットに基づく、ロケーションおよび時間特有の状況を含むことができる。例えば、ロケーションは、ゴールデンゲートブリッジとすることができ、また時間特有の状況は、交通量の多い、雨とすることができる。ロケーション特有のセグメントは、ゴールデンゲートブリッジの3次元モデルとすることができ、またシミュレートされたイベントは、交通量の多い、雨がモデルへとレンダリングされたゴールデンゲートブリッジとすることができる。

【0083】

図8は、本開示の例示的な実施形態に従って実施する例示的な方法の流れ図を示す。図8は、説明および論議のために特定の順序で実施されるステップを示しているが、本開示の方法は、特に示された順序および構成に限定されない。方法800の様々なステップは、本開示の範囲から逸脱することなく、様々な方法で、削除し、再配置し、組み合わされ、かつ/または適合され得る。

【0084】

802において、コンピューティングシステムは、3次元環境を再構成して、3次元メッシュおよびテクスチャを生成することができる。再構成は、収集された地図データ、画像データ、および他のロケーションデータのデータベースを含むことができる。

【0085】

804で、コンピューティングシステムは、環境の複数の画像を取得することができる。

【0086】

806で、コンピューティングシステムは、機械学習モデルを用いて複数の画像を処理し、複数の画像を部分へとセグメント化することができる。セグメント化は、メッシュおよびテクスチャを理解して、環境のその基礎となる意味論的構造を見出すために使用することができる。セグメント化は、画像セグメント化に対する意味論的多様性を利用することができる。メッシュを部分へと真にセグメント化するために、グラフカットアルゴリズムを適用することができる。

【0087】

808で、コンピューティングシステムは、画像部分を3次元メッシュへと投影することができる。

【0088】

810で、コンピューティングシステムは、再構成された環境から1つまたは複数のオブジェクトを除去して、拡張された環境を生成することができる。1つまたは複数のオブジェクトは、他の建築構造、樹木、歩道、および他の障害物を含むことができる。除去することは、自動的に完了され得るが、あるいはメッシュにおける1つまたは複数の特徴を除去するためにユーザ入力を取得することを含むこともできる。

【0089】

812で、コンピューティングシステムは、拡張された環境を記憶することができる。拡張された環境は、記憶される前に圧縮することができ、3次元アセットデータベースに記憶することができる。

【0090】

さらなる開示
本明細書で論じられた技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステムに対して、ならびにこのようなシステムとの間で行われたアクション、および送られた情報に対して参照が行われる。コンピュータベースのシステムの本来の柔軟性は、非常に様々な可能な構成、組合せ、ならびに構成要素間の、その中のタスクおよび機能の分割を可能にする。例えば、本明細書で論じられるプロセスは、単一のデバイスもしくは構成要素、または複数のデバイス、あるいは組み合わせて動作する構成要素を用いて実施することができる。データベースおよびアプリケーションは、単一のシステム上で、または複数のシステムにわたって分散されて実施され得る。分散された構成要素は、順次に、または並列に動作することができる。

【0091】

本主題は、その様々な特有の例示的な実施形態に関して詳細に述べられてきたが、各例は、説明用として提供されており、本開示を限定するものではない。当業者であれば、前述のものに関する理解が達成されたとき、このような諸実施形態に対する改変、変形形態、およびその均等な形態を容易に作成することが可能になる。したがって、本開示は、当業者には容易に明らかであるように、本主題に対するこのような変更、変形、および/または追加を含めることを排除しない。例えば、1つの実施形態の一部として示され、または述べられた特徴は、別の実施形態と共に使用されて、さらなる実施形態を生ずることができる。したがって、本開示は、このような改変、変形、および均等物を包含するように意図される。

【符号の説明】

【0092】

100 コンピューティングシステム
110 サーバ、サーバコンピューティングシステム
112 プロセッサ
114 メモリ
116 命令
118 地理データ
120 3次元モデル検索
122 画像セグメント化要素
130 クライアントデバイス
132 プロセッサ
134 メモリ
140 ブラウザ要素
142 アプリケーション要素
146 ディスプレイ
148 測位システム
150 ユーザ入力デバイス
152 グラフィックス処理ユニット
154 ネットワークインターフェース
160 ネットワーク
180 3次元アセットデータベース
200 モデル検索システム
202 入力データ
204 検索エンジン
206 出力、検索結果
208 ロケーションデータベース
210 3次元アセットデータベース
300 状況認識モデル検索システム
302 検索クエリ
304 検索エンジン
306 検索結果
308 ロケーションデータベース
310 3次元アセットデータベース
312 状況クエリ処理
314 シミュレーションアセットデータベース
400 結果ページ
402 検索クエリ入力バー
404 検索結果
410 知識グラフ
412 媒体項目
414 ロケーション特有のモデル
416 ロケーションの名前
418 ロケーション情報
500 3次元レンダリング
502 エアリアルビュー
504 側面図
506 側面図
600 方法
700 方法
800 方法
900 3次元レンダリング
902 エアリアルビュー
904 側面図
906 側面図
910 3次元レンダリング
920 3次元レンダリング、曇りの気象状態
930 3次元レンダリング、ひどい雨の気象状態
1010 コンテキスト
1012 ロケーションのプレビュー、ロケーション特有のモデル
1014 テキストの抜粋
1016 選択可能なアイコン
1020 拡張現実体験
1022 ユーザの環境
1024 出力データ、拡張現実レンダリング
1026 選択可能なアイコン
1100 媒体結果ページ
1102 検索クエリ
1104 ロケーションの画像、ロケーション特有のモデル
1106 ロケーションの画像
1108 ロケーションの画像
1110 ロケーション特有の3次元モデル
1112 ロケーションの名前
1200 経路オーバレイモデル
1202 経路プレビュー
1204 ロケーション特有のモデル
1206 ロケーションマーカ
1208 視覚的な経路オーバレイ
1210 方向

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【国際調査報告】