ホーム > 特許ランキング > Ｇｏｏｇｌｅ ＬＬＣ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-29
(45)【発行日】2024-12-09
(54)【発明の名称】複数のモデルに基づくオブジェクトの表示
(51)【国際特許分類】
G06T 15/20 20110101AFI20241202BHJP
G06T 19/00 20110101ALI20241202BHJP
【ＦＩ】
G06T15/20 500
G06T19/00 A
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2023041182
(22)【出願日】2023-03-15
(62)【分割の表示】P 2021115686の分割
【原出願日】2016-10-04
(65)【公開番号】P2023076498
(43)【公開日】2023-06-01
【審査請求日】2023-04-04
(31)【優先権主張番号】14/877,368
(32)【優先日】2015-10-07
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ
【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ジャンネ・マティアス・コントカネン
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１０－０２０４８７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １５／００－１９／２０
(57)【特許請求の範囲】
【請求項1】
表示のために画像を提供するための方法であって、第1の視座からキャプチャされたオブジェクトの第1の画像に基づいて前記オブジェクトの第1のモデルにアクセスするステップと、
第2の視座からキャプチャされた前記オブジェクトの第2の画像に基づいて前記オブジェクトの第2のモデルにアクセスするステップと、
前記第1の視座および前記第2の視座とは異なる要求された視座からの前記オブジェクトの第3の画像に対する要求を受信するステップと、
前記第1のモデルおよび前記要求された視座からの第1の視覚的特性を決定するステップと、
前記第2のモデルおよび前記要求された視座からの第2の視覚的特性を決定するステップと、
前記第1のモデルおよび前記要求された視座から、かつ前記第2のモデルおよび前記要求された視座からの第3の画像を生成するステップであって、前記第3の画像は前記第1の視覚的特性および前記第2の視覚的特性に基づく第3の視覚的特性を有するステップと、
表示のために前記第3の画像を提供するステップと
を備え、前記第1の視覚的特性が、前記第1の視座からキャプチャされた画像データを前記第1のモデルに投影することによって生成された第1のテクセルであり、前記第2の視覚的特性が、前記第2の視座からキャプチャされた画像データを前記第2のモデルに投影することによって生成された第2のテクセルである、方法。
【請求項2】
前記要求された視座に関連付けられた方位を決定するステップであって、前記第1のモデルの前記第1の視覚的特性が前記方位に基づき、前記第2のモデルの前記第2の視覚的特性が前記方位に基づく、ステップをさらに備える、請求項１に記載の方法。
【請求項3】
前記第3の画像の前記第3の視覚的特性が、前記第1のモデルに関連付けられた第1の方位および前記第2のモデルに関連付けられた第2の方位に基づく、請求項１に記載の方法。
【請求項4】
前記第3の画像の前記第3の視覚的特性が、前記第1のモデルに関連付けられた第1の場所情報および前記第2のモデルに関連付けられた第2の場所情報に基づく、請求項１に記載の方法。
【請求項5】
前記第1の視覚的特性が、前記第1の視座からキャプチャされた画像データを前記第1のモデルに投影することによって生成された第1のピクセルカウントに対する第1のテクセルカウントの第1の割合に基づき、前記第2の視覚的特性が、前記第2の視座からキャプチャされた画像データを前記第2のモデルに投影することによって生成された第2のピクセルカウントに対する第2のテクセルカウントの第2の割合に基づく、
請求項１に記載の方法。
【請求項6】
前記第1の視覚的特性および第2の視覚的特性が色に関連付けられ、前記第3の画像の前記第3の視覚的特性が、前記第1の視覚的特性に関連付けられた第1の色を混合することおよび前記第2の視覚的特性に関連付けられた第2の色を混合することに基づく、請求項１に記載の方法。
【請求項7】
前記オブジェクトが平面を定義する表面を有し、前記方法が前記平面上の点を選択するステップをさらに備え、前記第1の視覚的特性および前記第2の視覚的特性が、前記平面と前記第1の視座および前記第2の視座から、前記平面上の前記選択された点に延びる線との間のそれぞれの角度に基づいて決定される、請求項１に記載の方法。
【請求項8】
システムであって、1つまたは複数のコンピューティングデバイスと、
前記1つまたは複数のコンピューティングデバイスによって実行可能な命令を記憶したモリと
を備え、前記命令が、
第1の視座からキャプチャされたオブジェクトの第1の画像に基づいて前記オブジェクトの第1のモデルにアクセスすることと、
第2の視座からキャプチャされた前記オブジェクトの第2の画像に基づいて前記オブジェクトの第2のモデルにアクセスすることと、
前記第1の視座および前記第2の視座とは異なる要求された視座からの前記オブジェクトの第3の画像に対する要求を受信することと、
前記第1のモデルおよび前記要求された視座からの第1の視覚的特性を決定することと、
前記第2のモデルおよび前記要求された視座からの第2の視覚的特性を決定することと、
前記第1のモデルおよび前記要求された視座から、かつ前記第2のモデルおよび前記要求された視座からの第3の画像を生成することであって、前記第3の画像は前記第1の視覚的特性および前記第2の視覚的特性に基づく第3の視覚的特性を有する、生成することと、
表示のために前記第3の画像を提供することと
を備え、前記第1の視覚的特性が、前記第1の視座からキャプチャされた画像データを前記第1のモデルに投影することによって生成された第1のテクセルであり、前記第2の視覚的特性が、前記第2の視座からキャプチャされた画像データを前記第2のモデルに投影することによって生成された第2のテクセルである、システム。
【請求項9】
前記要求された視座に関連付けられた方位を決定することであって、前記第1のモデルの前記第1の視覚的特性が前記方位に基づき、前記第2のモデルの前記第2の視覚的特性が前記方位に基づく、決定することをさらに備える、請求項８に記載のシステム。
【請求項10】
前記第3の画像の前記第3の視覚的特性が、前記第1のモデルに関連付けられた第1の方位および前記第2のモデルに関連付けられた第2の方位に基づく、請求項８に記載のシステム。
【請求項11】
前記第3の画像の前記第3の視覚的特性が、前記第1のモデルに関連付けられた第1の場所情報および前記第2のモデルに関連付けられた第2の場所情報に基づく、請求項８に記載のシステム。
【請求項12】
前記第1の視覚的特性および第2の視覚的特性が色に関連付けられ、前記第3の画像の前記第3の視覚的特性が、前記第1の視覚的特性に関連付けられた第1の色を混合することおよび前記第2の視覚的特性に関連付けられた第2の色を混合することに基づく、請求項８に記載のシステム。
【請求項13】
プログラムのコンピューティングデバイス可読命令が記憶された非一時的コンピューティングデバイス可読記憶媒体であって、前記命令は、1つまたは複数のコンピューティングデバイスによって実行されたとき、前記1つまたは複数のコンピューティングデバイスに、第1の視座からキャプチャされたオブジェクトの第1の画像に基づいて前記オブジェクトの第1のモデルにアクセスするステップと、
第2の視座からキャプチャされた前記オブジェクトの第2の画像に基づいて前記オブジェクトの第2のモデルにアクセスするステップと、
前記第1の視座および前記第2の視座とは異なる要求された視座からの前記オブジェクトの第3の画像に対する要求を受信するステップと、
前記第1のモデルおよび前記要求された視座からの第1の視覚的特性を決定するステップと、
前記第2のモデルおよび前記要求された視座からの第2の視覚的特性を決定するステップと、
前記第1のモデルおよび前記要求された視座から、かつ前記第2のモデルおよび前記要求された視座からの第3の画像を生成するステップであって、前記第3の画像は前記第1の視覚的特性および前記第2の視覚的特性に基づく第3の視覚的特性を有するステップと、
表示のために前記第3の画像を提供するステップと
を備える方法を実行させ、前記第1の視覚的特性が、前記第1の視座からキャプチャされた画像データを前記第1のモデルに投影することによって生成された第1のテクセルであり、前記第2の視覚的特性が、前記第2の視座からキャプチャされた画像データを前記第2のモデルに投影することによって生成された第2のテクセルである、非一時的コンピューティングデバイス可読記憶媒体。
【請求項14】
前記要求された視座に関連付けられた方位を決定するステップであって、前記第1のモデルの前記第1の視覚的特性が前記方位に基づき、前記第2のモデルの前記第2の視覚的特性が前記方位に基づく、ステップをさらに備える、請求項１３に記載の非一時的コンピューティングデバイス可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、2015年10月7日に出願された米国特許出願第14/877,368号の継続出願であり、その開示は、参照によって本明細書に組み込まれる。
本願は、2015年10月7日に出願された米国特許出願第14/877,368号の継続出願であり、その開示は、参照によって本明細書に組み込まれる。
【背景技術】
【0002】
オブジェクトのあるパノラマ画像は、画像がキャプチャされた地理的な場所および方位に関する情報に関連付けられる。たとえば、画像の各ピクセルは、画像がキャプチャされた地理的場所から(もしあれば)外観がピクセルの視覚的特性によって表されるオブジェクトの表面の一部への角度を識別するデータに関連付けられてよい。各ピクセルはまた、キャプチャ場所からピクセルによって表される表面の一部への距離を識別するデプスデータに関連付けられてよい。
【0003】
画像に現れる表面の場所の3次元モデルはデプスデータに基づいて生成されてよい。このモデルは、頂点が表面場所に一致するポリゴンを含んでよい。ポリゴンは、パノラマ画像の視覚的特性を投影することによって、レイトレーシングを使用するモデルへ織り込まれてよい。ユーザは、モデルがユーザへ表示されてよい視座を選択してよい。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の態様は、1つまたは複数のプロセッサと、視座に対するオブジェクトの表面の方位および視覚的特性のモデルを記憶するメモリと、1つまたは複数のプロセッサによって実行可能な命令とを含むシステムを提供する。視覚的特性は、第1の視座からの表面の外観を表す第1の視覚的特性のセットと、第2の視座からの表面の外観を表す第2の視覚的特性のセットとを含んでよい。これらの命令は、第1の視座および第2の視座とは異なる要求された視座からオブジェクトの画像に対する要求を受信することと、第1の視覚的特性のセットからの第1の視覚的特性と、第2の視覚的特性のセットからの第2の視覚的特性とを識別することと、要求された視座と第1の視座とに対する表面の方位に基づいて、第1の視覚的特性のための第1の重み値を決定することと、要求された視座と第2の視座とに対する表面の方位に基づいて、第2の視覚的特性のための第2の重み値を決定することと、第1および第2の視覚的特性と、第1および第2の重み値とに基づいて、要求された画像の視覚的特性を決定することと、要求された画像を提供することとを含んでよい。
【0005】
本開示の態様はまた、表示のため画像を提供する方法を提供する。この方法は、要求された視座からオブジェクトの画像に対する要求を受信するステップと、視座に対するオブジェクトの表面の方位および視覚的特性のモデルにアクセスするステップであって、視覚的特性は、第1の視座からの表面の外観を表す第1の視覚的特性のセットと、第2の視座からの表面の外観を表す第2の視覚的特性のセットとを含み、第1および第2の視座は、要求された視座とは異なる、ステップと、第1の視覚的特性のセットからの第1の視覚的特性と、第2の視覚的特性のセットからの第2の視覚的特性とを識別するステップと、要求された視座と第1の視座とに対する表面の方位に基づいて、第1の視覚的特性のための第1の重み値を決定するステップと、要求された視座と第2の視座とに対する表面の方位に基づいて、第2の視覚的特性のための第2の重み値を決定するステップと、第1および第2の視覚的特性と、第1および第2の重み値とに基づいて、要求された画像の視覚的特性を決定するステップと、表示のために要求された画像を提供するステップとを含んでよい。
【0006】
本開示の態様は、プログラムのコンピューティングデバイス読取可能な命令が記憶された非一時的なコンピューティングデバイス読取可能な記憶媒体をさらに提供する。これらの命令は、1つまたは複数のコンピューティングデバイスによって実行された場合、1つまたは複数のコンピューティングデバイスに対して、要求された視座からオブジェクトの画像に対する要求を受信することと、視座に対するオブジェクトの表面の方位および視覚的特性のモデルにアクセスすることであって、視覚的特性は、第1の視座からの表面の外観を表す第1の視覚的特性のセットと、第2の視座からの表面の外観を表す第2の視覚的特性のセットとを備え、第1および第2の視座は、要求された視座とは異なる、アクセスすることと、第1の視覚的特性のセットからの第1の視覚的特性と、第2の視覚的特性のセットからの第2の視覚的特性とを識別することと、要求された視座と第1の視座とに対する表面の方位に基づいて、第1の視覚的特性のための第1の重み値を決定することと、要求された視座と第2の視座とに対する表面の方位に基づいて、第2の視覚的特性のための第2の重み値を決定することと、第1および第2の視覚的特性と、第1および第2の重み値とに基づいて、要求された画像の視覚的特性を決定することと、表示のために要求された画像を提供することとを含む方法を実行させてよい。
【図面の簡単な説明】
【0007】
【図1】本開示の態様に従うシステムの機能図である。
【図2】オブジェクトがキャプチャされ表示されてよい視座に対するオブジェクトの図である。
【図3】視座および表面の方位に基づいて生成される楕円の図である。
【図4】テクセル楕円およびピクセル楕円の図である。
【図5】オブジェクトがキャプチャされ表示されてよい視座に対する閉塞された表面の図である。
【図6】オブジェクトがキャプチャされ表示されてよい視座に対する無関係な表面の図である。
【図7】ユーザへ表示されてよい画像の例である。
【図8】本開示の態様に従う例示的なフロー図である。
【発明を実施するための形態】
【0008】
概観
本技術は、オブジェクトのイメージがキャプチャされた視座とは異なる視座からオブジェクトを表示することに関する。たとえば、2つ以上のパノラマ画像が、2つの異なる視座からオブジェクトをキャプチャしてよく、ユーザは、2つのキャプチャ地点間の場所からオブジェクトの画像を要求してよい。本システムは、オブジェクトの対応する表面の視覚的に正確な表現であるフラグメントの尤度に比例する画像の対応するフラグメントをともに混合することによって、ユーザによって要求された画像を生成してよい。例として、ユーザによって要求された画像を生成する場合、本システムは、表示されるべきオブジェクトの表面の方位に対するキャプチャ場所およびユーザによって要求された地点の関係に基づく品質値を計算してよい。フラグメントが混合された場合、他のフラグメントよりも良好な品質値を有するフラグメントへ重みがより適用されてよい。
本技術は、オブジェクトのイメージがキャプチャされた視座とは異なる視座からオブジェクトを表示することに関する。たとえば、2つ以上のパノラマ画像が、2つの異なる視座からオブジェクトをキャプチャしてよく、ユーザは、2つのキャプチャ地点間の場所からオブジェクトの画像を要求してよい。本システムは、オブジェクトの対応する表面の視覚的に正確な表現であるフラグメントの尤度に比例する画像の対応するフラグメントをともに混合することによって、ユーザによって要求された画像を生成してよい。例として、ユーザによって要求された画像を生成する場合、本システムは、表示されるべきオブジェクトの表面の方位に対するキャプチャ場所およびユーザによって要求された地点の関係に基づく品質値を計算してよい。フラグメントが混合された場合、他のフラグメントよりも良好な品質値を有するフラグメントへ重みがより適用されてよい。
【0009】
例示として、図2は、車の2つのソース画像がキャプチャされた2つの異なる視座を図示する。この例では、車の正面がキャプチャされた角度は、第1のソース画像において比較的直角であり、第2のソース画像において比較的鋭角である。逆に、車の側面がキャプチャされた角度は、第1の画像において比較的鋭角であり、第2の画像において比較的直角である。図はまた、車を見るためにユーザによって選択された視座を図示する。
【0010】
ユーザによって選択された視座からオブジェクトを表示するために、システムは、各ソース画像においてキャプチャされた表面のすべての3次元(3D)モデルを生成してよい。たとえば、レーザ照準機は、デプスマップを準備するために使用されてよい。デプスマップは、頂点がオブジェクトの表面に沿った地点の場所に一致するポリゴンのメッシュを含むソースモデルを準備するために使用された。
【0011】
各ソース画像に関連付けられたソースモデルはまた、モデルに対するキャプチャ地点の場所を識別してもよく、システムは、ソース画像においてキャプチャされた視覚的情報をモデルへ投影するために、その場所を使用してよい。1つのソース画像に関連付けられた3Dモデルは、表面場所に関して別のソース画像に関連付けられた3Dモデルに実質的に同一であってよいが、モデルへ投影されたテクスチャの視覚的特性は、表面がキャプチャされた角度に依存して異なってよい。
【0012】
ユーザへ表示されるために、画像のピクセルの視覚的特性を決定する場合、システムは、表示された各ピクセルを通って延びる光線が、たとえばテクセルのような、モデルのテクスチャと交差する場所を識別するために、レイトレーシング、およびユーザによって要求された視座の場所を使用してよい。システムは、表示されたピクセルの視覚的特性(たとえば、色相、飽和、および輝度)を決定するために、異なるソース画像からのテクセルをともに混合してよい。
【0013】
ソース画像のモデルからのテクセルがともに混合される場合、別のソース画像からのテクセルよりも、1つのソース画像からのテクセルへより大きな重みが適用されてよい。この重みが、表示されるべきオブジェクトの視覚的特性の正確な表現であるテクセルの尤度を反映する品質値に基づいてよい。
【0014】
少なくとも1つの態様では、品質値は、テクセルの解像度に対する表示されるピクセルの解像度に依存してよい。たとえば、表示された各ピクセルのために単一のテクセルが存在する場合に生じるように、最適な品質が定義されてよい。逆に、(表面のテクスチャが一直線にキャプチャされたがグレージング角度で見られる場合に生じてもよい)単一のピクセルに関連付けられた多くのテクセルが存在する、または(表面のテクスチャがグレージング角度でキャプチャされたが一直線に見られるのであれば生じてもよい)単一のテクセルに関連付けられた多くのピクセルが存在する場合に生じるように、低品質が定義されてよい。
【0015】
テクセルの品質値は、表示されるべき表面の方位に対するユーザによって定義されたキャプチャされた視座の場所に基づいて計算されてよい。例示として、図3は、2つの地点の場所、すなわち視座と、ユーザへ表示されるべきモデルの表面における地点とを図示する。図はまた、円錐および平面の交差を表す楕円を図示する。平面は、視座、たとえばテクセルを含むソースモデルポリゴンの頂点によって定義される平面、に対する表面の方位を反映する。円錐は、視座から表面の地点へ延びる線(「視座/表面線」)を中心とされる。楕円が延長される範囲は、表面の方位と、視座から表面が見られる角度とに関する。視座/表面線が、表面の方位に完全に直角ならば、楕円は円になるだろう。視座/表面線の立体角が、表面の方位に対してより鋭角になると、楕円は、より延長されるようになり、楕円の短軸に対する長軸の比が増加するであろう。
【0016】
テクセルの品質値は、キャプチャ地点に関連付けられた楕円(「テクセル楕円」)と、ユーザによって要求された視座に関連付けられた楕円(「ピクセル楕円」)との間の差分に基づいて決定されてよい。図4は、テクセル楕円およびピクセル楕円の例を提供する。品質値は、ピクセル楕円の半径と、テクセル楕円の半径との間の長さにおける最大差を生成する角度における、テクセル楕円の半径に対するピクセル楕円の半径の比から計算されてよい。
【0017】
各テクセルについて、品質値が計算されると、品質値は、混合中の重みとして適用されてよい。たとえば、3つのテクセルT1、T2、およびT3を識別するために、3つのソース画像が使用されたのであれば、出力は、(w1T1+w2T2+w3T3)/(w1+w2+w3)として計算されてよい。wnは、テクセルの品質値に等しい。重みはまた、他の手法で適用されてよい。
【0018】
システムはまた、閉塞(occlusion)へ対処するために重み値を使用してよい。図5に図示されるように、表示されるピクセルの特性を決定するために使用される光線が、ユーザによって要求された視座における視点から妨害されるであろうソース画像においてキャプチャされたオブジェクトの表面を通じて延びてよい。システムは、表面に面している各背面のための重みがゼロに設定されるように、表面に面している正面と背面との両方をレンダリングしてよい。システムはまた、各ソース画像内のビューワに最も近い表面が表示のために選択されるように画像を生成してよい。これによってシステムは、デプスを計算することなく、両モデルからのテクスチャをともに混合することが可能となる。
【0019】
アーティファクトもまた、重み値を用いて対処されてよい。たとえば、図6に図示されるように、デプスデータにおける不連続性は、表面におけるギャップがオブジェクトの表面として不正確にモデル化されるようにしてよい。そのような存在しない表面をモデルから除去するのではなく、システムは、存在しない表面のテクセルの品質値を決定してよい。光線の角度が存在しない表面の方位に比較的直角であれば、テクセルの品質値は、異なる視座からキャプチャされた別の表面におけるテクセルの品質値と比較して非常に低くてよい。しかしながら、存在しない表面が見られる角度が存在しない表面の方位に対して比較的平行であれば、その表面におけるテクセルの品質値は比較的高くてよい。
【0020】
システムは、ユーザによって要求される視座からユーザへオブジェクトを表示するために使用されてよい。その点に関して、図7に図示されるように、ユーザは、ソースイメージがキャプチャされた視座以外の視座からオブジェクトを見ることが可能であってよい。
【0021】
例示的なシステム
図1は、本明細書で開示された態様が実施されてよい1つの可能なシステム100を例示する。この例では、システム100は、コンピューティングデバイス110および120を含んでよい。コンピューティングデバイス110は、1つまたは複数のプロセッサ112、メモリ114、および汎用コンピューティングデバイスに典型的に存在する他のコンポーネントを含んでよい。図1は、単一のブロックとしても表されるデバイス110内の単一のブロックとしてプロセッサ112およびメモリ114の各々を機能的に表すが、本明細書で説明されたシステムおよび方法は、同じ物理的なハウジングに格納されてよい、または格納されなくてよい多数のプロセッサ、メモリ、およびデバイスを含んでよい。たとえば、単一のコンポーネント(たとえば、プロセッサ112)を含むとして以下に説明される様々な方法は、複数のコンポーネント(たとえば、負荷平準サーバファームにおける多数のプロセッサ)を含んでよい。同様に、異なるコンポーネント(たとえば、デバイス110およびデバイス120)を含むとして以下に説明される様々な方法は、単一のコンポーネントを含んでよい(たとえば、デバイス120が、以下に説明される決定を実行するのではなく、デバイス120は、処理のために関連するデータをデバイス110へ送信し、さらなる処理または表示のための決定の結果を受信してよい)。
図1は、本明細書で開示された態様が実施されてよい1つの可能なシステム100を例示する。この例では、システム100は、コンピューティングデバイス110および120を含んでよい。コンピューティングデバイス110は、1つまたは複数のプロセッサ112、メモリ114、および汎用コンピューティングデバイスに典型的に存在する他のコンポーネントを含んでよい。図1は、単一のブロックとしても表されるデバイス110内の単一のブロックとしてプロセッサ112およびメモリ114の各々を機能的に表すが、本明細書で説明されたシステムおよび方法は、同じ物理的なハウジングに格納されてよい、または格納されなくてよい多数のプロセッサ、メモリ、およびデバイスを含んでよい。たとえば、単一のコンポーネント(たとえば、プロセッサ112)を含むとして以下に説明される様々な方法は、複数のコンポーネント(たとえば、負荷平準サーバファームにおける多数のプロセッサ)を含んでよい。同様に、異なるコンポーネント(たとえば、デバイス110およびデバイス120)を含むとして以下に説明される様々な方法は、単一のコンポーネントを含んでよい(たとえば、デバイス120が、以下に説明される決定を実行するのではなく、デバイス120は、処理のために関連するデータをデバイス110へ送信し、さらなる処理または表示のための決定の結果を受信してよい)。
【0022】
コンピューティングデバイス110のメモリ114は、プロセッサによって実行されてよい命令116を含む、プロセッサ112によってアクセス可能な情報を記憶してよい。メモリ114はまた、プロセッサ112によって検索、操作、または記憶されてよいデータ118を含んでよい。メモリ114は、非一時的なデータを記憶することができる媒体のように、適切なプロセッサによってアクセス可能な情報を記憶することができる任意のタイプのストレージであってよい。例として、メモリ114は、ハードディスクドライブ、ソリッドステートドライブ、メモリカード、RAM、DVD、書込可能なメモリ、または読取専用メモリであってよい。それに加えて、メモリは分散された記憶システムを含んでよく、データ150のようなデータは、同じまたは異なる地理的場所において物理的に配置されてよい複数の異なる記憶デバイスに記憶される。
【0023】
命令116は、プロセッサ112または他のコンピューティングデバイスによって実行されるべき命令の任意のセットであってよい。その点に関し、「命令」、「アプリケーション」、「ステップ」、および「プログラム」という用語は、本明細書において置換可能に使用されてよい。これらの命令は、プロセッサによる即時処理のためのオブジェクトコードフォーマットで、またはオンデマンドで翻訳される、または先行してコンパイルされる独立したソースコードモジュールのスクリプトまたは集合を含む別のコンピューティングデバイス言語で記憶されてよい。命令の機能、方法、およびルーチンは、以下により詳細に説明される。プロセッサ112は、市販のCPUのような任意の従来のプロセッサであってよい。あるいは、プロセッサは、ASICまたは他のハードウェアベースのプロセッサのような専用コンポーネントであってよい。
【0024】
データ118は、命令116に従ってコンピューティングデバイス110によって検索、記憶、または修正されてよい。たとえば、本明細書で説明された主題は、どの特定のデータ構造によっても限定されないが、データは、コンピュータレジスタに、多くの異なるフィールドおよびレコードまたはXMLドキュメントを有するテーブルとしてリレーショナルデータベースに記憶されてよい。データはまた、限定されないが、バイナリ値、ASCIIまたはUnicodeのような任意のコンピューティングデバイス読取可能なフォーマットでフォーマットされてよい。さらに、データは、数字、説明文、所有者コード、ポインタ、他のネットワーク場所におけるような他のメモリに記憶されたデータに対する参照、または関連データを計算するための関数によって使用される情報のような関連情報を識別するために十分な任意の情報を備えてよい。
【0025】
コンピューティングデバイス110は、ネットワーク160の1つのノードにおいて存在してよく、ネットワーク160の他のノードとダイレクトおよび非ダイレクトに通信することが可能であってよい。少数のコンピューティングデバイスしか図1に図示されていないが、典型的なシステムは、多数の接続されたコンピューティングデバイスを含んでよく、異なる各コンピューティングデバイスは、ネットワーク160の異なるコードにある。本明細書で説明されるネットワーク160および介在するノードは、様々なプロトコルおよびシステムを使用して相互接続されてよく、これによってネットワークは、インターネット、ワールドワイドウェブ、特定のイントラネット、広域ネットワーク、またはローカルネットワークの一部であってよい。ネットワークは、イーサネット(登録商標)、Wi-FiおよびHTTP、1つまたは複数の会社へ専用であるプロトコル、および先述したものの様々な組合せのような標準的な通信プロトコルを利用してよい。例として、コンピューティングデバイス110は、ネットワーク160を経由してコンピューティングデバイス120と通信することが可能なウェブサーバであってよい。コンピューティングデバイス120は、クライアントコンピューティングデバイスであってよく、サーバ110は、ディスプレイ122を経由してデバイス120のユーザ135へ情報を伝送し提示するために、ネットワーク160を使用することによって情報を表示してよい。上述したように情報が伝送または受信された場合にある利点が取得されるが、本明細書で説明された主題の他の態様は、情報の伝送のいずれの特定の方式にも限定されない。
【0026】
コンピューティングデバイス120は、上記で説明されたようなプロセッサ、メモリ、および命令を備えたサーバ110に類似して構成されてよい。コンピューティングデバイス120は、ユーザによる使用のために意図されたパーソナルコンピューティングデバイスであってよく、中央処理装置(CPU)、データおよび命令を記憶するメモリ、ディスプレイ122(たとえば、スクリーンのあるモニター、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するために動作可能な他のデバイス)のようなディスプレイ、ユーザ入力デバイス162(たとえば、マウス、キーボード、タッチスクリーン、マイクロホン等)、またカメラ163のように、パーソナルコンピューティングデバイスと接続して通常使用されるコンポーネントのすべてを有してよい。
【0027】
コンピューティングデバイス120はまた、インターネットのようなネットワークを介してサーバとワイヤレスにデータを交換することができるモバイルコンピューティングデバイスであってよい。単なる例として、デバイス120は、モバイル電話、もしくはワイヤレス対応PDA、タブレットPC、ウェアラブルコンピューティングデバイス、またはインターネットを経由して情報を取得することが可能なネットブックのようなデバイスであってよい。デバイスは、GoogleのAndroidオペレーティングシステム、Microsoft Windows、またはApple iOSのようなオペレーティングシステムで動作するように構成されてよい。その点に関し、本明細書で説明された動作中に実行される命令のいくつかは、オペレーティングシステムによって提供されてよい一方、他の命令は、デバイスにインストールされたアプリケーションによって提供されてよい。本明細書において説明されたシステムおよび方法に従うコンピューティングデバイスは、命令を処理し、人間へ/からデータを伝送することが可能な他のデバイス、および/またはローカル記憶能力を欠くネットワークコンピュータ、およびテレビのためのセットトップボックスを含む他のコンピュータを含んでよい。
【0028】
コンピューティングデバイス120は、デバイスの地理的場所および方位を決定するために、回路のようなコンポーネント130を含んでよい。たとえば、クライアントデバイス120は、デバイスの緯度、経度、および高度位置を決定するために、GPSレシーバ131を含んでよい。このコンポーネントはまた、クライアントデバイスがセル電話であれば、1つまたは複数のセル電話塔からセル電話のアンテナにおいて受信した信号のような、クライアントデバイス120において受信された他の信号に基づいて、デバイスの位置を決定するためのソフトウェアを備えてよい。それはまた、デバイスが向けられる方位を決定するために、磁気コンパス132、加速度計133、およびジャイロスコープ134を含んでよい。単なる例として、デバイスは、重力の方向、またはそれに垂直な面に対するピッチ、ヨー、またはロール(またはその変化)を決定してもよい。コンポーネント130はまた、デバイスとオブジェクトの表面との間の距離を決定するためにレーザ照準機または類似のデバイスを含んでよい。
【0029】
サーバ110は、その少なくとも一部がクライアントデバイスへ伝送されてよい地図関連情報を記憶してよい。地図情報は、どの特定のフォーマットにも限定されない。たとえば、地図データは、衛星または航空機によってキャプチャされた写真のような、地理的場所のビットマップ画像を含んでよい。
【0030】
サーバ110はまた、単なる例として平面写真、光球、または背景の動画のようなイメージを記憶してよい。このイメージは、後のアクセスのために、または特徴に関連する情報を探索する人へ、写真をアクセス可能にする目的のために、エンドユーザによってキャプチャされアップロードされてよい。カメラによってキャプチャされた画像データに加えて、イメージの個々のアイテムが、キャプチャの日付、キャプチャの日時、キャプチャの地理的方位(たとえば、カメラ角度または方向)および場所(たとえば、緯度、経度、および高度)のような追加のデータに関連付けられてよい。
【0031】
イメージの一部は、イメージ内に現れる特徴の地理的場所のモデルを含む追加情報に関連付けられてよい。たとえばモデルは、パノラマ画像においてキャプチャされたオブジェクトの表面の場所を識別してよい。表面の場所はたとえば、その場所が固定位置からの立体角および距離(たとえば、イメージがキャプチャされたポイントからの方位および距離)として定義される地点のコンステレーション、または頂点が緯度/経度/高度座標で表現される地理的に位置するポリゴンのように、異なる手法でメモリに記憶されてよい。システムおよび方法はさらに、その場所が、レーザ照準機を使用してダイレクトにキャプチャされた、または立体画法の三角測量を使用することによって画像から生成された地点のコンステレーションから地理的に位置されたポリゴンのモデルを生成することのように、1つの基準系から別の基準系へ場所を変換してよい。場所は、他の手法でも同様に表現されてよく、アプリケーションおよび必要とされる精度の性質に依存してよい。単なる例として、地理的場所は、道路住所、(道路地図のエッジに対するピクセル位置のような)地図のエッジに対するx-y座標、または地理的場所を識別することが可能な他の基準系(たとえば、サーベイ地図上のロットおよびブロック番号)によって識別されてよい。場所はまた範囲によって説明されてよく、たとえば地理的場所は、緯度/経度/高度座標の範囲、離散的な系列によって説明されてよい。
【0032】
例示的な方法
本発明の様々な態様に従う動作が説明されるであろう。以下の動作は、以下に説明される正確な順序で実行される必要はないことが理解されるべきである。むしろ、様々なステップは、異なる順序で、または同時に取り扱われることができる。
本発明の様々な態様に従う動作が説明されるであろう。以下の動作は、以下に説明される正確な順序で実行される必要はないことが理解されるべきである。むしろ、様々なステップは、異なる順序で、または同時に取り扱われることができる。
【0033】
地理的なオブジェクトは、多数の視座からイメージによってキャプチャされてよい。例として、図2は、それぞれ、2つの異なる場所210および220から2つの個別の画像215および225においてキャプチャされた車240を図示する。視座210から車の正面によって一般に定義される平面202に対するカメラ角度211は、比較的直角であり、車の側面によって一般に定義される平面201に対するカメラ角度212は、比較的鋭角である。対照的に、視座220から正面の平面202に対する視角221は、比較的鋭角であり、側面201に対する視角222は、比較的直角である。(参照番号201および202は、これら表面によって一般に定義される平面のみならず、車240の正面および側面を称するために、相互置換可能に使用される。)その点に関し、場所210および220からキャプチャされた画像は、異なる角度から車の異なる表面をキャプチャし、1つの表面は、比較的一直線にキャプチャされ、他の表面は、鋭い角度からキャプチャされる。
【0034】
イメージにおいてキャプチャされたオブジェクト表面の場所のモデルが、生成され、かつイメージに関連付けられてよい。例として、ソースイメージは、パノラマ画像を含んでよい。ソース画像がキャプチャされた時において、パノラマ画像の各ピクセルをキャプチャ場所からその視覚的特性がピクセルによって表される表面の一部への距離へ関連付けるために、レーザ照準機135または別のデプス決定技術が使用されてよい。そのような情報と、画像がキャプチャされた場所(たとえば、GPSレシーバ131によって提供された緯度/経度/高度情報)とに基づいて、システムは、その頂点がオブジェクトの表面に沿った地点の場所(たとえば、緯度/経度/高度)に一致するポリゴン(たとえば、三角形)のメッシュを含むソースモデルを生成してよい。
【0035】
ソース画像においてキャプチャされた視覚的特性は、そのソース画像に関連付けられたモデルを織り込むために使用されてよい。たとえば、イメージ215および216の各ピクセルはまた、たとえばカメラからピクセルに関連付けられた表面の一部へ延びる光線を定義するデータのようなカメラ角度に関連付けられてよい。カメラ角度データは、コンパス132によって提供される基本方向と、ジャイロスコープ134によって提供される方位データとのような、画像がキャプチャされた時に地理的コンポーネント130によって提供される情報に基づいてよい。光線との交差の地点におけるポリゴンの視覚的特性が、関連付けられたピクセルの視覚的特性と一致するように、画像215の各ピクセルの視覚的特性をモデル216のポリゴンへ投影するために、レイトレーシングが使用されてよい。
【0036】
ポリゴンの視覚的情報は、テクセルから構成されたテクスチャとして記憶されてよい。単なる例として、テクスチャのテクセルは、画像のピクセルが配置されてよい手法、たとえば1つまたは複数の視覚的特性を定義するグリッドまたは個々のユニットの他の集合と類似の方式で配置されてよい。以下の説明の一部は、説明の容易のために、色のようなピクセルまたはテクセルの単一の視覚的特性のみを称してよい。しかしながら、ピクセルおよびテクセルは、色相、飽和、および輝度を含む多くの異なる視覚的特性を定義するデータに関連付けられてよい。
【0037】
2つの異なるソースモデルが表面の場所の同一の表現を含んでいても、各モデルにおける表面の視覚的特性は、大きく異なってよい。たとえば、イメージ215は鋭い角度212で車240の側面201をキャプチャするので、車の側面の長さ全体はほんの少数の画像215においてのみ水平に表れてよい。その結果、ピクセル情報が車の側面を表すポリゴンへ投影された場合、単一のピクセルからの情報は、水平方向において、多くのテクセルを介して延びてよい。モデル216が視座230から表示されたのであれば、車の側面は、結果として色の長い水平線を有するように見えてよい。しかしながら、モデル216が視座210(テクスチャが投影された同じ場所)から表示されるのであれば、車240の側面201は少ないアーティファクト乃至アーティファクトなしで表示されてよい。
【0038】
システムは、未だに別の視座から地理的オブジェクトを表示するために、多数の視座からキャプチャされた視覚的情報を組み合わせてよい。たとえば、ユーザは、視座230から車240の画像235を要求してよい。ユーザへ表示されるべき画像のピクセル(「表示されるピクセル」)の視覚的特性を決定する場合、システムは、表示された各ピクセルを視座からおよびピクセルを含む画像面を介して延びる光線に関連付けてよい。システムは、各ピクセルの関連付けられた光線がモデルによって定義された表面と交差する地点およびテクセルを決定してよい。たとえば、画像235におけるピクセルの視覚的特性を決定する場合、システムは、ピクセルの光線がモデル216のポリゴンと交差するテクセル(T1)と、ピクセルの光線が、モデル226のポリゴンと交差するテクセル(T2)とを決定してよい。システムは、T1の色とT2の色とをアルファ混合することによってピクセルの色を決定してよい。
【0039】
交差したテクセルの視覚的特性がともに混合される場合、別のソース画像から導出されたテクセルよりも1つのソース画像から導出されたテクセルへより大きな重みが適用されてよい。この重みは、表示されるべきオブジェクトの視覚的特性の正確な表現であるテクセルの尤度に基づいてよい。
【0040】
少なくとも1つの態様では、品質値は、テクセルの解像度に対する表示されたピクセルの解像度に依存してよく、最適な品質は、表示された各ピクセルのために単一のテクセルが存在する場合に生じるように定義されてよい。逆に、低品質は、単一のピクセルに関連付けられた多くのテクセルが存在する場合、または単一のテクセルに関連付けられた多くのピクセルが存在する場合に生じるように定義されてよい。例として、第1のポリゴンが生成されてよい。第1のポリゴンへ投影される各ピクセルのために単一のテクセルが存在する。ピクセルが、比較的一直線な角度から第1のポリゴンへ投影されているのであれば、テクスチャは、一杯に詰め込まれた多くのテクセルを含んでよい。このポリゴンが一直線に表示されたのであれば、表示された各ピクセルのためにおおよそ1つのテクセルが存在してよく、したがってテクスチャは、比較的高い品質を有すると考慮されるであろう。しかしながら、ポリゴンが鋭角から表示されたのであれば、表示された各ピクセルのために多くのテクセルが存在してよく、テクスチャの比較的高い解像度に関わらず、テクスチャは、比較的低い品質を有すると考慮されるであろう。
【0041】
さらなる例として、第2のポリゴンが生成されてよい。第2のポリゴンへ投影される各ピクセルのためにも単一のテクセルが存在する。しかしながら、ピクセルが比較的鋭角から第2のポリゴンへ投影されたのであれば、テクスチャは、長く薄いテクセルを含んでよい。このポリゴンがその後、一直線に表示されるのであれば、表示された多くのピクセルは、それらの特性を単一のテクセルのみから導出するであろう。このケースでは、テクスチャは、比較的低品質を有すると考慮されるであろう。しかしながら、ポリゴンが比較的鋭角から表示されるのであれば、表示される各ピクセルのために1つのみのテクセルが存在してよい。このケースでは、テクスチャの比較的低い解像度にも関わらず、テクスチャは比較的高い品質を有すると考慮されるであろう。
【0042】
テクセルの品質値は、表示されるべき表面の方位に対するユーザによって定義されたキャプチャされた視座の場所に基づいて計算されてもよい。例示として、図3の地点320は、モデルの地理的に配置されたポリゴンが見られるであろう地理的場所であってよい。地点330は、表示されたピクセルに関連付けられたカメラ角度がポリゴンと交差する地点である。線"s"は、視座320から交差地点330へ延びる。円錐350は、鋭い立体角("α")で地点320から外側へ延びる。αの尺度は、任意に選択されてよい。αの尺度はまた、テクスチャがキャプチャされた場所から見られるように、円錐がテクセルと類似した立体角を提供するように、たとえばテクスチャの解像度が高いほど、より小さな円錐となるように選択されてよい。楕円310は、円錐350と平面(図示せず)との交差を表す。平面、たとえば交差地点330を含むポリゴンの頂点によって定義される平面は、交差地点における表面の方位を反映する。
【0043】
楕円が延ばされる範囲は、表面の方位と視座に関連する。たとえば、線"s"が、平面の方位に完全に直交している(それは、表面を一直線に見ることに関連付けられるであろう)のであれば、楕円310は、完全な円になるであろう。線"s"の立体角が平面の方位に対してより鋭角になると、楕円310はより延ばされるようになり、楕円の短軸("a")に対する長軸("b")の比は、"n"を面法線として増加するであろう。軸"a"および"b"は、式a=αs×nおよびb=(n・s/|s|)(a×n)から決定されてよい。
【0044】
テクセルの品質値は、キャプチャ場所から交差地点へ延びる円錐に関連付けられた楕円(「テクセル楕円」)と、ユーザによって選択された場所から交差地点へ延びる円錐に関連付けられた楕円(「ピクセル楕円」)との差分に基づいて決定されてよい。図4では、テクセル楕円425がキャプチャ場所420に関連付けられ、ピクセル楕円435がユーザによって要求された視座430に関連付けられる。交差地点450におけるテクセルの品質値は、特定の角度θにおけるテクセル楕円の半径に対するピクセル楕円の半径の比、たとえばquality(θ)=radiust(θ)/radiusp(θ)から計算されてよい。1つの態様では、角度θは、最小比をもたらす角度または角度の推定値である。たとえば、品質値は、異なるθの値において計算されてよく、テクセルの品質値は、たとえばqualitymin=quality(argminθ{quality(θ)})のように、計算された最低値に等しくてよい。最小は、両楕円を行列形式で表現し、かつテクセル楕円が単位円となるであろう座標系へピクセル楕円をマップするテクセル楕円の反転をピクセル楕円へ乗じることによって決定されてよい。この座標系内では、比は再マップされたピクセル楕円の半径に等しく、最小比は再マップされたピクセル楕円の短軸長に等しい。
【0045】
品質値は、テクセル楕円軸の各々をピクセル楕円軸の各々へ投影し、最長比を与えるピクセル楕円軸を選択することによって推定されてよい。例として、シェーダは、4つの可能な方向をサンプルし、最低品質値に関連付けられた角度を選択する式qualitymin～1/max((at・ap)/(ap・ap),(bt・ap)/(ap・ap),(at・bp)/(bp・bp),(bt・bp)/(bp・bp))に従って値を計算することによって最小品質値を概算してよい。他の方法も品質を計算するために使用されてよい。
【0046】
テクセルの品質が一旦計算されると、品質は、表示されるピクセルの色がテクセルの色にどの程度類似しているのかを決定するために使用されてよい。たとえば、3つのテクセルT1、T2、およびT3を識別するために3つのソース画像が使用されるのであれば、各テクセルのための混合重みが、フラグメントシェーダにおいて各入力テクセルおよび出力(w1T1+w2T2+w3T3)/(w1+w2+w3)について計算されてよく、wnはテクセルの品質値に等しい。重みはまた、品質値を累乗へ上げることのように他の手法でも適用されてよい。たとえば、重みを大きな指数まで上げることによって、最大重みを有する表面が他の重みを支配してよい。したがって、より低い重みを有するテクセルのインパクトを低減することによってゴーストを低減する。
【0047】
システムはまた、図5に例として図示されるように、閉塞へ対処するために重み値を使用してよい。表面502および503は、画像520において視座Aからキャプチャされ、表面501および503は、画像530において視座Bからキャプチャされた。モデル521および531はそれぞれ、各画像520および530のために生成されてよい。モデルが生成される場合、モデルは、テクスチャをポリゴンの特定の側面に関連付けてよい。たとえば、表面502は単一の三角形によってモデル521において表されてよく、1つの側面は視座Aに面し、他の側面は視座Aから離れている。画像データがモデルへ投影された場合、モデルは、テクスチャが視座に面している三角形の側面上にあるかどうかを示してよい。
【0048】
要求された画像を生成する場合、その関連付けられたテクスチャが要求された視座に面しているか離れているかを決定することによって、およびテクスチャが同じモデル内の他のテクスチャよりも視座に近いかどうかを決定することによって、閉塞された表面が隠されてよい。たとえば、表示されたピクセルの色を視座540から決定した場合、システムは、ピクセルの関連付けられた光線550が各表面と交差したポイントのすべて、すなわちポイント511～513を決定してよい。システムはまた、各モデルについて、視座に最も近い交差したテクセルと、交差したテクスチャのテクスチャが、視座に面している(「正面向き」)ポリゴンの側面にあるか、または視座から離れている(「背面向き」)ポリゴンの側面にあるかを決定してよい。したがって、システムは、T511Bが、モデル531における最も近いテクセルであり、正面向きであると決定してよい("Tpppm"は、交差地点pppにおけるテクセルであり、視座mに関連付けられたモデルに記憶されたテクセルを称する)。システムはまた、T512Aが、モデル521における最も近いテクセルであり、かつ背面向きであることを決定してよい。T512Aが背面向きであるので、システムはその重みをゼロへ自動的に設定してよい。その結果、光線550に関連付けられたピクセルの色は、(w511BT511B+w512AT512A)/(w511B+w512A)によって決定されてよく、w511BはT511Bについて決定された品質値であり、w512Aはゼロに設定される。その結果、表示されたピクセルの色はT511Bと同じになるであろう。
【0049】
あるいは、あるテクスチャを無視することでも、またはそれらの重みをゼロへ設定することでもなく、それらの相対的な重みが低減されてよい。たとえば、w512Aをゼロへ設定することでも、T513AおよびT513Bをともに無視することでもなく、背面向きのテクセルおよび他のテクセルがまた、低減された重みで混合のために使用されてよい。
【0050】
デプスデータにおける不連続性によって引き起こされるアーティファクトを含むアーティファクトはまた、重み値を用いて対処されてよい。たとえば、図6に図示されるように、モデル621は、場所620からキャプチャされた画像に関連付けられてよく、モデル631は、場所630からキャプチャされた画像に関連付けられてよい。表面601、602間のギャップ603は、モデル621において正確に表されてよい。しかしながら、キャプチャ時において検索されたデプスデータから生じた不正確さ、またはモデル631の生成中に生じた他のいくつかの誤差の結果、表面635がギャップ603を介して延びることをモデル631が不正確に示すことになってよい。モデル631が視座640から見られたのであれば、無関係な表面635は、ギャップの1つのエッジから他のエッジへ延びたゴムシートの外観を有してよい。いくつかの態様では、システムは、モデル621をモデル631と比較することによって無関係なポリゴンをチェックし、かつ除去してよい。
【0051】
他の態様では、システムは、表示するための画像を生成する場合、無関係な表面を使用してよい。たとえば、ユーザは、視座640から表面を表示する画像を要求してよい。光線641に関連付けられたピクセルの色に対するモデル621の寄与を決定する場合、システムは、第1の命令地点として表面601における地点Aを識別してよい。テクセルは、テクセルがキャプチャされた角度(場所620)に類似した角度において見られるため、システムはまた、地点Aにおけるテクセルが比較的高い品質値を有すると決定してよい。ピクセルの色に対するモデル631の寄与を決定する場合、システムは、第1の交差地点として無関係な表面635における地点Bを識別してよい。テクセルは、テクセルがキャプチャされた角度(場所630)に比較的直角である角度において見られるため、システムは、地点Bにおけるテクセルが比較的低い品質値を有すると決定してよい。その結果、ポイントAおよびBにおいてテクセルがともに混合される場合、比較的少ない重みが地点Bにおいてテクセルへ適用されるであろう。また、ピクセルの色は、表面601における地点Aの色にほとんど完全に基づくであろう。
【0052】
ある角度から、無関係な表面は、表示されるべき画像の視覚的特性に対する顕著な寄与を有してよい。たとえば、ユーザは、視座650からの画像を要求してよい。これは、モデル631のキャプチャ場所630に比較的近い。光線641に関連付けられたピクセルの色へのモデル631の寄与を決定する場合、システムは、第1の交差地点として無関係な表面635における地点Cを識別してよく、さらに、モデル631の地点Cにおけるテクセルは、比較的高い品質値を有していることを決定してよい。同じピクセルの色に対するモデル621の寄与を決定する場合、表面602がモデルによって表されないのであれば、システムは交差地点を識別しなくてよい。あるいは、表面602がモデルによって表されるのであれば、交差地点から視座650への角度は交差地点からキャプチャ場所620への角度に比較的直角であるため、モデル621における交差地点におけるテクセルの品質値は比較的低くてよい。いずれのケースであれ、結果として表示されたピクセルの色は無関係な表面のテクセルと実質的に同じでよい。これは、無関係な表面635を表示することは、何も表示しないこと(たとえば、表面の不在を示す色)よりも好適であってよいため、モデル621が表面602の表現を有していないのであれば、特に有利である。
【0053】
ユーザは、システムを使用し、かつモデルとインタラクトしてよい。単なる例として、図1を参照して、ユーザ135は、多数の視座から画像データおよびデプスデータをキャプチャするために、クライアントデバイス120のカメラ163および地理的コンポーネント130を使用してよい。ユーザ135は、画像およびデプスデータをサーバ110へアップロードしてよい。プロセッサ112は、ユーザによって提供されたデータに基づいて、各画像のテクスチャモデルを生成し、かつそのデータをメモリ114に記憶してよい。サーバ110は、その後、具体的な視座からオブジェクトの画像に対する要求を受信してよい。たとえば、ユーザ135(または、クライアントデバイス121を使用する異なるユーザ)は、ユーザ入力162を用いて地理的場所を選択し、かつ要求をサーバ110へ送信することによって、具体的な地理的場所におけるパノラマ画像を要求してよい。要求を受信すると、サーバ110は、たとえば要求された地理的場所のしきい距離内のキャプチャ場所または表面場所を有するすべてまたは限定された数のモデルを選択することによって、要求された地理的場所に基づいて2つ以上のモデルを検索してよい。サーバはその後、ネットワーク160を経由してクライアントデバイス120へモデルを送信してよい。モデルを受信すると、クライアントデバイス120のプロセッサは、モデルに基づいてかつ視座として要求された地理的場所を使用して、パノラマ画像を生成してよい。要求された地理的場所が高度を含んでいなかったのであれば、視座の高度はモデルのキャプチャ場所の高度に基づいてよい。
【0054】
パノラマ画像はディスプレイ122上に表示されてよい。たとえば、図2および図7を参照して示すように、車240のモデル216および226がクライアントデバイスへ送信されたのであれば、車240の画像710は、視座230に基づいて生成され、かつユーザへ表示されてよい。ユーザは、クライアントデバイスのユーザインターフェースを経由してコマンドを提供すること、たとえば画像をピックアップするためにボタンを押すことによって、キャプチャ場所とは異なる他の視座を選択してよい。
【0055】
図8は、上記で説明された態様のいくつかに従うフローチャートである。ブロック801では、第1の視座と第2の視座とに対するオブジェクトの表面の方位と、第1の視座からの表面の外観を表す第1の視覚的特性のセットと、第2の視座からの表面の外観を表す第2の視覚的特性のセットとを含む、オブジェクトの表面のモデルがアクセスされる。ブロック802では、第1の視座および第2の視座とは異なる、要求された視座からオブジェクトの画像に対する要求が受信される。ブロック803では、第1の視覚的特性が、第1の視覚的特性のセットから識別され、第2の視覚的特性が、第2の視覚的特性のセットから識別される。ブロック804では、要求された視座および第1の視座に対する表面の方位に基づいて、第1の視覚的特性のための第1の重み値が決定される。ブロック805では、要求された視座および第2の視座に対する表面の方位に基づいて、第2の視覚的特性のための第2の重み値が決定される。ブロック806では、第1および第2の視覚的特性と、第1および第2の重み値とに基づいて、要求された画像の視覚的特性が決定される。ブロック807では、要求された画像が表示のためにユーザへ提供される。
【0056】
特許請求の範囲によって定義されたような本発明から逸脱することなく、上記で議論された特徴のこれらおよび他のバリエーションおよび組合せを利用することができるので、実施形態の先述した説明は、特許請求の範囲によって定義されたような本発明の限定によってではなく、例示として採用されるべきである。本発明の例の提供(のみならず、「～のような」、「たとえば」、「～を含む」等のようにフレーズされた句)は、具体的な例に本発明を限定するものとして解釈されるべきではなく、むしろ、これら例は、多くの可能な態様のうちのいくつかのみを例示することが意図されていると理解されるであろう。
【符号の説明】
【0057】
100 システム
110 サーバ
112 プロセッサ
114 メモリ
116 命令
118 データ
120 クライアントデバイス
121 クライアントデバイス
122 ディスプレイ
130 地理的コンポーネント
131 GPSレシーバ
132 コンパス
133 加速度計
134 ジャイロスコープ
135 照準機
135 ユーザ
160 ネットワーク
162 ユーザ入力
163 カメラ
201 側面
202 正面
210 視座
211 カメラ角度
212 カメラ角度
215 画像
216 モデル
220 視座
221 視角
222 視角
225 画像
226 モデル
230 視座
235 画像
240 車
310 楕円
320 視座
330 交差地点
350 円錐
420 キャプチャ場所
425 テクセル楕円
430 視座
435 ピクセル楕円
450 交差地点
501 表面
502 表面
503 表面
511 ポイント
512 ポイント
513 ポイント
520 画像
521 モデル
530 画像
531 モデル
540 視座
550 光線
601 表面
602 表面
603 ギャップ
620 キャプチャ場所
621 モデル
630 キャプチャ場所
631 モデル
635 表面
640 視座
641 光線
650 視座
710 画像
110 サーバ
112 プロセッサ
114 メモリ
116 命令
118 データ
120 クライアントデバイス
121 クライアントデバイス
122 ディスプレイ
130 地理的コンポーネント
131 GPSレシーバ
132 コンパス
133 加速度計
134 ジャイロスコープ
135 照準機
135 ユーザ
160 ネットワーク
162 ユーザ入力
163 カメラ
201 側面
202 正面
210 視座
211 カメラ角度
212 カメラ角度
215 画像
216 モデル
220 視座
221 視角
222 視角
225 画像
226 モデル
230 視座
235 画像
240 車
310 楕円
320 視座
330 交差地点
350 円錐
420 キャプチャ場所
425 テクセル楕円
430 視座
435 ピクセル楕円
450 交差地点
501 表面
502 表面
503 表面
511 ポイント
512 ポイント
513 ポイント
520 画像
521 モデル
530 画像
531 モデル
540 視座
550 光線
601 表面
602 表面
603 ギャップ
620 キャプチャ場所
621 モデル
630 キャプチャ場所
631 モデル
635 表面
640 視座
641 光線
650 視座
710 画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
