特表2022-553844 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ アウトワード・インコーポレーテッドの特許一覧

特表2022-553844任意ビューの生成

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4A
4B
4C
4D
4E
4F
4G
4H
4I
4J
4K
4L
4M
4N
5

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-26

(54)【発明の名称】任意ビューの生成

(51)【国際特許分類】

G06T 15/20 20110101AFI20221219BHJP

【ＦＩ】

G06T15/20 500

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022525977

(86)(22)【出願日】2020-11-05

(85)【翻訳文提出日】2022-07-04

(86)【国際出願番号】 US2020059188

(87)【国際公開番号】W WO2021092229

(87)【国際公開日】2021-05-14

(31)【優先権主張番号】17/089,597

(32)【優先日】2020-11-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/933,254

(32)【優先日】2019-11-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518338080

【氏名又は名称】アウトワード・インコーポレーテッド

【氏名又は名称原語表記】ＯＵＴＷＡＲＤＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】チュイ・クラレンス

(72)【発明者】

【氏名】パーマー・マヌ

(72)【発明者】

【氏名】シートン・ブルック・アーロン

(72)【発明者】

【氏名】ジェイン・ヒマーンシュ

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080AA18

5B080BA07

5B080DA01

5B080DA06

5B080FA08

(57)【要約】

【解決手段】アンサンブルシーンの任意ビューまたは任意パースペクティブを生成するための技術が開示されている。いくつかの実施形態において、複数のアセットを含むアンサンブルシーンの所定のパースペクティブの要求の受信に応答して、要求された所定のパースペクティブに対するアンサンブルシーンの出力画像が、複数のアセットの少なくとも一部の各々の既存画像の少なくとも一部を組み合わせることに少なくとも部分的に基づいて生成される。
【選択図】図５

【特許請求の範囲】

【請求項1】

方法であって、
複数のアセットを含むアンサンブルシーンの所定のパースペクティブの要求を受信し、
前記複数のアセットの少なくとも一部の各々の単一の既存画像を組み合わせることに少なくとも部分的に基づいて、前記要求された所定のパースペクティブを近似する前記アンサンブルシーンの出力画像を生成すること、
を備える、方法。

【請求項2】

請求項１に記載の方法であって、前記要求は、前記アンサンブルシーンの正投影ビューに関して受信される、方法。

【請求項3】

請求項２に記載の方法であって、前記アンサンブルシーンの前記正投影ビューは、前記複数のアセットの組み合わせられた正投影ビューを含む、方法。

【請求項4】

請求項１に記載の方法であって、さらに、前記複数のアセットの前記少なくとも一部の各々の前記単一の既存画像を選択することを備える、方法。

【請求項5】

請求項４に記載の方法であって、前記選択することは、前記要求された所定のパースペクティブとの完全な一致を選択することを含む、方法。

【請求項6】

請求項４に記載の方法であって、前記選択することは、前記要求された所定のパースペクティブと最も近くまたは最も類似する利用可能な一致を選択することを含む、方法。

【請求項7】

請求項４に記載の方法であって、前記選択することは、前記アンサンブルシーン内での関連アセットの姿勢に基づいて選択することを含む、方法。

【請求項8】

請求項４に記載の方法であって、前記選択することは、関連アセットの回転された既存画像を選択することを含む、方法。

【請求項9】

請求項４に記載の方法であって、前記選択することは、前記アンサンブルシーン内での関連アセットの姿勢に基づいて、前記要求された所定のパースペクティブと最も近くまたは最も類似した利用可能な一致を選択することを含む、方法。

【請求項10】

請求項１に記載の方法であって、前記アンサンブルシーンの前記出力画像を生成することは、アセットの前記一部の内の１または複数のアセットの前記単一の既存画像をスケーリングすることを含む、方法。

【請求項11】

請求項１に記載の方法であって、前記アンサンブルシーンの前記出力画像を生成することは、アセットの前記一部の内の１または複数のアセットの前記単一の既存画像をリサイズすることを含む、方法。

【請求項12】

請求項１に記載の方法であって、前記アンサンブルシーンの前記出力画像を生成することは、前記アンサンブルシーン内のアセットの少なくとも前記一部の各々の前記単一の既存画像を含める位置を決定することを含む、方法。

【請求項13】

請求項１に記載の方法であって、前記組み合わせることは、合成することを含む、方法。

【請求項14】

請求項１に記載の方法であって、前記アンサンブルシーンの前記出力画像を生成することは、前記要求された所定のパースペクティブを有する前記複数のアセットの内の少なくとも１つのアセットのビューを生成することを含む、方法。

【請求項15】

請求項１４に記載の方法であって、前記ビューは、前記少なくとも１つのアセットの複数の既存画像を用いて生成される、方法。

【請求項16】

請求項１に記載の方法であって、前記アンサンブルシーンの前記出力画像を生成することは、前記要求された所定のパースペクティブを有するように前記アンサンブルシーンの少なくとも１つの部分を生成することを含む、方法。

【請求項17】

請求項１６に記載の方法であって、前記少なくとも１つの部分は、前記アンサンブルシーンの表面を含む、方法。

【請求項18】

請求項１６に記載の方法であって、前記少なくとも１つの部分は、前記アンサンブルシーンの構造要素を含む、方法。

【請求項19】

請求項１６に記載の方法であって、前記少なくとも１つの部分は、前記アンサンブルシーンの全体的特徴を含む、方法。

【請求項20】

請求項１に記載の方法であって、さらに、前記アンサンブルシーンの前記生成された出力画像を全体的に照明変更することを備える、方法。

【請求項21】

請求項１に記載の方法であって、前記出力画像は、ビデオシーケンスのフレームを含む、方法。

【請求項22】

システムであって、
プロセッサであって、
複数のアセットを含むアンサンブルシーンの所定のパースペクティブの要求を受信し、
前記複数のアセットの少なくとも一部の各々の単一の既存画像を組み合わせることに少なくとも部分的に基づいて、前記要求された所定のパースペクティブを近似する前記アンサンブルシーンの出力画像を生成するよう構成されている、プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されているメモリと、
を備える、システム。

【請求項23】

コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
複数のアセットを含むアンサンブルシーンの所定のパースペクティブの要求を受信するためのコンピュータ命令と、
前記複数のアセットの少なくとも一部の各々の単一の既存画像を組み合わせることに少なくとも部分的に基づいて、前記要求された所定のパースペクティブを近似する前記アンサンブルシーンの出力画像を生成するためのコンピュータ命令と、
を備える、コンピュータプログラム製品。

【発明の詳細な説明】

【背景技術】

【0001】

他の出願への相互参照
本願は、「ＡＲＢＩＴＲＡＲＹＶＩＥＷＧＥＮＥＲＡＴＩＯＮ」と題する２０１８年１０月２５日出願の米国特許出願第１６／１７１，２２１号の一部継続出願であり、後者は、「ＡＲＢＩＴＲＡＲＹＶＩＥＷＧＥＮＥＲＡＴＩＯＮ」と題する２０１７年９月２９日出願の米国特許出願第１５／７２１，４２１号（現在の米国特許第１０，１６３，２４９号）の継続出願であり、後者は、「ＡＲＢＩＴＲＡＲＹＶＩＥＷＧＥＮＥＲＡＴＩＯＮ」と題する２０１６年３月２５日出願の米国特許出願第１５／０８１，５５３号（現在の米国特許第９，９９６，９１４号）の一部継続出願であり、これらはすべて、すべての目的のために参照によって本明細書に組み込まれる。米国特許出願第１５／７２１，４２１号（現在の米国特許第１０，１６３，２４９号）は、さらに、「ＦＡＳＴＲＥＮＤＥＲＩＮＧＯＦＡＳＳＥＭＢＬＥＤＳＣＥＮＥＳ」と題する２０１７年８月４日出願の米国仮特許出願第６２／５４１，６０７号に基づく優先権を主張し、後者は、すべての目的のために参照によって本明細書に組み込まれる。

【0002】

本願は、すべての目的のために参照によって本明細書に組み込まれる、「ＱＵＡＮＴＩＺＥＤＰＥＲＳＰＥＣＴＩＶＥＣＡＭＥＲＡＶＩＥＷＳ」と題する２０１９年１１月８日出願の米国仮特許出願第６２／９３３，２５４号に基づく優先権を主張する。

【0003】

既存のレンダリング技術は、品質および速度という相反する目標の間のトレードオフに直面している。高品質なレンダリングは、かなりの処理リソースおよび時間を必要とする。しかしながら、遅いレンダリング技術は、インタラクティブなリアルタイムアプリケーションなど、多くのアプリケーションで許容できない。通例は、低品質だが高速なレンダリング技術が、かかるアプリケーションでは好まれる。例えば、比較的高速なレンダリングのために品質を犠牲にして、ラスタ化が、リアルタイムグラフィックスアプリケーションによって一般に利用される。したがって、品質も速度も大きく損なうことのない改良技術が求められている。

【図面の簡単な説明】

【0004】

以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。

【0005】

【図1】シーンの任意ビューを生成するためのシステムの一実施形態を示すハイレベルブロック図。

【0006】

【図2】データベースアセットの一例を示す図。

【0007】

【図3】任意パースペクティブを生成するための処理の一実施形態を示すフローチャート。

【0008】

【図4A】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4B】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4C】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4D】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4E】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4F】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4G】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4H】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4I】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4J】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4K】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4L】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4M】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【図4N】アンサンブルまたは合成オブジェクトを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す図。

【0009】

【図5】任意アンサンブルビューを生成するための処理の一実施形態を示すフローチャート。

【発明を実施するための形態】

【0010】

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実装されうる。本明細書では、これらの実施例または本発明が取りうる任意の他の形態が、技術と呼ばれうる。一般に、開示されている処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、或る時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

【0011】

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

【0012】

シーンの任意ビューを生成するための技術が開示されている。本明細書に記載の実例は、非常に低い処理オーバヘッドまたは計算オーバヘッドを伴いつつ、高精細度出力も提供し、レンダリング速度と品質との間の困難なトレードオフを効果的に排除する。されている技術は、インタラクティブなリアルタイムグラフィックスアプリケーションに関して、高品質出力を非常に高速に生成するために特に有効である。かかるアプリケーションは、提示されたインタラクティブなビューまたはシーンのユーザ操作に応答してそれに従って、好ましい高品質出力を実質的に即時に提示することに依存する。

【0013】

図１は、シーンの任意ビューを生成するためのシステム１００の一実施形態を示すハイレベルブロック図である。図に示すように、任意ビュー生成器１０２が、任意ビューの要求を入力１０４として受信し、既存のデータベースアセット１０６に基づいて、要求されたビューを生成し、入力された要求に応答して、生成されたビューを出力１０８として提供する。様々な実施形態において、任意ビュー生成器１０２は、中央処理装置（ＣＰＵ）またはグラフィックス処置装置（ＧＰＵ）などのプロセッサを備えてよい。図１に示すシステム１００の構成は、説明のために提示されている。一般に、システム１００は、記載した機能を提供する任意の他の適切な数および／または構成の相互接続された構成要素を備えてもよい。例えば、別の実施形態において、任意ビュー生成器１０２は、異なる構成の内部構成要素１１０～１１６を備えてもよく、任意ビュー生成器１０２は、複数の並列物理および／または仮想プロセッサを備えてもよく、データベース１０６は、複数のネットワークデータベースまたはアセットのクラウドを備えてもよい、などである。

【0014】

任意ビュー要求１０４は、シーンの任意パースペクティブの要求を含む。いくつかの実施形態において、シーンの他のパースペクティブすなわち視点を含むシーンの要求パースペクティブは、アセットデータベース１０６内にまだ存在してはいない。様々な実施形態において、任意ビュー要求１０４は、プロセスまたはユーザから受信されてよい。例えば、入力１０４は、提示されたシーンまたはその一部のユーザ操作（提示されたシーンのカメラ視点のユーザ操作など）に応答して、ユーザインターフェスから受信されうる。別の例において、任意ビュー要求１０４は、シーンのフライスルーなど、仮想環境内での運動または移動の経路の指定に応答して受信されてもよい。いくつかの実施形態において、要求できるシーンの可能な任意ビューは、少なくとも部分的に制約されている。例えば、ユーザは、提示されたインタラクティブシーンのカメラ視点を任意のランダムな位置に操作することができない場合があり、シーンの特定の位置またはパースペクティブに制約される。

【0015】

データベース１０６は、格納された各アセットの複数のビューを格納している。所与の文脈において、アセットとは、仕様が複数のビューとしてデータベース１０６に格納されている個々のシーンのことである。様々な実施形態において、シーンは、単一のオブジェクト、複数のオブジェクト、または、リッチな仮想環境を含みうる。具体的には、データベース１０６は、各アセットの異なるパースペクティブすなわち視点に対応する複数の画像を格納する。データベース１０６に格納されている画像は、高品質の写真または写実的レンダリングを含む。データベース１０６に入力されるかかる高精細度すなわち高解像度の画像は、オフライン処理中にキャプチャまたはレンダリングされ、もしくは、外部ソースから取得されてよい。いくつかの実施形態において、対応するカメラ特性が、データベース１０６に格納された各画像と共に格納される。すなわち、相対的な位置または場所、向き、回転、奥行情報、焦点距離、絞り、ズームレベルなどのカメラ属性が、各画像と共に格納される。さらに、シャッター速度および露出などのカメラの光学情報が、データベース１０６に格納された各画像と共に格納されてもよい。

【0016】

様々な実施形態において、アセットの任意の数の異なるパースペクティブがデータベース１０６に格納されてよい。図２は、データベースアセットの一例を示す。与えられた例では、椅子オブジェクトの周りの異なる角度に対応する７３のビューがキャプチャまたはレンダリングされ、データベース１０６に格納される。ビューは、例えば、椅子の周りでカメラを回転させるかまたはカメラの前で椅子を回転させることによってキャプチャされてよい。相対的なオブジェクトおよびカメラの位置および向きの情報が、生成された各画像と共に格納される。図２は、１つのオブジェクトを含むシーンのビューを具体的に示している。データベース１０６は、複数のオブジェクトまたはリッチな仮想環境を含むシーンの仕様も格納してよい。かかるケースにおいては、シーンまたは三次元空間の中の異なる位置または場所に対応する複数のビューがキャプチャまたはレンダリングされ、対応するカメラ情報と共にデータベース１０６に格納される。一般に、データベース１０６に格納された画像は、二次元または三次元を含んでよく、アニメーションまたはビデオシーケンスのスチールまたはフレームを含んでよい。

【0017】

データベース１０６にまだ存在しないシーンの任意ビューの要求１０４に応答して、任意ビュー生成器１０２は、データベース１０６に格納されたシーンの複数の他の既存ビューから、要求された任意ビューを生成する。図１の構成例では、任意ビュー生成器１０２のアセット管理エンジン１１０が、データベース１０６を管理する。例えば、アセット管理エンジン１１０は、データベース１０６におけるデータの格納およびリトリーブを容易にしうる。シーン１０４の任意ビューの要求に応答して、アセット管理エンジン１１０は、データベース１０６からシーンの複数の他の既存ビューを特定して取得する。いくつかの実施形態において、アセット管理エンジン１１０は、データベース１０６からシーンのすべての既存ビューをリトリーブする。あるいは、アセット管理エンジン１１０は、既存ビューの一部（例えば、要求された任意ビューに最も近いビュー）を選択してリトリーブしてもよい。かかるケースにおいて、アセット管理エンジン１１０は、要求された任意ビューを生成するためのピクセルの収集元になりうる一部の既存ビューをインテリジェントに選択するよう構成される。様々な実施形態において、複数の既存ビューが、アセット管理エンジン１１０によって一緒にリトリーブされてもよいし、任意ビュー生成器１０２のその他の構成要素によって必要になり次第リトリーブされてもよい。

【0018】

アセット管理エンジン１１０によってリトリーブされた各既存ビューのパースペクティブは、任意ビュー生成器１０２のパースペクティブ変換エンジン１１２によって、要求された任意ビューのパースペクティブに変換される。上述のように、正確なカメラ情報が既知であり、データベース１０６に格納された各画像と共に格納されている。したがって、既存ビュー要求された任意ビューへのパースペクティブ変更は、単純な幾何マッピングまたは幾何変換を含む。様々な実施形態において、パースペクティブ変換エンジン１１２は、既存ビューのパースペクティブを任意ビューのパースペクティブに変換するために、任意の１または複数の適切な数学的手法を用いてよい。要求されたビューがどの既存ビューとも同一ではない任意ビューを含む場合、任意ビューのパースペクティブへの既存ビューの変換は、少なくともいくつかのマッピングされていないピクセルまたは失われたピクセル、すなわち、既存ビューに存在しない任意ビューに導入された角度または位置にあるピクセルを含むことになる。

【0019】

単一のパースペクティブ変換された既存ビューからのピクセル情報では、別のビューのすべてのピクセルを埋めることができない。しかしながら、多くの場合、すべてではないが、要求された任意ビューのほとんどのピクセルが、複数のパースペクティブ変換された既存ビューから収集されうる。任意ビュー生成器１０２のマージエンジン１１４が、複数のパースペクティブ変換された既存ビューからのピクセルを組み合わせて、要求された任意ビューを生成する。理想的には、任意ビューを構成するすべてのピクセルが既存ビューから収集される。これは、例えば、考慮対象となるアセットについて十分に多様なセットの既存ビューまたはパースペクティブが利用可能である場合、および／または、要求されたパースペクティブが既存のパースペクティブとはそれほど異なっていない場合に、可能でありうる。

【0020】

複数のパースペクティブ変換された既存ビューからのピクセルを組み合わせまたはマージして、要求された任意ビューを生成するために、任意の適切な技術が用いられてよい。一実施形態において、要求された任意ビューに最も近い第１既存ビューが、データベース１０６から選択されてリトリーブされ、要求された任意ビューのパースペクティブに変換される。次いで、ピクセルが、このパースペクティブ変換された第１既存ビューから収集され、要求された任意ビュー内の対応するピクセルを埋めるために用いられる。第１既存ビューから取得できなかった要求任意ビューのピクセルを埋めるために、これらの残りのピクセルの少なくとも一部を含む第２既存ビューが、データベース１０６から選択されてリトリーブされ、要求任意ビューのパースペクティブへ変換される。次いで、第１既存ビューから取得できなかったピクセルは、このパースペクティブ変換された第２既存ビューから収集され、要求任意ビュー内の対応するピクセルを埋めるために用いられる。この処理は、要求任意ビューのすべてのピクセルが埋められるまで、および／または、すべての既存ビューが使い果たされるかまたは所定の閾値数の既存ビューが利用されるまで、任意の数のさらなる既存ビューについて繰り返されてよい。

【0021】

いくつかの実施形態において、要求任意ビューは、どの既存ビューからも取得できなかったいくつかのピクセルを含みうる。かかる場合、補間エンジン１１６が、要求任意ビューのすべての残りのピクセルを埋めるよう構成されている。様々な実施形態において、要求任意ビュー内のこれらの埋められていないピクセルを生成するために、任意の１または複数の適切な補間技術が補間エンジン１１６によって用いられてよい。利用可能な補間技術の例は、例えば、線形補間、最近隣補間などを含む。ピクセルの補間は、平均法または平滑化を導入する。全体の画像品質は、ある程度の補間によって大きい影響を受けることはないが、過剰な補間は、許容できない不鮮明さを導入しうる。したがって、補間は、控えめに用いることが望ましい場合がある。上述のように、要求任意ビューのすべてのピクセルを既存ビューから取得できる場合には、補間は完全に回避される。しかしながら、要求任意ビューが、どのビューからも取得できないいくつかのピクセルを含む場合には、補間が導入される。一般に、必要な補間の量は、利用可能な既存ビューの数、既存ビューのパースペクティブの多様性、および／または、任意ビューのパースペクティブが既存ビューのパースペクティブに関してどれだけ異なるか、に依存する。

【0022】

図２に示した例に関して、椅子オブジェクトの周りの７３のビューが、椅子の既存ビューとして格納される。格納されたビューとのいずれとも異なるすなわち特有の椅子オブジェクトの周りの任意ビューが、もしあったとしても好ましくは最小限の補間で、複数のこれらの既存ビューを用いて生成されうる。しかしながら、既存ビューのかかる包括的なセットを生成して格納することが、効率的でなかったり望ましくなかったりする場合がある。いくつかの場合、その代わりに、十分に多様なセットのパースペクティブを網羅する十分に少ない数の既存ビューが生成および格納されてもよい。例えば、椅子オブジェクトの７３のビューが、椅子オブジェクトの周りの少数のビューの小さいセットに縮小されてもよい。

【0023】

上述のように、いくつかの実施形態において、要求できる可能な任意ビューが、少なくとも部分的に制約される場合がある。例えば、ユーザは、インタラクティブなシーンに関連する仮想カメラを特定の位置に動かすことを制限されうる。図２で与えられた例に関しては、要求できる可能な任意ビューは、椅子オブジェクトの周りの任意の位置に制限され、例えば、椅子オブジェクトの底部のために存在するピクセルデータが不十分であるので、椅子オブジェクトの下の任意の位置を含みえない。許容される任意ビューについてのかかる制約は、要求任意ビューを任意ビュー生成器１０２によって既存データから生成できることを保証する。

【0024】

任意ビュー生成器１０２は、入力された任意ビュー要求１０４に応答して、要求任意ビュー１０８を生成して出力する。生成された任意ビュー１０８の解像度または品質は、既存ビューからのピクセルが任意ビューを生成するために用いられているので、それを生成するために用いられた既存ビューの品質と同じであるかまたは同等である。したがって、ほとんどの場合に高精細度の既存ビューを用いると、高精細度の出力が得られる。いくつかの実施形態において、生成された任意ビュー１０８は、関連シーンの他の既存ビューと共にデータベース１０６に格納され、後に、任意ビューに対する将来の要求に応答して、そのシーンの他の任意ビューを生成するために用いられてよい。入力１０４がデータベース１０６内の既存ビューの要求を含む場合、要求ビューは、上述のように、他のビューから生成される必要がなく、その代わり、要求ビューは、簡単なデータベースルックアップを用いてリトリーブされ、出力１０８として直接提示される。

【0025】

任意ビュー生成器１０２は、さらに、記載した技術を用いて任意アンサンブルビューを生成するよう構成されてもよい。すなわち、入力１０４は、複数のオブジェクトを組み合わせて単一のカスタムビューにするための要求を含んでよい。かかる場合、上述の技術は、複数のオブジェクトの各々に対して実行され、複数のオブジェクトを含む単一の統合されたビューすなわちアンサンブルビューを生成するように組み合わせられる。具体的には、複数のオブジェクトの各々の既存ビューが、アセット管理エンジン１１０によってデータベース１０６から選択されてリトリーブされ、それらの既存ビューは、パースペクティブ変換エンジン１１２によって、要求されたビューのパースペクティブに変換され、パースペクティブ変換された既存ビューからのピクセルが、マージエンジン１１４によって、要求されたアンサンブルビューの対応するピクセルを埋めるために用いられ、アンサンブルビュー内の任意の残りの埋められていないピクセルが、補間エンジン１１６によって補間される。いくつかの実施形態において、要求されたアンサンブルビューは、アンサンブルを構成する１または複数のオブジェクトのためにすでに存在するパースペクティブを含みうる。かかる場合、要求されたパースペクティブに対応するオブジェクトアセットの既存ビューは、オブジェクトの他の既存ビューから要求されたパースペクティブを最初に生成する代わりに、アンサンブルビュー内のオブジェクトに対応するピクセルを直接埋めるために用いられる。

【0026】

複数のオブジェクトを含む任意アンサンブルビューの一例として、図２の椅子オブジェクトおよび別個に撮影またはレンダリングされたテーブルオブジェクトを考える。椅子オブジェクトおよびテーブルオブジェクトは、両方のオブジェクトの単一のアンサンブルビューを生成するために、開示されている技術を用いて組み合わせられてよい。したがって、開示された技術を用いて、複数のオブジェクトの各々の別個にキャプチャまたはレンダリングされた画像またはビューが、複数のオブジェクトを含み所望のパースペクティブを有するシーンを生成するために、矛盾なく組み合わせられうる。上述のように、各既存ビューの奥行情報は既知である。各既存ビューのパースペクティブ変換は、奥行変換を含んでおり、複数のオブジェクトが、アンサンブルビュー内で互いに対して適切に配置されることを可能にする。

【0027】

任意アンサンブルビューの生成は、複数の単一オブジェクトを組み合わせてカスタムビューにすることに限定されない。むしろ、複数のオブジェクトまたは複数のリッチな仮想環境を有する複数のシーンが、同様に組み合わせられてカスタムアンサンブルビューにされてもよい。例えば、複数の別個に独立して生成された仮想環境（おそらくは異なるコンテンツ生成源に由来し、おそらくは異なる既存の個々のパースペクティブを有する）が、所望のパースペクティブを有するアンサンブルビューになるように組み合わせられてよい。したがって、一般に、任意ビュー生成器１０２は、おそらくは異なる既存ビューを含む複数の独立したアセットを、所望のおそらくは任意パースペクティブを有するアンサンブルビューに矛盾なく組み合わせまたは調和させるよう構成されてよい。すべての組み合わせられたアセットが同じパースペクティブに正規化されるので、完璧に調和した結果としてのアンサンブルビューが生成される。アンサンブルビューの可能な任意パースペクティブは、アンサンブルビューを生成するために利用可能な個々のアセットの既存ビューに基づいて制約されうる。

【0028】

図３は、任意パースペクティブを生成するための処理の一実施形態を示すフローチャートである。処理３００は、例えば、図１の任意ビュー生成器１０２によって用いられてよい。様々な実施形態において、処理３００は、所定のアセットの任意ビューまたは任意アンサンブルビューを生成するために用いられてよい。

【0029】

処理３００は、任意パースペクティブの要求が受信される工程３０２において始まる。いくつかの実施形態では、工程３０２において受信された要求は、シーンのどの既存の利用可能なパースペクティブとも異なる所定のシーンの任意パースペクティブの要求を含みうる。かかる場合、例えば、任意パースペクティブ要求は、そのシーンの提示されたビューのパースペクティブの変更を要求されたことに応じて受信されてよい。パースペクティブのかかる変更は、カメラのパン、焦点距離の変更、ズームレベルの変更など、シーンに関連する仮想カメラの変更または操作によって促されてよい。あるいは、いくつかの実施形態において、工程３０２で受信された要求は、任意アンサンブルビューの要求を含んでもよい。一例として、かかる任意アンサンブルビュー要求は、複数の独立したオブジェクトの選択を可能にして、選択されたオブジェクトの統合されたパースペクティブ修正済みのアンサンブルビューを提供するアプリケーションに関して受信されうる。

【0030】

工程３０４において、要求された任意パースペクティブの少なくとも一部を生成する元となる複数の既存画像が、１または複数の関連アセットデータベースからリトリーブされる。複数のリトリーブされた画像は、工程３０２において受信された要求が所定のアセットの任意パースペクティブの要求を含む場合には、所定のアセットに関連してよく、また、工程３０２において受信された要求が任意アンサンブルビューの要求を含む場合には、複数のアセットに関連してよい。

【0031】

工程３０６において、異なるパースペクティブを有する工程３０４でリトリーブされた複数の既存画像の各々が、工程３０２において要求された任意パースペクティブに変換される。工程３０４でリトリーブされた既存画像の各々は、関連するパースペクティブ情報を含む。各画像のパースペクティブは、相対位置、向き、回転、角度、奥行、焦点距離、絞り、ズームレベル、照明情報など、その画像の生成に関連するカメラ特性によって規定される。完全なカメラ情報が各画像について既知であるので、工程３０６のパースペクティブ変換は、単純な数学演算を含む。いくつかの実施形態において、工程３０６は、任意選択的に、すべての画像が同じ所望の照明条件に一貫して正規化されるような光学変換をさらに含む。

【0032】

工程３０８では、工程３０２において要求された任意パースペクティブを有する画像の少なくとも一部が、パースペクティブ変換済みの既存画像から収集されたピクセルで埋められる。すなわち、複数のパースペクティブ補正済みの既存画像からのピクセルが、要求された任意パースペクティブを有する画像を生成するために用いられる。

【0033】

工程３１０では、要求された任意パースペクティブを有する生成された画像が完成したか否かが判定される。要求された任意パースペクティブを有する生成された画像が完成していないと工程３１０において判定された場合、生成された画像の任意の残りの埋められていないピクセルを取得するためのさらなる既存画像が利用可能であるか否かが工程３１２において判定される。さらなる既存画像が利用可能であると工程３１２において判定された場合、１または複数のさらなる既存画像が工程３１４においてリトリーブされ、処理３００は工程３０６に進む。

【0034】

要求された任意パースペクティブを有する生成された画像が完成していないと工程３１０において判定され、かつ、もはや既存画像が利用できないと工程３１２において判定された場合、生成された画像のすべての残りの埋められていないピクセルが工程３１６において補間される。任意の１または複数の適切な補間技術が、工程３１６で用いられてよい。

【0035】

要求された任意パースペクティブを有する生成された画像が完成したと工程３１０において判定された場合、または、工程３１６においてすべての残りの埋められていないピクセルを補間した後、要求された任意パースペクティブを有する生成済みの画像が工程３１８において出力される。その後、処理３００は終了する。

【0036】

上述のように、開示されている技術は、他の既存のパースペクティブに基づいて任意パースペクティブを生成するために用いられてよい。カメラ情報が各既存パースペクティブと共に保存されているので、異なる既存のパースペクティブを共通の所望のパースペクティブに正規化することが可能である。所望のパースペクティブを有する結果としての画像は、パースペクティブ変換された既存画像からピクセルを取得することで構築できる。開示されている技術を用いた任意パースペクティブの生成に関連する処理は、高速でほぼ即時であるだけでなく、高品質の出力も生み出すため、開示されている技術は、インタラクティブなリアルタイムグラフィックスアプリケーションに対して特に強力な技術となっている。

【0037】

開示されている技術は、さらに、複数のオブジェクトの各々の利用可能な画像またはビューを用いた、複数のオブジェクトを含む任意アンサンブルビューの生成を記載する。上述のように、パースペクティブの変換および／または正規化は、複数のオブジェクトの別個にキャプチャまたはレンダリングされた画像またはビューを含むピクセルが、所望の任意アンサンブルビューになるように矛盾なく組み合わせられることを可能にする。

【0038】

いくつかの実施形態において、シーンまたはアンサンブルビューに含まれることが望ましいコンテンツを選択して配置することによって、最初にシーンまたはアンサンブルビューを構築または組み立てることが望ましい場合がある。いくつかのかかる場合に、複数のオブジェクトが、シーンまたはアンサンブルビューを含む合成オブジェクトを作成するために、積木のようにスタックまたは組み合わせられてよい。一例として、複数の独立したオブジェクトが、シーンまたはアンサンブルビューを作成するために、選択され、例えばキャンバス上に、適切に配置されるインタラクティブアプリケーションを考える。インタラクティブアプリケーションは、例えば、視覚化アプリケーションまたはモデリングアプリケーションを含んでよい。かかるアプリケーションにおいて、関連する焦点距離に起因する射影歪みにより、シーンまたはアンサンブルビューを構築するために、オブジェクトの任意ビューを利用できない。むしろ、実質的に射影歪みがない所定のオブジェクトビューが、次に記載するように利用される。

【0039】

オブジェクトの正投影ビューが、いくつかの実施形態において、複数の独立したオブジェクトを含むシーンまたはアンサンブルビューをモデル化または規定するために用いられる。正投影ビューは、光線または投影線が実質的に平行になるように、そのサイズに対して対象物から遠い距離に配置され、比較的長い焦点距離を有する（仮想の）カメラによって近似された平行射影を含む。正投影ビューは、奥行を有しておらず、または、固定の奥行を有しており、そのため、射影歪みが全くまたはほとんどない。したがって、オブジェクトの正投影ビューは、アンサンブルシーンまたは合成オブジェクトを指定する時に積木と同様に用いられてよい。任意の組みあわせのオブジェクトを含むアンサンブルシーンが、かかる正投影ビューを用いて指定または規定された後、シーンまたはそのオブジェクトは、図１～図３の記載に関して上述した任意ビュー生成技術を用いて任意の所望のカメラパースペクティブに変換されてよい。

【0040】

いくつかの実施形態において、図１のシステム１００のデータベース１０６に格納されたアセットの複数のビューは、アセットの１または複数の正投影ビューを含む。かかる正投影ビューは、三次元ポリゴンメッシュモデルからキャプチャ（例えば、撮影またはスキャン）もしくはレンダリングされてよい。あるいは、正投影ビューは、図１～図３の記載に関して上述した任意ビュー生成技術に従って、データベース１０６内で利用可能なアセットの他のビューから生成されてもよい。

【0041】

図４Ａ～図４Ｎは、アンサンブルまたは合成オブジェクトまたはシーンを生成するために、独立したオブジェクトが組み合わせられるアプリケーションの実施形態の例を示す。具体的には、図４Ａ～図４Ｎは、異なるユニットソファ構成を生成するために、様々な独立したソファ構成要素が組み合わせられる家具組み立てアプリケーションの一例を示す。

【0042】

図４Ａは、３つの独立したソファ構成要素（すなわち、左アーム付き一人掛け、アームなし二人掛け、および、右アーム付きシェーズロング）を示す斜視図の一例である。図４Ａの例における斜視図は各々、２５ｍｍの焦点距離を有する。図に見られるように、結果として生じる射影歪みが、互いに隣接させた構成要素のスタッキング（すなわち、構成要素の隣り合わせの配置）（これは、構成要素を含むユニットソファ構成を組み立てる時に望まれる場合がある）を妨げる。

【0043】

図４Ｂは、図４Ａと同じ３つの構成要素の正投影ビューの一例を示す。図に示すように、オブジェクトの正投影ビューは、モジュール式またはブロック状であり、隣り合わせにスタックまたは配置されるのに適している。しかしながら、奥行情報が、正投影ビューでは実質的に失われる。図に見られるように、図４Ａでは、特にシェーズロングに関して、奥行の差が見られるが、正投影ビューでは、３つとも同じ奥行を有するように見える。

【0044】

図４Ｃは、合成オブジェクトを規定するために、図４Ｂの３つの構成要素の正投影ビューを組み合わせた一例を示す。すなわち、図４Ｃは、図４Ｂの３つの構成要素の正投影ビューを隣り合わせに配置することによるユニットソファの正投影ビューの生成を示している。図４Ｃに示すように、３つのソファ構成要素の正投影ビューの境界ボックスが互いに隣接してぴったりと合うことで、ユニットソファの正投影ビューが作成される。すなわち、構成要素の正投影ビューは、シーン内での構成要素のユーザフレンドリーな操作と、正確な配置とを容易にする。

【0045】

図４Ｄおよび図４Ｅは各々、図１～図３の記載に関して上述した任意ビュー生成技術を用いて、図４Ｃの合成オブジェクトの正投影ビューを任意カメラパースペクティブに変換した一例を示す。すなわち、図４Ｄおよび図４Ｅの各例において、合成オブジェクトの正投影ビューが、奥行を正確に描写する通常のカメラパースペクティブに変換されている。図に示すように、正投影ビューでは失われていた一人掛けおよび二人掛けに対するシェーズロングの相対的な奥行が、図４Ｄおよび図４Ｅの斜視図で見えるようになっている。

【0046】

図４Ｆ、図４Ｇ、および、図４Ｈは、それぞれ、左アーム付き一人掛け、アームなし二人掛け、および、右アーム付きシェーズロングの複数の正投影ビューの例を示す。上述のように、アセットの任意の数の異なるビューまたはパースペクティブが、図１のシステム１００のデータベース１０６に格納されていてよい。図４Ｆ～図４Ｈのセットは、別個にキャプチャまたはレンダリングされてデータベース１０６に格納された各アセットの周りの異なる角度に対応する２５の正射影ビューを含んでおり、それらの正射影ビューから、オブジェクトの任意の組み合わせの任意の任意ビューが生成されうる。家具組み立てアプリケーションにおいて、例えば、上面ビューは、床面配置に有用でありうるが、前面ビューは、壁面配置に有用でありうる。いくつかの実施形態において、よりコンパクトな参照データセットを維持するために、所定の数の正投影ビューのみが、データベース１０６内にアセットに対して格納され、そこからアセットの任意の任意ビューが生成されてよい。

【0047】

図４Ｉ～図４Ｎは、オブジェクトの任意の組みあわせの任意ビューまたはパースペクティブを生成する様々な例を示す。具体的には、図４Ｉ～図４Ｎの各々は、複数の別個のソファオブジェクトまたは構成要素を含むユニットソファの任意パースペクティブまたは任意ビューの生成を示している。各任意ビューは、例えば、図１～図３の記載に関して上述した任意ビュー生成技術を用いて、アンサンブルビューまたは合成オブジェクトを構成するオブジェクトの１または複数の正投影（またはその他の）ビューを任意ビューに変換し、任意ビューを埋めるためにピクセルを取り入れ、場合によっては任意の残りの不足ピクセルを補間することによって、生成されてよい。

【0048】

上述のように、データベース１０６内のアセットの各画像またはビューは、対応するメタデータ（相対的なオブジェクトおよびカメラの位置および向きの情報ならびに照明情報など）と共に格納されていてよい。メタデータは、アセットの三次元ポリゴンメッシュモデルからビューをレンダリングする時、アセットを撮像またはスキャンする時（この場合、奥行および／または面法線のデータが推定されてよい）、または、それら両方を組み合わせた時に、生成されてよい。

【0049】

アセットの所定のビューまたは画像が、画像を含む各ピクセルのピクセル強度値（例えば、ＲＧＢ値）と、各ピクセルに関連する様々なメタデータパラメータとを含む。いくつかの実施形態において、ピクセルの赤、緑、および、青（ＲＧＢ）のチャネルまたは値の内の１または複数が、ピクセルメタデータを符号化するために用いられてよい。ピクセルメタデータは、例えば、そのピクセルに投影される三次元空間内の点の相対的な場所または位置（例えば、ｘ、ｙ、および、ｚ座標値）に関する情報を含んでよい。さらに、ピクセルメタデータは、その位置における面法線ベクトルに関する情報（例えば、ｘ、ｙ、および、ｚ軸となす角度）を含んでもよい。また、ピクセルメタデータは、テクスチャマッピング座標（例えば、ｕおよびｖ座標値）を含んでもよい。かかる場合、点における実際のピクセル値は、テクスチャ画像における対応する座標のＲＧＢ値を読み取ることによって決定される。

【0050】

面法線ベクトルは、生成された任意ビューまたはシーンの照明の修正または変更を容易にする。より具体的には、シーンの照明変更は、ピクセルの面法線ベクトルが、新たに追加、削除、または、その他の方法で変更された光源の方向にどれだけうまく一致するか（例えば、光源方向とピクセルの法線ベクトルとのドット積によって、少なくとも部分的に定量化されうる）に基づいて、ピクセル値をスケーリングすることを含む。テクスチャマッピング座標を用いてピクセル値を規定すると、生成された任意ビューまたはシーンもしくはその一部のテクスチャの修正または変更が容易になる。より具体的には、テクスチャは、参照されたテクスチャ画像を、同じ寸法を有する別のテクスチャ画像と単に交換または置換することによって変更されることができる。

【0051】

開示されている任意ビュー生成技術は、効果的に、比較的低い計算コストのパースペクティブ変換および／またはルックアップ動作に基づいている。任意（アンサンブル）ビューは、正しいピクセルを単に選択し、生成される任意ビューをそれらのピクセルで適切に埋めることによって生成されてよい。いくつかの場合、ピクセル値は、例えば、照明が調整されている場合に、任意選択的にスケーリングされてよい。開示されている技術の低いストレージオーバヘッドおよび処理オーバヘッドは、生成の元となる高精細度の参照ビューと同等の品質で、複雑なシーンの任意ビューを高速、リアルタイム、または、オンデマンドで生成することを容易にする。

【0052】

上述のように、いくつかの実施形態においてアンサンブルまたは合成オブジェクトまたはシーンを組み立てることは、正投影ビューを用いて、アンサンブルを構成する複数のオブジェクトアセットを指定することを含む。正投影ビューは、アンサンブルシーンにおける複数のオブジェクトまたはアセットの正確な配置および整列を容易にする。次いで、アンサンブルシーンの正投影ビューが、例えば、任意の望ましいまたは要求されたパースペクティブを生成するために、任意の任意カメラパースペクティブに変換されてよい。アンサンブルビューを所定のカメラパースペクティブへ変換することは、上述の技術を用いて、アンサンブルシーンを構成する複数のオブジェクトまたはアセットの各々を所定のパースペクティブへ個別に変換することを含んでよい。任意アンサンブルビューを生成するための上述の技術は、比較的効率的であるが、さらにいっそう効率的であることが、エンドユーザにはほとんど検出できない待ち時間ペナルティで、ほとんど即時または少なくとも非常に高速に、出力を生成することが有利である特定のアプリケーション（例えば、インタラクティブでリアルタイムな体験をユーザに提供するアプリケーションなど）で望ましい場合がある。

【0053】

いくつかの実施形態において、効率のさらなる改善が、アンサンブルシーンを構成する複数のオブジェクトまたはアセットの大部分（例えば、その正投影ビューまたはその他のビュー）を所定の任意パースペクティブに変換することに関連する処理を排除することによって、少なくとも部分的に促進されてもよい。その代わり、アンサンブルシーン内のオブジェクトまたはアセットの所定の位置および向きについて所定の任意パースペクティブに最も近くまたは最も類似したオブジェクトまたはアセットの利用可能な既存ビューが、所定の任意パースペクティブを表す出力アンサンブルビューまたは画像を生成する時に、オブジェクトまたはアセットに対して用いられる。ほとんどの場合、結果として得られる出力アンサンブルビューは、完全にパースペクティブが正確なわけではないが、多くのアプリケーションにとって許容可能であり完全にパースペクティブの正確な出力を生成するよりも大幅に短い待ち時間で生成される適切な近似を提供する。次に、アンサンブルを構成する１または複数のオブジェクトまたはアセットのすでに存在する参照ビューの最大限に量子化されたサブセットを用いた、任意カメラ姿勢に対する任意アンサンブルビューのかかる近似の生成について、さらに詳しく記載する。

【0054】

図５は、任意アンサンブルビューを生成するための処理の一実施形態を示すハイレベルフローチャートである。いくつかの実施形態において、処理５００は、アンサンブルシーンを構成する（大部分または全部ではないとしても）少なくとも１または複数のオブジェクトまたはアセットの単一の最良一致既存ビューを適切に組みあわせまたは合成することに少なくとも部分的に基づいて、アンサンブルシーンの出力画像を効率的に生成するために用いられる。

【0055】

処理５００は、アンサンブルシーンの所定のパースペクティブの要求が受信される工程５０２において始まる。アンサンブルシーンの要求された所定のパースペクティブは、アンサンブルシーンに関して選択されまたは他の方法で指定されたカメラパースペクティブを含んでおり、一般に、任意の任意ビューを含んでよい。所与の文脈での任意ビューは、仕様またはカメラ姿勢が要求の前に予めわかっていないシーンの任意の所望のビューまたはパースペクティブを含む。アンサンブルシーンは、複数の独立したオブジェクトまたはアセットの複合ビューを含む。一般に、独立したオブジェクトまたはアセットの仕様は、異なるカメラパースペクティブおよび対応するメタデータを有する個々のオブジェクトまたはアセットの既存参照画像またはビューのセットを含んでおり、その内の１または複数が、オブジェクトまたはアセットに関連するアンサンブルシーンの一部を生成または指定するために用いられてよい。いくつかの実施形態において、工程５０２の要求は、アンサンブルシーン空間におけるカメラアングルまたはカメラ姿勢の操作、および／または、合成シーンまたはアンサンブルシーンを作成するための複数のオブジェクトまたはアセットの配置、を容易にするインタラクティブなモバイルまたはウェブベースのアプリケーションから受信される。例えば、要求は、視覚化アプリケーションまたはモデリングアプリケーションもしくは拡張現実（ＡＲ）アプリケーションから受信されてよい。いくつかの実施形態において、正投影ビューは、アンサンブルシーンを構成する複数のオブジェクトまたはアセットのより容易な操作、配置、および、整列を容易にするので、工程５０２の要求は、アンサンブルシーンの正投影ビューに関して受信される。

【0056】

工程５０４では、最も近くまたは最も類似した一致既存参照画像またはビューが、アンサンブルシーンを構成する１または複数のオブジェクトまたはアセットの少なくとも一部の各々に対して選択される。工程５０４では、アンサンブルシーンを構成する個々または独立したオブジェクトまたはアセットに対して、順次および／または並列に実行されてよい。いくつかの実施形態において、アンサンブルシーン空間におけるオブジェクトまたはアセットの所与の姿勢のために要求された所定のパースペクティブに最良一致する１つのみすなわち単一の既存参照画像またはビューが、オブジェクトまたはアセットに対して選択される。アンサンブルシーン空間は、適切な方法で規定された所定の原点（アンサンブルシーンの中心（例えば、重心）など）を有するアンサンブルシーン座標系を備える。工程５０４では、アンサンブルシーンを構成するオブジェクトまたはアセットに対して最も近い一致既存参照画像またはビューを選択するために、アンサンブルシーン座標系に関するオブジェクトまたはアセットの位置ならびに向きまたは姿勢が決定され、その後、オブジェクトまたはアセットの既存参照画像またはビューに関連付けられた個々の座標系における等価の姿勢に転換または変換またはその他の方法で相関される。したがって、最も近い一致既存参照画像またはビューが工程５０４において選択されうるように、比較的低い計算の複雑性を有する単純なカメラメトリクス計算が、アンサンブルシーンにおいて要求されたパースペクティブならびに相対的なオブジェクトまたはアセットの姿勢に基づいて実行される。

【0057】

１または複数の基準および／または閾値が、オブジェクトまたはアセットに対する最も近い一致既存参照画像またはビューを決定または特定するために規定されてよい。いくつかの場合、既存参照画像またはビューは、１または複数のかかる閾値が満たされた場合にのみ、工程５０４において選択される。理想的な場合、完全な一致が、工程５０４において見つけられて選択される。しかしながら、いくつかの場合において、利用可能な既存参照画像データセットが不完全すぎる場合（オブジェクトまたはアセットの利用可能な既存参照画像またはビューが、要求されたパースペクティブとかなり異なっている場合、など）、もしくは、オブジェクトまたはアセットに対して利用可能な参照画像またはビューが存在しない場合には、１または複数の選択基準および／または閾値が満たされえない。いくつかのかかる場合に、オブジェクトまたはアセットの最も近い一致プレースホルダまたはゴースト画像またはビューが、工程５０４において代わりに選択される。かかるプレースホルダ画像またはビューは、オブジェクトまたはアセットの形状を表すが、その他の属性（テクスチャおよび光学特性など）を欠いている。いくつかの実施形態において、オブジェクトまたはアセットの周りの十分な密度の可能なビューのセットに及ぶ（例えば、オブジェクトまたはアセットの周りの３６０°を網羅する角度を含む）１セットのプレースホルダ画像が、比較的計算の複雑性が低いレンダリング技術を用いて、各固有のオブジェクト形状に対して生成および格納される。プレースホルダは、オブジェクトまたはアセットの完全にレンダリングされたバージョンが、利用不可能であり、または、要求されたパースペクティブから許容できないズレを示している時に利用される。

【0058】

工程５０６では、アンサンブルシーンの出力画像が、少なくとも部分的には、工程５０４において選択されたアンサンブルシーンを構成するオブジェクトまたはアセットの最も近い一致既存参照画像またはビューを適切に組みあわせまたは合成することによって、要求された所定のパースペクティブに対して生成される。工程５０６では、オブジェクトまたはアセットに対して選択された最も近い一致既存参照画像またはビューを適切にスケーリングまたはリサイズする工程、および／または、オブジェクトまたはアセットに対して選択された最も近い一致既存参照画像またはビューをペーストまたは合成するアンサンブルビュー内の場所または位置を決定する工程、を含んでよい。ほとんどの場合、アンサンブルシーンの生成済みの出力画像は、要求された所定のパースペクティブを厳密に近似する。アンサンブルシーンを構成するほとんどのオブジェクトまたはアセットは、それらに最も近くまたは最も類似した利用可能な既存の姿勢を持つ出力画像に表現されるので、これらのオブジェクトまたはアセットは、厳密にレンダリングまたは生成されないため、パースペクティブが完全に正確ではない。すなわち、ほとんどの場合、これらのオブジェクトまたはアセットは、利用可能な既存画像またはビューの中で完全な一致が見出されない限りは、出力画像において、要求された所定のパースペクティブを持たない。かかるオブジェクトまたはアセットの消失点のすべてが出力画像内の同じ点に向かうわけではないが、オブジェクトまたはアセットは、ほとんどの場合、出力画像をほとんどの部分で正確なパースペクティブとして認識するように人間の視覚系を錯覚させるのに十分に小さい量（例えば、数度）だけ、オフセットまたは傾斜される。

【0059】

アンサンブルシーンの出力画像における一貫性は、さらに、全体的に一貫した方法または同様の方法でアンサンブルシーンの少なくともいくつかの部分を生成することによって促進され、これは、さらに、人間が出力画像を実質的に視覚的に正確なものとして解釈することを容易にする。例えば、アンサンブルシーンを構成する１または複数のオブジェクトまたはアセット、ならびに／もしくは、アンサンブルシーンを構成する（平坦なまたはその他の）表面、構造要素、全体的特徴などは、パースペクティブが正確であるように、すなわち、要求されたパースペクティブの近似ではなく、要求された所定のパースペクティブを有するように、厳密にレンダリングまたは生成されうる。例えば、アンサンブルシーンが、部屋などの空間を含む場合、壁、天井、床、ラグ、壁掛け、などは、要求されたパースペクティブのカメラ姿勢を用いて生成されうるため、工程５０６において生成されるアンサンブルシーンの出力画像内に正確に表現されうる。さらに、アンサンブルシーンの出力画像は、例えば、利用可能なメタデータ（面法線ベクトルなど）を用いて照明変更する時に、同様の一貫した方法でシーンのすべての部分に影響を与えるグローバルな照明位置を備えてよい。したがって、グローバルな方法またはパースペクティブを修正する方法でアンサンブルビューのいくつかの部分を生成し、アンサンブルビューを構成するほとんどの独立したオブジェクトを最良近似として表現することにより、多くの場合で完全にパースペクティブの正確なバージョンからほとんど見分けられない出力が生成される。いくつかの場合、何らかの傾斜が見られうるが、デザイナーまたはユーザが、パースペクティブの正確さに関係なく、オブジェクトまたはアセットのアンサンブルを見ることで恩恵を受けるムードボードアプリケーションまたは空間／部屋計画アプリケーションなど、完全に正確なビューを必要としない特定のアプリケーションでは、それでも許容可能でありうる。とは言え、利用可能な既存の画像またはビューのリポジトリまたはデータベースが、時間と共に増大するにつれて、開示されている技術は、要求された所定のパースペクティブをますます正確に表現する出力を生成し続ける。最適な場合では、すべてのオブジェクトまたはアセットに対して完全な一致が見つかり、近似ではなく、要求された所定のパースペクティブを実際に有する出力画像を生成するために用いられる。

【0060】

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示されている実施形態は、例示であり、限定するものではない。

【図1】