知財求人 - 知財ポータルサイト「IP Force」
▶ ディズニー エンタープライゼス インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-07
(45)【発行日】2024-02-16
(54)【発明の名称】深度レンダリングからのデジタルオブジェクトの立体表現
(51)【国際特許分類】
G06T 17/20 20060101AFI20240208BHJP
【ＦＩ】
G06T17/20
【請求項の数】
24
【外国語出願】
(21)【出願番号】P 2022028645
(22)【出願日】2022-02-25
(65)【公開番号】P2022151661
(43)【公開日】2022-10-07
【審査請求日】2022-06-08
(31)【優先権主張番号】17/211,724
(32)【優先日】2021-03-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504399716
【氏名又は名称】ディズニー エンタープライゼス インコーポレイテッド
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100164448
【弁理士】
【氏名又は名称】山口 雄輔
(72)【発明者】
【氏名】デーン エム コッフィ
(72)【発明者】
【氏名】シロベルト スケルボ
(72)【発明者】
【氏名】ダニエル エル ベイカー
(72)【発明者】
【氏名】マーク アール マイン
(72)【発明者】
【氏名】エヴァン エム ゴールドバーグ
【審査官】村松 貴士
(56)【参考文献】
【文献】特表２０１８－５３６９１５（ＪＰ，Ａ）
【文献】特開２０１５－０９５０００（ＪＰ，Ａ）
【文献】特開２０２１－０２６７５９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２４３３９３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １５／００ － １９／２０
(57)【特許請求の範囲】
【請求項1】
画像処理システムであって、処理ハードウェアを有するコンピューティングプラットフォームと、ディスプレイと、ソフトウェアコードを格納するシステムメモリと、を備え、
前記処理ハードウェアは前記ソフトウェアコードを実行するように構成されて、
デジタルオブジェクトに向けられた複数の仮想カメラで前記デジタルオブジェクトを囲むことを行い、前記デジタルオブジェクトは、三次元（３Ｄ）デジタルオブジェクトであり、前記複数の仮想カメラは所定の複数であり、前記複数の仮想カメラで前記デジタルオブジェクトを囲むことは、
前記デジタルオブジェクトを囲む少なくとも１つの閉じた表面を生成し、
前記デジタルオブジェクトの表面上の複数の点の各々から前記少なくとも１つの閉じた表面の表面に向かって複数のオクルージョン光線を投射し、結果として複数の交点が生じ、
各々が前記複数の仮想カメラの１つにそれぞれ対応する複数のカメラ位置を識別するために、前記複数の仮想カメラおよび前記少なく１つの閉じた表面上の前記複数の交点の表面密度に基づいて、前記複数の交点をクラスタリングし、および、
前記複数のカメラ位置で前記複数の仮想カメラを生成し、
前記複数の仮想カメラの各々を使用して、前記複数の仮想カメラの各々の、前記デジタルオブジェクトからの距離を識別する深度マップをレンダリングし、
前記深度マップを使用して、前記複数の仮想カメラの各々のパースペクティブからの前記デジタルオブジェクトの立体パースペクティブを生成し、結果として前記デジタルオブジェクトの対応する複数の立体パースペクティブが生じ、
前記デジタルオブジェクトの立体表現を形成するために、前記デジタルオブジェクトの前記複数の立体パースペクティブをマージし、
前記デジタルオブジェクトの前記立体表現をレンダリング可能な形態に変換する、画像処理システム。
【請求項2】
請求項１に記載の画像処理システムであって、前記デジタルオブジェクトの前記立体表現は、前記デジタルオブジェクトの外部から見える詳細のみを含む、画像処理システム。
【請求項3】
請求項１に記載の画像処理システムであって、前記デジタルオブジェクトの前記複数の立体パースペクティブをマージするために、前記処理ハードウェアは前記ソフトウェアコードを実行するように更に構成されて、前記デジタルオブジェクトの前記複数の立体パースペクティブの各々の符号付き距離関数（ＳＤＦ）表現を決定し、結果として対応する複数のＳＤＦ表現が生じ、および、
前記デジタルオブジェクトの前記立体表現を形成するために、ブール交差演算を使用して、複数の前記ＳＤＦ表現を結合する、画像処理システム。
【請求項4】
請求項１に記載の画像処理システムであって、前記デジタルオブジェクトの前記立体表現は、第１ボクセルサイズを有する第１領域、および前記第１ボクセルサイズとは異なる第２ボクセルサイズを有する第２領域を含む、画像処理システム。
【請求項5】
請求項１に記載の画像処理システムであって、前記処理ハードウェアは前記ソフトウェアコードを実行するように更に構成されて、前記デジタルオブジェクトのダウンサンプリングされた立体表現を制作するために、前記デジタルオブジェクトの前記立体表現をデシメートし、
前記デジタルオブジェクトの前記ダウンサンプリングされた立体表現は、第１領域および第２領域を含み、前記第１領域は前記第２領域よりも少なくデシメートされている、画像処理システム。
【請求項6】
請求項１に記載の画像処理システムであって、前記複数の仮想カメラの各々のパースペクティブの視野は、前記デジタルオブジェクトの複数の画素を含み、前記深度マップは、前記複数の画素の各々からの前記複数の仮想カメラの各々の距離を識別し、前記処理ハードウェアは前記ソフトウェアコードを実行するように更に構成されて、
前記深度マップが、前記複数の画素の少なくともいくつかの各々からの、前記複数の仮想カメラのそれぞれ１つの距離に対応する複数の深度値を識別するように、前記複数の画素の前記少なくともいくつかに対してディープレンダリングを行う、画像処理システム。
【請求項7】
請求項１に記載の画像処理システムであって、前記処理ハードウェアは前記ソフトウェアコードを実行するように更に構成されて、前記複数の仮想カメラの少なくとも１つのパースペクティブからの前記デジタルオブジェクトの二次元のバウンディングボックスに基づいて、前記複数の仮想カメラの少なくとも１つのレンズパラメータを調整する、画像処理システム。
【請求項8】
処理ハードウェアを有するコンピューティングプラットフォームと、ディスプレイと、ソフトウェアコードを格納するシステムメモリと、を含む画像処理システムによって使用する方法であって、前記方法は、前記処理ハードウェアによって実行する前記ソフトウェアコードによって、デジタルオブジェクトに向けられた複数の仮想カメラで前記デジタルオブジェクトを囲むステップであって、前記デジタルオブジェクトは、三次元（３Ｄ）デジタルオブジェクトであり、前記複数の仮想カメラは所定の複数であり、前記複数の仮想カメラで前記デジタルオブジェクトを囲むステップは、
前記デジタルオブジェクトを囲む少なくとも１つの閉じた表面を生成し、
前記デジタルオブジェクトの表面上の複数の点の各々から前記少なくとも１つの閉じた表面の表面に向かって複数のオクルージョン光線を投射し、結果として複数の交点が生じ、
各々が前記複数の仮想カメラの１つにそれぞれ対応する複数のカメラ位置を識別するために、前記複数の仮想カメラおよび前記少なく１つの閉じた表面上の前記複数の交点の表面密度に基づいて、前記複数の交点をクラスタリングし、および、
前記それぞれの複数のカメラ位置で前記複数の仮想カメラを生成する、
前記デジタルオブジェクトを囲むステップと、
前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記複数の仮想カメラの各々を使用して、前記複数の仮想カメラの各々の、前記デジタルオブジェクトからの距離を識別する深度マップをレンダリングするステップと、
前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記深度マップを使用して、前記複数の仮想カメラの各々のパースペクティブからの前記デジタルオブジェクトの立体パースペクティブを生成し、結果として前記デジタルオブジェクトの複数の立体パースペクティブが生じるステップと、
前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記デジタルオブジェクトの立体表現を形成するために、前記デジタルオブジェクトの対応する前記複数の立体パースペクティブをマージするステップと、
前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記デジタルオブジェクトの前記立体表現をレンダリング可能な形態に変換するステップと、を含む、方法。
【請求項9】
請求項８に記載の方法であって、前記デジタルオブジェクトの前記立体表現は、前記デジタルオブジェクトの外部から見える詳細のみを含む、方法。
【請求項10】
請求項８に記載の方法であって、前記デジタルオブジェクトの前記複数の立体パースペクティブをマージするステップは、前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記デジタルオブジェクトの前記複数の立体パースペクティブの各々の符号付き距離関数（ＳＤＦ）表現を決定し、結果として対応する複数のＳＤＦ表現が生じるステップ、および、
前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記デジタルオブジェクトの前記立体表現を形成するために、ブール交差演算を使用して、複数の前記ＳＤＦ表現を結合するステップを更に含む、方法。
【請求項11】
請求項８に記載の方法であって、前記デジタルオブジェクトの前記立体表現は、第１ボクセルサイズを有する第１領域、および前記第１ボクセルサイズとは異なる第２ボクセルサイズを有する第２領域を含む、方法。
【請求項12】
請求項８に記載の方法であって、前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記デジタルオブジェクトのダウンサンプリングされた立体表現を制作するために、前記デジタルオブジェクトの前記立体表現をデシメートするステップを更に含み、
前記デジタルオブジェクトの前記ダウンサンプリングされた立体表現は、第１領域および第２領域を含み、前記第１領域は前記第２領域よりも少なくデシメートされている、方法。
【請求項13】
請求項８に記載の方法であって、前記複数の仮想カメラの各々のパースペクティブの視野は、前記デジタルオブジェクトの複数の画素を含み、前記深度マップは、前記複数の画素の各々からの前記複数の仮想カメラの各々の距離を識別し、前記方法は、前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記深度マップが、前記複数の画素の少なくともいくつかの各々からの、前記複数の仮想カメラのそれぞれ１つの距離に対応する複数の深度値を識別するように、前記複数の画素の少なくともいくつかに対してディープレンダリングを行うステップを更に含む、方法。
【請求項14】
請求項１３に記載の方法であって、前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記複数の仮想カメラの少なくとも１つのレンズパラメータを調整するステップを更に含み、前記調整するステップは、前記複数の仮想カメラの少なくとも１つの前記パースペクティブからの前記デジタルオブジェクトの二次元のバウンディングボックスに基づく、方法。
【請求項15】
画像処理システムであって、処理ハードウェアを含むコンピューティングプラットフォームと、デジタルオブジェクトに向けられた複数の仮想カメラの位置決めを最適化するように構成されたソフトウェアコードを格納するシステムメモリと、を備え、
前記処理ハードウェアは前記ソフトウェアコードを実行するように構成されて、
前記デジタルオブジェクトを囲む少なくとも１つの閉じた表面を生成し、
前記デジタルオブジェクトの表面上の複数の点の各々から前記少なくとも１つの閉じた表面に向かって複数のオクルージョン光線を投射し、結果として複数の交点が生じ、
前記複数の仮想カメラの各々のためのそれぞれの複数のカメラ位置を識別するために、前記複数の仮想カメラおよび前記少なく１つの閉じた表面上の前記複数の交点の表面密度に基づいて、前記交点をクラスタリングし、および、
前記それぞれの複数のカメラ位置で前記複数の仮想カメラを生成する、画像処理システム。
【請求項16】
請求項１５に記載の画像処理システムであって、前記処理ハードウェアは前記ソフトウェアコードを実行するように更に構成されて、前記複数の仮想カメラの少なくとも１つのパースペクティブからの前記デジタルオブジェクトの二次元のバウンディングボックスに基づいて、前記複数の仮想カメラの少なくとも１つのレンズパラメータを調整する、画像処理システム。
【請求項17】
請求項１５に記載の画像処理システムであって、前記少なくとも１つの閉じた表面は球体を備え、前記球体は、同じ焦点距離を共有して前記球体上に位置する前記複数の仮想カメラのいずれかが、前記複数の仮想カメラのいずれかのパースペクティブから前記デジタルオブジェクトの境界を見ることになるような半径を有する、画像処理システム。
【請求項18】
処理ハードウェアを有するコンピューティングプラットフォームと、デジタルオブジェクトに向けられた複数の仮想カメラの位置決めを最適化するためのソフトウェアコードを格納するシステムメモリと、を含む画像処理システムによって使用する方法であって、前記方法は、前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記デジタルオブジェクトを囲む少なくとも１つの閉じた表面を生成するステップと、
前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記デジタルオブジェクトの表面上の複数の点の各々から前記少なくとも１つの閉じた表面に向かって複数のオクルージョン光線を投射し、結果として複数の交点が生じるステップと、
前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記複数の仮想カメラの各々のためのそれぞれの複数のカメラ位置を識別するために、前記複数の仮想カメラおよび前記少なく１つの閉じた表面上の前記複数の交点の表面密度に基づいて、前記交点をクラスタリングするステップと、
前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記それぞれの複数のカメラ位置で前記複数の仮想カメラを生成するステップと、を含む、方法。
【請求項19】
請求項１８に記載の方法であって、前記処理ハードウェアによって実行する前記ソフトウェアコードによって、前記複数の仮想カメラの少なくとも１つのパースペクティブからの前記デジタルオブジェクトの二次元のバウンディングボックスに基づいて、前記複数の仮想カメラの少なくとも１つのレンズパラメータを調整するステップを更に含む、方法。
【請求項20】
請求項１８に記載の方法であって、前記少なくとも１つの閉じた表面は球体を備え、前記球体は、同じ焦点距離を共有して前記球体上に位置する前記複数の仮想カメラのいずれかが、前記複数の仮想カメラのいずれかのパースペクティブから前記デジタルオブジェクトの境界を見ることになるような半径を有する、方法。
【請求項21】
請求項１に記載の画像処理システムであって、前記デジタルオブジェクトは、第１のメッシュ要素数を有する第１のメッシュ表現で表され、前記レンダリング可能な形態は、前記第１のメッシュ要素数より少ない第２のメッシュ要素数を有する第２のメッシュ表現で表される、画像処理システム。
【請求項22】
請求項２１に記載の画像処理システムであって、前記第２のメッシュ要素数は、前記第１のメッシュ要素数より少なくとも１０倍少ない、画像処理システム。
【請求項23】
請求項８に記載の方法であって、前記デジタルオブジェクトは、第１のメッシュ要素数を有する第１のメッシュ表現で表され、前記レンダリング可能な形態は、前記第１のメッシュ要素数より少ない第２のメッシュ要素数を有する第２のメッシュ表現で表される、方法。
【請求項24】
請求項２３に記載の方法であって、前記第２のメッシュ要素数は、前記第１のメッシュ要素数より少なくとも１０倍少ない、方法。
【発明の詳細な説明】
【背景技術】
【0001】
コンテンツ制作パイプラインで使用される三次元のデジタルオブジェクトの種類は、非常に複雑である可能性がある。たとえば、キャラクターおよび他の芸術的資産（ａｔｒｉｓｔｉｃ ａｓｓｅｔｓ）のデジタルモデルは、典型的に、多くのパーツを有し、数百万以上のポリゴンを含むメッシュの形態になっている。デジタル資産の複雑性は、プレレンダリングされたコンテンツに対する課題がないわけではないが、大規模な計算ファーム上でオフラインレンダリングが長いという利点があるために、通常は処理できる。しかしながら、モバイルデバイス上またはゲームエンジンでの、このような高度に複雑なデジタル資産のリアルタイムレンダリングは、実用的ではない。その結果、これらの非常に複雑なデジタル資産は、モバイルプラットフォーム上またはゲームエンジンでの使用を可能にするために、大幅に単純化する必要がある。
【0002】
従来技術において、フィルム品質のデジタル資産の単純化には、その複雑性を軽減するために、１人または複数のアーティストによる資産のリモデリングが含まれることが多い。この手作業によるリモデリングは、人の参加に頼る部分が多いため、不所望に費用がかかり、かつ時間もかかる。その結果、当技術分野において、高度に複雑なフィルム品質のデジタルオブジェクトを、モバイルデバイス上およびゲームエンジンにおいてレンダリングされるほど単純なデジタルオブジェクトに変換するための、実質的に自動化されたソリューションへのニーズが存在する。モデルに対して自動的なデシメーションを実行する技術は存在する。しかしながら、ほとんどの実装形態は、重要なレンダリング時の詳細（例えば、変位マップ、プロシージャル等の適用など）を欠くソースジオメトリに対して作用する。
【図面の簡単な説明】
【0003】
【図1】一実装形態による、深度レンダリングからのデジタルオブジェクトの立体表現（ｖｏｌｕｍｅｔｒｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を実行するための例示的な画像処理システムを示す図である。
【図2】一実装形態による、深度レンダリングからのデジタルオブジェクトの立体表現を実行するための例示的な方法を提示するフローチャートである。
【図4】一実装形態による、デジタルオブジェクトを仮想カメラで囲むためのプロセスの、より詳細な概要を提示するフローチャートである。
【発明を実施するための形態】
【0004】
以下の説明は、本開示における実装に関連する特定の情報を含む。当業者は、本開示が、本明細書で具体的に記載されているものとは異なる態様で実装され得ることを認識するであろう。本出願の図面およびそれらに付随する詳細な説明は、単に例示的な実装に向けられている。特に明記しない限り、図中の同様のまたは対応する要素は、同様のまたは対応する参照符号によって示すことができる。さらに、本出願の図面およびイラストレーションは、概して、縮尺通りではなく、実際の相対的な寸法に対応することを意図していない。
【0005】
本出願は、従来技術の欠点と欠陥を克服する、深度レンダリングからのデジタルオブジェクトの立体表現を実行するためのシステムおよび方法を開示する。モデルの複雑性の低減を自動化する技術は存在する。しかしながら、従来のアプローチは、典型的に、重要なレンダリング時の詳細を欠いた、例えば、変位マップおよび手続き型ジオメトリ（ｐｒｏｃｅｄｕｒａｌ ｇｅｏｍｅｔｒｉｅｓ）の適用などを欠いたソースジオメトリに対して作用する。本出願で開示されるソリューションは、画像ベースの深度再構成アプローチを使用して、それら重要なレンダリング時の詳細を保持しながら、ゲームエンジンにおけるようなリアルタイムアプリケーションにおいて有利に使用できる、高度に複雑なデジタルオブジェクトのデジタル表現を生成するものである。本ソリューションは、オリジナルのデジタルオブジェクトの平坦な二次元（２Ｄ）レンダリングのみに依存し、オリジナルのデジタルオブジェクトの三次元（３Ｄ）メッシュ情報を必要としない。高度に複雑なオリジナルのデジタルオブジェクトの複雑性が低減された立体表現が、実質的に自動化されたプロセスにおいて、２Ｄ画像から再構成される。
【0006】
本出願で使用される場合、用語「自動化」、「自動化された」、および「自動化する」は、人間の介入を必要としないシステムおよびプロセスを指すことに留意されたい。いくつかの実装形態においては、人間のアーティストが、本明細書に記載のシステムによって制作されたデジタルオブジェクトの立体表現をレビューし、または修正することができる。しかしながら、その人間の関与は任意選択である。したがって、いくつかの実装形態において、本出願で記載される深度レンダリングからのデジタルオブジェクトの立体表現を実行するための方法は、それを実行するハードウェア処理コンポーネントの制御下で、実行することができる。
【0007】
さらに、本出願で使用される場合、表現「デジタルオブジェクト」は任意のデジタル要素を指し、一方で、表現「デジタル資産」はデジタルオブジェクトの別個の区別できる部分を指すことに留意されたい。さらに、表現「デジタルモデル」は、デジタルオブジェクトまたはデジタル資産の幾何学的なメッシュ表現を意味する。また、本明細書で使用される場合、「高度に複雑」という表現は、デジタルオブジェクト、デジタル資産、またはデジタルモデルを説明するために使用される際には、リアルタイムアプリケーションで使用するために十分に速くレンダリングできないほど広範囲な詳細のデジタルオブジェクト、デジタル資産、またはデジタルモデルを指すことにも留意されたい。
【0008】
図１は、深度レンダリングからのデジタルオブジェクトの立体表現を実行するための画像処理システムの１つの例示的な実装形態を示す図である。図１に示すように、画像処理システム１００は、処理ハードウェア１０４を有するコンピューティングプラットフォーム１０２と、ディスプレイ１１２と、コンピュータが読み取り可能な非一時的記憶媒体として実装されたシステムメモリ１０６と、を含む。更に図１に示すように、画像処理システム１００は、通信ネットワーク１１４、ディスプレイ１３２を含むワークステーション端末１３０、およびワークステーション端末１３０を利用するアーティストまたはユーザ１１８（以下「ユーザ１１８」）を含む利用環境に存在することができる。また、図１には、デジタルオブジェクト１３４、ソフトウェアコード１１０およびソフトウェアコード１１０によって制作されたデジタルオブジェクト１３４の立体表現１４６、ならびに通信ネットワーク１１４を介してワークステーション端末１３０および画像処理システム１００をインタラクティブに接続するネットワーク通信リンク１１６が示されている。
【0009】
ソフトウェアコード１１０およびデジタルオブジェクト１３４の立体表現１４６は、システムメモリ１０６に格納されるように描かれているが、より一般的には、システムメモリ１０６は、任意のコンピュータが読み取り可能な非一時的記憶媒体の形態を取り得ることに、更に留意されたい。本出願で使用される「コンピュータが読み取り可能な非一時的記憶媒体」という表現は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４などのコンピューティングプラットフォームのハードウェアプロセッサに、命令を供給する搬送波または他の一時的な信号を除く、任意の媒体を指す。したがって、コンピュータが読み取り可能な非一時的記憶媒体は、例えば、揮発性媒体および不揮発性媒体などの多様な種類の媒体に対応することができる。揮発性媒体は、ダイナミックランダムアクセスメモリ（ダイナミックＲＡＭ）などの動的メモリを含むことができる。一方で、不揮発性メモリは、光学、磁気、または静電記憶デバイスを含むことができる。コンピュータが読み取り可能な非一時的記憶媒体の一般的な形態には、例えば、光ディスク、ＲＡＭ、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能なＰＲＯＭ（ＥＰＲＯＭ）、およびフラッシュメモリが含まれる。
【0010】
さらに、図１は、ソフトウェアコード１１０およびデジタルオブジェクト１３４の立体表現１４６を、システムメモリ１０６に格納され、共にシステムメモリ１０６に配置されるものとして描いている。しかしながら、その表現も、単に、概念的に明確にするための補助として提供されているに過ぎない。より一般的には、画像処理システム１００は、例えばコンピュータサーバなどの１つまたは複数のコンピューティングプラットフォームを含むことができる。これらは、コロケーテッド（co-located）していてもよく、または、例えばクラウドベースのシステムのような、インタラクティブにリンクされているが分散されたシステムを形成してもよい。その結果、処理ハードウェア１０４およびシステムメモリ１０６は、システム１００内部の分散されたプロセッサおよびメモリリソースに対応することができる。したがって、いくつかの実装形態において、ソフトウェアコード１１０およびデジタルオブジェクト１３４の立体表現１４６を、システム１００の分散されたメモリリソース内部で、相互に遠隔で格納することができることが理解される。また、図１は、デジタルオブジェクト１３４の立体表現１４６がシステムメモリ１０６に存在するように描いているが、いくつかの実装形態では、デジタルオブジェクト１３４の立体表現１４６を、不揮発性ストレージにコピーできることにも留意されたい。
【0011】
処理ハードウェア１０４は、１つまたは複数の中央処理ユニット、１つまたは複数のグラフィックス処理ユニット、および１つまたは複数のテンソル処理ユニットなどの、複数のハードウェア処理ユニットを含むことができる。定義により、本出願で使用される場合、用語「中央処理ユニット」（ＣＰＵ）、「グラフィックス処理ユニット」（ＧＰＵ）、および「テンソル処理ユニット」（ＴＰＵ）は、当該技術分野における慣習的な意味を有する。すなわち、ＣＰＵは、コンピューティングプラットフォーム１０２の算術演算および論理演算を実行するための算術論路ユニット（ＡＬＵ）と、システムメモリ１０６からソフトウェアコード１１０などのプログラムを取り出すためのコントロールユニット（ＣＵ）と、を含む。一方、ＧＰＵは、計算集約的なグラフィックスまたは他の処理タスクを実行することによって、ＣＰＵの処理のオーバーヘッドを低減するために実装することができる。ＴＰＵは、機械学習のような人工知能（ＡＩ）処理のために特別に構成された特定用途向け集積回路（ＡＳＩＣ）である。
【0012】
いくつかの実装形態において、コンピューティングプラットフォーム１０２は、例えば、インターネットなどのパケット交換ネットワークを介してアクセス可能な、１つまたは複数のウェブサーバに対応することができる。代替的に、コンピューティングプラットフォーム１０２は、私的な広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）をサポートする１つまたは複数のコンピュータサーバに、または別のタイプの限定された配信または私的なネットワークに含まれる１つまたは複数のコンピュータサーバに、対応することができる。さらに、いくつかの実装形態において、通信ネットワーク１１４は、例えば１０ＧｉｇＥネットワークまたはインフィニバンドネットワークのような、ハイパフォーマンスコンピューティング（ＨＰＣ）に適した高速ネットワークとすることができる。
【0013】
ワークステーション端末１３０は、図１においてデスクトップコンピュータとして示されている。しかしながら、その表現は、同様に、単に例として提供されている。より一般的には、ワークステーション端末１３０は、ディスプレイ１３２を含み、本明細書においてワークステーション端末１３０に帰属する機能を実装するのに十分なデータ処理能力を実装する、任意の適切なモバイル型または据え付け型コンピューティング装置またはシステムとすることができる。例えば、他の実装形態では、ワークステーション端末１３０は、例えばラップトップコンピュータ、タブレットコンピュータ、またはスマートフォンの形態をとることができる。さらに、いくつかの実装形態では、ワークステーション端末１３０は、画像処理システム１００の周辺特徴として存在するダム端末とすることができる。それら後者の実装形態では、ワークステーション端末１３０のディスプレイ１３２は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４およびソフトウェアコード１１０によって制御することができる。
【0014】
画像処理システム１００のディスプレイ１１２およびワークステーション端末１３０のディスプレイ１３２に関して、ディスプレイ１１２および１３２は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、量子ドット（ＱＤ）ディスプレイ、または信号を光に物理変換する任意の他の適切なディスプレイスクリーンとして実装することができる。さらに、ディスプレイ１３２は、ワークステーション端末１３０と物理的に一体化されてもよいし、ワークステーション端末１３０と通信可能に結合されているが、ワークステーション端末１３０から物理的に分離されていてもよい。例えば、ワークステーション端末１３０がスマートフォン、ラップトップコンピュータ、またはタブレットコンピュータとして実装される場合、ディスプレイ１３２は、典型的には、ワークステーション端末１３０と一体化されるであろう。対照的に、ワークステーション端末１３０がデスクトップコンピュータとして実装される場合、ディスプレイ１３２は、コンピュータタワーの形態でワークステーション端末１３０から分離されたモニタの形態をとることができる。
【0015】
ソフトウェアコード１１０の機能は、図１、３Ａ、３Ｂ、および３Ｃと組み合わせて図２を参照することによって、更に説明される。図２は、一実装形態による、深度レンダリングからのデジタルオブジェクトの立体表現を実行するための例示的な方法を提示するフローチャート２００を示す。図３Ａ、３Ｂ、および３Ｃは、フローチャート２００に含まれる例示的な中間アクションを描く。図２に概説された方法に関して、本出願における発明の特徴の議論を不明瞭にしないために、特定の詳細および特徴がフローチャート２００から省略されていることに留意されたい。
【0016】
ここで、図２を図１と組み合わせて参照すると、フローチャート２００は、デジタルオブジェクト１３４を受信すること（アクション２１０）から始まる。デジタルオブジェクト１３４は、人間、キャラクター、動物、または無生物の、高度に複雑な３Ｄモデルとすることができる。図３Ａに示すように、例えば、いくつかの使用例において、デジタルオブジェクト３３４は、３Ｄの彫刻された胸像の形態をとることができる。デジタルオブジェクト３３４は、図１において、デジタルオブジェクト１３４に概して対応し、それらの対応する特徴は、本開示によっていずれかの特徴に帰着する特徴のいずれかを共有できることに留意されたい。デジタルオブジェクト１３４／３３４は、数百万、または数千万のポリゴン数を有する三角形メッシュまたは他のポリゴンメッシュによって表すことができる。具体例として、一実装形態において、デジタルオブジェクト１３４／３３４は、長編映画で使用するために作成された視覚効果（ＶＦＸ）デジタルオブジェクトとすることができる。
【0017】
デジタルオブジェクト１３４／３３４は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４によって実行される、ソフトウェアコード１１０によって、アクション２１０で受信することができる。図１に示すように、いくつかの実装形態では、デジタルオブジェクト１３４／３３４は、ワークステーション端末１３０、通信ネットワーク１１４、およびネットワーク通信リンク１１６を介して、ユーザ１１８から送信することができる。他の実装形態では、デジタルオブジェクト１３４／３３４は、システムメモリ１０６内部に格納し、システムメモリ１０６内部のデータ転送として、アクション２１０で受信することができる。
【0018】
フローチャート２００は、デジタルオブジェクト１３４／３３４に向けられた複数の仮想カメラ３４０ａおよび３４０ｂでデジタルオブジェクト１３４／３３４を囲むこと（アクション２２０）を、更に含む。デジタルオブジェクト１３４／３３４を仮想カメラで囲むことは、それらの仮想カメラの位置およびレンズパラメータを最適化することを含む。これは、図４、ならびに図５Ａ、５Ｂ、および５Ｃにおいて、フローチャート４２０を参照することにより、以下により詳細に説明されることに留意されたい。現在のところ、デジタルオブジェクト１３４／３３４が、デジタルオブジェクト１３４／３３４の外部特徴の各々が複数の仮想カメラの少なくとも１つによってキャプチャされ得るような位置を有する十分な数の仮想カメラによって囲まれている、すなわち、デジタルオブジェクト１３４／３３４の外部表面全体が、デジタルオブジェクト１３４／３３４を囲む複数の仮想カメラによって見ることができること、またはマッピングできることを理解すれば十分である。したがって、図３Ａは２つの仮想カメラ３４０ａおよび３４０ｂを示しているが、より一般的には、仮想カメラ３４０ａおよび３４０ｂは、デジタルオブジェクト１３４／３３４の固有のパースペクティブを有するように各々が配置された数十または数百の仮想カメラに対応することができる。さらに、仮想カメラ３４０ａおよび３４０ｂは、多様な異なるカメラ構成およびレンズパラメータを使用して実装することができる。例えば、一実装形態では、仮想カメラ３４０ａおよび３４０ｂは、パノラマカメラの形態をとることができる。アクション２２０は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４によって実行される、ソフトウェアコード１１０によって実行することができる。
【0019】
フローチャート２００は、仮想カメラ３４０ａおよび３４０ｂの各々を使用して、仮想カメラ３４０ａおよび３４０ｂの各々の、デジタルオブジェクト１３４／３３４からの距離を識別する深度マップをレンダリングすること（アクション２３０）を、更に含む。図３Ａは、仮想カメラ３４０ａのパースペクティブからのデジタルオブジェクト１３４／３３４の深度マップ３４２ａ、および仮想カメラ３４０ｂのパースペクティブからのデジタルオブジェクト１３４／３３４の深度マップ３４２ｂを示す。アクション２３０は、仮想カメラ３４０ａおよび３４０ｂの各々からデジタルオブジェクト１３４／３３４をレンダリングすることを含むが、デジタルオブジェクト１３４／３３４の照明の赤緑青（ＲＧＢ）色情報の代わりに、仮想カメラ３４０ａおよび３４０ｂの各々からデジタルオブジェクト１３４／３３４までの距離を記録するように、それぞれの深度マップ３４２ａおよび３４２ｂがレンダリングされていることに留意されたい。
【0020】
仮想カメラ３４０ａおよび３４０ｂの各々のパースペクティブの視野は、デジタルオブジェクト１３４／３３４の複数の画素を含むことに、更に留意されたい。いくつかの実装形態では、深度マップ３４２ａは、仮想カメラ３４０ａの視野に含まれるデジタルオブジェクト１３４／３３４の画素の各々からの仮想カメラ３４０ａの距離を識別し、一方深度マップ３４２ｂは、仮想カメラ３４０ｂの視野に含まれるデジタルオブジェクト１３４／３３４の画素の各々からの仮想カメラ３４０ｂの距離を識別する。
【0021】
デジタルオブジェクト１３４／３３４をより正確に再構成するために、「ディープレンダリング（deep rendering）」をサポートするレンダリングを使用することができる。ディープレンダリングは、サンプルの深度に応じて、画素ごとに複数のサンプルを格納する。ディープレンダリングは、より正確な深度情報を得ることができるように、大きな深度の不連続性が存在し得るデジタルオブジェクト１３４／３３４のエッジにおいて、特に有利であり得る。すなわち、いくつかの実装形態では、アクション２３０は、深度マップ３４２ａおよび３４２ｂが、それらの画素の少なくともいくつかの各々からのそれぞれの仮想カメラ３４０ａおよび３４０ｂの距離に対応する複数の深度値を識別するように、仮想カメラ３４０ａおよび３４０ｂのそれぞれの視野における画素の少なくともいくつかに対してディープレンダリングを行うことを含むことができる。アクション２３０は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４によって実行される、ソフトウェアコード１１０によって実行することができる。
【0022】
フローチャート２００は、深度マップ３４２ａおよび３４２ｂを使用して、仮想カメラ３４０ａおよび３４０ｂの各々のパースペクティブからのデジタルオブジェクト１３４／３３４の立体パースペクティブ（volumetric perspectives）を生成すること、結果としてデジタルオブジェクト１３４／３３４を囲む仮想カメラ３４０ａおよび３４０ｂの数に一致する数の立体パースペクティブが生じること（アクション２４０）を、更に含む。図３Ｂを参照すると、図３Ｂは、仮想カメラ３４０ａおよび３４０ｂのそれぞれのパースペクティブからの、立体パースペクティブ３４４ａおよび３４４ｂを示す。すなわち、仮想カメラ３４０ａおよび３４０ｂの各々について、それらの既知の位置ならびに深度マップ３４２ａおよび３４２ｂに含まれる深度レンダリング情報を使用して、デジタルオブジェクト１３４／３３４の立体パースペクティブ３４４ａおよび３４４ｂを生成することができる。立体パースペクティブ３４４ａおよび３４４ｂの生成は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４によって実行される、ソフトウェアコード１１０によって実行することができる。
【0023】
フローチャート２００は、デジタルオブジェクト１３４／３３４の立体表現を形成するために、デジタルオブジェクト１３４／３３４の立体パースペクティブ３４４ａおよび３４４ｂをマージすること（アクション２５０）を、更に含む。図３Ｃを参照すると、図３Ｃは、デジタルオブジェクト１３４／３３４の立体表現３４６を示す。立体表現３４６は、図１において、立体表現１４６に概して対応する。それらの対応する特徴は、本開示によっていずれかの特徴に帰着する特徴のいずれかを共有することができる。
【0024】
いくつかの実装形態において、例えば、デジタルオブジェクト１３４／３３４を囲む仮想カメラのパースペクティブから生成された立体パースペクティブの各々は、ブール交差演算を使用して共に結合することができる。さらに、立体パースペクティブに対して符号付き距離関数（ＳＤＦ）表現を使用すると、そのようなブール演算を、非常に効率的かつ信頼性の高いものにすることができる。また、立体表現１４６／３４６が、立体パースペクティブのすべてを結合することによる完璧な結果であることも保証する。したがって、アクション２５０は、デジタルオブジェクト１３４／３３４の立体パースペクティブの各々のＳＤＦ表現を決定すること、およびデジタルオブジェクト１３４／３３４の立体表現１４６／３４６を形成するために、ブール交差演算を使用して、それらの立体パースペクティブを結合することを含むことができる。アクション２５０は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４によって実行される、ソフトウェアコード１１０によって実行することができる。
【0025】
適切なボクセルサイズを使用することによって、立体表現１４６／３４６は、デジタルオブジェクト１３４／３３４のオリジナルのモデルの非常に正確な再構成となり得ることに留意されたい。使用されるボクセルサイズの適切さは、ソースレンダリングの画素解像度によって決定され得ることに、更に留意されたい。レンダリングのフィルム平面解像度は、理想的なボクセルサイズを通知する。デジタルオブジェクト１３４／３３４の立体表現１４６／３４６は、デジタルオブジェクト１３４／３３４の外部から見える詳細のみを含み、その内部の特徴を描写するデータを省略することにも留意されたい。その結果、立体表現１４６／３４６は、デジタルオブジェクト１３４／３３４のオリジナルのモデルよりも複雑性がはるかに少ない、デジタルオブジェクト１３４／３３４の著しく単純化された再現である。
【0026】
いくつかの使用例において、均一なボクセルサイズを使用するのではなく、立体表現１４６／３４６の異なる領域において、立体表現１４６／３４６を制作するために使用されるボクセルサイズを変えることによって、デジタルオブジェクト１３４／３３４のオリジナルのモデルに対して立体表現１４６／３４６を更に単純化することが、有利または望ましい場合がある。例えば、顔の特徴は、より小さいボクセルサイズを使用することによって改善することができる。一方、より均一な外部特徴に対応する領域は、表現の全体の品質を損なうことなく、より大きいボクセルサイズを使用して表現することができる。換言すると、いくつかの使用例では、デジタルオブジェクト１３４／３３４の立体表現１４６／３４６は、第１ボクセルサイズを有する第１領域、および第１ボクセルサイズとは異なる第２ボクセルサイズを有する第２領域を含むことができる。
【0027】
デジタルオブジェクト１３４／３３４のオリジナルのモデルと比較して立体表現１４６／３４６をまた更に単純化することが有利または望ましい実装形態において、フローチャート２００は、デジタルオブジェクト１３４／３３４のダウンサンプリングされた立体表現を制作するために、デジタルオブジェクト１３４／３３４の立体表現１４６／３４６をデシメートすること（アクション２６０）を、更に含むことができる。本願の目的のために定義される場合、用語「デシメート」、「デシメーション」、および「デシメートする」は、信号処理の技術における通常の、および慣用の意味を有することに留意されたい。すなわち、デシメーションは、データオブジェクトをダウンサンプリングまたは圧縮するプロセスである。したがって、アクション２６０では、結果としてデジタルオブジェクト１３４／３３４のオリジナルの高度に複雑なモデルと比較してデータがまばらな、デジタルオブジェクト１３４／３３４のダウンサンプリングされた立体表現が生じる。
【0028】
立体表現１４６／３４６のデシメーションは、コンピューティングプラットフォーム１０２の処理ハードウェア１０４によって実行される、ソフトウェアコード１１０によって実行することができる。立体表現１４６／３４６のいくつかの領域は、他の領域よりも、デシメーションの効果に対してより敏感とすることができる。例えば、立体表現の領域が軽くデシメートされる場合、顔の特徴はより良好に保存することができる。一方、より均一な外部特徴に対応する領域は、表現の全体の品質を損なうことなく、より積極的にデシメートすることができる。換言すると、いくつかの使用例において、デジタルオブジェクト１３４／３３４の立体表現１４６／３４６は、第１領域および第２領域を含み、第１領域は第２の領域よりも少なく（または多く）デシメートすることができる。
【0029】
したがって、立体表現１４６／３４６の複雑性が低減された表現、またはデジタルオブジェクト１３４／３３４のダウンサンプリングされた立体表現は、２つのアプローチの一方または両方を使用して達成することができる。１つのアプローチでは、異なるボクセルサイズを、立体表現１４６／３４６の異なる領域で使用することができる。第２アプローチでは、アクション２６０によって説明されるように、立体表現の選択的なデシメーションを実行することができる。本願の新規な概念および発明概念は、いずれかのアプローチまたは両方のアプローチの使用を含む。
【0030】
いくつかの実装形態において、フローチャート２００は、アクション２５０で形成されたデジタルオブジェクト１３４／３３４の立体表現１４６／３４６、またはアクション２６０で制作されたデジタルオブジェクト１３４／３３４のダウンサンプリングされた立体表現を、レンダリング可能な形態に変換すること（アクション２７０）で終了することができる。さらに、いくつかの実装形態において、アクション２７０は、ディスプレイ１１２上、またはワークステーション端末１３０のディスプレイ１３２上に、立体表現１４６／３４６またはデジタルオブジェクト１３４／３３４のダウンサンプリングされた立体表現をレンダリングすることを含むことができる。アクション２３０においてレンダリングされた深度マップは、有利にも、重要なレンダリング時の詳細を組み込み、レンダリング時に変位マップおよび手続き型ジオメトリの適用を可能にすることに留意されたい。アクション２７０は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４によって実行される、ソフトウェアコード１１０によって実行することができる。例えば、上述したように、いくつかの実装形態では、ワークステーション端末１３０は、画像処理システム１００の周辺特徴として存在するダム端末とすることができる。それら後者の実装形態では、ワークステーション端末１３０のディスプレイ１３２は、ソフトウェアコード１１０および処理ハードウェア１０４によって制御することができる。
【0031】
いくつかの実装形態において、アクション２７０はアクション２５０から直接に続くことができ、一方、アクション２６０は省略できることに留意されたい。しかしながら、他の実装形態では、アクション２７０は、アクション２５０に続くことのできるアクション２６０に続くことができることに留意されたい。また更に他の実装形態では、アクション２７０は、アクション２５０に続くことができ、アクション２６０に先行することができる。
【0032】
いくつかの実装形態において、フローチャート２００は、継続してよく、そしてアクション２５０で形成されたデジタルオブジェクト１３４／３３４の立体表現１４６／３４６、またはアクション２６０で制作されたデジタルオブジェクト１３４／３３４のダウンサンプリングされた立体表現を、デジタルオブジェクト１３４／３３４のメッシュ表現に変換すること（アクション２８０）で終了できる。いくつかのそのような実装形態では、アクション２８０は、立体表現１４６／３４６またはデジタルオブジェクト１３４／３３４のダウンサンプリングされた立体表現を、デジタルオブジェクト１３４／３３４のオリジナルの高度に複雑なモデルと比較して低減されたメッシュ要素数を有するデジタルオブジェクト１３４／３３４のメッシュ表現に変換することを含むことができる。
【0033】
本出願で定義されるように、特徴「メッシュ要素数」は、表面に適合するメッシュ表現に含まれる個々の表面構成要素の数を指すことに留意されたい。したがって、例として、三角形メッシュのメッシュ要素数はその三角形数であり、一方、より一般化されたポリゴンメッシュのメッシュ要素数はそのポリゴン数である。例えば上述のように、デジタルオブジェクト１３４／３３４は、数百万、または数千万のメッシュ要素数を有するメッシュによって表現することができる。対照的に、メッシュ表現への変換後、デジタルオブジェクト１３４／３３４の立体表現１４６／３４６、またはデジタルオブジェクト１３４／３３４のダウンサンプリングされた立体表現は、デジタルオブジェクト１３４／３３４のメッシュ表現のメッシュ要素数よりも、少なくとも一桁少ない、すなわち１０倍少ないメッシュ要素数を有することができる。
【0034】
アクション２８０は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４によって実行される、ソフトウェアコード１１０によって実行することができる。いくつかの実装形態において、アクション２８０は、アクション２５０から直接に続くことができ、一方、アクション２６０および２７０は省略できることに留意されたい。他の実装形態では、アクション２８０が先行して、アクション２６０がアクション２８０に続くことができ、アクション２７０を省略することができる。しかしながら、他の実装形態では、アクション２６０は省略することができ、アクション２８０は、アクション２５０に続くことのできるアクション２７０に先行することができる。また更に他の実装形態では、アクション２８０は、アクション２５０または２６０から直接に続くことができる。
【0035】
図４を参照すると、上述のように、図４は、一実装形態による、フローチャート２００におけるアクション２２０のより詳細な概要を提示するフローチャート４２０を示す。デジタルオブジェクト１３４／３３４に向けられた仮想カメラ３４０ａおよび３４０ｂの数は、いくつかの実装形態において、所定の数の仮想カメラであるように制約することができる。アクション２２０は、その制約に従うカメラの位置および配向を実質的に最適化するために実行できることに留意されたい。フローチャート４２０によって概説されるアクション４２１、４２２、４２３、４２４、および４２５（以下「アクション４２１～４２５」）を含むことができるアクション２２０は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４によって実行される、ソフトウェアコード１１０によって実行できることに更に留意されたい。
【0036】
図４に示すように、いくつかの実装形態において、アクション２２０は、デジタルオブジェクト１３４／３３４を囲む球体を生成することを含むことができる。球体は、同じ焦点距離を共有して球体上に位置する仮想カメラ３４０ａおよび３４０ｂのいずれかが、その仮想カメラのパースペクティブからデジタルオブジェクト１３４／３３４の境界を見ることになるような半径を有する（アクション４２１）。代替的に、仮想カメラ３４０ａおよび３４０ｂは、球体に限定されない形状を有する任意の１つまたは複数の閉じた表面上に配置することができる。それらの代替的な実装形態において、仮想カメラ３４０ａおよび３４０ｂは、デジタルオブジェクト１３４／３３４からのそれぞれの距離に基づいて、多様な焦点距離を有することができることに留意されたい。上述のように、デジタルオブジェクト１３４／３３４は、人間、キャラクター、動物、または無生物の、高度に複雑な３Ｄモデルとすることができる。図５Ａに示すように、例えば、いくつかの使用例において、デジタルオブジェクト５３４は、例えばイカのような３Ｄの軟体動物の形態をとることができる。
【0037】
デジタルオブジェクト５３４は、図１において、デジタルオブジェクト１３４／３３４に概して対応し、それらの対応する特徴は、本開示によってそれらの特徴のいずれかに帰着する特徴を共有できることに留意されたい。デジタルオブジェクト１３４／３３４と同様に、デジタルオブジェクト５３４は、数百万、または数千万のポリゴン数を有する三角形メッシュ、または他のポリゴンメッシュによって表すことができる。また図５Ａには、デジタルオブジェクト５３４を囲む球体５５０、球体５５０の表面５５２、およびデジタルオブジェクト５３４の表面上の点から投射されるオクルージョン光線（occlusion ray）が球体５５０の表面５５２と交差する点に対応する交点（球体５５０上の暗点として示される）が示される。さらに、図５Ａは、球体５５０の表面５５２における交点が、球体５５０の表面５５２にわたって、例示的な表面密度５５４によって表される可変表面密度を有することができることを示す。
【0038】
フローチャート４２０および図５Ａ、ならびに図５Ｂおよび図５Ｃを参照して説明される例示的な実装形態は、デジタルオブジェクト５３４が球体５５０によって囲まれることに言及するが、より一般的には、球体５５０は任意の１つまたは複数の閉じた表面に対応し、その一部またはすべてが異なる形状を仮定できることが強調される。さらに、球体５５０の表面５５２を参照して説明される交点は、より一般的には、デジタルオブジェクト５３４の表面から投射されるオクルージョン光線が、デジタルオブジェクト５３４を囲む１つまたは複数の閉じた表面の各々と交差する点の代表的なものである。
【0039】
引き続き、１つまたは複数の閉じた表面５５０が球体５５０の形態をとる例示的な実装形態を参照すると、アクション２２０は、デジタルオブジェクト４３４の表面上の複数の点の各々から、球体５５０の表面５５２に向かって複数のオクルージョン光線を投射し、結果として複数の交点が生じること（アクション４２２）を、更に含むことができる。アクション４２２においてオクルージョン光線が投射される点の数は、デジタルオブジェクト４３４の表面上の実質的にすべての点、またはこれらの点のサブセットを含むことができる。これは、例えば、所定のサブセットとすることができる。アクション４２２においてデジタルオブジェクト５３４の表面上の特定の点から投射されるオクルージョン光線の数は、その点に対する識別されたアンビエントオクルージョン値に依存できる。このようなアンビエントオクルージョン値は、デジタルオブジェクト５３４の表面上の特定の点が、球体５５０の表面５５２からどれだけ見えるかに対応する。特定の点に対してどのようにアンビエントオクルージョン値を識別できるかの一例を、以下に挙げる。オクルージョン光線のテストセットを、点から球形に外側に向けて投射する。結果として交点が生じるそれらのオクルージョン光線のパーセンテージが、点のオクルージョン値を決定する。したがって、そこから発せられるオクルージョン光線の１０パーセントが結果として交点が生じる点は、０．１の正規化されたオクルージョン値を有するものとして識別できる、一方、そこから発せられるオクルージョン光線の２５パーセントが結果として交点が生じる点は、０．２５の正規化されたオクルージョン値を有するものとして識別できる、以下同様である。より低いアンビエントオクルージョン値を有する、すなわち、その点から投射される光線のうち交点を形成する光線がより少ない、デジタルオブジェクト５３４の表面上の点は、対応して、アクション４２２において、そこから投射されるより多くのオクルージョン光線を有することができる。
【0040】
引き続き、１つまたは複数の閉じた表面５５０が球体５５０の形態をとる例示的な実装形態を参照すると、アクション２２０は、仮想カメラの各々のためのそれぞれのカメラ位置を識別するために、デジタルオブジェクト５３４を囲むための仮想カメラの数および球体５５０の表面５５２上の交点の表面密度５５４に基づいて、交点をクラスタリングすること（アクション４２３）を、更に含むことができる。図５Ｂを参照すると、図５Ｂは、図５Ａに示される交点のクラスタリングに基づいて識別された例示的なカメラ位置５５６ａ、５５６ｂ、および５５６ｃを含む複数のカメラ位置を示す。例えば、当技術分野で知られているようなｋ－ｍｅａｎｓクラスタリングアルゴリズムを、交差した点を要求される仮想カメラの数までクラスタリングするために適用することができる。これらの新しいクラスター点は、仮想カメラの節位として使用される。このようにクラスタリングすることにより、デジタルオブジェクト５３４の最も見えにくい部分が最初にキャプチャされる。それにより、デジタルオブジェクト５３４の全表面をカバーするために必要な仮想カメラの数を有利にも最小化することができる。
【0041】
アクション２２０は、アクション４２３で識別されたそれぞれのカメラ位置で仮想カメラを生成することを、更に含むことができる（アクション４２４）。図５Ｃを参照すると、図５Ｃは、デジタルオブジェクト５３４を囲むように生成された仮想カメラを示す。図５Ｃに示すように、アクション４２４において生成された仮想カメラは、図５Ｂにおいて、それぞれのカメラ位置５５６ａ、５５６ｂ、および５５６ｃに位置決めされた例示的な仮想カメラ５４０ａ、５４０ｂ、および５４０ｃ（以下「仮想カメラ５４０ａ～５４０ｃ」）を含む。仮想カメラ５４０ａ～５４０ｃは、図３Ａおよび図３Ｂの仮想カメラ３４０ａおよび３４０ｂに概して対応する。その結果、仮想カメラ５４０ａ～５４０ｃは、本開示によって仮想カメラ３４０ａおよび３４０ｂに帰着する特徴のいずれかを共有することができ、その逆もまた同様である。したがって、仮想カメラ３４０ａおよび３４０ｂと同様に、仮想カメラ５４０ａ～５４０ｃは、多様な異なるカメラ構成およびレンズパラメータを使用して実装することができる。例えば１つの実装形態では、仮想カメラ５４０ａ～５４０ｃは、パノラマカメラの形態をとることができる。
【0042】
アクション２２０は、複数の仮想カメラの少なくとも１つのパースペクティブからのデジタルオブジェクト５３４の二次元のバウンディングボックスに基づいて、仮想カメラ５４０ａ～５４０ｃを含む複数の仮想カメラの少なくとも１つのレンズパラメータを調整すること（アクション４２５）を、更に含むことができる。一実装形態では、例えば、仮想カメラの各々は、デジタルオブジェクト５３４の中心を見るように回転させることによって、配向することができる。次いで、その特定のパースペクティブから、デジタルオブジェクト５３４の２Ｄバウンディングボックスの中心を指すように、配向を更に精緻にすることができる。焦点距離は、仮想カメラの錐台がこの同じ２Ｄバウンディングボックスに密着し、すべての側面に小さなパーセンテージのマージンのセーフエリアを有するように調整することができる。
【0043】
フローチャート２００および４２０によって概説されるアクションに関して、アクション４２１～４２４、２３０、２４０、２５０、および２７０を含むアクション２１０、２２０、またはアクション４２１～４２４、２３０、２４０、２５０、２６０、および２７０を含むアクション２１０、２２０、またはアクション４２１～４２４、２３０、２４０、２５０、および２８０を含むアクション２１０、２２０、またはアクション４２１～４２４、２３０、２４０、２５０、２８０、および２７０を含むアクション２１０、２２０、またはアクション４２１～４２４、２３０、２４０、２５０、２６０、２７０、および２８０を含むアクション２１０、２２０、またはアクション４２１～４２４、２３０、２４０、２５０、２６０、２８０、および２８０を含むアクション２１０、２２０、またはアクション４２１～４２５、２３０、２４０、２５０、および２７０を含むアクション２１０、２２０、またはアクション４２１～４２５、２３０、２４０、２５０、２６０、および２７０を含むアクション２１０、２２０、またはアクション４２１～４２５、２３０、２４０、２５０、および２８０を含むアクション２１０、２２０、またはアクション４２１～４２５、２３０、２４０、２５０、２８０および２７０を含むアクション２１０、２２０、またはアクション４２１～４２５、２３０、２４０、２５０、２６０、２７０、および２８０を含むアクション２１０、２２０、またはアクション４２１～４２５、２３０、２４０、２５０、２６０、２８０、および２８０を含むアクション２１０、２２０を、人間の関与を省略できる自動化されたプロセスにおいて実行できることが、強調される。
【0044】
したがって、本出願は、従来技術における欠点および欠陥を克服する、深度レンダリングからのデジタルオブジェクトの立体表現を実行するためのシステムおよび方法を開示するものである。上述のように、本出願で開示されたソリューションは、画像ベースの深度再構成アプローチを使用して、ゲームエンジンにおけるようなリアルタイムアプリケーションにおいて有利に使用できる、高度に複雑なデジタルオブジェクトのデジタル表現を生成するものである。本ソリューションは、オリジナルのデジタルオブジェクトの平坦な２Ｄレンダリングのみに依存し、オリジナルのデジタルオブジェクトの３Ｄメッシュ情報を必要としない。高度に複雑なオリジナルのデジタルオブジェクトの複雑性が低減された立体表現が、２Ｄ画像から再構成される。
【0045】
典型的にオリジナルの３Ｄメッシュを直接に操作し、多くの場合メッシュを分解して、その個々の部分を選択的にリモデリングする従来のアプローチとは対照的に、本ソリューションは、有利にも、デジタルオブジェクト全体を一度に、かつ実質的に自動化された方法で処理する一方で、変位マップおよび手続き型ジオメトリの適用など、デジタルオブジェクトの記述に関連するあらゆるレンダリング時の詳細もネイティブに取り込むのである。従来技術に対する本ソリューションの追加の利点は、本アプローチが、デジタルオブジェクトの外部のみ、外側の特徴のみを表し、表す必要のない内部の特徴を意図的に省略することに起因して、結果として単純化をもたらすことである。本ソリューションのまた別の利点は、本アプローチが、デジタルオブジェクトのオリジナルの３Ｄモデルを記述するデータに拠るではなく、３Ｄデジタルオブジェクトの２Ｄ画像またはレンダリングに依拠して、そのデジタルオブジェクトの複雑性が低減された表現を制作することである。
【0046】
以上の説明から、本出願に記載の概念を実施するために、それらの概念の範囲から逸脱することなく、様々な技術を使用可能であることが明らかである。さらに、特定の実装形態を具体的に参照して概念を説明してきたが、当業者は、それらの概念の範囲から逸脱することなく、形態および詳細に変更を行うことができることを認識するであろう。それ故、説明されている実装形態は、あらゆる点で例示的であり、限定的ではないとみなされる。また。本出願は、本明細書に記載の特定の実装形態に限定されず、本開示の範囲から逸脱することなく、多くの再構成、修正、および置換が可能であることも理解されたい。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図5C】
