特表 2024-540261 リアルタイム・ノンフォト・リアル・レンダリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】リアルタイム・ノンフォト・リアル・レンダリング

(51)【国際特許分類】

   G06T 15/02 20110101AFI20241024BHJP

【ＦＩ】

G06T15/02

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024526009

(86)(22)【出願日】2022-11-07

(85)【翻訳文提出日】2024-05-24

(86)【国際出願番号】 US2022049143

(87)【国際公開番号】W WO2023091325

(87)【国際公開日】2023-05-25

(31)【優先権主張番号】63/281,537

(32)【優先日】2021-11-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/971,383

(32)【優先日】2022-10-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】504399716

【氏名又は名称】ディズニー エンタープライゼス インコーポレイテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100134577

【弁理士】

【氏名又は名称】石川 雅章

(72)【発明者】

【氏名】メーガン スティフター

(72)【発明者】

【氏名】アンドリュー イー ウッド

(72)【発明者】

【氏名】エヴァン エイ ビンダー

(57)【要約】

１つの例示的な実施形態によれば、システムは、処理ハードウェアと、ノンフォト・リアル（NPR）レンダラを格納するシステムメモリとを含む。前記処理ハードウェアは、デジタル資産を受信し、該デジタル資産に対応する予備画像を表示し、NPR効果を識別する編集データを受信するために、前記NPRレンダラを実行するように構成される。前記処理ハードウェアは、前記予備画像と前記編集データとを用いて、統合されたレンダリング及び合成プロセスで、前記編集データを受信することに関してリアルタイムで、NPR画像を生成するために、ソフトウェアコードを実行するように構成される。
【選択図】図２

【特許請求の範囲】

【請求項1】

処理ハードウェアとノンフォト・リアル（NPR）レンダラを格納するシステムメモリとを備えるシステムであって、
前記処理ハードウェアは、
デジタル資産を受信し、
該デジタル資産に対応する予備画像を表示し、
NPR効果を識別する編集データを受信し、
前記予備画像と前記編集データとを用いて、統合されたレンダリング及び合成プロセスで、前記編集データを受信することに関してリアルタイムで、NPR画像を生成するために、
前記NPRレンダラを実行するように構成された、システム。

【請求項2】

前記NPRレンダラは、ゲーム・エンジンと、前記NPR画像をレンダリングおよび合成するように前記ゲーム・エンジンの性能を修正するように構成された命令を含むNPRソフトウェア・プラグインとを備える請求項１に記載のシステム。

【請求項3】

前記ゲーム・エンジンは、前記NPR画像のレンダリングまたは合成の少なくとも１つに対するいくつかの命令を含むソースコードを有するカスタマイズされたゲーム・エンジンを備える、請求項２に記載のシステム。

【請求項4】

前記NPRソフトウェア・プラグインは、前記NPR画像のレンダリングおよび合成のためのすべての命令を含む、請求項２に記載のシステム。

【請求項5】

前記統合レンダリングおよび合成プロセスは、レンダリングのためにKubelka－Munk理論に基づく拡散反射率モデルを使用する、請求項１に記載のシステム。

【請求項6】

前記統合レンダリングおよび合成プロセスは、合成のために非線形平滑化フィルタを使用する、請求項１に記載のシステム。

【請求項7】

前記非線形平滑化フィルタは、Kuwaharaフィルタまたは修正Kuwaharaフィルタのうちの１つである、請求項６に記載のシステム。

【請求項8】

前記NPRレンダラは、前記編集データを受信してから６０秒未満以内に前記NPR画像を生成するように構成される、請求項１に記載のシステム。

【請求項9】

前記NPRレンダラは、前記編集データと前記デジタル資産とに基づいて、前記NPR画像をレンダリングして合成するときに、前記NPRレンダラにより使用するための１つ以上の動作パラメータを予測するように訓練された少なくとも１つの機械学習モデルをさらに備える、請求項１に記載のシステム。

【請求項10】

処理ハードウェアと、ノンフォト・リアル（NPR）レンダラを格納するシステムメモリとを含むシステムによる使用方法であって、該方法は、
前記処理ハードウェアによって実行される前記NPRレンダラにより、デジタル資産を受信するステップと、
前記処理ハードウェアによって実行される前記NPRレンダラにより、前記デジタル資産に対応する予備画像を表示するステップと、
NPR効果を識別する編集データを受信するステップと、
前記処理ハードウェアによって実行される前記NPRレンダラにより、前記予備画像と編集データとを用いて、統合されたレンダリング及び合成プロセスで、前記編集データを受信することに関してリアルタイムで、NPR画像を生成するステップと、を有する方法。

【請求項11】

前記NPRレンダラは、ゲーム・エンジンと、前記NPR画像をレンダリングおよび合成するように前記ゲーム・エンジンの性能を修正するように構成された命令を含むNPRソフトウェア・プラグインとを備える請求項１０に記載の方法。

【請求項12】

前記ゲーム・エンジンは、前記NPR画像のレンダリングまたは合成の少なくとも１つのための何らかの命令を含むソースコードを有するカスタマイズされたゲーム・エンジンを備える請求項１１に記載の方法。

【請求項13】

前記NPRソフトウェア・プラグインは、前記NPR画像のレンダリングおよび合成のためのすべての命令を含む、請求項１１に記載の方法。

【請求項14】

前記統合されたレンダリング及び合成プロセスは、レンダリングのためにKubelka－Munk理論に基づく拡散反射率モデルを使用する、請求項１０に記載の方法。

【請求項15】

前記統合されたレンダリング及び合成プロセスは、合成のために非線形平滑化フィルタを使用する、請求項１０に記載の方法。

【請求項16】

前記非線形平滑化フィルタは、Kuwaharaフィルタまたは修正Kuwaharaフィルタのうちの１つである、請求項１５に記載の方法。

【請求項17】

前記NPRレンダラは、前記編集データを受信してから６０秒未満以内に前記NPR画像を生成するように構成される、請求項１０に記載の方法。

【請求項18】

前記NPRレンダラは、前記編集データと前記デジタル資産とに基づいて、前記NPR画像をレンダリングして合成するときに、前記NPRレンダラが使用するための１つ以上の動作パラメータを予測するように訓練された少なくとも１つの機械学習モデルをさらに備える、請求項１０に記載の方法。

【請求項19】

ノンフォト・リアル（NPR）ソフトウェア・プラグインを記憶したコンピュータ可読非一時記憶媒体であって、前記NPRソフトウェア・プラグインは、処理ハードウェアによって実行されるとき、方法のステップを作成し、前記方法は、
デジタル資産を受信するためにゲーム・エンジンを制御するステップと。
前記デジタル資産に対応する予備画像を表示するステップと。
NPR効果を識別する編集データを受信するステップと、
前記予備画像と編集データとを用いて、統合されたレンダリング及び合成プロセスで、前記編集データを受信することに関してリアルタイムで、NPR画像を生成するために前記ゲーム・エンジンを制御するステップと、を有する、コンピュータ可読非一時記憶媒体。

【請求項20】

前記NPRソフトウェア・プラグインは、前記編集データを受信してから６０秒未満以内に前記NPR画像を生成するように前記ゲーム・エンジンを制御するように構成される、請求項１９に記載のコンピュータ可読非一時記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２１年１１月１９日に出願された出願中の仮特許出願第６３／２８１，５３７号であり、「リアルタイム・ノンフォト・リアル・レンダリング」という名称の利益及び優先権を主張するものであり、参照することによって本出願に完全に組み込まれる。

【背景技術】

【0002】

ゲームエンジンは、ユーザ対話を可能にするために、高フレームレートで可能な最高品質のフォト・リアルなレンダリングを実現することに焦点を当てたグラフィックスファンデーションの上に従来から構築されている。対照的に、ノンフォト・リアル（NPR）レンダリングとは、レンダリングエンジニアリングのさまざまなアプローチを指す。これは、現実のイメージを真似せず、代わりに、異なるフォーマット媒体を真似た特定の外観を作成することに焦点を当てる、または、これまで見たことのない美的な外観やスタイルを実現するためにアートを向けることができる。しかしながら、オフラインレンダラを使用してNPRレンダリングを実行するための既存のソリューションは、典型的には、合成ソフトウェアでコンパイルされた数個のレンダリングパスと同様に、フレーム当たり数時間のような望ましくない長いレンダリング時間を必要とする。その結果、凝集性パッケージ内での高フレームレートでのNPR画像のリアルタイム生成を可能にするNPRレンダリングソリューションが当技術分野において必要とされている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

以下の説明は、本発明における実施に関する具体的な情報を含む。当業者は、本発明が、本明細書で特に論じられる方法とは異なる方法で実施され得ることを認識するであろう。本願の図面およびそれらに付随する詳細な説明は、単に例示的な実施に向けられている。特に断らない限り、図の中で同じ又は対応する要素は、同じ又は対応する参照番号で示される。さらに、本願における図面および図は、一般に原寸に比例しておらず、実際の相対的寸法に対応することを意図していない。

【0004】

上記のように、ゲームエンジンは、従来、ユーザ対話を可能にするために、高フレームレートで可能な最高品質のフォト・リアルなレンダリングを実現することに重点を置いたグラフィックスファンデーションの上に構築されてきた。さらに上記のように、対照的に、ノンフォト・リアル（NPR）レンダリングとは、レンダリングエンジニアリングの異なるアプローチを指し、その結果、現実のイメージを真似せず、代わりに、異なるフォーマットや媒体を真似たある外観を作成することに焦点を当てる、または、これまで見たことのない美的な外観やスタイルを達成するためにアートを向けることができるイメージをレンダリングすることを指す。この例としては、３次元（３D）モデルとライティングの上に水彩画またはコミックブックの外観を作成するグラフィックパイプラインを作成することがあげられる。従来のレンダリングプロセスでこれらの種類の外観を作成するために、市場にグラフィックパッケージが存在するが、これらの外観を実現するためのすべての要素をカバーするパッケージは、凝集性パッケージ内の高フレームレートでのリアルタイムレンダリングには存在しない。

【課題を解決するための手段】

【0005】

本願は、NPRレンダリングのための計算時間の短縮を目的とする。本願は、リアルタイムNPRレンダリングを実行するように構成されたカスタマイズされた又は部分的にカスタマイズされたゲームエンジン、並びに従来のゲームエンジンへのプラグインとして機能することができ、リアルタイムで芸術的画像の合成を可能にするカスタムNPRレンダラを用いてゲームエンジンに含まれるストックレンダラを修正し、それによって最終レンダリングのために低いオーバヘッドを必要とするNPRソフトウェアプラグイン及びツーリングソフトウェアを開示する。本明細書に開示される概念は、フレーム当たり数時間といった長いレンダリング時間を必要とするオフラインレンダラに対して作成された既存の解決策を大きく超えて、また合成ソフトウェアにおいてコンパイルされたいくつかのレンダリングパスを進歩させるものである。さらに、幾つかの実施では、本願によって開示されるシステム及び方法は、実質的に又は完全に自動化することができる。

【0006】

本願のために定義されるように、「自動化」、「自動化された」、および「自動化する」という用語は、人間のシステム管理者の参加を必要としないシステムおよびプロセスを意味する。いくつかの実施形態では、人間のエディタまたはアーティストは、本明細書に記載された自動化システムおよび方法によって合成された画像を、例えば、人間の関与は任意である編集または芸術的な入力を入力する、６０秒未満以内、または、さらに１０秒または１０秒未満以内などのように、リアルタイムでレビューすることができる。従って、幾つかの実施では、本願に記載された方法は、開示された自動化システムのハードウェア処理構成要素の制御下で実行することができる。

【図面の簡単な説明】

【0007】

【図1】３次元（３D）レンダリングを生成するための従来のパイプラインを示す。

【図2】１つの実装による、ノンフォト・リアル（NPR）画像を生成するための例示的なリアルタイムパイプラインを示す。

【図3】１つの実装による、リアルタイムNPRレンダリングを実施するための例示的なシステムの図を示す。

【図4】１つの実装に従った、リアルタイムNPRレンダリングを実施するための例示的な方法を記述するフローチャートを示す。

【発明を実施するための形態】

【0008】

図１は、３Dレンダリングを生成するための従来のパイプラインを示している。図１に示されるように、従来のパイプライン１００は、３Dデジタルコンテンツ作成パッケージ１０２、従来の３Dレンダリングパッケージ１０４、複数のレンダリングパス１０６、合成パッケージ１０８、および最終出力レンダリング１１０を含む。図１に示される例示的な実施は、４つのレンダリングパスを描いているが、従来のパイプライン１００のような従来のパイプラインでは、生成されるコンテンツのクリエイティブな複雑さに応じて、複数のレンダリングパス１０６の間に、４つよりも多いまたは少ないレンダリングパスが含まれ得ることに留意されたい。

【0009】

図１に示されるように、複数のレンダリングパス１０６及び合成パッケージ１０８は、従来の３Dレンダリングパッケージ１０４の出力の後処理を表すことにさらに留意されたい。複数のレンダリングパス１０６、合成パッケージ１０８を用いたそれらの合成レンダリングを生成し、従来の３Dレンダリングパッケージ１０４の性能を改良するために必要とされる著しい処理リソースのために、最終出力レンダリング１１０の生成は、画像またはビデオフレーム毎に複数時間を必要とすることがある。

【0010】

図２を参照すると、図２は、本発明の新規かつ発明的概念の１つの実装によるリアルタイムパイプライン２００を示している。図２に示されるように、リアルタイムパイプライン２００は、３Dデジタル・コンテンツ作成パッケージ２０２、NPRソフトウェアプラグイン２５０を用いて提供される３Dリアルタイムレンダリングパッケージ２２４を含む拡張３Dレンダリングパッケージ２２０（以下、「NPRレンダラ２２０」という）、および最終出力レンダリング２５２を含む。

【0011】

従来のパイプライン１００とは対照的に、リアルタイムパイプライン２００は、NPRソフトウェアプラグイン２５０の制御下で、３Dリアルタイムレンダリングパッケージ２２４によって実行される体系化された命令として、レンダリングパス１０６および合成パッケージ１０８を有利に統合することに留意されたい。すなわち、レンダリングパス１０６と、従来のパイプライン１００における後処理シーケンスにおいてパッケージ１０８を合成することにより実行されるアクションとは、有利には、後処理中ではなく、リアルタイムパイプライン２００において実行されるが、３Dリアルタイムレンダリングパッケージ２２４およびNPRソフトウェアプラグイン２５０によるレンダリング中に実行される。従って、リアルタイムパイプライン２００は、コンテンツアーティスト及び他のコンテンツ制作者が、従来のプロセスが要求するであろう時間の数分の一以内に、且つ実質的に少ないステップで、独特のスタイル及び「非現実的である」外観を生成することを可能にする。

【0012】

図１の従来の３Dレンダリングパッケージ１０４に含まれるゲームエンジンなどのストックゲームエンジンが、光輸送現象の物理に基づいてリアルな画像を作成するように構成されていることにさらに留意されたい。これとは対照的に、幾つかの実施では、NPRソフトウェアプラグイン２５０は、ストックゲームエンジンの性能を変更して、NPR効果の形態で芸術的な装飾及び変更を有する「非現実的である」画像を生成することができる３Dリアルタイムレンダリングパッケージ２２４を提供することができる。代替的に、幾つかの実施では、NPRソフトウェアプラグイン２５０を、例えばカスタムシェーディングのような幾つかのNPRレンダリング機能を実行するようにソースコードを変更したゲームエンジンを備えたハイブリッド構成で使用することが有利又は望ましいことがある。

【0013】

図３は、１つの実装による、リアルタイムNPRレンダリングを実施するための例示的なシステム３００の図を示す。図３に示すように、システム３００は、処理ハードウェア３３４を有するコンピューティングプラットフォーム３３２、コンピュータ可読非一時的記憶媒体として実装されるシステムメモリ３３６を含み、オプションとして、デジタル資産データベース３２７、ディスプレイ３６２、および入力装置３６３を含むことができる。図３にさらに示されるように、システムメモリ３３６は、３Dデジタル・コンテンツ作成パッケージ３０２および拡張３Dレンダリング・パッケージ３２０（以下、「NPRレンダラ３２０」という）を格納する。NPRレンダラ３２０は、図２ではゲームエンジン（以下「ゲームエンジン３２４」という）の形態で、グラフィカルユーザインターフェース（GUI）３２６を提供する３Dリアルタイムレンダリングパッケージ２２４と、ゲームエンジン３２４へのプラグインとして機能し、ゲームエンジン３２４を修正し、NPRレンダラ３２０の調整可能パラメータの制御を可能にするようにGUI３２６を修正するように構成されたNPRソフトウェアプラグイン３５０とを含む。いくつかの実装において、ゲームエンジン３２４は、図１の従来の３Dレンダリングパッケージ１０４に含まれるような従来のゲームエンジンであってもよいことに留意されたい。しかしながら、それらの実装において、ゲームエンジン３２４の性能は、NPR効果を提供するためのカスタムレンダリングエンジンによってゲームエンジン３２４に含まれるストックレンダリングエンジンを修正するように構成されるNPRソフトウェアプラグイン３５０によって修正される。GUI３２６は、ストックゲームエンジン３２４によって提供されるGUIを含むことができるが、さらに、複数のパスをレンダリングし合成ソフトウェアで変数を調整する必要がなく、コンテンツ制作者が強化された３Dレンダリングパッケージ３２０でリアルタイムで外観を操作し、定義することを可能にするために、NPRソフトウェアプラグイン３５０によって追加された編集ツールおよび追加のインターフェースペインを含む。しかし、いくつかの実装では、NPRソフトウェアプラグイン３５０を、例えばカスタムシェーディングのようないくつかのNPRレンダリング機能を実行するようにソースコードを変更したゲームエンジン３２４を備えたハイブリッド構成で使用することが有利または望ましいことがある。即ち、幾つかの実装形態では、NPRレンダラ３２０は、NPR画像３５２のレンダリング又は合成の少なくとも一方のための幾つかの命令を含むソースコードを有するカスタマイズされたゲームエンジンの形態のゲームエンジン３２４を含むことができ、一方、他の実装形態では、NPRソフトウェアプラグイン３５０はNPR画像３５２のレンダリング及び合成のための全ての命令を含むことができる。

【0014】

上述した特徴に加えて、いくつかの実装では、NPRレンダラ３２０は、NPRレンダラ３２０に対する適宜パラメトリック設定を予測するように構成され、さらにNPRレンダラ３２０の性能を経時的に改善するように構成された１つまたは複数の機械学習（ML）モデル３２８（以下、「MLモデル３２８」という）をさらに含むことができる。本願において定義されるように、語句「機械学習モデル」または「MLモデル」は、データのサンプルまたは「訓練データ」から学習されたパターンに基づいて将来の予測を行うための数学モデルを指すことができる。種々の学習アルゴリズムを用いて、入力データと出力データとの間の相関をマッピングすることができる。これらの相関は、新しい入力データに関する将来予測を行うために使用できる数学的モデルを形成する。そのような予測モデルは、１つ以上のロジスティック回帰モデル、ベイズモデル、またはニューラルネットワーク（NN）を含み得る。さらに、深層学習の文脈における「深層ニューラルネットワーク」は、入力層と出力層の間の複数の隠れ層を利用するNNを指すことがあり、これは生のデータにおいて明示的に定義されていない特徴に基づく学習を可能にすることがある。本願で使用されるように、NNとして識別される特徴は、深層ニューラルネットワークを指す。様々な実装において、NNは分類器として訓練され得、画像処理、オーディオ処理、または自然言語処理を行うために利用され得る。

【0015】

図３に更に示すように、システム３００は、通信ネットワーク３３８と、ディスプレイ３４２及び入力装置３４３を含むユーザシステム３４０と、ユーザシステム３４０を利用するユーザ３４４と、ユーザシステム３４０とシステム３００とを通信ネットワーク３３８を介して対話的に接続するネットワーク通信リンク３４８とを含む使用環境内で実装される。また、図３には、デジタル資産３３１、合成編集データ３３２（以下、「編集データ３３２」という）、および編集データ３３２およびデジタル資産３３１に基づいてシステム３００によって最終出力レンダリングとして生成されたNPR画像３５２を含む、または識別するコンテンツ作成データ３３０が示されている。

【0016】

システム３００は、図２に示されるように、リアルタイムパイプライン２００を実装するように構成される。したがって、３Dデジタル・コンテンツ作成パッケージ３０２、NPRレンダラ３２０、ゲームエンジン３２４、NPRソフトウェアプラグイン３５０、MLモデル３２８）、およびNPR画像３５２は、一般に、図２において、３Dデジタル・コンテンツ作成パッケージ２０２、NPRレンダラ２２０、３Dリアルタイムレンダリングパッケージ２２４、NPRソフトウェアプラグイン２５０、および最終出力レンダ２５２にそれぞれ対応する。したがって、３Dコンテンツ作成パッケージ２０２、NPRレンダラ２２０、３Dリアルタイムレンダリングパッケージ２２４、NPRソフトウェアプラグイン２５０、および最終出力レンダ２５２は、本発明によるそれぞれの３Dデジタル・コンテンツ作成パッケージ３０２、NPRレンダラ３２０、ゲームエンジン３２４、NPRソフトウェアプラグイン３５０、およびNPR画像３５２に帰属される特性のいずれかを共有することができ、逆もまた同様である。

【0017】

上述したように、幾つかの実装では、ゲームエンジン３２４は、図１の従来の３Dレンダリングパッケージ１０４に含まれるような従来のゲームエンジンであってもよいが、ゲームエンジン３２４の性能は、NPR効果を提供するためのカスタム・レンダリング・エンジンでゲームエンジン３２４に含まれるストックレンダリング・エンジンを修正するように構成されるNPRソフトウェアプラグイン３５０によって修正される。GUI３２６は、ストックゲームエンジン３２４によって提供されるGUIを含むことができるが、さらに、複数のパスをレンダリングし、合成ソフトウェアで変数を調整する必要がなく、コンテンツ制作者が拡張３Dレンダリング・パッケージ３２０でリアルタイムで外観を操作し、定義することを可能にするために、NPRソフトウェアプラグイン３５０によって追加された編集ツールおよび追加のインターフェースペインを含む。

【0018】

別法として、また前述のように、いくつかの実装では、NPRソフトウェアプラグイン３５０を、例えばカスタムシェーディングなどのいくつかのNPRレンダリング機能を実行するようにソースコードを変更したゲームエンジン３２４とのハイブリッド構成で使用することが有利または望ましい場合がある。即ち、幾つかの実装形態では、NPRレンダラ３２０は、NPR画像３５２のレンダリング又は合成の少なくとも一方のための幾つかの命令を含むソースコードを有するカスタマイズされたゲームエンジンの形態のゲームエンジン３２４を含むことができ、一方、他の実装形態では、NPRソフトウェアプラグイン３５０はNPR画像３５２のレンダリング及び合成のための全ての命令を含むことができる。しかし、ハイブリッド実装とNPRソフトウェアプラグインの両方は、リアルタイムアニメーションと仮想生成プロジェクトの最終処理中の実質的な時間を有利に節約し、より高速な送達とよりクリエイティブな反復を可能にし、さらに双方向メディアにおける将来の使用事例を可能にする。

【0019】

組み合わせて図２および３を参照すると、システム３００によって実装されるリアルタイムパイプライン２００の最終出力レンダリング２５２として生成されるNPR画像３５２に関して、NPR画像３５２は、さまざまな異なる種類のコンテンツに対応し得ることに留意されたい。コンテンツNPR画像３５２のタイプの例には、音声及びビデオコンポーネントを有する音声－ビデオコンテンツ、又は音声に付随しないビデオが含まれる。加えて、または代替的に、一部の実装において、NPR画像３５２に含まれるコンテンツの種類は、人物、架空のキャラクタ、位置、物体、および例えば、仮想現実（VR）、拡張現実（AR）、または混合現実（MR）環境を人気にするブランドおよびロゴなどの識別名のデジタル表現であってもよく、またはそれを含んでもよい。このようなコンテンツは、個人のアイデンティティ、ユーザの履歴、資格、所持、支払い等のデータの連続性を提供しながら、同期的かつ永続的に任意の数のユーザが体験することができる仮想世界を描写することができる。さらに、幾つかの実施では、NPR画像３５２に含まれるコンテンツは、従来のオーディオ・ビデオと完全没入型VR／AR／MR体験のハイブリッド、例えば対話型ビデオとすることができる。

【0020】

NPRソフトウェア・プラグイン２５０／３５０に関して、NPRソフトウェア・プラグイン２５０／３５０は、ゲームエンジン３２４に組み込むことができる堅牢なカスタム定例化シェーダ・モデルを提供するように構成され、カスタマイズされたGUI３２６を介して、アーティストに制御をユーザフレンドリーな方法で公開し、それらが、複数のスタイルを達成するために、事前定義された外観の様々な要素を調整し、一時的なグラフィック・オーバーレイまたは最終的なフレーム・グラフィックス・オーバーレイのいずれかを追加することを可能にする。NPRソフトウェアプラグイン２５０／３５０は、双方向反射率分布関数（BDRF）を使用したカスタム拡散ラッピング、シャドウエッジおよび鏡面反射エッジのテクスチャ分解、並びにオブジェクトエッジおよびカメラビューベースのNPR効果を含む３つの主な特徴を提供するように構成することができる。

【0021】

カスタム拡散包み込み特徴には、カスタムシェーディングモデルを含めることができる。これ自体は、Kubelka－Munk理論に基づく拡散反射率モデルを含むことがある。たとえば、光がフレーム内のさまざまな物体に影響を与え、表面と相互作用する方法や、物体がディスプレイにレンダリングされる方法を操作することができる。カスタムシェーディングモデルは、GUI３２６を介して芸術的なコントロールを提供し、シャドウ及び照明の終了線の硬さを変更し、それらがどこに落ちるかを調整し、そしてほとんどつや消しの外観を提供するために利用することができ、単純化された反射率のスケールを有する。この特徴は、また、シェーディングおよび照明がレンダリングされた後（例えば、色収差、ブルームなど）、GUI３２６を使用してリアルタイムフレームへの調整を可能にする、また、最終的な画像の芸術的な操作（例えば、テクスチャオーバーレイ、スタイル密度、顔料の暗色化／ブリーディングなど）を可能にする、ポストプロセス積層積分露光パラメータを提供する。

【0022】

シャドウエッジと鏡面反射エッジ機能のテクスチャ分解により、終了線に接する領域や、光に依存するシャドウ内、またはその欠如した特定の物体にヒットする様々なテクスチャを適用できる。この特徴は、シャドウ又は鏡面反射エッジ遷移の硬さを制御するこの機能を提供するように調整可能であり得る。さらに、この特徴は、テクスチャマップでシャドウまたは鏡面反射エッジ遷移を分解または修正する機能を提供する。

【0023】

物体エッジおよびカメラビューベースのNPR効果機能は、色が物体のアルベドに基づいているが、シーンの照明の影響を受けている（シーンカラーの使用など） ビューベースの物体の輪郭を提供できる。さらに、この特徴は、物体の内部および外部の輪郭（例えば、１つ以上の線の太さ、線の存在、線のテーパーを調整し、テクスチャ分解／バリエーション、色の上書き、着色を追加する）の当技術分野で業者指示可能な制御を提供し、定型化されたブリード効果を含む場合がある。例えば、カスタムボリュームカラーライザー（すなわち、表面および体積）は、GUI３２６によって提供されるビューポートを介して３D空間内の２次元（２D）または３D領域の局所化されたカラーリング、およびエンジン内ツーリングを使用するために使用されてもよい。あるいは、あるいはそれに加えて、ドローオーバー、２D FX、スミアフレームモーションブラー用の精密油性ペンでは、アーティストがFX、アニメーション、ノートテイキング用に２D ラインを３D 空間に描画することができる。ベクトル駆動線は、GUI３２６を介して画像内に挿入し、３D要素にロックして、３Dシーン内に１つ又は複数の２Dアニメーションを提供することができる。

【0024】

図３に示されるシステム３００の描写に関して、３Dデジタル・コンテンツ作成パッケージ３０２、NPRレンダラ３２０、およびNPR画像３５２は、概念的明瞭性のために、システムメモリ３３６内に格納されるように描かれているが、より一般的には、システムメモリ３３６は、任意のコンピュータ可読非一時記憶媒体の形式をとってもよいことに留意されたい。本願で使用される「コンピュータ可読非一時記憶媒体」という表現は、コンピューティングプラットフォーム３３２の処理ハードウェア３３４のようなコンピューティングプラットフォームの処理ハードウェアに命令を提供する搬送波または他の一時信号を除いた、任意の媒体を指す。したがって、コンピュータ可読非一時記憶媒体は、例えば揮発性媒体や不揮発性媒体などの様々な種類の媒体に対応することができる。揮発性媒体は、ダイナミック・ランダム・アクセス・メモリ（ダイナミックRAM）のようなダイナミック・メモリを含むことができるが、不揮発性メモリは、光学式、磁気式、または静電式の記憶装置を含むことができる。コンピュータ可読非一時記憶媒体の一般的な形態は、例えば、光ディスク、RAM、プログラマブル読み取り専用メモリ（PROM）、消去可能PROM（EPROM）、およびフラッシュメモリを含む。

【0025】

図３は、３Dデジタルコンテンツ作成パッケージ３０２、NPRレンダラ３２０、およびNPR画像３５２を、単に概念的明瞭性を図るための補助として提供された表示であるシステム・メモリ３３６内に相互に同一場所に配置されているものとして描いていることにさらに留意されたい。より一般的には、システム３００は、例えば、同一場所に配置することができるコンピュータ・サーバのような１つ以上のコンピューティング・プラットフォームを含むことができ、または例えば、クラウド・ベースのシステムのような、対話的にリンクされたが分散されたシステムを形成することができる。結果として、処理ハードウェア３３４およびシステムメモリ３３６は、システム３００内の分散プロセッサおよびメモリ資源に対応することができる。したがって、３Dデジタルコンテンツ作成パッケージ３０２、NPRレンダラ３２０、NPR画像３５２は、システム３００の分散メモリリソース内に互いに遠隔から格納されてもよいことを理解されたい。

【0026】

処理ハードウェア３３４は、例えば、１つ以上の中央処理ユニット、１つ以上のグラフィックス処理ユニット、１つ以上のテンソル処理ユニット、１つ以上のフィールド・プログラマブル・ゲートアレイ（FPGA）、およびアプリケーションプログラミングインタフェース（API）サーバなどの、複数のハードウェア処理ユニットを含むことができる。定義として、本願で用いるように、「中央処理ユニット」（CPU）、「グラフィック処理ユニット」（GPU）、及び「テンソル処理ユニット」（TPU）という用語は、当該技術分野においてそれらの慣例的な意味を有する。すなわち、CPUは、コンピューティングプラットフォーム３３２の算術演算および論理演算を実行するための算術論理ユニット（ALU）と、３Dデジタルコンテンツ作成パッケージ３０２、ゲームエンジン３２４、NPRソフトウェアプラグイン３５０、およびシステムメモリ３３６からのMLモデル３２８のようなプログラムを検索するための制御装置（CU）とを含むが、GPUは、計算量の多いグラフィックスまたは他の処理タスクを実行することによってCPUの処理オーバーヘッドを低減するために実装されてもよい。TPUは、機械学習モデリングなどの人工知能（AI）アプリケーション用に特に構成された特定用途向け集積回路（ASIC）である。

【0027】

一部の実装では、コンピューティングプラットフォーム３３２は、例えばインターネットなどのパケット交換ネットワークを介してアクセス可能な１つ以上のウェブサーバに対応し得る。代わりに、コンピューティングプラットフォーム３３２は、プライベートワイドエリアネットワーク（WAN）、ローカルエリアネットワーク（LAN）をサポートする、または他のタイプの限定された分布またはプライベートネットワークに含まれる、１つ以上のコンピュータサーバに対応してもよい。しかしながら、幾つかの実装では、システム３００は、データセンタ内など、実質的に実装可能である。例えば、いくつかの実装では、システム３００は、ソフトウェアで、または仮想マシンとして実装されてもよい。さらに、一部の実施では、通信ネットワーク３３８は、例えば１０ GigEネットワークまたはインフィニバンドネットワークなどの、高性能コンピューティング（HPC）に適した高速ネットワークであってもよい。

【0028】

ユーザ・システム３４０は、図３においてデスクトップコンピュータとして示されているが、単に一例としての表示も提供されている。より一般的には、ユーザ・システム３４０は、ユーザ・インターフェースを提供し、通信ネットワーク３３８への接続をサポートし、本明細書においてユーザ・システム３４０に起因する機能を実装するのに十分なデータ処理機能を実装する、任意の適切な移動式または固定式のコンピューティングデバイスまたはシステムとすることができる。例えば、他の実施形態では、ユーザシステム３４０は、例えば、ラップトップコンピュータ、タブレットコンピュータ、またはスマートフォンの形態をとることができる。さらに、幾つかの実装では、ユーザシステム３４０はシステム３００の「ダムターミナル」周辺ワークステーションとすることができる。

【0029】

種々の実施形態において、拡張３Dレンダリング・パッケージ３２０を使用して生成されたNPR画像３５２は、システム・メモリ３３６に格納されてもよく、不揮発性ストレージ、またはその両方にコピーされてもよいことに留意されたい。あるいは、または、さらに、図３に示されるように、いくつかの実施形態では、NPR画像３５２は装備、システム３００のディスプレイ３６２上に表示されてもよく、あるいは、例えば通信ネットワーク３３８のネットワーク通信リンク３４８を介して転送されることによって、ディスプレイ３４２を含むユーザシステム３４０に送信されてもよい。

【0030】

ユーザシステム３４０のディスプレイ３４２に関して、ディスプレイ３４２は、ユーザシステム３４０と物理的に統合され得るか、またはユーザシステム３４０に通信可能に結合され得るが、物理的には別のものであってもよい。例えば、ユーザ・システム３４０がスマートフォン、ラップトップ・コンピュータ、またはタブレット・コンピュータとして実装される場合、ディスプレイ３４２は通常、ユーザ・システム３４０と統合される。これに対して、ユーザシステム３４０がデスクトップコンピュータとして実装される場合、ディスプレイ３４２は、コンピュータタワーの形成でユーザシステム３４０とは別のモニタの形成をとることができる。ユーザシステム３４０がシステム３００の「ダムターミナル」周辺ワークステーションである実装においては、ユーザシステム３４０およびディスプレイ３４２は、システム３００の処理ハードウェア３３４によって制御され得ることに留意されたい。さらに、ユーザシステム３４０のディスプレイ３４２、ならびにシステム３００のディスプレイ３６２は、液晶ディスプレイ（LCD）、発光ダイオードディスプレイ（LED）、有機発光ダイオードディスプレイ（OLED）、量子ドットディスプレイ（QD）、または光への信号の物理的変換を行う任意の他の適切なディスプレイスクリーンとして実装されてもよい。

【0031】

また、ユーザ・システム３４０の入力装置３４３はキーボードとして描かれているが、その表示は単に一例にすぎないことに留意されたい。より一般的には、システム３００の入力装置３６３と同様に入力装置３４３は、いくつかの例を挙げると、タッチスクリーン、ペンまたはスタイラスと組み合わせたタッチスクリーン、トラックパッド、マウス、または音声コマンド入力部（例えば、マイクロフォン）の形態をとることができる。

【0032】

図２及び図３のリアルタイムパイプライン２００を実装するシステム３００の機能性は、１つの実施形態による、リアルタイムNPRレンダリングを実施するための例示的な方法を説明するフローチャート４７０を示す図４を参照して、さらに説明される。図４に記載された動作に関して、特定の詳細および特徴が、本願における発明の特徴の議論を不明瞭にしないために、フローチャート４７０から除外されていることに留意されたい。

【0033】

図３と組み合わせて図４を参照すると、フローチャート４７０は、デジタル資産３３１を受信すること（動作４７１）を含む。デジタル資産３３１は、例えば、写真またはビデオのフレームのようなデジタル画像であってもよい。代替的に、デジタル資産３３１は、ビデオシーケンス、又は２Dもしくは３Dデジタルモデルであってもよい。幾つかの実施では、デジタル資産３３１は、コンテンツ作成データ３３０の一部として動作４７１で受信することができる。それらの実施において、デジタル資産３３１は、３Dデジタルコンテンツ作成パッケージ３０２によってコンテンツ作成データ３３１から抽出することができ、３Dデジタルコンテンツ作成パッケージ３０２によってNPRレンダラ３２０に転送することができる。あるいは、幾つかの実施においては、コンテンツ作成データ３３０は、単にデジタル資産３３１を識別することが可能である。それらの実施において、３Dデジタルコンテンツ作成パッケージ３０２は、コンテンツ作成データ３３０の受信に応答して、デジタル資産３３１をデジタル資産データベース３３７から取得することができ、NPRレンダラ３２０への入力としてデジタル資産を提供することができる。デジタル資産３３１は、システム３００の処理ハードウェア３３４によって実行されるNPRレンダラ３２０によって動作４７１で受け取られ得る。例えば、NPRソフトウェアプラグイン３５０は、処理ハードウェア３３４によって実行され、ゲーム・エンジン３２４を制御して、動作４７１でデジタル資産３３１を受信することができる。

【0034】

フローチャート４７０は更に、デジタル資産３３１に対応する予備画像の表示（動作４７２）を含む。動作４７２は、NPRレンダラ３２０によって実行され、システム３００の処理ハードウェア３３４によって実行され、GUIを使用して、システム３００のディスプレイ３６２またはユーザシステム３４０のディスプレイ３４２を介して予備画像を表示することができる。

【0035】

フローチャート４７０は更に、NPR効果を識別する編集データ３３２の受信（動作４７３）を含む。編集データ３３２は、システム３００の処理ハードウェア３３４によって実行されるNPRレンダラ３２０によって動作４７３で受信されてもよい。例えば、図３に示されるように、編集データ３３２は、ユーザシステム３４０から、入力装置３４３を利用するユーザ３４４によってユーザシステム３４０に提供された入力に応答して、GUI３２６を介して受信されてもよい。フローチャート４７０は、「単一の」NPR効果を識別する編集データ３３２の受信を記述するが、「単一の」では、概念を明確にするためであり、一部の実施では、編集データ３３２は、単一のNPR効果よりも多く（すなわち、２つ以上のNPR効果）を識別することができることに留意されたい。

【0036】

例えば、データ３３２を編集することによって識別されるNPR効果は、光がビデオフレーム内の様々な物体にどのように影響を及ぼし、表面と相互作用するか、および、物体がディスプレイ上にどのようにレンダリングされるかを含み得る。さらに、編集データ３３２によって識別されるNPR効果は、シャドウおよび照明終了線の硬度を変更し、それらがどこに落ちるかを調整する芸術的制御を含んでもよい。さらに、あるいは、編集データ３３２によって識別されるNPR効果は、物体のアウトラインがディスプレイ上にどのように見えるべきかの説明を含むことができる。ある使用事例では、編集データ３３２によって識別されるNPR効果は、照明およびレンダリング・システムだけでなく、物体の様式化を含んでもよい。（例えば、シーン深度駆動操作、物体近接およびオーバーラップ操作）。

【0037】

幾つかの実装では、編集データ３３２によって識別されるNPR効果は、ある物体に当たって、終了線に境界をなし、光に依存してシャドウになる領域への様々なテクスチャの適用、またはその欠如を呼び出すことができる。いくつかの実施形態によれば、編集データ３３２によって識別されるNPR効果は、コミックな書籍で見られる水色のブリーディングまたはハーフトーンのパターニングのような外観を操作するために、物体の様々な陰影付けに適用されるテクスチャを含んでもよい。いくつかの実装では、編集データ３３２によって識別されるNPR効果は、陰影付けおよび照明がレンダリングされた後のリアルタイムフレームへの調整（例えば、色収差、ブルームなど）を含んでもよく、また、最終的な画像の芸術的な操作（例えば、テクスチャオーバーレイ、スタイル密度、顔料の暗色化／ブリーディングなど）を可能にしてもよい。幾つかの実装では、編集データ３３２によって識別されるNPR効果は、GUI３２６によって提供されるビューポートを介した３D空間内の２D又は３D領域の局所化された着色、及びエンジン内ツーリングの使用を含むことができる。さらに、幾つかの実施形態では、データ３３２を編集することによって識別されるNPR効果は、ドローオーバー、２D FX、及びスミアフレームモーションブラーのための奥行きのある油性ペンを使用して生成することができ、その結果、FX、アニメーション、及びノートテイキングのための３D空間に２Dラインができる。ベクトル駆動線は、GUI３２６を介して画像内に挿入し、３D要素にロックして、３Dシーン内に１つ又は複数の２Dアニメーションを提供することができる。

【0038】

フローチャート４７０は更に、動作４７２で表示された予備画像と動作４７３で受信された編集データ３３２とを用いて、統合されたレンダリング及び合成プロセスで、編集データ３３２を受信することに関してリアルタイムでNPR画像３５２を生成すること（動作４７４）を含む。NPR画像３５２は、システム３００の処理ハードウェア３３４によって実行されるNPRレンダラ３２０によって動作４７４で生成され得る。例えば、NPRソフトウェアプラグイン３５０は、システム３００の処理ハードウェア３３４によって実行され、ゲームエンジン３２４を制御し、動作４７２で表示された予備画像および動作４７３で受信された編集データ３３２を用いて、統合されたレンダリングおよび合成でNPR画像３５２を生成することができる。

【0039】

編集データ３３２を受信することに関して、リアルタイムでNPR画像３５２を生成することに関して、上述したように、いくつかの実施形態では、NPRレンダラ３２０は、動作４７３で編集データ３３２を受信してから６０秒未満以内にNPR画像３５２を生成するように構成してもよい。さらに上述したように、一部の実施形態では、NPRレンダラ３２０は、編集データ３３２を受信してから１０秒又は１０秒未満以内にNPR画像３５２を生成するように構成してもよい。例えば、一部の実施形態では、NPRレンダラ３２０は、最高２４フレーム／秒のフレーム速度でNPR画像３５２に対応するNPR画像を生成することが可能であり得る。

【0040】

幾つかの実施形態では、動作４７４の一部として実行されるレンダリングは、Kubelka－Munkの理論に基づいた拡散反射率モデルを使用することができる。さらに、または代替的に、動作４７４の一部として実行される合成は、例えば、Kuwaharaフィルタまたは修正Kuwaharaフィルタのうちの１つ等の非線形平滑化フィルタを使用してもよい。

【0041】

図３を参照して上述したように、いくつかの実施形態において、NPRレンダラ３２０は、編集データ３３２およびデジタル資産３３１に基づいて、NPR画像３５２を生成するためにアクション４７４においてレンダリングおよび合成を実施するときにNPRレンダラ３２０によって使用するための１つ以上の動作パラメータを予測するように訓練された１つ以上の機械学習モデル３２８をさらに備えてもよい。NPRレンダラ３２０の特徴として１つ以上の機械学習モデル３２８を含めることおよび使用することは、デジタル資産３３１が、例えば、高メッシュ要素数３Dデジタルモデルなどの複雑なデジタル資産である、またはいくつかのNPR効果、または相互に影響を及ぼすNPR効果が編集データ３３２によって識別される場合の使用事例において特に重要であり得る。これらの使用事例では、NPRレンダラ３２０の動作パラメータに対する可能な配列の数は、効果的に評価するための人間の精神、または一般的なコンピュータ・プロセッサさえの能力をはるかに上回ることがある。それらの実装において、NPRレンダラ３２０は、本願に記載されているリアルタイムNPRレンダリングを含む性能向上を達成するために１つまたは複数の予測機械学習モデル３２８の性能に依存することができる。

【0042】

フローチャート４７０によって概説される方法に関して、いくつかの実装において、動作４７１、４７２、４７３および４７４は、そこから人間の参加が省略され得る自動化プロセスにおいて実施され得ることに留意されたい。

【0043】

したがって、本願は、NPRレンダリングのための計算時間を削減するリアルタイムNPRレンダリングを実行するためのシステムおよび方法を開示する。上述したように、幾つかの実施形態では、本発明のリアルタイムNPRレンダリングソリューションは、従来のゲームエンジンへのプラグインとして機能することができ、リアルタイムで芸術的画像の合成を可能にするカスタムNPRレンダラを用いてゲームエンジンに含まれるストックレンダラを修正するNPRソフトウェアプラグインを提供し、それにより最終レンダリングのために低いオーバヘッドを必要とする。加えて、本願によって開示されたカスタムNPRレンダラは、物理的にベースのもの、又は以前に開発されたものの範囲外の芸術指向の様式化された美的外観を達成する柔軟性を有利に提供する。その結果、ここに開示した概念は、合成ソフトウェアでコンパイルされたいくつかのレンダパスだけでなく、フレーム当たり数時間といった長いレンダリング時間を必要とするオフラインレンダラのために作成された既存のソリューションを大幅に超えて、最先端のソリューションを進歩させる。

【0044】

上記の説明から、様々な技術が、それらの概念の範囲から逸脱することなく、本願に記載された概念を実施するために使用され得ることが明白である。さらに、概念を特定の実装を参照して具体的に説明してきたが、当業者は、それらの概念の範囲から逸脱することなく、形態および詳細に変更を行うことができることを認識するであろう。そのように、記載される実装は、すべての点で、例示的であり、限定的ではないと見なされるべきである。また、本願は、本明細書に記載の特定の実装に限定されるものではないが、多くの再構成、修正、および置換が、本発明の範囲から逸脱することなく可能であることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】