特開 2024-70286 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024070286

(43)【公開日】2024-05-23

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06T 15/06 20110101AFI20240516BHJP

【ＦＩ】

G06T15/06

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2021050060

(22)【出願日】2021-03-24

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100104215

【弁理士】

【氏名又は名称】大森 純一

(74)【代理人】

【識別番号】100196575

【弁理士】

【氏名又は名称】高橋 満

(74)【代理人】

【識別番号】100168181

【弁理士】

【氏名又は名称】中村 哲平

(74)【代理人】

【識別番号】100160989

【弁理士】

【氏名又は名称】関根 正好

(74)【代理人】

【識別番号】100117330

【弁理士】

【氏名又は名称】折居 章

(74)【代理人】

【識別番号】100168745

【弁理士】

【氏名又は名称】金子 彩子

(74)【代理人】

【識別番号】100176131

【弁理士】

【氏名又は名称】金山 慎太郎

(74)【代理人】

【識別番号】100197398

【弁理士】

【氏名又は名称】千葉 絢子

(74)【代理人】

【識別番号】100197619

【弁理士】

【氏名又は名称】白鹿 智久

(72)【発明者】

【氏名】入江 大輔

(72)【発明者】

【氏名】高橋 紀晃

(72)【発明者】

【氏名】西田 幸司

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080AA17

5B080AA19

5B080CA01

5B080DA06

5B080FA02

5B080FA03

5B080FA08

5B080FA09

5B080FA14

5B080FA17

5B080GA02

5B080GA04

5B080GA06

5B080GA11

(57)【要約】

【課題】光線追跡方式によるレンダリング映像をより高速に作成する。
【解決手段】情報処理装置は、モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成するレンダラと、前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する映像合成部とを具備する。
【選択図】図２

【特許請求の範囲】

【請求項1】

モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成する
レンダラと、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する映像合成部と
を具備する情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記レンダラは、前記モデルデータをＮフレーム毎に前記光線追跡方式によりレンダリングすることで、時間的に間引いて前記光線追跡映像を作成し、
前記情報処理装置は、前記Ｎフレームの付加映像と、光線追跡映像が作成されなかったフレームである間引きフレームの付加映像とに基づき、前記Ｎフレームから前記間引きフレームへの動きベクトルを算出する動きベクトル算出部をさらに具備し、
前記映像合成部は、前記間引きフレームの前記付加映像と、前記Ｎフレームの前記光線追跡映像を前記動きベクトルに基づき補正することにより作成された補正後の光線追跡映像とを合成して、前記間引きフレームの合成映像を作成する
情報処理装置。

【請求項3】

請求項２に記載の情報処理装置であって、
前記補正後の光線追跡映像を作成するプレ信号処理部
をさらに具備する情報処理装置。

【請求項4】

請求項２に記載の情報処理装置であって、
前記映像合成部は、前記補正後の光線追跡映像を作成する
情報処理装置。

【請求項5】

請求項１に記載の情報処理装置であって、
前記モデルデータの前記光線追跡方式の固有の表現領域を設定する表現領域設定部をさらに具備し、
前記レンダラは、前記モデルデータの前記表現領域を前記光線追跡方式によりレンダリングして、前記光線追跡映像を作成し、
前記映像合成部は、前記付加映像と、前記表現領域の前記光線追跡映像とを合成して合成映像を作成する
情報処理装置。

【請求項6】

請求項５に記載の情報処理装置であって、
前記レンダラは、前記モデルデータのマテリアル設定に基づき、前記表現領域をマスクするマスク映像を作成し、
前記表現領域設定部は、前記マスク映像に特定される前記表現領域を設定する
情報処理装置。

【請求項7】

請求項５に記載の情報処理装置であって、
前記レンダラは、
前記光線追跡方式より低ＳＰＰ（Samples Per Pixel）及び／若しくは低解像度の光線追跡方式で、前記モデルデータをプリレンダリングしてプリレンダリング映像を作成し、
前記プリレンダリング映像の内部成分に基づき前記表現領域をマスクするマスク映像を作成し、
前記表現領域設定部は、前記マスク映像に特定される前記表現領域を設定する
情報処理装置。

【請求項8】

請求項５に記載の情報処理装置であって、
前記レンダラは、前記光線追跡方式より低ＳＰＰ（Samples Per Pixel）及び／若しくは低解像度の光線追跡方式で、前記モデルデータをプリレンダリングしてプリレンダリング映像を作成し、
前記情報処理装置は、前記レンダラが作成した前記プリレンダリング映像から、前記表現領域を識別する識別器をさらに具備し、
前記表現領域設定部は、前記プリレンダリング映像から予測された前記表現領域を設定する
情報処理装置。

【請求項9】

請求項５に記載の情報処理装置であって、
前記表現領域設定部は、前記表現領域を前記光線追跡方式によりレンダリングするときのレンダリングパラメータを設定し、
前記レンダラは、前記レンダリングパラメータに基づき、前記モデルデータの前記表現領域を前記光線追跡方式によりレンダリングして、前記光線追跡映像を作成する
情報処理装置。

【請求項10】

請求項９に記載の情報処理装置であって、
前記表現領域設定部は、前記光線追跡映像の全体領域に対する前記表現領域の割合に基づき、前記レンダリングパラメータを設定する
情報処理装置。

【請求項11】

請求項１に記載の情報処理装置であって、
前記レンダラは、前記光線追跡方式と異なる方法として、前記モデルデータを非光線追跡方式又は記光線追跡方式より低ＳＰＰ及び／若しくは低解像度の光線追跡方式で、前記モデルデータをレンダリングして前記付加映像を作成する
情報処理装置。

【請求項12】

請求項１１に記載の情報処理装置であって、
前記非光線追跡方式は、ラスタライズ方式、Ｚソート法、Ｚバッファ法又はスキャンライン方式である
情報処理装置。

【請求項13】

請求項１に記載の情報処理装置であって、
前記レンダラは、前記付加映像として、さらに、前記付加映像のＡｌｂｅｄｏ成分、法線成分、Ｄｅｐｔｈ成分、粗さ成分、ＵＶマップ成分、ＡＯＶｓ（Arbitrary Output Variable）成分及び／又はＳｈａｄｏｗマップ成分を含む内部成分を作成する
情報処理装置。

【請求項14】

請求項１に記載の情報処理装置であって、
前記光線追跡方式は、レイトレーシング又はパストレーシングである
情報処理装置。

【請求項15】

請求項１に記載の情報処理装置であって、
前記レンダラは、前記モデルデータを１６ＳＰＰ未満で光線追跡方式によりレンダリングして前記光線追跡映像を作成する
情報処理装置。

【請求項16】

モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成し、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する
情報処理方法。

【請求項17】

情報処理装置のプロセッサを、
モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成し、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する
よう動作させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、光線追跡方式によるレンダリング映像を作成する情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

レンダリングにおいて、光線のシミュレーションに基づく光線追跡方式（レイトレーシングやパストレーシング方式）は、他のレンダリング方式（ラスタライズやＺバッファ法等の非光線追跡方式）に比べて、光の反射や透過等の表現が優れており、より写実的なレンダリングが可能である。光線追跡方式は、様々な分野で使用されている（特許文献１及び特許文献２）。

【0003】

特許文献１は、カーナビゲーションＧＵＩにおける、表示地図上の操作パネルのレンダリングの例を開示する。特許文献１は、部分領域を光線追跡方式、それ以外の領域を異なる方法でレンダリングする。具体的には、カーナビゲーションのボタン等のＧＵＩを、レイトレーシングで透過表示する。

【0004】

特許文献２は、超音波診断装置にレイトレーシングを利用する。一般的な手法として、３次元の超音波画像からボリュームレンダリング法により作成した２次元超音波画像を用いることで、心臓弁における開閉状況を確認するが、弁があまり開かない場合に視認性が下がるおそれがある。そこで、特許文献２は、レイトレーシングを併用することで、心臓弁が開いていることが光の漏れとして分かるので、超音波画像における心臓弁の開閉状況の視認性の向上を図る。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３－１８７２６４号公報

【特許文献2】特表２０１０－１８８１１８号公報

【非特許文献】

【0006】

【非特許文献1】"Intel (R) Open Image Denoise", [online], [2021年2月24日検索], インターネット<URL：https://www.openimagedenoise.org/index.html>

【発明の概要】

【発明が解決しようとする課題】

【0007】

光線追跡方式では、レンダリング映像の１ピクセル毎に数千～数万本もの光線シミュレーションを必要とするため、光線追跡方式のレンダリングは、非常に長い処理時間を要する。実際に、映画の映像制作の場面で、レンダリングの待機時間が大きなペインポイントと認識されている。

【0008】

そこで、非特許文献１は、低ＳＰＰ（例えば、１６ＳＰＰ）設定のレイトレーシング方式で、高速にレンダリングした高ノイズな映像、Ａｌｂｅｄｏ成分及び法線マップを、ＤＮＮを用いて合成する。

【0009】

以上のような事情に鑑み、本開示の目的は、光線追跡方式によるレンダリング映像をより高速に作成することにある。

【課題を解決するための手段】

【0010】

本開示の一形態に係る情報処理装置は、
モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成する
レンダラと、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する映像合成部と
を具備する。

【0011】

本形態によれば、情報処理装置は、光線追跡方式により、光源成分表現等が可能な光線追跡映像を、低画質で高速に作成する。同時に、情報処理装置は、非光線追跡方式により、光源成分表現等が不可能であるが高画質な映像（付加映像と称する）を、高速に作成する。情報処理装置は、低画質であるが光源成分表現等が可能な光線追跡映像と、光源成分表現等が不可能であるが高画質な付加映像とを合成する。これにより、情報処理装置は、光線追跡映像及び付加映像のそれぞれの利点を活かしそれぞれの欠点を補い合う合成映像を高速に作成することができる。

【0012】

前記レンダラは、前記モデルデータをＮフレーム毎に前記光線追跡方式によりレンダリングすることで、時間的に間引いて前記光線追跡映像を作成し、
前記情報処理装置は、前記Ｎフレームの付加映像と、光線追跡映像が作成されなかったフレームである間引きフレームの付加映像とに基づき、前記Ｎフレームから前記間引きフレームへの動きベクトルを算出する動きベクトル算出部をさらに具備し、
前記映像合成部は、前記間引きフレームの前記付加映像と、前記Ｎフレームの前記光線追跡映像を前記動きベクトルに基づき補正することにより作成された補正後の光線追跡映像とを合成して、前記間引きフレームの合成映像を作成してもよい。

【0013】

本実施形態の情報処理装置は、モデルデータを時間的に間引いて光線追跡映像を作成する。非光線追跡方式のレンダリング回数が減るので、その分だけ毎回のレンダリングに時間を掛けることができ、比較的高ＳＰＰで光線追跡映像を作成することができる。また、間引きフレームに用いられる光線追跡映像として、レンダリング済みの複数の付加映像から算出した動きベクトルに基づき補正された光線追跡映像を使用する。これにより、全フレームの光線追跡映像を作成しなくても、時間的に滑らかな合成映像を作成することが可能となる。これにより、高速化及びさらなる高画質化を両立できる。

【0014】

情報処理装置は、前記補正後の光線追跡映像を作成するプレ信号処理部をさらに具備してもよい。

【0015】

前記映像合成部は、前記補正後の光線追跡映像を作成してもよい。

【0016】

プレ信号処理部が、Ｎフレームの光線追跡映像を動きベクトルに基づき補正することにより、補正後の光線追跡映像を作成してもよい。これに対して、映像合成部が、合成映像を作成する際に、用いてＮフレームの光線追跡映像を動きベクトルに基づき補正することにより、補正後の光線追跡映像を作成してもよい。

【0017】

前記モデルデータの前記光線追跡方式の固有の表現領域を設定する表現領域設定部をさらに具備し、
前記レンダラは、前記モデルデータの前記表現領域を前記光線追跡方式によりレンダリングして、前記光線追跡映像を作成し、
前記映像合成部は、前記付加映像と、前記表現領域の前記光線追跡映像とを合成して合成映像を作成してもよい。

【0018】

本実施形態の情報処理装置は、モデルデータの光線追跡方式の固有の表現領域にレンダリング対象を限定して（言い換えれば、レンダリング対象領域を空間的に間引いて）、光線追跡方式の固有の表現領域のみの光線追跡映像を作成する。光線追跡方式でレンダリングする領域が減るので、その分だけ表現領域のレンダリングに時間を掛けることができ、高ＳＰＰで表現領域の光線追跡映像を作成することができる。これにより、高速化及びさらなる高画質化を両立できる。

【0019】

前記レンダラは、前記モデルデータのマテリアル設定に基づき、前記表現領域をマスクするマスク映像を作成し、
前記表現領域設定部は、前記マスク映像に特定される前記表現領域を設定してもよい。

【0020】

前記レンダラは、
前記光線追跡方式より低ＳＰＰ（Samples Per Pixel）及び／若しくは低解像度の光線追跡方式で、前記モデルデータをプリレンダリングしてプリレンダリング映像を作成し、
前記プリレンダリング映像の内部成分に基づき前記表現領域をマスクするマスク映像を作成し、
前記表現領域設定部は、前記マスク映像に特定される前記表現領域を設定してもよい。

【0021】

前記レンダラは、前記光線追跡方式より低ＳＰＰ（Samples Per Pixel）及び／若しくは低解像度の光線追跡方式で、前記モデルデータをプリレンダリングしてプリレンダリング映像を作成し、
前記情報処理装置は、前記レンダラが作成した前記プリレンダリング映像から、前記表現領域を識別する識別器をさらに具備し、
前記表現領域設定部は、前記プリレンダリング映像から予測された前記表現領域を設定してもよい。

【0022】

レンダラが表現領域をマスクするマスク映像を作成する方法では、レンダラのシステムの規定によりレンダラが表現領域をマスクするマスク映像を作成することになる。一方、外部ＡＰＩとして処理を行う場合、レンダラの内部を操作できない場合がある。そこで、レンダラの外部の識別器が表現領域を特定すれば、外部ＡＰＩとして処理を実行できる。

【0023】

前記表現領域設定部は、前記表現領域を前記光線追跡方式によりレンダリングするときのレンダリングパラメータを設定し、
前記レンダラは、前記レンダリングパラメータに基づき、前記モデルデータの前記表現領域を前記光線追跡方式によりレンダリングして、前記光線追跡映像を作成してもよい。

【0024】

前記表現領域設定部は、前記光線追跡映像の全体領域に対する前記表現領域の割合に基づき、前記レンダリングパラメータを設定してもよい。

【0025】

これにより、表現領域の割合に基づき、適切な速度の範囲で最も高画質に、光線追跡映像をレンダリングすることができる。

【0026】

前記レンダラは、前記光線追跡方式と異なる方法として、前記モデルデータを非光線追跡方式又は記光線追跡方式より低ＳＰＰ及び／若しくは低解像度の光線追跡方式で、前記モデルデータをレンダリングして前記付加映像を作成してもよい。

【0027】

非光線追跡方式のレンダリング映像は、光線追跡方式に比べて処理に要する時間が短く高速である。非光線追跡方式のレンダリング時間は、最小で１フレーム当たり数ミリ秒であり、設定によりリアルタイム処理も可能である。一方、非光線追跡方式は、少なくとも被写体固有の形状を表現することは可能であるものの、光源成分表現、散乱表現、ヘアレンダリング表現等が出来ない。光線追跡方式でも、解像度やＳＰＰ（光線数）を抑えれば、非光線追跡方式と同程度の速度でレンダリングすることは可能である。しかしながら、低解像度でレンダリングすると極端に低解像度の光線追跡映像が作成され、低ＳＰＰでレンダリングすると極端に高ノイズの光線追跡映像が作成され、非実用的である。以上のような事情に鑑み、本実施形態によれば、情報処理装置は、光線追跡方式により、光源成分表現等が可能な光線追跡映像を、低画質で高速に作成する。同時に、情報処理装置は、非光線追跡方式により、光源成分表現等が不可能であるが高画質な映像（付加映像）を、高速に作成する。情報処理装置は、低画質であるが光源成分表現等が可能な光線追跡映像と、光源成分表現等が不可能であるが高画質な付加映像とを合成する。これにより、情報処理装置は、光線追跡映像及び付加映像のそれぞれの利点を活かしそれぞれの欠点を補い合う合成映像を高速に作成する。

【0028】

前記非光線追跡方式は、ラスタライズ方式、Ｚソート法、Ｚバッファ法又はスキャンライン方式でもよい。

【0029】

前記レンダラは、前記付加映像として、さらに、前記付加映像のＡｌｂｅｄｏ成分、法線成分、Ｄｅｐｔｈ成分、粗さ成分、ＵＶマップ成分、ＡＯＶｓ（Arbitrary Output Variable）成分及び／又はＳｈａｄｏｗマップ成分を含む内部成分を作成してもよい。

【0030】

前記光線追跡方式は、レイトレーシング又はパストレーシングでもよい。

【0031】

前記レンダラは、前記モデルデータを１６ＳＰＰ未満で光線追跡方式によりレンダリングして前記光線追跡映像を作成してもよい。

【0032】

本実施形態によれば、情報処理装置は、鑑賞向けの映像としては、光源成分表現等が可能な光線追跡映像と、光源成分表現等が不可能であるが高画質な映像（付加映像）を作成する。光線追跡映像と付加映像とを合成するため、光線追跡映像のＳＰＰを１ＳＰＰ程度に大幅に抑えても、画質を付加映像で担保できるため問題無い。このため、光線追跡映像のＳＰＰを１ＳＰＰ程度に大幅に抑えて処理を高速化することができる。

【0033】

本開示の一形態に係る情報処理方法は、
モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成し、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する。

【0034】

本開示の一形態に係る情報処理プログラムは、
情報処理装置のプロセッサを、
モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成し、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する
よう動作させる。

【図面の簡単な説明】

【0035】

【図1】本開示の第１の実施形態のコンセプトを示す。

【図2】情報処理装置の構成を示す。

【図3】情報処理装置の動作フローを示す。

【図4】本開示の第２の実施形態のコンセプトを示す。

【図5】情報処理装置の構成を示す。

【図6】情報処理装置の動作フローを示す。

【図7】本開示の第３の実施形態の情報処理装置の構成を示す。

【図8】情報処理装置の動作フローを示す。

【図9】本開示の第４の実施形態のコンセプトを示す。

【図10】情報処理装置の構成を示す。

【図11】情報処理装置の動作フローを示す。

【図12】本開示の第５の実施形態の情報処理装置の構成を示す。

【図13】情報処理装置の動作フローを示す。

【発明を実施するための形態】

【0036】

以下、図面を参照しながら、本開示の実施形態を説明する。

【0037】

Ｉ．第１の実施形態

【0038】

１．情報処理装置の概要

【0039】

光線追跡方式のレンダリングとして、レイトレーシング又はパストレーシングが知られている。光線追跡方式は、写実的な光の反射、透過、拡散、屈折及び陰影等の表現が可能である。具体的には、光線追跡方式は、直接反射光表現、間接反射光表現、透過光表現、内部拡散光表現及び自発光表現等の光源成分表現、雲や霧等の散乱表現、髪や毛皮等のヘアレンダリング表現が可能である。一方、光線追跡方式は、非常に長い処理時間を要する。光線追跡方式は、１ピクセル毎に数千～数万本もの光線シミュレーションを必要とするため、１フレーム当たり数時間掛かることもある。

【0040】

非光線追跡方式のレンダリングとして、例えば、ラスタライズ方式、Ｚソート法、Ｚバッファ法又はスキャンライン方式が知られている。非光線追跡方式のレンダリング映像は、光線追跡方式に比べて処理に要する時間が短く高速である。非光線追跡方式のレンダリング時間は、最小で１フレーム当たり数ミリ秒であり、設定によりリアルタイム処理も可能である。一方、非光線追跡方式は、少なくとも被写体固有の形状を表現することは可能であるものの、光源成分表現、散乱表現、ヘアレンダリング表現等が出来ない。

【0041】

光線追跡方式でも、解像度やＳＰＰ（光線数）を抑えれば、非光線追跡方式と同程度の速度でレンダリングすることは可能である。しかしながら、低解像度でレンダリングすると極端に低解像度の光線追跡映像が作成され、低ＳＰＰでレンダリングすると極端に高ノイズの光線追跡映像が作成され、非実用的である。

【0042】

図１は、本開示の第１の実施形態のコンセプトを示す。

【0043】

以上のような事情に鑑み、本実施形態によれば、情報処理装置１００は、光線追跡方式により、光源成分表現等が可能な光線追跡映像１２１を、低画質で高速に作成する。同時に、情報処理装置１００は、非光線追跡方式により、光源成分表現等が不可能であるが高画質な映像（以下、付加映像１２２と称する）を、高速に作成する。情報処理装置１００は、低画質であるが光源成分表現等が可能な光線追跡映像１２１と、光源成分表現等が不可能であるが高画質な付加映像１２２とを映像合成部１３０で合成（Ｆｕｓｉｏｎ）する。これにより、情報処理装置１００は、光線追跡映像１２１及び付加映像１２２のそれぞれの利点を活かしそれぞれの欠点を補い合う合成映像１４１を高速に作成する。これが本実施形態のコンセプトであり、その概要は以下の通りである。

【0044】

情報処理装置１００は、モデルデータを光線追跡方式（レイトレーシング又はパストレーシング）によりレンダリングして光線追跡映像１２１を作成する。このとき、情報処理装置１００は、画質を落として高速にレンダリングする。具体的には、情報処理装置１００は、低解像度でレンダリングすることで低解像度の光線追跡映像１２１を高速に作成するか、低ＳＰＰ（例えば、１ＳＰＰ）でレンダリングすることで高ノイズの光線追跡映像１２１を高速に作成する。本実施形態で「映像」は、静止画像又は動画を問わず両方を意味する。

【0045】

同時に、情報処理装置１００は、同じモデルデータを光線追跡方式と異なる方法でレンダリングして付加映像１２２を作成する。光線追跡方式と異なる方法は、典型的には、非光線追跡方式（ラスタライズ方式、Ｚソート法、Ｚバッファ法又はスキャンライン方式等）である。以下、光線追跡方式と異なる方法として、非光線追跡方式（特に、ラスタライズ方式）を例に説明する。例えば、情報処理装置１００は、ラスタライズ方式で通常の設定値を用いてレンダリングすれば、光源成分表現、散乱表現、ヘアレンダリング表現等は出来ないものの、高解像度且つ低ノイズの映像を高速にレンダリング出来る。あるいは、情報処理装置１００は、光線追跡方式と異なる方法として、上記光線追跡方式よりさらに低ＳＰＰ及び／又はさらに低解像度の光線追跡方式でレンダリングして付加映像１２２を作成してもよい。情報処理装置１００は、付加映像１２２として、さらに、付加映像１２２のＡｌｂｅｄｏ成分、法線成分、Ｄｅｐｔｈ成分、粗さ成分、ＵＶマップ成分、ＡＯＶｓ（Arbitrary Output Variables）成分及び／又はＳｈａｄｏｗマップ成分を含む内部成分を作成してもよい。

【0046】

そして、情報処理装置１００は、付加映像１２２及び光線追跡映像１２１をＤＮＮやガイデッドフィルタにより合成（Ｆｕｓｉｏｎ）処理して合成映像１４１を作成する。これにより、情報処理装置１００は、光源成分表現、散乱表現、ヘアレンダリング表現等を実現した高解像度及び低ノイズの合成映像１４１を、光線追跡方式により高速に作成することができる。

【0047】

２．情報処理装置の構成

【0048】

図２は、情報処理装置の構成を示す。

【0049】

ＣＰＵやＧＰＵ等のプロセッサが、ＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行することにより、情報処理装置１００は、レンダラ１１０、プレ信号処理部１２０、映像合成部１３０及ポスト信号処理部１４０として動作する。

【0050】

レンダラ１１０は、光線追跡方式のレンダリングエンジン（レイトレーサ又はパストレーサ）と、非光線追跡方式のレンダリングエンジン（例えば、ラスタライザ）とを含む。

【0051】

映像合成部１３０は、ＤＮＮ１３１（Deep Neural Network）と、学習済みＤＮＮ係数１３２とを含む。ＤＮＮ１３１は、光線追跡映像と、非光線追跡方式でレンダリングした付加映像と、を合成（Ｆｕｓｉｏｎ）処理して合成映像を作成する。ＤＮＮ１３１は、内部成分等の付加映像がさらにある場合にはその付加映像も合成する。学習済みＤＮＮ係数１３２は、例えば、低ＳＰＰ光線追跡映像及び非光線追跡方式でレンダリングした映像の２個の映像を生徒とし、高ＳＰＰ光線追跡映像を教師として学習して作成される。学習済みＤＮＮ係数１３２は、生徒及び教師の入力映像を元に、低ノイズかつ高解像度の光線追跡方式相当の映像を出力するように学習される。なお、映像合成部１３０は、ＤＮＮに限定されず、ガイデッドフィルタ等のモデルベース処理により合成映像を作成してもよい。

【0052】

情報処理装置１００は、表示装置１５０及びストレージ１６０を含む。表示装置１５０は、３Ｄディスプレイ等のディスプレイである。ストレージ１６０は、ＨＤＤやＳＳＤ等の大容量の不揮発性の記録媒体である。

【0053】

３．情報処理装置の動作フロー

【0054】

図３は、情報処理装置の動作フローを示す。

【0055】

情報処理装置１００は、１フレーム毎に動作フローをループする。

【0056】

レンダラ１１０にモデルデータ１１１及びレンダリングパラメータ１１２が入力される（ステップＳ１０１）。モデルデータ１１１は、Ｍｅｓｈ、点群、ボクセル等、一般的な３Ｄモデルである。レンダリングパラメータ１１２は、光線追跡方式のレンダリングの設定値(ＳＰＰ、解像度等)と、非光線追跡方式のレンダリングの設定値とを含む。

【0057】

レンダラ１１０は、レンダリングパラメータ１１２に基づきモデルデータ１１１を光線追跡方式によりレンダリングして光線追跡映像１２１を作成する（ステップＳ１０２）。ここで、レンダラ１１０は、ゴールとする画質より、低ＳＰＰ及び／又は低解像度で高速に、モデルデータ１１１を光線追跡方式によりレンダリングする。低ＳＰＰとは、例えば、１ＳＰＰ以上１６ＳＰＰ未満である。

【0058】

レンダラ１１０は、レンダリングパラメータ１１２に基づきモデルデータ１１１を非光線追跡方式（例えば、ラスタライズ方式）によりレンダリングして付加映像１２２を作成する（ステップＳ１０３）。

【0059】

プレ信号処理部１２０は、光線追跡映像１２１及び付加映像１２２をプレ信号処理する（ステップＳ１０４）。プレ信号処理は、ＤＮＮ１３１に入力する際の一般的なプレ信号処理である。プレ信号処理は、例えば、アップコンバート、ＮＲ（Noise Reduction）、正規化、色処理、アンチエイリアス等を含む。

【0060】

映像合成部１３０は、ＤＮＮ１３１に、プレ信号処理後の光線追跡映像１２１及び付加映像１２２を入力する（ステップＳ１０５）。映像合成部１３０は、ＤＮＮ１３１に、学習済みＤＮＮ係数１３２を入力する（ステップＳ１０６）。なお、学習済みＤＮＮ係数１３２を入力するステップは、１フレーム目のみに実行すればよく、あるいは、１フレーム目の動作開始前に実行してもよい。ＤＮＮ１３１は、プレ信号処理後の光線追跡映像１２１及び付加映像１２２を合成して合成映像１４１を作成する（ステップＳ１０７）。

【0061】

ポスト信号処理部１４０は、合成映像１４１をポスト信号処理する（ステップＳ１０８）。ポスト信号処理は、出力形式（即ち、表示形式及び保存形式）に応じた変換処理と、一般的な信号処理とを含む。ポスト信号処理は、アップコンバート、ＮＲ、色処理、トーンマッピング、アンチエイリアス、圧縮等を含む。

【0062】

ポスト信号処理部１４０は、ポスト信号処理後の合成映像１４１を表示装置１５０及びストレージ１６０に出力する（ステップＳ１０９）。表示装置１５０は、ポスト信号処理後の合成映像１４１を表示する。ストレージ１６０は、ポスト信号処理後の合成映像１４１を保存する。

【0063】

ＩＩ．第２の実施形態

【0064】

以下、既に説明した構成及び動作と同様の構成及び動作は説明及び図示を省略し、異なる構成及び動作を主に説明する。

【0065】

１．第２の実施形態の概要

【0066】

図４は、本開示の第２の実施形態のコンセプトを示す。

【0067】

第２の実施形態の情報処理装置２００は、モデルデータ１１１の全フレームを光線追跡方式でレンダリングせずに、モデルデータ１１１をＮフレーム毎に光線追跡方式でレンダリングすることで、時間的に間引いて光線追跡映像を作成する。一方、情報処理装置２００は、モデルデータ１１１の全フレームを非光線追跡方式でレンダリングし、全フレームの付加映像を作成する。

【0068】

例えば、情報処理装置２００は、フレームｔ１のモデルデータ１１１を、光線追跡方式でレンダリングして光線追跡映像Ｌｔ１を作成し、非光線追跡方式でレンダリングして付加映像Ｒｔ１を作成する。情報処理装置２００は、フレームｔ１の付加映像Ｒｔ１と、フレームｔ１の光線追跡映像Ｌｔ１とを合成することにより、フレームｔ１の合成映像Ｆｔ１を作成する。一方、情報処理装置２００は、フレームｔ２のモデルデータ１１１を、光線追跡方式でレンダリングせず光線追跡映像を作成せず、非光線追跡方式でレンダリングして付加映像Ｒｔ２を作成する。情報処理装置２００は、フレームｔ２の付加映像Ｒｔ２と、フレームｔ１の光線追跡映像Ｌｔ１をフレームｔ２向けに補正した光線追跡映像Ｌｔ１'とを合成することにより、フレームｔ２の合成映像Ｆｔ２を作成する。

【0069】

第１の実施形態の情報処理装置１００は、モデルデータ１１１の全フレームを光線追跡方式でレンダリングして光線追跡映像を作成する。第１の実施形態において、短時間処理を追及して１ＳＰＰ等の低ＳＰＰ又は低解像度で、光線追跡方式でレンダリングすると、光線追跡映像のノイズが非常に強くなり、合成結果にノイズが残るおそれがある。

【0070】

以上のような事情に鑑み、第２の実施形態の情報処理装置２００は、モデルデータ１１１を時間的に間引いて光線追跡映像を作成する。光線追跡方式のレンダリング回数が減るので、その分だけ毎回のレンダリングに時間を掛けることができ、比較的高ＳＰＰ（例えば、８ＳＰＰ等）で光線追跡映像を作成することができる。これにより、第２の実施形態では、高速化及びさらなる高画質化の両立を図る。

【0071】

２．情報処理装置の構成

【0072】

図５は、情報処理装置の構成を示す。

【0073】

第２の実施形態の情報処理装置２００の、第１の実施形態の情報処理装置１００（図２参照）から異なる構成のみ図示する。

【0074】

ＣＰＵやＧＰＵ等のプロセッサが、ＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行することにより、情報処理装置２００は、レンダラ２１０、プレ信号処理部２２０、映像合成部２３０及ポスト信号処理部１４０（図２参照）に加えて、動きベクトル算出部２５０としてさらに動作する。

【0075】

３．情報処理装置の動作フロー

【0076】

図６は、情報処理装置の動作フローを示す。

【0077】

情報処理装置２００は、１フレーム毎に動作フローをループする。

【0078】

レンダラ２１０にモデルデータ１１１及びレンダリングパラメータ１１２が入力される（ステップＳ２０１）。

【0079】

レンダラ２１０は、レンダリングパラメータ１１２に基づきモデルデータ１１１をＮフレーム毎に光線追跡方式によりレンダリングすることで、時間的に間引いて光線追跡映像２２１を作成する（ステップＳ２０２）。ここで、レンダラ２１０は、ゴールとする画質より、低ＳＰＰ（例えば、８ＳＰＰ）及び／又は低解像度で高速に、モデルデータ１１１を光線追跡方式によりレンダリングする。

【0080】

レンダラ２１０は、レンダリングパラメータ１１２に基づきモデルデータ１１１の全フレームを非光線追跡方式（例えば、ラスタライズ方式）によりレンダリングして付加映像２２２を作成する（ステップＳ２０３）。

【0081】

動きベクトル算出部２５０は、Ｎフレームの付加映像と、光線追跡映像が作成されなかったフレームＮ＋１（間引きフレームと称する）の付加映像とに基づき、Ｎフレームから間引きフレームＮ＋１への動きベクトルを算出する（ステップＳ２１０）。図４の例では、動きベクトル算出部２５０は、フレームｔ１の付加映像Ｒｔ１と、間引きフレームｔ２の付加映像Ｒｔ２とに基づき、フレームｔ１から間引きフレームｔ２への動きベクトルを算出する。例えば、動きベクトル算出部２５０は、フレームｔ１の付加映像Ｒｔ１及び間引きフレームｔ２の付加映像Ｒｔ２から、例えばオプティカルフローを算出することで、動きベクトルを算出すればよい。あるいは、動きベクトル算出部２５０は、フレームｔ１の付加映像Ｒｔ１及び間引きフレームｔ２の付加映像Ｒｔ２から、動きベクトル算出用ＤＮＮを用いて動きベクトルを算出すればよい。

【0082】

プレ信号処理部２２０は、Ｎフレームの光線追跡映像を動きベクトルに基づき補正することにより、補正後の光線追跡映像を作成する。具体的には、プレ信号処理部２２０は、Ｎフレームの光線追跡映像を動きベクトルに基づきＷａｒｐｉｎｇ処理して形状補正することにより、補正後の光線追跡映像を作成する。図４の例では、プレ信号処理部２２０は、フレームｔ１の光線追跡映像Ｌｔ１を動きベクトルに基づき補正することにより、補正後の光線追跡映像Ｌｔ１'を作成する（ステップＳ２１１）。

【0083】

その後のステップＳ２０４は第１の実施形態のステップＳ１０４以下と同様である。図４の例では、間引きフレームｔ２について、プレ信号処理部２２０は、補正後の光線追跡映像Ｌｔ１'及び付加映像Ｒｔ２をプレ信号処理する（ステップＳ２０４）。プレ信号処理は、ＤＮＮ１３１に入力する際の一般的なプレ信号処理である。プレ信号処理は、例えば、アップコンバート、ＮＲ（Noise Reduction）、正規化、色処理、アンチエイリアス等を含む。映像合成部２３０は、ＤＮＮ１３１に、プレ信号処理後の補正後の光線追跡映像Ｌｔ１'及び付加映像Ｒｔ２を入力する（ステップＳ２０５）。映像合成部２３０は、ＤＮＮ１３１に、学習済みＤＮＮ係数１３２を入力する（ステップＳ２０６）。ＤＮＮ１３１は、プレ信号処理後の補正後の光線追跡映像Ｌｔ１'及び付加映像Ｒｔ２を合成して合成映像Ｆｔ２を作成する（ステップＳ２０７）。ポスト信号処理部１４０は、合成映像Ｆｔ２をポスト信号処理し（ステップＳ２０８）、出力する（ステップＳ２０９）。

【0084】

以上の様に、第２の実施形態の情報処理装置２００は、モデルデータ１１１を時間的に間引いて光線追跡映像を作成する。非光線追跡方式のレンダリング回数が減るので、その分だけ毎回のレンダリングに時間を掛けることができ、比較的高ＳＰＰ（例えば、８ＳＰＰ等）で光線追跡映像を作成することができる。また、間引きフレームに用いられる光線追跡映像として、レンダリング済みの複数の付加映像から算出した動きベクトルに基づき補正された光線追跡映像を使用する。これにより、全フレームの光線追跡映像を作成しなくても、時間的に滑らかな合成映像を作成することが可能となる。これにより、第２の実施形態では、高速化及びさらなる高画質化を両立できる。

【0085】

ＩＩＩ．第３の実施形態

【0086】

１．第３の実施形態の概要

【0087】

第３の実施形態の実施形態のコンセプトは第２の実施形態のコンセプトと同様である。ただし、補正後の光線追跡映像を作成する処理が異なる。第２の実施形態では、プレ信号処理部１２０が、Ｎフレームの光線追跡映像を動きベクトルに基づき補正することにより、補正後の光線追跡映像を作成する。これに対して、第３の実施形態では、映像合成部１３０が、ＤＮＮ１３１を用いて合成映像を作成する際に、ＤＮＮ１３１を用いてＮフレームの光線追跡映像を動きベクトルに基づき補正することにより、補正後の光線追跡映像を作成する。

【0088】

２．情報処理装置の構成

【0089】

図７は、本開示の第３の実施形態の情報処理装置の構成を示す。

【0090】

第３の実施形態の情報処理装置３００の各ブロックは、第２の実施形態の情報処理装置２００の各ブロックと同様であるが、動きベクトル算出部３５０の出力先が異なる。

【0091】

３．情報処理装置の動作フロー

【0092】

図８は、情報処理装置の動作フローを示す。

【0093】

情報処理装置３００は、１フレーム毎に動作フローをループする。

【0094】

レンダラ３１０にモデルデータ１１１及びレンダリングパラメータ１１２が入力される（ステップＳ３０１）。

【0095】

レンダラ３１０は、レンダリングパラメータ１１２に基づきモデルデータ１１１をＮフレーム毎に光線追跡方式によりレンダリングすることで、時間的に間引いて光線追跡映像３２１を作成する（ステップＳ３０２）。ここで、レンダラ３１０は、ゴールとする画質より、低ＳＰＰ（例えば、８ＳＰＰ）及び／又は低解像度で高速に、モデルデータ１１１を光線追跡方式によりレンダリングする。

【0096】

レンダラ３１０は、レンダリングパラメータ１１２に基づきモデルデータ１１１の全フレームを非光線追跡方式（例えば、ラスタライズ方式）によりレンダリングして付加映像３２２を作成する（ステップＳ３０３）。

【0097】

動きベクトル算出部３５０は、Ｎフレームの付加映像と、光線追跡映像が作成されなかったフレームＮ＋１（間引きフレームと称する）の付加映像とに基づき、Ｎフレームから間引きフレームＮ＋１への動きベクトルを算出する（ステップＳ３１０）。図４の例では、動きベクトル算出部３５０は、フレームｔ１の付加映像Ｒｔ１と、間引きフレームｔ２の付加映像Ｒｔ２とに基づき、フレームｔ１から間引きフレームｔ２への動きベクトルを算出する。ここまで第２の実施形態の処理と同様である。

【0098】

プレ信号処理部３２０は、光線追跡映像３２１及び付加映像３２２をプレ信号処理する（ステップＳ３０４）。図４の例では、プレ信号処理部３２０は、フレームｔ１について、光線追跡映像Ｌｔ１及び付加映像Ｒｔ１をプレ信号処理し、間引きフレームｔ２について、付加映像Ｒｔ２をプレ信号処理する。プレ信号処理は、ＤＮＮ１３１に入力する際の一般的なプレ信号処理である。プレ信号処理は、例えば、アップコンバート、ＮＲ（Noise Reduction）、正規化、色処理、アンチエイリアス等を含む。

【0099】

間引きフレームｔ２について、映像合成部３３０は、ＤＮＮ１３１に、プレ信号処理後の光線追跡映像Ｌｔ１及び付加映像Ｒｔ２と、動きベクトルとを入力する（ステップＳ３０５）。

【0100】

映像合成部３３０は、ＤＮＮ１３１に、学習済みＤＮＮ係数１３２を入力する（ステップＳ３０６）。学習済みＤＮＮ係数１３２は、動きベクトルに基づくＷａｒｐｉｎｇ処理も学習済みである。

【0101】

ＤＮＮ１３１は、プレ信号処理後の光線追跡映像Ｌｔ１及び付加映像Ｒｔ２と、動きベクトルとを合成して合成映像Ｆｔ２を作成する（ステップＳ３０７）。具体的には、ＤＮＮ１３１は、光線追跡映像Ｌｔ１を動きベクトルに基づきＷａｒｐｉｎｇ処理して形状補正して補正後の光線追跡映像Ｌｔ１'を作成すると同時に、補正後の光線追跡映像Ｌｔ１'及び付加映像Ｒｔ２を合成してＦｔ２を作成する。

【0102】

ポスト信号処理部１４０は、合成映像Ｆｔ２をポスト信号処理し（ステップＳ３０８）、出力する（ステップＳ３０９）。

【0103】

第３の実施形態も、第２の実施形態と同様の効果が得られる。

【0104】

第３の実施形態の変形例として、情報処理装置３００は動きベクトル算出部３５０を有さず、代わりに、映像合成部３３０のＤＮＮ１３１が動きベクトルを算出してもよい。この場合、学習済みＤＮＮ係数１３２は、動きベクトルの算出処理も学習済みである。間引きフレームｔ２について、ＤＮＮ１３１に、フレームｔ１の光線追跡映像Ｌｔ１及び付加映像Ｒｔ１と、間引きフレームｔ２の付加映像Ｒｔ２とを入力する。ＤＮＮ１３１は、フレームｔ１の付加映像Ｒｔ１と、間引きフレームｔ２の付加映像Ｒｔ２とに基づき動きベクトルを算出し、動きベクトルに基づきフレームｔ１の光線追跡映像Ｌｔ１を補正して光線追跡映像Ｌｔ１'を作成し、補正後の光線追跡映像Ｌｔ１'及び付加映像Ｒｔ２を合成してＦｔ２を作成する。

【0105】

ＩＶ．第４の実施形態

【0106】

１．第４の実施形態の概要

【0107】

図９は、本開示の第４の実施形態のコンセプトを示す。

【0108】

第４の実施形態の情報処理装置４００は、モデルデータ４１１の全体領域を光線追跡方式でレンダリングせずに、モデルデータ４１１の一部の領域を光線追跡方式でレンダリングすることで、モデルデータの光線追跡方式の固有の表現領域にレンダリング対象を限定して（言い換えれば、レンダリング対象領域を空間的に間引いて）光線追跡映像を作成する。一方、情報処理装置４００は、モデルデータ４１１の全体領域を非光線追跡方式でレンダリングし、全体領域の付加映像を作成する。

【0109】

上述の様に、光線追跡方式は、直接反射光表現、間接反射光表現、透過光表現、内部拡散光表現及び自発光表現等の光源成分表現、雲や霧等の散乱表現、髪や毛皮等のヘアレンダリング表現が可能である。一方、非光線追跡方式は、光源成分表現、散乱表現、ヘアレンダリング表現等が出来ない。

【0110】

そこで、第４の実施形態では、写実的な表現を得る必要のある領域、即ち、光源成分表現等の光線追跡方式の固有の表現領域（以下、表現領域と称する）のみを、光線追跡方式でレンダリングする。言い換えれば、第４の実施形態では、非光線追跡方式では表現できない領域のみを、光線追跡方式でレンダリングする。一方、表現領域以外の領域（即ち、光源成分、ヘア等が存在しない背景等の領域）は、非光線追跡方式で十分高画質にレンダリング可能である。このため、表現領域以外の領域は、非光線追跡方式でレンダリングするのみである。第４の実施形態では、全体領域の付加映像に対して、表現領域のみの光線追跡映像を合成することで、合成映像を作成する。

【0111】

第４の実施形態の情報処理装置４００は、モデルデータ４１１の光線追跡方式の固有の表現領域にレンダリング対象を限定して（言い換えれば、レンダリング対象領域を空間的に間引いて）、光線追跡方式の固有の表現領域のみの光線追跡映像を作成する。光線追跡方式でレンダリングする領域が減るので、その分だけ表現領域のレンダリングに時間を掛けることができ、高ＳＰＰ（例えば、１２８ＳＰＰ等）で表現領域の光線追跡映像を作成することができる。これにより、第４の実施形態では、高速化及びさらなる高画質化の両立を図る。なお、時間的な間引き手法（第２及び第３の実施形態）と、空間的な間引き手法（第４及び第５の実施形態）は両立可能である。

【0112】

２．情報処理装置の構成

【0113】

図１０は、情報処理装置の構成を示す。

【0114】

第４の実施形態の情報処理装置４００の、第１の実施形態の情報処理装置１００（図２参照）から異なる構成のみ図示する。

【0115】

ＣＰＵやＧＰＵ等のプロセッサが、ＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行することにより、情報処理装置４００は、レンダラ４１０、プレ信号処理部４２０、映像合成部４３０及ポスト信号処理部１４０（図２参照）に加えて、表現領域設定部４６０としてさらに動作する。

【0116】

３．情報処理装置の動作フロー

【0117】

図１１は、情報処理装置の動作フローを示す。

【0118】

情報処理装置４００は、１フレーム毎に動作フローをループする。

【0119】

レンダラ４１０にモデルデータ４１１及びレンダリングパラメータ４１２が入力される（ステップＳ４０１）。

【0120】

レンダラ４１０は、モデルデータ４１１からマスク映像を作成する（ステップＳ４１０）。マスク映像は、１フレームの全体領域のうち光線追跡方式の固有の表現領域をマスクした映像である。

【0121】

一例として、レンダラ４１０は、モデルデータ４１１のマテリアル設定に基づき、表現領域をマスクするマスク映像を作成する。例えば、レンダラ４１０は、光成分のマテリアル設定(反射率、表面の双方向反射率分布関数設定（ＢＲＤＦ：Bidirectional Reflectance Distribution Function）等)に基づき、鏡面反射領域、屈折領域及び透過領域をマスクし、素材のマテリアル設定に基づき、ヘア領域、ボリューム領域（煙や水等）をマスクするマスク映像を作成する。

【0122】

別の例として、レンダラ４１０は、非光線追跡方式（ラスタライズ等）、又は、低ＳＰＰ及び／若しくは低解像度の光線追跡方式で、モデルデータ４１１を高速にプリレンダリングしてプリレンダリング映像を作成し、プリレンダリング映像の内部成分に基づき表現領域をマスクするマスク映像を作成する。例えば、レンダラ４１０は、１ＳＰＰでモデルデータ４１１を高速にプリレンダリングしてプリレンダリング映像を作成する。レンダラ４１０は、プリレンダリング映像のＡＯＶｓ成分に基づき、特定のＡＯＶｓ成分を有する表現領域（鏡面反射、ヘア領域、ボリューム領域等）をマスクするマスク映像を作成する。ＡＯＶｓ成分は、光線追跡方式の映像を構成する内部成分であり、拡散、直接、ボリューム等の被写体成分と、さらにそれぞれについて直接、間接、物体色の受光成分に分けられる。なお、１ＳＰＰのＡＯＶｓ成分はノイズを含むので、デノイズ後、膨張処理や２値化処理を適用してもよい。

【0123】

表現領域設定部４６０は、レンダラ４１０が作成したマスク映像に特定される表現領域を設定する。具体的には、表現領域設定部４６０は、レンダラ４１０が作成したマスク映像に特定される表現領域を、レンダリング座標パラメータに変換する。さらに、表現領域設定部４６０は、表現領域を光線追跡方式によりレンダリングするときのレンダリングパラメータ（即ち、表現領域のＳＰＰや解像度）を設定する（ステップＳ４１１）。

【0124】

例えば、表現領域設定部４６０は、光線追跡映像の全体領域に対する表現領域の割合に基づき、レンダリングパラメータを設定する。即ち、表現領域設定部４６０は、表現領域の大きさに基づき、レンダリングパラメータを設定する。具体的には、表現領域設定部４６０は、「表現領域のＳＰＰ＝ゴールとする合成画像のＳＰＰ×（全体領域の画素数÷表現領域の画素数）」で、表現領域の割合に基づき、レンダリングパラメータ（即ち、表現領域のＳＰＰ）を設定すればよい。これにより、表現領域の割合に基づき、適切な速度の範囲で最も高画質に、光線追跡映像をレンダリングすることができる。なお、動画の場合、全フレームの表現領域を事前に算出してから、レンダリング処理を実行してもよい。

【0125】

表現領域設定部４６０は、設定したレンダリング座標パラメータ及びレンダリングパラメータ（ＳＰＰ、解像度）により、レンダリングパラメータ４１２を更新する（ステップＳ４１２）。

【0126】

レンダラ４１０は、更新後のレンダリングパラメータ４１２に基づきモデルデータ４１１の表現領域のみを光線追跡方式によりレンダリングして光線追跡映像４２１を作成する（ステップＳ４０２）。

【0127】

レンダラ４１０は、レンダリングパラメータ４１２に基づきモデルデータ４１１の全体領域を非光線追跡方式（例えば、ラスタライズ方式）によりレンダリングして付加映像４２２を作成する（ステップＳ４０３）。

【0128】

プレ信号処理部４２０は、表現領域の光線追跡映像４２１及び全体領域の付加映像４２２をプレ信号処理する（ステップＳ４０４）。

【0129】

映像合成部４３０は、ＤＮＮ１３１に、プレ信号処理後の表現領域の光線追跡映像４２１及び全体領域の付加映像４２２を入力する（ステップＳ４０５）。映像合成部４３０は、ＤＮＮ１３１に、学習済みＤＮＮ係数１３２を入力する（ステップＳ４０６）。ＤＮＮ１３１は、プレ信号処理後の表現領域の光線追跡映像４２１及び全体領域の付加映像４２２を合成して合成映像４４１を作成する（ステップＳ４０７）。

【0130】

ポスト信号処理部１４０は、合成映像４４１をポスト信号処理し（ステップＳ４０８）、出力する（ステップＳ４０９）。

【0131】

以上の様に、第４の実施形態の情報処理装置４００は、モデルデータ１１１の光線追跡方式の固有の表現領域にレンダリング対象を限定して（言い換えれば、レンダリング対象領域を空間的に間引いて）光線追跡方式の固有の表現領域のみの光線追跡映像を作成する。光線追跡方式でレンダリングする領域が減るので、その分だけ表現領域のレンダリングに時間を掛けることができ、高ＳＰＰ（例えば、１２８ＳＰＰ等）で表現領域の光線追跡映像を作成することができる。これにより、第４の実施形態では、高速化及びさらなる高画質化を両立できる。

【0132】

Ｖ．第５の実施形態

【0133】

１．第５の実施形態の概要

【0134】

第５の実施形態の実施形態のコンセプトは第４の実施形態のコンセプトと同様である。ただし、以下の点が異なる。第４の実施形態では、レンダラ４１０が、表現領域をマスクするマスク映像を作成する。この方法では、レンダラ４１０のシステムの規定によりレンダラ４１０が表現領域をマスクするマスク映像を作成することになる。一方、外部ＡＰＩとして処理を行う場合、レンダラ４１０の内部を操作できない場合がある。そこで、第５の実施形態では、レンダラの外部で表現領域を特定する。

【0135】

２．情報処理装置の構成

【0136】

図１２は、本開示の第５の実施形態の情報処理装置の構成を示す。

【0137】

第５の実施形態の情報処理装置５００の、第１の実施形態の情報処理装置１００（図２参照）から異なる構成のみ図示する。

【0138】

ＣＰＵやＧＰＵ等のプロセッサが、ＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行することにより、情報処理装置５００は、レンダラ５１０、プレ信号処理部５２０、映像合成部５３０及ポスト信号処理部１４０（図２参照）に加えて、識別器５７０及び表現領域設定部５６０としてさらに動作する。

【0139】

３．情報処理装置の動作フロー

【0140】

図１３は、情報処理装置の動作フローを示す。

【0141】

情報処理装置４００は、１フレーム毎に動作フローをループする。

【0142】

レンダラ５１０にモデルデータ５１１及びレンダリングパラメータ５１２が入力される（ステップＳ５０１）。

【0143】

レンダラ５１０は、モデルデータ５１１をプリレンダリングしてプリレンダリング映像を作成する（ステップＳ５１０）。具体的には、レンダラ５１０は、非光線追跡方式（ラスタライズ等）、又は、低ＳＰＰ及び／若しくは低解像度の光線追跡方式で、モデルデータ５１１を高速にプリレンダリングしてプリレンダリング映像を作成する。

【0144】

識別器５７０は、レンダラ５１０が作成したプリレンダリング映像から、表現領域を識別する（ステップＳ５１３）。例えば、識別器５７０は、セマンティックセグメンテーションを用いて、プリレンダリング映像（例えば、ラスタライズ映像）からマテリアルラベル（鏡面反射、透過、ヘア、ボリューム）の表現領域を予測する。

【0145】

表現領域設定部５６０は、識別器５７０が識別した表現領域を設定する。具体的には、表現領域設定部５６０は、識別器５７０が識別した表現領域を、レンダリング座標パラメータに変換する。さらに、表現領域設定部５６０は、表現領域を光線追跡方式によりレンダリングするときのレンダリングパラメータ（即ち、表現領域のＳＰＰや解像度）を設定する（ステップＳ５１１）。

【0146】

表現領域設定部５６０は、設定したレンダリング座標パラメータ及びレンダリングパラメータ（ＳＰＰ、解像度）により、レンダリングパラメータ５１２を更新する（ステップＳ５１２）。

【0147】

ステップＳ５０２以下の処理は第４の実施形態と同様である。

【0148】

第５の実施形態も、第４の実施形態と同様の効果が得られる。

【0149】

ＶＩ．結語

【0150】

非特許文献１は、低ＳＰＰ（例えば、１６ＳＰＰ）設定のレイトレーシング方式で高速にレンダリングした光線追跡映像、Ａｌｂｅｄｏ成分及び法線マップを、ＤＮＮを用いて合成する。要するに、非特許文献１は、鑑賞向けの映像としては光線追跡映像を作成するのみであり、この光線追跡映像をＡｌｂｅｄｏ成分及び法線マップに基づき補正する。このため、非特許文献１は、極端に低ＳＰＰ（例えば、１ＳＰＰ）の光線追跡映像を作成すると、ゴールとなる光線追跡映像も十分な高画質とはならない可能性がある。このため、非特許文献１は、低ＳＰＰとはいえ１６ＳＰＰが想定されている。また、非特許文献１は、鑑賞向けの映像としては光線追跡映像を作成するのみであるから、光線追跡映像を時間的に及び空間的に間引いてレンダリングすることは出来ない。

【0151】

これに対して、本開示の各実施形態によれば、情報処理装置は、鑑賞向けの映像としては、光源成分表現等が可能な光線追跡映像と、光源成分表現等が不可能であるが高画質な映像（付加映像）を作成する。光線追跡映像と付加映像とを合成するため、光線追跡映像のＳＰＰを１ＳＰＰ程度に大幅に抑えても、画質を付加映像で担保できるため問題無い。このため、光線追跡映像のＳＰＰを１ＳＰＰ程度に大幅に抑えて処理を高速化することができる。また、情報処理装置は、光線追跡映像及び付加映像のそれぞれの利点を活かしそれぞれの欠点を補い合う合成映像を高速に作成することができる。また、全フレーム及び全体領域の光線追跡映像を作成するので、光線追跡映像を時間的及び空間的に間引いてレンダリングすることが可能である。光線追跡方式のレンダリング回数又は領域が減るので、その分だけレンダリングに時間を掛けることができ、比較的高ＳＰＰで、時間的及び空間的に必要な部分の光線追跡映像を作成することができる。これにより、各実施形態では、高速化及びさらなる高画質化の両立を図ることができる。

【0152】

本開示は、以下の各構成を有してもよい。

【0153】

（１）
モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成する
レンダラと、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する映像合成部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記レンダラは、前記モデルデータをＮフレーム毎に前記光線追跡方式によりレンダリングすることで、時間的に間引いて前記光線追跡映像を作成し、
前記情報処理装置は、前記Ｎフレームの付加映像と、光線追跡映像が作成されなかったフレームである間引きフレームの付加映像とに基づき、前記Ｎフレームから前記間引きフレームへの動きベクトルを算出する動きベクトル算出部をさらに具備し、
前記映像合成部は、前記間引きフレームの前記付加映像と、前記Ｎフレームの前記光線追跡映像を前記動きベクトルに基づき補正することにより作成された補正後の光線追跡映像とを合成して、前記間引きフレームの合成映像を作成する
情報処理装置。
（３）
上記（２）に記載の情報処理装置であって、
前記補正後の光線追跡映像を作成するプレ信号処理部
をさらに具備する情報処理装置。
（４）
上記（２）に記載の情報処理装置であって、
前記映像合成部は、前記補正後の光線追跡映像を作成する
情報処理装置。
（５）
上記（１）乃至（４）の何れかに記載の情報処理装置であって、
前記モデルデータの前記光線追跡方式の固有の表現領域を設定する表現領域設定部をさらに具備し、
前記レンダラは、前記モデルデータの前記表現領域を前記光線追跡方式によりレンダリングして、前記光線追跡映像を作成し、
前記映像合成部は、前記付加映像と、前記表現領域の前記光線追跡映像とを合成して合成映像を作成する
情報処理装置。
（６）
上記（５）に記載の情報処理装置であって、
前記レンダラは、前記モデルデータのマテリアル設定に基づき、前記表現領域をマスクするマスク映像を作成し、
前記表現領域設定部は、前記マスク映像に特定される前記表現領域を設定する
情報処理装置。
（７）
上記（５）に記載の情報処理装置であって、
前記レンダラは、
前記光線追跡方式より低ＳＰＰ（Samples Per Pixel）及び／若しくは低解像度の光線追跡方式で、前記モデルデータをプリレンダリングしてプリレンダリング映像を作成し、
前記プリレンダリング映像の内部成分に基づき前記表現領域をマスクするマスク映像を作成し、
前記表現領域設定部は、前記マスク映像に特定される前記表現領域を設定する
情報処理装置。
（８）
上記（５）に記載の情報処理装置であって、
前記レンダラは、前記光線追跡方式より低ＳＰＰ（Samples Per Pixel）及び／若しくは低解像度の光線追跡方式で、前記モデルデータをプリレンダリングしてプリレンダリング映像を作成し、
前記情報処理装置は、前記レンダラが作成した前記プリレンダリング映像から、前記表現領域を識別する識別器をさらに具備し、
前記表現領域設定部は、前記プリレンダリング映像から予測された前記表現領域を設定する
情報処理装置。
（９）
上記（５）乃至（８）の何れかに記載の情報処理装置であって、
前記表現領域設定部は、前記表現領域を前記光線追跡方式によりレンダリングするときのレンダリングパラメータを設定し、
前記レンダラは、前記レンダリングパラメータに基づき、前記モデルデータの前記表現領域を前記光線追跡方式によりレンダリングして、前記光線追跡映像を作成する
情報処理装置。
（１０）
上記（９）に記載の情報処理装置であって、
前記表現領域設定部は、前記光線追跡映像の全体領域に対する前記表現領域の割合に基づき、前記レンダリングパラメータを設定する
情報処理装置。
（１１）
上記（１）乃至（１０）の何れかに記載の情報処理装置であって、
前記レンダラは、前記光線追跡方式と異なる方法として、前記モデルデータを非光線追跡方式又は記光線追跡方式より低ＳＰＰ及び／若しくは低解像度の光線追跡方式で、前記モデルデータをレンダリングして前記付加映像を作成する
情報処理装置。
（１２）
上記（１１）に記載の情報処理装置であって、
前記非光線追跡方式は、ラスタライズ方式、Ｚソート法、Ｚバッファ法又はスキャンライン方式である
情報処理装置。
（１３）
上記（１）乃至（１２）の何れかに記載の情報処理装置であって、
前記レンダラは、前記付加映像として、さらに、前記付加映像のＡｌｂｅｄｏ成分、法線成分、Ｄｅｐｔｈ成分、粗さ成分、ＵＶマップ成分、ＡＯＶｓ（Arbitrary Output Variable）成分及び／又はＳｈａｄｏｗマップ成分を含む内部成分を作成する
情報処理装置。
（１４）
上記（１）乃至（１３）の何れかに記載の情報処理装置であって、
前記光線追跡方式は、レイトレーシング又はパストレーシングである
情報処理装置。
（１５）
上記（１）乃至（１４）の何れかに記載の情報処理装置であって、
前記レンダラは、前記モデルデータを１６ＳＰＰ未満で光線追跡方式によりレンダリングして前記光線追跡映像を作成する
情報処理装置。
（１６）
モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成し、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する
情報処理方法。
（１７）
情報処理装置のプロセッサを、
モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成し、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する
よう動作させる情報処理プログラム。
（１８）
情報処理装置のプロセッサを、
モデルデータを光線追跡方式によりレンダリングして光線追跡映像を作成し、
前記モデルデータを前記光線追跡方式と異なる方法でレンダリングして付加映像を作成し、
前記付加映像と、前記光線追跡映像とを合成して合成映像を作成する
よう動作させる情報処理プログラム
を記録する非一過性のコンピュータ読み取り可能な記録媒体。

【0154】

本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

【符号の説明】

【0155】

１００、２００、３００、４００、５００ 情報処理装置
１１０、２１０、３１０、４１０、５１０ レンダラ
１１１、４１１、５１１ モデルデータ
１１２、４１２、５１２ レンダリングパラメータ
１２０、２２０、３２０、４２０、５２０ プレ信号処理部
１２１、２２１、３２１、４２１ 光線追跡映像
１２２、２２２、３２２、４２２ 付加映像
１３０、２３０、３３０、４３０、５３０ 映像合成部
１３１ ＤＮＮ
１３２ 学習済みＤＮＮ係数
１４０ ポスト信号処理部
１４１、４４１ 合成映像
１５０ 表示装置
１６０ ストレージ
２５０、３５０ 動きベクトル算出部
４６０、５６０ 表現領域設定部
５７０ 識別器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】