ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-63786情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024063786
(43)【公開日】2024-05-14
(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
(51)【国際特許分類】
G06T 15/00 20110101AFI20240507BHJP
G06T 5/70 20240101ALI20240507BHJP
G06T 3/4053 20240101ALI20240507BHJP
G06T 15/06 20110101ALI20240507BHJP
【ＦＩ】
G06T15/00 501
G06T5/00 705
G06T3/40 730
G06T15/06
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021043193
(22)【出願日】2021-03-17
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100104215
【弁理士】
【氏名又は名称】大森 純一
(74)【代理人】
【識別番号】100196575
【弁理士】
【氏名又は名称】高橋 満
(74)【代理人】
【識別番号】100168181
【弁理士】
【氏名又は名称】中村 哲平
(74)【代理人】
【識別番号】100160989
【弁理士】
【氏名又は名称】関根 正好
(74)【代理人】
【識別番号】100117330
【弁理士】
【氏名又は名称】折居 章
(74)【代理人】
【識別番号】100168745
【弁理士】
【氏名又は名称】金子 彩子
(74)【代理人】
【識別番号】100176131
【弁理士】
【氏名又は名称】金山 慎太郎
(74)【代理人】
【識別番号】100197398
【弁理士】
【氏名又は名称】千葉 絢子
(74)【代理人】
【識別番号】100197619
【弁理士】
【氏名又は名称】白鹿 智久
(72)【発明者】
【氏名】西田 幸司
(72)【発明者】
【氏名】高橋 紀晃
(72)【発明者】
【氏名】鈴木 孝明
(72)【発明者】
【氏名】小林 優斗
(72)【発明者】
【氏名】入江 大輔
【テーマコード（参考）】
5B057
5B080
【Ｆターム（参考）】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD05
5B057CE02
5B057DA20
5B057DB02
5B057DB09
5B080AA00
5B080BA00
5B080FA02
5B080FA14
5B080GA01
5B080GA06
(57)【要約】
【課題】高品質かつ短時間でモデルデータをレイトレーシングによりレンダリングする。
【解決手段】情報処理装置は、モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、プリレンダリング画像内の復元の難易度を予測する予測部と、復元の難易度に基づき、プリレンダリング画像内の要素毎の解像度及びＳＰＰを指定するレンダリング条件を決定し、レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、アダプティブ制御信号に設定された要素毎のレンダリング条件に従って、モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部とを具備する。
【選択図】図１
【解決手段】情報処理装置は、モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、プリレンダリング画像内の復元の難易度を予測する予測部と、復元の難易度に基づき、プリレンダリング画像内の要素毎の解像度及びＳＰＰを指定するレンダリング条件を決定し、レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、アダプティブ制御信号に設定された要素毎のレンダリング条件に従って、モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部とを具備する。
【選択図】図１
【特許請求の範囲】
【請求項1】
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する情報処理装置。
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、
前記レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定する
情報処理装置。
前記レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定する
情報処理装置。
【請求項3】
請求項１に記載の情報処理装置であって、
前記レンダリング条件決定部は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づき前記レンダリング条件を決定する
情報処理装置。
前記レンダリング条件決定部は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づき前記レンダリング条件を決定する
情報処理装置。
【請求項4】
請求項１に記載の情報処理装置であって、
前記レンダリング条件決定部は、前記要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎の前記レンダリング条件を決定する
情報処理装置。
前記レンダリング条件決定部は、前記要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎の前記レンダリング条件を決定する
情報処理装置。
【請求項5】
請求項１に記載の情報処理装置であって、
前記レンダリング条件決定部は、一部の前記要素毎のレンダリング条件を決定し、
他の前記要素毎のレンダリング条件は、予め決定される
情報処理装置。
前記レンダリング条件決定部は、一部の前記要素毎のレンダリング条件を決定し、
他の前記要素毎のレンダリング条件は、予め決定される
情報処理装置。
【請求項6】
請求項１に記載の情報処理装置であって、
前記予測部は、条件予測ＤＮＮ（Deep Neural Network）に前記プリレンダリング画像を入力して前記要素毎の復元の難易度を予測し、
前記レンダリング画像復元部は、前記条件予測ＤＮＮと同時に学習された復元ＤＮＮに前記アダプティブレンダリング画像及び前記アダプティブ制御信号を入力して前記最終レンダリング画像を作成する
情報処理装置。
前記予測部は、条件予測ＤＮＮ（Deep Neural Network）に前記プリレンダリング画像を入力して前記要素毎の復元の難易度を予測し、
前記レンダリング画像復元部は、前記条件予測ＤＮＮと同時に学習された復元ＤＮＮに前記アダプティブレンダリング画像及び前記アダプティブ制御信号を入力して前記最終レンダリング画像を作成する
情報処理装置。
【請求項7】
請求項１に記載の情報処理装置であって、
前記予測部は、前記プリレンダリング画像内の前記要素毎に復元の難易度を示すサンプリングマップを予測し、
前記レンダリング条件決定部は、前記サンプリングマップに基づき、前記アダプティブ制御信号を作成する
情報処理装置。
前記予測部は、前記プリレンダリング画像内の前記要素毎に復元の難易度を示すサンプリングマップを予測し、
前記レンダリング条件決定部は、前記サンプリングマップに基づき、前記アダプティブ制御信号を作成する
情報処理装置。
【請求項8】
請求項１に記載の情報処理装置であって、
前記予測部は、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを予測し、
前記レンダリング条件決定部は、前記解像度のサンプリングマップに基づき解像度のレンダリング条件を設定し、前記ＳＰＰのサンプリングマップに基づきＳＰＰのレンダリング条件を設定する
情報処理装置。
前記予測部は、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを予測し、
前記レンダリング条件決定部は、前記解像度のサンプリングマップに基づき解像度のレンダリング条件を設定し、前記ＳＰＰのサンプリングマップに基づきＳＰＰのレンダリング条件を設定する
情報処理装置。
【請求項9】
請求項１に記載の情報処理装置であって、
前記予測部は、１次元の前記サンプリングマップを予測し、
前記レンダリング条件決定部は、前記１次元のサンプリングマップに基づき解像度のレンダリング条件及びＳＰＰのレンダリング条件を設定する
情報処理装置。
前記予測部は、１次元の前記サンプリングマップを予測し、
前記レンダリング条件決定部は、前記１次元のサンプリングマップに基づき解像度のレンダリング条件及びＳＰＰのレンダリング条件を設定する
情報処理装置。
【請求項10】
請求項１に記載の情報処理装置であって、
前記プリレンダリング画像のＳＰＰは、前記最終レンダリング画像のＳＰＰより低い
情報処理装置。
前記プリレンダリング画像のＳＰＰは、前記最終レンダリング画像のＳＰＰより低い
情報処理装置。
【請求項11】
請求項１に記載の情報処理装置であって、
前記プリレンダリング画像の解像度は、前記最終レンダリング画像の解像度より低い
情報処理装置。
前記プリレンダリング画像の解像度は、前記最終レンダリング画像の解像度より低い
情報処理装置。
【請求項12】
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成し、
前記プリレンダリング画像内の復元の難易度を予測し、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成し、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成し、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成する
情報処理方法。
前記プリレンダリング画像内の復元の難易度を予測し、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成し、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成し、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成する
情報処理方法。
【請求項13】
情報処理装置のプロセッサを、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
して動作させる情報処理プログラム。
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
して動作させる情報処理プログラム。
【請求項14】
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する情報処理システム。
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、モデルデータをレイトレーシングによりレンダリングする情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。
【背景技術】
【0002】
一般的なパストレーシング（レイトレーシング）では、画素ごとに固定の数のサンプルをランダムに計算するモンテカルロ法が用いられる。一般的には１画素あたり１０００本（１０００ＳＰＰ）程度の光線追跡が行われ、その場合に４Ｋ画像のレンダリングには、４０００ｘ２０００ｘ１０００本の光線の計算が必要になる。これに対して従来のアダプティブサンプリングでは、ある程度（√１０００＝３２）のサンプルを計算した時点でレンダリング結果の誤差を予測し、その誤差がしきい値を超えている場合はサンプルを追加していく。そして誤差がしきい値を下回った時点でサンプリングの追加を打ち切るという手法が取られる。
【0003】
それに対して、非特許文献１では、最初に１ＳＰＰでプリレンダリングを行ってノイジーな画像を作成し、そのノイジー画像とそれをデノイズした画像を入力として、サンプリングマップを予測するＤＮＮを学習する。このサンプリングマップとは、その画素のレンダリングがどれだけ難しいか（即ち、その画素をきれいにレンダリングするためにどれだけ多くのＳＰＰ数が必要か）を画像として出力したものである。次に、そのサンプリングマップをもとにして本番のレンダリングを行う。このときのＳＰＰ数は画素ごとに最適な値が用いられ、プリレンダリング時（１ＳＰＰ）よりは多いが、通常（１０００ＳＰＰ）よりは遥かに少ない。最後に出力されたレンダリング画像を入力してノイズを除去する（デノイズ）ＤＮＮを学習する。非特許文献１は、このサンプリングマップ予測ＤＮＮと、デノイズＤＮＮの２つのＤＮＮを、最終結果の誤差が少なくなるように最適に連動させて学習する。
【0004】
特許文献１は、非特許文献１と同様に、低ＳＰＰ（１ＳＰＰ）程度のプリレンダリングで作成したノイジー画像とそれをデノイズした画像からサンプリングマップを予測するＤＮＮを学習するという構成のアダプティブサンプリングを開示する。
【0005】
特許文献２は、ネットワーク経由のレンダリングにおいて、最初は低解像度で表示し、徐々に解像度を高くしていく手法を開示する。特許文献２は、変化させているのは解像度だけであり、復元処理を行っておらず、レンダリングの削減率を単純に送信帯域幅やレンダリング速度から求めるだけである。
【0006】
特許文献３は、ＨＭＤ（Head Mounted Display）において、画素の中心からの位置や被写体の重要度に応じて、解像度を変えてレンダリングする際にＭＳＡＡ（Multi-Sample Anti-Aliasing）レンダリング手法を用いてアンチエイリアシングする。特許文献３は、変化させているのは解像度だけであり、復元が単に蓄積平均であり、復元後のＬｏｓｓに応じてレンダリングの削減率を予測していない。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許第１０７０６５０８号明細書
【特許文献2】特表２０１３－５３３５４０号公報
【特許文献3】特表２０２０－５１０９１８号公報
【非特許文献】
【0008】
【非特許文献1】Alexandr Kuznetsov, Nima Khademi Kalantari, and Ravi Ramamoorthi, "Deep Adaptive Sampling for Low Sample Count Rendering", [online], 2018, Eurographics Symposium on Rendering 2018 Volume 37 (2018) Number 4, [2021年2月19日検索], インターネット<URL：https://people.engr.tamu.edu/nimak/Data/EGSR18_Sampling.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献１及び特許文献１によれば、ＳＰＰのみをアダプティブに制御するサンプリングマップを予測する。しかしながら、ＳＰＰのみをアダプティブに変化させても、計算時間の削減効果には限界がある。
【0010】
以上のような事情に鑑み、本開示の目的は、高品質かつ短時間でモデルデータをレイトレーシングによりレンダリングすることにある。
【課題を解決するための手段】
【0011】
本開示の一形態に係る情報処理装置は、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する。
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する。
【0012】
本実施形態によれば、ＳＰＰだけでなく解像度も要素毎にアダプティブに制御する。これにより、ＳＰＰ及び解像度の最適な組み合わせを要素毎に予測してアダプティブにレンダリングし、復元（デノイズ及び超解像）して、最終レンダリング画像を、画像品質を保ちつつ高速に出力することができる。
【0013】
前記レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定してもよい。
【0014】
これにより、要素毎により最適なレンダリング条件を指定することができる。より高効率に、又はユーザの希望に沿った条件で、アダプティブレンダリングを行うことができる。
【0015】
前記レンダリング条件決定部は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づき前記レンダリング条件を決定してもよい。
【0016】
これにより、要素毎により最適なレンダリング条件を指定することができる。より簡易的に、軽量に条件予測を行うことができる。また条件予測ＤＮＮと組み合わせればレンダリング条件の精度を向上させることができる。
【0017】
前記レンダリング条件決定部は、前記要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎の前記レンダリング条件を決定してもよい。
【0018】
複数の画素を含む領域毎のレンダリング条件を決定することで、アダプティブ制御信号の精度を向上させ、さらに、近接画素間の連続性を保持できる。オブジェクトごとのレンダリング条件を設定することで、エッジに追従したはみ出しの少ないレンダリング条件を決定できる。レンダリング条件の予測精度を向上させ、計算時間を削減できる。
【0019】
前記レンダリング条件決定部は、一部の前記要素毎のレンダリング条件を決定し、
他の前記要素毎のレンダリング条件は、予め決定されてもよい。
他の前記要素毎のレンダリング条件は、予め決定されてもよい。
【0020】
これにより、計算時間を削減でき、毎フレームの出力処理を高速化したり、リアルタイムレンダリングを実現したりすることができる。
【0021】
前記予測部は、条件予測ＤＮＮ（Deep Neural Network）に前記プリレンダリング画像を入力して前記要素毎の復元の難易度を予測し、
前記レンダリング画像復元部は、前記条件予測ＤＮＮと同時に学習された復元ＤＮＮに前記アダプティブレンダリング画像及び前記アダプティブ制御信号を入力して前記最終レンダリング画像を作成してもよい。
前記レンダリング画像復元部は、前記条件予測ＤＮＮと同時に学習された復元ＤＮＮに前記アダプティブレンダリング画像及び前記アダプティブ制御信号を入力して前記最終レンダリング画像を作成してもよい。
【0022】
まず、ターゲットＳＰＰ及びターゲット解像度を全画面一律に出力する条件予測係数を設定する。そして、この全画面一律のターゲットＳＰＰ及びターゲット解像度でレンダリングを行った結果画像を生徒とし、教師画像を予測する復元（デノイズ及び超解像）用の画像復元係数を学習する。これにより、条件予測ＤＮＮと復元ＤＮＮの学習を同時に行うことができる。
【0023】
前記予測部は、前記プリレンダリング画像内の前記要素毎に復元の難易度を示すサンプリングマップを予測し、
前記レンダリング条件決定部は、前記サンプリングマップに基づき、前記アダプティブ制御信号を作成してもよい。
前記レンダリング条件決定部は、前記サンプリングマップに基づき、前記アダプティブ制御信号を作成してもよい。
【0024】
要素毎に復元の難易度を示すサンプリングマップに基づきアダプティブ制御信号を作成することで、復元の難易度に応じて適切なアダプティブ制御信号を作成できる。例えば、復元の難易度が高い要素は、比較的高ＳＰＰ及び高解像度のレンダリング条件のアダプティブ制御信号を作成できる。これにより、ゴール画像と同等の画質の最終レンダリング画像を出力することができる。
【0025】
前記予測部は、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを予測し、
前記レンダリング条件決定部は、前記解像度のサンプリングマップに基づき解像度のレンダリング条件を設定し、前記ＳＰＰのサンプリングマップに基づきＳＰＰのレンダリング条件を設定してもよい。
前記レンダリング条件決定部は、前記解像度のサンプリングマップに基づき解像度のレンダリング条件を設定し、前記ＳＰＰのサンプリングマップに基づきＳＰＰのレンダリング条件を設定してもよい。
【0026】
解像度のサンプリングマップとＳＰＰのサンプリングマップの２面のサンプリングマップが予測された場合は、レンダリング条件決定部は、特に変換を行わず解像度とＳＰＰとを指定してもよい。
【0027】
前記予測部は、１次元の前記サンプリングマップを予測し、
前記レンダリング条件決定部は、前記１次元のサンプリングマップに基づき解像度のレンダリング条件及びＳＰＰのレンダリング条件を設定してもよい。
前記レンダリング条件決定部は、前記１次元のサンプリングマップに基づき解像度のレンダリング条件及びＳＰＰのレンダリング条件を設定してもよい。
【0028】
レンダリング条件決定部は、予測された１次元のサンプリングマップから、任意の変換式に応じて解像度とＳＰＰとの組み合わせを指定すればよい。
【0029】
前記プリレンダリング画像のＳＰＰは、前記最終レンダリング画像のＳＰＰより低くてもよい。
【0030】
これにより、最終レンダリング画像を高速に出力することができる。
【0031】
前記プリレンダリング画像の解像度は、前記最終レンダリング画像の解像度より低くてもよい。
【0032】
これにより、最終レンダリング画像を高速に出力することができる。
【0033】
本開示の一形態に係る情報処理方法は、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成し、
前記プリレンダリング画像内の復元の難易度を予測し、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成し、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成し、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成する。
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成し、
前記プリレンダリング画像内の復元の難易度を予測し、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成し、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成し、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成する。
【0034】
本開示の一形態に係る情報処理プログラムは、
情報処理装置のプロセッサを、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
して動作させる。
情報処理装置のプロセッサを、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
して動作させる。
【0035】
本開示の一形態に係る情報処理システムは、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する。
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する。
【図面の簡単な説明】
【0036】
【発明を実施するための形態】
【0037】
以下、図面を参照しながら、本開示の実施形態を説明する。
【0038】
１．情報処理装置の構成
【0039】
図１は、本開示の一実施形態に係る情報処理装置の構成を示す。
【0040】
情報処理装置１００は、例えば、３Ｄ画像を表示可能な３Ｄディスプレイに表示するための画像をレンダリングする装置である。情報処理装置１００は、例えば、３Ｄディスプレイに内蔵又は外付け接続される。情報処理装置１００は、プロセッサがＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行することにより、プリレンダリング部１０１、サンプリングマップ予測部１０２、レンダリング条件決定部１０３、レンダリング部１０４及びレンダリング画像復元部１０５として動作する。
【0041】
２．情報処理装置の動作フロー
【0042】
図２は、情報処理装置の動作フローを示す。
【0043】
情報処理装置１００は、１フレーム毎にステップＳ１０１以下の処理を繰り返し実行する。
【0044】
ステップＳ１０１：モデルデータを読み込み
【0045】
プリレンダリング部１０１は、レンダリング対象のデータとして入力されたモデルデータを読み込む。モデルデータは、例えば、３ＤのＣＧモデルデータである。
【0046】
ステップＳ１０２：プリレンダリングを実行
【0047】
プリレンダリング部１０１は、入力されたモデルデータをレイトレーシングによりプリレンダリングし、プリレンダリング画像を作成する。プリレンダリング部１０１は、例えば、出力解像度（即ち、出力すべき最終レンダリング画像の解像度）と同じ解像度で、且つ、１ＳＰＰ程度の低ＳＰＰで、モデルデータをプリレンダリングする。プリレンダリング部１０１は、出力解像度より低い解像度（例えば、１／４や１／１６）、及び／又は、１より大きいＳＰＰで、モデルデータをプリレンダリングしてもよい。プリレンダリング部１０１が作成するプリレンダリング画像は、ノイジーなレンダリング画像である。プリレンダリング部１０１は、他にも各種ＡＯＶ（Arbitrary Output Variable）画像（即ち、デプス、法線、アルベド、拡散、反射等の要素ごとの画像）をさらに作成してもよい。
【0048】
プリレンダリング部１０１は、プリレンダリング画像をサンプリングマップ予測部１０２に入力する。サンプリングマップ予測部１０２は、入力されたノイジーなプリレンダリング画像から、レンダリングの難易度（難しさ）を表すサンプリングマップを予測する条件予測ＤＮＮである。
【0049】
ステップＳ１０３：プリレンダリング画像からパッチを切り出し
【0050】
サンプリングマップ予測部１０２は、プリレンダリング画像をスキャンして、プリレンダリング画像から複数のパッチを切り出す。パッチのサイズは、条件予測ＤＮＮの入力パッチサイズに等しい。例えば、サンプリングマップ予測部１０２は、プリレンダリング画像の左上から順次ラスタスキャンするようにパッチを切り出せばよい。
【0051】
ステップＳ１０４：パッチを条件予測ＤＮＮに入力し、サンプリングマップを予測
【0052】
サンプリングマップ予測部１０２は、切り出したパッチを条件予測ＤＮＮに入力し、サンプリングマップを予測する。サンプリングマップは、レンダリングの難易度（難しさ）を示す。言い換えれば、サンプリングマップ予測部１０２は、プリレンダリング画像内の復元の難易度を予測する。サンプリングマップ予測部１０２は、事前に学習した条件予測係数１０６を用いてサンプリングマップを予測する。プリレンダリング画像だけでなく、各種ＡＯＶ画像も用いて学習を行った場合は、サンプリングマップ予測部１０２は、対応するＡＯＶ画像のパッチも切り出し、条件予測ＤＮＮに入力する。
【0053】
ここで、条件予測係数１０６を説明する。条件予測係数１０６は、大量のＣＧモデルから作成した高ＳＰＰ及び高解像度のレンダリング画像を教師とし、低ＳＰＰ（例えば、１ＳＰＰ）及び低解像度（例えば、１／４や１／１６）のレンダリング画像と、それを復元ＤＮＮにより復元（デノイズ及び超解像）した復元画像とを入力として、学習を行う。条件予測係数１０６の具体的な学習手順を説明する。まず、ターゲットＳＰＰ（例えば、４ＳＰＰ）及びターゲット解像度（例えば、４Ｋ）を全画面一律に出力する条件予測係数１０６を設定する。そして、この全画面一律のターゲットＳＰＰ及びターゲット解像度でレンダリングを行った結果画像を生徒とし、教師画像を予測する復元（デノイズ及び超解像）用の画像復元係数１０７を学習する。この学習の結果として出力される推論画像と、教師画像との差分がＬｏｓｓとなる。次に、このＬｏｓｓを減らすように条件予測係数１０６を学習する。このとき、条件予測係数１０６は、Ｌｏｓｓが大きい場所はＳＰＰ及び解像度を増やし、Ｌｏｓｓが小さい場所はＳＰＰ及び解像度を減らして、全画面のＳＰＰ及び解像度の平均がターゲットＳＰＰ及びターゲット解像度となるようなサンプリングマップを算出する。そして、このサンプリングマップに応じて、再度レンダリングを行い、画像復元係数１０７を学習し、Ｌｏｓｓを更新する。その後、Ｌｏｓｓが許容範囲内となるまで、条件予測係数１０６と画像復元係数１０７の予測を繰り返し行う。この様に、条件予測ＤＮＮと復元ＤＮＮの学習を同時に行う。
【0054】
この様に、低ＳＰＰ且つ低解像度な画像をレンダリングし、デノイズ（ＮＲ：Noise Reductionとも呼ばれる）と超解像（ＳＲ：Super Resolution）を同時に行った場合についての学習を行う。また入力されるのはレンダリング画像のみだけでなく、各種ＡＯＶ画像を用いて学習するようにしてもよい。
【0055】
サンプリングマップ予測部１０２が出力するサンプリングマップは、レンダリングの難しさを表す１次元のものに限定されず、ＳＰＰと解像度を独立して出力する２面のマップにしてもよいし、さらに高次のものでもよい。言い換えれば、サンプリングマップ予測部１０２は、解像度及びＳＰＰに共通に使用される１次元のサンプリングマップを予測してもよいし、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを別個に予測してもよいし、さらに別の情報（例えば、画像処理、注目点、被写体の重要度及び／又は表示情報）に関するサンプリングマップをさらに予測してもよい。
【0056】
ステップＳ１０５：サンプリングマップからレンダリング条件を決定
【0057】
レンダリング条件決定部１０３は、復元の難易度を示すサンプリングマップに基づき、プリレンダリング画像内の要素（例えば、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎）毎のレンダリング条件を決定する。レンダリング条件は、プリレンダリング画像内の要素毎の解像度及びＳＰＰを指定する。レンダリング条件決定部１０３は、決定したレンダリング条件を設定するアダプティブ制御信号を作成する。言い換えれば、レンダリング条件決定部１０３は、サンプリングマップ予測部１０２が予測したサンプリングマップから、実際のレンダリング条件を要素毎に設定するアダプティブ制御信号を算出する。
【0058】
例えば、レンダリング条件決定部１０３は、予測された１次元のサンプリングマップから、任意の変換式に応じて解像度とＳＰＰとの組み合わせを指定すればよい。あるいは、解像度のサンプリングマップとＳＰＰのサンプリングマップの２面のサンプリングマップが予測された場合は、レンダリング条件決定部１０３は、特に変換を行わず解像度とＳＰＰとを指定すればよい。あるいは、レンダリング条件決定部１０３は、ユーザ（ディレクター又は視聴者）が入力する設定条件（高速性、高解像度等）に応じて、サンプリングマップを任意の変換式に応じて変換してもよい。
【0059】
ステップＳ１０６：全画面のレンダリング条件を決定
【0060】
レンダリング条件決定部１０３は、プリレンダリング画像の全画面の要素ごとのレンダリング条件を決定する。
【0061】
ステップＳ１０７：レンダリングを実行
【0062】
レンダリング部１０４は、アダプティブ制御信号に設定された要素毎のレンダリング条件に従って、モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成する。即ち、レンダリング部１０４は、アダプティブ制御信号で要素毎に規定された解像度及びＳＰＰで、モデルデータを要素毎にレンダリングすることにより、アダプティブレンダリング画像を作成する。言い換えれば、レンダリング部１０４は、算出されたアダプティブ制御信号で規定されるレンダリング条件に従い、本レンダリングを行う。要するに、レンダリング部１０４は、アダプティブ制御信号に応じて局所的に最適なＳＰＰと解像度の組み合わせに基づき、要素毎に条件を変更しながらレンダリングを行う。レンダリング部１０４は、基本的には、プリレンダリング部１０１と同じレンダラー（レンダリングソフトウェア）を用いるが、別のレンダラー（より高度な光線算出を行うレンダラー等）を用いてもいい。
【0063】
ステップＳ１０８：アダプティブレンダリング画像からパッチを切り出し
【0064】
レンダリング画像復元部１０５は、アダプティブレンダリング画像をスキャンして、アダプティブレンダリング画像から複数のパッチを切り出す。パッチのサイズは、復元ＤＮＮの入力パッチサイズに等しい。例えば、レンダリング画像復元部１０５は、アダプティブレンダリング画像の左上から順次ラスタスキャンするようにパッチを切り出せばよい。なお、復元ＤＮＮの入力パッチサイズは、条件予測ＤＮＮの入力パッチサイズと等しくてもよいし異なってもよい。
【0065】
ステップＳ１０９：アダプティブ制御信号及びパッチを復元ＤＮＮに入力し、出力画像を予測
【0066】
レンダリング画像復元部１０５は、アダプティブ制御信号と、アダプティブレンダリング画像から切り出したパッチとを復元ＤＮＮに入力し、パッチ毎の出力画像を予測する。アダプティブ制御信号に設定されたレンダリング条件は、要素毎の解像度及びＳＰＰを指定する。このため、復元ＤＮＮは、超解像及びデノイズの２つのタスクを同時に処理する。言い換えれば、レンダリング画像復元部１０５は、パッチを超解像及びデノイズすることにより復元する。ステップＳ１０４で説明した様に、画像復元係数１０７は、条件予測係数１０６とセットで学習したものである。なお、レンダリング画像復元部１０５は、アダプティブレンダリング画像だけでなく、サンプリングマップや、各種ＡＯＶ画像を用いてもよい。その場合は、その条件で学習を行っておく必要がある。
【0067】
ステップＳ１１０：全画面の出力画像を予測
【0068】
レンダリング画像復元部１０５は、全てのパッチ毎の出力画像を予測する。
【0069】
ステップＳ１１１：最終レンダリング結果を出力
【0070】
レンダリング画像復元部１０５は、超解像及びデノイズされた全パッチの出力画像をつなぎ合わせて、最終レンダリング結果を作成し、出力する。
【0071】
３．レンダリング条件のバリエーション
【0072】
ステップＳ１０５で、レンダリング条件決定部１０３は、サンプリングマップからプリレンダリング画像内の要素毎のレンダリング条件を決定し、決定したレンダリング条件を設定するアダプティブ制御信号を作成する。レンダリング条件の各種バリエーションを説明する。
【0073】
３－１．ＳＰＰ及び解像度以外のレンダリング条件のバリエーション
【0074】
レンダリング条件決定部１０３は、レンダリング条件として、ＳＰＰ及び解像度に加えて、他のレンダリング条件を指定してもよい。例えば、レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定してもよい。アダプティブに変化させたレンダリング条件に応じて復元ＤＮＮに求められる効果は異なる。これにより、より高効率に、又はユーザの希望に沿った条件で、アダプティブレンダリングを行うことができる。
【0075】
画像枚数は、ＳＰＰを枚数方向に分けることを意味する。例えば、１０ＳＰＰの代わりに２ＳＰＰを５枚作成することで、デノイズのしやすさが変わる。このように画像枚数をアダプティブに変化させた場合、復元ＤＮＮは超解像やデノイズだけでなく、複数画像のフュージョンを行うＤＮＮとなる。
【0076】
バウンス数は、光線（レイ）が物体にぶつかって反射する回数を何回まで計算するかを意味する。
【0077】
内部透過の屈折回数は、光線が透明物体内部に侵入したときに、途中で屈折する回数を何回まで計算するかを意味する。
【0078】
ノイズの乱数列は、高域重視又は低域重視の乱数の切り替えを意味する。レイトレーシングではモンテカルロサンプリングという手法を用い、光線が拡散や屈折するたびにランダムな方向にサンプルを取り、その方向の先に光線が進んだときの結果を計算する。このときランダムサンプリング時にホワイトノイズを用いると、局所的に粗密が発生するため、ある程度分布に規則性を持たせた乱数が採用される。このときに平坦部や複雑部など領域の特徴に応じて高域重視、低域重視と乱数を切り替えてより有利なレンダリングを行う。
【0079】
ビット深度は、ビット数をフルにするか削減するかを意味する。レイトレーシングでは何度も衝突計算を行うので、そのたびにフルのビット数を計算すると計算量が膨大となるので、画素ごとに不要なビットを削減する。
【0080】
時間解像度は、動画レンダリング時のフレームレートを意味する。
【0081】
光成分のオン／オフは、拡散光、反射光及び／又は透過光成分のオン／オフを意味する。レイトレーシングでは直接光以外にも各種成分の追跡を行うが、画素ごとに各成分をオン／オフする。
【0082】
アンチエイリアスのオン／オフ、サブサンプル数は、アンチエイリアスの設定である。レイトレーシングでは、単純に画素ごとにレンダリングを行うと斜線等にジャギーが発生するため、各種アンチエイリアシングが行われる。このうち代表的なＳＳＡＡ（Supersampling Anti-Aliasing）やＭＳＡＡ（Multi Sample Anti-Aliasing）という手法では、１つの画素に対して４つのサブサンプル点を計算し、それらをミックスして最終的な画素値を求める。このようなアンチエイリアシング機能のオン／オフや、サブサンプル点数を画素毎に変化させる。
【0083】
３－２．レンダリング条件を決定する手法のバリエーション
【0084】
レンダリング条件決定部１０３は、ＤＮＮによる学習以外の手法を用いてレンダリング条件を決定してもいい。例えば、レンダリング条件決定部１０３は、モデルベースの信号処理や、外部設定によって、レンダリング条件を決定し、アダプティブ制御信号を作成してもいい。具体的には、レンダリング条件決定部１０３は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づきレンダリング条件を決定してもよい。これにより、より簡易的に、軽量に条件予測を行うことができる。また条件予測ＤＮＮと組み合わせればレンダリング条件の精度を向上させることができる。
【0085】
レンダリング条件決定部１０３は、レンダリング及び復元の難易度による検波（エッジ、平坦等、明るさ、ぼけ（Ｄｅｐｔｈ）、動き量）に基づきレンダリング条件を決定してもよい。平坦部、暗所、ボケている場所（フォーカスが合っていない、動きが激しい等による）等は、超解像やデノイズがしやすいため、解像度やＳＰＰ数が少なくても容易に復元できる。このような領域を既知のモデルベースの画像処理で検出し、レンダリングを簡素化するようなアダプティブ制御信号を作成することができる。
【0086】
レンダリング条件決定部１０３は、注目点、被写体の重要さに基づきレンダリング条件を決定してもよい。注目点や重要な被写体は高解像度及び高ＳＰＰでレンダリングし、それ以外の場所は簡素化することができる。画像処理によって検出したり、ユーザが外部から指定したりして、このようなアダプティブ制御信号を作成することができる。
【0087】
レンダリング条件決定部１０３は、ユーザ（ディレクター又は視聴者）の嗜好に基づきレンダリング条件を決定してもよい。レンダリング条件決定部１０３は、レンダリング条件を変更するようなアダプティブ制御信号を外部から指定するなどして作成することができる。例えば解像度を重視する場合は解像度に、ノイズの少なさを重視する場合はＳＰＰに多くのリソースを割くように設定できる。時間解像度、ビット深度、アンチエイリアシング、各種成分等の優先度を設定できる。他にも３Ｄの場合は効き目側のレンダリングを重視するなどを設定できる。
【0088】
レンダリング条件決定部１０３は、３Ｄ等の表示の際の各種情報に基づきレンダリング条件を決定してもよい。３Ｄ等の用途のために多視点画像をレンダリングする際には、両端などの重要な視点のみを高解像度及び高ＳＰＰでレンダリングし、それ以外の間の視点位置は簡素化してレンダリングすることができる。このときにオクルージョン領域（立体の裏面側の領域）や画面端等の両端視点だけでは十分な情報が得られない場所は、解像度やＳＰＰを上げてレンダリングする。このような視点位置とオクルージョン有無を反映したアダプティブ制御信号を外部設定やＶｉｓｉｂｌｅ算出によって設定することができる。
【0089】
レンダリング条件決定部１０３は、ディスプレイの表示特性に合わせてレンダリング条件を決定してもよい。例えば、ディスプレイの解像度に合わせて、その等倍や１／４倍、１／１６倍の解像度でレンダリングする。３Ｄディスプレイなどの特殊なディスプレイでは、解像度以外のディスプレイ特性に応じたレンダリングを行ってもいい。例えばレンチキュラー方式の３Ｄディスプレイでは、レンチキュラーレンズとパネルの画素の位相関係によって、折り返りや色偽が発生する。そこでこれらの特性から最適なレンダリング条件を計算し、アダプティブ制御信号を設定することができる。
【0090】
３－３．共通のレンダリング条件が設定されるプリレンダリング画像内の要素のバリエーション
【0091】
レンダリング条件決定部１０３は、プリレンダリング画像内の要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎のレンダリング条件を決定すればよい。これにより、レンダリング条件の予測精度を向上させ、計算時間を削減できる。レンダリング条件決定部１０３は、基本的には、画素毎にレンダリング条件を設定すればよいが、画素に代えて例えば矩形パッチ毎にレンダリング条件を設定してもよい。本実施形態では、サンプリングマップ予測部１０２は、条件予測ＤＮＮを用いてサンプリングマップを算出する。また、レンダリング画像復元部１０５は、復元ＤＮＮを用いてアダプティブレンダリング画像を復元（超解像、デノイズ）する。これら条件予測ＤＮＮ及び復元ＤＮＮは、入力画像（プリレンダリング画像及びアダプティブレンダリング画像）から抜き出した矩形のパッチ毎に処理を行う。そこで、レンダリング条件決定部１０３は、プリレンダリング画像内の要素毎としてこの矩形パッチ毎にレンダリング条件を決定してもよい。このように画素毎ではなく、複数の画素を含む領域毎のレンダリング条件を決定することで、アダプティブ制御信号の精度を向上させ、さらに、近接画素間の連続性を保持できる。なお、この矩形パッチのサイズは、条件予測ＤＮＮや復元ＤＮＮのパッチサイズと同一でなくてもよい。例えば、条件予測ＤＮＮのパッチをさらに４分割して集約してもよいし、全く別のパッチサイズを採用してもよい。また、複数のサンプリングマップ（アダプティブ制御信号）をかけ合わせてもよい。
【0092】
あるいは、レンダリング条件決定部１０３は、プリレンダリング画像内の要素毎として、オブジェクト領域毎のレンダリング条件を決定してもよい。オブジェクト領域は、機械的に分割した矩形パッチと異なり、人物等意味のあるオブジェクトの領域を意味する。例えば、レンダリング条件決定部１０３は、１ＳＰＰでプリレンダリングしたプリレンダリング画像を、既存のセマンティックセグメンテーション技術を用いて複数のオブジェクト領域に分割し、そのオブジェクト領域毎に画素毎のレンダリング条件を集約し、オブジェクトごとのレンダリング条件を設定することができる。これにより、オブジェクトごとのレンダリング条件を高精度に設定し、エッジに追従したはみ出しの少ないレンダリング条件を決定できる。
【0093】
３－４．レンダリング条件を決定するタイミングのバリエーション
【0094】
レンダリング条件決定部１０３は、一部の要素毎のレンダリング条件を決定し、他の要素毎のレンダリング条件は予め決定されてもよい。レンダリング条件の一部は、プリレンダリング時に計算するのではなく、事前に（図２の動作フローの開始前に）計算しておくことができる。これにより、計算時間を削減でき、毎フレームの出力処理を高速化したり、リアルタイムレンダリングを実現したりすることができる。このようなプリレンダリングは、アニメーションや自由視点生成時には、全ての時間や視点での条件が必要になる。この事前計算は、全条件を行っていくこともできるし、任意の間隔で間引いておくこともできる。また重要度の高い時間や視点を重点的に事前計算しておくこともできる。また時間や視点によって変化しない場所のみ事前計算しておくこともできる。
【0095】
４．変形例
【0096】
本実施形態では、情報処理装置１００は、プリレンダリング部１０１、サンプリングマップ予測部１０２、レンダリング条件決定部１０３、レンダリング部１０４及びレンダリング画像復元部１０５を有する。
【0097】
これに代えて、サーバー側の情報処理装置が、プリレンダリング部１０１、サンプリングマップ予測部１０２、レンダリング条件決定部１０３及びレンダリング部１０４を有し、クライアント側の情報処理装置がレンダリング画像復元部１０５を有する情報処理システムが実現されてもよい（不図示）。クライアント側の情報処理装置は、例えば、エンドユーザサイトの３Ｄディスプレイに内蔵又は外付け接続される。
【0098】
サーバー側でレンダリングを行い、それをクライアント側に伝送するケースでは、伝送時に動画を圧縮する場合がある。このとき伝送帯域によっては、レンダリング画像が圧縮により劣化する。この場合、レンダリング品質を向上させても無駄になってしまう。よって伝送帯域に応じて動的にレンダリング条件をアダプティブに変更することもできる。このときのアダプティブ制御信号は、帯域に応じて全画面一律に行うだけでなく、圧縮のしやすさに応じて領域ごとに設定することもできる。
【0099】
あるいは、サーバー側の情報処理装置が、プリレンダリング部１０１、サンプリングマップ予測部１０２及びレンダリング条件決定部１０３を有し、クライアント側の情報処理装置がレンダリング部１０４及びレンダリング画像復元部１０５を有する情報処理システムが実現されてもよい（不図示）。クライアント側の情報処理装置は、例えば、エンドユーザサイトの３Ｄディスプレイに内蔵又は外付け接続される。
【0100】
サーバー側からレンダリングモデルデータを伝送し、それをクライアント側でレンダリングするケースでは、アダプティブ制御信号（又はサンプリングマップ）を同時に伝送することもできる。これによりクライアント側で最適なアダプティブレンダリングを行うことができる。またこれ以外のケースでも、例えばサーバー側でレンダリングを行い、クライアント側で超解像やデノイズなどの復元処理を行うような場合においても、アダプティブ制御信号を伝送することで、最適な復元処理を行うことができる。もちろんこれは、超解像のみ、デノイズのみや、その他の信号処理を行うケースでも同様である。
【0101】
５．結語
【0102】
ＳＰＰのみをアダプティブに制御するサンプリングマップを予測する技術が知られている。しかしながら、ＳＰＰのみをアダプティブに変化させても、計算時間の削減効果には限界がある。例えば平坦な領域であれば、ＳＰＰを減らすだけでなく、解像度を１／４や１／１６に削減することで、画像品質を保ちつつ劇的に計算時間を削減することができる。本実施形態によれば、ＳＰＰだけでなく解像度も要素毎にアダプティブに制御する。これにより、ＳＰＰ及び解像度の最適な組み合わせを局所的に予測してアダプティブにレンダリングし、復元ＤＮＮにより復元（デノイズ及び超解像）して、ゴール画像と同等の画質の最終レンダリング画像を高速に出力することができる。
【0103】
本開示は、以下の各構成を有してもよい。
【0104】
（１）
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定する
情報処理装置。
（３）
上記（１）又は（２）に記載の情報処理装置であって、
前記レンダリング条件決定部は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づき前記レンダリング条件を決定する
情報処理装置。
（４）
上記（１）乃至（３）の何れかに記載の情報処理装置であって、
前記レンダリング条件決定部は、前記要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎の前記レンダリング条件を決定する
情報処理装置。
（５）
上記（１）乃至（４）の何れかに記載の情報処理装置であって、
前記レンダリング条件決定部は、一部の前記要素毎のレンダリング条件を決定し、
他の前記要素毎のレンダリング条件は、予め決定される
情報処理装置。
（６）
上記（１）乃至（５）の何れかに記載の情報処理装置であって、
前記予測部は、条件予測ＤＮＮ（Deep Neural Network）に前記プリレンダリング画像を入力して前記要素毎の復元の難易度を予測し、
前記レンダリング画像復元部は、前記条件予測ＤＮＮと同時に学習された復元ＤＮＮに前記アダプティブレンダリング画像及び前記アダプティブ制御信号を入力して前記最終レンダリング画像を作成する
情報処理装置。
（７）
上記（１）乃至（６）の何れかに記載の情報処理装置であって、
前記予測部は、前記プリレンダリング画像内の前記要素毎に復元の難易度を示すサンプリングマップを予測し、
前記レンダリング条件決定部は、前記サンプリングマップに基づき、前記アダプティブ制御信号を作成する
情報処理装置。
（８）
上記（１）乃至（７）の何れかに記載の情報処理装置であって、
前記予測部は、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを予測し、
前記レンダリング条件決定部は、前記解像度のサンプリングマップに基づき解像度のレンダリング条件を設定し、前記ＳＰＰのサンプリングマップに基づきＳＰＰのレンダリング条件を設定する
情報処理装置。
（９）
上記（１）乃至（７）の何れかに記載の情報処理装置であって、
前記予測部は、１次元の前記サンプリングマップを予測し、
前記レンダリング条件決定部は、前記１次元のサンプリングマップに基づき解像度のレンダリング条件及びＳＰＰのレンダリング条件を設定する
情報処理装置。
（１０）
上記（１）乃至（９）の何れかに記載の情報処理装置であって、
前記プリレンダリング画像のＳＰＰは、前記最終レンダリング画像のＳＰＰより低い
情報処理装置。
（１１）
上記（１）乃至（１０）の何れかに記載の情報処理装置であって、
前記プリレンダリング画像の解像度は、前記最終レンダリング画像の解像度より低い
情報処理装置。
（１２）
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成し、
前記プリレンダリング画像内の復元の難易度を予測し、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成し、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成し、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成する
情報処理方法。
（１３）
情報処理装置のプロセッサを、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
して動作させる情報処理プログラム。
（１４）
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する情報処理システム。
（１５）
情報処理装置のプロセッサを、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
して動作させる情報処理プログラム
を記録した非一過性のコンピュータ読み取り可能な記録媒体。
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定する
情報処理装置。
（３）
上記（１）又は（２）に記載の情報処理装置であって、
前記レンダリング条件決定部は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づき前記レンダリング条件を決定する
情報処理装置。
（４）
上記（１）乃至（３）の何れかに記載の情報処理装置であって、
前記レンダリング条件決定部は、前記要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎の前記レンダリング条件を決定する
情報処理装置。
（５）
上記（１）乃至（４）の何れかに記載の情報処理装置であって、
前記レンダリング条件決定部は、一部の前記要素毎のレンダリング条件を決定し、
他の前記要素毎のレンダリング条件は、予め決定される
情報処理装置。
（６）
上記（１）乃至（５）の何れかに記載の情報処理装置であって、
前記予測部は、条件予測ＤＮＮ（Deep Neural Network）に前記プリレンダリング画像を入力して前記要素毎の復元の難易度を予測し、
前記レンダリング画像復元部は、前記条件予測ＤＮＮと同時に学習された復元ＤＮＮに前記アダプティブレンダリング画像及び前記アダプティブ制御信号を入力して前記最終レンダリング画像を作成する
情報処理装置。
（７）
上記（１）乃至（６）の何れかに記載の情報処理装置であって、
前記予測部は、前記プリレンダリング画像内の前記要素毎に復元の難易度を示すサンプリングマップを予測し、
前記レンダリング条件決定部は、前記サンプリングマップに基づき、前記アダプティブ制御信号を作成する
情報処理装置。
（８）
上記（１）乃至（７）の何れかに記載の情報処理装置であって、
前記予測部は、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを予測し、
前記レンダリング条件決定部は、前記解像度のサンプリングマップに基づき解像度のレンダリング条件を設定し、前記ＳＰＰのサンプリングマップに基づきＳＰＰのレンダリング条件を設定する
情報処理装置。
（９）
上記（１）乃至（７）の何れかに記載の情報処理装置であって、
前記予測部は、１次元の前記サンプリングマップを予測し、
前記レンダリング条件決定部は、前記１次元のサンプリングマップに基づき解像度のレンダリング条件及びＳＰＰのレンダリング条件を設定する
情報処理装置。
（１０）
上記（１）乃至（９）の何れかに記載の情報処理装置であって、
前記プリレンダリング画像のＳＰＰは、前記最終レンダリング画像のＳＰＰより低い
情報処理装置。
（１１）
上記（１）乃至（１０）の何れかに記載の情報処理装置であって、
前記プリレンダリング画像の解像度は、前記最終レンダリング画像の解像度より低い
情報処理装置。
（１２）
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成し、
前記プリレンダリング画像内の復元の難易度を予測し、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成し、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成し、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成する
情報処理方法。
（１３）
情報処理装置のプロセッサを、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
して動作させる情報処理プログラム。
（１４）
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
を具備する情報処理システム。
（１５）
情報処理装置のプロセッサを、
モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
前記プリレンダリング画像内の復元の難易度を予測する予測部と、
前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
して動作させる情報処理プログラム
を記録した非一過性のコンピュータ読み取り可能な記録媒体。
【0105】
本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【0106】
情報処理装置１００
プリレンダリング部１０１
サンプリングマップ予測部１０２
レンダリング条件決定部１０３
レンダリング部１０４
レンダリング画像復元部１０５
条件予測係数１０６
画像復元係数１０７
プリレンダリング部１０１
サンプリングマップ予測部１０２
レンダリング条件決定部１０３
レンダリング部１０４
レンダリング画像復元部１０５
条件予測係数１０６
画像復元係数１０７
【図1】
【図2】