特開 2023-131805 シミュレーション装置、シミュレーション方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023131805

(43)【公開日】2023-09-22

(54)【発明の名称】シミュレーション装置、シミュレーション方法、及びプログラム

(51)【国際特許分類】

   G02B 13/00 20060101AFI20230914BHJP

   G06T 15/06 20110101ALI20230914BHJP

【ＦＩ】

G02B13/00

G06T15/06

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022036766

(22)【出願日】2022-03-10

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】飯川 景祐

【テーマコード（参考）】

2H087

5B080

【Ｆターム（参考）】

2H087NA18

2H087RA31

2H087RA44

2H087RA45

5B080FA02

5B080GA06

(57)【要約】

【課題】より高速にセンサモデルの計算結果を得ることができるようにする。
【解決手段】光源から射出される光線に関する情報を含む光源面射出光線データセットを、予め設定された変換モデルに入力し、変換モデルによって変換されたデータセットを、センサに入射される光線に関する情報を含むセンサ入射光線データセットとしてセンサモデルの計算を実行する処理部を備えるシミュレーション装置が提供される。本開示は、例えば、車両に関するシミュレーションを行うシミュレーション装置に適用することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

光源から射出される光線に関する情報を含む光源面射出光線データセットを、予め設定された変換モデルに入力し、
前記変換モデルによって変換されたデータセットを、センサに入射される光線に関する情報を含むセンサ入射光線データセットとしてセンサモデルの計算を実行する
処理部を備える
シミュレーション装置。

【請求項2】

前記変換モデルは、前記光源面射出光線データセットと、前記光源面射出光線データセットをレンダリングすることで算出された前記センサ入射光線データセットとの対応関係に基づいて生成される変換テーブルである
請求項１に記載のシミュレーション装置。

【請求項3】

前記処理部は、
前記センサ入射光線データセットを、前記変換テーブルに基づいて生成された逆変換テーブルに入力し、
前記逆変換テーブルによって変換されたデータセットを、前記光源面射出光線データセットとして取得する
請求項２に記載のシミュレーション装置。

【請求項4】

前記変換モデルは、前記光源面射出光線データセットと、前記光源面射出光線データセットをレンダリングすることで算出された前記センサ入射光線データセットとを用いて機械学習を行った学習済みモデルである
請求項１に記載のシミュレーション装置。

【請求項5】

前記光源面射出光線データセットは、入射光線ごとに、光源面に対する射出位置、光源面に対する射出角度、強度、及び波長に関する情報を含む
請求項１に記載のシミュレーション装置。

【請求項6】

前記センサ入射光線データセットは、入射光線ごとに、センサ面に対する入射位置、センサ面に対する入射角度、強度、及び波長に関する情報を含む
請求項１に記載のシミュレーション装置。

【請求項7】

前記変換モデルは、レンズ及びカバーガラスを含む光学系による光の反射及び屈折を含む現象を再現する
請求項１に記載のシミュレーション装置。

【請求項8】

前記処理部は、前記センサ入射光線データセットを入力した混色モデルの計算を実行することで、フレア画像を生成する
請求項１に記載のシミュレーション装置。

【請求項9】

前記処理部は、
シミュレーションの結果得られるシミュレーション結果画像を取得し、
前記シミュレーション結果画像から得られる前記センサ入射光線データセットを、前記逆変換テーブルに入力することで、前記光源面射出光線データセットとして、ノイズの原因となる光線に関する情報を取得する
請求項３に記載のシミュレーション装置。

【請求項10】

シミュレーション装置が、
光源から射出される光線に関する情報を含む光源面射出光線データセットを、予め設定された変換モデルに入力し、
前記変換モデルによって変換されたデータセットを、センサに入射される光線に関する情報を含むセンサ入射光線データセットとしてセンサモデルの計算を実行する
シミュレーション方法。

【請求項11】

コンピュータを、
光源から射出される光線に関する情報を含む光源面射出光線データセットを、予め設定された変換モデルに入力し、
前記変換モデルによって変換されたデータセットを、センサに入射される光線に関する情報を含むセンサ入射光線データセットとしてセンサモデルの計算を実行する
処理部として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、シミュレーション装置、シミュレーション方法、及びプログラムに関し、特に、より高速にセンサモデルの計算結果を得ることができるようにしたシミュレーション装置、シミュレーション方法、及びプログラムに関する。

【背景技術】

【0002】

フレアの予測を行う手法として、光源、レンズ、鏡筒、パッケージ構造等の光学系環境を光線追跡シミュレータ内に再現することで、像面位置でのフレアを計算して予測する手法がある。この手法を用いる場合、光源の位置が変わるなどの変更がある度に、設定を変更してレンダリングツールを再計算する必要がある。

【0003】

特許文献１には、追跡する光路の座標位置を用いて光線とレンズとの交点座標を計算し、入射光線ベクトル、境界面の法線ベクトル、入射角、屈折角、屈折率から、全反射概念の付加により、光路追跡に必要な透過光線及び反射光線を求める手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平8-248208号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した手法を用いた場合には光線追跡の計算に時間がかかるため、センサモデルの計算を実行するに際しては、より高速に計算結果を得ることが求められる。

【0006】

本開示はこのような状況に鑑みてなされたものであり、より高速にセンサモデルの計算結果を得ることができるようにするものである。

【課題を解決するための手段】

【0007】

本開示の一側面のシミュレーション装置は、光源から射出される光線に関する情報を含む光源面射出光線データセットを、予め設定された変換モデルに入力し、前記変換モデルによって変換されたデータセットを、センサに入射される光線に関する情報を含むセンサ入射光線データセットとしてセンサモデルの計算を実行する処理部を備えるシミュレーション装置である。

【0008】

本開示の一側面のシミュレーション方法及びプログラムは、本開示の一側面のシミュレーション装置に対応するシミュレーション方法及びプログラムである。

【0009】

本開示の一側面のシミュレーション装置、シミュレーション方法、及びプログラムにおいては、光源から射出される光線に関する情報を含む光源面射出光線データセットが、予め設定された変換モデルに入力され、前記変換モデルによって変換されたデータセットが、センサに入射される光線に関する情報を含むセンサ入射光線データセットとしてセンサモデルの計算が実行される。

【0010】

なお、本開示の一側面のシミュレーション装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。

【図面の簡単な説明】

【0011】

【図1】本開示を適用したシミュレーション装置の一実施の形態の構成例を示すブロック図である。

【図2】データセットの作成方法の例を示す図である。

【図3】光源面射出光線データセットの例を示す図である。

【図4】センサ入射光線データセットの例を示す図である。

【図5】シミュレーションで用いられるモデルの例を示す図である。

【図6】変換テーブルの作成方法の例を示す図である。

【図7】変換テーブルから逆変換テーブルを作成する方法の例を示す図である。

【図8】変換テーブルから逆変換テーブルを作成する方法の例を示す図である。

【図9】逆変換テーブルから変換テーブルを作成する方法の例を示す図である。

【図10】逆変換テーブルから変換テーブルを作成する方法の例を示す図である。

【図11】逆変換テーブルを用いたノイズ対策の例を示す図である。

【図12】変換テーブル生成処理の流れを説明するフローチャートである。

【図13】学習済みモデル生成処理の流れを説明するフローチャートである。

【図14】シミュレーション処理の流れを説明するフローチャートである。

【図15】本開示を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

＜装置構成＞
図１は、本開示を適用したシミュレーション装置の一実施の形態の構成例を示すブロック図である。

【0013】

図１において、シミュレーション装置１０は、センサモデル等のモデルを用いて、車両等に関するシミュレーションを行う装置である。センサモデルは、センサのセンシングを模擬したモデルを含む。シミュレーション装置１０は、PC(Personal Computer)、サーバ、専用の端末などの装置である。シミュレーション装置１０は、入力部１０１、処理部１０２、及び出力部１０３から構成される。

【0014】

入力部１０１は、そこに入力される光源面射出光線データセット等のデータを、処理部１０２に入力する。光源面射出光線データセットは、光源から射出される光線に関する情報を含むデータセットである。

【0015】

処理部１０２は、センサモデル等のモデルを用いたシミュレーション処理を実行する。処理部１０２は、変換部１２１、及び計算部１２２を含む。変換部１２１には、変換テーブル１４１が予め設定される。変換テーブル１４１は、光源面射出光線データセットとセンサ入射光線データセットとの対応関係に基づいて生成される。センサ入射光線データセットは、センサに入射される光線に関する情報を含むデータセットである。

【0016】

変換部１２１は、入力部１０１からの光源面射出光線データセットを変換テーブル１４１に入力し、変換テーブル１４１によって変換されたセンサ入射光線データセットを、計算部１２２に出力する。計算部１２２は、変換部１２１からのセンサ入射光線データセットに基づいて、シミュレーションに関する計算を実行し、その結果得られるシミュレーション結果を出力部１０３に出力する。

【0017】

出力部１０３は、処理部１０２からのシミュレーション結果を出力する。例えば、出力部１０３は、処理部１０２からのシミュレーション結果に基づいて、画像や数値、テキストなどの各種情報を表示する。

【0018】

なお、光源面射出光線データセットは、シミュレーション装置１０内で作成してもよいし、あるいは他の装置で作成したものをネットワークやリムーバブル記録媒体等を介して入力してもよい。シミュレーション装置１０内で光源面射出光線データセットを作成する場合には、入力部１０１が、光源面射出光線データセットを作成するためのデータを、処理部１０２に入力することができる。これにより、処理部１０２は、入力部１０１からのデータに基づき、光源面射出光線データセットを作成し、変換テーブル１４１に入力することができる。

【0019】

＜データセットの作成＞
図２は、データセットの作成方法の例を示す図である。

【0020】

図２に示すように、変換テーブル１４１を生成するためのデータセットとして、光源面射出光線データセットとセンサ入射光線データセットが必要となるので、まず、光源面射出光線データセットを作成する。

【0021】

光源面射出光線データセットは、光線一本ずつに対し、光源面からの射出位置及び射出角度、強度、並びに波長を示す情報を記載している。例えば、図３に示すように、光源面射出光線データセットでは、入射光線番号ごとに、光源面に対する射出位置、光源面に対する射出角度、強度、及び波長が対応付けられている。光線の強度は、固定値とすることができる。

【0022】

センサ入射光線データセットは、光源面射出光線データセットに対し、レンダリングツールを用いたレンダリング(光線を追跡する処理等)の計算を実行することで算出される。センサ入射光線データセットは、光線一本ずつに対し、センサ面への入射位置及び入射角度、強度、並びに波長を示す情報を記載している。例えば、図４に示すように、センサ入射光線データセットでは、入射光線番号ごとに、センサ面に対する入射位置、センサ面に対する入射角度、強度、及び波長が対応付けられている。光線の強度は、固定値とすることができる。

【0023】

図２においては、図中の矢印Ａ１，Ａ２で示すように、シミュレーション(レイトレーシングシミュレーション)により、レンダリングの計算(レイトレーシング計算)が行われることで、光源面射出光線データセットから、センサ入射光線データセットを作成することができる。図５に示すように、このシミュレーションでは、光源２０１と、レンズ群２０２と、絞り２０３と、カバーガラス２０４と、センサパッケージ２０５等を含むセンサモデルで、図中の一点鎖線で示す光線を追跡する処理が行われる。

【0024】

センサパッケージ２０５は、センサ２１１を包み込んで周囲から防護し、外部と電力や電気信号の入出力を行うための接点を提供する。光学系の計算を行うに際して、センサパッケージ２０５の構造が大きな影響を及ぼすため、センサモデルに含めている。センサ２１１は、イメージセンサ等のセンサである。なお、レンズ群２０２やカバーガラス２０４は光学系の一例であり、センサモデルを用いたシミュレーションにより、レンズ群２０２等の光学系による光の反射や屈折等の現象を再現することができる。

【0025】

このように、光源面射出光線データセットを用意して、光源面射出光線データセットをレンダリングすることで、センサ入射光線データセットを算出することができる。これにより、変換テーブル１４１を生成するためのデータセットとして、光源面射出光線データセットとセンサ入射光線データセットが作成される。

【0026】

なお、図２において、矢印Ｂ１，Ｂ２で示すように、レイトレーシングシミュレーションとは逆のシミュレーション(パストレーシングシミュレーション)により、レンダリングの計算(パストレーシング計算)が行われることで、センサ入射光線データセットから、光源面射出光線データセットを導出することも可能である。

【0027】

＜変換テーブルの作成＞
図６は、変換テーブル１４１の作成方法の例を示す図である。

【0028】

図６に示すように、光源面射出光線データセットとセンサ入射光線データセットとの対応関係により変換テーブル１４１を生成することができる。変換テーブル１４１の生成に用いられる光源面射出光線データセットとセンサ入射光線データセットは、上述したデータセットの作成方法により作成される。

【0029】

シミュレーション装置１０では、シミュレーション処理を実行する際して、変換テーブル１４１に、光源面射出光線データセットを入力することで、レンダリング計算を行わずに、センサ入射光線データセットを得ることができる。光線追跡の計算は、膨大な計算量が必要で時間がかかるが、変換テーブル１４１を予め設定しておくことで、このようなレンダリング計算を行わずに、センサ入射光線データセットを取得することができるため、より高速にセンサモデルの計算結果を得ることができる。

【0030】

また、変換テーブル１４１は、光源面射出光線データセットとセンサ入射光線データセットとの対応関係により生成されるテーブルであるため、変換テーブル１４１に基づいて、逆変換テーブル１４２を生成することができる。換言すれば、逆変換テーブル１４２は、光源面射出光線データセットとセンサ入射光線データセットとの対応関係に基づいて生成することができる。シミュレーション装置１０では、逆変換テーブル１４２に、センサ入射光線データセットを入力することで、光源面射出光線データセットを取得することができる。

【0031】

図６に示すように、シミュレーション装置１０では、逆変換テーブル１４２を設定することで、センサ面に対する入射位置と入射角度から、フレアの原因になる入射光線の光源面に対する射出位置と射出角度を再現することができる。

【0032】

例えば、センサ入射光線データセットに基づき生成されたフレア画像３０１に含まれるフレア成分に対応した入射位置と入射角度が、入射位置(ｘ，ｙ)＝(α，β)、入射角度(θ，φ)＝(60°，20°)である場合を想定する。この場合において、逆変換テーブル１４２を用い、入射位置(ｘ，ｙ)＝(α，β)、入射角度(θ，φ)＝(60°，20°)から、射出位置(ｘ，ｙ)＝(ｘ₀，ｙ₀)、射出角度(θ，φ)＝(30°，10°)を求めることができる。これにより、フレアの原因になる入射光線の射出位置と射出角度を特定することができる。

【0033】

次に、図７と図８を参照して、変換テーブル１４１から逆変換テーブル１４２を作成する方法を説明する。

【0034】

図７において、上段には、光源面とセンサ面との対応関係を示し、下段には、変換テーブル１４１の例を示している。図７の上段の破線で示すように、光源面位置１から射出された光線は、レンズ群２０２等の光学系を経由して、センサ２１１のセンサ面位置ａ，ｂ，ｃに入射される。また、図７の上段の一点鎖線で示すように、光源面位置２から射出された光線は、センサ面位置ｄに入射され、図７の上段の二点鎖線で示すように、光源面位置３から射出された光線は、センサ面位置ｅ，ｆに入射される。

【0035】

図７の下段に示すように、変換テーブル１４１では、上段に示した光源面位置とセンサ面位置との対応関係が含まれており、光源面位置１とセンサ面位置ａ，ｂ，ｃ、光源面位置２とセンサ面位置ｄ、光源面位置３とセンサ面位置ｅ，ｆがそれぞれ対応付けられている。また、変換テーブル１４１では、光源面位置とセンサ面位置との対応関係の他に、光線の波長、強度、角度に関する情報が対応付けられている。

【0036】

図７の下段に示した変換テーブル１４１に基づいて生成された逆変換テーブル１４２を、図８に示している。図８において、上段には、光源面とセンサ面との対応関係を示し、下段には、逆変換テーブル１４２の例を示している。

【0037】

図８の上段の破線で示すように、センサ面位置ａ，ｂ，ｃは、光源面位置１と対応しているため、逆変換テーブル１４２で対応付けられている。図８の上段の一点鎖線で示すように、センサ面位置ｄは光源面位置２と対応し、図８の上段の二点鎖線で示すように、センサ面位置ｅ，ｆは光源面位置３と対応しているため、逆変換テーブル１４２で対応付けられている。また、逆変換テーブル１４２でも、光源面位置とセンサ面位置との対応関係の他に、光線の波長、強度、角度に関する情報が対応付けられている。

【0038】

このように、図７の変換テーブル１４１に基づいて、図８の逆変換テーブル１４２を生成することができる。ただし、逆変換テーブル１４２の光源面強度は、センサ２１１に到達した光線の中で正規化されるようにする。

【0039】

なお、逆変換テーブル１４２から変換テーブル１４１を生成してもよい。図９と図１０には、図９の逆変換テーブル１４２に基づいて、図１０の変換テーブル１４１を生成する例を示しているが、変換テーブル１４１と逆変換テーブル１４２との関係が逆になるだけで、図９の内容は、図８の内容に対応し、図１０の内容は、図７の内容に対応しており、その説明は繰り返しになるので省略する。

【0040】

また、上述した説明では、逆変換テーブル１４２を用いて、フレアの原因の入射光線に関する情報を取得する例を示したが、ノイズの原因の入射光線に関する情報が取得されるようにしてもよい。図１１は、逆変換テーブル１４２を用いたノイズ対策の例を示す図である。

【0041】

図１１に示すように、シミュレーションの結果得られるシミュレーション結果画像３０２に対し、逆変換テーブル１４２を生成することで、シミュレーション結果画像３０２に含まれるノイズの原因となる入射光線(ノイズ光線)に関する情報を得ることができる。逆変換テーブル１４２は、光源面射出光線データセットとセンサ入射光線データセットに基づいて生成することができる。

【0042】

図１１の例では、逆変換テーブル１４２を用いて、ノイズ光線の射出位置と射出角度として、射出位置(ｘ，ｙ)＝(ｘ₀，ｙ₀)、射出角度(θ，φ)＝(30°，10°)が求められる。このようにしてノイズ光線を特定することができるため、入射光線ごとにノイズ光線であるか否かを判定して、下記の式(１)を適用することで、全入射光線に対するノイズ光線の割合(ノイズ割合)を求めることができる。

【0043】

ノイズ割合 ＝ ノイズ光線数／全入射光線数 ・・・(１)

【0044】

このように、シミュレーション装置１０では、シミュレーション処理を実行する際して、逆変換テーブル１４２を用いることで、レンダリング計算を行わずに、入射させようとする光線に対してどれくらいのノイズが起こるかを予測することができるため、より高速に予測結果を得ることができる。なお、シミュレーション処理の実行時にセンサモデルで用いられるセンサは、イメージセンサに限らず、例えば、距離センサ等の他のセンサであってもよい。

【0045】

＜処理の流れ＞
次に、シミュレーション装置１０により実行される処理の流れを説明する。まず、図１２のフローチャートを参照して、変換テーブル１４１を生成する変換テーブル生成処理の流れを説明する。

【0046】

ステップＳ１１では、処理部１０２が、予め用意した光源面射出光線データセットをレンダリングすることで、センサ入射光線データセットを算出する。これにより、図２に示したように、光源面射出光線データセットとセンサ入射光線データセットが、変換テーブル１４１を生成するためのデータセットとして作成される。

【0047】

ステップＳ１２では、処理部１０２が、予め用意した光源面射出光線データセットと、算出されたセンサ入射光線データセットとの対応関係により変換テーブル１４１を生成する。これにより、図６に示したように、ステップＳ１１の処理で作成されたデータセットの対応関係から、変換テーブル１４１が生成され、メモリ等の記憶装置(不図示)に記録される。

【0048】

以上、変換テーブル生成処理の流れを説明した。上述した説明では、光源面射出光線データセットを、センサ入射光線データセットに変換するための変換モデルとして、変換テーブル１４１を例示したが、他のモデルを用いても構わない。例えば、機械学習により学習された学習済みモデルを用いることができる。

【0049】

次に、図１３のフローチャートを参照して、変換モデルとして学習済みモデルを用いる場合の学習済みモデル生成処理の流れを説明する。

【0050】

ステップＳ３１では、処理部１０２が、予め用意した光源面射出光線データセットをレンダリングすることで、センサ入射光線データセットを算出する。これにより、学習データセットとして、光源面射出光線データセットとセンサ入射光線データセットが作成される。

【0051】

ステップＳ３２では、処理部１０２が、予め用意した光源面射出光線データセットと、算出されたセンサ入射光線データセットとを用いて機械学習を行った学習済みモデルを生成する。例えば、学習済みモデルは、DNN(Deep Neural Network)による機械学習を行うモデルを用いることができる。生成された学習済みモデルは、メモリ等の記憶装置に記録される。

【0052】

なお、説明の都合上、図１２，図１３では、シミュレーション装置１０の処理部１０２が、変換テーブル１４１や学習済みモデル等の変換モデルを生成するとして説明したが、変換モデルは、シミュレーション装置１０以外の他の装置(例えばPCやサーバ)により生成されてもよい。他の装置により変換モデルが生成された場合、例えばネットワークやリムーバブル記録媒体を介して、変換モデルがシミュレーション装置１０に提供されるようにする。

【0053】

次に、図１４のフローチャートを参照して、変換テーブル１４１を用いたシミュレーション処理の流れの一例を説明する。このシミュレーション処理を実行するよりも前に、図１２の変換テーブル生成処理が実行され、シミュレーション装置１０内のメモリには、変換テーブル１４１が記録されている。

【0054】

ステップＳ５１では、処理部１０２が、仮想FTシナリオファイルを取得する。仮想FTシナリオファイルは、例えば、自動運転の安全性を検証するためのFT(Field Test)シナリオのファイルであり、公道走行を伴うFTのシミュレーションを行うことができる。

【0055】

ステップＳ５２では、処理部１０２が、仮想FTシナリオファイルから、光源面射出光線データセットを作成する。

【0056】

ステップＳ５３では、変換部１２１が、光源面射出光線データセットを変換テーブル１４１に入力する。変換テーブル１４１によって、入力された光源面射出光線データセットが、センサ入射光線データセットに変換される。

【0057】

ステップＳ５４では、変換部１２１が、変換テーブル１４１からのセンサ入射光線データセットを計算部１２２に出力する。すなわち、変換テーブル１４１は、仮想FTシナリオファイルの時間変動に応じて、光源面射出光線データセットを変換したセンサ入射光線データセットを出力し続けることになる。

【0058】

ステップＳ５５では、計算部１２２が、変換テーブル１４１からのセンサ入射光線データセットを混色モデルに入力し、フレア画像を生成する。このようにして、フレアの予測を行うためのフレア画像が生成されるが、光源面射出光線データセットを用意できれば、変換テーブル１４１を介してセンサ入射光線データセットを得ることができるため、レンダリング計算をする必要がなく、高速にフレア画像を得ることができる。例えば、入射光線が連続的に変化したときでも、フレア画像を連続的に出力することができる。

【0059】

以上、シミュレーション処理の流れを説明した。なお、図１４では、変換テーブル１４１を用いた場合を説明したが、図１３の学習済みモデル生成処理で生成された学習済みモデルを用いた場合には、例えば、次のようになる。すなわち、光源面射出光線データセットを用意して学習済みモデルに入力することで、学習済みモデルからセンサ入射光線データセットが出力されるため、変換テーブル１４１を用いた場合と同様に、レンダリング計算をする必要がなく、高速にフレア画像を得ることができる。

【0060】

以上のように、シミュレーション装置１０では、処理部１０２が、光源面射出光線データセットを予め設定された変換テーブル１４１に入力し、変換テーブル１４１によって変換されたデータセットをセンサ入射光線データセットとしてセンサモデルの計算を実行し、例えば、混色モデルから生成されるフレア画像などのシミュレーション結果画像を生成することができる。

【0061】

すなわち、シミュレーション装置１０においては、センサモデルの計算を行うに際して、光源面射出光線データセットを変換テーブル１４１に入力することで、レンダリング計算を行うことなく、センサ入射光線データセットを取得することができる。換言すれば、変換テーブル１４１を用いることで、センサモデルによるレンズ群２０２やカバーガラス２０４等の光学系による光の反射及び屈折を含む現象を再現することができる。そのため、より高速にセンサモデルの計算結果を得ることができる。また、その結果として、より高速にフレア画像を取得することができる。

【0062】

また、シミュレーション装置１０では、変換テーブル１４１を用いることで、レンズ群２０２等の光学系の構造データがなくてもレンダリング結果を確認することが可能となるため、光学系の構造をブラックボックス化することができる。さらには、センサパッケージ２０５等の構造をもブラックボックス化することができる。また、光源面射出光線データセットさえ用意できれば、変換テーブル１４１を用いることにより、レンダリングツール等のツールに依存しないシミュレーション結果を得ることができる。

【0063】

また、シミュレーション装置１０では、変換テーブル１４１を用いることで、光源２０１からセンサ２１１への光線を追跡するレイトレーシング(Ray Tracing)に対応することができる。一方で、シミュレーション装置１０では、変換テーブル１４１に基づいて生成された逆変換テーブル１４２を用いることで、センサ２１１から光源２０１への光線を追跡するパストレーシング(Pass Tracing)に対応することができる。すなわち、変換テーブル１４１と逆変換テーブル１４２を用いることで、レイトレーシングとパストレーシングのどちらにも対応することができる。

【0064】

＜変形例＞
上述した説明では、光源面射出光線データセットやセンサ入射光線データセットの位置情報として、２次元座標系(XY座標系)を用いた場合を示したが、３次元座標系(XYZ座標系)等の他の座標系を用いても構わない。また、角度情報に関しても同様に、任意の座標系を用いることができる。すなわち、図３等に示した光源面射出光線データセットは一例であり、光源２０１から出射される光線に関する情報であれば、他の情報を用いてもよい。また、図４等に示したセンサ入射光線データセットは一例であり、センサ２１１に入射される光線に関する情報であれば、他の情報を用いてもよい。なお、図３等の光源面射出光線データセットと図４等のセンサ入射光線データセットの入射光線番号ｎ，Ｎは、１以上の整数を表しており、一致していても異なっていても構わない。

【0065】

変換テーブル１４１と逆変換テーブル１４２における位置情報及び角度情報についても同様に、任意の座標系を用いることができる。また、図７等に示した変換テーブル１４１は一例であり、光源面射出光線データセットとセンサ入射光線データセットとの対応関係を有し、光源面射出光線データセットをセンサ入射光線データセットに変換可能であれば、他の情報を用いてもよい。図８等に示した逆変換テーブル１４２は一例であり、光源面射出光線データセットとセンサ入射光線データセットとの対応関係を有し、センサ入射光線データセットを光源面射出光線データセットに変換可能であれば、他の情報を用いてもよい。

【0066】

上述した説明では、変換モデルとして、変換テーブル１４１に対応した学習済みモデルを用いる場合を示したが、逆変換テーブル１４２に対応した学習済みモデルを、機械学習を行うことで生成して、逆変換テーブル１４２の代わりに用いてもよい。この学習済みモデルにセンサ入射光線データセットを入力することで、光源面射出光線データセットを出力することができる。

【0067】

＜コンピュータの構成例＞
上述した一連の処理(シミュレーション処理等)は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

【0068】

コンピュータにおいて、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。

【0069】

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、半導体メモリ、磁気ディスク、光ディスク、又は光磁気ディスクなどのリムーバブル記録媒体１０１１を駆動する。

【0070】

以上のように構成されるコンピュータでは、CPU１００１が、ROM１００２や記憶部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

【0071】

コンピュータ(CPU１００１)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

【0072】

コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、予めインストールしておくことができる。

【0073】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、１のコンピュータ(プロセッサ)により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。

【0074】

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【0075】

また、本開示は、以下のような構成をとることができる。

【0076】

（１）
光源から射出される光線に関する情報を含む光源面射出光線データセットを、予め設定された変換モデルに入力し、
前記変換モデルによって変換されたデータセットを、センサに入射される光線に関する情報を含むセンサ入射光線データセットとしてセンサモデルの計算を実行する
処理部を備える
シミュレーション装置。
（２）
前記変換モデルは、前記光源面射出光線データセットと、前記光源面射出光線データセットをレンダリングすることで算出された前記センサ入射光線データセットとの対応関係に基づいて生成される変換テーブルである
前記（１）に記載のシミュレーション装置。
（３）
前記処理部は、
前記センサ入射光線データセットを、前記変換テーブルに基づいて生成された逆変換テーブルに入力し、
前記逆変換テーブルによって変換されたデータセットを、前記光源面射出光線データセットとして取得する
前記（２）に記載のシミュレーション装置。
（４）
前記変換モデルは、前記光源面射出光線データセットと、前記光源面射出光線データセットをレンダリングすることで算出された前記センサ入射光線データセットとを用いて機械学習を行った学習済みモデルである
前記（１）に記載のシミュレーション装置。
（５）
前記光源面射出光線データセットは、入射光線ごとに、光源面に対する射出位置、光源面に対する射出角度、強度、及び波長に関する情報を含む
前記（１）乃至（４）のいずれかに記載のシミュレーション装置。
（６）
前記センサ入射光線データセットは、入射光線ごとに、センサ面に対する入射位置、センサ面に対する入射角度、強度、及び波長に関する情報を含む
前記（１）乃至（４）のいずれかに記載のシミュレーション装置。
（７）
前記変換モデルは、レンズ及びカバーガラスを含む光学系による光の反射及び屈折を含む現象を再現する
前記（１）乃至（４）のいずれかに記載のシミュレーション装置。
（８）
前記処理部は、前記センサ入射光線データセットを入力した混色モデルの計算を実行することで、フレア画像を生成する
前記（１）乃至（４）のいずれかに記載のシミュレーション装置。
（９）
前記処理部は、
シミュレーションの結果得られるシミュレーション結果画像を取得し、
前記シミュレーション結果画像から得られる前記センサ入射光線データセットを、前記逆変換テーブルに入力することで、前記光源面射出光線データセットとして、ノイズの原因となる光線に関する情報を取得する
前記（３）に記載のシミュレーション装置。
（１０）
シミュレーション装置が、
光源から射出される光線に関する情報を含む光源面射出光線データセットを、予め設定された変換モデルに入力し、
前記変換モデルによって変換されたデータセットを、センサに入射される光線に関する情報を含むセンサ入射光線データセットとしてセンサモデルの計算を実行する
シミュレーション方法。
（１１）
コンピュータを、
光源から射出される光線に関する情報を含む光源面射出光線データセットを、予め設定された変換モデルに入力し、
前記変換モデルによって変換されたデータセットを、センサに入射される光線に関する情報を含むセンサ入射光線データセットとしてセンサモデルの計算を実行する
処理部として機能させるプログラム。

【符号の説明】

【0077】

１０ シミュレーション装置， １０１ 入力部， １０２ 処理部， １０３ 出力部， １２１ 変換部， １２２ 計算部， １４１ 変換テーブル， １４２ 逆変換テーブル， ２０１ 光源， ２０２ レンズ群， ２０３ 絞り， ２０４ カバーガラス， ２０５ センサパッケージ， ２１１ センサ， １００１ CPU

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】