知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023111625
(43)【公開日】2023-08-10
(54)【発明の名称】信号処理装置、信号処理方法、プログラム
(51)【国際特許分類】
G01N 21/17 20060101AFI20230803BHJP
【ＦＩ】
G01N21/17 A
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022013562
(22)【出願日】2022-01-31
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】水谷 純也
(72)【発明者】
【氏名】三宅 利尚
(72)【発明者】
【氏名】奥池 和幸
【テーマコード（参考）】
2G059
【Ｆターム（参考）】
2G059AA05
2G059BB08
2G059EE02
2G059EE05
2G059FF01
2G059HH02
2G059KK04
2G059MM01
(57)【要約】
【課題】受光センサの出力に基づき複数種類の画像が生成される場合において、適切な画像が取得されるように図る。
【解決手段】本技術に係る信号処理装置は、受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部と、複数種類の画像が適切な態様となるように信号処理部における信号処理パラメータを制御する制御部とを備える。
【選択図】図１
【解決手段】本技術に係る信号処理装置は、受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部と、複数種類の画像が適切な態様となるように信号処理部における信号処理パラメータを制御する制御部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部と、
前記複数種類の画像が適切な態様となるように前記信号処理部における信号処理パラメータを制御する制御部と、を備えた
信号処理装置。
前記複数種類の画像が適切な態様となるように前記信号処理部における信号処理パラメータを制御する制御部と、を備えた
信号処理装置。
【請求項2】
前記信号処理部は、前記信号処理としてデジタルゲイン調整処理を行う
請求項１に記載の信号処理装置。
請求項１に記載の信号処理装置。
【請求項3】
前記制御部は、前記複数種類の画像のうち前記信号処理部による信号処理対象とされた画像である処理対象画像の検波値に基づいて、前記信号処理パラメータを制御する処理を行い、
前記受光センサの出力画像であるＲＡＷ画像に基づき、機械学習された人工知能モデルにより前記処理対象画像の検波値を推論する推論器を備えた
請求項１に記載の信号処理装置。
前記受光センサの出力画像であるＲＡＷ画像に基づき、機械学習された人工知能モデルにより前記処理対象画像の検波値を推論する推論器を備えた
請求項１に記載の信号処理装置。
【請求項4】
前記複数種類の画像の少なくとも何れかの画像に基づき、機械学習された人工知能モデルにより他種類の画像の検波値を推論する推論器を備えた
請求項１に記載の信号処理装置。
請求項１に記載の信号処理装置。
【請求項5】
前記制御部は、
再学習された前記人工知能モデルである再学習モデルを前記推論器に適用して行われた推論結果についての評価を行い、評価結果に基づき、前記推論器への前記人工知能モデルの適用について制御する
請求項３に記載の信号処理装置。
再学習された前記人工知能モデルである再学習モデルを前記推論器に適用して行われた推論結果についての評価を行い、評価結果に基づき、前記推論器への前記人工知能モデルの適用について制御する
請求項３に記載の信号処理装置。
【請求項6】
前記受光センサが偏光センサとされた
請求項１に記載の信号処理装置。
請求項１に記載の信号処理装置。
【請求項7】
前記信号処理部は、前記偏光センサの出力に基づき生成された複数種類の偏光画像のうち、少なくとも一つの偏光画像についてデジタルゲイン調整処理を行う
請求項６に記載の信号処理装置。
請求項６に記載の信号処理装置。
【請求項8】
前記偏光センサは、偏光角ごとにそれぞれ異なる色の光を受光可能に構成され、
前記偏光画像として、それぞれ複数色の反射除去画像と偏光成分画像とが生成され、
前記信号処理部は、少なくとも前記反射除去画像について色ごとのデジタルゲイン調整処理を実行可能とされ、
前記制御部は、
前記偏光成分画像の色ごとの検波値に基づいて、前記信号処理部による前記反射除去画像についてのデジタルゲイン調整処理を制御する
請求項７に記載の信号処理装置。
前記偏光画像として、それぞれ複数色の反射除去画像と偏光成分画像とが生成され、
前記信号処理部は、少なくとも前記反射除去画像について色ごとのデジタルゲイン調整処理を実行可能とされ、
前記制御部は、
前記偏光成分画像の色ごとの検波値に基づいて、前記信号処理部による前記反射除去画像についてのデジタルゲイン調整処理を制御する
請求項７に記載の信号処理装置。
【請求項9】
前記制御部は、
前記偏光成分画像における一部領域である対象被写体領域における偏光成分画像の検波値に基づいて、前記信号処理部による前記反射除去画像についてのデジタルゲイン調整処理を制御する
請求項８に記載の信号処理装置。
前記偏光成分画像における一部領域である対象被写体領域における偏光成分画像の検波値に基づいて、前記信号処理部による前記反射除去画像についてのデジタルゲイン調整処理を制御する
請求項８に記載の信号処理装置。
【請求項10】
前記受光センサが分光センサとされた
請求項１に記載の信号処理装置。
請求項１に記載の信号処理装置。
【請求項11】
前記信号処理部は、前記分光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像についてデジタルゲイン調整処理を行う
請求項１０に記載の信号処理装置。
請求項１０に記載の信号処理装置。
【請求項12】
前記信号処理部は、前記分光センサの出力に基づき生成された複数の狭帯域画像についての帯域間引き行列演算処理を行う
請求項１０に記載の信号処理装置。
請求項１０に記載の信号処理装置。
【請求項13】
前記帯域間引き行列演算処理として、前記複数の狭帯域画像の数よりも少ない狭帯域画像群を生成する処理と、ＲＧＢ画像を生成する処理とが行われ、
前記信号処理部は、
前記狭帯域画像群についてのデジタルゲイン調整処理と、前記ＲＧＢ画像についてのデジタルゲイン調整処理とを実行可能に構成され、
前記制御部は、
前記狭帯域画像群についての検波値に基づき、前記信号処理部における前記狭帯域画像群についてのデジタルゲイン調整処理の信号処理パラメータを制御すると共に、前記ＲＧＢ画像についての検波値に基づき、前記信号処理部における前記ＲＧＢ画像についてのデジタルゲイン調整処理の信号処理パラメータを制御する
請求項１２に記載の信号処理装置。
前記信号処理部は、
前記狭帯域画像群についてのデジタルゲイン調整処理と、前記ＲＧＢ画像についてのデジタルゲイン調整処理とを実行可能に構成され、
前記制御部は、
前記狭帯域画像群についての検波値に基づき、前記信号処理部における前記狭帯域画像群についてのデジタルゲイン調整処理の信号処理パラメータを制御すると共に、前記ＲＧＢ画像についての検波値に基づき、前記信号処理部における前記ＲＧＢ画像についてのデジタルゲイン調整処理の信号処理パラメータを制御する
請求項１２に記載の信号処理装置。
【請求項14】
前記信号処理部は、前記分光センサの出力に基づき生成された複数の狭帯域画像のそれぞれについてデジタルゲイン調整処理を実行可能に構成され、
前記制御部は、
前記複数の狭帯域画像それぞれの検波値に基づき特定される光源色の情報に基づいて、前記信号処理部における前記デジタルゲイン調整処理についての前記信号処理パラメータを制御する
請求項１１に記載の信号処理装置。
前記制御部は、
前記複数の狭帯域画像それぞれの検波値に基づき特定される光源色の情報に基づいて、前記信号処理部における前記デジタルゲイン調整処理についての前記信号処理パラメータを制御する
請求項１１に記載の信号処理装置。
【請求項15】
前記受光センサがｉＴｏＦセンサとされた
請求項１に記載の信号処理装置。
請求項１に記載の信号処理装置。
【請求項16】
前記ｉＴｏＦセンサの出力に基づき距離画像とＩＲ画像とが生成され、
前記信号処理部は、前記信号処理として、前記ＩＲ画像についてのデジタルゲイン調整処理を行う
請求項１５に記載の信号処理装置。
前記信号処理部は、前記信号処理として、前記ＩＲ画像についてのデジタルゲイン調整処理を行う
請求項１５に記載の信号処理装置。
【請求項17】
前記制御部は、
前記ｉＴｏＦセンサの出力に基づき算出される測距の信頼度情報に基づいて前記ｉＴｏＦセンサの受光期間調整を行うと共に、前記ＩＲ画像の検波値に基づいて、前記信号処理部における前記デジタルゲイン調整処理についての前記信号処理パラメータを制御する
請求項１６に記載の信号処理装置。
前記ｉＴｏＦセンサの出力に基づき算出される測距の信頼度情報に基づいて前記ｉＴｏＦセンサの受光期間調整を行うと共に、前記ＩＲ画像の検波値に基づいて、前記信号処理部における前記デジタルゲイン調整処理についての前記信号処理パラメータを制御する
請求項１６に記載の信号処理装置。
【請求項18】
前記制御部は、
前記信号処理部における前記ＩＲ画像のデジタルゲイン調整処理についてゲインのリミット制御を行うと共に、前記ＩＲ画像の検波値に基づき定まる前記ＩＲ画像についてのデジタルゲイン調整処理の目標ゲインと、前記リミット制御におけるゲインのリミット値との比較結果に基づき、前記ｉＴｏＦセンサの受光期間調整を行う
請求項１７に記載の信号処理装置。
前記信号処理部における前記ＩＲ画像のデジタルゲイン調整処理についてゲインのリミット制御を行うと共に、前記ＩＲ画像の検波値に基づき定まる前記ＩＲ画像についてのデジタルゲイン調整処理の目標ゲインと、前記リミット制御におけるゲインのリミット値との比較結果に基づき、前記ｉＴｏＦセンサの受光期間調整を行う
請求項１７に記載の信号処理装置。
【請求項19】
信号処理装置が実行する信号処理方法であって、
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、前記複数種類の画像が適切な態様となるように制御する
信号処理方法。
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、前記複数種類の画像が適切な態様となるように制御する
信号処理方法。
【請求項20】
コンピュータ装置が読み取り可能なプログラムであって、
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、前記複数種類の画像が適切な態様となるように制御する処理を、前記コンピュータ装置に実行させる
プログラム。
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、前記複数種類の画像が適切な態様となるように制御する処理を、前記コンピュータ装置に実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部を備えた信号処理装置とその方法、及びプログラムに関する。
【背景技術】
【0002】
受光素子を有する画素が二次元に配列された受光センサが各種存在する。例えば、カラー撮像画像を得るためのＲＧＢセンサを始めとして、被写体までの距離を示す距離画像を得るための測距センサや、画素ごとに偏光情報を示す偏光画像を得るための偏光センサ、被写体からの光についての波長特性解析画像となる複数の狭帯域画像を得るための分光センサ（マルチスペクトラムセンサ）等を挙げることができる。
【0003】
これら受光センサのうち、分光センサについては、センサの出力に基づき、狭帯域画像として複数種類の画像が生成される。また、測距センサとして、ｉＴｏＦ（インダイレクトＴｏＦ（ＴｏＦ：Time Of Flight））センサが用いられる場合には、センサの出力に基づき距離画像と共にＩＲ（infrared）画像が生成される等、複数種類の画像が生成されることがある。また、偏光センサが用いられる場合としても、種々の偏光情報を得るために、例えば偏光成分画像や反射除去画像、反射強調画像等といった複数種類の偏光画像がセンサの出力に基づき生成されることがある。
【0004】
なお、関連する従来技術については下記特許文献１を挙げることができる。この特許文献１には、受光センサから出力される画像に対して、画像の一部領域を電子ズームした画像を生成し、電子ズーム領域とそれ以外の領域（センサ出力の画像全体）に露出用の評価係数をそれぞれ設定することで、電子ズーム領域内優先の測光モードと、画像全体測光モードとを切り替える技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００７－１９７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、上記のように受光センサの出力に基づいて複数種類の画像が生成される場合、それぞれの画像には、種類の差に起因した特性の差が生じる。例えば、同じ被写体を捉えたものであっても画像によって明るさが異なる等である。
例えばこのような場合、複数種類の画像のうち何れかを優先して明るさ調整等の信号処理を行った場合には、他の画像の明るさが適切にならない等、適切な画像取得ができない虞がある。
例えばこのような場合、複数種類の画像のうち何れかを優先して明るさ調整等の信号処理を行った場合には、他の画像の明るさが適切にならない等、適切な画像取得ができない虞がある。
【0007】
本技術は上記課題に鑑み為されたものであり、受光センサの出力に基づき複数種類の画像が生成される場合において、適切な画像が取得されるように図ることを目的とする。
【課題を解決するための手段】
【0008】
本技術に係る信号処理装置は、受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部と、前記複数種類の画像が適切な態様となるように前記信号処理部における信号処理パラメータを制御する制御部と、を備えたものである。
これにより、受光センサの出力に基づき複数種類の画像が生成される場合において、適切な態様の画像が得られるようにするための信号処理が行われるように図られる。例えば、画像の明るさやホワイトバランスの適切化や、複数の画像から適切な画像生成を行うための信号処理等が行われるように図られる。
これにより、受光センサの出力に基づき複数種類の画像が生成される場合において、適切な態様の画像が得られるようにするための信号処理が行われるように図られる。例えば、画像の明るさやホワイトバランスの適切化や、複数の画像から適切な画像生成を行うための信号処理等が行われるように図られる。
【図面の簡単な説明】
【0009】
【図1】本技術に係る実施形態としての信号処理装置の概念を説明するための図である。
【図2】第一実施形態における第一例としての信号処理装置の構成例を説明するためのブロック図である。
【図3】偏光センサが有する画素アレイ部の構成例を模式的に示した図である。
【図4】偏光センサが有する画素の概略断面構造を例示した図である。
【図5】偏光画像生成部の内部構成例を説明するためのブロック図である。
【図6】画像編成部による画像編成処理、デモザイク部によるデモザイク処理の説明図である。
【図7】偏光状態推定部の処理の説明図である。
【図8】偏光画像生成処理部による各種偏光画像の生成手法の説明図である。
【図9】第一実施形態における第二例としての信号処理装置の構成例を説明するためのブロック図である。
【図10】第一実施形態における第三例としての信号処理装置の構成例を説明するためのブロック図である。
【図11】第一実施形態における第四例としての信号処理装置の構成例を説明するためのブロック図である。
【図12】検波部を信号処理部の後段に配置する例の説明図である。
【図13】第一実施形態における第五例としての信号処理装置の構成例を説明するためのブロック図である。
【図14】第一実施形態における第六例としての信号処理装置の構成例を説明するためのブロック図である。
【図16】第六例の別例としての信号処理装置の構成例を説明するためのブロック図である。
【図18】第六例のさらに別例としての信号処理装置の構成例を説明するためのブロック図である。
【図20】人工知能モデルの再学習を前提とした信号処理装置の構成例を説明するためのブロック図である。
【図22】光源色の色被りについての説明図である。
【図23】被写体からの反射光に含まれる拡散反射光（拡散反射成分）と鏡面反射光（鏡面反射成分）についての説明図である。
【図24】ＭＩＸ光源のシーンの説明図である。
【図25】第一実施形態における第七例としての信号処理装置の構成例を説明するためのブロック図である。
【図26】画枠内に複数の対象被写体が検出された場合の説明図である。
【図27】対象被写体ごとの光源色のキャンセル機能を有する信号処理装置の構成例を説明するためのブロック図である。
【図28】物体検出部やＲＧＢ検波部を信号処理装置外部に設ける例の説明図である。
【図29】第二実施形態における第一例としての信号処理装置の構成例を説明するためのブロック図である。
【図30】分光センサが有する画素アレイ部の構成例を模式的に示した図である。
【図31】Ｍ個の狭帯域画像を得るためのリニアマトリクス処理についての説明図である。
【図32】第二実施形態における第二例としての信号処理装置の構成例を説明するためのブロック図である。
【図33】第二例の別例としての信号処理装置の構成例を説明するためのブロック図である。
【図34】第二実施形態における第三例としての信号処理装置の構成例を説明するためのブロック図である。
【図35】ＲＡＷ画像からＬ個の狭帯域画像とＲＧＢ画像の検波値を推論する信号処理装置の構成例を説明するためのブロック図である。
【図36】ＲＧＢ画像からＲＡＷ画像とＬ個の狭帯域画像の検波値を推論する信号処理装置の構成例を説明するためのブロック図である。
【図37】第二実施形態における第四例としての信号処理装置の構成例を説明するためのブロック図である。
【図38】光源色をキャンセルするためのゲイン（ＷＢゲイン）の算出例を説明するための図である。
【図39】第三実施形態の第一例としての信号処理装置の構成例を説明するためのブロック図である。
【図40】第三実施形態の信号処理装置が備えるｉＴｏＦセンサの内部回路構成例を示したブロック図である。
【図41】第三実施形態におけるｉＴｏＦセンサが有する画素の等価回路図である。
【図42】ＩＲ画像の検波値推定機能を有する信号処理装置の構成例を説明するためのブロック図である。
【図43】ＲＡＷ画像の検波値からＩＲ画像の検波値を推論する信号処理装置の構成例を説明するためのブロック図である。
【図44】ＩＲ画像の検波値からｉＴｏＦセンサ３２のＲＡＷ画像の検波値を推論する信号処理装置の構成例を説明するためのブロック図である。
【図45】画像認識精度向上のための人工知能モデルの学習に用いる学習装置の構成例を示した図である。
【図46】画像認識精度向上のための人工知能モデルの学習に用いる学習装置の他の構成例を示した図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜０．実施形態の概要＞
＜１．第一実施形態＞
（1-1．第一例）
（1-2．第二例）
（1-3．第三例）
（1-4．第四例）
（1-5．第五例）
（1-6．第六例）
（1-7．第七例）
＜２．第二実施形態＞
（2-1．第一例）
（2-2．第二例）
（2-3．第三例）
（2-4．第四例）
＜３．第三実施形態＞
＜４．変形例＞
＜５．プログラムについて＞
＜６．実施形態のまとめ＞
＜７．本技術＞
＜０．実施形態の概要＞
＜１．第一実施形態＞
（1-1．第一例）
（1-2．第二例）
（1-3．第三例）
（1-4．第四例）
（1-5．第五例）
（1-6．第六例）
（1-7．第七例）
＜２．第二実施形態＞
（2-1．第一例）
（2-2．第二例）
（2-3．第三例）
（2-4．第四例）
＜３．第三実施形態＞
＜４．変形例＞
＜５．プログラムについて＞
＜６．実施形態のまとめ＞
＜７．本技術＞
【0011】
＜０．実施形態の概要＞
先ずは図１のブロック図を参照し、本技術に係る実施形態としての信号処理装置１の概念を説明する。
図１に示すように実施形態の信号処理装置１は、受光センサ２、画像生成部３、信号処理部４、及び制御部５を備える。
受光センサ２は、受光素子を有する画素が二次元に配列されたセンサである。
画像生成部３は、受光センサ２の出力に基づき、複数種類の画像を生成する。図１では、複数種類の画像として、第一種別画像、第二種別画像、及び第三種別画像の３種を生成する例としているが、画像生成部３が受光センサ２の出力に基づき生成する画像の数は３に限定されるものではなく、少なくとも２以上であればよい。
先ずは図１のブロック図を参照し、本技術に係る実施形態としての信号処理装置１の概念を説明する。
図１に示すように実施形態の信号処理装置１は、受光センサ２、画像生成部３、信号処理部４、及び制御部５を備える。
受光センサ２は、受光素子を有する画素が二次元に配列されたセンサである。
画像生成部３は、受光センサ２の出力に基づき、複数種類の画像を生成する。図１では、複数種類の画像として、第一種別画像、第二種別画像、及び第三種別画像の３種を生成する例としているが、画像生成部３が受光センサ２の出力に基づき生成する画像の数は３に限定されるものではなく、少なくとも２以上であればよい。
【0012】
以降で説明する各実施形態では、受光センサ２の例として、偏光センサ（１２）、分光センサ（２２）、ｉＴｏＦ（インダイレクトＴｏＦ（ＴｏＦ：Time Of Flight））センサ（３２）を例示する。受光センサ２が偏光センサである場合、種々の偏光情報を得るために、例えば偏光成分画像や反射除去画像、反射強調画像等といった複数種類の偏光画像がセンサの出力に基づき生成されることがある。また、受光センサ２が分光センサである場合には、センサの出力に基づき、狭帯域画像として複数種類の画像が生成される。受光センサ２がｉＴｏＦセンサである場合には、センサの出力に基づき距離画像と共にＩＲ（infrared）画像が生成される等、複数種類の画像が生成されることがある。
なお、実施形態で用いられる各種受光センサやその出力に基づき生成される複数種類の画像の詳細については改めて説明する。
なお、実施形態で用いられる各種受光センサやその出力に基づき生成される複数種類の画像の詳細については改めて説明する。
【0013】
信号処理部４は、画像生成部３が生成した複数種類の画像のうち、少なくとも一つの画像を対象として信号処理を行うために設けられる。ここでは、三種の画像が生成されることに対応して信号処理部４を三つ設け、各信号処理部４が三種の画像のうちそれぞれ異な る画像を信号処理する構成を例示している。
信号処理部４が行う信号処理としては、例えば、画像の明るさ調整やホワイトバランス調整のためのデジタルゲイン調整処理等を挙げることができる。
信号処理部４が行う信号処理としては、例えば、画像の明るさ調整やホワイトバランス調整のためのデジタルゲイン調整処理等を挙げることができる。
【0014】
なお、実施形態の信号処理装置１としては、画像生成部３が生成した複数種類の画像のうち、少なくとも一つの画像について信号処理を行う構成が採られればよい。
【0015】
制御部５は、画像生成部３が生成した複数種類の画像が適切な態様となるように信号処理部における信号処理パラメータを制御する。
受光センサ２の出力に基づいて複数種類の画像が生成される場合、それぞれの画像には、種類の差に起因した特性の差が生じる。例えば、同じ被写体を捉えたものであっても画像によって明るさが異なる等である。
例えばこのような場合、複数種類の画像のうち何れかを優先して明るさ調整等の信号処理を行った場合には、他の画像の明るさが適切にならない等、適切な画像取得ができない虞がある。
このため、制御部５を設けて、複数種類の画像が適切な態様となるように信号処理部における信号処理パラメータを制御する。これにより、受光センサ２の出力に基づき複数種類の画像が生成される場合において、適切な画像が取得されるように図ることができる。
受光センサ２の出力に基づいて複数種類の画像が生成される場合、それぞれの画像には、種類の差に起因した特性の差が生じる。例えば、同じ被写体を捉えたものであっても画像によって明るさが異なる等である。
例えばこのような場合、複数種類の画像のうち何れかを優先して明るさ調整等の信号処理を行った場合には、他の画像の明るさが適切にならない等、適切な画像取得ができない虞がある。
このため、制御部５を設けて、複数種類の画像が適切な態様となるように信号処理部における信号処理パラメータを制御する。これにより、受光センサ２の出力に基づき複数種類の画像が生成される場合において、適切な画像が取得されるように図ることができる。
【0016】
＜１．第一実施形態＞
（1-1．第一例）
第一実施形態は、受光センサ２として偏光センサ１２を用いるものである。
図２は、第一実施形態における第一例としての信号処理装置１１の構成例を説明するためのブロック図である。
図示のように信号処理装置１１は、偏光センサ１２、偏光画像生成部１３、複数の信号処理部１４、及び制御部１５を備えている。
図中に示すアプリケーションＡｐは、信号処理装置１１において生成された複数種類の画像のうち少なくとも一つを入力して処理するためのアプリケーションプログラムを実行するコンピュータ装置を概念的に表したものである。
アプリケーションＡｐは、信号処理装置１１と一体に構成されてもよいし、信号処理装置１１とは別体に構成されてもよい。
（1-1．第一例）
第一実施形態は、受光センサ２として偏光センサ１２を用いるものである。
図２は、第一実施形態における第一例としての信号処理装置１１の構成例を説明するためのブロック図である。
図示のように信号処理装置１１は、偏光センサ１２、偏光画像生成部１３、複数の信号処理部１４、及び制御部１５を備えている。
図中に示すアプリケーションＡｐは、信号処理装置１１において生成された複数種類の画像のうち少なくとも一つを入力して処理するためのアプリケーションプログラムを実行するコンピュータ装置を概念的に表したものである。
アプリケーションＡｐは、信号処理装置１１と一体に構成されてもよいし、信号処理装置１１とは別体に構成されてもよい。
【0017】
偏光センサ１２は、画素ごとに偏光情報を示す画像である偏光画像を得るための受光センサである。
偏光画像生成部１３は、偏光センサ１２の出力に基づいて偏光画像を生成する。具体的に本例における偏光画像生成部１３は、偏光センサ１２の出力に基づいて複数種類の偏光画像を生成する。
偏光画像生成部１３は、偏光センサ１２の出力に基づいて偏光画像を生成する。具体的に本例における偏光画像生成部１３は、偏光センサ１２の出力に基づいて複数種類の偏光画像を生成する。
【0018】
ここで、偏光センサ１２、及び偏光画像生成部１３について図３から図８を参照して説明する。
図３は、偏光センサ１２が有する画素アレイ部１２ａの構成例を模式的に示した図である。画素アレイ部１２ａは、受光素子、具体的に本例ではフォトダイオードＰＤを有する画素が二次元に配列されて形成されるものである。
図３は、偏光センサ１２が有する画素アレイ部１２ａの構成例を模式的に示した図である。画素アレイ部１２ａは、受光素子、具体的に本例ではフォトダイオードＰＤを有する画素が二次元に配列されて形成されるものである。
【0019】
図示のように画素アレイ部１２ａにおいては、偏光画素ユニットＰＰと、カラー偏光画素ユニットＰＣとが形成されている。
偏光画素ユニットＰＰは、それぞれが異なる偏光角の光を選択的に受光する複数種類の画素Ｐｘが二次元に所定パターンで配列されて成る画素ユニットである。具体的に、本例における偏光画素ユニットＰＰは、偏光角＝９０度の光のみを受光する画素Ｐｘと、偏光角＝４５度の光のみを受光する画素Ｐｘと、偏光角＝１３５度の光のみを受光する画素Ｐｘと、偏光角＝０度（１８０度）の光のみを受光する画素Ｐｘの計四つの画素が所定パターンで二次元配列されて成る。
偏光画素ユニットＰＰは、それぞれが異なる偏光角の光を選択的に受光する複数種類の画素Ｐｘが二次元に所定パターンで配列されて成る画素ユニットである。具体的に、本例における偏光画素ユニットＰＰは、偏光角＝９０度の光のみを受光する画素Ｐｘと、偏光角＝４５度の光のみを受光する画素Ｐｘと、偏光角＝１３５度の光のみを受光する画素Ｐｘと、偏光角＝０度（１８０度）の光のみを受光する画素Ｐｘの計四つの画素が所定パターンで二次元配列されて成る。
【0020】
カラー偏光画素ユニットＰＣは、それぞれが異なる色の光を選択的に受光する複数種類の偏光画素ユニットＰＰが二次元に所定パターンで配列されて成る画素ユニットである。
具体的に、本例におけるカラー偏光画素ユニットＰＣは、Ｒ光（赤色光）のみを受光する一つの偏光画素ユニットＰＰと、Ｇ光（緑色光）のみを受光する二つの偏光画素ユニットＰＰと、Ｂ光（青色光）のみを受光する偏光画素ユニットＰＰの計四つの偏光画素ユニットＰＰが二次元に所定パターンで配列されている。
図中では、Ｒ光を選択的に受光する偏光画素ユニットＰＰに左下がり斜線を、Ｇ光を選択的に受光する偏光画素ユニットＰＰに縦線を、Ｂ光を選択的に受光する偏光画素ユニットＰＰに右下がり斜線をそれぞれ付している。
本例のカラー偏光画素ユニットＰＣにおいては、Ｒ光、Ｂ光、Ｇ光を受光する四つの偏光画素ユニットＰＰがベイヤ（Bayer）型に配列されている。
具体的に、本例におけるカラー偏光画素ユニットＰＣは、Ｒ光（赤色光）のみを受光する一つの偏光画素ユニットＰＰと、Ｇ光（緑色光）のみを受光する二つの偏光画素ユニットＰＰと、Ｂ光（青色光）のみを受光する偏光画素ユニットＰＰの計四つの偏光画素ユニットＰＰが二次元に所定パターンで配列されている。
図中では、Ｒ光を選択的に受光する偏光画素ユニットＰＰに左下がり斜線を、Ｇ光を選択的に受光する偏光画素ユニットＰＰに縦線を、Ｂ光を選択的に受光する偏光画素ユニットＰＰに右下がり斜線をそれぞれ付している。
本例のカラー偏光画素ユニットＰＣにおいては、Ｒ光、Ｂ光、Ｇ光を受光する四つの偏光画素ユニットＰＰがベイヤ（Bayer）型に配列されている。
【0021】
画素アレイ部１２ａは、上記のようなカラー偏光画素ユニットＰＣが二次元に配列されて成る。すなわち、カラー偏光画素ユニットＰＣが縦方向（列方向）及び横方向（行方向）にそれぞれ複数配列されて成る。
【0022】
上記のような画素アレイ部１２ａの構成により、各種の偏光画像として、Ｒ，Ｇ，Ｂそれぞれの色画像を生成可能となる。すなわち、各種の偏光画像としてカラー画像を生成可能となる。
【0023】
画素アレイ部１２ａにおいて、各画素Ｐｘは、所定の偏光角の光を選択的に受光し、且つ所定の色（波長帯）の光を選択的に受光することが可能に構成されている。
【0024】
図４に、画素Ｐｘの概略断面構造を例示しておく。
図示のように画素Ｐｘは、半導体基板５０内において受光素子としてのフォトダイオードＰＤが形成されていると共に、半導体基板５０の一方の面側に配線層５１が形成され、半導体基板５０の他方の面側に偏光フィルタ５２、カラーフィルタ５３、及びマイクロレンズ５４が積層されている。
偏光フィルタ５２は、特定の方向（角度）に振動する直線偏光を選択的に透過する偏光子を有して構成される。偏光子の例としては、例えばワイヤーグリッドを用いたものや、フォトニック結晶等の結晶構造を有するものを挙げることができる。
図示のように画素Ｐｘは、半導体基板５０内において受光素子としてのフォトダイオードＰＤが形成されていると共に、半導体基板５０の一方の面側に配線層５１が形成され、半導体基板５０の他方の面側に偏光フィルタ５２、カラーフィルタ５３、及びマイクロレンズ５４が積層されている。
偏光フィルタ５２は、特定の方向（角度）に振動する直線偏光を選択的に透過する偏光子を有して構成される。偏光子の例としては、例えばワイヤーグリッドを用いたものや、フォトニック結晶等の結晶構造を有するものを挙げることができる。
【0025】
カラーフィルタ５３は、所定の波長帯の光を選択的に透過する光学的バンドパスフィルタとして構成されている。例えば、Ｒ光を受光する画素Ｐｘにおいては、カラーフィルタ５３としてＲ光を選択的に透過する光学的バンドパスフィルタが形成される。また、Ｇ光を受光する画素Ｐｘ、Ｂ光を受光する画素Ｐｘにおいては、それぞれカラーフィルタ５３としてＧ光を選択的に透過する光学的バンドパスフィルタ、Ｂ光を選択的に透過する光学的バンドパスフィルタが形成される。
なお、偏光フィルタ５２とカラーフィルタ５３については、上下の配置位置関係が逆転してもよい。
なお、偏光フィルタ５２とカラーフィルタ５３については、上下の配置位置関係が逆転してもよい。
【0026】
図５は、偏光画像生成部１３の内部構成例を説明するためのブロック図である。
図示のように偏光画像生成部１３は、画像編成部１３ａ、デモザイク部１３ｂ、偏光状態推定部１３ｃ、及び偏光画像生成処理部１３ｄを有している。
図示のように偏光画像生成部１３は、画像編成部１３ａ、デモザイク部１３ｂ、偏光状態推定部１３ｃ、及び偏光画像生成処理部１３ｄを有している。
【0027】
画像編成部１３ａによる画像編成処理、及びデモザイク部１３ｂによるデモザイク処理により、偏光角＝９０度の光を選択的に受光して得られる画像（以下「９０度画像」と表記する）、偏光角＝４５度の光を選択的に受光して得られる画像（以下「４５度画像」と表記する）、偏光角＝０度の光を選択的に受光して得られる画像（以下「０度画像」と表記する）、偏光角＝１３５度の光を選択的に受光して得られる画像（以下「１３５度画像」と表記する）について、それぞれＲ，Ｇ，Ｂの各色の画像を得る。
【0028】
図６は、画像編成部１３ａによる画像編成処理、デモザイク部１３ｂによるデモザイク処理の説明図である。
画像編成処理では、偏光センサ１２から出力されるＲＡＷ画像（図６Ａ参照）について、同じ偏光角の光を受光する画素Ｐｘ同士の受光値を抽出して偏光角ごとの画像である偏光角分離画像を編成する（図６Ｂ参照）。
このような画像編成処理を行うことで、偏光角＝９０度、４５度、０度、１３５度それぞれの偏光角分離画像においては、カラー偏光画素ユニットＰＣの単位で、Ｒ光を受光する一つの画素、Ｇ光を受光する二つの画素、Ｂ光を受光する一つの画素の計四つの画素がベイヤ配列されることになる。すなわち、ベイヤ配列に対する通常のデモザイク処理を適用可能なものとなる。
画像編成処理では、偏光センサ１２から出力されるＲＡＷ画像（図６Ａ参照）について、同じ偏光角の光を受光する画素Ｐｘ同士の受光値を抽出して偏光角ごとの画像である偏光角分離画像を編成する（図６Ｂ参照）。
このような画像編成処理を行うことで、偏光角＝９０度、４５度、０度、１３５度それぞれの偏光角分離画像においては、カラー偏光画素ユニットＰＣの単位で、Ｒ光を受光する一つの画素、Ｇ光を受光する二つの画素、Ｂ光を受光する一つの画素の計四つの画素がベイヤ配列されることになる。すなわち、ベイヤ配列に対する通常のデモザイク処理を適用可能なものとなる。
【0029】
デモザイク部１３ｂでは、各偏光角分離画像に対して、それぞれデモザイク処理を施す。このようなデモザイク処理により、図６Ｃに示すように、９０度画像、４５度画像、０度画像、１３５度画像として、それぞれＲ、Ｇ、Ｂの各色画像が得られることになる。
【0030】
図７は、偏光状態推定部１３ｃの処理の説明図である。
図７Ａでは、デモザイク部１３ｂで得られた各色の９０度画像、４５度画像、０度画像、１３５度画像のうち、Ｒ画像としての９０度画像、４５度画像、０度画像、１３５度画像を代表的に示している。
図７Ａでは、デモザイク部１３ｂで得られた各色の９０度画像、４５度画像、０度画像、１３５度画像のうち、Ｒ画像としての９０度画像、４５度画像、０度画像、１３５度画像を代表的に示している。
【0031】
偏光状態推定部１３ｃでは、デモザイク部１３ｂで得られた各色の９０度画像、４５度画像、０度画像、１３５度画像に基づき、図７Ｂに示すような正弦波へのフィッティングを画素位置ごとに行うという処理を、Ｒ，Ｇ，Ｂの各色画像について行う。
入射光の偏光状態は、縦軸を輝度、横軸を偏光方向（偏光角）とした正弦波で表現される。従って、対象とする色の９０度画像、４５度画像、０度画像、１３５度画像について、画素位置ごとに、受光値（輝度値）に基づく正弦波のフィッティングを行うことで、画素位置ごとの偏光状態を推定することができる。
入射光の偏光状態は、縦軸を輝度、横軸を偏光方向（偏光角）とした正弦波で表現される。従って、対象とする色の９０度画像、４５度画像、０度画像、１３５度画像について、画素位置ごとに、受光値（輝度値）に基づく正弦波のフィッティングを行うことで、画素位置ごとの偏光状態を推定することができる。
【0032】
図８は、偏光画像生成処理部１３ｄによる各種偏光画像の生成手法の説明図である。
偏光状態推定部１３ｃにより画素位置ごとの偏光状態を示す正弦波の情報が求まることで、該正弦波の情報に基づいて、各種の偏光画像を生成可能となる。
ここでは偏光画像の例として、反射強調画像、偏光成分画像、反射除去画像、平均画像を例示する。反射強調画像は、画素位置ごとに反射強調信号を検出することで得られる画像である。図示のように反射強調信号は、正弦波の最大値（Ｉｍａｘ）として検出されるものである。すなわち、反射強調画像は、画素位置ごとに正弦波の最大値を検出することで生成されるものである。
偏光状態推定部１３ｃにより画素位置ごとの偏光状態を示す正弦波の情報が求まることで、該正弦波の情報に基づいて、各種の偏光画像を生成可能となる。
ここでは偏光画像の例として、反射強調画像、偏光成分画像、反射除去画像、平均画像を例示する。反射強調画像は、画素位置ごとに反射強調信号を検出することで得られる画像である。図示のように反射強調信号は、正弦波の最大値（Ｉｍａｘ）として検出されるものである。すなわち、反射強調画像は、画素位置ごとに正弦波の最大値を検出することで生成されるものである。
【0033】
また、反射除去画像は、画素位置ごとに反射除去信号を検出することで得られる画像であり、図示のように反射除去信号は正弦波の最小値（Ｉｍｉｎ）として検出されるものであるから、画素位置ごとに正弦波の最小値を検出することで反射除去画像を生成することができる。
【0034】
偏光成分画像は、画素位置ごとに偏光成分信号を検出することで得られる画像であり、図示のように偏光成分信号は正弦波の最大値と最小値との差分値（「Ｉｍａｘ－Ｉｍｉｎ」）として算出されるものであるから、画素位置ごとに正弦波の最大値と最小値との差分値を算出することで偏光成分画像を生成することができる。
【0035】
平均画像は、画素位置ごとに、正弦波の平均信号を検出することで得られる画像であり、従って画素位置ごとに正弦波の平均値を算出することで平均画像を生成することができる。
【0036】
なお、入射光の偏光状態を示す正弦波の情報からは偏光状態を示す様々な信号を生成可能なものであり、偏光画像生成処理部１３ｄで生成可能な偏光画像としては、上記で例示した反射強調画像、偏光成分画像、反射除去画像、平均画像の４種に限定されるものではない。
【0037】
本例において、偏光画像生成処理部１３ｄは、偏光画像として、三種の偏光画像を生成及び出力するように構成されているとする。これら三種の偏光画像を、それぞれ第一種偏光画像、第二種偏光画像、第三種偏光画像と表記する（図２及び図５参照）。
【0038】
説明を図２に戻す。
信号処理装置１１において、信号処理部１４は、第一種偏光画像、第二種偏光画像、第三種偏光画像の偏光画像ごとに計三つが設けられている。
本例において、各信号処理部１４は、入力画像についてデジタルゲイン調整処理を行うことで、入力画像の明るさを調整可能とされる。
信号処理装置１１において、信号処理部１４は、第一種偏光画像、第二種偏光画像、第三種偏光画像の偏光画像ごとに計三つが設けられている。
本例において、各信号処理部１４は、入力画像についてデジタルゲイン調整処理を行うことで、入力画像の明るさを調整可能とされる。
【0039】
制御部１５は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を有したマイクロコンピュータを備えて構成され、信号処理装置１の動作制御を行う。
具体的に、本例における制御部１５は、アプリケーションＡｐからの指示に基づき、各信号処理部１４におけるデジタルゲイン調整処理についての信号処理パラメータを制御する。
具体的に、本例における制御部１５は、アプリケーションＡｐからの指示に基づき、各信号処理部１４におけるデジタルゲイン調整処理についての信号処理パラメータを制御する。
【0040】
各種偏光画像のうち、例えば反射強調画像と反射除去画像とを比較した場合、前者は比較的明るい画像となる傾向にあるのに対し、後者は比較的暗めの画像となる傾向にある。例えばこれら反射強調画像と反射除去画像との関係のように、異種の偏光画像間では、画像種類の違いに起因した明るさの差が生じる。そこで本例では、アプリケーションＡｐより偏光画像間の明るさの差を吸収するための信号処理パラメータ（デジタルゲイン調整処理の信号処理パラメータ）を制御部１５に指示し、制御部１５は、このように指示された信号処理パラメータをそれぞれ対応する信号処理部１４に設定する。
これにより、複数種類の偏光画像について、少なくとも一つの偏光画像の明るさが他の偏光画像と異なる場合において、各偏光画像の明るさが適切となるように偏光画像に対する信号処理を行うことが可能となる。
従って、適切な偏光画像が取得されるように図ることができる。
これにより、複数種類の偏光画像について、少なくとも一つの偏光画像の明るさが他の偏光画像と異なる場合において、各偏光画像の明るさが適切となるように偏光画像に対する信号処理を行うことが可能となる。
従って、適切な偏光画像が取得されるように図ることができる。
【0041】
なお、上記では偏光画像ごとに信号処理部１４を設ける例を挙げたが、一つの信号処理部１４が時分割で各偏光画像の信号処理を行う構成を採ることもできる。
この場合、偏光画像生成部１３は、偏光センサ１２からの１フレーム分の入力画像から複数種類（本例では３種類）の偏光画像を生成し、生成した複数種類の偏光画像を１フレーム期間ごとに１種ずつ信号処理部１４に出力することが考えられる。
或いは、偏光画像生成部１３は、偏光センサ１２からの１フレーム分の入力画像から１種の偏光画像のみを生成して信号処理部１４に出力するという動作を、生成すべき偏光画像の種類数分繰り返すということも考えられる。
この場合、偏光画像生成部１３は、偏光センサ１２からの１フレーム分の入力画像から複数種類（本例では３種類）の偏光画像を生成し、生成した複数種類の偏光画像を１フレーム期間ごとに１種ずつ信号処理部１４に出力することが考えられる。
或いは、偏光画像生成部１３は、偏光センサ１２からの１フレーム分の入力画像から１種の偏光画像のみを生成して信号処理部１４に出力するという動作を、生成すべき偏光画像の種類数分繰り返すということも考えられる。
【0042】
（1-2．第二例）
続いて、第一実施形態における第二例としての信号処理装置１１Ａについて、図９のブロック図を参照して説明する。
第二例は、複数の偏光画像として、何れの偏光画像を出力するかの選択が可能とされると共に、選択された偏光画像に対応する信号処理パラメータを設定する例である。
なお、以降の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
続いて、第一実施形態における第二例としての信号処理装置１１Ａについて、図９のブロック図を参照して説明する。
第二例は、複数の偏光画像として、何れの偏光画像を出力するかの選択が可能とされると共に、選択された偏光画像に対応する信号処理パラメータを設定する例である。
なお、以降の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
【0043】
先の図２と比較して分かるように、信号処理装置１１Ａは、信号処理装置１１と比較して、偏光画像生成部１３に代えて偏光画像生成部１３Ａが、制御部１５に代えて制御部１５Ａが設けられた点が異なる。
偏光画像生成部１３Ａは、生成可能な複数の偏光画像のうち、外部から（本例ではアプリケーションＡｐから）指示された偏光画像を生成し出力する機能（画像選択機能）を有する点が偏光画像生成部１３と異なる。
偏光画像生成部１３Ａは、生成可能な複数の偏光画像のうち、外部から（本例ではアプリケーションＡｐから）指示された偏光画像を生成し出力する機能（画像選択機能）を有する点が偏光画像生成部１３と異なる。
【0044】
制御部１５Ａは、アプリケーションＡｐからの画像選択情報、すなわち、偏光画像生成部１３Ａに何れの偏光画像の生成・出力を指示したかを示す情報に基づいて、各信号処理部１４の信号処理パラメータを設定する。
【0045】
この場合、制御部１５Ａには、偏光画像生成部１３Ａが生成可能な偏光画像ごとに、その偏光画像に対応して設定されるべき信号処理パラメータが対応づけられたテーブルＴｂが記憶されている。制御部１５Ａは、アプリケーションＡｐからの画像選択情報と、テーブルＴｂの格納情報とに基づいて、各信号処理部１４に設定すべき信号処理パラメータを特定し、特定した信号処理パラメータをそれぞれ対応する信号処理部１４に設定する処理を行う。
これにより、偏光画像生成部１３Ａが画像選択機能を有する場合に対応して、各偏光画像の明るさが適切となるように信号処理が行われるようにすることができる。
これにより、偏光画像生成部１３Ａが画像選択機能を有する場合に対応して、各偏光画像の明るさが適切となるように信号処理が行われるようにすることができる。
【0046】
なお、上記では、画像選択情報をアプリケーションＡｐから制御部１５Ａに通知する例を挙げたが、画像選択情報は、偏光画像生成部１３Ａから制御部１５Ａに通知する構成を採ることもできる。
【0047】
（1-3．第三例）
図１０は、第一実施形態における第三例としての信号処理装置１１Ｂの構成例を説明するためのブロック図である。
第三例は、ＲＡＷ画像の検波値に基づいて信号処理パラメータを動的に変化させる例である。
ここで、ＲＡＷ画像とは、受光センサ２の出力画像を意味するものであり、本例では偏光センサ１２の出力画像を意味するものである（図６Ａ参照）。
図１０は、第一実施形態における第三例としての信号処理装置１１Ｂの構成例を説明するためのブロック図である。
第三例は、ＲＡＷ画像の検波値に基づいて信号処理パラメータを動的に変化させる例である。
ここで、ＲＡＷ画像とは、受光センサ２の出力画像を意味するものであり、本例では偏光センサ１２の出力画像を意味するものである（図６Ａ参照）。
【0048】
信号処理装置１１Ｂは、信号処理装置１１と比較して、検波部１６が追加された点と制御部１５に代えて制御部１５Ｂが設けられる点が異なる。
ここで、以下の説明において、偏光画像生成部１３が生成・出力する画像は、反射強調画像、偏光成分画像、及び反射除去画像の３種であるとする。
ここで、以下の説明において、偏光画像生成部１３が生成・出力する画像は、反射強調画像、偏光成分画像、及び反射除去画像の３種であるとする。
【0049】
検波部１６は、偏光センサ１２が出力するＲＡＷ画像を検波する。具体的には、輝度値の検波（検出）を行う。ここで言う検波は、各画素位置について行われる。
【0050】
制御部１５Ｂは、検波部１６から入力されるＲＡＷ画像の検波値と、テーブルＴｂＢとに基づき、ＲＡＷ画像の明るさに応じて各信号処理部１４の信号処理パラメータを動的に制御する。
【0051】
テーブルＴｂＢには、反射強調画像、偏光成分画像、反射除去画像の偏光画像ごとに、ＲＡＷ画像の明るさ（検波値の大きさ）と設定すべき信号処理パラメータとの対応関係を示した対応関係情報が格納されている。これは、例えば明るいシーンと暗いシーンとで偏光画像ごとに設定すべき信号処理パラメータが異なる場合があることを前提としたものである。
【0052】
制御部１５Ｂは、検波部１６からのＲＡＷ画像の検波値とテーブルＴｂＢとに基づき、ＲＡＷ画像の明るさに応じて設定すべき信号処理パラメータを特定し、特定した信号処理パラメータをそれぞれ対応する信号処理部１４に設定する処理を行う。
この処理は、例えばフレームごと等、所定の周期で繰り返し実行することが考えられる。又は、ＲＡＷ画像の検波値等に基づいて明るさの変化量を検出し、該変化量が所定量以上となったことに応じて実行すること等も考えられる。或いは、該処理は、アプリケーションＡｐからの指示に基づき実行すること等も考えられる。
この処理は、例えばフレームごと等、所定の周期で繰り返し実行することが考えられる。又は、ＲＡＷ画像の検波値等に基づいて明るさの変化量を検出し、該変化量が所定量以上となったことに応じて実行すること等も考えられる。或いは、該処理は、アプリケーションＡｐからの指示に基づき実行すること等も考えられる。
【0053】
（1-4．第四例）
図１１は、第一実施形態における第四例としての信号処理装置１１Ｃの構成例を説明するためのブロック図である。
第四例は、偏光画像ごとに検波を行い、検波結果に基づいて各偏光画像の信号処理パラメータを制御する例である。
図１１は、第一実施形態における第四例としての信号処理装置１１Ｃの構成例を説明するためのブロック図である。
第四例は、偏光画像ごとに検波を行い、検波結果に基づいて各偏光画像の信号処理パラメータを制御する例である。
【0054】
信号処理装置１１Ｃは、信号処理装置１１と比較して、偏光画像ごとの検波部１７が追加された点と、制御部１５に代えて制御部１５Ｃが設けられた点が異なる。
各検波部１７は、偏光画像生成部１３から出力され信号処理部１４に入力される偏光画像について検波を行う。
各検波部１７は、偏光画像生成部１３から出力され信号処理部１４に入力される偏光画像について検波を行う。
【0055】
制御部１５Ｃは、各検波部１７からの検波値、すなわち偏光画像ごとの検波値と、テーブルＴｂＣとに基づき、各信号処理部１４における信号処理パラメータを動的に制御する。
この場合、テーブルＴｂＣには、反射強調画像、偏光成分画像、反射除去画像の偏光画像ごとに、その偏光画像の検波値の大きさと設定されるべき信号処理パラメータとの対応関係を示した対応関係情報が格納されている。
制御部１５Ｃは、各検波部１７から入力した偏光画像ごとの検波値とテーブルＴｂＣとに基づき、偏光画像ごとに、設定すべき信号処理パラメータを特定し、特定した信号処理パラメータをそれぞれ対応する信号処理部１４に設定する処理を行う。
これにより、各偏光画像の明るさを、その検波値に基づいて動的に制御することができる。
この場合、テーブルＴｂＣには、反射強調画像、偏光成分画像、反射除去画像の偏光画像ごとに、その偏光画像の検波値の大きさと設定されるべき信号処理パラメータとの対応関係を示した対応関係情報が格納されている。
制御部１５Ｃは、各検波部１７から入力した偏光画像ごとの検波値とテーブルＴｂＣとに基づき、偏光画像ごとに、設定すべき信号処理パラメータを特定し、特定した信号処理パラメータをそれぞれ対応する信号処理部１４に設定する処理を行う。
これにより、各偏光画像の明るさを、その検波値に基づいて動的に制御することができる。
【0056】
なお、上記では検波部１７を信号処理部１４の前段に配置する例を挙げたが、図１２に示すように、各検波部１７はそれぞれ信号処理部１４の後段に配置することもできる。
この場合、制御部１５Ｃによる信号処理部１４ごとの信号処理パラメータ制御は、１フレーム前における偏光画像の検波値に基づいて行われることになる。
この場合、制御部１５Ｃによる信号処理部１４ごとの信号処理パラメータ制御は、１フレーム前における偏光画像の検波値に基づいて行われることになる。
【0057】
ここで、偏光画像生成部１３、各信号処理部１４、及び制御部１５Ｃは、偏光センサ１２と共に同一半導体パッケージ内に形成することもできる。例えば、画素アレイ部１２ａが形成された半導体基板５０に積層される配線層５１において、偏光画像生成部１３、各信号処理部１４、及び制御部１５Ｃとしての電子回路が形成されて、偏光センサ１２、偏光画像生成部１３、各信号処理部１４、及び制御部１５Ｃが一体の装置とされた構成を挙げることができる。このように偏光センサ１２、偏光画像生成部１３、各信号処理部１４、及び制御部１５Ｃが一体とされた装置を信号処理装置１１Ｃ’と表記する。
上記のように各検波部１７を信号処理部１４の後段に配置する場合、それら検波部１７は、信号処理装置１１Ｃ’の外部に配置することができる。
上記のように各検波部１７を信号処理部１４の後段に配置する場合、それら検波部１７は、信号処理装置１１Ｃ’の外部に配置することができる。
【0058】
（1-5．第五例）
図１３は、第一実施形態における第五例としての信号処理装置１１Ｄの構成例を説明するためのブロック図である。
第五例は、第四例のように各偏光画像の検波値に基づき各偏光画像の明るさを動的に調整する制御を行いつつ、ＲＡＷ画像の検波値に基づく偏光センサ１２の露出調整（受光期間調整）を行うものである。
図１３は、第一実施形態における第五例としての信号処理装置１１Ｄの構成例を説明するためのブロック図である。
第五例は、第四例のように各偏光画像の検波値に基づき各偏光画像の明るさを動的に調整する制御を行いつつ、ＲＡＷ画像の検波値に基づく偏光センサ１２の露出調整（受光期間調整）を行うものである。
【0059】
信号処理装置１１Ｄは、第四例の信号処理装置１１Ｃと比較して、ＲＡＷ画像の検波を行う検波部１６が追加された点と、制御部１５Ｃに代えて制御部１５Ｄが設けられた点が異なる。
【0060】
制御部１５Ｄは、制御部１５Ｃと同様に、各検波部１７の検波値とテーブルＴｂＣに基づいて各偏光画像の信号処理パラメータを動的に制御する機能を有する。
制御部１５Ｄは、該機能に加えて、検波部１６から入力されるＲＡＷ画像の検波値に基づき偏光センサ１２の露出制御を行う機能を有する。
具体的に、制御部１５Ｄは、ＲＡＷ画像の検波値と偏光センサ１２の露出設定値との対応関係を示す対応関係情報（例えば、制御部１５Ｄに予め設定される）に基づき、検波部１６から入力された検波値に応じた露出設定値を特定し、特定した露出設定値に基づいて偏光センサ１２の露出調整が行われるように制御する。
制御部１５Ｄは、該機能に加えて、検波部１６から入力されるＲＡＷ画像の検波値に基づき偏光センサ１２の露出制御を行う機能を有する。
具体的に、制御部１５Ｄは、ＲＡＷ画像の検波値と偏光センサ１２の露出設定値との対応関係を示す対応関係情報（例えば、制御部１５Ｄに予め設定される）に基づき、検波部１６から入力された検波値に応じた露出設定値を特定し、特定した露出設定値に基づいて偏光センサ１２の露出調整が行われるように制御する。
【0061】
これにより、ＲＡＷ画像が白飛びや黒つぶれしないように偏光センサ１２の露出調整を行うことができる。すなわち、ＲＡＷ画像の明るさを基準としたＡＥ（Auto Exposure）制御を実現できる。
【0062】
ここで、上記のようにＲＡＷ画像を基準としたＡＥ制御が行われたとしても、各偏光画像にとっては、必ずしも適切なＡＥ制御となる保証はない。そこで、信号処理装置１１Ｄでは、各偏光画像の検波を行い、その結果に基づいて各信号処理部１４によってそれぞれの偏光画像の明るさ調整（デジタルゲイン調整）を行うものとしている。これにより、ＲＡＷ画像を基準としたＡＥ機能を活かしつつ、各偏光画像が適切な明るさとなるように図ることができる。
【0063】
（1-6．第六例）
第六例は、対象とする画像の検波値を、他画像（他種類の画像）の検波値から推論する例である。
図１４は、第六例としての信号処理装置１１Ｅの構成例を説明するためのブロック図である。
信号処理装置１１Ｅは、検波部１６によるＲＡＷ画像の検波値から各偏光画像の検波値を推論する推論器６０を備えたものである。ここでの推論とは、機械学習された人工知能モデルを用いた推論を意味する。
図示のようにこの場合の制御部１５Ｄには、検波部１６によるＲＡＷ画像の検波値と、推論器６０で推論された各偏光画像の検波値を入力する。
第六例は、対象とする画像の検波値を、他画像（他種類の画像）の検波値から推論する例である。
図１４は、第六例としての信号処理装置１１Ｅの構成例を説明するためのブロック図である。
信号処理装置１１Ｅは、検波部１６によるＲＡＷ画像の検波値から各偏光画像の検波値を推論する推論器６０を備えたものである。ここでの推論とは、機械学習された人工知能モデルを用いた推論を意味する。
図示のようにこの場合の制御部１５Ｄには、検波部１６によるＲＡＷ画像の検波値と、推論器６０で推論された各偏光画像の検波値を入力する。
【0064】
上記のような構成とすることで、第五例として説明したＡＥ機能及び偏光画像ごとの動的なデジタルゲイン調整処理を実現するにあたり、偏光画像ごとの検波部１７を省略することができる。すなわち、部品点数の削減が図られ、信号処理装置１１Ｅの小型化を図ることができる。
【0065】
推論器６０に対して適用する人工知能モデルについては、例えば、図１５に示すような学習器７０を用いた機械学習により生成する。
学習器７０は、ＲＡＷ画像の検波値を学習用入力データとし、推論対象とする偏光画像の検波値、つまり本例では反射強調画像の検波値、偏光成分画像の検波値、及び反射除去画像の検波値を正解データとした機械学習を行う。例えば、ＤＮＮ（Deep Neural Network）を用いた深層学習としての機械学習を行う。
このような機械学習を行って得られた人工知能モデルを、推論器６０の人工知能モデルとして適用する。
学習器７０は、ＲＡＷ画像の検波値を学習用入力データとし、推論対象とする偏光画像の検波値、つまり本例では反射強調画像の検波値、偏光成分画像の検波値、及び反射除去画像の検波値を正解データとした機械学習を行う。例えば、ＤＮＮ（Deep Neural Network）を用いた深層学習としての機械学習を行う。
このような機械学習を行って得られた人工知能モデルを、推論器６０の人工知能モデルとして適用する。
【0066】
上記では、ＲＡＷ画像の検波値から各偏光画像の検波値を推論する推論器６０を用いる例を挙げたが、例えば、図１６に示す信号処理装置１１Ｆのように、一つの偏光画像の検波値から他の偏光画像の検波値を推論する推論器６１を用いることもできる。
具体的に、ここでの推論器６１は、検波部１７による偏光成分画像の検波値から、反射強調画像、反射除去画像それぞれの検波値を推論する。
この場合、制御部１５Ｄに対しては、検波部１６で得られたＲＡＷ画像の検波値と、検出部１７が検出した偏光成分画像の検波値と、推論器６１により推論された反射強調画像の検波値、及び反射除去画像の検波値を入力する。この構成では、第五例の信号処理装置１１Ｄの構成から、検出部１７を二つ省略することができる。
具体的に、ここでの推論器６１は、検波部１７による偏光成分画像の検波値から、反射強調画像、反射除去画像それぞれの検波値を推論する。
この場合、制御部１５Ｄに対しては、検波部１６で得られたＲＡＷ画像の検波値と、検出部１７が検出した偏光成分画像の検波値と、推論器６１により推論された反射強調画像の検波値、及び反射除去画像の検波値を入力する。この構成では、第五例の信号処理装置１１Ｄの構成から、検出部１７を二つ省略することができる。
【0067】
推論器６１に対して適用する人工知能モデルについては、例えば、図１７に示すような学習器７１を用いた機械学習により生成する。
学習器７１は、偏光成分画像の検波値を学習用入力データとし、推論対象とする反射強調画像の検波値、及び反射除去画像の検波値を正解データとした機械学習（例えば、ＤＮＮを用いた深層学習）を行う。
このような機械学習を行って得られた人工知能モデルを、推論器６１の人工知能モデルとして適用する。
学習器７１は、偏光成分画像の検波値を学習用入力データとし、推論対象とする反射強調画像の検波値、及び反射除去画像の検波値を正解データとした機械学習（例えば、ＤＮＮを用いた深層学習）を行う。
このような機械学習を行って得られた人工知能モデルを、推論器６１の人工知能モデルとして適用する。
【0068】
或いは、図１８に示す信号処理装置１１Ｇのように、偏光画像の検波値からＲＡＷ画像の検波値を推論する推論器６２を用いることもできる。ここでの推論器６２は、一つの偏光画像、具体的には偏光成分画像の検波値から、ＲＡＷ画像の検波値、及び他の偏光画像（反射強調画像と反射除去画像）の検波値を推論する。
この場合、制御部１５Ｄに対しては、推論器６２で推論されたＲＡＷ画像の検波値、反射強調画像の検波値、及び反射除去画像の検波値と、検出部１７が検出した偏光成分画像の検波値とを入力する。この構成では、第五例の信号処理装置１１Ｄの構成から、検波部１６と、二つの検波部１７とを省略することができる。
この場合、制御部１５Ｄに対しては、推論器６２で推論されたＲＡＷ画像の検波値、反射強調画像の検波値、及び反射除去画像の検波値と、検出部１７が検出した偏光成分画像の検波値とを入力する。この構成では、第五例の信号処理装置１１Ｄの構成から、検波部１６と、二つの検波部１７とを省略することができる。
【0069】
推論器６２に対して適用する人工知能モデルについては、例えば図１９に示すような学習器７２を用いた機械学習により生成する。
学習器７２は、偏光成分画像の検波値を学習用入力データとし、推論対象とするＲＡＷ画像の検波値、反射強調画像の検波値、及び反射除去画像の検波値を正解データとした機械学習（例えば、ＤＮＮを用いた深層学習）を行う。
このような機械学習を行って得られた人工知能モデルを推論器６２の人工知能モデルとして適用する。
学習器７２は、偏光成分画像の検波値を学習用入力データとし、推論対象とするＲＡＷ画像の検波値、反射強調画像の検波値、及び反射除去画像の検波値を正解データとした機械学習（例えば、ＤＮＮを用いた深層学習）を行う。
このような機械学習を行って得られた人工知能モデルを推論器６２の人工知能モデルとして適用する。
【0070】
ここで、推論器の人工知能モデルについて、再学習を行うこともできる。
図２０は、再学習を前提とした信号処理装置１１Ｈの構成例を説明するためのブロック図である。
ここでは、検波値の推論を行う推論器として推論器６０を用いる例を挙げるが、他の推論器（推論器６１、６２）が用いられる場合にも同様の考えが成り立つ。
図２０は、再学習を前提とした信号処理装置１１Ｈの構成例を説明するためのブロック図である。
ここでは、検波値の推論を行う推論器として推論器６０を用いる例を挙げるが、他の推論器（推論器６１、６２）が用いられる場合にも同様の考えが成り立つ。
【0071】
信号処理装置１１Ｈは、第六例の信号処理装置１１Ｅと比較して、制御部１５Ｄに代えて制御部１５Ｈが設けられた点が異なる。
制御部１５Ｈは、信号処理装置１１Ｈの外部装置とされた再学習装置２００との間でデータ通信を行うことが可能に構成されている。
制御部１５Ｈは、信号処理装置１１Ｈの外部装置とされた再学習装置２００との間でデータ通信を行うことが可能に構成されている。
【0072】
再学習装置２００は、推論器６０に適用する人工知能モデルについて、再学習処理を行う装置である。例えば、再学習装置２００は、クラウドサーバ等のコンピュータ装置として構成され、制御部１５Ｈとの間の通信はインターネット等の通信ネットワークを介して行われる。
図示は省略するが、この場合の再学習は、図１５に示した学習器７０を用いて行う。具体的に、この場合の再学習では、再学習用のデータセットとして用意されたＲＡＷ画像の検波値（入力データ）と反射強調画像、偏光成分画像、及び反射除去画像の各検波値（正解データ）とを用いて、学習器７０による機械学習を実行させる。
ここで言う人工知能モデルの再学習とは、少なくとも人工知能モデルにおける推論用のパラメータの更新を含む概念である。なお、人工知能モデルの再学習には、例えばＤＮＮのネットワーク構造の更新等、推論用のパラメータ以外の更新が含まれても良い。
図示は省略するが、この場合の再学習は、図１５に示した学習器７０を用いて行う。具体的に、この場合の再学習では、再学習用のデータセットとして用意されたＲＡＷ画像の検波値（入力データ）と反射強調画像、偏光成分画像、及び反射除去画像の各検波値（正解データ）とを用いて、学習器７０による機械学習を実行させる。
ここで言う人工知能モデルの再学習とは、少なくとも人工知能モデルにおける推論用のパラメータの更新を含む概念である。なお、人工知能モデルの再学習には、例えばＤＮＮのネットワーク構造の更新等、推論用のパラメータ以外の更新が含まれても良い。
【0073】
制御部１５Ｈは、前述した制御部１５Ｄとしての機能に加えて、再学習に係る以下の機能を有する。
図２１は、制御部１５Ｈが有する再学習に係る機能を説明するための機能ブロック図である。
図示のように制御部１５Ｈは、再学習開始制御部Ｆ１、バリデーション部Ｆ２、及びモデル更新制御部Ｆ３としての機能を有する。
図２１は、制御部１５Ｈが有する再学習に係る機能を説明するための機能ブロック図である。
図示のように制御部１５Ｈは、再学習開始制御部Ｆ１、バリデーション部Ｆ２、及びモデル更新制御部Ｆ３としての機能を有する。
【0074】
再学習開始制御部Ｆ１は、推論器６０の人工知能モデルの再学習について開始制御を行う。具体的に、再学習開始制御部Ｆ１は、所定のトリガ条件の成立に応じて、再学習装置２００に人工知能モデルの再学習を開始させる。
ここでのトリガ条件としては、例えば時間の情報（前回学習時からの経過時間等）に基づく条件や、ＡＥや各偏光画像の明るさ調整等、検波値を用いて行われる動作の動作状況に基づく条件、アプリケーションＡｐからの再学習実行指示等を挙げることができる。或いは、トリガ条件は、アプリケーションＡｐが偏光画像を用いた処理を行う場合には、該処理の評価結果に基づく条件とすることも考えられる。
ここでのトリガ条件としては、例えば時間の情報（前回学習時からの経過時間等）に基づく条件や、ＡＥや各偏光画像の明るさ調整等、検波値を用いて行われる動作の動作状況に基づく条件、アプリケーションＡｐからの再学習実行指示等を挙げることができる。或いは、トリガ条件は、アプリケーションＡｐが偏光画像を用いた処理を行う場合には、該処理の評価結果に基づく条件とすることも考えられる。
【0075】
本例の再学習開始制御部Ｆ１は、再学習装置２００に再学習を実行させるにあたっては、再学習での学習用データとして用いられるべきＲＡＷ画像の検波値、及び各偏光画像（反射強調画像、偏光成分画像、反射除去画像）を再学習装置２００に供給する。なおこの際、各偏光画像の検波は、再学習装置２００側に実行させればよい。
【0076】
バリデーション部Ｆ２は、再学習された人工知能モデルである再学習モデルを推論器６０に適用して行われた推論結果についての評価（バリデーション）を行う。具体的にバリデーション部Ｆ２は、再学習装置２００による人工知能モデルの再学習が完了したことに応じて、該再学習で得られた再学習モデルを推論器６０に適用して各偏光画像の検波値を推論させる。そして、この推論結果について評価を行う。例えば、所定の評価値を求める。
【0077】
モデル更新制御部Ｆ３は、バリデーション部Ｆ２による評価結果に基づき、推論器６０への人工知能モデルの適用について制御する。
具体的に、モデル更新制御部Ｆ３は、バリデーション部Ｆ２により推論が良好に行われていると評価された場合（例えば、評価値が一定値以上であった場合）には、再学習モデルの適用状態を維持させる。すなわち、以降の推論が再学習モデルを用いて行われるようにする。
具体的に、モデル更新制御部Ｆ３は、バリデーション部Ｆ２により推論が良好に行われていると評価された場合（例えば、評価値が一定値以上であった場合）には、再学習モデルの適用状態を維持させる。すなわち、以降の推論が再学習モデルを用いて行われるようにする。
【0078】
一方、モデル更新制御部Ｆ３は、バリデーション部Ｆ２により推論が良好に行われていないと評価された場合（例えば、評価値が一定値未満であった場合）には、再学習モデル以外の人工知能モデルが推論器６０に適用されるようにする。例えば、過去に適用されていた人工知能モデル、具体的には、初期適用されていた人工知能モデルや、過去の再学習において評価結果が良好とされた人工知能モデル等が適用されるようにする。
【0079】
上記のような制御部１５Ｈの機能により、実環境における推論結果が良好となる人工知能モデルに更新が行われるようにすることができる。
【0080】
（1-7．第七例）
第七例は、光源色の色被りをキャンセルするための信号処理を行う例である。
ここで、例えば、ＲＧＢセンサを用いた画像撮像を行う場合において、物体には光源からの光が照射されるため、物体の本来の色を写したものとはならない。つまり、ＲＧＢ画像において表現される物体の色は、物体本来の色に対し、光源色が重畳された色となる（図２２を参照）。
第七例は、光源色の色被りをキャンセルするための信号処理を行う例である。
ここで、例えば、ＲＧＢセンサを用いた画像撮像を行う場合において、物体には光源からの光が照射されるため、物体の本来の色を写したものとはならない。つまり、ＲＧＢ画像において表現される物体の色は、物体本来の色に対し、光源色が重畳された色となる（図２２を参照）。
【0081】
これに対し、偏光センサ１２を用いた場合には、物体の本来の色を特定し易い。具体的には、反射除去画像と、偏光成分画像とに基づいて物体の本来の色を特定可能である。
反射除去画像は、無駄な反射が除去された画像となるため、物体の色を特定し易い画像と言える。また、偏光成分画像は、鏡面反射成分を捉えた画像であり、光源色を表すもの として知られる。
被写体からの反射光には、拡散反射光（拡散反射成分）と鏡面反射光（鏡面反射成分）とが含まれる（図２３参照）。このうち、鏡面反射成分は、光源の色をそのまま反射した成分となる。図示のように鏡面反射成分は、偏光成分画像として取得可能であるため、偏光画像生成部１３においてＲ、Ｇ、Ｂの各色の偏光成分画像を生成することで、それら各色の偏光成分画像から光源の色を特定可能となる。
反射除去画像は、無駄な反射が除去された画像となるため、物体の色を特定し易い画像と言える。また、偏光成分画像は、鏡面反射成分を捉えた画像であり、光源色を表すもの として知られる。
被写体からの反射光には、拡散反射光（拡散反射成分）と鏡面反射光（鏡面反射成分）とが含まれる（図２３参照）。このうち、鏡面反射成分は、光源の色をそのまま反射した成分となる。図示のように鏡面反射成分は、偏光成分画像として取得可能であるため、偏光画像生成部１３においてＲ、Ｇ、Ｂの各色の偏光成分画像を生成することで、それら各色の偏光成分画像から光源の色を特定可能となる。
【0082】
このように偏光成分画像によって光源色を特定し、反射除去画像に対するＷＢ（ホワイトバランス）調整として、光源色をキャンセルするＷＢ調整（カラーバランス調整）を行うことで、物体本来の色を特定することが可能である。
【0083】
ただし、被写体を撮像するシーンとしては、図２４に示すようなＭＩＸ光源のシーンも想定される。具体的に図２４では、室内の照明装置としての光源と、太陽としての光源の双方からの光が被写体に照射されるシーンを例示している。
【0084】
ＭＩＸ光源の場合には、画枠内の領域ごとに光源色のＭＩＸ割合が異なることから、光源色の色被りの態様が異なるものとなる。
そこで、この場合には、光源色の特定を、色特定の対象とする被写体が写る領域（以下「対象被写体領域Ａｔ」と表記）を対象として行う。これにより、対象被写体の本来の色を、対象被写体領域Ａｔにおける光源色を適切にキャンセルして適切に特定することができる。
そこで、この場合には、光源色の特定を、色特定の対象とする被写体が写る領域（以下「対象被写体領域Ａｔ」と表記）を対象として行う。これにより、対象被写体の本来の色を、対象被写体領域Ａｔにおける光源色を適切にキャンセルして適切に特定することができる。
【0085】
図２５は、第一実施形態における第七例としての信号処理装置１１Ｉの構成例を説明するためのブロック図である。
第七例において、偏光画像生成部１３は、複数の偏光画像として、図示のように偏光成分画像と反射除去画像とを生成して出力する。偏光画像生成部１３より出力された偏光成分画像は、ＲＧＢ検波部１８に入力され、反射除去画像は信号処理部１４Ｉ、及び物体検出部８０に入力される。
第七例において、偏光画像生成部１３は、複数の偏光画像として、図示のように偏光成分画像と反射除去画像とを生成して出力する。偏光画像生成部１３より出力された偏光成分画像は、ＲＧＢ検波部１８に入力され、反射除去画像は信号処理部１４Ｉ、及び物体検出部８０に入力される。
【0086】
物体検出部８０は、反射除去画像を対象とした物体検出処理を行う。具体的には、対象被写体として指定された特定物体を検出する処理を行う。ここでの物体検出処理としては、例えば機械学習された人工知能モデルを用いた処理とすることが考えられる。或いは、テンプレートマッチング等のルールベース処理として行うことも考えられる。
物体検出部８０は、特定物体としての対象被写体を検出した場合は、対象被写体の位置（例えば中心位置）を示す情報（以下「対象被写体位置情報」と表記）と、対象被写体が写る領域を示す情報、すなわち対象被写体領域Ａｔの情報とを出力する。
物体検出部８０は、特定物体としての対象被写体を検出した場合は、対象被写体の位置（例えば中心位置）を示す情報（以下「対象被写体位置情報」と表記）と、対象被写体が写る領域を示す情報、すなわち対象被写体領域Ａｔの情報とを出力する。
【0087】
ＲＧＢ検波部１８は、偏光画像生成部１３から入力されるＲ、Ｇ、Ｂの各色の偏光成分画像についての検波を、物体検出部８０で特定された対象被写体領域Ａｔを対象として行う。
ＲＧＢ検波部１８により得られた偏光成分画像の色ごとの検波値は、制御部１５Ｉに入力される。
ＲＧＢ検波部１８により得られた偏光成分画像の色ごとの検波値は、制御部１５Ｉに入力される。
【0088】
信号処理部１４Ｉは、偏光画像生成部１３から入力される反射除去画像（Ｒ、Ｇ、Ｂ）について、色ごとのデジタルゲイン調整処理を行う。本例において、信号処理部１４Ｉは、このような反射除去画像の色ごとのデジタルゲイン調整処理を、物体検出部８０で特定された対象被写体領域Ａｔのみを対象として行う。
【0089】
制御部１５Ｉは、ＲＧＢ検波部１８による検波値、すなわち偏光成分画像における対象被写体領域Ａｔを対象としたＲ、Ｇ、Ｂの検波値に基づき、信号処理部１４Ｉによる色ごとのデジタルゲイン調整処理についての信号処理パラメータを制御する。具体的には、ＲＧＢ検波部１８による色ごとの検波値から特定される光源色がキャンセルされるように、信号処理部１４Ｉにおける色ごとの信号処理パラメータを制御する。
【0090】
これにより、信号処理部１４ＩによるＲＧＢゲイン調整後の反射除去画像（対象被写体領域Ａｔの画像）として、光源色がキャンセルされた画像を得ることができ、対象被写体の本来の色を特定することが可能となる。
【0091】
なお、単一光源のシーンを前提とする場合には、光源色の特定は、対象被写体領域Ａｔに限らず、画枠内の任意の領域で行うことができる。
【0092】
ここで、上記では対象被写体が一つである前提としたが、図２６に例示するように画枠内に複数の対象被写体が検出され、それぞれの色の特定を行うという場合も考えられる。そのような場合には、対象被写体ごとに光源色の特定、及び光源色のキャンセルを行えばよい。
【0093】
図２７は、上記のような対象被写体ごとの光源色のキャンセル機能を有する信号処理装置１１Ｊの構成例を説明するためのブロック図である。
信号処理装置１１Ｊにおいて、物体検出部８０Ｊは、物体検出部８０と同様の物体検出機能を有するが、対象被写体が検出された場合に、信号処理部１４Ｊに対して反射除去画像における対象被写体領域Ａｔの画像のみを出力する点が異なる。
信号処理部１４Ｊは、このように物体検出部８０Ｊが出力する対象被写体領域の画像を対象として色ごとのデジタルゲイン調整処理を行う。
信号処理装置１１Ｊにおいて、物体検出部８０Ｊは、物体検出部８０と同様の物体検出機能を有するが、対象被写体が検出された場合に、信号処理部１４Ｊに対して反射除去画像における対象被写体領域Ａｔの画像のみを出力する点が異なる。
信号処理部１４Ｊは、このように物体検出部８０Ｊが出力する対象被写体領域の画像を対象として色ごとのデジタルゲイン調整処理を行う。
【0094】
この場合のＲＧＢ検波部１８は、物体検出部８０Ｊにより複数の対象被写体が検出された場合には、それら対象被写体についての対象被写体領域Ａｔごとに、偏光成分画像の色ごとの検波を行う。
【0095】
制御部１５Ｊは、対象被写体が複数検出された場合には、ＲＧＢ検波部１８による対象被写体領域Ａｔごとの検波値に基づき、各対象被写体領域Ａｔの光源色がキャンセルされるように、信号処理部１４Ｊにおける対象被写体領域Ａｔごとのデジタルゲイン調整処理の信号処理パラメータを制御する。
【0096】
これにより、検出されたそれぞれの対象被写体について、本来の色を特定することが可能となる。
【0097】
ここで、偏光センサ１２を用いる場合には、偏光成分画像（鏡面反射成分）によって光源色を特定できるので、光源色の特定にあたり、ＲＧＢセンサを用いる場合のようなグレーチャートによるキャリブレーションを行う必要を無くすことができる。具体的に、偏光センサ１２を用いず、ＲＧＢセンサを用いた場合には、グレーチャートを撮像してグレー領域のＲＧＢ値を光源色として取得しておき、実撮像時には、このＲＧＢ値に基づいて光源色をキャンセルするＷＢ調整を行うという手法が採られるが、偏光センサ１２を用いた場合には、偏光成分画像による光源色特定ができるため、そのようなグレーチャートを用いたキャリブレーションを行う必要がなくなるものである。
【0098】
ここで、図２８の信号処理装置１１Ｉ’として示すように、偏光画像生成部１３、信号処理部１４Ｉ、及び制御部１５Ｉを、偏光センサ１２と共に同一半導体パッケージ内に形成して構成される信号処理装置を考えられることができる。この場合、物体検出部８０やＲＧＢ検波部１８は、信号処理装置１１Ｉ’の外部に設けることもできる。
このような構成では、物体検出部８０は、信号処理部１４Ｉを経由して入力される反射除去画像について物体検出処理を行うことになる。
このような構成では、物体検出部８０は、信号処理部１４Ｉを経由して入力される反射除去画像について物体検出処理を行うことになる。
【0099】
＜２．第二実施形態＞
（2-1．第一例）
第二実施形態は、受光センサ２として分光センサを備えるものである。分光センサとは、被写体からの光についての波長特性解析画像となる複数の狭帯域画像を得るための受光センサを意味する。
（2-1．第一例）
第二実施形態は、受光センサ２として分光センサを備えるものである。分光センサとは、被写体からの光についての波長特性解析画像となる複数の狭帯域画像を得るための受光センサを意味する。
【0100】
図２９は、第二実施形態における第一例としての信号処理装置２１の構成例を説明するためのブロック図である。
信号処理装置２１は、分光センサ２２、分光画像生成部２３、信号処理部２４、制御部２５、及び検波部２６を備えている。
なお、ここでのアプリケーションＡｐは、信号処理装置２１において生成される複数の狭帯域画像のうち少なくとも一つを入力して処理するためのアプリケーションプログラムを実行するコンピュータ装置を概念的に表したものである。
アプリケーションＡｐは、信号処理装置２１と一体に構成されてもよいし、信号処理装置２１とは別体に構成されてもよい。
信号処理装置２１は、分光センサ２２、分光画像生成部２３、信号処理部２４、制御部２５、及び検波部２６を備えている。
なお、ここでのアプリケーションＡｐは、信号処理装置２１において生成される複数の狭帯域画像のうち少なくとも一つを入力して処理するためのアプリケーションプログラムを実行するコンピュータ装置を概念的に表したものである。
アプリケーションＡｐは、信号処理装置２１と一体に構成されてもよいし、信号処理装置２１とは別体に構成されてもよい。
【0101】
図３０は、分光センサ２２が有する画素アレイ部２２ａの構成例を模式的に示した図である。
図示のように画素アレイ部２２ａには、それぞれが異なる波長帯の光を受光する複数の画素Ｐｘ‘が所定パターンで二次元配列されて成る分光画素ユニットＰｕが形成されている。画素アレイ部２２ａは、分光画素ユニットＰｕが二次元配列されて成る。
図の例では、各分光画素ユニットＰｕがλ１からλ１６の計１６の波長帯の光を各画素Ｐｘ’で個別に受光する例、換言すれば、各分光画素ユニットＰｕ内で受光し分ける波長帯の数（以下「受光チャンネル数」と表記する）が１６である例を示しているが、これは説明上の一例を示したものに過ぎず、分光画素ユニットＰｕにおける受光チャンネル数は任意に設定可能である。
ここで以下、分光画素ユニットＰｕにおける受光チャンネル数を「Ｎ」とする。
図示のように画素アレイ部２２ａには、それぞれが異なる波長帯の光を受光する複数の画素Ｐｘ‘が所定パターンで二次元配列されて成る分光画素ユニットＰｕが形成されている。画素アレイ部２２ａは、分光画素ユニットＰｕが二次元配列されて成る。
図の例では、各分光画素ユニットＰｕがλ１からλ１６の計１６の波長帯の光を各画素Ｐｘ’で個別に受光する例、換言すれば、各分光画素ユニットＰｕ内で受光し分ける波長帯の数（以下「受光チャンネル数」と表記する）が１６である例を示しているが、これは説明上の一例を示したものに過ぎず、分光画素ユニットＰｕにおける受光チャンネル数は任意に設定可能である。
ここで以下、分光画素ユニットＰｕにおける受光チャンネル数を「Ｎ」とする。
【0102】
図２９において、分光画像生成部２３は、分光センサ２２から出力される画像としてのＲＡＷ画像に基づいて、Ｍ個の狭帯域画像を生成する。ここで、Ｍ＞Ｎである。
具体的に、分光画像生成部２３は、デモザイク部２３ａと狭帯域画像生成部２３ｂと有し、デモザイク部２３ａが分光センサ２２からのＲＡＷ画像に対してデモザイク処理を行い、狭帯域画像生成部２３ｂがデモザイク処理で得られたＮチャンネル分の各波長帯画像に基づくリニアマトリクス処理を行うことで、Ｎ個の波長帯画像からＭ個の狭帯域画像を生成する。
具体的に、分光画像生成部２３は、デモザイク部２３ａと狭帯域画像生成部２３ｂと有し、デモザイク部２３ａが分光センサ２２からのＲＡＷ画像に対してデモザイク処理を行い、狭帯域画像生成部２３ｂがデモザイク処理で得られたＮチャンネル分の各波長帯画像に基づくリニアマトリクス処理を行うことで、Ｎ個の波長帯画像からＭ個の狭帯域画像を生成する。
【0103】
図３１は、Ｍ個の狭帯域画像を得るためのリニアマトリクス処理についての説明図である。
デモザイク部２３ａによるデモザイク処理で得られたＮチャンネル分の波長帯画像に基づき、図示のような行列演算を画素位置ごとに行うことで、Ｍチャンネル分の狭帯域画像が得られる。
デモザイク部２３ａによるデモザイク処理で得られたＮチャンネル分の波長帯画像に基づき、図示のような行列演算を画素位置ごとに行うことで、Ｍチャンネル分の狭帯域画像が得られる。
【0104】
図２９において、信号処理部２４は、分光画像生成部２３で生成される狭帯域画像について信号処理を行う。本例では、信号処理部２４はＭ個の狭帯域画像のそれぞれに対して設けられている。各信号処理部２４は、信号処理として、狭帯域画像に対するデジタルゲイン調整処理を行う。
【0105】
検波部２６は、分光センサ２２から出力されるＲＡＷ画像の検波を行い、検波値を制御部２５に出力する。
【0106】
制御部２５は、例えばＣＰＵ、ＲＯＭ及びＲＡＭ等を有したマイクロコンピュータを備えて構成され、信号処理装置２１の動作制御を行う。
具体的に、本例における制御部２５は、検波部２６により得られるＲＡＷ画像の検波値に基づき、分光センサ２２の露出調整を行う。すなわち、ＲＡＷ画像の白飛びや黒つぶれ防止のためのＡＥとしての露出調整である。
また、制御部２５は、アプリケーションＡｐからの指示に基づき、各信号処理部２４におけるデジタルゲイン調整処理についての信号処理パラメータを制御する。
具体的に、本例における制御部２５は、検波部２６により得られるＲＡＷ画像の検波値に基づき、分光センサ２２の露出調整を行う。すなわち、ＲＡＷ画像の白飛びや黒つぶれ防止のためのＡＥとしての露出調整である。
また、制御部２５は、アプリケーションＡｐからの指示に基づき、各信号処理部２４におけるデジタルゲイン調整処理についての信号処理パラメータを制御する。
【0107】
ここで、狭帯域画像間では、同じ被写体を捉えたとしても、明るさに差が生じ得る。そこで本例では、アプリケーションＡｐより狭帯域画像間の明るさの差を吸収するための信号処理パラメータ（デジタルゲイン調整処理の信号処理パラメータ）を制御部２５に指示し、制御部２５は、このように指示された信号処理パラメータをそれぞれ対応する信号処理部２４に設定する。
これにより、複数の狭帯域画像について、少なくとも一つの狭帯域画像の明るさが他の狭帯域画像と異なる場合において、各狭帯域画像の明るさが適切となるように狭帯域画像に対する信号処理を行うことが可能となる。
従って、適切な狭帯域画像が取得されるように図ることができる。
これにより、複数の狭帯域画像について、少なくとも一つの狭帯域画像の明るさが他の狭帯域画像と異なる場合において、各狭帯域画像の明るさが適切となるように狭帯域画像に対する信号処理を行うことが可能となる。
従って、適切な狭帯域画像が取得されるように図ることができる。
【0108】
なお、本例では、ＲＡＷ画像の検波値に基づく分光センサ２２の露出調整を行っているが、この場合、ＲＡＷ画像の明るさを適切に調整したとしても、狭帯域画像の明るさが適切とならない場合もある。そのような場合には、第一実施形態における第三例で説明したテーブルＴｂＢと同様のテーブルを用いて、ＲＡＷ画像の検波値に基づき各信号処理部２４の信号処理パラメータを動的に制御することもできる。
【0109】
或いは、第一実施形態の第四例と同様の制御として、狭帯域画像ごとに検波を行い、それらの検波値に基づいて各狭帯域画像の信号処理パラメータを動的に制御することもできる。
【0110】
この場合も検波値については、人工知能モデルを用いて他画像の検波値から推論することもできる。
【0111】
また、上記では分光センサ２２について、画素Ｐｘ’ごとに光学的バンドパスフィルタを設けて各波長帯の光を個別に受光することを前提としたが、分光センサ２２としては、回折の原理を利用した構造で分光画像を取得するセンサや、フォトニック結晶を用いた薄膜をイメージセンサ上に設置して分光画像を取得するセンサ、プラズモン共鳴の原理を利用して分光画像を得るセンサ等として構成することもできる。
【0112】
【0113】
信号処理装置２１Ａは、第一例の信号処理装置２１と比較して、メモリ２７が追加された点と、信号処理部２４に代えて信号処理部２４Ａが設けられた点と、制御部２５に代えて制御部２５Ａが設けられた点と、評価値算出部２８が追加された点が異なる。
メモリ２７は、分光画像生成部２３が生成したＭ個の狭帯域画像を一時保持する。
メモリ２７は、分光画像生成部２３が生成したＭ個の狭帯域画像を一時保持する。
【0114】
信号処理部２４Ａは、Ｍ個の狭帯域画像に対し行列演算を行うことで、Ｍ個の狭帯域画像に対する帯域間引き処理を行う。ここで言う帯域間引き処理とは、Ｍ個の狭帯域画像から、Ｍ個よりも少ない数の波長帯の画像を生成する処理を意味する。
本例では、信号処理部２４Ａが二つ設けられており、各信号処理部２４Ａは、それぞれメモリ２７に保持されたＭ個の狭帯域画像を入力して帯域間引き処理を行う。
これにより、Ｍ個の狭帯域画像から複数系統の帯域間引き画像を生成することが可能とされている。このとき、各信号処理部２４Ａが行列演算に用いる行列の係数の設定により、各信号処理部２４Ａにそれぞれ帯域間引きの態様が異なる画像を生成させることができる。
本例では、信号処理部２４Ａが二つ設けられており、各信号処理部２４Ａは、それぞれメモリ２７に保持されたＭ個の狭帯域画像を入力して帯域間引き処理を行う。
これにより、Ｍ個の狭帯域画像から複数系統の帯域間引き画像を生成することが可能とされている。このとき、各信号処理部２４Ａが行列演算に用いる行列の係数の設定により、各信号処理部２４Ａにそれぞれ帯域間引きの態様が異なる画像を生成させることができる。
【0115】
制御部２５Ａは、制御部２５と同様、検波部２６の検波値に基づき分光センサ２２の露出調整を行う機能を有するが、信号処理部２４Ａの信号処理パラメータの制御機能、具体的には、信号処理部２４Ａが行列演算に用いる行列の係数についての制御機能を有する点が制御部２５とは異なる。
【0116】
ここで、分光センサ２２を用いて取得される分光画像の用途としては、例えば野菜や果樹等といった植物についての植生解析用途を挙げることができる。例えば、植生解析のための評価指標として、赤色波長帯域の受光値（Ｒｅｄ）と近赤外波長帯域の受光値（ＮＩＲ）とに基づくＮＤＶＩ（Normalized Difference Vegetation Index：正規化植生指数）が知られている。具体的に、ＮＤＶＩ＝（ＮＩＲ－Ｒｅｄ）／（ＮＩＲ＋Ｒｅｄ）である。
一般的に、植生についての評価指標は、Ｍ個よりも少ないＬ個の狭帯域画像に基づき算出されるものである。
一般的に、植生についての評価指標は、Ｍ個よりも少ないＬ個の狭帯域画像に基づき算出されるものである。
【0117】
また、狭帯域画像は人間の視覚的には不自然な画像であり、また被写体の形状や色を視覚的に捉えることには不向きな画像となる。このため、Ｍ個の狭帯域画像から人間の視覚的に被写体を捉えやすい画像、例えばＲＧＢ画像等を生成することが要請される。
【0118】
そこで本例では、一方の信号処理部２４Ａには植生解析のためのＬ個の狭帯域画像、具体的には上記のＮＤＶＩを算出するための２個の狭帯域画像を生成させ、他方の信号処理部２４Ａには、人間の視覚的に被写体を捉えやすい画像、具体的にはＲＧＢ画像を生成させる。
【0119】
本例では、アプリケーションＡｐより、Ｌ個の狭帯域画像を生成するための行列の係数と、ＲＧＢ画像を生成するための行列の係数とが制御部２５Ａに入力され、制御部２５Ａは、前者の行列の係数を一方の信号処理部２４Ａに、後者の行列の係数を他方の信号処理部２４Ａにそれぞれ設定する。
ここで、Ｍ個の狭帯域画像からＬ個の狭帯域画像を得るための行列演算は下記［式１］で表される。
なお、［式１］について、行列の係数については、必要な帯域の値のみ「１」とする。
また、Ｍ個の狭帯域画像からＲＧＢ画像を得るための行列演算は下記［式２］で表される。
ここで、Ｍ個の狭帯域画像からＬ個の狭帯域画像を得るための行列演算は下記［式１］で表される。
【数1】
また、Ｍ個の狭帯域画像からＲＧＢ画像を得るための行列演算は下記［式２］で表される。
【数2】
【0120】
制御部２５Ａが上記のような行列の係数の設定を行うことで、Ｍ個の狭帯域画像からＬ個の狭帯域画像とＲＧＢ画像の二系統の帯域間引き画像が生成されるようにすることができる。
【0121】
評価値算出部２８は、上記一方の信号処理部２４Ａが生成するＬ個（本例では赤色波長帯域と近赤外波長帯域の２個）の狭帯域画像に基づき、ＮＤＶＩとしての評価値を画素位置ごとに算出することで、植生評価画像（植生評価マップ）を得る。
【0122】
上記のような第二例としての信号処理装置２１Ａによれば、信号処理部２４Ａに対する行列の係数の設定により、ユーザやアプリケーションＡｐの要求に応じた適切な帯域間引き画像を生成することができる。
【0123】
ここで、評価値算出部２８においては、植生評価値を全画素について算出してもよいし、対象とする植物が写された画像領域（植物画像領域）が分かる場合には、植物画像領域内についてのみ植生評価値を算出することも考えられる。
例えば、図３３に示す信号処理装置２１Ｂのように、ＲＧＢ画像に基づく物体検出処理、具体的には対象の植物を検出する物体検出処理を行う物体検出部８１を設け、該物体検出処理から特定される植物画像領域の情報を評価値算出部２８に入力するという構成を採ることが考えられる。
このとき、評価値算出部２８では、植物画像領域の植生評価値を平均した値（スカラ値）を算出することも考えられる。
例えば、図３３に示す信号処理装置２１Ｂのように、ＲＧＢ画像に基づく物体検出処理、具体的には対象の植物を検出する物体検出処理を行う物体検出部８１を設け、該物体検出処理から特定される植物画像領域の情報を評価値算出部２８に入力するという構成を採ることが考えられる。
このとき、評価値算出部２８では、植物画像領域の植生評価値を平均した値（スカラ値）を算出することも考えられる。
【0124】
（2-3．第三例）
図３４は、第二実施形態における第三例としての信号処理装置２１Ｃの構成例を説明するためのブロック図である。
第三例は、第二例の構成に対し、Ｌ個の狭帯域画像、ＲＧＢ画像それぞれの明るさ調整機能を追加したものである。
図３４は、第二実施形態における第三例としての信号処理装置２１Ｃの構成例を説明するためのブロック図である。
第三例は、第二例の構成に対し、Ｌ個の狭帯域画像、ＲＧＢ画像それぞれの明るさ調整機能を追加したものである。
【0125】
信号処理装置２１Ｃは、第二例の信号処理装置２１Ａと比較して、二つの信号処理部２４が追加された点と、検波部２９－１と検波部２９－２が追加された点と、制御部２５Ａに代えて制御部２５Ｃが設けられた点が異なる。
図示のように一方の信号処理部２４は、二つの信号処理部２４Ａのうち一方の信号処理部２４Ａが出力するＬ個の狭帯域画像を入力し、デジタルゲイン調整処理を行う。
他方の信号処理部２４は、他方の信号処理部２４Ａが出力するＲＧＢ画像を入力し、デジタルゲイン調整処理を行う。
図示のように一方の信号処理部２４は、二つの信号処理部２４Ａのうち一方の信号処理部２４Ａが出力するＬ個の狭帯域画像を入力し、デジタルゲイン調整処理を行う。
他方の信号処理部２４は、他方の信号処理部２４Ａが出力するＲＧＢ画像を入力し、デジタルゲイン調整処理を行う。
【0126】
検波部２９－１は、一方の信号処理部２４Ａが出力するＬ個の狭帯域画像の検波を行い、検波値を制御部２５Ｃに出力する。検波部２９－２は、他方の信号処理部２４Ａが出力するＲＧＢ画像の検波を行い、検波値を制御部２５Ｃに出力する。
【0127】
制御部２５Ｃは、検波部２９－１、２９－２それぞれからの検波値、すなわちＬ個の狭帯域画像の検波値及びＲＧＢ画像の検波値と、テーブルＴｂ’とに基づき、各信号処理部２４おける信号処理パラメータを動的に制御する。
この場合、テーブルＴｂ’には、Ｌ個の狭帯域画像、ＲＧＢ画像ごとに、その検波値の大きさと設定されるべき信号処理パラメータとの対応関係を示した対応関係情報が格納されている。
制御部２５Ｃは、Ｌ個の狭帯域画像、ＲＧＢ画像の各検波値とテーブルＴｂ’とに基づき、Ｌ個の狭帯域画像、ＲＧＢ画像のそれぞれについて、設定すべき信号処理パラメータを特定し、特定した信号処理パラメータをそれぞれ対応する信号処理部２４に設定する処理を行う。
これにより、Ｌ個の狭帯域画像、ＲＧＢ画像がそれぞれ所望の明るさとなるようにゲイン制御を行うことができる。
このとき、Ｌ個の狭帯域画像の明るさ（ゲイン）については、各帯域の比率が崩れないように同じゲインを与える
この場合、テーブルＴｂ’には、Ｌ個の狭帯域画像、ＲＧＢ画像ごとに、その検波値の大きさと設定されるべき信号処理パラメータとの対応関係を示した対応関係情報が格納されている。
制御部２５Ｃは、Ｌ個の狭帯域画像、ＲＧＢ画像の各検波値とテーブルＴｂ’とに基づき、Ｌ個の狭帯域画像、ＲＧＢ画像のそれぞれについて、設定すべき信号処理パラメータを特定し、特定した信号処理パラメータをそれぞれ対応する信号処理部２４に設定する処理を行う。
これにより、Ｌ個の狭帯域画像、ＲＧＢ画像がそれぞれ所望の明るさとなるようにゲイン制御を行うことができる。
このとき、Ｌ個の狭帯域画像の明るさ（ゲイン）については、各帯域の比率が崩れないように同じゲインを与える
【0128】
ここで、この場合も検波値については、人工知能モデルを用いて他画像の検波値から推論してもよい。
図３５は、ＲＡＷ画像からＬ個の狭帯域画像とＲＧＢ画像の検波値を推論する信号処理装置２１Ｄの構成例を説明するためのブロック図である。
図示のように信号処理装置２１Ｄでは、検波部２６によるＲＡＷ画像の検波値を入力として人工知能モデルによりＬ個の狭帯域画像とＲＧＢ画像の検波値を推論する推論器６３が設けられる。この推論器６３における人工知能モデルについては、分光センサ２２によるＲＡＷ画像の検波値を学習用入力データとし、Ｌ個の狭帯域画像の検波値とＲＧＢ画像の検波値とを正解データとした機械学習により得ることができる。
図３５は、ＲＡＷ画像からＬ個の狭帯域画像とＲＧＢ画像の検波値を推論する信号処理装置２１Ｄの構成例を説明するためのブロック図である。
図示のように信号処理装置２１Ｄでは、検波部２６によるＲＡＷ画像の検波値を入力として人工知能モデルによりＬ個の狭帯域画像とＲＧＢ画像の検波値を推論する推論器６３が設けられる。この推論器６３における人工知能モデルについては、分光センサ２２によるＲＡＷ画像の検波値を学習用入力データとし、Ｌ個の狭帯域画像の検波値とＲＧＢ画像の検波値とを正解データとした機械学習により得ることができる。
【0129】
図３６は、ＲＧＢ画像からＲＡＷ画像とＬ個の狭帯域画像の検波値を推論する信号処理装置２１Ｅの構成例を説明するためのブロック図である。
この信号処理装置２１Ｅでは、検波部２９－２によるＲＧＢ画像の検波値を入力として人工知能モデルにより分光センサ２２のＲＡＷ画像の検波値とＬ個の狭帯域画像の検波値を推論する推論器６４が設けられる。推論器６４における人工知能モデルは、ＲＧＢ画像の検波値を学習用入力データとし、分光センサ２２のＲＡＷ画像の検波値とＬ個の狭帯域画像の検波値とを正解データとした機械学習により得ることができる。
この信号処理装置２１Ｅでは、検波部２９－２によるＲＧＢ画像の検波値を入力として人工知能モデルにより分光センサ２２のＲＡＷ画像の検波値とＬ個の狭帯域画像の検波値を推論する推論器６４が設けられる。推論器６４における人工知能モデルは、ＲＧＢ画像の検波値を学習用入力データとし、分光センサ２２のＲＡＷ画像の検波値とＬ個の狭帯域画像の検波値とを正解データとした機械学習により得ることができる。
【0130】
ここで、第二実施形態においても、推論器の人工知能モデルについては、第一実施形態における第六例の場合と同様の要領で再学習を行うことも考えられる。例えば、経過時間やＡＥの動作状況等に関する所定条件成立に応じて再学習を行う等である。
また、再学習を行う場合には、前述したバリデーション部Ｆ２やモデル更新制御部Ｆ３として説明したような再学習モデルの推論結果についての評価結果に基づく人工知能モデルの更新制御を行うこともできる。
また、再学習を行う場合には、前述したバリデーション部Ｆ２やモデル更新制御部Ｆ３として説明したような再学習モデルの推論結果についての評価結果に基づく人工知能モデルの更新制御を行うこともできる。
【0131】
（2-4．第四例）
図３７は、第二実施形態における第四例としての信号処理装置２１Ｆの構成例を説明するためのブロック図である。
第四例は、Ｍ個の狭帯域画像から光源色をキャンセルする処理を行うものである。
図３７は、第二実施形態における第四例としての信号処理装置２１Ｆの構成例を説明するためのブロック図である。
第四例は、Ｍ個の狭帯域画像から光源色をキャンセルする処理を行うものである。
【0132】
信号処理装置２１Ｆは、第二例としての信号処理装置２１Ａ（図３２）と比較して、検波部４０と信号処理部２４が追加された点と、制御部２５Ａに代えて制御部２５Ｆが設けられた点が異なる。
検波部４０は、分光画像生成部２３から出力されるＭ個の狭帯域画像の検波を行う。
信号処理部２４は、分光画像生成部２３からメモリ２７へのＭ個の狭帯域画像の入力ライン上に各一つが挿入されている。すなわち、各信号処理部２４は、分光画像生成部２３から出力されるＭ個の狭帯域画像について、それぞれが異なる狭帯域画像について信号処理（デジタルゲイン調整処理）を行ってメモリ２７に出力する。
検波部４０は、分光画像生成部２３から出力されるＭ個の狭帯域画像の検波を行う。
信号処理部２４は、分光画像生成部２３からメモリ２７へのＭ個の狭帯域画像の入力ライン上に各一つが挿入されている。すなわち、各信号処理部２４は、分光画像生成部２３から出力されるＭ個の狭帯域画像について、それぞれが異なる狭帯域画像について信号処理（デジタルゲイン調整処理）を行ってメモリ２７に出力する。
【0133】
制御部２５Ｆは、検波部４０が検波したＭ個の狭帯域画像それぞれの検波値に基づいて各信号処理部２４におけるデジタルゲイン調整処理の信号処理パラメータを制御することで、Ｍ個の狭帯域画像から光源色をキャンセルする。
制御部２５Ｆは、このような光源色キャンセルのためのデジタルゲイン調整（ＷＢ調整）にあたり、光源色情報Ｉｃを用いる。光源色情報Ｉｃは、グレーチャートを用いた事前のキャリブレーションにより、光源色をＭ個の帯域における輝度分布の情報として得たものである。具体的に制御部２５Ｆは、グレーチャートを被写体として分光センサ２２による受光動作を実行させて得られるＭ個の狭帯域画像について、検波部４０が検波を行って得られる検波値の情報を、光源色情報Ｉｃとして取得しておく。
制御部２５Ｆは、このような光源色キャンセルのためのデジタルゲイン調整（ＷＢ調整）にあたり、光源色情報Ｉｃを用いる。光源色情報Ｉｃは、グレーチャートを用いた事前のキャリブレーションにより、光源色をＭ個の帯域における輝度分布の情報として得たものである。具体的に制御部２５Ｆは、グレーチャートを被写体として分光センサ２２による受光動作を実行させて得られるＭ個の狭帯域画像について、検波部４０が検波を行って得られる検波値の情報を、光源色情報Ｉｃとして取得しておく。
【0134】
図３８は、光源色をキャンセルするためのゲイン（ＷＢゲイン）の算出例を説明するための図であり、図３８Ａはグレーチャートを撮像して得られた分光比（Ｍ個の帯域ごとの検波値をゲインとして正規化）の例を、図３８Ｂは図３８Ａの分光比に対して算出する光源色キャンセルためのＷＢゲイン（Ｍ個の帯域ごとに設定されるべきゲイン）の例を示している。図３８Ｂに示すように、グレー色に相当するフラットな分光比と図３８Ａの分光比との差分のゲインを、光源色キャンセルためのＷＢゲインとして求めることができる。
【0135】
制御部２５Ｆは、上記のような差分として求めた光源色キャンセルためのＭ個の各帯域のゲインがＭ個の狭帯域画像に与えられるように、各信号処理部２４の信号処理パラメータを制御する。これにより、Ｍ個の狭帯域画像について、光源色の色被りを除去することが可能となる。
【0136】
なお、上記のようにＭ個の狭帯域画像について光源色キャンセルを行うにあたっては、Ｍ個の狭帯域画像の検波値を取得可能とされていることを要するが、この場合、Ｍ個の狭帯域画像の検波値のうち少なくとも一つについては、ＲＡＷ画像や他の狭帯域画像等の他画像から人工知能モデルを用いて推論することもできる。
【0137】
＜３．第三実施形態＞
第三実施形態は、受光センサ２としてｉＴｏＦセンサ３２を用いるものである。ｉＴｏＦセンサとは、画素ごとにｉＴｏＦ方式による測距のための受光動作を実行可能に構成された受光センサを意味する。
第三実施形態は、受光センサ２としてｉＴｏＦセンサ３２を用いるものである。ｉＴｏＦセンサとは、画素ごとにｉＴｏＦ方式による測距のための受光動作を実行可能に構成された受光センサを意味する。
【0138】
図３９は、第三実施形態としての信号処理装置３１の構成例を説明するためのブロック図である。
図示のように信号処理装置３１は、光を発する発光部３６と、発光部３６より発せられた光（図中、照射光Ｌｉとして示す）が物体にて反射されて得られる反射光Ｌｒ（図中では対象物体Ｏｂからの反射光Ｌｒとして示している）について、ｉＴｏＦ方式による測距のための受光動作が可能に構成されたｉＴｏＦセンサ３２とを備えると共に、画像生成部３３、信号処理部３４、検波部３７、及び検波部３８を備えている。
ここで、ｉＴｏＦ方式は、対象物体Ｏｂに対する照射光Ｌｉと、照射光Ｌｉが対象物体Ｏｂで反射されて得られる反射光Ｌｒとの位相差に基づいて対象物体Ｏｂまでの距離を算出する測距方式とされる。
図示のように信号処理装置３１は、光を発する発光部３６と、発光部３６より発せられた光（図中、照射光Ｌｉとして示す）が物体にて反射されて得られる反射光Ｌｒ（図中では対象物体Ｏｂからの反射光Ｌｒとして示している）について、ｉＴｏＦ方式による測距のための受光動作が可能に構成されたｉＴｏＦセンサ３２とを備えると共に、画像生成部３３、信号処理部３４、検波部３７、及び検波部３８を備えている。
ここで、ｉＴｏＦ方式は、対象物体Ｏｂに対する照射光Ｌｉと、照射光Ｌｉが対象物体Ｏｂで反射されて得られる反射光Ｌｒとの位相差に基づいて対象物体Ｏｂまでの距離を算出する測距方式とされる。
【0139】
発光部３６は、光源として一又は複数の発光素子を有し、照射光Ｌｉを発する。例えば、発光部３６の光源としては、ＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser：垂直共振器面発光型レーザ）等の発光素子を用いることが考えられる。
発光部３６は、照射光Ｌｉとして例えば波長が７５０ｎｍから１４００ｎｍの範囲のＩＲ（赤外）光を発光する。
発光部３６は、照射光Ｌｉとして例えば波長が７５０ｎｍから１４００ｎｍの範囲のＩＲ（赤外）光を発光する。
【0140】
ｉＴｏＦセンサ３２は、反射光Ｌｒを受光する。具体的には、反射光Ｌｒと照射光Ｌｉの位相差を検出可能となるように反射光Ｌｒの受光動作を行う。
後述もするが、ｉＴｏＦセンサ３２は、光電変換素子（フォトダイオードＰＤ）と、光電変換素子の蓄積電荷を転送するための第一転送ゲート素子（転送トランジスタＴＧ－Ａ）と第二転送ゲート素子（転送トランジスタＴＧ－Ｂ）とを含んで構成された画素Ｐｘ”が二次元に複数配列された画素アレイ部１１１を有しており、画素Ｐｘ”ごとにｉＴｏＦ方式による測距用の受光動作を行う。
図示は省略するが、各画素”には、ＩＲ光を選択的に受光するための光学的バンドパスフィルタ（ＩＲフィルタ）が形成されている。
後述もするが、ｉＴｏＦセンサ３２は、光電変換素子（フォトダイオードＰＤ）と、光電変換素子の蓄積電荷を転送するための第一転送ゲート素子（転送トランジスタＴＧ－Ａ）と第二転送ゲート素子（転送トランジスタＴＧ－Ｂ）とを含んで構成された画素Ｐｘ”が二次元に複数配列された画素アレイ部１１１を有しており、画素Ｐｘ”ごとにｉＴｏＦ方式による測距用の受光動作を行う。
図示は省略するが、各画素”には、ＩＲ光を選択的に受光するための光学的バンドパスフィルタ（ＩＲフィルタ）が形成されている。
【0141】
制御部３５は、例えばＣＰＵやＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、発光部３６による照射光Ｌｉの発光動作や、ｉＴｏＦセンサ３２の動作、及び信号処理部２４の動作を制御する。
【0142】
ここで、ｉＴｏＦ方式による測距を行う場合、照射光Ｌｉとしては、所定の周期で強度が変化するように強度変調された光が用いられる。具体的に、本例では、照射光Ｌｉとして、パルス光を所定周期で繰り返し発光する。以下、このようなパルス光の発光周期のことを「発光周期Ｃｌ」と表記する。また、発光周期Ｃｌによりパルス光が繰り返し発光される際におけるパルス光の発光開始タイミング間の期間のことを「１変調期間Ｐｍ」或いは単に「変調期間Ｐｍ」と表記する。
制御部３５は、変調期間Ｐｍごとに所定の発光期間のみ照射光Ｌｉを発するように発光部３６の発光動作を制御する。
ｉＴｏＦ方式において、発光周期Ｃｌは、例えば数十ＭHzから数百ＭHz程度と比較的高速とされる。
制御部３５は、変調期間Ｐｍごとに所定の発光期間のみ照射光Ｌｉを発するように発光部３６の発光動作を制御する。
ｉＴｏＦ方式において、発光周期Ｃｌは、例えば数十ＭHzから数百ＭHz程度と比較的高速とされる。
【0143】
ここで、公知のようにｉＴｏＦ方式では、ｉＴｏＦセンサ３２の画素Ｐｘ”における光電変換素子に蓄積された信号電荷が、交互にオンされる第一転送ゲート素子、第二転送ゲート素子によって二つのフローティングディフュージョン（ＦＤ）に振り分けられる。この際、第一転送ゲート素子と第二転送ゲート素子を交互にオンする周期は発光部３６の発光周期Ｃｌと同周期とされる。すなわち、第一転送ゲート素子、第二転送ゲート素子はそれぞれ変調期間Ｐｍごとに１度オンとされるものであり、上記のような信号電荷の二つのフローティングディフュージョンへの振り分けは、変調期間Ｐｍごとに繰り返し行われる。
例えば、第一転送ゲート素子としての転送トランジスタＴＧ－Ａは、変調期間Ｐｍにおける照射光Ｌｉの発光期間においてオンとされ、第二転送ゲート素子としての転送トランジスタＴＧ－Ｂは、変調期間Ｐｍにおける照射光Ｌｉの非発光期間においてオンとされる。
例えば、第一転送ゲート素子としての転送トランジスタＴＧ－Ａは、変調期間Ｐｍにおける照射光Ｌｉの発光期間においてオンとされ、第二転送ゲート素子としての転送トランジスタＴＧ－Ｂは、変調期間Ｐｍにおける照射光Ｌｉの非発光期間においてオンとされる。
【0144】
前述のように、発光周期Ｃｌは比較的高速とされるため、上記のような第一、第二転送ゲート素子を用いた１回の振り分けにより各フローティングディフュージョンに蓄積される信号電荷は比較的微量なものとなる。このためインダイレクトＴｏＦ方式では、１回の測距につき、照射光Ｌｉの発光を数千回から数万回程度繰り返し、ｉＴｏＦセンサ３２では、このように照射光Ｌｉが繰り返し発光される間、上記のような第一、第二転送ゲート素子を用いた各フローティングディフュージョンへの信号電荷の振り分けを繰り返し行う。
【0145】
上記説明から理解されるように、ｉＴｏＦセンサ３２においては、画素Ｐｘ”ごとに第一転送ゲート素子、第二転送ゲート素子を照射光Ｌｉの発光周期に基づくタイミングで駆動することになる。このため、制御部３５は、共通のクロックに基づいてｉＴｏＦセンサ３２による受光動作、発光部３６による発光動作の制御を行う。
【0146】
ここで、ｉＴｏＦセンサ３２の構成について説明する。
図４０は、ｉＴｏＦセンサ３２の内部回路構成例を示したブロック図である。
図示のようにｉＴｏＦセンサ３２は、画素アレイ部１１１、転送ゲート駆動部１１２、垂直駆動部１１３、システム制御部１１４、カラム処理部１１５、水平駆動部１１６、信号処理部１１７、及びデータ格納部１１８を備えている。
図４０は、ｉＴｏＦセンサ３２の内部回路構成例を示したブロック図である。
図示のようにｉＴｏＦセンサ３２は、画素アレイ部１１１、転送ゲート駆動部１１２、垂直駆動部１１３、システム制御部１１４、カラム処理部１１５、水平駆動部１１６、信号処理部１１７、及びデータ格納部１１８を備えている。
【0147】
画素アレイ部１１１は、複数の画素Ｐｘ”が行方向及び列方向の行列状に二次元に配列された構成となっている。各画素Ｐｘ”は、光電変換素子として後述するフォトダイオードＰＤを有する。なお、画素Ｐｘ”の詳細は図４１により改めて説明する。
ここで、行方向とは、水平方向の配列方向を言い、列方向とは、垂直方向の配列方向を言う。図中では、行方向を横方向、列方向を縦方向としている。
ここで、行方向とは、水平方向の配列方向を言い、列方向とは、垂直方向の配列方向を言う。図中では、行方向を横方向、列方向を縦方向としている。
【0148】
画素アレイ部１１１においては、行列状の画素配列に対して、画素行ごとに行駆動線１２０が行方向に沿って配線されるとともに、各画素列に二つのゲート駆動線１２１、二つの垂直信号線１２２がそれぞれ列方向に沿って配線されている。例えば、行駆動線１２０は、画素Ｐｘ”から信号を読み出す際の駆動を行うための駆動信号を伝送する。なお、図４０では、行駆動線１２０について１本の配線として示しているが、１本に限られるものではない。行駆動線１２０の一端は、垂直駆動部１１３の各行に対応した出力端に接続されている。
【0149】
システム制御部１１４は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、該タイミングジェネレータで生成された各種のタイミング信号を基に、転送ゲート駆動部１１２、垂直駆動部１１３、カラム処理部１１５、及び水平駆動部１１６などの駆動制御を行う。
【0150】
転送ゲート駆動部１１２は、システム制御部１１４の制御に基づき、上記のように各画素列に二つ設けられるゲート駆動線１２１を通じて、画素Ｐｘ”ごとに二つ設けられた転送ゲート素子を駆動する。
前述のように、二つの転送ゲート素子は変調期間Ｐｍごとに交互にオンするものとされる。このため、システム制御部１１４は、転送ゲート駆動部１１２に対し、前述した制御部３５より入力されるクロックを供給し、転送ゲート駆動部１１２は、このクロックに基づいて二つの転送ゲート素子を駆動する。
前述のように、二つの転送ゲート素子は変調期間Ｐｍごとに交互にオンするものとされる。このため、システム制御部１１４は、転送ゲート駆動部１１２に対し、前述した制御部３５より入力されるクロックを供給し、転送ゲート駆動部１１２は、このクロックに基づいて二つの転送ゲート素子を駆動する。
【0151】
垂直駆動部１１３は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１１１の画素Ｐｘ”を全画素同時或いは行単位等で駆動する。すなわち、垂直駆動部１１３は、垂直駆動部１１３を制御するシステム制御部１１４と共に、画素アレイ部１１１の各画素Ｐｘ”の動作を制御する駆動部を構成している。
【0152】
垂直駆動部１１３による駆動制御に応じて画素行の各画素Ｐｘ”から出力される（読み出される）受光信号、具体的には、画素Ｐｘ”ごとに二つ設けられたフローティングディフュージョンそれぞれに蓄積された信号電荷の電荷量を示す信号は、対応する垂直信号線１２２を通してカラム処理部１１５に入力される。カラム処理部１１５は、各画素Ｐｘ”から垂直信号線１２２を通して読み出された受光信号に対して所定の信号処理を行うと共に、信号処理後の受光信号を一時的に保持する。具体的には、カラム処理部１１５は、信号処理としてＣＤＳ（Correlated Double Sampling：相関二重サンプリング）によるノイズ除去処理やＡ／Ｄ（Analog to Digital）変換処理等を行う。
【0153】
ここで、各画素Ｐｘ”からの二つの受光信号（フローティングディフュージョンごとの検出信号）の読み出しは、照射光Ｌｉの所定回数分の繰り返し発光ごと（前述した数千から数万回の繰り返し発光ごと）に１度行われる。
従って、システム制御部１１４は、前述したクロックに基づき垂直駆動部１１３を制御して、各画素Ｐｘからの受光信号の読み出しタイミングが、このように照射光Ｌｉの所定回数分の繰り返し発光ごとのタイミングとなるように制御する。
従って、システム制御部１１４は、前述したクロックに基づき垂直駆動部１１３を制御して、各画素Ｐｘからの受光信号の読み出しタイミングが、このように照射光Ｌｉの所定回数分の繰り返し発光ごとのタイミングとなるように制御する。
【0154】
水平駆動部１１６は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１１５の画素列に対応する単位回路を順番に選択する。この水平駆動部１１６による選択走査により、カラム処理部１１５において単位回路ごとに信号処理された受光信号が順番に出力される。
【0155】
信号処理部１１７は、少なくとも演算処理機能を有し、カラム処理部１１５から出力される受光信号に対して所定の信号処理を施す。
【0156】
データ格納部１１８は、信号処理部１１７での信号処理にあたって、その処理に必要なデータを一時的に格納する。
【0157】
図４１は、画素アレイ部１１１に二次元配列された画素Ｐｘ”の等価回路を示している。
画素Ｐｘ”は、光電変換素子としてのフォトダイオードＰＤとＯＦ（オーバーフロー）ゲートトランジスタＯＦＧとをそれぞれ１個ずつ有する。また、画素Ｐｘ”は、転送ゲート素子としての転送トランジスタＴＧ、フローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬをそれぞれ２個ずつ有する。
画素Ｐｘ”は、光電変換素子としてのフォトダイオードＰＤとＯＦ（オーバーフロー）ゲートトランジスタＯＦＧとをそれぞれ１個ずつ有する。また、画素Ｐｘ”は、転送ゲート素子としての転送トランジスタＴＧ、フローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬをそれぞれ２個ずつ有する。
【0158】
ここで、画素Ｐｘ”において２個ずつ設けられる転送トランジスタＴＧ、フローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬのそれぞれを区別する場合、図４１に示されるように、転送トランジスタＴＧ－Ａ及びＴＧ－Ｂ、フローティングディフュージョンＦＤ－Ａ及びＦＤ－Ｂ、リセットトランジスタＲＳＴ－Ａ及びＲＳＴ－Ｂ、増幅トランジスタＡＭＰ－Ａ及びＡＭＰ－Ｂ、選択トランジスタＳＥＬ－Ａ及びＳＥＬ－Ｂと表記する。
ＯＦゲートトランジスタＯＦＧ、転送トランジスタＴＧ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬは、例えば、Ｎ型のＭＯＳトランジスタで構成される。
ＯＦゲートトランジスタＯＦＧ、転送トランジスタＴＧ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬは、例えば、Ｎ型のＭＯＳトランジスタで構成される。
【0159】
ＯＦゲートトランジスタＯＦＧは、ゲートに供給されるＯＦゲート信号ＳＯＦＧがオンされると導通状態となる。フォトダイオードＰＤは、ＯＦゲートトランジスタＯＦＧが導通状態となると、所定の基準電位ＶＤＤにクランプされて蓄積電荷がリセットされる。
なお、ＯＦゲート信号ＳＯＦＧは、例えば垂直駆動部１１３より供給される。
なお、ＯＦゲート信号ＳＯＦＧは、例えば垂直駆動部１１３より供給される。
【0160】
転送トランジスタＴＧ－Ａは、ゲートに供給される転送駆動信号ＳＴＧ－Ａがオンされると導通状態となり、フォトダイオードＰＤに蓄積されている信号電荷をフローティングディフュージョンＦＤ－Ａに転送する。転送トランジスタＴＧ－Ｂは、ゲートに供給される転送駆動信号ＳＴＧ－Ｂがオンされると導通状態となり、フォトダイオードＰＤに蓄積されている電荷をフローティングディフュージョンＦＤ－Ｂに転送する。
転送駆動信号ＳＴＧ－Ａ、ＳＴＧ－Ｂは、それぞれが図４０に示したゲート駆動線１２１の一つとして設けられたゲート駆動線１２１－Ａ、１２１－Ｂを通じて転送ゲート駆動部１１２より供給される。
転送駆動信号ＳＴＧ－Ａ、ＳＴＧ－Ｂは、それぞれが図４０に示したゲート駆動線１２１の一つとして設けられたゲート駆動線１２１－Ａ、１２１－Ｂを通じて転送ゲート駆動部１１２より供給される。
【0161】
フローティングディフュージョンＦＤ－Ａ及びＦＤ－Ｂは、フォトダイオードＰＤから転送された電荷を一時保持する電荷保持部である。
【0162】
リセットトランジスタＲＳＴ－Ａは、ゲートに供給されるリセット信号ＳＲＳＴがオンとされると導通状態となり、フローティングディフュージョンＦＤ－Ａの電位を基準電位ＶＤＤにリセットする。同様に、リセットトランジスタＲＳＴ－Ｂはゲートに供給されるリセット信号ＳＲＳＴがオンされることで導通状態となり、フローティングディフュージョンＦＤ－Ｂの電位を基準電位ＶＤＤにリセットする。
なお、リセット信号ＳＲＳＴは、例えば垂直駆動部１１３より供給される。
なお、リセット信号ＳＲＳＴは、例えば垂直駆動部１１３より供給される。
【0163】
増幅トランジスタＡＭＰ－Ａは、ソースが選択トランジスタＳＥＬ－Ａを介して垂直信号線１２２－Ａに接続され、ドレインが基準電位ＶＤＤ（定電流源）に接続されて、ソースフォロワ回路を構成する。増幅トランジスタＡＭＰ－Ｂは、ソースが選択トランジスタＳＥＬ－Ｂを介して垂直信号線１２２－Ｂに接続され、ドレインが基準電位ＶＤＤ（定電流源）に接続されてソースフォロワ回路を構成する。
ここで、垂直信号線１２２－Ａ、１２２－Ｂは、それぞれ図４０に示した垂直信号線１２２の一つとして設けられたものである。
ここで、垂直信号線１２２－Ａ、１２２－Ｂは、それぞれ図４０に示した垂直信号線１２２の一つとして設けられたものである。
【0164】
選択トランジスタＳＥＬ－Ａは、増幅トランジスタＡＭＰ－Ａのソースと垂直信号線１２２－Ａとの間に接続され、ゲートに供給される選択信号ＳＳＥＬがオンとされると導通状態となり、フローティングディフュージョンＦＤ－Ａに保持された電荷を増幅トランジスタＡＭＰ－Ａを介して垂直信号線１２２－Ａに出力する。
選択トランジスタＳＥＬ－Ｂは、増幅トランジスタＡＭＰ－Ｂのソースと垂直信号線１２２－Ｂとの間に接続され、ゲートに供給される選択信号ＳＳＥＬがオンとされると導通状態となり、フローティングディフュージョンＦＤ－Ｂに保持された電荷を増幅トランジスタＡＭＰ－Ａを介して垂直信号線１２２－Ｂに出力する。
なお、選択信号ＳＳＥＬは、行駆動線１２０を介して垂直駆動部１１３より供給される。
選択トランジスタＳＥＬ－Ｂは、増幅トランジスタＡＭＰ－Ｂのソースと垂直信号線１２２－Ｂとの間に接続され、ゲートに供給される選択信号ＳＳＥＬがオンとされると導通状態となり、フローティングディフュージョンＦＤ－Ｂに保持された電荷を増幅トランジスタＡＭＰ－Ａを介して垂直信号線１２２－Ｂに出力する。
なお、選択信号ＳＳＥＬは、行駆動線１２０を介して垂直駆動部１１３より供給される。
【0165】
画素Ｐｘ”の動作について簡単に説明する。
先ず、受光を開始する前に、画素Ｐｘ”の電荷をリセットするリセット動作が全画素で行われる。すなわち、例えばＯＦゲートトランジスタＯＦＧ、各リセットトランジスタＲＳＴ、及び各転送トランジスタＴＧがオン（導通状態）とされ、フォトダイオードＰＤ、各フローティングディフュージョンＦＤの蓄積電荷がリセットされる。
先ず、受光を開始する前に、画素Ｐｘ”の電荷をリセットするリセット動作が全画素で行われる。すなわち、例えばＯＦゲートトランジスタＯＦＧ、各リセットトランジスタＲＳＴ、及び各転送トランジスタＴＧがオン（導通状態）とされ、フォトダイオードＰＤ、各フローティングディフュージョンＦＤの蓄積電荷がリセットされる。
【0166】
蓄積電荷のリセット後、全画素で測距のための受光動作が開始される。ここで言う受光動作とは、１回の測距のために行われる受光動作を意味する。すなわち、受光動作中では、転送トランジスタＴＧ－ＡとＴＧ－Ｂを交互にオンする動作が所定回数（本例では数千回から数万回程度）繰り返される。以下、このような１回の測距のために行われる受光動作の期間を「受光期間Ｐｒ」と表記する。
【0167】
受光期間Ｐｒにおいて、発光部３６の１変調期間Ｐｍ内では、例えば転送トランジスタＴＧ－Ａがオンの期間（つまり転送トランジスタＴＧ－Ｂがオフの期間）が照射光Ｌｉの発光期間にわたって継続された後、残りの期間、つまり照射光Ｌｉの非発光期間は、転送トランジスタＴＧ－Ｂがオンの期間（つまり転送トランジスタＴＧ－Ａがオフの期間）とされる。すなわち、受光期間Ｐｒにおいては、１変調期間Ｐｍ内にフォトダイオードＰＤの電荷をフローティングディフュージョンＦＤ－ＡとＦＤ－Ｂとに振り分ける動作が所定回数繰り返される。
【0168】
そして、受光期間Ｐｒが終了すると、画素アレイ部１１１の各画素Ｐｘ”が、線順次に選択される。選択された画素Ｐｘ”では、選択トランジスタＳＥＬ－Ａ及びＳＥＬ－Ｂがオンされる。これにより、フローティングディフュージョンＦＤ－Ａに蓄積された電荷が垂直信号線１２２－Ａを介してカラム処理部１１５に出力される。また、フローティングディフュージョンＦＤ－Ｂに蓄積された電荷は垂直信号線１２２－Ｂを介してカラム処理部１１５に出力される。
【0169】
以上で、１回の受光動作が終了し、リセット動作から始まる次の受光動作が実行される。
【0170】
ここで、画素Ｐｘ”が受光する反射光Ｌｒは、発光部３６が照射光Ｌｉを発したタイミングから、対象物体Ｏｂまでの距離に応じて遅延されている。対象物体Ｏｂまでの距離に応じた遅延時間によって、二つのフローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに蓄積される電荷の配分比が変化するため、これら二つのフローティングディフュージョンＦＤ－Ａ、ＦＤ－Ｂに蓄積される電荷の配分比から、対象物体Ｏｂまでの距離を求めることが可能である。
【0171】
説明を図３９に戻す。
画像生成部３３は、ｉＴｏＦセンサ３２から出力されるＲＡＷ画像、具体的には、画素位置ごとに前述した振り分け動作により各フローティングディフュージョンに蓄積された電荷量を示す画像に基づいて、複数種類の画像を生成する。
具体的に画像生成部３３は、距離画像生成部３３ａ、ＩＲ画像生成部３３ｂ、及び信頼度画像生成部３３ｃを有している。
画像生成部３３は、ｉＴｏＦセンサ３２から出力されるＲＡＷ画像、具体的には、画素位置ごとに前述した振り分け動作により各フローティングディフュージョンに蓄積された電荷量を示す画像に基づいて、複数種類の画像を生成する。
具体的に画像生成部３３は、距離画像生成部３３ａ、ＩＲ画像生成部３３ｂ、及び信頼度画像生成部３３ｃを有している。
【0172】
距離画像生成部３３ａは、画素位置ごとに距離を示す画像である距離画像を生成する。具体的に、距離画像生成部３３ａは、ｉＴｏＦセンサ３２から出力されるＲＡＷ画像の画素位置ごとに、各フローティングディフュージョンＦＤの蓄積電荷量に基づくｉＴｏＦ方式による所定の演算を行うことで、画素位置ごとに、その画素位置に反射光Ｌｒが受光された物体の距離を算出する。
なお、画素位置ごとに二種の検出信号（フローティングディフュージョンＦＤごとの蓄積電荷量）に基づきｉＴｏＦ方式による距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
なお、画素位置ごとに二種の検出信号（フローティングディフュージョンＦＤごとの蓄積電荷量）に基づきｉＴｏＦ方式による距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
【0173】
ＩＲ画像生成部３３ｂは、ｉＴｏＦセンサ３２から出力されるＲＡＷ画像の画素位置ごとに、各フローティングディフュージョンＦＤの蓄積電荷量に基づいてＩＲ光の受光量を算出して、ＩＲ画像を生成する。具体的には、画素位置ごとに各フローティングディフュージョンＦＤの蓄積電荷量を加算することで、画素位置ごとにＩＲ光の受光量を示すＩＲ画像を生成する。
【0174】
信頼度画像生成部３３ｃは、ｉＴｏＦセンサ３２から出力されるＲＡＷ画像の画素位置ごとに、各フローティングディフュージョンＦＤの蓄積電荷量に基づいて測距の信頼性についての指標である測距信頼度を算出することで、信頼度画像を生成する。
ここで、測距の信頼性は、反射光Ｌｒの受光強度と相関する。このため信頼度画像生成部３３ｃでは、ｉＴｏＦセンサ３２から出力されるＲＡＷ画像の画素位置ごとに、各フローティングディフュージョンＦＤの蓄積電荷量について受光強度を求めるための公知の演算を行うことで、画素位置ごとに測距信頼度を示す画像である信頼度画像を生成する。
ここで、測距の信頼性は、反射光Ｌｒの受光強度と相関する。このため信頼度画像生成部３３ｃでは、ｉＴｏＦセンサ３２から出力されるＲＡＷ画像の画素位置ごとに、各フローティングディフュージョンＦＤの蓄積電荷量について受光強度を求めるための公知の演算を行うことで、画素位置ごとに測距信頼度を示す画像である信頼度画像を生成する。
【0175】
図示のようにＩＲ画像生成部３３ｂが生成したＩＲ画像は、信号処理部３４と検波部３８とに出力される。
また、信頼度画像生成部３３ｃが生成した信頼度画像は制御部３５によって入力される。
また、信頼度画像生成部３３ｃが生成した信頼度画像は制御部３５によって入力される。
【0176】
信号処理部３４は、ＩＲ画像生成部３３ｂより入力されるＩＲ画像についての信号処理として、デジタルゲイン調整処理を行う。
【0177】
検波部３７は、ｉＴｏＦセンサ３２から出力されるＲＡＷ画像を検波し、制御部３５に出力する。
また、検波部３８は、ＩＲ画像生成部３３ｂが出力したＩＲ画像を検波し、制御部３５に出力する。
また、検波部３８は、ＩＲ画像生成部３３ｂが出力したＩＲ画像を検波し、制御部３５に出力する。
【0178】
制御部３５は、上述した発光部３６の発光動作制御と共に、検波部３７によるＲＡＷ画像の検波値や、信頼度画像に基づいたｉＴｏＦセンサ３２の受光期間調整（露出調整）を行う。すなわち、前述した受光期間Ｐｒの調整を行うものである。
具体的に、制御部３５は、ＲＡＷ画像の検波値に基づき、各フローティングディフュージョンＦＤの蓄積電荷量が飽和しないようにｉＴｏＦセンサ３２の露出調整を行う。なお確認のための述べておくと、検波部３８によるＩＲ画像の検波値によっては、フローティングディフュージョンＦＤごとの飽和検出を行うことができない（ＩＲ画像は各フローティングディフュージョンＦＤの蓄積電荷の和であるため）。このため飽和防止制御には、ＲＡＷ画像の検波値が用いられる。
また制御部３５は、上記のような飽和防止制御を行いつつ、測距信頼度に基づいたｉＴｏＦセンサ３２の露出調整を行う。例えば、測距信頼度が一定の信頼度以上となるようにｉＴｏＦセンサ３２の露出調整を行う。
具体的に、制御部３５は、ＲＡＷ画像の検波値に基づき、各フローティングディフュージョンＦＤの蓄積電荷量が飽和しないようにｉＴｏＦセンサ３２の露出調整を行う。なお確認のための述べておくと、検波部３８によるＩＲ画像の検波値によっては、フローティングディフュージョンＦＤごとの飽和検出を行うことができない（ＩＲ画像は各フローティングディフュージョンＦＤの蓄積電荷の和であるため）。このため飽和防止制御には、ＲＡＷ画像の検波値が用いられる。
また制御部３５は、上記のような飽和防止制御を行いつつ、測距信頼度に基づいたｉＴｏＦセンサ３２の露出調整を行う。例えば、測距信頼度が一定の信頼度以上となるようにｉＴｏＦセンサ３２の露出調整を行う。
【0179】
ここで、上記のように測距信頼度を優先した（測距精度を優先した）露出調整が行われる場合において、ＩＲ画像にとっては、この露出調整が適切となる保証がない。すなわち、ＩＲ画像の明るさが適切となる保証はない。
【0180】
このため制御部３５では、検波部３８によるＩＲ画像の検波値に基づき、信号処理部３４におけるデジタルゲイン調整処理についての信号処理パラメータを制御する。具体的には、ＩＲ画像の明るさが適切となるようにデジタルゲイン調整処理の信号処理パラメータを制御する。
これにより、測距信頼度に基づくｉＴｏＦセンサ３２の露出調整の機能を活かしつつ、ＩＲ画像の明るさが適切となるように図ることができる。すなわち、測距精度の向上とＩＲ画像の明るさの適切化との両立を図ることができ、ｉＴｏＦセンサ３２の出力に基づき生成される複数の画像について、それぞれ適切な画像が得られるように図ることができる。
これにより、測距信頼度に基づくｉＴｏＦセンサ３２の露出調整の機能を活かしつつ、ＩＲ画像の明るさが適切となるように図ることができる。すなわち、測距精度の向上とＩＲ画像の明るさの適切化との両立を図ることができ、ｉＴｏＦセンサ３２の出力に基づき生成される複数の画像について、それぞれ適切な画像が得られるように図ることができる。
【0181】
なお、上記ではｉＴｏＦセンサ３２の受光期間調整が測距信頼度に基づき行われるものとしたが、別例として、アプリケーションからｉＴｏＦセンサ３２の受光期間が指定される構成もあり得る。
【0182】
ここで、上記のようなＩＲ画像の明るさ調整を行う場合には、明るさ調整のためのゲインが過大となることによるＩＲ画像の画質劣化の防止が図られるべきである。
このため制御部３５では、次のような制御を行うことが考えられる。
すなわち、信号処理部３４におけるＩＲ画像のデジタルゲイン調整処理について、ゲインのリミット制御を行うと共に、ＩＲ画像の検波値に基づき定まるＩＲ画像についてのデジタルゲイン調整処理の目標ゲインと、上記リミット制御におけるゲインのリミット値との比較結果に基づき、ｉＴｏＦセンサ３２の受光期間調整を行うものである。このとき、上記リミット制御におけるゲインのリミット値は、ＩＲ画像の画質劣化が所定の劣化度合い以下に抑えられるように定める。また、目標ゲインと上記リミット制御におけるリミット値との比較結果に基づく受光期間調整としては、例えば、目標ゲインがリミット値を上回る場合において、目標ゲインとリミット値との差分ゲインに相当する明るさの調整がｉＴｏＦセンサ３２の受光期間により調整されるようにして行う。
これにより、ＩＲ画像のゲイン調整による明るさ調整において、目標ゲインが過大となる場合には、ゲインのみでの調整とせず、ｉＴｏＦセンサ３２の露出調整にオフセットを 与えることでＩＲ画像の明るさの適切化が図られるようになる。
このため制御部３５では、次のような制御を行うことが考えられる。
すなわち、信号処理部３４におけるＩＲ画像のデジタルゲイン調整処理について、ゲインのリミット制御を行うと共に、ＩＲ画像の検波値に基づき定まるＩＲ画像についてのデジタルゲイン調整処理の目標ゲインと、上記リミット制御におけるゲインのリミット値との比較結果に基づき、ｉＴｏＦセンサ３２の受光期間調整を行うものである。このとき、上記リミット制御におけるゲインのリミット値は、ＩＲ画像の画質劣化が所定の劣化度合い以下に抑えられるように定める。また、目標ゲインと上記リミット制御におけるリミット値との比較結果に基づく受光期間調整としては、例えば、目標ゲインがリミット値を上回る場合において、目標ゲインとリミット値との差分ゲインに相当する明るさの調整がｉＴｏＦセンサ３２の受光期間により調整されるようにして行う。
これにより、ＩＲ画像のゲイン調整による明るさ調整において、目標ゲインが過大となる場合には、ゲインのみでの調整とせず、ｉＴｏＦセンサ３２の露出調整にオフセットを 与えることでＩＲ画像の明るさの適切化が図られるようになる。
【0183】
なお、信号処理装置３１において、何らかの事情によりＩＲ画像を検波するための検波部３８を設けられない場合も想定される。
その場合には、ＲＡＷ画像の検波値、すなわち、フローティングディフュージョンＦＤごとの蓄積電荷量の検波値に基づき、ＩＲ画像の検波値を推定してもよい。具体的には、画素位置ごとに、各フローティングディフュージョンＦＤの蓄積電荷量の検波値を加算することで、ＩＲ画像の検波値を推定するものである。
その場合には、ＲＡＷ画像の検波値、すなわち、フローティングディフュージョンＦＤごとの蓄積電荷量の検波値に基づき、ＩＲ画像の検波値を推定してもよい。具体的には、画素位置ごとに、各フローティングディフュージョンＦＤの蓄積電荷量の検波値を加算することで、ＩＲ画像の検波値を推定するものである。
【0184】
図４２は、このようなＩＲ画像の検波値推定機能を有する信号処理装置３１Ａの構成例を説明するためのブロック図である。
信号処理装置３１Ａは、信号処理装置３１と比較して、検波部３８が省略されると共に、制御部３５に代えて制御部３５Ａが設けられる。制御部３５Ａは、上述したようなＩＲ画像の明るさ調整に用いるＩＲ画像の検波値を、検波部３７によるＲＡＷ画像の検波値に基づいて推定する点が制御部３５とは異なる。
信号処理装置３１Ａは、信号処理装置３１と比較して、検波部３８が省略されると共に、制御部３５に代えて制御部３５Ａが設けられる。制御部３５Ａは、上述したようなＩＲ画像の明るさ調整に用いるＩＲ画像の検波値を、検波部３７によるＲＡＷ画像の検波値に基づいて推定する点が制御部３５とは異なる。
【0185】
なお、ＩＲ画像の検波値は、信頼度画像が示す測距信頼度に基づき推定することもできる。或いは、ＩＲ画像の検波値は、ＲＡＷ画像の検波信号総量として推定することも考えられる。
【0186】
また、第三実施形態においても、検波値については他画像の検波値から人工知能モデルを用いて推論することもできる。
図４３は、ＲＡＷ画像の検波値からＩＲ画像の検波値を推論する信号処理装置３１Ｂの構成例を説明するためのブロック図である。
信号処理装置３１との相違点は、検波部３８が省略された点と、推論器６５が追加された点である。推論器６５は、検波部３７によるＲＡＷ画像の検波値を入力として人工知能モデルによりＩＲ画像の検波値を推論する。推論器６５における人工知能モデルは、ｉＴｏＦセンサ３２のＲＡＷ画像の検波値を学習用入力データとし、ＩＲ画像の検波値を正解データとした機械学習により得ることができる。
図４３は、ＲＡＷ画像の検波値からＩＲ画像の検波値を推論する信号処理装置３１Ｂの構成例を説明するためのブロック図である。
信号処理装置３１との相違点は、検波部３８が省略された点と、推論器６５が追加された点である。推論器６５は、検波部３７によるＲＡＷ画像の検波値を入力として人工知能モデルによりＩＲ画像の検波値を推論する。推論器６５における人工知能モデルは、ｉＴｏＦセンサ３２のＲＡＷ画像の検波値を学習用入力データとし、ＩＲ画像の検波値を正解データとした機械学習により得ることができる。
【0187】
図４４は、ＩＲ画像の検波値からｉＴｏＦセンサ３２のＲＡＷ画像の検波値を推論する信号処理装置３１Ｃの構成例を説明するためのブロック図である。
信号処理装置３１との相違点は、検波部３７が省略された点と、推論器６６が追加された点である。推論器６６は、検波部３８によるＩＲ画像の検波値を入力として人工知能モデルによりｉＴｏＦセンサ３２のＲＡＷ画像の検波値を推論する。推論器６６における人工知能モデルは、ＩＲ画像の検波値を学習用入力データとし、ｉＴｏＦセンサ３２のＲＡＷ画像の検波値を正解データとした機械学習により得ることができる。
信号処理装置３１との相違点は、検波部３７が省略された点と、推論器６６が追加された点である。推論器６６は、検波部３８によるＩＲ画像の検波値を入力として人工知能モデルによりｉＴｏＦセンサ３２のＲＡＷ画像の検波値を推論する。推論器６６における人工知能モデルは、ＩＲ画像の検波値を学習用入力データとし、ｉＴｏＦセンサ３２のＲＡＷ画像の検波値を正解データとした機械学習により得ることができる。
【0188】
ここで、第三実施形態においても、推論器の人工知能モデルについては、第一実施形態における第六例の場合と同様の要領で再学習を行うことも考えられる。例えば、経過時間やＡＥの動作状況等に関する所定条件成立に応じて再学習を行う等である。
また、再学習を行う場合には、前述したバリデーション部Ｆ２やモデル更新制御部Ｆ３として説明したような再学習モデルの推論結果についての評価結果に基づく人工知能モデルの更新制御を行うこともできる。
また、再学習を行う場合には、前述したバリデーション部Ｆ２やモデル更新制御部Ｆ３として説明したような再学習モデルの推論結果についての評価結果に基づく人工知能モデルの更新制御を行うこともできる。
【0189】
また、検波値の推論に用いる人工知能モデルについては、ＩＲ画像を用いて行われる画像認識処理の精度向上が図られるようにして行うことも考えられる。
ここで言う画像認識処理とは、例えばユーザの顔認識等、特定物体を認識する処理を意味する。
ここで言う画像認識処理とは、例えばユーザの顔認識等、特定物体を認識する処理を意味する。
【0190】
図４５は、このような画像認識精度向上のための学習として、図４３の信号処理装置３１ＢのようにＲＡＷ画像からＩＲ画像の検波値を推論する場合の人工知能モデルの学習に用いる学習装置の構成例を示している。
図示のようにこの場合の学習装置には、信号処理部３４によるゲイン調整後のＩＲ画像について画像認識処理を行う認識処理部４５と、認識処理部４５の画像認識処理による物体の認識率（例えば、正答率）を算出する認識率算出部４６と、強化学習としての機械学習を行う学習器７３とが設けられる。学習器７３には、学習用の入力データとして、検波部３７によるＲＡＷ画像の検波値が入力され、報酬（スコア）データとして認識率算出部４６が算出する認識率が入力される。学習器７３において、このようにＲＡＷ画像の検波値を入力データ、認識率を報酬データとした強化学習が行われることで、推論器６５に適用した場合にＩＲ画像に基づく画像認識率が高まるようにすることのできる人工知能モデルを得ることが可能となる。
図示のようにこの場合の学習装置には、信号処理部３４によるゲイン調整後のＩＲ画像について画像認識処理を行う認識処理部４５と、認識処理部４５の画像認識処理による物体の認識率（例えば、正答率）を算出する認識率算出部４６と、強化学習としての機械学習を行う学習器７３とが設けられる。学習器７３には、学習用の入力データとして、検波部３７によるＲＡＷ画像の検波値が入力され、報酬（スコア）データとして認識率算出部４６が算出する認識率が入力される。学習器７３において、このようにＲＡＷ画像の検波値を入力データ、認識率を報酬データとした強化学習が行われることで、推論器６５に適用した場合にＩＲ画像に基づく画像認識率が高まるようにすることのできる人工知能モデルを得ることが可能となる。
【0191】
図４６は、図４４の信号処理装置３１ＣのようにＩＲ画像からＲＡＷ画像の検波値を推論する場合の人工知能モデルの学習に用いる学習装置の構成例を示している。
この場合の学習装置においては、学習器７３に代えて学習器７４が設けられる。学習器７４としても、学習器７３と同様、強化学習としての機械学習に対応した学習器とされる。
学習器７４には、学習用の入力データとして、検波部３８によるＩＲ画像の検波値が入力され、報酬データとして認識率算出部４６が算出する認識率が入力される。学習器７４において、このようにＩＲ画像の検波値を入力データ、認識率を報酬データとした強化学習が行われることで、推論器６６に適用した場合にＩＲ画像に基づく画像認識率が高まるようにすることのできる人工知能モデルを得ることが可能となる。
この場合の学習装置においては、学習器７３に代えて学習器７４が設けられる。学習器７４としても、学習器７３と同様、強化学習としての機械学習に対応した学習器とされる。
学習器７４には、学習用の入力データとして、検波部３８によるＩＲ画像の検波値が入力され、報酬データとして認識率算出部４６が算出する認識率が入力される。学習器７４において、このようにＩＲ画像の検波値を入力データ、認識率を報酬データとした強化学習が行われることで、推論器６６に適用した場合にＩＲ画像に基づく画像認識率が高まるようにすることのできる人工知能モデルを得ることが可能となる。
【0192】
＜４．変形例＞
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得る。
例えば、上記では、受光センサ２の例として偏光センサ１２、分光センサ２２、ｉＴｏＦセンサ３２を例示したが、受光センサ２としてはこれらのセンサに限るものではなく、例えば画素位置ごとに温度を示す画像であるサーマル画像を得るためのサーマルセンサ等、他のセンサとすることもできる。
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得る。
例えば、上記では、受光センサ２の例として偏光センサ１２、分光センサ２２、ｉＴｏＦセンサ３２を例示したが、受光センサ２としてはこれらのセンサに限るものではなく、例えば画素位置ごとに温度を示す画像であるサーマル画像を得るためのサーマルセンサ等、他のセンサとすることもできる。
【0193】
また、信号処理部による信号処理の例としても、例示したデジタルゲイン調整処理や帯域間引き処理のための行列演算処理に限定されるものではなく、例えばＮＲ（ノイズリダクション）処理等の各種画像補正処理等、他の処理を適用することもできる。
【0194】
＜５．プログラムについて＞
ここで、本技術については、これまでで説明した制御部１５，２５，３５等の処理を実現するためのプログラムとしての発明を考えることができる。
すなわち、実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、複数種類の画像が適切な態様となるように制御する処理を、コンピュータ装置に実行させるプログラムである。
ここで、本技術については、これまでで説明した制御部１５，２５，３５等の処理を実現するためのプログラムとしての発明を考えることができる。
すなわち、実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、複数種類の画像が適切な態様となるように制御する処理を、コンピュータ装置に実行させるプログラムである。
【0195】
このようなプログラムは、コンピュータ装置が読み取り可能な記憶媒体、例えばＲＯＭやＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記憶媒体に、一時的又は永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネット等のネットワークを介してスマートフォン等の所要の情報処理装置にダウンロードすることもできる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネット等のネットワークを介してスマートフォン等の所要の情報処理装置にダウンロードすることもできる。
【0196】
＜６．実施形態のまとめ＞
上記により説明したように、実施形態としての信号処理装置（同１１，１１Ａから１１Ｉ，１１Ｃ’，１１Ｉ’，２１，２１Ａから２１Ｆ，３１，３１Ａ，３１Ｂ，３１Ｃ）は、受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部（同１４，１４Ｉ，１４Ｊ，２４，２４Ａ，３４）と、複数種類の画像が適切な態様となるように信号処理部における信号処理パラメータを制御する制御部（同１５，１５Ａ，１５Ｂ，１５Ｃ，１５Ｄ，１５Ｈ，１５Ｉ，１５Ｊ，２５，２５Ａ，２５Ｃ，２５Ｆ，３５，３５Ａ）と、を備えたものである。
これにより、受光センサの出力に基づき複数種類の画像が生成される場合において、適切な態様の画像が得られるようにするための信号処理が行われるように図られる。例えば、画像の明るさやホワイトバランスの適切化や、複数の画像から適切な画像生成を行うための信号処理等が行われるように図られる。
従って、受光センサの出力に基づき複数種類の画像が生成される場合において、適切な画像が取得されるように図ることができる。
上記により説明したように、実施形態としての信号処理装置（同１１，１１Ａから１１Ｉ，１１Ｃ’，１１Ｉ’，２１，２１Ａから２１Ｆ，３１，３１Ａ，３１Ｂ，３１Ｃ）は、受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部（同１４，１４Ｉ，１４Ｊ，２４，２４Ａ，３４）と、複数種類の画像が適切な態様となるように信号処理部における信号処理パラメータを制御する制御部（同１５，１５Ａ，１５Ｂ，１５Ｃ，１５Ｄ，１５Ｈ，１５Ｉ，１５Ｊ，２５，２５Ａ，２５Ｃ，２５Ｆ，３５，３５Ａ）と、を備えたものである。
これにより、受光センサの出力に基づき複数種類の画像が生成される場合において、適切な態様の画像が得られるようにするための信号処理が行われるように図られる。例えば、画像の明るさやホワイトバランスの適切化や、複数の画像から適切な画像生成を行うための信号処理等が行われるように図られる。
従って、受光センサの出力に基づき複数種類の画像が生成される場合において、適切な画像が取得されるように図ることができる。
【0197】
また、実施形態としての信号処理装置においては、信号処理部は、信号処理としてデジタルゲイン調整処理を行っている。
これにより、複数種類の画像に明るさの差が生じる場合に対応して、それぞれの画像の明るさが適切となるように調整することが可能となる。
従って、受光センサの出力に基づき複数種類の画像が生成される場合において、適切な明るさによる画像が取得されるように図ることができる。
これにより、複数種類の画像に明るさの差が生じる場合に対応して、それぞれの画像の明るさが適切となるように調整することが可能となる。
従って、受光センサの出力に基づき複数種類の画像が生成される場合において、適切な明るさによる画像が取得されるように図ることができる。
【0198】
さらに、実施形態としての信号処理装置においては、制御部は、複数種類の画像のうち信号処理部による信号処理対象とされた画像である処理対象画像の検波値に基づいて、信号処理パラメータを制御する処理を行い、受光センサの出力画像であるＲＡＷ画像に基づき、機械学習された人工知能モデルにより処理対象画像の検波値を推論する推論器（同６０，６３，６５）を備えている。
これにより、処理対象画像の信号処理が当該処理対象画像の検波値に応じて適切に行われるようにするにあたり、処理対象画像を検波するための検波部を設ける必要がなくなる。
従って、信号処理装置の部品点数削減、及び小型化を図ることができる。
これにより、処理対象画像の信号処理が当該処理対象画像の検波値に応じて適切に行われるようにするにあたり、処理対象画像を検波するための検波部を設ける必要がなくなる。
従って、信号処理装置の部品点数削減、及び小型化を図ることができる。
【0199】
さらにまた、実施形態としての信号処理装置においては、複数種類の画像の少なくとも何れかの画像に基づき、機械学習された人工知能モデルにより他種類の画像の検波値を推論する推論器（同６１，６２，６４，６６）を備えている。
例えば、複数種類の画像の一つに基づいて、複数種類の画像のうちの他画像の検波値を推論したり、複数種類の画像の一つに基づいてＲＡＷ画像の検波値を推論したりすることが考えられる。
これにより、検波部の数の削減を図ることができ、信号処理装置の部品点数削減、及び小型化を図ることができる。
例えば、複数種類の画像の一つに基づいて、複数種類の画像のうちの他画像の検波値を推論したり、複数種類の画像の一つに基づいてＲＡＷ画像の検波値を推論したりすることが考えられる。
これにより、検波部の数の削減を図ることができ、信号処理装置の部品点数削減、及び小型化を図ることができる。
【0200】
また、実施形態としての信号処理装置においては、制御部は、再学習された人工知能モデルである再学習モデルを推論器に適用して行われた推論結果についての評価を行い、評価結果に基づき、推論器への前記人工知能モデルの適用について制御している（図２１等参照）。
これにより、実環境における推論結果が良好となる人工知能モデルに更新が行われるようにすることができる。
これにより、実環境における推論結果が良好となる人工知能モデルに更新が行われるようにすることができる。
【0201】
さらに、実施形態としての信号処理装置においては、受光センサが偏光センサとされている。
受光センサが偏光センサとされることで、信号処理装置によっては、偏光成分画像や反射除去画像、反射強調画像等といった複数種類の偏光画像についてそれぞれの画像の明るさが適切となるようにする等、適切な偏光画像が取得されるように図ることができる。
受光センサが偏光センサとされることで、信号処理装置によっては、偏光成分画像や反射除去画像、反射強調画像等といった複数種類の偏光画像についてそれぞれの画像の明るさが適切となるようにする等、適切な偏光画像が取得されるように図ることができる。
【0202】
さらにまた、実施形態としての信号処理装置においては、信号処理部は、偏光センサの出力に基づき生成された複数種類の偏光画像のうち、少なくとも一つの偏光画像についてデジタルゲイン調整処理を行っている。
これにより、偏光成分画像や反射除去画像、反射強調画像等といった複数種類の偏光画像について、少なくとも一つの偏光画像の明るさが他の偏光画像と異なる場合において、各偏光画像の明るさが適切となるように偏光画像に対する信号処理を行うことが可能となる。
従って、適切な偏光画像が取得されるように図ることができる。
これにより、偏光成分画像や反射除去画像、反射強調画像等といった複数種類の偏光画像について、少なくとも一つの偏光画像の明るさが他の偏光画像と異なる場合において、各偏光画像の明るさが適切となるように偏光画像に対する信号処理を行うことが可能となる。
従って、適切な偏光画像が取得されるように図ることができる。
【0203】
また、実施形態としての信号処理装置においては、偏光センサは、偏光角ごとにそれぞれ異なる色の光を受光可能に構成され、偏光画像として、それぞれ複数色の反射除去画像と偏光成分画像とが生成され、信号処理部は、少なくとも反射除去画像について色ごとのデジタルゲイン調整処理を実行可能とされ、制御部は、偏光成分画像の色ごとの検波値に基づいて、信号処理部による反射除去画像についてのデジタルゲイン調整処理を制御している（図２５等参照）。
反射除去画像は、不要な反射が抑えられた画像であり、被写体の色の特定に適した画像となる。また、偏光成分画像は、光源の色をそのまま反射する鏡面反射成分を捉えた画像に相当するものであり、偏光成分画像の色ごとの検波値により光源色を特定可能となる。このため、上記のように偏光成分画像の色ごとの検波値に基づいて反射除去画像についての色ごとのデジタルゲイン調整処理（つまりホワイトバランス調整処理）を制御することで、反射除去画像が示す色情報として、光源色がキャンセルされた色情報を得ることが可能となる。
従って、被写体本来の色を適切に特定することができる。
反射除去画像は、不要な反射が抑えられた画像であり、被写体の色の特定に適した画像となる。また、偏光成分画像は、光源の色をそのまま反射する鏡面反射成分を捉えた画像に相当するものであり、偏光成分画像の色ごとの検波値により光源色を特定可能となる。このため、上記のように偏光成分画像の色ごとの検波値に基づいて反射除去画像についての色ごとのデジタルゲイン調整処理（つまりホワイトバランス調整処理）を制御することで、反射除去画像が示す色情報として、光源色がキャンセルされた色情報を得ることが可能となる。
従って、被写体本来の色を適切に特定することができる。
【0204】
さらに、実施形態としての信号処理装置においては、制御部は、偏光成分画像における一部領域である対象被写体領域における偏光成分画像の検波値に基づいて、信号処理部による反射除去画像についてのデジタルゲイン調整処理を制御している。
画枠内における対象被写体の色を特定する場合において、被写体に複数の光源から光が照射されるＭＩＸ光源の環境下では、画枠内の位置によって光源色のＭＩＸ割合が異なる、すなわち光源色が異なるものとなる。そこで、上記のように対象被写体領域における偏光成分画像の検波値に基づいて、反射除去画像の色ごとのデジタルゲイン調整が行われるようにする。つまり、対象被写体の色の特定にあたり、対象被写体領域における光源色がキャンセルされるようにする。
従って、対象被写体の本来の色を適切に特定することができる。
画枠内における対象被写体の色を特定する場合において、被写体に複数の光源から光が照射されるＭＩＸ光源の環境下では、画枠内の位置によって光源色のＭＩＸ割合が異なる、すなわち光源色が異なるものとなる。そこで、上記のように対象被写体領域における偏光成分画像の検波値に基づいて、反射除去画像の色ごとのデジタルゲイン調整が行われるようにする。つまり、対象被写体の色の特定にあたり、対象被写体領域における光源色がキャンセルされるようにする。
従って、対象被写体の本来の色を適切に特定することができる。
【0205】
さらにまた、実施形態としての信号処理装置においては、受光センサが分光センサとされている。
受光センサが分光センサとされることで、信号処理装置によっては、複数の狭帯域画像についてそれぞれの画像の明るさが適切となるようにしたり、複数の狭帯域画像に基づく画像生成処理として、要求に基づいた特定種類の画像生成が行われるようにしたりする等、適切な画像が取得されるように図ることができる。
受光センサが分光センサとされることで、信号処理装置によっては、複数の狭帯域画像についてそれぞれの画像の明るさが適切となるようにしたり、複数の狭帯域画像に基づく画像生成処理として、要求に基づいた特定種類の画像生成が行われるようにしたりする等、適切な画像が取得されるように図ることができる。
【0206】
また、実施形態としての信号処理装置においては、信号処理部は、分光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像についてデジタルゲイン調整処理を行っている。
これにより、分光センサの出力に基づき生成された複数種類の画像について、少なくとも一つの画像の明るさが他の画像と異なる場合において、各画像の明るさが適切となるように信号処理を行うことが可能となる。
従って、分光センサの出力に基づく画像として適切な画像が取得されるように図ることができる。
これにより、分光センサの出力に基づき生成された複数種類の画像について、少なくとも一つの画像の明るさが他の画像と異なる場合において、各画像の明るさが適切となるように信号処理を行うことが可能となる。
従って、分光センサの出力に基づく画像として適切な画像が取得されるように図ることができる。
【0207】
さらに、実施形態としての信号処理装置においては、信号処理部は、分光センサの出力に基づき生成された複数の狭帯域画像についての帯域間引き行列演算処理を行っている。
これにより、分光センサの出力に基づき生成された複数の狭帯域画像から、帯域数が間引かれた所望の画像群を得ることが可能となる。例えば、複数の狭帯域画像から、より帯域数の少ない狭帯域画像群を得たり、ＲＧＢ画像を得たりすることが可能となる。
従って、分光センサの出力に基づく画像として、例えばアプリケーション等からの要求に応じた適切な画像が取得されるように図ることができる。
これにより、分光センサの出力に基づき生成された複数の狭帯域画像から、帯域数が間引かれた所望の画像群を得ることが可能となる。例えば、複数の狭帯域画像から、より帯域数の少ない狭帯域画像群を得たり、ＲＧＢ画像を得たりすることが可能となる。
従って、分光センサの出力に基づく画像として、例えばアプリケーション等からの要求に応じた適切な画像が取得されるように図ることができる。
【0208】
さらにまた、実施形態としての信号処理装置においては、帯域間引き行列演算処理として、複数の狭帯域画像の数よりも少ない狭帯域画像群を生成する処理と、ＲＧＢ画像を生成する処理とが行われ、信号処理部は、狭帯域画像群についてのデジタルゲイン調整処理と、ＲＧＢ画像についてのデジタルゲイン調整処理とを実行可能に構成され、制御部は、狭帯域画像群についての検波値に基づき、信号処理部における狭帯域画像群についてのデジタルゲイン調整処理の信号処理パラメータを制御すると共に、ＲＧＢ画像についての検波値に基づき、信号処理部におけるＲＧＢ画像についてのデジタルゲイン調整処理の信号処理パラメータを制御している。
これにより、複数の狭帯域画像からの帯域間引き行列演算処理で生成された狭帯域画像群とＲＧＢ画像とについて、それらの画像の明るさ特性が異なる場合に対応して、各画像の明るさをそれぞれの検波値に基づいて適切に調整することが可能となる。
従って、帯域間引き行列演算処理で生成された狭帯域画像群とＲＧＢ画像とについて、適切な明るさによる画像が取得されるように図ることができる。
これにより、複数の狭帯域画像からの帯域間引き行列演算処理で生成された狭帯域画像群とＲＧＢ画像とについて、それらの画像の明るさ特性が異なる場合に対応して、各画像の明るさをそれぞれの検波値に基づいて適切に調整することが可能となる。
従って、帯域間引き行列演算処理で生成された狭帯域画像群とＲＧＢ画像とについて、適切な明るさによる画像が取得されるように図ることができる。
【0209】
また、実施形態としての信号処理装置においては、信号処理部は、分光センサの出力に基づき生成された複数の狭帯域画像のそれぞれについてデジタルゲイン調整処理を実行可能に構成され、制御部は、複数の狭帯域画像それぞれの検波値に基づき特定される光源色の情報に基づいて、信号処理部におけるデジタルゲイン調整処理についての信号処理パラメータを制御している。
これにより、分光センサの出力に基づき生成された複数の狭帯域画像について、光源色をキャンセルするデジタルゲイン調整を行うことが可能となる。
従って、被写体の分光特性情報として、光源色がキャンセルされた分光特性情報が要求される場合に対応して適切な画像が取得されるように図ることができる。
これにより、分光センサの出力に基づき生成された複数の狭帯域画像について、光源色をキャンセルするデジタルゲイン調整を行うことが可能となる。
従って、被写体の分光特性情報として、光源色がキャンセルされた分光特性情報が要求される場合に対応して適切な画像が取得されるように図ることができる。
【0210】
さらに、実施形態としての信号処理装置においては、受光センサがｉＴｏＦセンサとされている。
受光センサがｉＴｏＦセンサとされることで、信号処理装置によっては、ｉＴｏＦセンサの出力に基づき生成されるＩＲ画像の明るさが適切となるようにする等、適切な画像が取得されるように図ることができる。
受光センサがｉＴｏＦセンサとされることで、信号処理装置によっては、ｉＴｏＦセンサの出力に基づき生成されるＩＲ画像の明るさが適切となるようにする等、適切な画像が取得されるように図ることができる。
【0211】
さらにまた、実施形態としての信号処理装置においては、ｉＴｏＦセンサの出力に基づき距離画像とＩＲ画像とが生成され、信号処理部は、信号処理として、ＩＲ画像についてのデジタルゲイン調整処理を行っている。
これにより、ＩＲ画像の明るさが適切となるように信号処理を行うことが可能となる。
従って、ｉＴｏＦセンサの出力に基づきＩＲ画像を含む複数種類の画像が生成される場合において、適切な明るさによるＩＲ画像が得られるように図ることができる。
これにより、ＩＲ画像の明るさが適切となるように信号処理を行うことが可能となる。
従って、ｉＴｏＦセンサの出力に基づきＩＲ画像を含む複数種類の画像が生成される場合において、適切な明るさによるＩＲ画像が得られるように図ることができる。
【0212】
また、実施形態としての信号処理装置においては、制御部は、ｉＴｏＦセンサの出力に基づき算出される測距の信頼度情報に基づいてｉＴｏＦセンサの受光期間調整を行うと共に、ＩＲ画像の検波値に基づいて、信号処理部におけるデジタルゲイン調整処理についての信号処理パラメータを制御している。
測距側を優先したｉＴｏＦセンサの受光期間調整（露出調整）が行われる場合、ＩＲ画像にとっては、必ずしも適切な露出調整とはならない。そこで、上記のようにＩＲ画像の検波値に基づきＩＲ画像のデジタルゲイン調整を行う。
これにより、測距側を優先したｉＴｏＦセンサの露出調整が行われる場合であっても、適切な明るさによるＩＲ画像が得られるように図ることができる。
測距側を優先したｉＴｏＦセンサの受光期間調整（露出調整）が行われる場合、ＩＲ画像にとっては、必ずしも適切な露出調整とはならない。そこで、上記のようにＩＲ画像の検波値に基づきＩＲ画像のデジタルゲイン調整を行う。
これにより、測距側を優先したｉＴｏＦセンサの露出調整が行われる場合であっても、適切な明るさによるＩＲ画像が得られるように図ることができる。
【0213】
さらに、実施形態としての信号処理装置においては、制御部は、信号処理部におけるＩＲ画像のデジタルゲイン調整処理についてゲインのリミット制御を行うと共に、ＩＲ画像の検波値に基づき定まるＩＲ画像についてのデジタルゲイン調整処理の目標ゲインと、リミット制御におけるゲインのリミット値との比較結果に基づき、ｉＴｏＦセンサの受光期間調整を行っている。
上記のようなゲインのリミット制御により、過度なデジタルゲイン調整によりＩＲ画像の画質が著しく劣化してしまうことの防止が図られる。そして、上記のような目標ゲインとゲインのリミット値との比較結果に基づく受光期間調整を行うことで、リミット制御により制限された分の明るさ調整を、ｉＴｏＦセンサの受光期間調整により行うことが可能となり、ＩＲ画像が適切な明るさとなるように図ることが可能となる。
従って、ＩＲ画像の画質劣化抑制とＩＲ画像の明るさ適切化との両立を図ることができる。
上記のようなゲインのリミット制御により、過度なデジタルゲイン調整によりＩＲ画像の画質が著しく劣化してしまうことの防止が図られる。そして、上記のような目標ゲインとゲインのリミット値との比較結果に基づく受光期間調整を行うことで、リミット制御により制限された分の明るさ調整を、ｉＴｏＦセンサの受光期間調整により行うことが可能となり、ＩＲ画像が適切な明るさとなるように図ることが可能となる。
従って、ＩＲ画像の画質劣化抑制とＩＲ画像の明るさ適切化との両立を図ることができる。
【0214】
実施形態としての信号処理方法は、信号処理装置が実行する信号処理方法であって、受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、複数種類の画像が適切な態様となるように制御する信号処理方法である。
このような信号処理方法によっても、上記した実施形態としての信号処理装置と同様の作用及び効果を得ることができる。
このような信号処理方法によっても、上記した実施形態としての信号処理装置と同様の作用及び効果を得ることができる。
【0215】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0216】
＜７．本技術＞
なお本技術は以下のような構成も採ることができる。
（１）
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部と、
前記複数種類の画像が適切な態様となるように前記信号処理部における信号処理パラメータを制御する制御部と、を備えた
信号処理装置。
（２）
前記信号処理部は、前記信号処理としてデジタルゲイン調整処理を行う
前記（１）に記載の信号処理装置。
（３）
前記制御部は、前記複数種類の画像のうち前記信号処理部による信号処理対象とされた画像である処理対象画像の検波値に基づいて、前記信号処理パラメータを制御する処理を行い、
前記受光センサの出力画像であるＲＡＷ画像に基づき、機械学習された人工知能モデルにより前記処理対象画像の検波値を推論する推論器を備えた
前記（１）又は（２）に記載の信号処理装置。
（４）
前記複数種類の画像の少なくとも何れかの画像に基づき、機械学習された人工知能モデルにより他種類の画像の検波値を推論する推論器を備えた
前記（１）から（３）の何れかに記載の信号処理装置。
（５）
前記制御部は、
再学習された前記人工知能モデルである再学習モデルを前記推論器に適用して行われた推論結果についての評価を行い、評価結果に基づき、前記推論器への前記人工知能モデルの適用について制御する
前記（３）又は（４）に記載の信号処理装置。
（６）
前記受光センサが偏光センサとされた
前記（１）から（５）の何れかに記載の信号処理装置。
（７）
前記信号処理部は、前記偏光センサの出力に基づき生成された複数種類の偏光画像のうち、少なくとも一つの偏光画像についてデジタルゲイン調整処理を行う
前記（６）に記載の信号処理装置。
（８）
前記偏光センサは、偏光角ごとにそれぞれ異なる色の光を受光可能に構成され、
前記偏光画像として、それぞれ複数色の反射除去画像と偏光成分画像とが生成され、
前記信号処理部は、少なくとも前記反射除去画像について色ごとのデジタルゲイン調整処理を実行可能とされ、
前記制御部は、
前記偏光成分画像の色ごとの検波値に基づいて、前記信号処理部による前記反射除去画像についてのデジタルゲイン調整処理を制御する
前記（７）に記載の信号処理装置。
（９）
前記制御部は、
前記偏光成分画像における一部領域である対象被写体領域における偏光成分画像の検波値に基づいて、前記信号処理部による前記反射除去画像についてのデジタルゲイン調整処理を制御する
前記（８）に記載の信号処理装置。
（１０）
前記受光センサが分光センサとされた
前記（１）から（５）の何れかに記載の信号処理装置。
（１１）
前記信号処理部は、前記分光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像についてデジタルゲイン調整処理を行う
前記（１０）に記載の信号処理装置。
（１２）
前記信号処理部は、前記分光センサの出力に基づき生成された複数の狭帯域画像についての帯域間引き行列演算処理を行う
前記（１０）又は（１１）に記載の信号処理装置。
（１３）
前記帯域間引き行列演算処理として、前記複数の狭帯域画像の数よりも少ない狭帯域画像群を生成する処理と、ＲＧＢ画像を生成する処理とが行われ、
前記信号処理部は、
前記狭帯域画像群についてのデジタルゲイン調整処理と、前記ＲＧＢ画像についてのデジタルゲイン調整処理とを実行可能に構成され、
前記制御部は、
前記狭帯域画像群についての検波値に基づき、前記信号処理部における前記狭帯域画像群についてのデジタルゲイン調整処理の信号処理パラメータを制御すると共に、前記ＲＧＢ画像についての検波値に基づき、前記信号処理部における前記ＲＧＢ画像についてのデジタルゲイン調整処理の信号処理パラメータを制御する
前記（１２）に記載の信号処理装置。
（１４）
前記信号処理部は、前記分光センサの出力に基づき生成された複数の狭帯域画像のそれぞれについてデジタルゲイン調整処理を実行可能に構成され、
前記制御部は、
前記複数の狭帯域画像それぞれの検波値に基づき特定される光源色の情報に基づいて、前記信号処理部における前記デジタルゲイン調整処理についての前記信号処理パラメータを制御する
前記（１１）から（１３）の何れかに記載の信号処理装置。
（１５）
前記受光センサがｉＴｏＦセンサとされた
前記（１）から（５）の何れかに記載の信号処理装置。
（１６）
前記ｉＴｏＦセンサの出力に基づき距離画像とＩＲ画像とが生成され、
前記信号処理部は、前記信号処理として、前記ＩＲ画像についてのデジタルゲイン調整処理を行う
前記（１５）に記載の信号処理装置。
（１７）
前記制御部は、
前記ｉＴｏＦセンサの出力に基づき算出される測距の信頼度情報に基づいて前記ｉＴｏＦセンサの受光期間調整を行うと共に、前記ＩＲ画像の検波値に基づいて、前記信号処理部における前記デジタルゲイン調整処理についての前記信号処理パラメータを制御する
前記（１６）に記載の信号処理装置。
（１８）
前記制御部は、
前記信号処理部における前記ＩＲ画像のデジタルゲイン調整処理についてゲインのリミット制御を行うと共に、前記ＩＲ画像の検波値に基づき定まる前記ＩＲ画像についてのデジタルゲイン調整処理の目標ゲインと、前記リミット制御におけるゲインのリミット値との比較結果に基づき、前記ｉＴｏＦセンサの受光期間調整を行う
前記（１７）に記載の信号処理装置。
（１９）
信号処理装置が実行する信号処理方法であって、
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、前記複数種類の画像が適切な態様となるように制御する
信号処理方法。
（２０）
コンピュータ装置が読み取り可能なプログラムであって、
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、前記複数種類の画像が適切な態様となるように制御する処理を、前記コンピュータ装置に実行させる
プログラム。
なお本技術は以下のような構成も採ることができる。
（１）
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部と、
前記複数種類の画像が適切な態様となるように前記信号処理部における信号処理パラメータを制御する制御部と、を備えた
信号処理装置。
（２）
前記信号処理部は、前記信号処理としてデジタルゲイン調整処理を行う
前記（１）に記載の信号処理装置。
（３）
前記制御部は、前記複数種類の画像のうち前記信号処理部による信号処理対象とされた画像である処理対象画像の検波値に基づいて、前記信号処理パラメータを制御する処理を行い、
前記受光センサの出力画像であるＲＡＷ画像に基づき、機械学習された人工知能モデルにより前記処理対象画像の検波値を推論する推論器を備えた
前記（１）又は（２）に記載の信号処理装置。
（４）
前記複数種類の画像の少なくとも何れかの画像に基づき、機械学習された人工知能モデルにより他種類の画像の検波値を推論する推論器を備えた
前記（１）から（３）の何れかに記載の信号処理装置。
（５）
前記制御部は、
再学習された前記人工知能モデルである再学習モデルを前記推論器に適用して行われた推論結果についての評価を行い、評価結果に基づき、前記推論器への前記人工知能モデルの適用について制御する
前記（３）又は（４）に記載の信号処理装置。
（６）
前記受光センサが偏光センサとされた
前記（１）から（５）の何れかに記載の信号処理装置。
（７）
前記信号処理部は、前記偏光センサの出力に基づき生成された複数種類の偏光画像のうち、少なくとも一つの偏光画像についてデジタルゲイン調整処理を行う
前記（６）に記載の信号処理装置。
（８）
前記偏光センサは、偏光角ごとにそれぞれ異なる色の光を受光可能に構成され、
前記偏光画像として、それぞれ複数色の反射除去画像と偏光成分画像とが生成され、
前記信号処理部は、少なくとも前記反射除去画像について色ごとのデジタルゲイン調整処理を実行可能とされ、
前記制御部は、
前記偏光成分画像の色ごとの検波値に基づいて、前記信号処理部による前記反射除去画像についてのデジタルゲイン調整処理を制御する
前記（７）に記載の信号処理装置。
（９）
前記制御部は、
前記偏光成分画像における一部領域である対象被写体領域における偏光成分画像の検波値に基づいて、前記信号処理部による前記反射除去画像についてのデジタルゲイン調整処理を制御する
前記（８）に記載の信号処理装置。
（１０）
前記受光センサが分光センサとされた
前記（１）から（５）の何れかに記載の信号処理装置。
（１１）
前記信号処理部は、前記分光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像についてデジタルゲイン調整処理を行う
前記（１０）に記載の信号処理装置。
（１２）
前記信号処理部は、前記分光センサの出力に基づき生成された複数の狭帯域画像についての帯域間引き行列演算処理を行う
前記（１０）又は（１１）に記載の信号処理装置。
（１３）
前記帯域間引き行列演算処理として、前記複数の狭帯域画像の数よりも少ない狭帯域画像群を生成する処理と、ＲＧＢ画像を生成する処理とが行われ、
前記信号処理部は、
前記狭帯域画像群についてのデジタルゲイン調整処理と、前記ＲＧＢ画像についてのデジタルゲイン調整処理とを実行可能に構成され、
前記制御部は、
前記狭帯域画像群についての検波値に基づき、前記信号処理部における前記狭帯域画像群についてのデジタルゲイン調整処理の信号処理パラメータを制御すると共に、前記ＲＧＢ画像についての検波値に基づき、前記信号処理部における前記ＲＧＢ画像についてのデジタルゲイン調整処理の信号処理パラメータを制御する
前記（１２）に記載の信号処理装置。
（１４）
前記信号処理部は、前記分光センサの出力に基づき生成された複数の狭帯域画像のそれぞれについてデジタルゲイン調整処理を実行可能に構成され、
前記制御部は、
前記複数の狭帯域画像それぞれの検波値に基づき特定される光源色の情報に基づいて、前記信号処理部における前記デジタルゲイン調整処理についての前記信号処理パラメータを制御する
前記（１１）から（１３）の何れかに記載の信号処理装置。
（１５）
前記受光センサがｉＴｏＦセンサとされた
前記（１）から（５）の何れかに記載の信号処理装置。
（１６）
前記ｉＴｏＦセンサの出力に基づき距離画像とＩＲ画像とが生成され、
前記信号処理部は、前記信号処理として、前記ＩＲ画像についてのデジタルゲイン調整処理を行う
前記（１５）に記載の信号処理装置。
（１７）
前記制御部は、
前記ｉＴｏＦセンサの出力に基づき算出される測距の信頼度情報に基づいて前記ｉＴｏＦセンサの受光期間調整を行うと共に、前記ＩＲ画像の検波値に基づいて、前記信号処理部における前記デジタルゲイン調整処理についての前記信号処理パラメータを制御する
前記（１６）に記載の信号処理装置。
（１８）
前記制御部は、
前記信号処理部における前記ＩＲ画像のデジタルゲイン調整処理についてゲインのリミット制御を行うと共に、前記ＩＲ画像の検波値に基づき定まる前記ＩＲ画像についてのデジタルゲイン調整処理の目標ゲインと、前記リミット制御におけるゲインのリミット値との比較結果に基づき、前記ｉＴｏＦセンサの受光期間調整を行う
前記（１７）に記載の信号処理装置。
（１９）
信号処理装置が実行する信号処理方法であって、
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、前記複数種類の画像が適切な態様となるように制御する
信号処理方法。
（２０）
コンピュータ装置が読み取り可能なプログラムであって、
受光素子を有する画素が二次元に配列された受光センサの出力に基づき生成された複数種類の画像のうち、少なくとも一つの画像について信号処理を行う信号処理部における信号処理パラメータを、前記複数種類の画像が適切な態様となるように制御する処理を、前記コンピュータ装置に実行させる
プログラム。
【符号の説明】
【0217】
１，１１，１１Ａから１１Ｉ，１１Ｃ’，１１Ｉ’，２１，２１Ａから２１Ｆ，３１，３１Ａ，３１Ｂ，３１Ｃ 信号処理装置
２ 受光センサ
３ 画像生成部
４，１４，１４Ｉ，１４Ｊ，２４，２４Ａ，３４ 信号処理部
５，１５，１５Ａ，１５Ｂ，１５Ｃ，１５Ｄ，１５Ｈ，１５Ｉ，１５Ｊ，２５，２５Ａ，２５Ｃ，２５Ｆ，３５，３５Ａ 制御部
１２ 偏光センサ
１３ 偏光画像生成部
１３ａ 画像編成部
１３ｂ デモザイク部
１３ｃ 偏光状態推定部
１３ｄ 偏光画像生成処理部
Ａｐ アプリケーション
Ｐｘ，Ｐｘ’，Ｐｘ” 画素
ＰＰ 偏光画素ユニット
ＰＣ カラー偏光画素ユニット
１６，１７ 検波部
１８ ＲＧＢ検波部
６０，６１，６２，６３，６４，６５，６６ 推論器
７０，７１，７２，７３ 学習器
８０，８０Ｊ，８１ 物体検出部
２００ 再学習装置
Ｆ１ 再学習開始制御部
Ｆ２ バリデーション部
Ｆ３ モデル更新制御部
Ａｔ，Ａｔ１，Ａｔ２ 対象被写体領域
２２ 分光センサ
２３ 分光画像生成部
２３ａ デモザイク部
２３ｂ 狭帯域画像生成部
２６，２９－１，２９－２，４０ 検波部
２７ メモリ
２８ 評価値算出部
Ｐｕ 分光画素ユニット
Ｉｃ 光源色情報
３２ ｉＴｏＦセンサ
３３ 画像生成部
３３ａ 距離画像生成部
３３ｂ ＩＲ画像生成部
３３ｃ 信頼度画像生成部
３６ 発光部
３７，３８ 検波部
Ｏｂ 対象物体
Ｌｉ 照射光
Ｌｒ 反射光
４５ 認識処理部
４６ 認識率算出部
１１１ 画素アレイ部
ＰＤ フォトダイオード
ＦＤ，ＦＤ－Ａ，ＦＤ－Ｂ フローティングディフュージョン
２ 受光センサ
３ 画像生成部
４，１４，１４Ｉ，１４Ｊ，２４，２４Ａ，３４ 信号処理部
５，１５，１５Ａ，１５Ｂ，１５Ｃ，１５Ｄ，１５Ｈ，１５Ｉ，１５Ｊ，２５，２５Ａ，２５Ｃ，２５Ｆ，３５，３５Ａ 制御部
１２ 偏光センサ
１３ 偏光画像生成部
１３ａ 画像編成部
１３ｂ デモザイク部
１３ｃ 偏光状態推定部
１３ｄ 偏光画像生成処理部
Ａｐ アプリケーション
Ｐｘ，Ｐｘ’，Ｐｘ” 画素
ＰＰ 偏光画素ユニット
ＰＣ カラー偏光画素ユニット
１６，１７ 検波部
１８ ＲＧＢ検波部
６０，６１，６２，６３，６４，６５，６６ 推論器
７０，７１，７２，７３ 学習器
８０，８０Ｊ，８１ 物体検出部
２００ 再学習装置
Ｆ１ 再学習開始制御部
Ｆ２ バリデーション部
Ｆ３ モデル更新制御部
Ａｔ，Ａｔ１，Ａｔ２ 対象被写体領域
２２ 分光センサ
２３ 分光画像生成部
２３ａ デモザイク部
２３ｂ 狭帯域画像生成部
２６，２９－１，２９－２，４０ 検波部
２７ メモリ
２８ 評価値算出部
Ｐｕ 分光画素ユニット
Ｉｃ 光源色情報
３２ ｉＴｏＦセンサ
３３ 画像生成部
３３ａ 距離画像生成部
３３ｂ ＩＲ画像生成部
３３ｃ 信頼度画像生成部
３６ 発光部
３７，３８ 検波部
Ｏｂ 対象物体
Ｌｉ 照射光
Ｌｒ 反射光
４５ 認識処理部
４６ 認識率算出部
１１１ 画素アレイ部
ＰＤ フォトダイオード
ＦＤ，ＦＤ－Ａ，ＦＤ－Ｂ フローティングディフュージョン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】