知財求人 - 知財ポータルサイト「IP Force」
特開2024-10804分光情報画像推定装置、分光情報画像推定方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024010804
(43)【公開日】2024-01-25
(54)【発明の名称】分光情報画像推定装置、分光情報画像推定方法及びプログラム
(51)【国際特許分類】
G06V 10/58 20220101AFI20240118BHJP
G06T 7/00 20170101ALI20240118BHJP
G01J 3/51 20060101ALI20240118BHJP
G01J 3/02 20060101ALI20240118BHJP
【ＦＩ】
G06V10/58
G06T7/00 350B
G01J3/51
G01J3/02 C
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022112314
(22)【出願日】2022-07-13
(71)【出願人】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】千葉 崇人
(72)【発明者】
【氏名】酒井 修二
(72)【発明者】
【氏名】渡邉 隆史
【テーマコード（参考）】
2G020
5L096
【Ｆターム（参考）】
2G020AA08
2G020CB55
2G020CC28
2G020CC63
2G020CD06
2G020CD12
2G020CD24
2G020CD36
2G020CD38
2G020DA13
2G020DA34
5L096AA02
5L096AA06
5L096CA02
5L096DA01
5L096DA02
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】ＲＧＢ画像（３バンドの画像、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の４バンド以上の分光情報画像（分光反射率画像、分光画像）を、容易に、かつより精度高く推定することが可能な分光情報画像推定装置を提供する。
【解決手段】本発明の分光情報画像推定装置は、被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定部と、前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定部と、を備える。
【選択図】図１３
【解決手段】本発明の分光情報画像推定装置は、被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定部と、前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定部と、を備える。
【選択図】図１３
【特許請求の範囲】
【請求項1】
被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定部と、
前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定部と、
を備えることを特徴とする分光情報画像推定装置。
前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定部と、
を備えることを特徴とする分光情報画像推定装置。
【請求項2】
前記第１分光反射率推定部は、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とを第１機械学習モデルに入力し、前記第１分光情報画像を推定する
ことを特徴とする請求項１に記載の分光情報画像推定装置。
ことを特徴とする請求項１に記載の分光情報画像推定装置。
【請求項3】
前記第２分光反射率推定部は、前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とを第２機械学習モデルに入力し、前記第２分光情報画像を推定し、
前記第２機械学習モデルは、入力された前記第１分光情報画像の分光情報と、前記撮像装置分光感度と、前記光源分光分布とに基づきＲＧＢ画像を生成し、入力されたＲＧＢ画像と生成したＲＧＢ画像との損失が小さくなるよう前記第２機械学習モデルのパラメータを繰り返し更新することで、前記第１分光情報画像を補正する、
ことを特徴とする請求項１に記載の分光情報画像推定装置。
前記第２機械学習モデルは、入力された前記第１分光情報画像の分光情報と、前記撮像装置分光感度と、前記光源分光分布とに基づきＲＧＢ画像を生成し、入力されたＲＧＢ画像と生成したＲＧＢ画像との損失が小さくなるよう前記第２機械学習モデルのパラメータを繰り返し更新することで、前記第１分光情報画像を補正する、
ことを特徴とする請求項１に記載の分光情報画像推定装置。
【請求項4】
前記第２分光反射率推定部は、前記第２機械学習モデルの前記パラメータの初期値として、事前学習によって算出した値を設定する、
ことを特徴とする請求項３に記載の分光情報画像推定装置。
ことを特徴とする請求項３に記載の分光情報画像推定装置。
【請求項5】
前記第１機械学習モデルは、分光反射率が既知のＲＧＢ画像である教師画像と、前記教師画像を撮像した撮像装置の撮像分光感度と、前記教師画像を撮像した環境の光源分光分布とを教師データとし、前記教師画像の既知の分光情報と、前記第１機械学習モデルの推定する前記第１分光情報画像の分光情報との誤差から求めた値を損失とし、機械学習した学習済みモデルである、
ことを特徴とする請求項２に記載の分光情報画像推定装置。
ことを特徴とする請求項２に記載の分光情報画像推定装置。
【請求項6】
前記損失は、前記第１機械学習モデルの推定する前記第１分光情報画像の分光情報、前記教師画像を撮像した撮像装置の撮像分光感度、及び前記教師画像を撮像した環境の前記光源分光分布から生成されるＲＧＢ画像と、前記教師画像のＲＧＢ画像との誤差を含んでいる、
ことを特徴とする請求項５に記載の分光情報画像推定装置。
ことを特徴とする請求項５に記載の分光情報画像推定装置。
【請求項7】
前記損失は、推定される前記第１分光情報画像における隣接する波長間の分光反射率の差分を含んでいる、
ことを特徴とする請求項５に記載の分光情報画像推定装置。
ことを特徴とする請求項５に記載の分光情報画像推定装置。
【請求項8】
前記損失は、第１積分値と第２積分値との差から求める値を含み、
前記第１積分値は、前記教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値であり、
前記第２積分値は、前記第１機械学習モデルによって推定された前記第１分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である、
ことを特徴とする請求項５に記載の分光情報画像推定装置。
前記第１積分値は、前記教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値であり、
前記第２積分値は、前記第１機械学習モデルによって推定された前記第１分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である、
ことを特徴とする請求項５に記載の分光情報画像推定装置。
【請求項9】
前記損失は、前記教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、前記第１機械学習モデルによって推定された前記第１分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差を含んでいる、
ことを特徴とする請求項５に記載の分光情報画像推定装置。
ことを特徴とする請求項５に記載の分光情報画像推定装置。
【請求項10】
前記損失は、推定される前記第２分光情報画像における隣接する波長間の分光反射率の差分を含んでいる、
ことを特徴とする請求項３に記載の分光情報画像推定装置。
ことを特徴とする請求項３に記載の分光情報画像推定装置。
【請求項11】
前記損失は、教師画像の既知の分光情報と、前記第２機械学習モデルの推定する前記第２分光情報画像の分光情報との誤差から求めた値を含んでいる、
ことを特徴とする請求項４に記載の分光情報画像推定装置。
ことを特徴とする請求項４に記載の分光情報画像推定装置。
【請求項12】
前記損失は、前記第２機械学習モデルの推定する前記第２分光情報画像の分光情報、前記教師画像を撮像した撮像装置の撮像分光感度、及び前記教師画像を撮像した環境の前記光源分光分布から生成されるＲＧＢ画像と、前記教師画像のＲＧＢ画像との誤差を含んでいる、
ことを特徴とする請求項１１に記載の分光情報画像推定装置。
ことを特徴とする請求項１１に記載の分光情報画像推定装置。
【請求項13】
前記損失は、推定される前記第２分光情報画像における隣接する波長間の分光反射率の差分を含んでいる、
ことを特徴とする請求項１１に記載の分光情報画像推定装置。
ことを特徴とする請求項１１に記載の分光情報画像推定装置。
【請求項14】
前記損失は、第１積分値と第３積分値との差から求める値を含み、
前記第１積分値は、前記教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値であり、
前記第３積分値は、前記第２機械学習モデルによって推定された前記第２分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である、
ことを特徴とする請求項１１に記載の分光情報画像推定装置。
前記第１積分値は、前記教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値であり、
前記第３積分値は、前記第２機械学習モデルによって推定された前記第２分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である、
ことを特徴とする請求項１１に記載の分光情報画像推定装置。
【請求項15】
前記損失は、前記教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、前記第２機械学習モデルによって推定された前記第２分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差を含んでいる、
ことを特徴とする請求項１１に記載の分光情報画像推定装置。
ことを特徴とする請求項１１に記載の分光情報画像推定装置。
【請求項16】
複数の分光情報画像を含む分光情報画像データセット、複数の光源分光分布を含む光源分光分布データセット、及び複数の撮像装置分光感度を含む撮像装置分光感度データセットの各データセットから分光情報画像、光源分光分布、及び撮像装置分光感度をそれぞれ選択し、選択した分光情報画像、光源分光分布、及び撮像装置分光感度からＲＧＢ画像を教師画像として生成するデータ生成部と、
生成された前記教師画像を用いて、前記機械学習モデルを生成する機械学習モデル生成部と、
をさらに備える請求項２又は請求項４に記載の分光情報画像推定装置。
生成された前記教師画像を用いて、前記機械学習モデルを生成する機械学習モデル生成部と、
をさらに備える請求項２又は請求項４に記載の分光情報画像推定装置。
【請求項17】
前記データ生成部は、選択した分光情報画像、光源分光分布、及び撮像装置分光感度に対して任意の倍率を与えることで、前記教師画像を生成するための分光情報画像、光源分光分布、及び撮像装置分光感度を新しく生成する、
ことを特徴とする請求項１６に記載の分光情報画像推定装置。
ことを特徴とする請求項１６に記載の分光情報画像推定装置。
【請求項18】
前記光源分光分布データセットは、前記光源分光分布における含有比率が大きい分光成分を含み、
前記撮像装置分光感度データセットは、前記撮像装置分光感度における含有比率が大きい分光成分を含み、
前記データ生成部は、前記分光成分に対して所定の係数を乗算し、乗算結果を加算あるいは減算することで、前記教師画像を生成するための前記光源分光分布又は撮像装置分光感度を新しく生成する、
ことを特徴とする請求項１６に記載の分光情報画像推定装置。
前記撮像装置分光感度データセットは、前記撮像装置分光感度における含有比率が大きい分光成分を含み、
前記データ生成部は、前記分光成分に対して所定の係数を乗算し、乗算結果を加算あるいは減算することで、前記教師画像を生成するための前記光源分光分布又は撮像装置分光感度を新しく生成する、
ことを特徴とする請求項１６に記載の分光情報画像推定装置。
【請求項19】
第１分光反射率推定部が、被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定過程と、
第２分光反射率推定部が、前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定過程と、
を含むことを特徴とする分光情報画像推定方法。
第２分光反射率推定部が、前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定過程と、
を含むことを特徴とする分光情報画像推定方法。
【請求項20】
コンピュータを、
被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定手段と、
前記第１分光反射率推定手段によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定手段と、
として機能させるためのプログラム。
被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定手段と、
前記第１分光反射率推定手段によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＲＧＢ画像から分光情報画像（分光画像）を推定する分光情報画像推定装置、分光情報画像推定方法及びプログラムに関する。
【背景技術】
【0002】
物体が撮像された画像や映像から、当該物体の解析や分析を行う際に、分光反射率が利用されている。
そのため、物体の測色値を高い精度で取得するため、撮影された画像から被写体の分光反射率を推定して色推定を行なうことが行われる。
この場合、マルチバンドカメラで物体を撮像して、撮像した画像からマルチバンド（４バンド以上、例えば３１バンド）の分光反射率としての分光画像を取得している。
また、マルチバンドカメラにより撮像した画像から物体の分光反射率を推定する際には、このマルチバンドカメラの各バンドの分光感度特性、及び被写体の分光的な統計情報を用いて推定を行っている。
そのため、物体の測色値を高い精度で取得するため、撮影された画像から被写体の分光反射率を推定して色推定を行なうことが行われる。
この場合、マルチバンドカメラで物体を撮像して、撮像した画像からマルチバンド（４バンド以上、例えば３１バンド）の分光反射率としての分光画像を取得している。
また、マルチバンドカメラにより撮像した画像から物体の分光反射率を推定する際には、このマルチバンドカメラの各バンドの分光感度特性、及び被写体の分光的な統計情報を用いて推定を行っている。
【0003】
しかし、マルチバンドカメラが高価なため、一般的に用いられている３バンドのデジタルカメラにより撮像した色成分Ｒ、色成分Ｇ及び色成分Ｂの３個の色のバンド（Ｒチャネル、Ｇチャネル及びＢチャネルの各チャネル）の画像（以下、ＲＧＢ画像）から、マルチバンドの分光情報を有する分光画像を推定することが行われている。
ここで、入力データをＲＧＢ画像とした機械学習モデル（ＣＮＮ（Convolutional Neural Networks）、ディープラーニングなど）により、ＲＧＢ画像における各画素の分光反射率の推定し、分光画像を推定結果として出力することが行われている（非特許文献１、非特許文献２を参照）。
ここで、入力データをＲＧＢ画像とした機械学習モデル（ＣＮＮ（Convolutional Neural Networks）、ディープラーニングなど）により、ＲＧＢ画像における各画素の分光反射率の推定し、分光画像を推定結果として出力することが行われている（非特許文献１、非特許文献２を参照）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Jiaojiao Li, Chaoxiong Wu, Rui Song, Yunsong Li, Fei Liu, "Adaptive Weighted Attention Network with Camera Spectral Sensitivity Prior for Spectral Reconstruction from RGB Images", 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), June 2020
【非特許文献2】Zhan Shi, Chang Chen, Zhiwei Xiong, Dong Liu, Feng Wu, "HSCNN+: Advanced CNN-Based Hyperspectral Recovery from RGB Images", 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), June 2018
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記非特許文献１及び非特許文献２の各々は、高精度に物体の各々の分光特性を抽出することができるが、分光特性として分光反射率ではなく、分光放射輝度を推定している。
また、カメラ分光感度を固定して推定しているため、機械学習モデルの各々はそれぞれの撮像装置毎に作成する必要がある。
さらに、推定される分光情報が分光放射輝度であるため、撮像環境における光源の分光分布（以下、光源分光分布）が含まれた状態となっており、撮像環境の光源分光分布を用いて、分光放射輝度から分光反射率を推定する必要がある。
また、カメラ分光感度を固定して推定しているため、機械学習モデルの各々はそれぞれの撮像装置毎に作成する必要がある。
さらに、推定される分光情報が分光放射輝度であるため、撮像環境における光源の分光分布（以下、光源分光分布）が含まれた状態となっており、撮像環境の光源分光分布を用いて、分光放射輝度から分光反射率を推定する必要がある。
【0006】
このため、非特許文献１及び非特許文献２の各々の機械学習モデルでは、任意の撮像装置、かつ任意の撮像環境で撮像したＲＧＢ画像それぞれから、物体の分光反射率を簡易に求めることができない。
すなわち、非特許文献１及び非特許文献２の各々においては、対象となる撮像装置毎に、推定を行う撮像環境のそれぞれの機械学習モデルを生成する必要がある。
また、非特許文献１及び非特許文献２の各々においては、推定された分光放射輝度と光源分光分布とを用いて、物体の分光反射率を推定する処理を行う必要がある。
すなわち、非特許文献１及び非特許文献２の各々においては、対象となる撮像装置毎に、推定を行う撮像環境のそれぞれの機械学習モデルを生成する必要がある。
また、非特許文献１及び非特許文献２の各々においては、推定された分光放射輝度と光源分光分布とを用いて、物体の分光反射率を推定する処理を行う必要がある。
【0007】
本発明は、このような状況に鑑みてなされたもので、ＲＧＢ画像（３バンドの画像、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の４バンド以上の分光情報画像（分光反射率画像、分光画像）を、容易に、かつより精度高く推定することが可能な分光情報画像推定装置、分光情報画像推定方法及びプログラムを提供する。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明の一態様に係る分光情報画像推定装置は、被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定部と、前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定部と、を備えることを特徴とする。
【0009】
本発明の一態様に係る分光情報画像推定方法は、第１分光反射率推定部が、被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定過程と、第２分光反射率推定部が、前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定過程と、を含むことを特徴とする。
【0010】
本発明の一態様に係るプログラムは、コンピュータを、被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定手段と、前記第１分光反射率推定手段によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定手段と、として機能させる。
【発明の効果】
【0011】
本発明によれば、ＲＧＢ画像（３バンドの画像、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の４バンド以上の分光情報画像（分光反射率画像、分光画像）を、容易に、かつマルチバンドカメラで撮像した画像と同程度の精度で推定する分光情報画像推定装置、分光情報画像推定方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0012】
【図1】ＲＧＢ画像から分光反射率情報としての分光画像、あるいは、分光情報画像を出力する機械学習モデル（ＣＮＮ（Convolutional Neural Network）、ニューラルネットワーク、ディープラーニングなど）の例を示す概念図である。
【図2】第１の実施形態に係る分光情報画像推定装置の構成例を示すブロック図である。
【図3】機械学習モデルを学習させるために用いる教師データのデータセットを有する教師データテーブルの構成例を示す図である。
【図4】データ合成部１２による教師データの合成について説明する概念図である。
【図5】機械学習モデルに分光情報画像を推定させるために用いる撮像画像データのデータセットを有する撮像画像データテーブルの構成例を示す図である。
【図6】分光情報画像データ記憶部１９の分光情報画像データテーブルの構成例を示す図である。
【図7】本実施形態に係る機械学習モデル生成部１３による機械学習モデルの教師データによる学習処理の動作例を示すフローチャートである。
【図8】本実施形態に係る分光反射率推定部１４による学習済みの機械学習モデルを利用してＲＧＢ画像から分光情報画像を推定する処理の動作例を示すフローチャートである。
【図9】機械学習モデル及び補正機械学習モデルの各々による、分光反射率の曲線を構成する基底関数の係数の推定を説明する概念図である。
【図10】第２の実施形態における機械学習モデルの中間層に対して、撮像装置分光感度及び光源分光分布の各々のデータの入力を説明する概念図である。
【図11】第３の実施形態における第１分光反射率推定部１４１が用いる機械学習モデルの構成例を説明する概念図である。
【図12】第４の実施形態に係る分光情報画像推定装置の構成例を示すブロック図である。
【図13】第５の実施形態に係る分光情報画像推定装置の構成例を示すブロック図である。
【図14】第５の実施形態に係る機械学習モデル生成部１３Ｂによる機械学習モデルの教師データによる学習処理の動作例を示すフローチャートである。
【図15】第５の実施形態に係る分光反射率推定部１４Ｂによる学習済みの機械学習モデルを利用してＲＧＢ画像から分光情報画像を推定する処理の動作例を示すフローチャートである。
【図16】第５の実施形態に係る機械学習モデル生成部１３Ｂによる補正機械学習モデルの教師データによる学習処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【0013】
本発明においては、３バンドの波長である色成分Ｒ（Red）のＲチャネル、色成分Ｇ（Green）のＧチャネル、色成分Ｂ（Blue）のＢチャネルからなる撮像画像であるＲＧＢ画像から、４バンド以上（後述する実施形態においては、一例として３１バンド）の波長の分光情報画像（分光画像あるいは分光反射率画像）を推定して生成する。分光情報画像の推定は、例えば、機械学習モデルを用いて行われる。
ＲＧＢ画像の各画素のＲＧＢ値（各色成分の階調度）は、画素の各々の分光反射率と、撮像画像を撮像した撮像装置の分光感度（以下、撮像装置分光感度）と、撮像画像を撮像した環境の光源の分光分布（以下、光源分光分布）とにより表される。
ＲＧＢ画像の各画素のＲＧＢ値（各色成分の階調度）は、画素の各々の分光反射率と、撮像画像を撮像した撮像装置の分光感度（以下、撮像装置分光感度）と、撮像画像を撮像した環境の光源の分光分布（以下、光源分光分布）とにより表される。
【0014】
図１は、ＲＧＢ画像から分光反射率情報としての分光画像、あるいは、分光情報画像を出力する機械学習モデル（ＣＮＮ（Convolutional Neural Network）、ニューラルネットワーク、ディープラーニングなど）の例を示す概念図である。
図１（ａ）は、光源分光分布と、対象物体の分光反射率と、撮像装置分光感度の各々の要素を波長（λ）ごとに乗算した乗算結果を、４００ｎｍから７００ｎｍの波長（λ）の積分値として求められることを示す式である。また、光源分光分布及び対象物体の分光反射率の各々からは、分光放射輝度が求められる。
この式から判るように、ＲＧＢ画像と、光源分光分布と、撮像装置分光感度との各々を入力データのセットとして、被写体の分光反射率を推定する機械学習モデルを生成できる。
図１（ａ）は、光源分光分布と、対象物体の分光反射率と、撮像装置分光感度の各々の要素を波長（λ）ごとに乗算した乗算結果を、４００ｎｍから７００ｎｍの波長（λ）の積分値として求められることを示す式である。また、光源分光分布及び対象物体の分光反射率の各々からは、分光放射輝度が求められる。
この式から判るように、ＲＧＢ画像と、光源分光分布と、撮像装置分光感度との各々を入力データのセットとして、被写体の分光反射率を推定する機械学習モデルを生成できる。
【0015】
図１（ｂ）は、ＲＧＢ画像から分光反射率情報としての分光画像、あるいは、分光情報画像を出力する機械学習モデルの例を示す概念図である。
機械学習モデル３００は、例えば、ＲＧＢ画像３０１、撮像装置分光感度３０２及び光源分光分布３０３の各々を入力データのセットとして、分光反射率の所定の波長（例えば、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長、３１バンド）の各々の分光画像３０５を出力する。
ここで、撮像装置分光感度３０２のグラフは、横軸が波長であり、縦軸が強度を示している。また、光源分光分布３０３のグラフは、横軸が波長であり、縦軸が強度を示している。
機械学習モデル３００は、例えば、ＲＧＢ画像３０１、撮像装置分光感度３０２及び光源分光分布３０３の各々を入力データのセットとして、分光反射率の所定の波長（例えば、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長、３１バンド）の各々の分光画像３０５を出力する。
ここで、撮像装置分光感度３０２のグラフは、横軸が波長であり、縦軸が強度を示している。また、光源分光分布３０３のグラフは、横軸が波長であり、縦軸が強度を示している。
【0016】
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
図２は、第１の実施形態に係る分光情報画像推定装置の構成例を示すブロック図である。図２に示す分光情報画像推定装置１０は、例えば、ＰＣ（Personal Computer）、サーバ装置、量子コンピュータなどによって実現される。
図２において、分光情報画像推定装置１０は、データ入力部１１、データ合成部１２、機械学習モデル生成部１３、分光反射率推定部１４、分光画像出力部１５、教師画像データ記憶部１６、撮像画像データ記憶部１７、機械学習モデル記憶部１８及び分光情報画像データ記憶部１９の各々を備えている。
また、分光反射率推定部１４は、第１分光反射率推定部１４１及び第２分光反射率推定部１４２の各々を備えている。
以下、本発明の第１の実施形態について、図面を参照して説明する。
図２は、第１の実施形態に係る分光情報画像推定装置の構成例を示すブロック図である。図２に示す分光情報画像推定装置１０は、例えば、ＰＣ（Personal Computer）、サーバ装置、量子コンピュータなどによって実現される。
図２において、分光情報画像推定装置１０は、データ入力部１１、データ合成部１２、機械学習モデル生成部１３、分光反射率推定部１４、分光画像出力部１５、教師画像データ記憶部１６、撮像画像データ記憶部１７、機械学習モデル記憶部１８及び分光情報画像データ記憶部１９の各々を備えている。
また、分光反射率推定部１４は、第１分光反射率推定部１４１及び第２分光反射率推定部１４２の各々を備えている。
【0017】
データ入力部１１は、外部装置から供給される教師画像データを入力し、当該教師画像データを教師画像データ記憶部１６に対して書き込んで記憶させる。
図３は、機械学習モデルを学習させるために用いる教師画像データのデータセットを有する教師画像データテーブルの構成例を示す図である。
教師画像データテーブルは、レコード毎に、教師画像識別情報、ＲＧＢ画像インデックス、光源分光分布インデックス、撮像装置分光感度インデックス及び分光反射率情報インデックスの各々の欄を備えている。
図３は、機械学習モデルを学習させるために用いる教師画像データのデータセットを有する教師画像データテーブルの構成例を示す図である。
教師画像データテーブルは、レコード毎に、教師画像識別情報、ＲＧＢ画像インデックス、光源分光分布インデックス、撮像装置分光感度インデックス及び分光反射率情報インデックスの各々の欄を備えている。
【0018】
教師画像識別情報は、教師画像（ＲＧＢ画像であり、被写体の分光反射率が既知の画像データ）の各々を個々に識別する識別情報である。
ＲＧＢ画像インデックスは、撮像画像であるＲＧＢ画像の画像データが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
ＲＧＢ画像のデータは、ＲＧＢ画像の画素毎の色成分Ｒ、色成分Ｇ及び色成分Ｂ（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルからなる３チャネル）の各々の階調度（例えば、２５６階調）である（データ数３／画素）。
ＲＧＢ画像インデックスは、撮像画像であるＲＧＢ画像の画像データが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
ＲＧＢ画像のデータは、ＲＧＢ画像の画素毎の色成分Ｒ、色成分Ｇ及び色成分Ｂ（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルからなる３チャネル）の各々の階調度（例えば、２５６階調）である（データ数３／画素）。
【0019】
光源分光分布インデックスは、撮像画像であるＲＧＢ画像を撮像した環境の光源の分光分布を示す光源分光分布のデータが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
光源分光分布は、例えば、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数３１）。
光源分光分布は、例えば、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数３１）。
【0020】
撮像装置分光感度インデックスは、撮像画像であるＲＧＢ画像を撮像した撮像装置の分光感度を示す撮像装置分光感度のデータが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
撮像装置分光感度は、例えば、色成分Ｒ、色成分Ｇ及び色成分Ｂの各々における、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数９３（＝３×３１））。
撮像装置分光感度は、例えば、色成分Ｒ、色成分Ｇ及び色成分Ｂの各々における、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数９３（＝３×３１））。
【0021】
分光反射率情報インデックスは、撮像されたＲＧＢ画像の被写体の分光反射率の情報である分光反射率情報（既知の分光反射率情報）のデータが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
分光反射率情報は、例えば、ＲＧＢ画像の画素毎に、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数３１／画素）。
分光反射率情報は、例えば、ＲＧＢ画像の画素毎に、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数３１／画素）。
【0022】
図１に戻り、データ合成部１２は、機械学習モデルに入力する入力データのデータセットを生成する。
すなわち、データ合成部１２は、教師画像データを用いた機械学習モデルの学習を行う際、また学習済みの機械学習モデルを用いて分光情報画像の画像データを推定する際の各々において、ＲＧＢ画像、光源分光分布及び撮像装置分光感度の各々のデータの調整及び合成を行う。
すなわち、データ合成部１２は、教師画像データを用いた機械学習モデルの学習を行う際、また学習済みの機械学習モデルを用いて分光情報画像の画像データを推定する際の各々において、ＲＧＢ画像、光源分光分布及び撮像装置分光感度の各々のデータの調整及び合成を行う。
【0023】
入力データのデータセットとしては、上述したように、ＲＧＢ画像のデータが３個、光源分光分布のデータが３１個、撮像装置分光感度のデータが３１×３＝９３個が画素毎に用いられる。
このため、データセットのデータ数としては、ＲＧＢ画像が横方向（行）の画素数をＷ個とし、縦方向（列）の画素数をＨ個とした場合、（３＋３１＋９３）×Ｗ×Ｈ個となる。
ここで、データ合成部１２は、データセットの各々のデータの合成処理、例えば結合（すなわち、連結）、和及び積などによる合成を行う。
このため、データセットのデータ数としては、ＲＧＢ画像が横方向（行）の画素数をＷ個とし、縦方向（列）の画素数をＨ個とした場合、（３＋３１＋９３）×Ｗ×Ｈ個となる。
ここで、データ合成部１２は、データセットの各々のデータの合成処理、例えば結合（すなわち、連結）、和及び積などによる合成を行う。
【0024】
データ合成部１２は、教師データの合成において、例えば、（３＋３１＋９３）×Ｗ×Ｈ個のデータを、Ｗ×Ｈ個の画素毎に配列させる。
図４は、データ合成部１２による教師データの合成について説明する概念図である。
図４（ａ）は、Ｗ×Ｈ個の画素の各々の配列を示しており、各画素の色成分Ｒの階調度ＧＲ、色成分Ｇの階調度ＧＧ、色成分Ｂの階調度ＧＢとして配列されている。
画素Ｐ１から画素Ｐｎ（ｎ＝Ｗ×Ｈ）が順次、直列に配列され、各画素の色成分Ｒ、色成分Ｇ、色成分Ｂも直列に配列されている。
図４は、データ合成部１２による教師データの合成について説明する概念図である。
図４（ａ）は、Ｗ×Ｈ個の画素の各々の配列を示しており、各画素の色成分Ｒの階調度ＧＲ、色成分Ｇの階調度ＧＧ、色成分Ｂの階調度ＧＢとして配列されている。
画素Ｐ１から画素Ｐｎ（ｎ＝Ｗ×Ｈ）が順次、直列に配列され、各画素の色成分Ｒ、色成分Ｇ、色成分Ｂも直列に配列されている。
【0025】
そして、データ合成部１２は、合成における結合の処理として、図４（ｂ）のように、撮像装置分光感度及び光源分光分布のデータを連結して結合する。
図４（ｂ）は、データ合成部１２における教師データの結合による合成を説明している。
ここで、データ合成部１２は、例えば、各画素の配列において色成分Ｒの階調度（画素値）ＧＲ及び色成分Ｇの階調度ＧＧ間に、撮像装置分光感度の色成分Ｒの３１バンドの各々のデータＱＲを直列に連結して挿入する。
図４（ｂ）は、データ合成部１２における教師データの結合による合成を説明している。
ここで、データ合成部１２は、例えば、各画素の配列において色成分Ｒの階調度（画素値）ＧＲ及び色成分Ｇの階調度ＧＧ間に、撮像装置分光感度の色成分Ｒの３１バンドの各々のデータＱＲを直列に連結して挿入する。
【0026】
また、データ合成部１２は、色成分Ｇの階調度ＧＧ及び色成分Ｂの階調度ＧＢの間に、撮像装置分光感度の色成分Ｇの３１バンドの各々のデータＱＧを直列に連結して挿入する。
そして、データ合成部１２は、色成分Ｂの階調度ＧＢの後ろに撮像装置分光感度の色成分Ｂの３１バンドの各々のデータＱＢを直列に連結して挿入する。
そして、データ合成部１２は、色成分Ｂの階調度ＧＢの後ろに撮像装置分光感度の色成分Ｂの３１バンドの各々のデータＱＢを直列に連結して挿入する。
【0027】
また、データ合成部１２は、撮像装置分光感度の色成分Ｂの３１バンドのデータＱＢの後ろに、光源分光分布の３１バンドのデータＳを直列に連結して挿入する。
ここで、撮像装置分光感度の色成分Ｒ、色成分Ｇ及び色成分Ｂと、光源分光分布との直列の配列が第１合成値となり、この第１合成値の各々が、図４（ａ）に示す画素の配列に挿入されたデータ列が図４（ｂ）に示す第２合成値となる。
ここで、撮像装置分光感度の色成分Ｒ、色成分Ｇ及び色成分Ｂと、光源分光分布との直列の配列が第１合成値となり、この第１合成値の各々が、図４（ａ）に示す画素の配列に挿入されたデータ列が図４（ｂ）に示す第２合成値となる。
【0028】
データ合成部１２は、上述した処理により、合成における結合を行い、第１分光反射率推定部１４１に対して出力する。
なお、データ合成部１２は、合成の処理を行う際、ＲＧＢ画像の画素値、撮像装置分光感度及び光源分光分布の各々のデータを、機械学習モデルの生成を行う際に教師画像データ記憶部１６から読み出し、また分光情報画像の推定を行う際に撮像画像データ記憶部１７から読み出し、読み出したデータの規格化を行う。
なお、データ合成部１２は、合成の処理を行う際、ＲＧＢ画像の画素値、撮像装置分光感度及び光源分光分布の各々のデータを、機械学習モデルの生成を行う際に教師画像データ記憶部１６から読み出し、また分光情報画像の推定を行う際に撮像画像データ記憶部１７から読み出し、読み出したデータの規格化を行う。
【0029】
また、データ合成部１２は、合成における和の処理として、例えば、撮像装置分光感度の３１バンドの波長の各々のデータに対し、光源分光分布の３１バンドの同一の波長のそれぞれのデータを加算する（対応した波長のデータの和を取る）。
すなわち、データ合成部１２は、撮像装置分光感度の色成分Ｒの３１バンドの波長４００のデータに対して、光源分光分布の３１バンドの波長の４００のデータを加算し、加算結果のデータの各々を波長のそれぞれの合成値とする。
すなわち、データ合成部１２は、撮像装置分光感度の色成分Ｒの３１バンドの波長４００のデータに対して、光源分光分布の３１バンドの波長の４００のデータを加算し、加算結果のデータの各々を波長のそれぞれの合成値とする。
【0030】
このように、データ合成部１２は、撮像装置分光感度の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々の３１バンドのデータに対して、光源分光分布の３１バンドのデータを和により合成する処理を行う（第１合成値の生成）。
そして、データ合成部１２は、和を取ったデータを図４（ｂ）に示すように、対応する画素の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々の間に、対応する撮像装置分光感度の色成分が対応するように挿入して連結して合成する（第２合成値の生成）。
そして、データ合成部１２は、和を取ったデータを図４（ｂ）に示すように、対応する画素の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々の間に、対応する撮像装置分光感度の色成分が対応するように挿入して連結して合成する（第２合成値の生成）。
【0031】
また、データ合成部１２は、合成における積の処理として、例えば、撮像装置分光感度の３１バンドの波長の各々のデータに対し、光源分光分布の３１バンドの同一の波長のそれぞれのデータを乗算する（対応した波長のデータの積を取る）。
すなわち、データ合成部１２は、撮像装置分光感度の色成分Ｒの３１バンドの波長４００のデータに対して、光源分光分布の３１バンドの波長の４００のデータを乗算し、乗算結果のデータの各々を波長のそれぞれの合成値とする。
すなわち、データ合成部１２は、撮像装置分光感度の色成分Ｒの３１バンドの波長４００のデータに対して、光源分光分布の３１バンドの波長の４００のデータを乗算し、乗算結果のデータの各々を波長のそれぞれの合成値とする。
【0032】
このように、データ合成部１２は、撮像装置分光感度の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々の３１バンドのデータに対して、光源分光分布の３１バンドのデータを積により合成する処理を行う（第１合成値の生成）。
そして、データ合成部１２は、積を取ったデータを図４（ｂ）に示すように、対応する画素の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々の間に、対応する撮像装置分光感度の色成分が対応するように挿入して連結して合成する（第２合成値の生成）。
そして、データ合成部１２は、積を取ったデータを図４（ｂ）に示すように、対応する画素の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々の間に、対応する撮像装置分光感度の色成分が対応するように挿入して連結して合成する（第２合成値の生成）。
【0033】
また、データ合成部１２は、撮像装置分光感度及び光源分光分布の結合あるいは和または積の処理で生成した第１合成値の各々を、ＲＧＢ画像の色成分Ｒ、色成分Ｇ、色成分Ｂのそれぞれに加算あるいは乗算して第２合成値を生成する構成としてもよい。
このとき、データ合成部１２は、結合の処理により求めた第１合成値と、ＲＧＢ画像の画素のデータとを結合あるいは和または積の処理により合成することにより第２合成値を求めても良い。
また、データ合成部１２は、和の処理により求めた第１合成値と、ＲＧＢ画像の画素のデータとを結合あるいは和または積の処理により合成することにより第２合成値を求めても良い。
また、データ合成部１２は、積の処理により求めた第１合成値と、ＲＧＢ画像の画素のデータとを結合あるいは和または積の処理により第２合成値を求めても良い。
このとき、データ合成部１２は、結合の処理により求めた第１合成値と、ＲＧＢ画像の画素のデータとを結合あるいは和または積の処理により合成することにより第２合成値を求めても良い。
また、データ合成部１２は、和の処理により求めた第１合成値と、ＲＧＢ画像の画素のデータとを結合あるいは和または積の処理により合成することにより第２合成値を求めても良い。
また、データ合成部１２は、積の処理により求めた第１合成値と、ＲＧＢ画像の画素のデータとを結合あるいは和または積の処理により第２合成値を求めても良い。
【0034】
図１に戻り、機械学習モデル生成部１３は、第２合成値である教師データを第１分光反射率推定部１４１に対して出力する。
第１分光反射率推定部１４１は、上記教師データを、機械学習モデルであるニューラルネットワークに対して入力させ、分光情報画像の推定処理を行う。
ここで、上記機械学習モデルは、ＲＧＢ画像、撮像装置分光感度及び光源分光分布の各々から生成された教師データにより、ＲＧＢ画像の画素の各々に対応して分光反射率を推定し、３１バンドの分光情報画像を推定して出力する。
第１分光反射率推定部１４１は、上記教師データを、機械学習モデルであるニューラルネットワークに対して入力させ、分光情報画像の推定処理を行う。
ここで、上記機械学習モデルは、ＲＧＢ画像、撮像装置分光感度及び光源分光分布の各々から生成された教師データにより、ＲＧＢ画像の画素の各々に対応して分光反射率を推定し、３１バンドの分光情報画像を推定して出力する。
【0035】
そして、機械学習モデル生成部１３は、教師画像データ記憶部１６の教師画像データテーブルから、ＲＧＢ画像における被写体の既知の分光反射率情報を読み出す。
図５は、機械学習モデルに分光情報画像を推定させるために用いる撮像画像データのデータセットを有する撮像画像データテーブルの構成例を示す図である。
撮像画像データテーブルは、レコード毎に、撮像画像識別情報、ＲＧＢ画像インデックス、光源分光分布インデックス及び撮像装置分光感度インデックスの各々の欄を備えている。
図５は、機械学習モデルに分光情報画像を推定させるために用いる撮像画像データのデータセットを有する撮像画像データテーブルの構成例を示す図である。
撮像画像データテーブルは、レコード毎に、撮像画像識別情報、ＲＧＢ画像インデックス、光源分光分布インデックス及び撮像装置分光感度インデックスの各々の欄を備えている。
【0036】
撮像画像識別情報は、撮像画像の各々を個々に識別する識別情報である。
ＲＧＢ画像インデックスは、撮像画像であるＲＧＢ画像の画像データが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
ＲＧＢ画像のデータは、ＲＧＢ画像の画素毎の色成分Ｒ、色成分Ｇ及び色成分Ｂ（３バンド）の各々の階調度（例えば、２５６階調）である（データ数３／画素）。
ＲＧＢ画像インデックスは、撮像画像であるＲＧＢ画像の画像データが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
ＲＧＢ画像のデータは、ＲＧＢ画像の画素毎の色成分Ｒ、色成分Ｇ及び色成分Ｂ（３バンド）の各々の階調度（例えば、２５６階調）である（データ数３／画素）。
【0037】
光源分光分布インデックスは、撮像画像であるＲＧＢ画像を撮像した環境の光源の分光分布を示す光源分光分布のデータが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
光源分光分布は、例えば、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数３１）。
光源分光分布は、例えば、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数３１）。
【0038】
撮像装置分光感度インデックスは、撮像画像であるＲＧＢ画像を撮像した撮像装置の分光感度を示す撮像装置分光感度のデータが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
撮像装置分光感度は、例えば、色成分Ｒ、色成分Ｇ及び色成分Ｂの各々における、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数９３（＝３×３１））。
撮像装置分光感度は、例えば、色成分Ｒ、色成分Ｇ及び色成分Ｂの各々における、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度の分布を示している（データ数９３（＝３×３１））。
【0039】
図２に戻り、機械学習モデル生成部１３は、機械学習モデルが推定した３１バンドの分光情報画像の画素毎のデータと、既知の分光反射率情報のデータとの差分を分光誤差として求める。
また、機械学習モデル生成部１３は、機械学習モデルが推定した分光反射率情報と、撮像装置分光感度と、光源分光分布とから、色成分Ｒ、色成分Ｇ及び色成分Ｂの階調度を求めて、推定ＲＧＢ値とする。
また、機械学習モデル生成部１３は、機械学習モデルが推定した分光反射率情報と、撮像装置分光感度と、光源分光分布とから、色成分Ｒ、色成分Ｇ及び色成分Ｂの階調度を求めて、推定ＲＧＢ値とする。
【0040】
機械学習モデル生成部１３は、分光情報画像の画素の各々の分光反射率（波長ごとの強度）から求めた推定ＲＧＢ値（色成分Ｒ、色成分Ｇ及び色成分Ｂの階調度）と、分光反射率の推定に用いたＲＧＢ画像の各々の画素のＲＧＢ値との差分をＲＧＢ値誤差として求める。
そして、機械学習モデル生成部１３は、上記分光誤差及びＲＧＢ値誤差の各々を、下記（１）式の損失関数に代入して、損失（損失値）Ｌを求める。
そして、機械学習モデル生成部１３は、上記分光誤差及びＲＧＢ値誤差の各々を、下記（１）式の損失関数に代入して、損失（損失値）Ｌを求める。
【0041】
【数1】
【0042】
上記（１）式の損失関数において、損失Ｌｓｐｅｃｔｒａｌ及び損失ＬＲＧＢの各々は、以下の（２）式に示すＭＳＥ（Mean Squared Error）損失、あるいは（３）式に示すＭＲＡＥ（Mean Relative Absolute Error）損失で求められる損失（損失値）である。（１）式において、τ１は所定の定数である。
下記（２）式及び（３）式の各々において、ｘｅｓｔ （ｉ）が推定値（推定された分光反射率、推定された分光反射率から求めた推定ＲＧＢ値）でありｘｇｔ （ｉ）が真値（既知の分光反射率、あるいはＲＧＢ値）である。また、ｉは画素の番号であり、ＲＧＢ値においては、色成分Ｒ、色成分Ｇ及び色成分Ｂの各々で、それぞれ損失ＬＲ、損失ＬＧ、損失ＬＢを求め、これらを加算して損失ＬＲＧＢ（＝ＬＲ＋ＬＧ＋ＬＢ）が求められる。
下記（２）式及び（３）式の各々において、ｘｅｓｔ （ｉ）が推定値（推定された分光反射率、推定された分光反射率から求めた推定ＲＧＢ値）でありｘｇｔ （ｉ）が真値（既知の分光反射率、あるいはＲＧＢ値）である。また、ｉは画素の番号であり、ＲＧＢ値においては、色成分Ｒ、色成分Ｇ及び色成分Ｂの各々で、それぞれ損失ＬＲ、損失ＬＧ、損失ＬＢを求め、これらを加算して損失ＬＲＧＢ（＝ＬＲ＋ＬＧ＋ＬＢ）が求められる。
【0043】
【数2】
【0044】
【数3】
【0045】
また、物体の分光反射率は、一般的に隣接するバンド間で急峻に変化をしないため、平滑化項を（１）式に加えた以下の（４）式により、損失を求めてもよい。
（４）式における損失Ｌｓｍｏｏｔｈは、推定された分光反射率の隣接したバンド間の強度値の差分を規格化し、規格化したバンド間の差分を全て加算した数値である。
また、（４）式におけるτ２は所定の定数である。
（４）式における損失Ｌｓｍｏｏｔｈは、推定された分光反射率の隣接したバンド間の強度値の差分を規格化し、規格化したバンド間の差分を全て加算した数値である。
また、（４）式におけるτ２は所定の定数である。
【0046】
【数4】
【0047】
そして、機械学習モデル生成部１３は、損失Ｌが予め設定した閾値である損失閾値（第１閾値）以下となるか否かを判定する。
機械学習モデル生成部１３は、機械学習モデルであるニューラルネットワークにおける関数の係数（すなわち、ニューラルネットワークを構成する各層（特に中間層）における関数の入力、あるいは出力における重み係数）を調整し、再度、教師データを機械学習モデルに入力して、分光情報画像の推定を行う。
機械学習モデル生成部１３は、機械学習モデルであるニューラルネットワークにおける関数の係数（すなわち、ニューラルネットワークを構成する各層（特に中間層）における関数の入力、あるいは出力における重み係数）を調整し、再度、教師データを機械学習モデルに入力して、分光情報画像の推定を行う。
【0048】
そして、機械学習モデル生成部１３は、機械学習モデルが推定する分光情報画像のデータと、既知の分光反射率情報のデータとの損失Ｌが損失閾値以下となるまで、機械学習モデルであるニューラルネットワークにおける関数の係数を調整して、機械学習モデルの学習を行う。
ここで、機械学習モデル生成部１３は、（１）式あるいは（４）式により求まる損失Ｌが最小（最小値）となる、あるいは所定の閾値以下となる、または補正機械学習モデルに対する学習の処理の繰り返し回数が所定の回数に達するなど、所定の条件を満たすように学習させる。
また、機械学習モデル生成部１３は、損失Ｌが損失閾値以下となった機械学習モデルを、学習済みの機械学習モデルとして機械学習モデル記憶部１８に対して書き込んで記憶させる。
ここで、機械学習モデル生成部１３は、（１）式あるいは（４）式により求まる損失Ｌが最小（最小値）となる、あるいは所定の閾値以下となる、または補正機械学習モデルに対する学習の処理の繰り返し回数が所定の回数に達するなど、所定の条件を満たすように学習させる。
また、機械学習モデル生成部１３は、損失Ｌが損失閾値以下となった機械学習モデルを、学習済みの機械学習モデルとして機械学習モデル記憶部１８に対して書き込んで記憶させる。
【0049】
データ合成部１２は、任意の撮像装置及び任意の環境で撮像された撮像画像データであるＲＧＢ画像から、未知の分光情報画像を推定する場合、撮像画像データ記憶部１７から、撮像装置の撮像装置分光感度、撮像した環境の光源分光分布、及び撮像画像の各々のデータを読み出し、第２合成値を生成して入力データとして第１分光反射率推定部１４１に出力する。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給される入力データを入力するとともに、機械学習モデル記憶部１８から学習済みの機械学習モデルを読み込む。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給される入力データを入力するとともに、機械学習モデル記憶部１８から学習済みの機械学習モデルを読み込む。
【0050】
第１分光反射率推定部１４１は、読み込んだ学習済みの機械学習モデルに対して、データ合成部１２から供給される入力データを入力する。
ここで、第１分光反射率推定部１４１は、学習済みの機械学習モデルが入力データにより推定した分光情報画像を一次分光情報画像として、第２分光反射率推定部１４２に対して出力する。
ここで、第１分光反射率推定部１４１は、学習済みの機械学習モデルが入力データにより推定した分光情報画像を一次分光情報画像として、第２分光反射率推定部１４２に対して出力する。
【0051】
第２分光反射率推定部１４２は、第１分光反射率推定部１４１の機械学習モデルと同様に、ニューラルネットワークの補正機械学習モデルを備えている。
補正機械学習モデルは、第１分光反射率推定部１４１から供給される一次分光情報画像を入力し、補正分光情報画像を推定して出力する。
そして、第２分光反射率推定部１４２は、上記一次分光情報画像に対応する撮像画像分光感度と光源分光分布とを用いて、補正分光情報画像から、ＲＧＢ画像として再構成ＲＧＢ画像を生成する。
補正機械学習モデルは、第１分光反射率推定部１４１から供給される一次分光情報画像を入力し、補正分光情報画像を推定して出力する。
そして、第２分光反射率推定部１４２は、上記一次分光情報画像に対応する撮像画像分光感度と光源分光分布とを用いて、補正分光情報画像から、ＲＧＢ画像として再構成ＲＧＢ画像を生成する。
【0052】
また、第２分光反射率推定部１４２は、第１分光反射率推定部１４１に入力されたＲＧＢ画像と、補正分光情報画像との各々の画素における色成分Ｒ、色成分Ｇ、色成分Ｂのそれぞれの階調度の差分を誤差として求める。
そして、第２分光反射率推定部１４２は、上記（２）式または（３）式からなる損失関数である関数ＬＲＧＢからなる以下の（５）式に誤差を代入し、損失（損失値）Ｌを求める。（５）式におけるτ１は所定の定数である。
そして、第２分光反射率推定部１４２は、上記（２）式または（３）式からなる損失関数である関数ＬＲＧＢからなる以下の（５）式に誤差を代入し、損失（損失値）Ｌを求める。（５）式におけるτ１は所定の定数である。
【0053】
【数5】
【0054】
分光画像出力部１５は、第２分光反射率推定部１４２が生成した分光情報画像の画像データを、分光情報画像データ記憶部１９に対して書き込んで記憶させる。
第２分光反射率推定部１４２は、（５）式により求まる損失Ｌが最小（最小値）となる、あるいは所定の閾値以下となる、または補正機械学習モデルに対する学習の処理の繰り返し回数が所定の回数に達するなど、所定の条件を満たすように学習させる。
ここで、第２分光反射率推定部１４２は、損失Ｌが所定の条件を満たした場合、その補正分光情報画像を最終的な分光情報画像として出力する。
第２分光反射率推定部１４２は、（５）式により求まる損失Ｌが最小（最小値）となる、あるいは所定の閾値以下となる、または補正機械学習モデルに対する学習の処理の繰り返し回数が所定の回数に達するなど、所定の条件を満たすように学習させる。
ここで、第２分光反射率推定部１４２は、損失Ｌが所定の条件を満たした場合、その補正分光情報画像を最終的な分光情報画像として出力する。
【0055】
また、第２分光反射率推定部１４２は、上記（４）式と同様に、補正分光情報の各々の隣接したバンドの周波数における強度値の差分を誤差として、上記（２）式または（３）式からなる損失関数である関数Ｌspectralの項を含む以下の（６）式から求められる値を損失Ｌとし、所定の条件を満たした場合、その補正分光情報画像を最終的な分光情報画像として出力する構成としてもよい。
【0056】
【数6】
【0057】
図６は、分光情報画像データ記憶部１９の分光情報画像データテーブルの構成例を示す図である。
分光情報画像データテーブルは、レコード毎に、撮像画像識別情報、ＲＧＢ画像インデックス及び分光情報画像インデックスの各々の欄を備えている。
分光情報画像データテーブルは、レコード毎に、撮像画像識別情報、ＲＧＢ画像インデックス及び分光情報画像インデックスの各々の欄を備えている。
【0058】
撮像画像識別情報は、撮像画像の各々を個々に識別する識別情報であり、推定に用いたＲＧＢ画像の撮像画像識別情報と同一の情報である。
ＲＧＢ画像インデックスは、撮像画像であるＲＧＢ画像の画像データが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
ＲＧＢ画像のデータは、ＲＧＢ画像の画素毎の色成分Ｒ、色成分Ｇ及び色成分Ｂ（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネル）の各々の階調度（例えば、２５６階調）である（データ数３／画素）。
ＲＧＢ画像インデックスは、撮像画像であるＲＧＢ画像の画像データが記憶されている、教師画像データ記憶部１６における記憶領域を示すアドレスなどである。
ＲＧＢ画像のデータは、ＲＧＢ画像の画素毎の色成分Ｒ、色成分Ｇ及び色成分Ｂ（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネル）の各々の階調度（例えば、２５６階調）である（データ数３／画素）。
【0059】
光源情報画像インデックスは、撮像画像であるＲＧＢ画像に対応する分光情報画像の画像データが記憶されている、分光情報画像データ記憶部１９における記憶領域を示すアドレスなどである。
分光情報画像は、例えば、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度を、画像における画素の階調度としている。
このため、分光情報画像は、バンドの波長毎に一個の画像データがあり、３１個の画像データからなる。
分光情報画像は、例えば、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長（３１バンド）の各々の光強度を、画像における画素の階調度としている。
このため、分光情報画像は、バンドの波長毎に一個の画像データがあり、３１個の画像データからなる。
【0060】
図７は、本実施形態に係る機械学習モデル生成部１３による機械学習モデルの教師データによる学習処理の動作例を示すフローチャートである。以下の説明においては、教師データがＲＧＢ画像、撮像装置分光感度及び光源分光分布と、当該ＲＧＢ画像における被写体の既知の分光反射率との各々からなるデータセットである。
データセットにおいて、機械学習モデルへの入力データがＲＧＢ画像、撮像装置分光感度及び光源分光分布の各々であり、機械学習モデルの推定データが分光情報画像である。
以下の説明においては、データ入力部１１が、機械学習モデルの学習に用いる教師画像データのデータセットを、予め教師画像データ記憶部１６の教師画像データテーブルに予め書き込んでいる。
データセットにおいて、機械学習モデルへの入力データがＲＧＢ画像、撮像装置分光感度及び光源分光分布の各々であり、機械学習モデルの推定データが分光情報画像である。
以下の説明においては、データ入力部１１が、機械学習モデルの学習に用いる教師画像データのデータセットを、予め教師画像データ記憶部１６の教師画像データテーブルに予め書き込んでいる。
【0061】
ステップＳ１０１：
データ合成部１２は、教師画像データ記憶部１６の教師画像データテーブルから、教師画像、撮像装置分光感度及び光源分光分布の各々のデータを読み出す。
そして、データ合成部１２は、撮像装置分光感度の色成分Ｒ、色成分Ｇ及び色成分Ｂと、光源分光分布との各々データを直列に配列して第１合成値を生成する。
データ合成部１２は、教師画像データ記憶部１６の教師画像データテーブルから、教師画像、撮像装置分光感度及び光源分光分布の各々のデータを読み出す。
そして、データ合成部１２は、撮像装置分光感度の色成分Ｒ、色成分Ｇ及び色成分Ｂと、光源分光分布との各々データを直列に配列して第１合成値を生成する。
【0062】
データ合成部１２は、生成した第１合成値と、教師画像の画素の画素値とを、例えば図４（ｂ）に示す配列として合成して、すべてのデータが直列に配列された第２合成値を生成し、機械学習モデル生成部１３に対して出力する。
ここで、データ合成部１２は、教師画像データ記憶部１６の教師画像データテーブルに格納されている、複数の教師画像と、当該教師画像に対応する撮像装置分光感度及び光源分光分布とから、複数の教師画像の各々による複数の第２合成値それぞれを生成する。
これにより、機械学習モデル生成部１３は、データ合成部１２から供給される第２合成値としての教師データの各々を入力する。
ここで、データ合成部１２は、教師画像データ記憶部１６の教師画像データテーブルに格納されている、複数の教師画像と、当該教師画像に対応する撮像装置分光感度及び光源分光分布とから、複数の教師画像の各々による複数の第２合成値それぞれを生成する。
これにより、機械学習モデル生成部１３は、データ合成部１２から供給される第２合成値としての教師データの各々を入力する。
【0063】
ステップＳ１０２：
機械学習モデル生成部１３は、データ合成部１２から供給される第２合成値としての教師データを、学習対象の機械学習モデルに対して並列に入力させる。
機械学習モデルは、教師データに対応して、一次分光情報画像（所定のバンド数、例えば３１バンド）として分光情報画像を推定して出力する。
ここで、機械学習モデル生成部１３は、教師画像データ記憶部１６の教師画像データテーブルに格納されている、複数の教師画像と、当該教師画像に対応する撮像装置分光感度及び光源分光分布とから生成される複数の第２合成値を教師データとして、それぞれの一次分光情報画像の推定を行う。
機械学習モデル生成部１３は、データ合成部１２から供給される第２合成値としての教師データを、学習対象の機械学習モデルに対して並列に入力させる。
機械学習モデルは、教師データに対応して、一次分光情報画像（所定のバンド数、例えば３１バンド）として分光情報画像を推定して出力する。
ここで、機械学習モデル生成部１３は、教師画像データ記憶部１６の教師画像データテーブルに格納されている、複数の教師画像と、当該教師画像に対応する撮像装置分光感度及び光源分光分布とから生成される複数の第２合成値を教師データとして、それぞれの一次分光情報画像の推定を行う。
【0064】
ステップＳ１０３：
機械学習モデル生成部１３は、各ＲＧＢ画像毎に、推定された一次分光情報画像と、ＲＧＢ画像の既知の分光反射率との分光差分を求める。
また、機械学習モデル生成部１３は、一次分光情報画像と、撮像装置分光感度と、光源分光分布から、再構成ＲＧＢ画像を生成する。
そして、機械学習モデル生成部１３は、再構成ＲＧＢ画像及びＲＧＢ画像との色成分Ｒ、色成分Ｇ、色成分Ｇそれぞれの差分としてのＲＧＢ誤差を求める。
機械学習モデル生成部１３は、各ＲＧＢ画像毎に、推定された一次分光情報画像と、ＲＧＢ画像の既知の分光反射率との分光差分を求める。
また、機械学習モデル生成部１３は、一次分光情報画像と、撮像装置分光感度と、光源分光分布から、再構成ＲＧＢ画像を生成する。
そして、機械学習モデル生成部１３は、再構成ＲＧＢ画像及びＲＧＢ画像との色成分Ｒ、色成分Ｇ、色成分Ｇそれぞれの差分としてのＲＧＢ誤差を求める。
【0065】
ステップＳ１０４：
次に、機械学習モデル生成部１３は、（２）式あるいは（３）式の損失関数に対して分光差分を代入し、損失Ｌｓｐｅｃｔｒａｌを求める。
機械学習モデル生成部１３は、全ての教師画像において、当該教師画像の各々のバンドそれぞれにおける一次分光情報画像と、既知の分光反射率との分光差分から損失Ｌｓｐｅｃｔｒａｌを求める。
次に、機械学習モデル生成部１３は、（２）式あるいは（３）式の損失関数に対して分光差分を代入し、損失Ｌｓｐｅｃｔｒａｌを求める。
機械学習モデル生成部１３は、全ての教師画像において、当該教師画像の各々のバンドそれぞれにおける一次分光情報画像と、既知の分光反射率との分光差分から損失Ｌｓｐｅｃｔｒａｌを求める。
【0066】
また、機械学習モデル生成部１３は、（２）式あるいは（３）式の損失関数に対してＲＧＢ誤差を代入し、損失ＬＲＧＢを求める。
機械学習モデル生成部１３は、全ての教師画像において、再構成ＲＧＢ画像と、一次分光情報画像を求めたＲＧＢ画像とのＲＧＢ差分から損失ＬＲＧＢを求める。
機械学習モデル生成部１３は、全ての教師画像において、再構成ＲＧＢ画像と、一次分光情報画像を求めたＲＧＢ画像とのＲＧＢ差分から損失ＬＲＧＢを求める。
【0067】
機械学習モデル生成部１３は、損失Ｌｓｐｅｃｔｒａｌ及び損失ＬＲＧＢの各々により、（１）式あるいは（４）式から、損失Ｌを求める。
ここで、機械学習モデル生成部１３は、（４）式により損失Ｌを求める場合、一次分光情報画像から損失Ｌｓｍｏｏｔｈを求めて、（４）式に示すように、損失Ｌｓｐｅｃｔｒａｌ、損失ＬＲＧＢ及び損失Ｌｓｍｏｏｔｈの各々を加算して損失Ｌを求める。
ここで、機械学習モデル生成部１３は、（４）式により損失Ｌを求める場合、一次分光情報画像から損失Ｌｓｍｏｏｔｈを求めて、（４）式に示すように、損失Ｌｓｐｅｃｔｒａｌ、損失ＬＲＧＢ及び損失Ｌｓｍｏｏｔｈの各々を加算して損失Ｌを求める。
【0068】
ステップＳ１０５：
機械学習モデル生成部１３は、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えたか否かの判定を行う。
このとき、機械学習モデル生成部１３は、損失Ｌを求める繰り返し回数が所定の回数を超えた場合、処理をステップＳ１０６へ進める。
一方、機械学習モデル生成部１３は、損失Ｌを求める繰り返し回数が所定の回数以下の場合、処理をステップＳ１０７へ進める。
機械学習モデル生成部１３は、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えたか否かの判定を行う。
このとき、機械学習モデル生成部１３は、損失Ｌを求める繰り返し回数が所定の回数を超えた場合、処理をステップＳ１０６へ進める。
一方、機械学習モデル生成部１３は、損失Ｌを求める繰り返し回数が所定の回数以下の場合、処理をステップＳ１０７へ進める。
【0069】
ステップＳ１０６：
機械学習モデル生成部１３は、所定の回数を繰返して求めた機械学習モデルのなかから、損失Ｌが最小となる機械学習モデルを選択し、当該機械学習モデルを学習済みとして、機械学習モデル記憶部１８に対して書き込んで記憶させる。
そして、機械学習モデル生成部１３は、機械学習モデルの学習の処理、すなわち機械学習モデルの生成処理を終了する。
機械学習モデル生成部１３は、所定の回数を繰返して求めた機械学習モデルのなかから、損失Ｌが最小となる機械学習モデルを選択し、当該機械学習モデルを学習済みとして、機械学習モデル記憶部１８に対して書き込んで記憶させる。
そして、機械学習モデル生成部１３は、機械学習モデルの学習の処理、すなわち機械学習モデルの生成処理を終了する。
【0070】
ステップＳ１０７：
機械学習モデル生成部１３は、機械学習モデルにおけるニューラルネットワークの関数の係数を調整する。
そして、機械学習モデル生成部１３は、処理をステップＳ１０２に対して進め、再度の一次分光情報画像の推定を行う。
機械学習モデル生成部１３は、機械学習モデルにおけるニューラルネットワークの関数の係数を調整する。
そして、機械学習モデル生成部１３は、処理をステップＳ１０２に対して進め、再度の一次分光情報画像の推定を行う。
【0071】
図８は、本実施形態に係る分光反射率推定部１４による学習済みの機械学習モデルを利用してＲＧＢ画像から分光情報画像を推定する処理の動作例を示すフローチャートである。
以下の説明においては、機械学習モデル記憶部１８に学習済みの機械学習モデルが記憶されている。
以下の説明においては、機械学習モデル記憶部１８に学習済みの機械学習モデルが記憶されている。
【0072】
ステップＳ２０１：
データ入力部１１は、ＲＧＢ画像が、当該ＲＧＢ画像を撮像した撮像装置の撮像装置分光感度、及び撮像した環境における光源の光源分光分布との撮像画像のデータを外部装置から読み込む。
そして、データ入力部１１は、読み込んだＲＧＢ画像と、当該ＲＧＢ画像に対応する撮像装置分光感度及び光源分光分布とのデータの各々を、撮像画像データ記憶部１７の撮像画像テーブル（図５参照）に書き込んで記憶させる。
データ入力部１１は、ＲＧＢ画像が、当該ＲＧＢ画像を撮像した撮像装置の撮像装置分光感度、及び撮像した環境における光源の光源分光分布との撮像画像のデータを外部装置から読み込む。
そして、データ入力部１１は、読み込んだＲＧＢ画像と、当該ＲＧＢ画像に対応する撮像装置分光感度及び光源分光分布とのデータの各々を、撮像画像データ記憶部１７の撮像画像テーブル（図５参照）に書き込んで記憶させる。
【0073】
ステップＳ２０２：
第１分光反射率推定部１４１は、機械学習モデル記憶部１８から学習済みの機械学習モデルを読み出す。
また、第１分光反射率推定部１４１は、データ合成部１２に対して、分光情報画像の推定対象の撮像画像識別情報を出力し、入力データの合成を依頼する。
第１分光反射率推定部１４１は、機械学習モデル記憶部１８から学習済みの機械学習モデルを読み出す。
また、第１分光反射率推定部１４１は、データ合成部１２に対して、分光情報画像の推定対象の撮像画像識別情報を出力し、入力データの合成を依頼する。
【0074】
ステップＳ２０３：
データ合成部１２は、撮像画像データ記憶部１７の撮像画像データテーブルから、ＲＧＢ画像、撮像装置分光感度及び光源分光分布の各々のデータを読み出す。
そして、データ合成部１２は、撮像装置分光感度の色成分Ｒ、色成分Ｇ及び色成分Ｂと、光源分光分布との各々データを直列に配列して第１合成値を生成する。
第１分光反射率推定部１４１は、データ合成部１２から供給される第２合成値としての教師データの各々を入力する。
データ合成部１２は、撮像画像データ記憶部１７の撮像画像データテーブルから、ＲＧＢ画像、撮像装置分光感度及び光源分光分布の各々のデータを読み出す。
そして、データ合成部１２は、撮像装置分光感度の色成分Ｒ、色成分Ｇ及び色成分Ｂと、光源分光分布との各々データを直列に配列して第１合成値を生成する。
第１分光反射率推定部１４１は、データ合成部１２から供給される第２合成値としての教師データの各々を入力する。
【0075】
ステップＳ２０４：
第１分光反射率推定部１４１は、データ合成部１２から供給される第２合成値としての入力データを、学習済みの機械学習モデルに対して並列に入力させる。
機械学習モデルは、教師データに対応して、一次分光情報画像（所定のバンド数、例えば３１バンド）として分光情報画像を推定して出力する。
そして、第１分光反射率推定部１４１は、推定した一次分光情報画像を、第２分光反射率推定部１４２に対して出力する。
第１分光反射率推定部１４１は、データ合成部１２から供給される第２合成値としての入力データを、学習済みの機械学習モデルに対して並列に入力させる。
機械学習モデルは、教師データに対応して、一次分光情報画像（所定のバンド数、例えば３１バンド）として分光情報画像を推定して出力する。
そして、第１分光反射率推定部１４１は、推定した一次分光情報画像を、第２分光反射率推定部１４２に対して出力する。
【0076】
ステップＳ２０５：
第２分光反射率推定部１４２は、第１分光反射率推定部１４１から供給される一次分光情報画像を入力する。
また、第２分光反射率推定部１４２は、上記一次分光情報画像を推定したＲＧＢ画像に対応した撮像装置分光感度及び光源分光分布の各々を、撮像画像データ記憶部１７の撮像画像データテーブルから読み込む。
第２分光反射率推定部１４２は、第１分光反射率推定部１４１から供給される一次分光情報画像を入力する。
また、第２分光反射率推定部１４２は、上記一次分光情報画像を推定したＲＧＢ画像に対応した撮像装置分光感度及び光源分光分布の各々を、撮像画像データ記憶部１７の撮像画像データテーブルから読み込む。
【0077】
そして、第２分光反射率推定部１４２は、一次分光情報画像を、補正機械学習モデルに対して入力する。
これにより、補正機械学習モデルは、入力される一次分光情報画像に対応して、補正分光情報画像を推定する。
これにより、補正機械学習モデルは、入力される一次分光情報画像に対応して、補正分光情報画像を推定する。
【0078】
ステップＳ２０６：
第２分光反射率推定部１４２は、補正分光情報画像と、撮像装置分光感度及び光源分光分布の各々とにより、ＲＧＢ画像として再構成ＲＧＢ画像を生成する。
そして、第２分光反射率推定部１４２は、再構成ＲＧＢ画像と推定に用いたＲＧＢ画像とから生成誤差（ＲＧＢ誤差）を求める。
このとき、第２分光反射率推定部１４２は、（２）式あるいは（３）式により生成誤差により損失ＬＲＧＢを求めて、（５）式に代入して損失Ｌを求める。
第２分光反射率推定部１４２は、補正分光情報画像と、撮像装置分光感度及び光源分光分布の各々とにより、ＲＧＢ画像として再構成ＲＧＢ画像を生成する。
そして、第２分光反射率推定部１４２は、再構成ＲＧＢ画像と推定に用いたＲＧＢ画像とから生成誤差（ＲＧＢ誤差）を求める。
このとき、第２分光反射率推定部１４２は、（２）式あるいは（３）式により生成誤差により損失ＬＲＧＢを求めて、（５）式に代入して損失Ｌを求める。
【0079】
ステップＳ２０７：
第２分光反射率推定部１４２は、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えたか否かの判定を行う。
このとき、第２分光反射率推定部１４２は、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えた場合、処理をステップＳ２０８へ進める。
一方、第２分光反射率推定部１４２は、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数以下の場合、処理をステップＳ２０９へ進める。
第２分光反射率推定部１４２は、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えたか否かの判定を行う。
このとき、第２分光反射率推定部１４２は、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えた場合、処理をステップＳ２０８へ進める。
一方、第２分光反射率推定部１４２は、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数以下の場合、処理をステップＳ２０９へ進める。
【0080】
ステップＳ２０８：
第２分光反射率推定部１４２は、所定の回数を繰返して補正機械学習モデルが生成した補正分光情報画像において、損失Ｌが最小となる補正分光情報画像を分光画像情報とする。
そして、第２分光反射率推定部１４２は、分光情報画像のデータを、分光情報画像データ記憶部１９の分光情報画像データテーブルに対して書き込んで記憶させる。
第２分光反射率推定部１４２は、所定の回数を繰返して補正機械学習モデルが生成した補正分光情報画像において、損失Ｌが最小となる補正分光情報画像を分光画像情報とする。
そして、第２分光反射率推定部１４２は、分光情報画像のデータを、分光情報画像データ記憶部１９の分光情報画像データテーブルに対して書き込んで記憶させる。
【0081】
ステップＳ２０９：
第２分光反射率推定部１４２は、補正機械学習モデルにおけるニューラルネットワークの関数の係数を調整する。
そして、第２分光反射率推定部１４２は、処理をステップＳ２０５へ進め、再度、係数を調整した補正機械学習モデルを用いて、一次分光情報画像による補正分光情報画像の推定を行う。
第２分光反射率推定部１４２は、補正機械学習モデルにおけるニューラルネットワークの関数の係数を調整する。
そして、第２分光反射率推定部１４２は、処理をステップＳ２０５へ進め、再度、係数を調整した補正機械学習モデルを用いて、一次分光情報画像による補正分光情報画像の推定を行う。
【0082】
上述したように、本実施形態は、ＲＧＢ画像と、当該ＲＧＢ画像を撮像した撮像装置の撮像装置分光感度と、ＲＧＢ画像を撮像した環境の光源の光源分光分布との各々を入力データのデータセットとして、機械学習モデルによりＲＧＢ画像の被写体の分光情報を一次分光情報画像として推定し、一次分光情報画像から補正機械学習モデルにより補正分光情報画像を推定させ、当該補正分光情報画像から生成された再構成ＲＧＢ画像と、一次分光情報画像の推定させたＲＧＢ画像とのＲＧＢ誤差から損失Ｌを求め、上述した所定の条件を満たすまで補正機械学習モデルの係数の調整を行い、調整後の補正機械学習モデルにより補正分光情報画像を再度推定させて分光情報画像を求め、すなわち機械学習モデル及び補正機械学習モデルの各々による２段階の推定を行い、分光情報画像を推定している。
この構成により、本実施形態によれば、機械学習モデルにより推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像とするため、学習データの不足や機械学習モデルの特性から第１分光反射率推定部１４１による一次分光情報画像の推定精度がマルチバンドカメラを用いた場合に比較して低い場合においても、第２分光反射率推定部１４２が一次分光情報画像の補正を行うことで、ＲＧＢ画像（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の分光反射率を、容易に、かつマルチバンドカメラで撮像した画像と同程度の精度で推定することができる。
この構成により、本実施形態によれば、機械学習モデルにより推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像とするため、学習データの不足や機械学習モデルの特性から第１分光反射率推定部１４１による一次分光情報画像の推定精度がマルチバンドカメラを用いた場合に比較して低い場合においても、第２分光反射率推定部１４２が一次分光情報画像の補正を行うことで、ＲＧＢ画像（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の分光反射率を、容易に、かつマルチバンドカメラで撮像した画像と同程度の精度で推定することができる。
【0083】
また、上述した実施形態においては、データ合成部１２がＲＧＢ画像を撮像した撮像装置分光感度と、撮像した環境の光源の光源分光分布とを合成して第１合成値としている。
しかしながら、データ合成部１２が、第１合成値として、撮像装置分光感度あるいは光源分光分布のいずれかのみを用い、ＲＧＢ画像のデータと合成して第２合成値を求める構成としてもよい。
この構成の場合、機械学習モデル生成部１３が機械学習モデルを学習させる際にも、データ合成部１２が教師画像と合成して第２合成値を作成する際、第１合成値として撮像装置分光感度あるいは光源分光分布のいずれかのみを用いる。
しかしながら、データ合成部１２が、第１合成値として、撮像装置分光感度あるいは光源分光分布のいずれかのみを用い、ＲＧＢ画像のデータと合成して第２合成値を求める構成としてもよい。
この構成の場合、機械学習モデル生成部１３が機械学習モデルを学習させる際にも、データ合成部１２が教師画像と合成して第２合成値を作成する際、第１合成値として撮像装置分光感度あるいは光源分光分布のいずれかのみを用いる。
【0084】
また、上述した実施形態においては、機械学習モデル及び補正機械学習モデルの各々が、分光情報画像を推定するとして説明した。
しかしながら、機械学習モデル及び補正機械学習モデルの各々は、推定する分布情報として、分光情報画像ではなく、主成分分析などで求められた分光反射率の曲線を構成する基底関数の係数を推定する構成としてもよい。
しかしながら、機械学習モデル及び補正機械学習モデルの各々は、推定する分布情報として、分光情報画像ではなく、主成分分析などで求められた分光反射率の曲線を構成する基底関数の係数を推定する構成としてもよい。
【0085】
図９は、機械学習モデル及び補正機械学習モデルの各々による、分光反射率の曲線を構成する基底関数の係数の推定を説明する概念図である。
すなわち、主成分分析により抽出された、分光反射率の曲線（波長と強度との対応を示す曲線）を合成して表す基底関数ｂ１から基底関数ｂｎの各々に乗ずる係数ｒ１から係数ｒｎのそれぞれを推定する構成としてもよい。
この構成の場合、機械学習モデル生成部１３は、機械学習モデルを学習させる際に、教師データのデータセットとして、分光反射率を出力とするのではなく、推定の出力として既知の係数ｒ１から係数ｒｎを用いる。
すなわち、主成分分析により抽出された、分光反射率の曲線（波長と強度との対応を示す曲線）を合成して表す基底関数ｂ１から基底関数ｂｎの各々に乗ずる係数ｒ１から係数ｒｎのそれぞれを推定する構成としてもよい。
この構成の場合、機械学習モデル生成部１３は、機械学習モデルを学習させる際に、教師データのデータセットとして、分光反射率を出力とするのではなく、推定の出力として既知の係数ｒ１から係数ｒｎを用いる。
【0086】
そして、機械学習モデル生成部１３は、推定された係数ｒ１から係数ｒｎの各々を基底関数ｂ１から基底関数ｂｎのそれぞれに乗じた後、基底関数ｂ１から基底関数ｂｎを合成して分光反射率の曲線を求めて、既知の分光反射率との分光誤差及びＲＧＢ画像におけるＲＧＢ誤差に基づき損失Ｌを求めて、上述した所定の条件を満たすまで学習を行う。
また、第１分光反射率推定部１４１は、学習済みの機械学習モデルにより、一次分光情報として係数ｒ１から係数ｒｎを第２分光反射率推定部１４２に対して出力する。
また、第１分光反射率推定部１４１は、学習済みの機械学習モデルにより、一次分光情報として係数ｒ１から係数ｒｎを第２分光反射率推定部１４２に対して出力する。
【0087】
これにより、補正機械学習モデルは、一次分光情報としての係数ｒ１から係数ｒｎを入力データとして、推定値として補正分光情報としての係数ｒ１から係数ｒｎを出力する。
第２分光反射率推定部１４２は、推定された係数ｒ１から係数ｒｎの各々を乗じた基底関数ｂ１から基底関数ｂｎのそれぞれを合成して分光反射率の曲線を求め、当該分光反射率により再構成ＲＧＢ画像を求めて、当該再構成ＲＧＢ画像と推定に用いたＲＧＢ画像とのＲＧＢ誤差に基づき損失Ｌを求めて、上述した所定の条件を満たした補正分光情報を分光情報として出力する。
第２分光反射率推定部１４２は、推定された係数ｒ１から係数ｒｎの各々を乗じた基底関数ｂ１から基底関数ｂｎのそれぞれを合成して分光反射率の曲線を求め、当該分光反射率により再構成ＲＧＢ画像を求めて、当該再構成ＲＧＢ画像と推定に用いたＲＧＢ画像とのＲＧＢ誤差に基づき損失Ｌを求めて、上述した所定の条件を満たした補正分光情報を分光情報として出力する。
【0088】
また、本実施形態において、ＲＧＢ画像を撮像した撮像装置の撮像装置分光感度が既知で、撮像した環境の光源分光分布が不明である場合、光源分光分布を推定する機械学習モデルとして光源分光分布推定用機械学習モデルを生成する構成としてもよい。
この構成の場合、分光情報画像を推定する対象のＲＧＢ画像を撮像する際、分光反射率（色成分Ｒ、色成分Ｇ、色成分Ｂ）が既知のカラーチャートを被写体とともに撮像しておく。同様に、教師画像にもＲＧＢ画像を被写体とともに撮像しておく。
また、機械学習モデル生成部１３は、光源分光分布推定用機械学習モデルを学習させる際、推定される出力データを光源分光分布とし、入力データを教師画像におけるカラーチャートの画像領域と、カラーチャートの既知の色成分Ｒ、色成分Ｇ及び色成分Ｂのデータと、撮像装置分光感度として、光源分光分布推定用機械学習モデルを学習させる。
この構成の場合、分光情報画像を推定する対象のＲＧＢ画像を撮像する際、分光反射率（色成分Ｒ、色成分Ｇ、色成分Ｂ）が既知のカラーチャートを被写体とともに撮像しておく。同様に、教師画像にもＲＧＢ画像を被写体とともに撮像しておく。
また、機械学習モデル生成部１３は、光源分光分布推定用機械学習モデルを学習させる際、推定される出力データを光源分光分布とし、入力データを教師画像におけるカラーチャートの画像領域と、カラーチャートの既知の色成分Ｒ、色成分Ｇ及び色成分Ｂのデータと、撮像装置分光感度として、光源分光分布推定用機械学習モデルを学習させる。
【0089】
そして、第１分光反射率推定部１４１は、ＲＧＢ画像から光源分光分布を推定する際、カラーチャートの画像領域と、カラーチャートの既知の色成分Ｒ、色成分Ｇ及び色成分Ｂのデータと、撮像装置分光感度とを、学習済みの光源分光分布機械学習モデルに対して合成の処理を行って入力し、光源分光分布を推定させる。
これにより、第１分光反射率推定部１４１は、ＲＧＢ画像と、撮像装置分光感度と、推定した光源分光分布との各々のデータを合成して、学習済みの機械学習モデルに対して入力し、分光情報画像を推定する。
一例として、機械学習モデルを用いて光源分光分布の推定を行う手法を説明したが、光源分光分布の推定については、上述した機械学習モデルを用いる以外のどのような手法を用いてもよい。
これにより、第１分光反射率推定部１４１は、ＲＧＢ画像と、撮像装置分光感度と、推定した光源分光分布との各々のデータを合成して、学習済みの機械学習モデルに対して入力し、分光情報画像を推定する。
一例として、機械学習モデルを用いて光源分光分布の推定を行う手法を説明したが、光源分光分布の推定については、上述した機械学習モデルを用いる以外のどのような手法を用いてもよい。
【0090】
また、本実施形態において、ＲＧＢ画像を撮像した環境の光源分光分布が既知で、撮像した撮像装置の撮像装置分光感度が不明である場合、撮像装置分光感度を推定する機械学習モデルとして撮像装置分光感度推定用機械学習モデルを生成する構成としてもよい。
この構成の場合、分光情報画像を推定する対象のＲＧＢ画像を撮像する際、分光反射率（色成分Ｒ、色成分Ｇ、色成分Ｂ）が既知のカラーチャートを被写体とともに撮像しておく。同様に、教師画像にもＲＧＢ画像を被写体とともに撮像しておく。
また、機械学習モデル生成部１３は、撮像装置分光感度推定用機械学習モデルを学習させる際、推定される出力データを撮像装置分光感度とし、入力データを教師画像におけるカラーチャートの画像領域と、カラーチャートの既知の色成分Ｒ、色成分Ｇ及び色成分Ｂのデータと、光源分光分布として、撮像装置分光感度推定用機械学習モデルを学習させる。
この構成の場合、分光情報画像を推定する対象のＲＧＢ画像を撮像する際、分光反射率（色成分Ｒ、色成分Ｇ、色成分Ｂ）が既知のカラーチャートを被写体とともに撮像しておく。同様に、教師画像にもＲＧＢ画像を被写体とともに撮像しておく。
また、機械学習モデル生成部１３は、撮像装置分光感度推定用機械学習モデルを学習させる際、推定される出力データを撮像装置分光感度とし、入力データを教師画像におけるカラーチャートの画像領域と、カラーチャートの既知の色成分Ｒ、色成分Ｇ及び色成分Ｂのデータと、光源分光分布として、撮像装置分光感度推定用機械学習モデルを学習させる。
【0091】
そして、第１分光反射率推定部１４１は、ＲＧＢ画像から撮像装置分光感度を推定する際、カラーチャートの画像領域と、カラーチャートの既知の色成分Ｒ、色成分Ｇ及び色成分Ｂのデータと、光源分光分布とを、学習済みの撮像装置分光感度推定用機械学習モデルに対して合成の処理を行って入力し、撮像装置分光感度を推定させる。
これにより、第１分光反射率推定部１４１は、ＲＧＢ画像と、光源分光分布と、推定した撮像装置分光感度との各々のデータを合成して、学習済みの機械学習モデルに対して入力し、分光情報画像を推定する。
一例として、機械学習モデルを用いて撮像装置分光感度の推定を行う手法を説明したが、撮像装置分光感度の推定については、上述した機械学習モデルを用いる以外のどのような手法を用いてもよい。
これにより、第１分光反射率推定部１４１は、ＲＧＢ画像と、光源分光分布と、推定した撮像装置分光感度との各々のデータを合成して、学習済みの機械学習モデルに対して入力し、分光情報画像を推定する。
一例として、機械学習モデルを用いて撮像装置分光感度の推定を行う手法を説明したが、撮像装置分光感度の推定については、上述した機械学習モデルを用いる以外のどのような手法を用いてもよい。
【0092】
＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。
第２の実施形態に係る分光情報画像推定装置は、第１の実施形態と同様の構成である。
一方、第２の実施形態における機械学習モデルは、第１の実施形態と異なる構成をしている。
以下、第２の実施形態に係る分光情報画像推定装置が、第１の実施形態と異なる動作のみを説明し、重複する説明については適宜省略する。
以下、本発明の第２の実施形態について、図面を参照して説明する。
第２の実施形態に係る分光情報画像推定装置は、第１の実施形態と同様の構成である。
一方、第２の実施形態における機械学習モデルは、第１の実施形態と異なる構成をしている。
以下、第２の実施形態に係る分光情報画像推定装置が、第１の実施形態と異なる動作のみを説明し、重複する説明については適宜省略する。
【0093】
第１の実施形態における機械学習モデルは、入力データのデータセットとして、撮像装置分光感度及び光源分光分布の各々を入力層に対して入力する構成であった。
しかしながら、第２の実施形態における機械学習モデルは、入力データのデータセットとして、撮像装置分光感度及び光源分光分布の各々を中間層に対して入力する構成とされている。
図１０は、本実施形態における機械学習モデルの中間層に対して、撮像装置分光感度及び光源分光分布の各々のデータの入力を説明する概念図である。
しかしながら、第２の実施形態における機械学習モデルは、入力データのデータセットとして、撮像装置分光感度及び光源分光分布の各々を中間層に対して入力する構成とされている。
図１０は、本実施形態における機械学習モデルの中間層に対して、撮像装置分光感度及び光源分光分布の各々のデータの入力を説明する概念図である。
【0094】
図１０において、データ合成部１２は、撮像画像データ記憶部１７を参照し、撮像画像データテーブルから、ＲＧＢ画像、撮像装置分光感度及び光源分光分布の各々のデータを読み出す。
そして、データ合成部１２は、ＲＧＢ画像をそのままのデータ形式として、第１分光反射率推定部１４１に対して出力する。
これにより、第１分光反射率推定部１４１は、撮像画像データテーブルからＲＧＢ画像のデータを読み出し、当該ＲＧＢ画像のデータを機械学習モデル３００の入力層３２０へ入力する。
そして、データ合成部１２は、ＲＧＢ画像をそのままのデータ形式として、第１分光反射率推定部１４１に対して出力する。
これにより、第１分光反射率推定部１４１は、撮像画像データテーブルからＲＧＢ画像のデータを読み出し、当該ＲＧＢ画像のデータを機械学習モデル３００の入力層３２０へ入力する。
【0095】
また、データ合成部１２は、撮像装置分光感度及び光源分光分布の各々のデータの連結、和及び積などによる合成を行い、第１合成値を生成する。
データ合成部１２は、生成した第１合成値と、機械学習モデル３００における複数の中間層３５０のいずれかの出力データとを連結、和及び積などの処理により合成して第３合成値を生成し、当該第３合成値を第１分光反射率推定部１４１に対して出力する。
データ合成部１２は、生成した第１合成値と、機械学習モデル３００における複数の中間層３５０のいずれかの出力データとを連結、和及び積などの処理により合成して第３合成値を生成し、当該第３合成値を第１分光反射率推定部１４１に対して出力する。
【0096】
そして、第１分光反射率推定部１４１は、第１合成値と合成した出力データを出力した中間層３５０の次段の中間層３５０に対して、データ合成部１２から供給された第３合成値を入力させる。
本実施形態においては、上記第１合成値と合成する出力データを出力する中間層を、いずれか一個の段の中間層とする構成としても良く、また複数段の中間層とする構成としてもよい。
本実施形態においては、上記第１合成値と合成する出力データを出力する中間層を、いずれか一個の段の中間層とする構成としても良く、また複数段の中間層とする構成としてもよい。
【0097】
また、第１合成値を中間層の出力と合成を行う場合、第１合成値の次元数（データの次元数）を変換した後、次元数変換した中間層の出力と第１合成値とを合成する構成としてもよい。
この構成の場合、データ合成部１２は、合成した第１合成値の次元を増加あるいは低減する次元変換用ニューラルネットワークを有している。
そして、データ合成部１２は、上記次元変換用ニューラルネットワークを用いて、合成した第１合成値の次元数を変換した後、第１合成値を第１分光反射率推定部１４１に対して出力する。
この構成の場合、データ合成部１２は、合成した第１合成値の次元を増加あるいは低減する次元変換用ニューラルネットワークを有している。
そして、データ合成部１２は、上記次元変換用ニューラルネットワークを用いて、合成した第１合成値の次元数を変換した後、第１合成値を第１分光反射率推定部１４１に対して出力する。
【0098】
上述したように、本実施形態は、第１の実施形態と同様に、ＲＧＢ画像と、当該ＲＧＢ画像を撮像した撮像装置の撮像装置分光感度と、ＲＧＢ画像を撮像した環境の光源の光源分光分布との各々を入力データのデータセットとして、機械学習モデルによりＲＧＢ画像の被写体の分光情報を一次分光情報画像として推定し、一次分光情報画像から補正機械学習モデルにより補正分光情報画像を推定させ、当該補正分光情報画像から生成された再構成ＲＧＢ画像と、一次分光情報画像の推定させたＲＧＢ画像とのＲＧＢ誤差から損失Ｌを求め、上述した所定の条件を満たすまで補正機械学習モデルの係数の調整を行い、調整後の補正機械学習モデルにより補正分光情報画像を再度推定させて分光情報画像を求め、すなわち機械学習モデル及び補正機械学習モデルの各々による２段階の推定を行い、分光情報画像を推定している。
この構成により、本実施形態によれば、機械学習モデルにより推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像とするため、学習データの不足や機械学習モデルの特性から第１分光反射率推定部１４１による一次分光情報画像の推定精度がマルチバンドカメラを用いた場合に比較して低い場合においても、第２分光反射率推定部１４２が一次分光情報画像の補正を行うことで、ＲＧＢ画像（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の分光反射率を、容易に、かつマルチバンドカメラで撮像した画像と同程度の精度で推定することができる。
この構成により、本実施形態によれば、機械学習モデルにより推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像とするため、学習データの不足や機械学習モデルの特性から第１分光反射率推定部１４１による一次分光情報画像の推定精度がマルチバンドカメラを用いた場合に比較して低い場合においても、第２分光反射率推定部１４２が一次分光情報画像の補正を行うことで、ＲＧＢ画像（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の分光反射率を、容易に、かつマルチバンドカメラで撮像した画像と同程度の精度で推定することができる。
【0099】
また、本実施形態によれば、中間層の出力に対して第１合成値を合成して第３合成値を生成して次段の中間層の入力とするため、ＲＧＢ画像の特徴を抽出した中間層の出力と、撮像装置分光感度及び光源分光分布の各々とが合成されて上記第３合成値となるため、第１の実施形態に比較してより、一次分光情報画像がＲＧＢの被写体の分光反射率に精度よく近似され、補正機械学習モデルの補正処理にかかる時間を低減させ、より早く分光情報画像を生成することができる。
【0100】
また、上述した実施形態においては、データ合成部１２がＲＧＢ画像を撮像した撮像装置分光感度と、撮像した環境の光源の光源分光分布とを合成して第１合成値としている。
しかしながら、データ合成部１２が、第１合成値として、撮像装置分光感度あるいは光源分光分布のいずれかのみを用い、入力としてＲＧＢ画像が入力された機械学習モデルの中間層の出力データと合成して第３合成値を求め、次段の中間層の入力とする構成としてもよい。
この構成の場合、機械学習モデル生成部１３が機械学習モデルを学習させる際にも、データ合成部１２が教師画像と合成して第３合成値を作成する際、第１合成値として撮像装置分光感度あるいは光源分光分布のいずれかのみを用いる。
しかしながら、データ合成部１２が、第１合成値として、撮像装置分光感度あるいは光源分光分布のいずれかのみを用い、入力としてＲＧＢ画像が入力された機械学習モデルの中間層の出力データと合成して第３合成値を求め、次段の中間層の入力とする構成としてもよい。
この構成の場合、機械学習モデル生成部１３が機械学習モデルを学習させる際にも、データ合成部１２が教師画像と合成して第３合成値を作成する際、第１合成値として撮像装置分光感度あるいは光源分光分布のいずれかのみを用いる。
【0101】
＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。
第３の実施形態に係る分光情報画像推定装置は、第１の実施形態と同様の構成である。
一方、第３の実施形態における機械学習モデルは、第１の実施形態と異なる構成をしている。
以下、第３の実施形態に係る分光情報画像推定装置が、第１の実施形態と異なる動作のみを説明し、重複する説明については適宜省略する。
以下、本発明の第３の実施形態について、図面を参照して説明する。
第３の実施形態に係る分光情報画像推定装置は、第１の実施形態と同様の構成である。
一方、第３の実施形態における機械学習モデルは、第１の実施形態と異なる構成をしている。
以下、第３の実施形態に係る分光情報画像推定装置が、第１の実施形態と異なる動作のみを説明し、重複する説明については適宜省略する。
【0102】
図１１は、本実施形態における第１分光反射率推定部１４１が用いる機械学習モデルの構成例を説明する概念図である。
図１１において、本実施形態の機械学習モデルは、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々と、統合機械学習モデル１１０とを有している。
ここで、サブ機械学習モデル１０１は、ＲＧＢ画像の画素における色成分Ｒ（撮像装置色成分Ｒデータ）と、撮像装置分光感度における色成分Ｒ（撮像装置色成分Ｒ感度データ）との各々のデータを入力し、色成分Ｒに関する推定出力をデータ合成部１２に出力する。
図１１において、本実施形態の機械学習モデルは、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々と、統合機械学習モデル１１０とを有している。
ここで、サブ機械学習モデル１０１は、ＲＧＢ画像の画素における色成分Ｒ（撮像装置色成分Ｒデータ）と、撮像装置分光感度における色成分Ｒ（撮像装置色成分Ｒ感度データ）との各々のデータを入力し、色成分Ｒに関する推定出力をデータ合成部１２に出力する。
【0103】
同様に、サブ機械学習モデル１０２は、撮像画像の画素における色成分Ｇ（撮像装置色成分Ｇデータ）と、撮像装置分光感度における色成分Ｇ（撮像装置色成分Ｇ感度データ）との各々のデータを入力し、色成分Ｇに関する推定出力をデータ合成部１２に出力する。
サブ機械学習モデル１０２は、撮像画像の画素における色成分Ｂ（撮像装置色成分Ｂデータ）と、撮像装置分光感度における色成分Ｂ（撮像装置色成分Ｂ感度データ）との各々のデータを入力し、色成分Ｂに関する推定出力をデータ合成部１２に出力する。
サブ機械学習モデル１０２は、撮像画像の画素における色成分Ｂ（撮像装置色成分Ｂデータ）と、撮像装置分光感度における色成分Ｂ（撮像装置色成分Ｂ感度データ）との各々のデータを入力し、色成分Ｂに関する推定出力をデータ合成部１２に出力する。
【0104】
データ合成部１２は、撮像画像の画素における色成分Ｒ（撮像装置色成分Ｒデータ）と撮像装置分光感度における色成分Ｒ（撮像装置色成分Ｒ感度データ）との各々のデータを、連結、和及び積により合成して入力合成値ＳＲを生成し、当該入力合成値ＳＲを第１分光反射率推定部１４１に対して出力する。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給される入力合成値ＳＲをサブ機械学習モデル１０１の入力層に対して入力する。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給される入力合成値ＳＲをサブ機械学習モデル１０１の入力層に対して入力する。
【0105】
また、データ合成部１２は、撮像画像の画素における色成分Ｇ（撮像装置色成分Ｇデータ）と撮像装置分光感度における色成分Ｇ（撮像装置色成分Ｇ感度データ）との各々のデータを、連結、和及び積により合成して入力合成値ＳＧを生成し、当該入力合成値ＳＧを第１分光反射率推定部１４１に対して出力する。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給される入力合成値ＳＧをサブ機械学習モデル１０２の入力層に対して入力する。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給される入力合成値ＳＧをサブ機械学習モデル１０２の入力層に対して入力する。
【0106】
同様に、データ合成部１２は、撮像画像の画素における色成分Ｂ（撮像装置色成分Ｂデータ）と撮像装置分光感度における色成分Ｂ（撮像装置色成分Ｂ感度データ）との各々のデータを、連結、和及び積により合成して入力合成値ＳＢを生成し、当該入力合成値ＳＢを第１分光反射率推定部１４１に対して出力する。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給される入力合成値ＳＢをサブ機械学習モデル１０３の入力層に対して入力する。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給される入力合成値ＳＢをサブ機械学習モデル１０３の入力層に対して入力する。
【0107】
また、データ合成部１２は、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々の出力と、光源分光分布とを、連結、和及び積により合成して第４合成値を生成し、当該第４合成値を第１分光反射率推定部１４１に対して出力する。
このとき、データ合成部１２は、次元変換用ニューラルネットワークを用いて、第４合成値の次元数を変換した後、この次元数を変換した第４合成値を第１分光反射率推定部１４１に対して出力する構成としてもよい。
そして、第１分光反射率推定部１４１は、統合機械学習モデル１１０から供給される第４合成値を統合機械学習モデル１１０に対して入力する。
これにより、統合機械学習モデル１１０は、第４合成値に対応して、分光情報画像を推定して出力する。
このとき、データ合成部１２は、次元変換用ニューラルネットワークを用いて、第４合成値の次元数を変換した後、この次元数を変換した第４合成値を第１分光反射率推定部１４１に対して出力する構成としてもよい。
そして、第１分光反射率推定部１４１は、統合機械学習モデル１１０から供給される第４合成値を統合機械学習モデル１１０に対して入力する。
これにより、統合機械学習モデル１１０は、第４合成値に対応して、分光情報画像を推定して出力する。
【0108】
また、本実施形態において、機械学習モデル生成部１３は、機械学習モデルの学習を行う際、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３と、統合機械学習モデル１１０とのニューラルネットワークの関数の係数の調整を行う。
ここで、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々が、同一のニューラルネットワークの構成とされている。
このため、機械学習モデル生成部１３は、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々において、同一のニューラルネットワークの関数の係数を同一の数値で調整していく。
ここで、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々が、同一のニューラルネットワークの構成とされている。
このため、機械学習モデル生成部１３は、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々において、同一のニューラルネットワークの関数の係数を同一の数値で調整していく。
【0109】
また、本実施形態において、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々において、撮像画像色成分（Ｒ，Ｇ，Ｂ）のデータ（成分データ）と撮像装置色成分感度（Ｒ，Ｇ，Ｂ）の感度データを、それぞれの入力層に入力するのではなく、第１分光反射率推定部１４１が撮像画像色成分のみを入力層に入力し、また、データ合成部１２が中間層の出力データに対して撮像装置色成分感度の感度データを合成して、第１分光反射率推定部１４１が、出力データと感度データとが合成されたデータを、次段の中間層に入力する構成としてもよい。
このとき、データ合成部１２は、次元変換用ニューラルネットワークを用いて、出力データと感度データとの合成されたデータ（合成データ）の次元数を変換した後、この次元数が変換された合成データを第１分光反射率推定部１４１に対して出力する構成としてもよい。
このとき、データ合成部１２は、次元変換用ニューラルネットワークを用いて、出力データと感度データとの合成されたデータ（合成データ）の次元数を変換した後、この次元数が変換された合成データを第１分光反射率推定部１４１に対して出力する構成としてもよい。
【0110】
また、本実施形態において、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々において、撮像画像色成分（Ｒ，Ｇ，Ｂ）のデータと撮像装置色成分感度（Ｒ，Ｇ，Ｂ）データを、それぞれの入力層に入力するのではなく、第１分光反射率推定部１４１が撮像画像色成分を入力層に入力し、また、データ合成部１２が中間層の出力データに対して撮像画像色成分の成分データ及び撮像装置色成分感度の感度データの各々を合成して、第１分光反射率推定部１４１が、出力データと成分データと感度データとが合成されたデータを次段の中間層に入力する構成としてもよい。
このとき、データ合成部１２は、次元変換用ニューラルネットワークを用いて、出力データと成分データ、感度データとの合成されたデータ（合成データ）の次元数を変換した後、この次元数が変換された合成データを第１分光反射率推定部１４１に対して出力する構成としてもよい。
このとき、データ合成部１２は、次元変換用ニューラルネットワークを用いて、出力データと成分データ、感度データとの合成されたデータ（合成データ）の次元数を変換した後、この次元数が変換された合成データを第１分光反射率推定部１４１に対して出力する構成としてもよい。
【0111】
また、本実施形態において、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々において、撮像画像色成分（Ｒ，Ｇ，Ｂ）のデータと撮像装置色成分感度（Ｒ，Ｇ，Ｂ）データを、それぞれの入力層に入力するのではなく、第１分光反射率推定部１４１が撮像画像色成分のみを入力層に入力し、また、データ合成部１２が中間層の出力データに対して撮像装置色成分感度の感度データ及び光源分光分布の分布データの各々を合成して、第１分光反射率推定部１４１が、出力データと感度データと分布データとが合成されたデータ（合成データとしての第５合成値）を次段の中間層に入力する構成としてもよい。
このとき、データ合成部１２は、次元変換用ニューラルネットワークを用いて、出力データと感度データと分布データとの合成されたデータ（合成データ）の次元数を変換した後、この次元数が変換された合成データを第１分光反射率推定部１４１に対して出力する構成としてもよい。
このとき、データ合成部１２は、次元変換用ニューラルネットワークを用いて、出力データと感度データと分布データとの合成されたデータ（合成データ）の次元数を変換した後、この次元数が変換された合成データを第１分光反射率推定部１４１に対して出力する構成としてもよい。
【0112】
また、本実施形態において、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々に対して、撮像画像色成分（Ｒ，Ｇ，Ｂ）のデータと撮像装置色成分感度（Ｒ，Ｇ，Ｂ）データを入力層に入力するのではなく、撮像画像色成分（Ｒ，Ｇ，Ｂ）のデータと撮像装置色成分感度（Ｒ，Ｇ，Ｂ）データと光源分光分布のデータとを合成（連結、和及び積）して入力させる構成としてもよい。
このとき、データ合成部１２は、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々の出力を合成して、第１分光反射率推定部１４１に出力する。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給されるデータを統合機械学習モデルの入力とする。
このとき、データ合成部１２は、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々の出力を合成して、第１分光反射率推定部１４１に出力する。
そして、第１分光反射率推定部１４１は、データ合成部１２から供給されるデータを統合機械学習モデルの入力とする。
【0113】
また、本実施形態において、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々に対して、撮像画像色成分（Ｒ，Ｇ，Ｂ）のデータと撮像装置色成分感度（Ｒ，Ｇ，Ｂ）データの合成（連結、和及び積）した第１合成値を入力層に入力させるとともに、光源分光分布のデータを、サブ機械学習モデル１０１、サブ機械学習モデル１０２、サブ機械学習モデル１０３それぞれの中間層に対して入力させる構成としてもよい。
このとき、第１分光反射率推定部１４１は、データ合成部１２から供給される光源分光分布のデータを、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々の中間層に対して入力する。
このとき、第１分光反射率推定部１４１は、データ合成部１２から供給される光源分光分布のデータを、サブ機械学習モデル１０１、サブ機械学習モデル１０２及びサブ機械学習モデル１０３の各々の中間層に対して入力する。
【0114】
上述したように、本実施形態は、第１の実施形態と同様に、ＲＧＢ画像と、当該ＲＧＢ画像を撮像した撮像装置の撮像装置分光感度と、ＲＧＢ画像を撮像した環境の光源の光源分光分布との各々を入力データのデータセットとして、機械学習モデルによりＲＧＢ画像の被写体の分光情報を一次分光情報画像として推定し、一次分光情報画像から補正機械学習モデルにより補正分光情報画像を推定させ、当該補正分光情報画像から生成された再構成ＲＧＢ画像と、一次分光情報画像の推定させたＲＧＢ画像とのＲＧＢ誤差から損失Ｌを求め、上述した所定の条件を満たすまで補正機械学習モデルの係数の調整を行い、調整後の補正機械学習モデルにより補正分光情報画像を再度推定させて分光情報画像を求め、すなわち機械学習モデル及び補正機械学習モデルの各々による２段階の推定を行い、分光情報画像を推定している。
この構成により、本実施形態によれば、機械学習モデルにより推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像とするため、学習データの不足や機械学習モデルの特性から第１分光反射率推定部１４１による一次分光情報画像の推定精度がマルチバンドカメラを用いた場合に比較して低い場合においても、第２分光反射率推定部１４２が一次分光情報画像の補正を行うことで、ＲＧＢ画像（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の分光反射率を、容易に、かつマルチバンドカメラで撮像した画像と同程度の精度で推定することができる。
この構成により、本実施形態によれば、機械学習モデルにより推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像とするため、学習データの不足や機械学習モデルの特性から第１分光反射率推定部１４１による一次分光情報画像の推定精度がマルチバンドカメラを用いた場合に比較して低い場合においても、第２分光反射率推定部１４２が一次分光情報画像の補正を行うことで、ＲＧＢ画像（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の分光反射率を、容易に、かつマルチバンドカメラで撮像した画像と同程度の精度で推定することができる。
【0115】
また、本実施形態によれば、ＲＧＢ画像の色成分毎にサブ機械学習モデルを備えており、色成分Ｒ、色成分Ｇ及び色成分Ｂの各々に対する特徴抽出の処理が同様であることが考えられ、機械学習モデルの学習を行う際に、色成分毎のサブ機械学習モデルの各々におけるニューラルネットの同一の関数同士を、同一のタイミングで同一の数値に調整することにより、サブ機械学習モデルを使用せず全ての関数の各々の係数の調整を行う場合に比較して、機械学習モデルの学習をより早く収束させることができる。
【0116】
また、上述した実施形態においては、データ合成部１２がＲＧＢ画像を撮像した撮像装置分光感度と、撮像した環境の光源の光源分光分布とを合成して第１合成値としている。
しかしながら、データ合成部１２が、第１合成値として、撮像装置分光感度あるいは光源分光分布のいずれかのみを用い、入力としてＲＧＢ画像の色成分毎のデータが入力された、色成分毎の機械学習モデルの中間層の出力データと合成して第５合成値を求め、色成分毎の機械学習モデルの次段の中間層の入力とする構成としてもよい。
この構成の場合、機械学習モデル生成部１３が機械学習モデルを学習させる際にも、データ合成部１２が教師画像と合成して第５合成値を作成する際、第１合成値として撮像装置分光感度あるいは光源分光分布のいずれかのみを用いる。
しかしながら、データ合成部１２が、第１合成値として、撮像装置分光感度あるいは光源分光分布のいずれかのみを用い、入力としてＲＧＢ画像の色成分毎のデータが入力された、色成分毎の機械学習モデルの中間層の出力データと合成して第５合成値を求め、色成分毎の機械学習モデルの次段の中間層の入力とする構成としてもよい。
この構成の場合、機械学習モデル生成部１３が機械学習モデルを学習させる際にも、データ合成部１２が教師画像と合成して第５合成値を作成する際、第１合成値として撮像装置分光感度あるいは光源分光分布のいずれかのみを用いる。
【0117】
＜第４の実施形態＞
以下、本発明の第４の実施形態について、図面を参照して説明する。
図１２は、第４の実施形態に係る分光情報画像推定装置の構成例を示すブロック図である。図１２に示す分光情報画像推定装置１０Ａは、例えば、ＰＣ、サーバ装置、量子コンピュータなどによって実現される。
図１２において、分光情報画像推定装置１０Ａは、データ入力部１１、分光反射率推定部１４Ａ、分光画像出力部１５、撮像画像データ記憶部１７及び分光情報画像データ記憶部１９の各々を備えている。
また、分光反射率推定部１４Ａは、第１分光反射率推定部１４１Ａ及び第２分光反射率推定部１４２の各々を備えている。
なお、第１の実施形態と同様の構成については、同一の符号を付してある。以下では、上述した各実施形態と重複する説明については適宜省略する。
以下、本発明の第４の実施形態について、図面を参照して説明する。
図１２は、第４の実施形態に係る分光情報画像推定装置の構成例を示すブロック図である。図１２に示す分光情報画像推定装置１０Ａは、例えば、ＰＣ、サーバ装置、量子コンピュータなどによって実現される。
図１２において、分光情報画像推定装置１０Ａは、データ入力部１１、分光反射率推定部１４Ａ、分光画像出力部１５、撮像画像データ記憶部１７及び分光情報画像データ記憶部１９の各々を備えている。
また、分光反射率推定部１４Ａは、第１分光反射率推定部１４１Ａ及び第２分光反射率推定部１４２の各々を備えている。
なお、第１の実施形態と同様の構成については、同一の符号を付してある。以下では、上述した各実施形態と重複する説明については適宜省略する。
【0118】
第１分光反射率推定部１４１Ａは、第１の実施形態における第１分光反射率推定部１４１と異なり、機械学習モデルを用いる分光反射率の推定は行わない。
第１分光反射率推定部１４１Ａは、例えば、図９に示すように、分光反射率基底ベクトル（基底関数）を合成して分光反射率を推定する。
ここで、分光反射率基底ベクトルは、主成分分析を用いて複数の分光反射率データの集合である分光反射率データ群から、当該分光反射率データ群を表現するための分光反射率基底ベクトルとして、予め導出されている。
この主成分分析においては、分光反射率の実際の次元数よりも、少ない次元数の分光反射率基底ベクトルの組み合わせで、分光反射率を表現できるようになる。すなわち、分光反射率基底ベクトルを用いることにより、推定する対象である分光反射率の次元数を圧縮し、計算負荷を低減させる。
第１分光反射率推定部１４１Ａは、例えば、図９に示すように、分光反射率基底ベクトル（基底関数）を合成して分光反射率を推定する。
ここで、分光反射率基底ベクトルは、主成分分析を用いて複数の分光反射率データの集合である分光反射率データ群から、当該分光反射率データ群を表現するための分光反射率基底ベクトルとして、予め導出されている。
この主成分分析においては、分光反射率の実際の次元数よりも、少ない次元数の分光反射率基底ベクトルの組み合わせで、分光反射率を表現できるようになる。すなわち、分光反射率基底ベクトルを用いることにより、推定する対象である分光反射率の次元数を圧縮し、計算負荷を低減させる。
【0119】
すなわち、第１分光反射率推定部１４１Ａは、以下の（７）式で示すように、複数の分光反射率基底ベクトルＢ＝［ｂ１，ｂ２，…］Ｔの重み付け和で表し、この重み付けを行うため、分光反射率基底ベクトルの各々の重み係数ｒ＝［ｒ１，ｒ２，…］Ｔを求めることにより、分光反射スペクトルｓを推定している。
ここで、分光反射率基底ベクトルは、例えば、セットとして撮像画像データ記憶部１７に予め記憶されている。また、撮像画像データ記憶部１７において、分光反射率基底ベクトルは、主成分分析における主成分得点の高い順に複数配列して記憶されており、所定の順までの分光反射率基底ベクトルを必要に応じた数を読み込んで用いる構成としても良い。
ここで、分光反射率基底ベクトルは、例えば、セットとして撮像画像データ記憶部１７に予め記憶されている。また、撮像画像データ記憶部１７において、分光反射率基底ベクトルは、主成分分析における主成分得点の高い順に複数配列して記憶されており、所定の順までの分光反射率基底ベクトルを必要に応じた数を読み込んで用いる構成としても良い。
【0120】
図９は、すでに説明したが、分光反射率基底ベクトルを合成して分光反射率を表現することを示している。
図９に示すように、分光反射スペクトルｓは、所定の物体の各々の分光反射率を用いた主成分分析で得られた分光反射率基底ベクトルｂ１からｂｎの各々に対して、それぞれ重み係数を乗算して、乗算結果を合成することで得られる。
すなわち、第１分光反射率推定部１４１Ａは、必要な数の分光反射率基底ベクトルｂ１から分光反射率基底ベクトルｂｎを撮像画像データ記憶部１７から読み出す。
そして、第１分光反射率推定部１４１Ａは、抽出した分光反射率基底ベクトルｂ１から分光反射率基底ベクトルｂｎの各々の重み係数ｒ１から重み係数ｒｎのそれぞれを、基準多視点画像の各々の画素の画素値となる分光反射スペクトルｓが得られるように推定し、推定結果から分光反射スペクトルｓを求める（後述）。
図９に示すように、分光反射スペクトルｓは、所定の物体の各々の分光反射率を用いた主成分分析で得られた分光反射率基底ベクトルｂ１からｂｎの各々に対して、それぞれ重み係数を乗算して、乗算結果を合成することで得られる。
すなわち、第１分光反射率推定部１４１Ａは、必要な数の分光反射率基底ベクトルｂ１から分光反射率基底ベクトルｂｎを撮像画像データ記憶部１７から読み出す。
そして、第１分光反射率推定部１４１Ａは、抽出した分光反射率基底ベクトルｂ１から分光反射率基底ベクトルｂｎの各々の重み係数ｒ１から重み係数ｒｎのそれぞれを、基準多視点画像の各々の画素の画素値となる分光反射スペクトルｓが得られるように推定し、推定結果から分光反射スペクトルｓを求める（後述）。
【0121】
【数7】
【0122】
図１２に戻り、第１分光反射率推定部１４１Ａは、上記（７）式で表した分光反射スペクトルに対し、以下の（８）式を解くことにより、各重み係数ｒを推定する。
そして、第１分光反射率推定部１４１Ａは、推定した重み係数ｒにより、（７）式により分光反射スペクトルｓの推定を行う。ここで、分光反射スペクトルｓｉは、例えば、４００ｎｍから７００ｎｍの波長範囲を１０ｎｍ刻みでサンプリングした３１次元ベクトルとして表している。
そして、第１分光反射率推定部１４１Ａは、推定した重み係数ｒにより、（７）式により分光反射スペクトルｓの推定を行う。ここで、分光反射スペクトルｓｉは、例えば、４００ｎｍから７００ｎｍの波長範囲を１０ｎｍ刻みでサンプリングした３１次元ベクトルとして表している。
【0123】
【数8】
【0124】
上記（８）式において、ｐｍ，ｋは、ｍ番目の撮像画像のｋ番目のチャネルの画素値である。すなわち、ｐｍ，ｋにおいて、ｍは、フィルタ毎の撮像画像を示す番号である。また、ｋは、多視点画像における部分における色成分のチャネルを示している。例えば、部分が色成分Ｒ、Ｇ及びＢの画素値で示されていれば、例えばチャネル（バンド）１が色成分Ｒ（Ｒチャネル）であり、チャネル２が色成分Ｇ（Ｇチャネル）であり、チャネル３が色成分Ｂ（Ｂチャネル）である。また、各フィルタの撮像画像から画素値を読み出す画素は、当該撮像画像の各々に対応する画素として、各フィルタの撮像画像それぞれの画像データから抽出する。
【0125】
また、（８）式において、行列Ｃｍ、ｋは、ｍ番目のフィルタの撮像画像のｋ番目のチャネル（色成分の波長帯域）の分光感度を示している。このＣｍ、ｋにおける要素ｃｍ，ｋ（λ）は、ｍ番目の撮像画像のｋ番目のチャネルにおける波長λの分光感度を示している。
また、光源の分光分布ｌは、すでに計測された分光分布データとして、撮像画像データ記憶部１７の撮像画像データテーブルに書き込まれている。
第１分光反射率推定部１４１Ａは、各フィルタの撮像画像が撮像された環境における光源の光源分光分布を撮像画像データ記憶部１７の撮像画像データテーブルから読み出す。
また、光源の分光分布ｌは、すでに計測された分光分布データとして、撮像画像データ記憶部１７の撮像画像データテーブルに書き込まれている。
第１分光反射率推定部１４１Ａは、各フィルタの撮像画像が撮像された環境における光源の光源分光分布を撮像画像データ記憶部１７の撮像画像データテーブルから読み出す。
【0126】
ここで、第１分光反射率推定部１４１Ａは、各フィルタの撮像画像における撮像装置分光感度の数に対応して、撮像画像データ記憶部１７から分光反射率基底ベクトルのセットを選択して読み出す構成としてもよい。
また、（８）式を解く際、分光反射率データを表すために用いる分光反射率基底ベクトル（主成分）の数（以下、分光反射率基底ベクトル数）ｎの上限は、例えば、撮像画像を撮像する分光感度グループの数（色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
また、（８）式を解く際、分光反射率データを表すために用いる分光反射率基底ベクトル（主成分）の数（以下、分光反射率基底ベクトル数）ｎの上限は、例えば、撮像画像を撮像する分光感度グループの数（色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
【0127】
ｑ個の分光感度グループにおける多視点画像を用いる場合、「ｎ（分光反射率基底ベクトル数）＝ｑ（分光感度の種類の数、分光感度グループ数）×ｋ（チャネルの数、以下チャネル数）」の関係式で決定される。すなわち、分光反射率データを示す分光反射率基底ベクトル数ｎが分光感度グループ数ｑのチャネル数ｋ倍以下であれば、（８）式を解くことが可能である。
一例としては、分光感度の異なる３個（＝Ｎｃ）の色彩変化フィルタを用い、チャネルがＲ、Ｇ及びＢの３個である場合、基底ベクトルの上限は、９（＝３×３）となる。
また、各色彩変化フィルタを用いた撮像画像の各々は、同一視点におけるｍ番目の視点画像として（８）式において用いるため、同一視点で撮像されている必要がある。
しかしながら、上述した複数の分光感度による分光反射率の推定ではなく、ＲＧＢ画像から被写体の分光反射率を推定する手法であればいずれを用いてもよい。
一例としては、分光感度の異なる３個（＝Ｎｃ）の色彩変化フィルタを用い、チャネルがＲ、Ｇ及びＢの３個である場合、基底ベクトルの上限は、９（＝３×３）となる。
また、各色彩変化フィルタを用いた撮像画像の各々は、同一視点におけるｍ番目の視点画像として（８）式において用いるため、同一視点で撮像されている必要がある。
しかしながら、上述した複数の分光感度による分光反射率の推定ではなく、ＲＧＢ画像から被写体の分光反射率を推定する手法であればいずれを用いてもよい。
【0128】
第１分光反射率推定部１４１Ａは、求めた分光反射率の３１バンドの分光情報画像を、一次分光情報画像として第２分光反射率推定部１４２へ出力する。
そして、第２分光反射率推定部１４２は、第１の実施形態で説明したように、第１分光反射率推定部１４１Ａから供給される一次分光情報画像を補正機械学習モデルに入力する。
第２分光反射率推定部１４２は、出力される補正分光情報画像から再構成ＲＧＢ画像を生成し、いずれかの色彩変化フィルタのＲＧＢ画像と比較して損失Ｌを求める。
そして、第２分光反射率推定部１４２は、第１の実施形態で説明したように、第１分光反射率推定部１４１Ａから供給される一次分光情報画像を補正機械学習モデルに入力する。
第２分光反射率推定部１４２は、出力される補正分光情報画像から再構成ＲＧＢ画像を生成し、いずれかの色彩変化フィルタのＲＧＢ画像と比較して損失Ｌを求める。
【0129】
補正分光情報画像から再構成ＲＧＢ画像を生成する際、第２分光反射率推定部１４２は、補正分光情報画像から比較するＲＧＢ画像を撮像したときの色彩変化フィルタによる撮像装置分光感度と、撮像した環境の光源分光分布を用いて、ＲＧＢ画像を生成する。
そして、第２分光反射率推定部１４２は、損失Ｌが生成閾値以下となるまで、補正機械学習モデルのニューラルネットの関数の係数を調整する。
第２分光反射率推定部１４２は、損失Ｌが生成閾値以下となった場合、そのときの補正分光情報画像を分光情報画像として、分光画像出力部１５に出力する。
分光画像出力部１５は、第２分光反射率推定部１４２から供給される分光情報画像を、分光情報画像データ記憶部１９に書き込んで記憶させる。
そして、第２分光反射率推定部１４２は、損失Ｌが生成閾値以下となるまで、補正機械学習モデルのニューラルネットの関数の係数を調整する。
第２分光反射率推定部１４２は、損失Ｌが生成閾値以下となった場合、そのときの補正分光情報画像を分光情報画像として、分光画像出力部１５に出力する。
分光画像出力部１５は、第２分光反射率推定部１４２から供給される分光情報画像を、分光情報画像データ記憶部１９に書き込んで記憶させる。
【0130】
上述したように、本実施形態は、所定の方法でＲＧＢ画像から撮像装置分光感度及び光源分光分布を用いて一次分光情報画像として推定し、当該一次分光情報画像から補正機械学習モデルにより補正分光情報画像を推定させ、当該補正分光情報画像から生成された再構成ＲＧＢ画像と、一次分光情報画像の推定させたＲＧＢ画像とのＲＧＢ誤差から損失Ｌを求め、上述した所定の条件を満たすまで補正機械学習モデルの係数の調整を行い、調整後の補正機械学習モデルにより補正分光情報画像を再度推定させ、すなわち所定の方法でＲＧＢ画像から一次分光情報画像を推定させ、一次分光情報画像から補正機械学習モデルにより補正分光情報画像を推定する２段階の推定処理を行い、分光情報画像を推定している。
この構成により、本実施形態によれば、所定の推定方法により推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像とするため、所定の推定方法の特性から第１分光反射率推定部１４１Ａによる一次分光情報画像の推定精度がマルチバンドカメラを用いた場合に比較して低い場合においても、第２分光反射率推定部１４２が一次分光情報画像の補正を行うことで、ＲＧＢ画像（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の分光反射率を、容易に、かつマルチバンドカメラで撮像した画像と同程度の精度で推定することができる。
この構成により、本実施形態によれば、所定の推定方法により推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像とするため、所定の推定方法の特性から第１分光反射率推定部１４１Ａによる一次分光情報画像の推定精度がマルチバンドカメラを用いた場合に比較して低い場合においても、第２分光反射率推定部１４２が一次分光情報画像の補正を行うことで、ＲＧＢ画像（３バンド、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の分光反射率を、容易に、かつマルチバンドカメラで撮像した画像と同程度の精度で推定することができる。
【0131】
＜第５の実施形態＞
以下、本発明の第５の実施形態について、図面を参照して説明する。
図１３は、第５の実施形態に係る分光情報画像推定装置の構成例を示すブロック図である。図１３に示す分光情報画像推定装置１０Ｂは、例えば、ＰＣ、サーバ装置、量子コンピュータなどによって実現される。
図１３において、分光情報画像推定装置１０Ｂは、データ入力部１１Ｂ、データ生成部２０、機械学習モデル生成部１３Ｂ、分光反射率推定部１４Ｂ、分光画像出力部１５、データセットデータ記憶部２１、教師画像データ記憶部１６Ｂ、撮像画像データ記憶部１７、機械学習モデル記憶部１８、及び分光情報画像データ記憶部１９の各々を備えている。
また、分光反射率推定部１４Ｂは、第１分光反射率推定部１４１Ｂ及び第２分光反射率推定部１４２Ｂの各々を備えている。
なお、第１の実施形態と同様の構成については、同一の符号を付してある。以下では、上述した各実施形態と重複する説明については適宜省略する。
以下、本発明の第５の実施形態について、図面を参照して説明する。
図１３は、第５の実施形態に係る分光情報画像推定装置の構成例を示すブロック図である。図１３に示す分光情報画像推定装置１０Ｂは、例えば、ＰＣ、サーバ装置、量子コンピュータなどによって実現される。
図１３において、分光情報画像推定装置１０Ｂは、データ入力部１１Ｂ、データ生成部２０、機械学習モデル生成部１３Ｂ、分光反射率推定部１４Ｂ、分光画像出力部１５、データセットデータ記憶部２１、教師画像データ記憶部１６Ｂ、撮像画像データ記憶部１７、機械学習モデル記憶部１８、及び分光情報画像データ記憶部１９の各々を備えている。
また、分光反射率推定部１４Ｂは、第１分光反射率推定部１４１Ｂ及び第２分光反射率推定部１４２Ｂの各々を備えている。
なお、第１の実施形態と同様の構成については、同一の符号を付してある。以下では、上述した各実施形態と重複する説明については適宜省略する。
【0132】
データ入力部１１Ｂは、外部装置から供給されるデータセットを入力し、当該データセットをデータセットデータ記憶部２１に対して書き込んで記憶させる。データセットには、例えば、分光情報画像データセット、光源分光分布データセット、及び撮像装置分光感度データセットが含まれる。分光情報画像データセットは、複数の分光情報画像を含むデータセットである。光源分光分布データセットは、複数の光源分光分布を含むデータセットであり、例えば照明ごとの分光分布又は太陽光の分光分布を示す光源分光分布を複数含んでいる。撮像装置分光感度データセットは、複数の撮像装置分光感度を含むデータセットであり、例えば撮像装置の機種ごとの分光感度を示す撮像装置分光感度を複数含んでいる。
【0133】
データ生成部２０は、機械学習モデル（第１機械学習モデル）の学習に用いる教師データを生成する。例えば、データ生成部２０は、データセットデータ記憶部２１に記憶されている分光情報画像データセット、光源分光分布データセット、及び撮像装置分光感度データセットに基づき、教師データを生成する。具体的に、まず、データ生成部２０は、データセットデータ記憶部２１に記憶されている分光情報画像データセット、光源分光分布データセット、及び撮像装置分光感度データセットの各データセットから分光情報画像、光源分光分布、及び撮像装置分光感度をそれぞれランダムに選択する。選択後、データ生成部２０は、選択した分光情報画像、光源分光分布、及び撮像装置分光感度からＲＧＢ画像を教師画像として生成する。生成後、データ生成部２０は、生成したＲＧＢ画像と、当該ＲＧＢ画像の生成に用いた撮像装置分光感度、光源分光分布、及び分光情報画像の分光反射率（即ちＲＧＢ画像における被写体の既知の分光反射率）とを１つの教師データとして、教師画像データ記憶部１６Ｂに対して書き込んで記憶させる。
【0134】
なお、データ生成部２０は、データセットデータ記憶部２１に記憶されている各データセットから選択した分光情報画像、光源分光分布、及び撮像装置分光感度に対して、任意の倍率を与えること（スケーリング）によって、教師画像を生成するための分光情報画像、光源分光分布、及び撮像装置分光感度を新しく生成してもよい。
【0135】
また、データ生成部２０は、教師データの基底ベクトルに基づき、教師データとして用いる光源分光分布又は撮像装置分光感度を新しく生成してもよい。この場合、データ生成部２０は、光源分光分布データセット又は撮像装置分光感度データセットに含まれる分光成分に対して所定の係数を乗算し、乗算結果を加算あるいは減算することで、教師画像を生成するための光源分光分布又は撮像装置分光感度を新しく生成する。
なお、データセットデータ記憶部２１の光源分光分布データセットには、光源分光分布における含有比率が大きい分光成分が予め書き込んで記憶される。また、データセットデータ記憶部２１の撮像装置分光感度データセットには、撮像装置分光感度における含有比率が大きい分光成分が予め書き込んで記憶される。光源分光分布データセット又は撮像装置分光感度データセットに含まれる分光成分は、例えば、主成分分析により生成される。
なお、データセットデータ記憶部２１の光源分光分布データセットには、光源分光分布における含有比率が大きい分光成分が予め書き込んで記憶される。また、データセットデータ記憶部２１の撮像装置分光感度データセットには、撮像装置分光感度における含有比率が大きい分光成分が予め書き込んで記憶される。光源分光分布データセット又は撮像装置分光感度データセットに含まれる分光成分は、例えば、主成分分析により生成される。
【0136】
機械学習モデル生成部１３Ｂは、データ生成部２０によって生成された教師画像を含む教師データを用いて、機械学習モデルを生成する。なお、機械学習モデル生成部１３Ｂは、第１の実施形態の機械学習モデル生成部１３と同様に、教師データを用いて機械学習モデルに機械学習させ、損失Ｌが損失閾値以下となった機械学習モデルを、学習済みの機械学習モデルとして機械学習モデル記憶部１８に対して書き込んで記憶させる。
【0137】
なお、機械学習モデル生成部１３Ｂは、分光誤差から求めた値（分光損失）、ＲＧＢ値誤差から求めた値（ＲＧＢ損失）、平滑化項を考慮して求めた値（平滑化損失）以外の値を損失に含めてもよい。これにより、機械学習モデルの学習精度を高めることができる。分光損失は、例えば、教師画像の既知の分光情報（分光反射率）と、機械学習モデルの推定する分光情報画像（第１分光情報画像）の分光情報（分光反射率）との誤差から求めた値である。ＲＧＢ損失は、例えば、機械学習モデルの推定した分光情報画像の分光情報、教師画像を撮像した撮像装置の撮像分光感度、及び教師画像を撮像した環境の光源分光分布から生成されるＲＧＢ画像（再構成ＲＧＢ画像）と、教師画像のＲＧＢ画像との誤差である。平滑化損失は、例えば、機械学習モデルによって推定された分光情報画像における隣接する波長間の分光反射率の差分である。
【0138】
例えば、機械学習モデル生成部１３Ｂは、第１積分値と第２積分値との差から求める値を損失に含めてもよい。第１積分値は、教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である。第２積分値は、機械学習モデルによって推定された分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である。
また、機械学習モデル生成部１３Ｂは、教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、機械学習モデルによって推定された分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差（色差損失）を損失に含めてもよい。
また、機械学習モデル生成部１３Ｂは、教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、機械学習モデルによって推定された分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差（色差損失）を損失に含めてもよい。
【0139】
なお、機械学習モデル生成部１３Ｂは、機械学習モデルの生成において、少なくとも分光損失を含む損失を用いる。第５の実施形態では、例えば、機械学習モデル生成部１３Ｂは、分光損失と、ＲＧＢ損失と、平滑化損失とを重みづけ和した損失を用いる。
【0140】
データ生成部２０は、任意の撮像装置及び任意の環境で撮像された撮像画像データであるＲＧＢ画像から、未知の分光情報画像を推定する場合、撮像画像データ記憶部１７から読み出した撮像装置の撮像装置分光感度、撮像した環境の光源分光分布、及び撮像画像（ＲＧＢ画像）を入力データとして第１分光反射率推定部１４１Ｂに出力する。
そして、第１分光反射率推定部１４１Ｂは、データ生成部２０から供給される入力データを入力するとともに、機械学習モデル記憶部１８から学習済みの機械学習モデルを読み込む。
そして、第１分光反射率推定部１４１Ｂは、データ生成部２０から供給される入力データを入力するとともに、機械学習モデル記憶部１８から学習済みの機械学習モデルを読み込む。
【0141】
第１分光反射率推定部１４１Ｂは、被写体の撮像画像であるＲＧＢ画像と、撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、被写体の分光反射率を示す分光情報画像を推定する。具体的に、第１分光反射率推定部１４１Ｂは、機械学習モデル記憶部１８から読み込んだ学習済みの機械学習モデルに対して、データ生成部２０から供給されるＲＧＢ画像と、撮像装置分光感度と、光源分光分布とを機械学習モデルに入力し、分光情報画像を推定する。
ここで、第１分光反射率推定部１４１Ｂは、学習済みの機械学習モデルが入力データにより推定した分光情報画像を一次分光情報画像として、第２分光反射率推定部１４２に対して出力する。
ここで、第１分光反射率推定部１４１Ｂは、学習済みの機械学習モデルが入力データにより推定した分光情報画像を一次分光情報画像として、第２分光反射率推定部１４２に対して出力する。
【0142】
第２分光反射率推定部１４２Ｂは、第１分光反射率推定部１４１Ｂの機械学習モデルと同様に、ニューラルネットワークの補正機械学習モデル（第２機械学習モデル）を備えている。
第２分光反射率推定部１４２Ｂは、第１分光反射率推定部１４１Ｂに入力されたＲＧＢ画像（入力ＲＧＢ画像）、撮像装置分光感度、及び光源分光分布と、第１分光反射率推定部１４１Ｂによって推定された一次分光情報画像とに基づき、当該一次分光情報画像を補正した補正分光情報画像（第２分光情報画像）を推定し、出力する。具体的に、第２分光反射率推定部１４２Ｂは、入力ＲＧＢ画像と、撮像装置分光感度と、光源分光分布と、第１分光反射率推定部１４１Ｂから供給される一次分光情報画像とを補正機械学習モデルに入力し、補正分光情報画像を推定する。
補正機械学習モデルは、入力された一次分光情報画像の分光情報と、撮像装置分光感度と、光源分光分布とに基づきＲＧＢ画像を生成し、入力ＲＧＢ画像と生成したＲＧＢ画像（再構成ＲＧＢ画像）との損失が小さくなるよう補正機械学習モデルのパラメータを繰り返し更新することで、一次分光情報画像を補正する。当該損失は、入力ＲＧＢ画像と再構成ＲＧＢ画像とのＲＧＢ値誤差から求めた値（ＲＧＢ損失）である。補正機械学習モデルのパラメータは、例えば、ニューラルネットワークの関数の係数である。なお、パラメータの初期値には、任意の値が設定される。
なお、補正機械学習モデルは、平滑化項を考慮して求めた値（平滑化損失）を損失に含めてもよい。これにより、補正機械学習モデルによる補正精度（推定精度）を高めることができる。平滑化損失は、例えば、補正機械学習モデルによって推定される補正分光情報画像における隣接する波長間の分光反射率の差分である。
第２分光反射率推定部１４２Ｂは、第１分光反射率推定部１４１Ｂに入力されたＲＧＢ画像（入力ＲＧＢ画像）、撮像装置分光感度、及び光源分光分布と、第１分光反射率推定部１４１Ｂによって推定された一次分光情報画像とに基づき、当該一次分光情報画像を補正した補正分光情報画像（第２分光情報画像）を推定し、出力する。具体的に、第２分光反射率推定部１４２Ｂは、入力ＲＧＢ画像と、撮像装置分光感度と、光源分光分布と、第１分光反射率推定部１４１Ｂから供給される一次分光情報画像とを補正機械学習モデルに入力し、補正分光情報画像を推定する。
補正機械学習モデルは、入力された一次分光情報画像の分光情報と、撮像装置分光感度と、光源分光分布とに基づきＲＧＢ画像を生成し、入力ＲＧＢ画像と生成したＲＧＢ画像（再構成ＲＧＢ画像）との損失が小さくなるよう補正機械学習モデルのパラメータを繰り返し更新することで、一次分光情報画像を補正する。当該損失は、入力ＲＧＢ画像と再構成ＲＧＢ画像とのＲＧＢ値誤差から求めた値（ＲＧＢ損失）である。補正機械学習モデルのパラメータは、例えば、ニューラルネットワークの関数の係数である。なお、パラメータの初期値には、任意の値が設定される。
なお、補正機械学習モデルは、平滑化項を考慮して求めた値（平滑化損失）を損失に含めてもよい。これにより、補正機械学習モデルによる補正精度（推定精度）を高めることができる。平滑化損失は、例えば、補正機械学習モデルによって推定される補正分光情報画像における隣接する波長間の分光反射率の差分である。
【0143】
なお、第２分光反射率推定部１４２Ｂは、補正分光情報画像の推定（一次分光情報画像の補正）において、少なくともＲＧＢ損失を含む損失を用いる。第５の実施形態では、例えば、第２分光反射率推定部１４２Ｂは、ＲＧＢ損失と平滑化損失とを重みづけ和した損失を用いる。
【0144】
図１４は、第５の実施形態に係る機械学習モデル生成部１３Ｂによる機械学習モデルの教師データによる学習処理の動作例を示すフローチャートである。
以下の説明においては、データ入力部１１Ｂが、外部装置から供給される分光情報画像データセット、光源分光分布データセット、及び撮像装置分光感度データセットを含むデータセットをデータセットデータ記憶部２１に対して予め書き込んでいる。
以下の説明においては、データ入力部１１Ｂが、外部装置から供給される分光情報画像データセット、光源分光分布データセット、及び撮像装置分光感度データセットを含むデータセットをデータセットデータ記憶部２１に対して予め書き込んでいる。
【0145】
ステップＳ３０１：
データ生成部２０は、データセットを選択する。具体的に、データ生成部２０は、データセットデータ記憶部２１に記憶されている分光情報画像データセット、光源分光分布データセット、及び撮像装置分光感度データセットの各データセットから分光情報画像、光源分光分布、及び撮像装置分光感度をそれぞれランダムに選択する。
データ生成部２０は、データセットを選択する。具体的に、データ生成部２０は、データセットデータ記憶部２１に記憶されている分光情報画像データセット、光源分光分布データセット、及び撮像装置分光感度データセットの各データセットから分光情報画像、光源分光分布、及び撮像装置分光感度をそれぞれランダムに選択する。
【0146】
ステップＳ３０２：
選択後、データ生成部２０は、教師データを生成する。具体的に、データ生成部２０は、選択した分光情報画像、光源分光分布、及び撮像装置分光感度からＲＧＢ画像を教師画像として生成する。生成後、データ生成部２０は、生成したＲＧＢ画像と、当該ＲＧＢ画像の生成に用いた撮像装置分光感度、光源分光分布、及び分光情報画像の分光反射率（即ちＲＧＢ画像における被写体の既知の分光反射率）とを１つの教師データとして、教師画像データ記憶部１６Ｂに対して書き込んで記憶させる。
選択後、データ生成部２０は、教師データを生成する。具体的に、データ生成部２０は、選択した分光情報画像、光源分光分布、及び撮像装置分光感度からＲＧＢ画像を教師画像として生成する。生成後、データ生成部２０は、生成したＲＧＢ画像と、当該ＲＧＢ画像の生成に用いた撮像装置分光感度、光源分光分布、及び分光情報画像の分光反射率（即ちＲＧＢ画像における被写体の既知の分光反射率）とを１つの教師データとして、教師画像データ記憶部１６Ｂに対して書き込んで記憶させる。
【0147】
ステップＳ３０３～ステップＳ３０９：
ステップＳ３０３～ステップＳ３０９は、第１の実施形態にて図７を参照して説明したステップＳ１０１～ステップＳ１０７とそれぞれ同様であり重複するため、説明を省略する。
ステップＳ３０３～ステップＳ３０９は、第１の実施形態にて図７を参照して説明したステップＳ１０１～ステップＳ１０７とそれぞれ同様であり重複するため、説明を省略する。
【0148】
図１５は、第５の実施形態に係る分光反射率推定部１４Ｂによる学習済みの機械学習モデルを利用してＲＧＢ画像から分光情報画像を推定する処理の動作例を示すフローチャートである。
以下の説明においては、機械学習モデル記憶部１８に学習済みの機械学習モデルが記憶されている。
以下の説明においては、機械学習モデル記憶部１８に学習済みの機械学習モデルが記憶されている。
【0149】
ステップＳ４０１：
データ入力部１１Ｂは、撮像画像のデータ入力を行う。具体的に、データ入力部１１Ｂは、入力となるＲＧＢ画像と、当該ＲＧＢ画像を撮像した撮像装置の撮像装置分光感度と、撮像した環境における光源の光源分光分布とを含むデータを外部装置から読み込む。
そして、データ入力部１１Ｂは、読み込んだＲＧＢ画像と、当該ＲＧＢ画像に対応する撮像装置分光感度及び光源分光分布とのデータの各々を、撮像画像データ記憶部１７の撮像画像テーブル（図５参照）に書き込んで記憶させる。
データ入力部１１Ｂは、撮像画像のデータ入力を行う。具体的に、データ入力部１１Ｂは、入力となるＲＧＢ画像と、当該ＲＧＢ画像を撮像した撮像装置の撮像装置分光感度と、撮像した環境における光源の光源分光分布とを含むデータを外部装置から読み込む。
そして、データ入力部１１Ｂは、読み込んだＲＧＢ画像と、当該ＲＧＢ画像に対応する撮像装置分光感度及び光源分光分布とのデータの各々を、撮像画像データ記憶部１７の撮像画像テーブル（図５参照）に書き込んで記憶させる。
【0150】
ステップＳ４０２：
第１分光反射率推定部１４１Ｂは、機械学習モデル記憶部１８から学習済みの機械学習モデルを読み出す。
第１分光反射率推定部１４１Ｂは、機械学習モデル記憶部１８から学習済みの機械学習モデルを読み出す。
【0151】
ステップＳ４０３：
第１分光反射率推定部１４１Ｂは、撮像画像データ記憶部１７の撮像画像データテーブルから、ＲＧＢ画像、撮像装置分光感度及び光源分光分布の各々のデータを読み出す。
第１分光反射率推定部１４１Ｂは、撮像画像データ記憶部１７の撮像画像データテーブルから、ＲＧＢ画像、撮像装置分光感度及び光源分光分布の各々のデータを読み出す。
【0152】
ステップＳ４０４：
第１分光反射率推定部１４１Ｂは、一次分光情報画像を推定する。具体的に、第１分光反射率推定部１４１Ｂは、読み出した入力データを、学習済みの機械学習モデルへ入力する。これにより、機械学習モデルは、入力データから分光情報画像を推定し、一次分光情報画像として第２分光反射率推定部１４２Ｂへ出力する。
第１分光反射率推定部１４１Ｂは、一次分光情報画像を推定する。具体的に、第１分光反射率推定部１４１Ｂは、読み出した入力データを、学習済みの機械学習モデルへ入力する。これにより、機械学習モデルは、入力データから分光情報画像を推定し、一次分光情報画像として第２分光反射率推定部１４２Ｂへ出力する。
【0153】
ステップＳ４０５：
第２分光反射率推定部１４２Ｂは、補正分光情報画像を推定する。具体的に、第２分光反射率推定部１４２Ｂは、第１分光反射率推定部１４１Ｂから供給される一次分光情報画像を補正機械学習モデルへ入力する。また、第２分光反射率推定部１４２Ｂは、一次分光情報画像を推定したＲＧＢ画像に対応した撮像装置分光感度及び光源分光分布の各々を撮像画像データ記憶部１７の撮像画像データテーブルから読み込み、補正機械学習モデルへ入力する。これにより、補正機械学習モデルは、入力される一次分光情報画像を補正した補正分光情報画像を推定する。
第２分光反射率推定部１４２Ｂは、補正分光情報画像を推定する。具体的に、第２分光反射率推定部１４２Ｂは、第１分光反射率推定部１４１Ｂから供給される一次分光情報画像を補正機械学習モデルへ入力する。また、第２分光反射率推定部１４２Ｂは、一次分光情報画像を推定したＲＧＢ画像に対応した撮像装置分光感度及び光源分光分布の各々を撮像画像データ記憶部１７の撮像画像データテーブルから読み込み、補正機械学習モデルへ入力する。これにより、補正機械学習モデルは、入力される一次分光情報画像を補正した補正分光情報画像を推定する。
【0154】
ステップＳ４０６：
第２分光反射率推定部１４２Ｂは、損失Ｌを算出する。具体的に、第２分光反射率推定部１４２Ｂは、補正分光情報画像と、撮像装置分光感度と、光源分光分布とからＲＧＢ画像（再構成ＲＧＢ画像）を生成する。
そして、第２分光反射率推定部１４２Ｂは、再構成ＲＧＢ画像と推定に用いた入力ＲＧＢ画像とから誤差（ＲＧＢ誤差）を求める。
このとき、第２分光反射率推定部１４２Ｂは、（２）式あるいは（３）式から誤差による損失ＬＲＧＢを求め、（５）式に代入して損失Ｌを求める。
第２分光反射率推定部１４２Ｂは、損失Ｌを算出する。具体的に、第２分光反射率推定部１４２Ｂは、補正分光情報画像と、撮像装置分光感度と、光源分光分布とからＲＧＢ画像（再構成ＲＧＢ画像）を生成する。
そして、第２分光反射率推定部１４２Ｂは、再構成ＲＧＢ画像と推定に用いた入力ＲＧＢ画像とから誤差（ＲＧＢ誤差）を求める。
このとき、第２分光反射率推定部１４２Ｂは、（２）式あるいは（３）式から誤差による損失ＬＲＧＢを求め、（５）式に代入して損失Ｌを求める。
【0155】
ステップＳ４０７：
第２分光反射率推定部１４２Ｂは、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えたか否かの判定を行う。
このとき、第２分光反射率推定部１４２Ｂは、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えた場合、処理をステップＳ４０８へ進める。
一方、第２分光反射率推定部１４２Ｂは、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数以下の場合、処理をステップＳ４０９へ進める。
第２分光反射率推定部１４２Ｂは、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えたか否かの判定を行う。
このとき、第２分光反射率推定部１４２Ｂは、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えた場合、処理をステップＳ４０８へ進める。
一方、第２分光反射率推定部１４２Ｂは、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数以下の場合、処理をステップＳ４０９へ進める。
【0156】
ステップＳ４０８：
第２分光反射率推定部１４２Ｂは、所定の回数を繰り返して補正機械学習モデルが生成した補正分光情報画像において、損失Ｌが最小となる補正分光情報画像を分光画像情報とする。
そして、第２分光反射率推定部１４２Ｂは、分光情報画像のデータを、分光情報画像データ記憶部１９の分光情報画像データテーブルに対して書き込んで記憶させる。
第２分光反射率推定部１４２Ｂは、所定の回数を繰り返して補正機械学習モデルが生成した補正分光情報画像において、損失Ｌが最小となる補正分光情報画像を分光画像情報とする。
そして、第２分光反射率推定部１４２Ｂは、分光情報画像のデータを、分光情報画像データ記憶部１９の分光情報画像データテーブルに対して書き込んで記憶させる。
【0157】
ステップＳ４０９：
第２分光反射率推定部１４２Ｂは、補正機械学習モデルにおけるニューラルネットワークの関数の係数（パラメータ）を調整する。
そして、第２分光反射率推定部１４２Ｂは、処理をステップＳ４０５へ進め、再度、係数を調整した補正機械学習モデルを用いて、一次分光情報画像を補正した補正分光情報画像の推定を行う。
第２分光反射率推定部１４２Ｂは、補正機械学習モデルにおけるニューラルネットワークの関数の係数（パラメータ）を調整する。
そして、第２分光反射率推定部１４２Ｂは、処理をステップＳ４０５へ進め、再度、係数を調整した補正機械学習モデルを用いて、一次分光情報画像を補正した補正分光情報画像の推定を行う。
【0158】
上述したように、第５の実施形態では、第１分光反射率推定部１４１Ｂが、被写体のＲＧＢ画像と、当該ＲＧＢ画像を撮像した撮像装置の撮像装置分光感度と、ＲＧＢ画像を撮像した環境の光源の光源分光分布とに基づき、ＲＧＢ画像の被写体の分光情報（分光反射率）を一次分光情報画像として推定する。また、第２分光反射率推定部１４２Ｂが、一次分光情報画像と、入力ＲＧＢ画像と、撮像装置分光感度と、光源分光分布とに基づき、一次分光情報画像を補正した補正分光情報画像を推定する。
この構成により、第５の本実施形態では、対象となる撮像装置毎に、推定を行う撮像環境のそれぞれの機械学習モデルを生成する必要がなくなり、また、分光放射輝度を推定してから分光反射率を推定する必要もなくなる。
また、この構成により、第５の本実施形態では、推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像として推定する。このため、第２分光反射率推定部１４２Ｂが一次分光情報画像の補正を行うことによって、分光情報画像推定装置１０Ｂは、ＲＧＢ画像（３バンドの画像、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の４バンド以上の分光情報画像（分光反射率画像、分光画像）を、容易に、かつより精度高く推定することを可能とする。
この構成により、第５の本実施形態では、対象となる撮像装置毎に、推定を行う撮像環境のそれぞれの機械学習モデルを生成する必要がなくなり、また、分光放射輝度を推定してから分光反射率を推定する必要もなくなる。
また、この構成により、第５の本実施形態では、推定した一次分光情報画像を用いて、一次分光情報画像の推定に用いたＲＧＢ画像の色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、より近い再構成ＲＧＢ画像を生成する補正分光情報画像を分光情報画像として推定する。このため、第２分光反射率推定部１４２Ｂが一次分光情報画像の補正を行うことによって、分光情報画像推定装置１０Ｂは、ＲＧＢ画像（３バンドの画像、すなわちＲチャネル、Ｇチャネル及びＢチャネルの各チャネルの画像）から、撮像されている物体の４バンド以上の分光情報画像（分光反射率画像、分光画像）を、容易に、かつより精度高く推定することを可能とする。
【0159】
なお、上述した第５の実施形態では、補正機械学習モデルのパラメータの初期値として任意の値が設定される例について説明したが、かかる例に限定されない。例えば、補正機械学習モデルのパラメータの初期値として、事前学習によって算出した値が設定されてもよい。この場合、任意の値を設定する場合と比較して、より精度高くパラメータの初期値を設定することができるため、補正分光情報画像の推定における補正機械学習モデルのパラメータを調整する回数を低減することができる。
【0160】
補正機械学習モデルの事前学習は、機械学習モデル生成部１３Ｂ又は第２分光反射率推定部１４２Ｂによって行われる。補正機械学習モデルを事前学習させる場合の教師データは、例えば、機械学習モデルの学習時に機械学習モデルに入力された入力データ（入力ＲＧＢ画像、撮像装置分光感度、光源分光分布）と、当該入力データに基づき機械学習モデル推定して出力した一次分光情報画像とである。
補正機械学習モデルの事前学習では、補正分光情報画像の推定時と同様に、入力ＲＧＢ画像と生成したＲＧＢ画像（再構成ＲＧＢ画像）との損失が小さくなるよう補正機械学習モデルのパラメータを繰り返し更新する。
補正機械学習モデルの事前学習では、補正分光情報画像の推定時と同様に、入力ＲＧＢ画像と生成したＲＧＢ画像（再構成ＲＧＢ画像）との損失が小さくなるよう補正機械学習モデルのパラメータを繰り返し更新する。
【0161】
上述した第５の実施形態では、補正分光情報画像の推定時の損失にはＲＧＢ損失又は平滑化損失が含まれる例について説明したが、補正機械学習モデルの事前学習時の損失にはＲＧＢ損失と平滑化損失以外の損失が含まれてもよい。これにより、補正機械学習モデルの事前学習精度を高めることができる。なお、ＲＧＢ損失は、補正機械学習モデルの推定する補正分光情報画像の分光情報、教師画像を撮像した撮像装置の撮像分光感度、及び教師画像を撮像した環境の前記光源分光分布から生成されるＲＧＢ画像（再構成ＲＧＢ画像）と、教師画像のＲＧＢ画像（入力ＲＧＢ画像）との誤差である。また、平滑化損失は、推定される補正分光情報画像における隣接する波長間の分光反射率の差分である。
【0162】
例えば、教師画像の既知の分光情報と、補正機械学習モデルの推定する補正分光情報画像の分光情報との誤差から求めた値（分光損失）が損失に含まれてもよい。
また、第１積分値と第３積分値との差から求める値が損失に含まれてもよい。第１積分値は、教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である。第３積分値は、補正機械学習モデルによって推定された補正分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である。
また、教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、補正機械学習モデルによって推定された補正分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差（色差損失）が損失に含まれてもよい。
なお、補正機械学習モデルの事前学習においては、少なくとも分光損失を含む損失を用いる。
また、第１積分値と第３積分値との差から求める値が損失に含まれてもよい。第１積分値は、教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である。第３積分値は、補正機械学習モデルによって推定された補正分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である。
また、教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、補正機械学習モデルによって推定された補正分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差（色差損失）が損失に含まれてもよい。
なお、補正機械学習モデルの事前学習においては、少なくとも分光損失を含む損失を用いる。
【0163】
図１６は、第５の実施形態に係る機械学習モデル生成部１３Ｂによる補正機械学習モデルの教師データによる学習処理の動作例を示すフローチャートである。
【0164】
ステップＳ５０１：
機械学習モデル生成部１３Ｂは、一次分光情報画像を学習対象の補正機械学習モデルへ入力する。当該一次分光情報画像は、例えば、図１４のステップＳ３０４にて推定された一次分光情報画像である。また、機械学習モデル生成部１３Ｂは、一次分光情報画像の推定に用いられた入力ＲＧＢ画像、撮像装置分光感度、及び光源分光分布も学習対象の補正機械学習モデルへ入力する。
機械学習モデル生成部１３Ｂは、一次分光情報画像を学習対象の補正機械学習モデルへ入力する。当該一次分光情報画像は、例えば、図１４のステップＳ３０４にて推定された一次分光情報画像である。また、機械学習モデル生成部１３Ｂは、一次分光情報画像の推定に用いられた入力ＲＧＢ画像、撮像装置分光感度、及び光源分光分布も学習対象の補正機械学習モデルへ入力する。
【0165】
ステップＳ５０２：
機械学習モデルは、機械学習モデル生成部１３Ｂに入力される一次分光情報画像、入力ＲＧＢ画像、撮像装置分光感度、及び光源分光分布を教師データとして、補正分光情報画像を推定して出力する。
機械学習モデルは、機械学習モデル生成部１３Ｂに入力される一次分光情報画像、入力ＲＧＢ画像、撮像装置分光感度、及び光源分光分布を教師データとして、補正分光情報画像を推定して出力する。
【0166】
ステップＳ５０３：
機械学習モデル生成部１３Ｂは、一次分光情報画像毎に、推定された補正分光情報画像と、一次分光情報画像の既知の分光反射率との分光差分を求める。
機械学習モデル生成部１３Ｂは、一次分光情報画像毎に、推定された補正分光情報画像と、一次分光情報画像の既知の分光反射率との分光差分を求める。
【0167】
ステップＳ５０４：
次に、機械学習モデル生成部１３Ｂは、損失Ｌを算出する。具体的に、機械学習モデル生成部１３Ｂは、（２）式あるいは（３）式の損失関数に対して分光差分を代入し、損失Ｌｓｐｅｃｔｒａｌを求め、損失Ｌとする。
次に、機械学習モデル生成部１３Ｂは、損失Ｌを算出する。具体的に、機械学習モデル生成部１３Ｂは、（２）式あるいは（３）式の損失関数に対して分光差分を代入し、損失Ｌｓｐｅｃｔｒａｌを求め、損失Ｌとする。
【0168】
ステップＳ５０５：
機械学習モデル生成部１３Ｂは、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えたか否かの判定を行う。
このとき、機械学習モデル生成部１３Ｂは、損失Ｌを求める繰り返し回数が所定の回数を超えた場合、処理をステップＳ５０６へ進める。
一方、機械学習モデル生成部１３Ｂは、損失Ｌを求める繰り返し回数が所定の回数以下の場合、処理をステップＳ５０７へ進める。
機械学習モデル生成部１３Ｂは、損失Ｌを求める繰り返し回数が、予め設定されている所定の回数を超えたか否かの判定を行う。
このとき、機械学習モデル生成部１３Ｂは、損失Ｌを求める繰り返し回数が所定の回数を超えた場合、処理をステップＳ５０６へ進める。
一方、機械学習モデル生成部１３Ｂは、損失Ｌを求める繰り返し回数が所定の回数以下の場合、処理をステップＳ５０７へ進める。
【0169】
ステップＳ５０６：
機械学習モデル生成部１３Ｂは、所定の回数を繰返して求めた補正機械学習モデルのなかから、損失Ｌが最小となる補正機械学習モデルを選択し、当該補正機械学習モデルを学習済みとして、機械学習モデル記憶部１８に対して書き込んで記憶させる。
そして、機械学習モデル生成部１３Ｂは、補正機械学習モデルの学習の処理、すなわち補正機械学習モデルの事前学習処理（生成処理）を終了する。
機械学習モデル生成部１３Ｂは、所定の回数を繰返して求めた補正機械学習モデルのなかから、損失Ｌが最小となる補正機械学習モデルを選択し、当該補正機械学習モデルを学習済みとして、機械学習モデル記憶部１８に対して書き込んで記憶させる。
そして、機械学習モデル生成部１３Ｂは、補正機械学習モデルの学習の処理、すなわち補正機械学習モデルの事前学習処理（生成処理）を終了する。
【0170】
ステップＳ５０７：
機械学習モデル生成部１３Ｂは、補正機械学習モデルにおけるニューラルネットワークの関数の係数を調整する。
そして、機械学習モデル生成部１３Ｂは、処理をステップＳ５０２に対して進め、再度の補正分光情報画像の推定を行う。
機械学習モデル生成部１３Ｂは、補正機械学習モデルにおけるニューラルネットワークの関数の係数を調整する。
そして、機械学習モデル生成部１３Ｂは、処理をステップＳ５０２に対して進め、再度の補正分光情報画像の推定を行う。
【0171】
以上、本発明の実施形態について説明した。なお、上述した各実施形態は、それぞれ単独で本発明の実施形態として適用されてもよいし、実施形態の全部又は一部を他の実施形態に組み合わせて本発明の実施形態として適用されてもよい。また、各実施形態の構成は、他の実施形態で説明した構成に代えて適用されてもよいし、他の実施形態で説明した構成に対して追加的に適用されてもよい。
【0172】
また、本発明における図２の分光情報画像推定装置１０、図１２の分光情報画像推定装置１０Ａ、図１３の分光情報画像推定装置１０Ｂのそれぞれの機能の一部又は全部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、ＲＧＢ画像（撮像画像）から被写体の分光情報画像を推定する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
【0173】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【0174】
以上、図面を参照して本発明の実施形態を詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0175】
なお、以下の各発明も本発明に含まれる。
【0176】
（発明１）
被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定部と、
前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定部と、
を備えることを特徴とする分光情報画像推定装置。
被写体の撮像画像であるＲＧＢ画像と、前記撮像画像を撮像した撮像装置の分光感度である撮像装置分光感度と、前記撮像画像を撮像した環境の光源の分光分布である光源分光分布とに基づき、前記被写体の分光反射率を示す第１分光情報画像を推定する第１分光反射率推定部と、
前記第１分光反射率推定部によって推定された前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とに基づき、前記第１分光情報画像を補正した第２分光情報画像を推定する第２分光反射率推定部と、
を備えることを特徴とする分光情報画像推定装置。
【0177】
（発明２）
前記第１分光反射率推定部は、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とを第１機械学習モデルに入力し、前記第１分光情報画像を推定する
ことを特徴とする発明１に記載の分光情報画像推定装置。
前記第１分光反射率推定部は、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とを第１機械学習モデルに入力し、前記第１分光情報画像を推定する
ことを特徴とする発明１に記載の分光情報画像推定装置。
【0178】
（発明３）
前記第２分光反射率推定部は、前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とを第２機械学習モデルに入力し、前記第２分光情報画像を推定し、
前記第２機械学習モデルは、入力された前記第１分光情報画像の分光情報と、前記撮像装置分光感度と、前記光源分光分布とに基づきＲＧＢ画像を生成し、入力されたＲＧＢ画像と生成したＲＧＢ画像との損失が小さくなるよう前記第２機械学習モデルのパラメータを繰り返し更新することで、前記第１分光情報画像を補正する、
ことを特徴とする発明１又は発明２に記載の分光情報画像推定装置。
前記第２分光反射率推定部は、前記第１分光情報画像と、前記ＲＧＢ画像と、前記撮像装置分光感度と、前記光源分光分布とを第２機械学習モデルに入力し、前記第２分光情報画像を推定し、
前記第２機械学習モデルは、入力された前記第１分光情報画像の分光情報と、前記撮像装置分光感度と、前記光源分光分布とに基づきＲＧＢ画像を生成し、入力されたＲＧＢ画像と生成したＲＧＢ画像との損失が小さくなるよう前記第２機械学習モデルのパラメータを繰り返し更新することで、前記第１分光情報画像を補正する、
ことを特徴とする発明１又は発明２に記載の分光情報画像推定装置。
【0179】
（発明４）
前記第２分光反射率推定部は、前記第２機械学習モデルの前記パラメータの初期値として、事前学習によって算出した値を設定する、
ことを特徴とする発明１から発明３のいずれかに記載の分光情報画像推定装置。
前記第２分光反射率推定部は、前記第２機械学習モデルの前記パラメータの初期値として、事前学習によって算出した値を設定する、
ことを特徴とする発明１から発明３のいずれかに記載の分光情報画像推定装置。
【0180】
（発明５）
前記第１機械学習モデルは、分光反射率が既知のＲＧＢ画像である教師画像と、前記教師画像を撮像した撮像装置の撮像分光感度と、前記教師画像を撮像した環境の光源分光分布とを教師データとし、前記教師画像の既知の分光情報と、前記第１機械学習モデルの推定する前記第１分光情報画像の分光情報との誤差から求めた値を損失とし、機械学習した学習済みモデルである、
ことを特徴とする発明１から発明４のいずれかに記載の分光情報画像推定装置。
前記第１機械学習モデルは、分光反射率が既知のＲＧＢ画像である教師画像と、前記教師画像を撮像した撮像装置の撮像分光感度と、前記教師画像を撮像した環境の光源分光分布とを教師データとし、前記教師画像の既知の分光情報と、前記第１機械学習モデルの推定する前記第１分光情報画像の分光情報との誤差から求めた値を損失とし、機械学習した学習済みモデルである、
ことを特徴とする発明１から発明４のいずれかに記載の分光情報画像推定装置。
【0181】
（発明６）
前記損失は、前記第１機械学習モデルの推定する前記第１分光情報画像の分光情報、前記教師画像を撮像した撮像装置の撮像分光感度、及び前記教師画像を撮像した環境の前記光源分光分布から生成されるＲＧＢ画像と、前記教師画像のＲＧＢ画像との誤差を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
前記損失は、前記第１機械学習モデルの推定する前記第１分光情報画像の分光情報、前記教師画像を撮像した撮像装置の撮像分光感度、及び前記教師画像を撮像した環境の前記光源分光分布から生成されるＲＧＢ画像と、前記教師画像のＲＧＢ画像との誤差を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
【0182】
（発明７）
前記損失は、推定される前記第１分光情報画像における隣接する波長間の分光反射率の差分を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
前記損失は、推定される前記第１分光情報画像における隣接する波長間の分光反射率の差分を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
【0183】
（発明８）
前記損失は、第１積分値と第２積分値との差から求める値を含み、
前記第１積分値は、前記教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値であり、
前記第２積分値は、前記第１機械学習モデルによって推定された前記第１分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
前記損失は、第１積分値と第２積分値との差から求める値を含み、
前記第１積分値は、前記教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値であり、
前記第２積分値は、前記第１機械学習モデルによって推定された前記第１分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
【0184】
（発明９）
前記損失は、前記教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、前記第１機械学習モデルによって推定された前記第１分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
前記損失は、前記教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、前記第１機械学習モデルによって推定された前記第１分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
【0185】
（発明１０）
前記損失は、推定される前記第２分光情報画像における隣接する波長間の分光反射率の差分を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
前記損失は、推定される前記第２分光情報画像における隣接する波長間の分光反射率の差分を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
【0186】
（発明１１）
前記損失は、教師画像の既知の分光情報と、前記第２機械学習モデルの推定する前記第２分光情報画像の分光情報との誤差から求めた値を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
前記損失は、教師画像の既知の分光情報と、前記第２機械学習モデルの推定する前記第２分光情報画像の分光情報との誤差から求めた値を含んでいる、
ことを特徴とする発明１から発明５のいずれかに記載の分光情報画像推定装置。
【0187】
（発明１２）
前記損失は、前記第２機械学習モデルの推定する前記第２分光情報画像の分光情報、前記教師画像を撮像した撮像装置の撮像分光感度、及び前記教師画像を撮像した環境の前記光源分光分布から生成されるＲＧＢ画像と、前記教師画像のＲＧＢ画像との誤差を含んでいる、
ことを特徴とする発明１１に記載の分光情報画像推定装置。
前記損失は、前記第２機械学習モデルの推定する前記第２分光情報画像の分光情報、前記教師画像を撮像した撮像装置の撮像分光感度、及び前記教師画像を撮像した環境の前記光源分光分布から生成されるＲＧＢ画像と、前記教師画像のＲＧＢ画像との誤差を含んでいる、
ことを特徴とする発明１１に記載の分光情報画像推定装置。
【0188】
（発明１３）
前記損失は、推定される前記第２分光情報画像における隣接する波長間の分光反射率の差分を含んでいる、
ことを特徴とする発明１１に記載の分光情報画像推定装置。
前記損失は、推定される前記第２分光情報画像における隣接する波長間の分光反射率の差分を含んでいる、
ことを特徴とする発明１１に記載の分光情報画像推定装置。
【0189】
（発明１４）
前記損失は、第１積分値と第３積分値との差から求める値を含み、
前記第１積分値は、前記教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値であり、
前記第３積分値は、前記第２機械学習モデルによって推定された前記第２分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である、
ことを特徴とする発明１１に記載の分光情報画像推定装置。
前記損失は、第１積分値と第３積分値との差から求める値を含み、
前記第１積分値は、前記教師画像の既知の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値であり、
前記第３積分値は、前記第２機械学習モデルによって推定された前記第２分光情報画像の分光情報と、既知の任意の分光情報に基づき作成された光源分光分布との分光ごとの積の積分値である、
ことを特徴とする発明１１に記載の分光情報画像推定装置。
【0190】
（発明１５）
前記損失は、前記教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、前記第２機械学習モデルによって推定された前記第２分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差を含んでいる、
ことを特徴とする発明１１に記載の分光情報画像推定装置。
前記損失は、前記教師画像の既知の分光情報から算出されるＬＡＢ色空間の値と、前記第２機械学習モデルによって推定された前記第２分光情報画像の分光情報から算出されるＬＡＢ色空間の値に基づき算出される色差を含んでいる、
ことを特徴とする発明１１に記載の分光情報画像推定装置。
【0191】
（発明１６）
複数の分光情報画像を含む分光情報画像データセット、複数の光源分光分布を含む光源分光分布データセット、及び複数の撮像装置分光感度を含む撮像装置分光感度データセットの各データセットから分光情報画像、光源分光分布、及び撮像装置分光感度をそれぞれ選択し、選択した分光情報画像、光源分光分布、及び撮像装置分光感度からＲＧＢ画像を教師画像として生成するデータ生成部と、
生成された前記教師画像を用いて、前記機械学習モデルを生成する機械学習モデル生成部と、
をさらに備える発明１から発明５のいずれかに記載の分光情報画像推定装置。
複数の分光情報画像を含む分光情報画像データセット、複数の光源分光分布を含む光源分光分布データセット、及び複数の撮像装置分光感度を含む撮像装置分光感度データセットの各データセットから分光情報画像、光源分光分布、及び撮像装置分光感度をそれぞれ選択し、選択した分光情報画像、光源分光分布、及び撮像装置分光感度からＲＧＢ画像を教師画像として生成するデータ生成部と、
生成された前記教師画像を用いて、前記機械学習モデルを生成する機械学習モデル生成部と、
をさらに備える発明１から発明５のいずれかに記載の分光情報画像推定装置。
【0192】
（発明１７）
前記データ生成部は、選択した分光情報画像、光源分光分布、及び撮像装置分光感度に対して任意の倍率を与えることで、前記教師画像を生成するための分光情報画像、光源分光分布、及び撮像装置分光感度を新しく生成する、
ことを特徴とする発明１６に記載の分光情報画像推定装置。
前記データ生成部は、選択した分光情報画像、光源分光分布、及び撮像装置分光感度に対して任意の倍率を与えることで、前記教師画像を生成するための分光情報画像、光源分光分布、及び撮像装置分光感度を新しく生成する、
ことを特徴とする発明１６に記載の分光情報画像推定装置。
【0193】
（発明１８）
前記光源分光分布データセットは、前記光源分光分布における含有比率が大きい分光成分を含み、
前記撮像装置分光感度データセットは、前記撮像装置分光感度における含有比率が大きい分光成分を含み、
前記データ生成部は、前記分光成分に対して所定の係数を乗算し、乗算結果を加算あるいは減算することで、前記教師画像を生成するための前記光源分光分布又は撮像装置分光感度を新しく生成する、
ことを特徴とする発明１６に記載の分光情報画像推定装置。
前記光源分光分布データセットは、前記光源分光分布における含有比率が大きい分光成分を含み、
前記撮像装置分光感度データセットは、前記撮像装置分光感度における含有比率が大きい分光成分を含み、
前記データ生成部は、前記分光成分に対して所定の係数を乗算し、乗算結果を加算あるいは減算することで、前記教師画像を生成するための前記光源分光分布又は撮像装置分光感度を新しく生成する、
ことを特徴とする発明１６に記載の分光情報画像推定装置。
【符号の説明】
【0194】
１０，１０Ａ，１０Ｂ…分光情報画像推定装置
１１，１１Ｂ…データ入力部
１２…データ合成部
１３，１３Ｂ…機械学習モデル生成部
１４，１４Ａ，１４Ｂ…分光反射率推定部
１５…分光画像出力部
１６，１６Ｂ…教師画像データ記憶部
１７…撮像画像データ記憶部
１８…機械学習モデル記憶部
１９…分光情報画像データ記憶部
２０…データ生成部
１４１，１４１Ａ，１４１Ｂ…第１分光反射率推定部
１４２，１４２Ｂ…第２分光反射率推定部
１１，１１Ｂ…データ入力部
１２…データ合成部
１３，１３Ｂ…機械学習モデル生成部
１４，１４Ａ，１４Ｂ…分光反射率推定部
１５…分光画像出力部
１６，１６Ｂ…教師画像データ記憶部
１７…撮像画像データ記憶部
１８…機械学習モデル記憶部
１９…分光情報画像データ記憶部
２０…データ生成部
１４１，１４１Ａ，１４１Ｂ…第１分光反射率推定部
１４２，１４２Ｂ…第２分光反射率推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】