知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024066707
(43)【公開日】2024-05-16
(54)【発明の名称】制御プログラム，制御方法及び情報処理装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240509BHJP
G06T 7/174 20170101ALI20240509BHJP
【ＦＩ】
G06T7/00 350B
G06T7/174
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022176313
(22)【出願日】2022-11-02
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110003649
【氏名又は名称】弁理士法人真田特許事務所
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】河東 孝
(72)【発明者】
【氏名】鈴木 彼方
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096CA05
5L096DA01
5L096EA03
5L096EA35
5L096FA05
5L096FA62
5L096FA64
5L096FA69
5L096HA01
5L096JA11
5L096KA04
5L096MA03
(57)【要約】
【課題】高解像度の不可視光画像の取得時間を短縮する。
【解決手段】制御プログラムは、所定の撮像範囲２を撮像装置２１で撮像した第１画像２１１と、前記撮像範囲２を前記撮像装置２１よりも解像度の低い不可視光撮像装置２２で撮像した第１不可視光画像２２１とを取得し、前記第１画像２１１と前記第１不可視光画像２２１とを入力として、前記第１不可視光画像２１１よりも解像度の高い第２不可視光画像を、機械学習モデル３０を用いて生成し、前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲２の中から、不可視光画像の取得対象領域２０を決定し、前記不可視光撮像装置２２の光学拡大制御により、前記第１不可視光画像２２１における前記取得対象領域２０の解像度よりも高い解像度で前記取得対象領域２０を撮像した第３不可視光画像２２３を取得する、処理をコンピュータに実行させる。
【選択図】図４
【解決手段】制御プログラムは、所定の撮像範囲２を撮像装置２１で撮像した第１画像２１１と、前記撮像範囲２を前記撮像装置２１よりも解像度の低い不可視光撮像装置２２で撮像した第１不可視光画像２２１とを取得し、前記第１画像２１１と前記第１不可視光画像２２１とを入力として、前記第１不可視光画像２１１よりも解像度の高い第２不可視光画像を、機械学習モデル３０を用いて生成し、前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲２の中から、不可視光画像の取得対象領域２０を決定し、前記不可視光撮像装置２２の光学拡大制御により、前記第１不可視光画像２２１における前記取得対象領域２０の解像度よりも高い解像度で前記取得対象領域２０を撮像した第３不可視光画像２２３を取得する、処理をコンピュータに実行させる。
【選択図】図４
【特許請求の範囲】
【請求項1】
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータに実行させる、制御プログラム。
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータに実行させる、制御プログラム。
【請求項2】
前記取得対象領域を決定する処理は、複数の前記指標のうちの、前記取得対象領域の範囲内のピクセルについての指標の合計値が最大となる領域を、前記取得対象領域として決定する処理を含む、
請求項１に記載の制御プログラム。
請求項１に記載の制御プログラム。
【請求項3】
前記取得対象領域を決定する処理は、前記不可視光撮像装置の光学拡大制御に関する所定のコストと、前記指標の合計値とに基づき、所定時間内に前記不可視光撮像装置により撮像可能な１以上の前記取得対象領域を決定する処理を含む、
請求項２に記載の制御プログラム。
請求項２に記載の制御プログラム。
【請求項4】
前記第２不可視光画像に含まれる前記取得対象領域の部分画像と、前記第３不可視光画像との差が最小となるように前記機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、請求項１～請求項３のいずれか１項に記載の制御プログラム。
処理を前記コンピュータに実行させる、請求項１～請求項３のいずれか１項に記載の制御プログラム。
【請求項5】
前記第２不可視光画像に含まれる前記取得対象領域の部分画像を前記第３不可視光画像に置換して得られる第４不可視光画像を、前記機械学習モデルの推論結果として出力する、
処理を前記コンピュータに実行させる、請求項１～請求項３のいずれか１項に記載の制御プログラム。
処理を前記コンピュータに実行させる、請求項１～請求項３のいずれか１項に記載の制御プログラム。
【請求項6】
前記撮像装置は、可視光画像を撮像する可視光撮像装置であり、
前記不可視光撮像装置は、赤外線画像を撮像する赤外光撮像装置である、
請求項１～請求項３のいずれか１項に記載の制御プログラム。
前記不可視光撮像装置は、赤外線画像を撮像する赤外光撮像装置である、
請求項１～請求項３のいずれか１項に記載の制御プログラム。
【請求項7】
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータが実行する、制御方法。
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータが実行する、制御方法。
【請求項8】
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
制御部を備える、情報処理装置。
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
制御部を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御プログラム，制御方法及び情報処理装置に関する。
【背景技術】
【0002】
機械学習において、学習にラベル付きデータを用いる教師有り学習が製品の分類問題等に応用されることがある。
【0003】
ラベル付きデータは、物体を含む撮像範囲を撮像して得られた画像に、当該物体の分類（クラス）を示す正解ラベルが付与されたデータである。画像への正解ラベルの付与は通常は人手で行なわれるため、ラベル付きデータはラベル無しデータに比べて収集コストが大きくなる。
【0004】
また、安価な低解像度のカメラを用いて複数枚の拡大画像を撮像し、これらの複数枚の拡大画像を合成することで高解像度の画像を取得する、パノラマ合成技術が知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許出願公開第２０１５／００５５８８６号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したラベル付きデータに用いる画像として、より高解像度な画像を取得したい場合がある。
【0007】
例えば、サーモカメラは、通常の可視光カメラと比較して、一般に高価格であるが解像度は低い。そこで、高解像度な熱画像を取得するために、例えば、パノラマ合成技術により、サーモカメラにより複数枚の低解像度の熱画像を撮像し、これらを合成して高解像度の熱画像を取得することが考えられる。
【0008】
しかし、パノラマ合成技術では、画像の枚数が増加するほど合計の撮像時間が増加する。従って、撮像対象が経時変化する場合、撮像時間が増加することで、撮像対象を正確に撮像した高解像度の熱画像が取得できない場合がある。高解像度の正確な熱画像が取得できないことで、ラベル付きの熱画像を訓練データとして用いて訓練する機械学習モデルの精度が低下する可能性がある。
【0009】
なお、上述した不都合は、サーモカメラにより熱画像を撮像する場合に限定されるものではなく、不可視光撮像装置により種々の不可視光画像を撮像する場合においても同様に生じ得る。
【0010】
１つの側面では、本発明は、高解像度の不可視光画像の取得時間を短縮することを目的の１つとする。
【課題を解決するための手段】
【0011】
１つの側面では、制御プログラムは、コンピュータに以下の処理を実行させる。前記処理は、所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得してよい。また、前記処理は、前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成してよい。さらに、前記処理は、前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定してよい。また、前記処理は、前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得してよい。
【発明の効果】
【0012】
１つの側面では、本発明は、高解像度の不可視光画像の取得時間を短縮することができる。
【図面の簡単な説明】
【0013】
【図1】画像の解像度を説明するための図である。
【図2】一実施形態に係る手法を簡単に説明するための図である。
【図3】拡大熱画像の一例を示す図である。
【図4】一実施形態に係るシステムの構成例を示す図である。
【図5】一実施形態に係るサーバのソフトウェア構成例を示すブロック図である。
【図6】訓練部によるモデルの訓練手法の一例を説明するための図である。
【図7】ピクセルのクラス確率とエントロピーとの関係の一例を示す図である。
【図8】エントロピーマップと拡大領域との一例を示す図である。
【図9】拡大領域決定部による複数の拡大領域の決定手法の一例を説明するための図である。
【図10】一実施形態に係るシステムの訓練フェーズにおける動作例を説明するフローチャートである。
【図11】拡大領域決定部による拡大領域の決定処理の動作例を説明するフローチャートである。
【図12】一実施形態に係るシステムの推論フェーズにおける動作例を説明するフローチャートである。
【図13】一実施形態に係るコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形又は技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の説明で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
【0015】
【0016】
可視光画像２１１は、可視光カメラ２１により、所定の撮像範囲２を撮像して得られる第１画像の一例である。可視光カメラ２１は、撮像装置（可視光撮像装置）の一例である。
【0017】
熱画像２２１は、サーモカメラ２２により、所定の撮像範囲２を撮像して得られる不可視光画像又は第１不可視光画像の一例である。熱画像２２１は、赤外線画像と称されてもよい。サーモカメラ２２は、不可視光撮像装置，熱画像撮像装置又は赤外光撮像装置の一例である。
【0018】
なお、図１の例では、熱画像２２１に物体３が含まれている。物体３は、例えば加熱又は冷却されたことで他の物体と温度が異なっており、熱画像２２１において他の物体と区別可能に描画（表示）されている。
【0019】
以下の説明では、不可視光が赤外光（赤外線）である場合を例に挙げて説明するが、これに限定されるものではなく、不可視光として、紫外光（紫外線）等の種々の光（光線）が用いられてもよい。
【0020】
図１に示す例では、熱画像２２１の解像度は、可視光画像２１１の解像度よりも低い。このような前提において、高解像度の熱画像を取得したい場合、例えば、機械学習モデルの訓練に用いるラベル付きデータとして高解像度な熱画像を取得したい場合を想定する。
【0021】
高解像度の熱画像を取得するには、高価（高性能，高解像度）なサーモカメラ２２を利用すればよいが、導入コスト，運用コストが増加する。
【0022】
例えば、上述したパノラマ合成技術を用いて、撮像範囲の一部を拡大した熱画像を安価（低性能，低解像度）なサーモカメラ２２により複数枚撮像し、これらを合成することで、解像度の高い熱画像を取得することも考えられるが、取得時間が増加する。高解像度の熱画像の取得時間の増加は、撮像対象が経時変化する場合、正確な熱画像の取得ができず、機械学習モデルの精度低下を引き起こす可能性がある。
【0023】
そこで、一実施形態では、安価（低性能，低解像度）な不可視光撮像装置を利用しつつ、高解像度の不可視光画像（一例として、熱画像）の取得時間を短縮する手法を説明する。
【0024】
図２は、一実施形態に係る手法を簡単に説明するための図である。図２に示すように、一実施形態では、高解像度の可視光画像２１１を高解像度の熱画像（以下、「高解像度熱画像」と表記する場合がある）２２２に変換する機械学習モデル３０の訓練を行なうことで、高解像度熱画像２２２を短時間で生成できるようにする。
【0025】
高解像度熱画像２２２は、熱画像２２１よりも解像度の高い第２不可視光画像の一例である。「機械学習モデル」は、「学習器」又は単に「モデル」と称されてもよい。
【0026】
一実施形態では、可視光画像２１１から高解像度熱画像２２２への変換に不足する情報を補うために、低解像度の熱画像２２１が使用される。
【0027】
また、一実施形態では、モデル３０の訓練に用いる教師データ（高解像度の熱画像）を生成するために、低解像度の拡大熱画像２２３が使用される。拡大熱画像２２３は、第３不可視光画像の一例である。
【0028】
図３は、拡大熱画像２２３の一例を示す図である。図３に示すように、一実施形態では、サーモカメラ２２は、光学ズーム（光学拡大）の機能により、撮像範囲２の中の一部の拡大領域２０の熱画像を、拡大熱画像２２３として撮像する。拡大領域２０は、拡大熱画像２２３（熱画像）の取得対象領域の一例である。
【0029】
なお、熱画像２２１と拡大熱画像２２３とは、撮像した範囲が撮像範囲２と拡大範囲２０とで異なる他は、画像サイズ，解像度ともに同一である。すなわち、拡大熱画像２２３は、熱画像２２１と同様に低解像度の画像である。
【0030】
図２に例示するように、モデル３０の訓練フェーズでは、可視光画像２１１と熱画像２２１とを入力されたモデル３０から、熱画像２２１よりも高解像度の熱画像２２２が出力される。
【0031】
そして、高解像度熱画像２２２に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、撮像範囲２の中から拡大領域２０が決定される。また、サーモカメラ２２の光学拡大制御により、熱画像２２１に含まれる拡大領域２０の解像度よりも高い解像度で拡大領域２０を撮像した拡大熱画像２２３が取得される。
【0032】
このように、一実施形態に係る手法によれば、高解像度の可視光カメラ２１と、安価な低解像度のサーモカメラ２２とを用いて、高解像度熱画像２２２を出力するモデル３０の訓練に利用される拡大熱画像２２３を取得することができる。
【0033】
拡大熱画像２２３を用いて訓練されたモデル３０を利用することで、安価（低性能，低解像度）なサーモカメラ２２を用いつつ、高解像度熱画像２２２の取得時間を短縮することができる。
【0034】
また、不確実性を示す指標に基づき拡大領域２０が決定されることで、モデル３０の出力が不確実な部分（ピクセル）、換言すれば、損失が大きい部分について、拡大熱画像２２３を教師データとして用いた訓練を行なうことができる。従って、効率的なモデル３０の訓練を実現できる。
【0035】
なお、拡大熱画像２２３の撮像を可能とするために、一実施形態に係るサーモカメラ２２は、光学ズームの機能を備えた撮像装置であってよい。例えば、サーモカメラ２２は、サーモカメラ２２のレンズの焦点距離を変化させることで、撮像する範囲を撮像範囲２から拡大領域２０に光学的に拡大させる拡大／望遠機能を有してよい。
【0036】
或いは、サーモカメラ２２の他に、サーモカメラ２２よりも拡大領域２０側に設置された他のサーモカメラが備えられてもよく、拡大熱画像２２３が当該他のサーモカメラにより撮像されてもよい。この場合、サーモカメラ２２においては、光学ズームの機能が省略されてもよい。当該他のサーモカメラの性能，解像度は、サーモカメラ２２と同程度であってもよいし、異なってもよい。
【0037】
〔Ｂ〕一実施形態に係るシステムの構成例
図４は、一実施形態に係るシステム１の構成例を示す図である。システム１は、機械学習モデル３０の訓練を実行する機械学習システムの一例である。以下、一実施形態に係る機械学習モデル３０は、高解像度の可視光画像２１１を高解像度の熱画像２２２に変換するものとする。
図４は、一実施形態に係るシステム１の構成例を示す図である。システム１は、機械学習モデル３０の訓練を実行する機械学習システムの一例である。以下、一実施形態に係る機械学習モデル３０は、高解像度の可視光画像２１１を高解像度の熱画像２２２に変換するものとする。
【0038】
一実施形態では、撮像範囲２に含まれる物体３が、瓶，缶，ペットボトル等の資源ゴミであるものとする。例えば、一実施形態に係る手法により訓練されたモデル３０から出力される高解像度熱画像２２２は、これらの資源ゴミを適切に分別するための機械学習モデル（図示省略）の訓練に利用される、訓練データとして用いられてよい。
【0039】
図４に示すように、システム１は、例示的に、サーバ１０，可視光カメラ２１，サーモカメラ２２，及び搬送帯２３を備えてよい。
【0040】
サーバ１０は、モデル３０の訓練を行なうとともに、可視光カメラ２１及びサーモカメラ２２の少なくとも１つの制御を通じて、モデル３０の訓練に用いる訓練データを収集する。サーバ１０による処理の詳細は後述する。
【0041】
搬送帯２３は、物体３を搬送する。搬送帯２３は、例えば、ロボット又は作業者により投入（図示省略）された物体３を搬送してよい。搬送帯２３としては、例えば、ベルトコンベヤー，チェーンコンベヤー，ローラコンベヤー等の種々のコンベヤーが挙げられる。
【0042】
可視光カメラ２１は、撮像範囲２を撮像して得た可視光画像２１１をサーバ１０に出力する。サーモカメラ２２は、撮像範囲２を撮像して得た熱画像２２１をサーバ１０に出力する。また、サーモカメラ２２は、サーバ１０からの制御に応じて視野（撮像範囲２）の中の一部（拡大領域２０）を光学ズームによって拡大して撮像し、拡大領域２０の拡大熱画像２２３をサーバ１０に出力する。
【0043】
可視光カメラ２１及びサーモカメラ２２は、互いに類似する（好ましくは同一の）角度により、撮像範囲２を撮像するように設置されてよい。換言すれば、画像２１１及び２２１間で、物体３間の配置関係，各物体３の大きさ，位置が互いに類似するように（好ましくは同一となるように）、可視光カメラ２１及びサーモカメラ２２が設置されてよい。
【0044】
一実施形態では、撮像範囲２は、搬送帯２３上の一部の領域であってよい。搬送帯２３上を物体３が搬送される場合、搬送帯２３上の位置によっては物体３間の配置関係が変わらないため、可視光カメラ２１の撮像範囲２とサーモカメラ２２の撮像範囲２とは、互いに異なる範囲であってもよい。例えば、可視光カメラ２１の撮像範囲２とサーモカメラ２２の撮像範囲２とのそれぞれは、搬送帯２３の搬送方向に対して水平方向（並行）に互いに離間した範囲であってもよい。
【0045】
〔Ｃ〕ソフトウェア構成例
図５は、一実施形態に係るサーバ１０のソフトウェア構成例を示すブロック図である。サーバ１０は、モデル３０の訓練（及びモデル３０を用いた推論）と、訓練データの生成並びに更新とを実行する情報処理装置又はコンピュータの一例である。
図５は、一実施形態に係るサーバ１０のソフトウェア構成例を示すブロック図である。サーバ１０は、モデル３０の訓練（及びモデル３０を用いた推論）と、訓練データの生成並びに更新とを実行する情報処理装置又はコンピュータの一例である。
【0046】
図５に示すように、サーバ１０は、例示的に、メモリ部１１，取得部１２，訓練部１３，拡大領域決定部１４，及び出力部１５を備えてよい。また、サーバ１０は、推論部１６を備えてもよい。取得部１２，訓練部１３，拡大領域決定部１４，出力部１５，及び推論部１６は、制御部１７の一例である。
【0047】
メモリ部１１は、記憶領域の一例であり、サーバ１０が利用する種々のデータを記憶する。メモリ部１１は、例えば、サーバ１０の後述するメモリ４０ｃ及び記憶部４０ｄ（図１３参照）のうちの一方又は双方が有する記憶領域により実現されてもよい。
【0048】
図５に示すように、メモリ部１１は、例示的に、機械学習モデル３０，複数の可視光画像２１１，複数の熱画像２２１，複数の高解像度熱画像２２２，複数の拡大熱画像２２３，複数の合成熱画像２２４，及びエントロピーマップ１１ａを記憶可能であってよい。
【0049】
以下、便宜上、メモリ部１１が格納する情報をテーブル形式で表記するが、これに限定されるものではなく、メモリ部１１が格納する情報のうちの少なくとも１つは、ＤＢ（Database）又は配列等の種々の形式であってもよい。
【0050】
取得部１２は、サーバ１０で利用される種々の情報を取得する。例えば、取得部１２は、可視光カメラ２１から複数の可視光画像２１１を、サーモカメラ２２から複数の熱画像２２１並びに複数の拡大熱画像２２３を、それぞれ取得し、メモリ部１１に格納してよい。
【0051】
訓練部１３は、訓練フェーズにおいて、可視光画像２１１と、熱画像２２１と、拡大熱画像２２３とを含むデータセットを複数含む訓練データ１１ｂを利用した機械学習モデル３０の訓練（再訓練，機械学習処理）を行なう。例えば、訓練部１３は、可視光画像２１１と熱画像２２１とをモデル３０に入力して、拡大熱画像２２３を教師データとして用いる教師有り学習又は半教師有り学習を実行する。
【0052】
【0053】
図６に例示するように、訓練部１３は、可視光画像（図６では「v」と表記）２１１及び熱画像（図６では「r」と表記）２２１をエンコーダ３１に入力して、デコーダ３２から高解像度熱画像（図６では「rh’」と表記）２２２を取得する。また、デコーダ３２は、高解像度熱画像２２２に含まれるピクセルごとに、サーモカメラ２２の分解能に合わせた出力レンジをクラスとしたクラス確率を出力する。
【0054】
訓練部１３は、マスク処理Ｐ１（図６では「masking」と表記）により、高解像度熱画像２２２に含まれる拡大領域２０をマスクし、高解像度熱画像２２２における当該マスク部分の画像を部分画像（図６では「rs’」と表記）２２２ａとして出力する。部分画像２２２ａは、高解像度熱画像２２２のうちの拡大領域２０部分のみが切り出された画像であってもよいし、高解像度熱画像２２２のうちの、拡大領域２０の範囲外を比較対象外とした（例えば単色で塗り潰した）画像であってもよい。拡大領域２０は、拡大領域決定部１４による拡大領域決定処理において決定される。
【0055】
サーモカメラ２２では、当該拡大領域２０の拡大熱画像（図６では「rh」と表記）２２３が撮像される。訓練部１３は、例えば、描画処理Ｐ２（図６では「drawing」と表記）により、拡大熱画像２２３に基づき比較用拡大熱画像（図６では「rs」と表記）２２３ａを生成してよい。
【0056】
比較用拡大熱画像２２３ａは、拡大熱画像２２３を部分画像２２２ａと比較するための画像である。描画処理Ｐ２では、拡大熱画像２２３を部分画像２２２ａと比較可能な状態にするための処理が行なわれてよい。一例として、訓練部１３は、描画処理Ｐ２において、画像の形式，属性等を変更又は加工してもよい。
【0057】
他の例として、部分画像２２２ａが、高解像度熱画像２２２のうちの拡大領域２０の範囲外を比較対象外とした画像である場合、訓練部１３は、撮像範囲２の中の拡大領域２０の位置に拡大熱画像２２３を配置させた比較用拡大熱画像２２３ａを生成してもよい。例えば、訓練部１３は、拡大熱画像２２３の周囲に比較対象外とするための対象外領域を形成することで、比較用拡大熱画像２２３ａを生成してよい。対象外領域は、部分画像２２２ａに対して行なわれた処理と同様の処理、例えば単色で塗り潰す処理、等が行なわれた領域であってよい。
【0058】
また、他の例として、訓練部１３は、部分画像２２２ａが複数箇所の拡大領域２０を含んでおり、拡大熱画像２２３が複数枚撮影された場合に、描画処理Ｐ２において、複数枚の拡大熱画像２２３を合成した比較用拡大熱画像２２３ａを生成してもよい。
【0059】
訓練部１３は、部分画像２２２ａと比較用拡大熱画像２２３ａとを比較し、比較結果に基づき、モデル３０（エンコーダ３１及びデコーダ３２）のニューラルネットワークのパラメータを更新（最適化）することで、モデル３０の訓練を行なってよい。例えば、訓練部１３は、部分画像２２２ａと比較用拡大熱画像２２３ａとの差が最小になるように、パラメータを更新してよい。パラメータの更新では、例えば、勾配降下法等の種々の最適化アルゴリズムが用いられてよい。
【0060】
訓練部１３は、１枚の高解像度熱画像２２２について、互いに異なる複数の拡大領域２０が決定された場合、複数の拡大領域２０の各々の部分を１枚の撮像範囲２の画像に描画した、１枚の部分画像２２２ａを生成してよい。この場合、訓練部１３は、サーモカメラ２２により複数の拡大領域２０を撮像して得られた複数の拡大熱画像２２３の各々を１枚の撮像範囲２の画像に描画した、１枚の比較用拡大熱画像２２３ａを生成してよい。或いは、訓練部１３は、撮像された拡大熱画像２２３ごとに、部分画像２２２ａ及び比較用拡大熱画像２２３ａを生成してもよい。
【0061】
なお、訓練部１３は、部分画像２２２ａ及び比較用拡大熱画像２２３ａをメモリ部１１等の記憶領域に格納してもよい。
【0062】
拡大領域決定部１４は、高解像度熱画像２２２に対して拡大領域決定処理を実行することで、１以上の拡大領域２０を決定する。例えば、拡大領域決定部１４は、高解像度熱画像２２２のうち、モデル３０の出力が不確実な部分を拡大領域２０として決定してよい。
【0063】
ここで、上述したように、モデル３０は、高解像度熱画像２２２に含まれるピクセルごとにクラス確率を出力する。
【0064】
図７は、ピクセルｐのクラス確率とエントロピーとの関係の一例を示す図である。図７の例では、サーモカメラ２２の分解能に応じた出力レンジ（図７の例では４段階）のクラスごとに、高解像度熱画像２２２に含まれる或るピクセルｐの値がそのクラスである確率を棒グラフの高さで示す。
【0065】
図７に例示するように、符号Ａ１で示すピクセルｐ１において、クラス2のクラス確率は、最も高く、クラス0,1,3の各クラス確率の倍以上である。一方、符号Ａ２で示すピクセルｐ２では、クラス0,1,2,3のクラス確率がいずれも同程度である。図７の例では、ピクセルｐ１の値がクラス2であることの確実性は高く、ピクセルｐ２の値がクラス2であることの確実性は低いといえる。
【0066】
なお、図７の例において、クラス数が４の場合のエントロピーの取り得る範囲は、単位をビット（logの底を2）とした場合、0～2の範囲となる。例えば、ピクセルｐ２のようにクラス確率が同程度の場合、エントロピーは2に近い値（図７の例では1.9）になり、ピクセルｐ１のエントロピー（図７の例では1.5）よりも高い。
【0067】
このように、クラス確率の分布から、モデル３０の出力が不確実な部分の特定が可能である。そこで、拡大領域決定部１４は、モデル３０から出力されるクラス確率から、各ピクセルの不確実性を示す指標（不確実性指標）を算出する。
【0068】
当該指標（スコア）としては、例えば、クラスの確実性が高いほど低くなり、クラスの確実性が低いほど高くなるエントロピーが挙げられる。図７の例では、ピクセルｐ１のエントロピー（Ep）は1.5と比較的低く、ピクセルｐ２のエントロピー（Ep）は1.9と比較的高い。高解像度熱画像２２２のうちの、エントロピーが高いピクセルは、モデル３０の出力が不確実な部分である、換言すれば、損失が大きいといえる。
【0069】
なお、拡大領域２０を決定する段階では、教師データとなる拡大熱画像２２３が取得されていないため、実際の損失を算出できないが、仮に拡大熱画像２２３が取得できたときの損失を推定することは可能である。
【0070】
例えば、拡大領域決定部１４は、モデル３０の出力を各クラスの入手確率と見做すことで、モデル３０の出力のエントロピーを、損失の期待値（期待損失）として推定してもよい。
【0071】
また、拡大領域決定部１４は、モデル３０の出力のうちの、最大値を持つクラス（図７の例ではクラス2）が実際のクラス（正解のクラス）であったときの損失を、最小損失として推定してもよい。
【0072】
一実施形態では、拡大領域決定部１４が期待損失としてエントロピーを算出する場合を説明する。例えば、損失の大きいデータほどモデル３０の訓練に与える影響が大きいため、拡大領域決定部１４は、高解像度熱画像２２２のうちのエントロピーが高い（期待損失が大きい）領域を拡大領域２０として決定することで、効率的なモデル３０の訓練を実現する。
【0073】
拡大領域決定部１４は、例えば、複数のピクセルの各々のエントロピーを、高解像度熱画像２２２における各ピクセルの配置に応じて並べたエントロピーマップ１１ａを生成し、エントロピーマップ１１ａに基づき拡大領域２０を決定してよい。
【0074】
【0075】
例えば、拡大領域決定部１４は、複数のエントロピーのうちの、拡大領域２０の範囲内のピクセルについてのエントロピーの合計値が最大となる領域を、拡大領域２０として決定してよい。一例として、拡大領域決定部１４は、サーモカメラ２２の光学ズーム制御に関する所定のコストと、エントロピーの合計値とに基づき、所定時間内にサーモカメラ２２により撮像可能な１以上の拡大領域２０を決定してよい。
【0076】
所定のコストは、例えば、サーモカメラ２２の光学ズームの制御にかかる時間（拡大撮像時間）であってよい。拡大撮像時間は、例えば、焦点距離の変更，サーモカメラ２２の撮影角度の変更等の機械的な駆動時間や、サーモカメラ２２が拡大領域２０を撮像する撮像時間を含んでよい。
【0077】
所定時間は、例えば、１枚の高解像度熱画像２２２につき許容される拡大熱画像２２３の撮像にかかる時間であってよい。所定のコスト（既定のコスト）及び所定時間（既定時間）の一方又は双方は、例えば、管理者等により予め決定されてもよい。
【0078】
例えば、拡大領域決定部１４は、エントロピーマップ１１ａに基づき、所定のコストの制約下で所定時間以内に撮像可能な拡大範囲（ピクセルの組み合わせ）のうちの、エントロピーの合計値が最大となる拡大範囲を決定してよい。
【0079】
また、拡大領域決定部１４は、現在のサーモカメラ２２の撮像対象位置から、決定した拡大範囲への移動経路を算出してよい。
【0080】
撮像対象位置とは、例えば、サーモカメラ２２の撮影角度又は向きの基準点となる位置であり、一例として、サーモカメラ２２により撮像された場合に撮像画像の中心点となるピクセルの位置であってよい。
【0081】
図８に例示するように、サーモカメラ２２により撮像可能な拡大範囲、すなわち、光学ズームにより撮像される範囲は、破線で囲う網掛けのピクセルの組み合わせ（図８の例では３×３）の範囲である。拡大領域決定部１４は、拡大範囲内のピクセルのエントロピーの合計値が最大値となるような拡大範囲を、拡大領域２０として特定してよい。図８の例では、点線で示す撮像対象位置２０ａのピクセルを中心とした拡大領域２０－１が特定される。
【0082】
また、拡大領域決定部１４は、所定のコストの制約下で所定時間内に２回以上の拡大熱画像２２３の撮像が可能である場合、撮像対象位置２０ａから所定時間内に光学ズームの制御が可能な範囲内で、他の拡大領域２０を決定してよい。図８には、点線で示す撮像対象位置２０ｂのピクセルを中心とした拡大領域２０－２が特定される例を示す。
【0083】
図９は、拡大領域決定部１４による複数の拡大領域２０の決定手法の一例を説明するための図である。図９の符号Ｂ１には、１回目に決定された拡大領域２０－１と、当該拡大領域２０－１から所定時間内に移動可能な移動可能範囲２ａとを示す。なお、拡大領域決定部１４は、撮像対象位置２０ａがサーモカメラ２２の初期位置である場合には、後述する符号Ｂ２及びＢ３の処理を省略して、当該初期位置を中心とする拡大範囲を１回目の拡大領域２０－１に決定してもよい。
【0084】
図９の符号Ｂ２に例示するように、拡大領域決定部１４は、移動可能範囲２ａの中で、各ピクセルを中心として追加で拡大熱画像２２３を撮像した場合の、各ピクセルのエントロピー（スコア）の合計値を算出してよい。例えば、拡大領域決定部１４は、移動可能範囲２ａ内の各セル（ピクセル）について、セルを中心とした拡大範囲内のエントロピーの合計値を当該セルに加算することで、スコアの合計値を算出してよい。
【0085】
図９の符号Ｂ３に例示するように、拡大領域決定部１４は、算出した合計値が最大（図９の符号Ｂ２の例では80）となるピクセルを撮像対象位置２０ｂとして特定し、撮像対象位置２０ｂを中心とした拡大領域２０－２を決定してよい。
【0086】
拡大領域決定部１４は、決定した撮像対象位置２０ａ及び２０ｂの情報を、サーモカメラ２２による拡大熱画像２２３の撮像のための移動経路の起点及び終点の情報として利用し、サーモカメラ２２を制御してよい。
【0087】
拡大領域決定部１４は、１以上の拡大領域２０を決定すると、決定した拡大領域２０を、決定した移動経路に従って撮像するようにサーモカメラ２２を制御してよい。サーモカメラ２２により撮像された拡大熱画像２２３は、取得部１２を介して訓練部１３に出力されてよい。また、拡大領域決定部１４は、決定した拡大領域２０をマスク処理Ｐ１に利用するために訓練部１３に通知してよい。
【0088】
なお、拡大領域決定部１４は、１枚の高解像度熱画像２２２について３回目以降の拡大熱画像２２３の撮像を行なう場合、図９の撮像対象位置２０ｂを起点とした移動可能範囲を特定してよい。そして、拡大領域決定部１４は、当該移動可能範囲の中で、上述した図９の符号Ｂ２及びＢ３に例示する手法により、拡大領域２０及び移動経路を決定してよい。
【0089】
また、拡大領域決定部１４は、１枚の高解像度熱画像２２２について２回目以降の拡大熱画像２２３の撮像を行なう場合であって、例えば撮像範囲２を物体３が移動する場合、物体３の移動速度と、所定のコストとに基づき、拡大領域２０を決定してもよい。例えば、拡大領域決定部１４は、エントロピーマップ１１ａ内の各エントロピーを、高解像度熱画像２２２内での物体３の移動方向に移動させながら、拡大領域２０を決定してもよい。
【0090】
以上のように、訓練部１３及び拡大領域決定部１４によれば、高解像度熱画像２２２に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、撮像範囲２の中から拡大領域２０が決定される。そして、サーモカメラ２２の光学ズーム制御により、熱画像２２１における拡大領域２０の解像度よりも高い解像度で拡大領域２０を撮像した拡大熱画像２２３が取得される。
【0091】
これにより、不確実性を示す指標に基づく、例えば損失が最大となる拡大領域２０の拡大熱画像２２３を取得できるので、高解像度熱画像２２２を出力するモデル３０の訓練に効果的な教師データを取得できる。従って、拡大熱画像２２３を用いて訓練されたモデル３０を利用すれば、安価（低性能，低解像度）なサーモカメラ２２を用いつつ、高解像度熱画像２２２の取得時間を短縮することができる。
【0092】
なお、上述した訓練部１３及び拡大領域決定部１４による処理の全体の処理時間のうち、サーモカメラ２２の拡大撮像時間が支配的である。従って、拡大熱画像２２３の撮像回数が多いほど、モデル３０の訓練に効果的な教師データを取得できる可能性は高まるが、高解像度熱画像２２２の取得時間は増加し得る。
【0093】
一実施形態に係る手法によれば、移動可能範囲２ａ内で不確実性を示す指標の大きい拡大範囲ほど優先的に拡大領域２０として選択されるため、拡大熱画像２２３の撮像回数が少ない場合であっても、モデル３０の訓練に効果的な教師データを効率的に収集できる。従って、一実施形態に係る手法によれば、撮像可能時間，サーモカメラ２２の性能（解像度，拡大撮像時間）等の種々の制約の中で、最適な高解像度熱画像２２２を取得できるとともに、取得時間を短縮することが可能である。
【0094】
出力部１５は、出力データを出力する。出力データとしては、例えば、モデル３０，可視光画像２１１，熱画像２２１，高解像度熱画像２２２，拡大熱画像２２３，後述する合成熱画像２２４，エントロピーマップ１１ａ等のうちの少なくともいずれか１種類のデータが挙げられる。また、出力データには、推論フェーズにおいて、訓練済みのモデル３０に入力データ（例えば訓練フェーズで使用した可視光画像２１１，熱画像２２１とは異なる可視光画像）を入力して得られる推論結果が含まれてもよい。
【0095】
出力部１５は、出力データの「出力」において、例えば、出力データを図示しない他のコンピュータに送信（提供）してもよいし、出力データをメモリ部１１に蓄積して、サーバ１０又は他のコンピュータから取得可能に管理してもよい。或いは、出力部１５は、出力データの「出力」において、出力データを示す情報をサーバ１０又は管理者端末等の出力装置に画面出力してもよく、その他の種々の態様により出力データを出力してよい。管理者端末は、サーバ１０の管理者又はユーザが利用するコンピュータの一例である。
【0096】
推論部１６は、推論フェーズにおいて、訓練部１３による訓練済みのモデル３０を用いて、推論処理を行なう。例えば、推論部１６は、モデル３０に推論処理の対象データである可視光画像及び熱画像（図示省略）を入力し、モデル３０から出力された推論結果である高解像度熱画像２２２をメモリ部１１に格納してよい。
【0097】
また、推論フェーズにおいても、訓練部１３及び拡大領域決定部１４は、モデル３０から出力された高解像度熱画像２２２に基づき、拡大熱画像２２３（或いは比較用拡大熱画像２２３ａ）を生成してもよい。
【0098】
推論部１６は、高解像度熱画像２２２に含まれる拡大領域２０の部分画像２２２ａを拡大熱画像２２３（或いは比較用拡大熱画像２２３ａ）に置換することで合成熱画像２２４を生成し、メモリ部１１に格納してよい。合成熱画像２２４は、第４不可視光画像の一例である。
【0099】
このように、高解像度熱画像２２２に代えて、合成熱画像２２４を推論結果とすることで、モデル３０による推論で得られた画像の少なくとも一部を、実際に高解像度で撮像された拡大熱画像２２３により補完することができる。従って、高解像度熱画像２２２を推論結果とするよりも高品質な（正確な）教師データを生成することができる。
【0100】
以上の処理により、サーバ１０では、訓練フェーズにおいて、可視光画像２１１，熱画像２２１，拡大熱画像２２３を含む訓練データ１１ｂを用いた機械学習により、高解像度熱画像２２２を出力するモデル３０が更新される。そして、推論フェーズにおいて、可視光画像及び熱画像が訓練済みのモデル３０に入力され、モデル３０から高解像度熱画像２２２又は合成熱画像２２４が推論結果として出力される。
【0101】
これにより、例えば、ラベル付きデータとして熱画像が用いられる場合において、安価なサーモカメラ２２を利用しつつ、ラベル付きデータを低解像度の熱画像から高解像度の熱画像にアップサンプリングすることができる。従って、例えば、当該ラベル付きデータを用いて、分類，物体検出，セグメンテーション等のＡＩ（Artificial Intelligence）タスクを実行する機械学習モデルを訓練することで、低コストでＡＩタスクの精度を向上させることができる。
【0102】
〔Ｄ〕動作例
次に、一実施形態に係るシステム１の動作例を説明する。図１０は、一実施形態に係るシステム１の訓練フェーズにおける動作例を説明するフローチャートである。図１１は、拡大領域決定部１４による拡大領域２０の決定処理の動作例を説明するフローチャートである。図１２は、一実施形態に係るシステム１の推論フェーズにおける動作例を説明するフローチャートである。
次に、一実施形態に係るシステム１の動作例を説明する。図１０は、一実施形態に係るシステム１の訓練フェーズにおける動作例を説明するフローチャートである。図１１は、拡大領域決定部１４による拡大領域２０の決定処理の動作例を説明するフローチャートである。図１２は、一実施形態に係るシステム１の推論フェーズにおける動作例を説明するフローチャートである。
【0103】
〔Ｄ－１〕訓練フェーズの動作例
図１０に例示するように、訓練フェーズにおいて、訓練部１３は、モデル３０を初期化する。また、拡大領域決定部１４は、エントロピーマップ１１ａを初期化する（ステップＳ１）。
図１０に例示するように、訓練フェーズにおいて、訓練部１３は、モデル３０を初期化する。また、拡大領域決定部１４は、エントロピーマップ１１ａを初期化する（ステップＳ１）。
【0104】
訓練部１３は、可視光カメラ２１により撮像された撮像範囲２の可視光画像２１１と、サーモカメラ２２により撮像された撮像範囲２の熱画像２２１とを取得する（ステップＳ２）。
【0105】
訓練部１３は、可視光画像２１１，熱画像２２１をモデル３０に入力し、高解像度熱画像２２２を取得する（ステップＳ３）。
【0106】
拡大領域決定部１４は、高解像度熱画像２２２のクラス確率に基づきエントロピーマップ１１ａを更新し、高解像度熱画像２２２のうちの拡大領域２０を決定する（ステップＳ４）。
【0107】
拡大領域決定部１４は、サーモカメラ２２を制御し、サーモカメラ２２により撮像された拡大領域２０の拡大熱画像２２３を取得する（ステップＳ５）。
【0108】
訓練部１３は、高解像度熱画像２２２から拡大領域２０の部分画像２２２ａを取得する（ステップＳ６）。なお、ステップＳ５及びＳ６の処理は、逆順であってもよいし、少なくとも一部が並行して実行されてもよい。
【0109】
訓練部１３は、部分画像２２２ａと拡大熱画像２２３（或いは比較用拡大熱画像２２３ａ）との差分を小さくするようにモデル３０を更新する（ステップＳ７）。
【0110】
訓練部１３は、モデル３０が既定の性能に到達したか否かを判定する（ステップＳ８）。到達していないと判定された場合（ステップＳ８でＮＯ）、処理がステップＳ２に移行し、訓練フェーズが再度実行される。
【0111】
モデル３０が既定の性能に到達したと判定された場合（ステップＳ８でＹＥＳ）、処理が終了する。
【0112】
次に、図１０のステップＳ４における拡大領域決定部１４による拡大領域２０の決定処理の動作例を説明する。
【0113】
図１１に例示するように、拡大領域決定部１４は、所定時間内に拡大熱画像２２３を撮像可能な撮像可能回数Ｎを特定する（ステップＳ１１）。一例として、撮像可能回数Ｎは、下記式（１）を満たす最大のＮとして算出されてもよい。なお、下記式（１）において、αは0以上の定数である。拡大撮像時間は、サーモカメラ２２による拡大領域２０の撮像にかかる時間（例えば機械的な駆動時間及び撮像時間）である。
Ｎ≦（所定時間－α）／拡大撮像時間 （１）
Ｎ≦（所定時間－α）／拡大撮像時間 （１）
【0114】
拡大領域決定部１４は、サーモカメラ２２の初期位置ｃ０（例えば図９の撮像対象位置２０ａ）を中心とする拡大範囲を、１回目の拡大領域２０に決定する（ステップＳ１２）。
【0115】
拡大領域決定部１４は、Ｎが１よりも大きいか否かを判定する（ステップＳ１３）。Ｎが１以下（実際にはＮ＝１）であると判定した場合（ステップＳ１３でＮＯ）、処理がステップＳ２１に移行する。
【0116】
Ｎが１よりも大きいと判定した場合（ステップＳ１３でＹＥＳ）、拡大領域決定部１４は、変数ｎに１をセットする（ステップＳ１４）。
【0117】
拡大領域決定部１４は、エントロピーマップ１１ａを参照し、サーモカメラ２２の前回位置ｃ（ｎ－１）からの移動可能範囲２ａでスコアを未計算のセル（ピクセル）を１つ選択する（ステップＳ１５）。
【0118】
拡大領域決定部１４は、選択したセルを中心とする拡大範囲内のエントロピーの合計値を、選択したセルのスコアに設定する（ステップＳ１６）。
【0119】
拡大領域決定部１４は、移動可能範囲２ａ内の全てのセルを選択したか否かを判定する（ステップＳ１７）。未選択のセルがあると判定した場合（ステップＳ１７でＮＯ）、処理がステップＳ１５に移行する。
【0120】
移動可能範囲２ａ内の全てのセルを選択したと判定した場合（ステップＳ１７でＹＥＳ）、拡大領域決定部１４は、算出したスコアが最大のセルの位置ｃｎを中心とする拡大範囲を、ｎ回目の拡大領域２０に決定する（ステップＳ１８）。
【0121】
拡大領域決定部１４は、ｎをインクリメントし（ステップＳ１９）、Ｎ＝ｎか否かを判定する（ステップＳ２０）。Ｎ＝ｎではないと判定した場合（ステップＳ２０でＮＯ）、処理がステップＳ１５に移行する。
【0122】
Ｎ＝ｎであると判定した場合（ステップＳ２０でＹＥＳ）、拡大領域決定部１４は、１～Ｎ回の拡大領域２０の情報（例えば、セルｃ０～ｃ（ｎ－１）の位置を示す情報）を出力し（ステップＳ２１）、処理が終了する。１～Ｎ回の拡大領域２０の情報は、拡大領域決定部１４によるサーモカメラ２２の制御における移動経路（図１０のステップＳ５）、及び、訓練部１３による部分画像２２２ａの生成（図１０のステップＳ６）に用いられてよい。
【0123】
なお、サーバ１０は、例えば、はじめに複数の拡大領域２０の撮像計画（移動経路）を決定した後、１以上の高解像度熱画像２２２について、撮像計画に従って複数の拡大熱画像２２３を撮像してもよい。
【0124】
〔Ｄ－２〕推論フェーズの動作例
図１２に例示するように、推論フェーズにおいて、拡大領域決定部１４は、エントロピーマップ１１ａを初期化する（ステップＳ３１）。
図１２に例示するように、推論フェーズにおいて、拡大領域決定部１４は、エントロピーマップ１１ａを初期化する（ステップＳ３１）。
【0125】
推論部１６は、推論対象のデータとして、可視光カメラ２１により撮像された撮像範囲２の可視光画像と、サーモカメラ２２により撮像された撮像範囲２の熱画像とを取得する（ステップＳ３２）。
【0126】
推論部１６は、可視光画像，熱画像を訓練済みのモデル３０に入力し、高解像度熱画像２２２を取得する（ステップＳ３３）。
【0127】
拡大領域決定部１４は、高解像度熱画像２２２のクラス確率に基づきエントロピーマップ１１ａを更新し、高解像度熱画像２２２のうちの拡大領域２０を決定する（ステップＳ３４）。ステップＳ３４の処理は、図１１に例示する処理により実行されてよい。
【0128】
拡大領域決定部１４は、サーモカメラ２２を制御し、サーモカメラ２２により撮像された拡大領域２０の拡大熱画像２２３を取得する（ステップＳ３５）。
【0129】
推論部１６は、高解像度熱画像２２２における拡大領域２０の部分画像２２２ａを拡大熱画像２２３に置き換えた合成熱画像２２４を生成する（ステップＳ３６）。
【0130】
推論部１６は、推論結果として、高解像度熱画像２２２と合成熱画像２２４とのうちの少なくとも一方を出力し（ステップＳ３７）、処理が終了する。なお、ステップＳ３１，Ｓ３４～Ｓ３６の処理は省略（スキップ）されてもよい。
【0131】
〔Ｅ〕ハードウェア構成例
一実施形態に係るサーバ１０は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、サーバ１０の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。
一実施形態に係るサーバ１０は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、サーバ１０の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。
【0132】
以下、サーバ１０の機能を実現するコンピュータ４０のＨＷ（Hardware）構成例を説明する。
【0133】
図１３は、一実施形態に係るコンピュータ４０のハードウェア構成例を示すブロック図である。サーバ１０の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図１３に例示するＨＷ構成を備えてよい。
【0134】
図１３に示すように、コンピュータ４０は、ＨＷ構成として、例示的に、プロセッサ４０ａ，グラフィック処理装置４０ｂ，メモリ４０ｃ，記憶部４０ｄ，ＩＦ（Interface）部４０ｅ，ＩＯ（Input / Output）部４０ｆ，及び読取部４０ｇを備えてよい。
【0135】
プロセッサ４０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ４０ａは、コンピュータ４０内の各ブロックとバス４０ｊで相互に通信可能に接続されてよい。なお、プロセッサ４０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。
【0136】
プロセッサ４０ａとしては、例えば、ＣＰＵ，ＭＰＵ，ＡＰＵ，ＤＳＰ，ＡＳＩＣ，ＦＰＧＡ等の集積回路（ＩＣ；integrated circuit）が挙げられる。なお、プロセッサ４０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。
【0137】
グラフィック処理装置４０ｂは、ＩＯ部４０ｆのうちのモニタ等の出力装置に対する画面表示制御を行なう。また、グラフィック処理装置４０ｂは、機械学習モデル３０を利用した機械学習処理及び推論処理を実行するアクセラレータとしての構成を有してよい。グラフィック処理装置４０ｂとしては、種々の演算処理装置、例えば、ＧＰＵ（Graphics Processing Unit），ＡＰＵ，ＤＳＰ，ＡＳＩＣ又はＦＰＧＡ等の集積回路（ＩＣ）が挙げられる。
【0138】
図５に例示する訓練部１３は、グラフィック処理装置４０ｂに、可視光画像２１１，熱画像２２１を入力データとし、拡大熱画像２２３を教師データとしたモデル３０の機械学習処理を実行させ、モデル３０から高解像度熱画像２２２を取得してよい。また、推論部１６は、グラフィック処理装置４０ｂに、推論用の可視光画像，熱画像を入力データとしたモデル３０の推論処理を実行させ、モデル３０から推論結果を取得してよい。
【0139】
メモリ４０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ４０ｃとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。
【0140】
記憶部４０ｄは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部４０ｄとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置，ＳＳＤ（Solid State Drive）等の半導体ドライブ装置，不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ，ＳＣＭ（Storage Class Memory），ＲＯＭ（Read Only Memory）等が挙げられる。
【0141】
サーバ１０が各種データを保持する記憶領域、例えば図５に示すメモリ部１１としては、メモリ４０ｃ及び記憶部４０ｄの一方又は双方の記憶領域が用いられてよい。
【0142】
記憶部４０ｄは、コンピュータ４０の各種機能の全部若しくは一部を実現するプログラム４０ｈ（制御プログラム）を格納してよい。
【0143】
例えば、サーバ１０のコンピュータ４０において、プロセッサ４０ａが、記憶部４０ｄに格納されたプログラム４０ｈをメモリ４０ｃに展開して実行することにより、図５に示す制御部１７（例えばブロック１２～１６）としての機能を実現できる。
【0144】
ＩＦ部４０ｅは、コンピュータ４０と他のコンピュータとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部４０ｅは、イーサネット（登録商標）等のＬＡＮ、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。
【0145】
例えば、サーバ１０は、ＩＦ部４０ｅ及びネットワーク（図示省略）を介して、データの通信（一例として、管理者端末等への出力データの送信）を行なってもよい。また、サーバ１０は、ＩＦ部４０ｅ及びネットワーク（図示省略）を介して、可視光カメラ２１及びサーモカメラ２２からの撮像画像の取得，可視光カメラ２１及びサーモカメラ２２の制御（サーモカメラ２２の光学拡大制御を含む）等を行ってもよい。なお、プログラム４０ｈは、当該通信ＩＦを介して、ネットワークからコンピュータ４０にダウンロードされ、記憶部４０ｄに格納されてもよい。
【0146】
ＩＯ部４０ｆは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。また、ＩＯ部４０ｆは、入力装置及び出力装置が一体となったタッチパネル等を含んでもよい。出力装置は、グラフィック処理装置４０ｂに接続されてよい。
【0147】
読取部４０ｇは、記録媒体４０ｉに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部４０ｇは、記録媒体４０ｉを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部４０ｇとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体４０ｉにはプログラム４０ｈが格納されてもよく、読取部４０ｇが記録媒体４０ｉからプログラム４０ｈを読み出して記憶部４０ｄに格納してもよい。
【0148】
記録媒体４０ｉとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。
【0149】
上述したコンピュータ４０のＨＷ構成は例示である。従って、コンピュータ４０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。
【0150】
〔Ｆ〕その他
上述した実施形態に係る技術は、以下のように変形、変更して実施することができる。
上述した実施形態に係る技術は、以下のように変形、変更して実施することができる。
【0151】
例えば、図５に示すサーバ１０が備える取得部１２，訓練部１３，拡大領域決定部１４，出力部１５，及び推論部１６は、併合してもよく、それぞれ分割してもよい。
【0152】
また、例えば、図５に示すサーバ１０は、複数の装置がネットワークを介して互いに連携することにより、各処理機能を実現する構成であってもよい。一例として、取得部１２及び出力部１５はＷｅｂサーバ及びアプリケーションサーバ、訓練部１３，拡大領域決定部１４及び推論部１６はアプリケーションサーバ、メモリ部１１はＤＢサーバ、等であってもよい。この場合、Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバが、ネットワークを介して互いに連携することにより、サーバ１０としての処理機能を実現してもよい。
【0153】
また、例えば、一実施形態では、不可視光撮像装置として、サーモカメラ２２が用いられる場合を例に挙げたが、これに限定されるものではない。不可視光撮像装置としては、例えば、可視光カメラと異なる撮像方式を用いるＸ線撮像装置や、超音波撮像装置などを用いることができる。また例えば、不可視光撮像装置としては、所定の処理が施された物体３と他の物体とを区別できる態様で撮像して所定の撮像画像を出力する、種々の撮像装置が用いられてもよい。この場合、モデル３０は、可視光画像２１１と、撮像装置により撮像された画像とを入力として、撮像装置により撮像された画像を高解像度とした画像を出力するように訓練されてよい。
【0154】
所定の処理とは、例えば、物体３の形状を維持又は形状変化を最小限に抑えた状態で、物体３に何らかの物理的又は化学的な変化を与える処理であってよい。このような処理としては、例えば、物体３の表面に所定の液体又は粉末を付着させる（例えば塗布する）処理，物体３に紫外線等の光線を照射する処理、等が挙げられる。
【0155】
所定の撮像画像とは、例えば、所定の処理により物体３に与えられた物理的又は化学的な変化を可視化した画像であってよい。例えば、所定の撮像画像は、物体３の表面に付着した所定の液体又は粉末や、照射された光線による物体３の表面の変化等を、物体４とは異なる態様で表示した画像であってもよい。撮像装置は、例えば、このような物理的又は化学的な変化を検出可能な撮像装置であってもよい。
【0156】
〔Ｇ〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
以上の実施形態に関し、さらに以下の付記を開示する。
【0157】
（付記１）
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータに実行させる、制御プログラム。
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータに実行させる、制御プログラム。
【0158】
（付記２）
前記取得対象領域を決定する処理は、複数の前記指標のうちの、前記取得対象領域の範囲内のピクセルについての指標の合計値が最大となる領域を、前記取得対象領域として決定する処理を含む、
付記１に記載の制御プログラム。
前記取得対象領域を決定する処理は、複数の前記指標のうちの、前記取得対象領域の範囲内のピクセルについての指標の合計値が最大となる領域を、前記取得対象領域として決定する処理を含む、
付記１に記載の制御プログラム。
【0159】
（付記３）
前記取得対象領域を決定する処理は、前記不可視光撮像装置の光学拡大制御に関する所定のコストと、前記指標の合計値とに基づき、所定時間内に前記不可視光撮像装置により撮像可能な１以上の前記取得対象領域を決定する処理を含む、
付記２に記載の制御プログラム。
前記取得対象領域を決定する処理は、前記不可視光撮像装置の光学拡大制御に関する所定のコストと、前記指標の合計値とに基づき、所定時間内に前記不可視光撮像装置により撮像可能な１以上の前記取得対象領域を決定する処理を含む、
付記２に記載の制御プログラム。
【0160】
（付記４）
前記第２不可視光画像に含まれる前記取得対象領域の部分画像と、前記第３不可視光画像との差が最小となるように前記機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、付記１～付記３のいずれか１項に記載の制御プログラム。
前記第２不可視光画像に含まれる前記取得対象領域の部分画像と、前記第３不可視光画像との差が最小となるように前記機械学習モデルを訓練する、
処理を前記コンピュータに実行させる、付記１～付記３のいずれか１項に記載の制御プログラム。
【0161】
（付記５）
前記第２不可視光画像に含まれる前記取得対象領域の部分画像を前記第３不可視光画像に置換して得られる第４不可視光画像を、前記機械学習モデルの推論結果として出力する、
処理を前記コンピュータに実行させる、付記１～付記４のいずれか１項に記載の制御プログラム。
前記第２不可視光画像に含まれる前記取得対象領域の部分画像を前記第３不可視光画像に置換して得られる第４不可視光画像を、前記機械学習モデルの推論結果として出力する、
処理を前記コンピュータに実行させる、付記１～付記４のいずれか１項に記載の制御プログラム。
【0162】
（付記６）
前記撮像装置は、可視光画像を撮像する可視光撮像装置であり、
前記不可視光撮像装置は、赤外線画像を撮像する赤外光撮像装置である、
付記１～付記５のいずれか１項に記載の制御プログラム。
前記撮像装置は、可視光画像を撮像する可視光撮像装置であり、
前記不可視光撮像装置は、赤外線画像を撮像する赤外光撮像装置である、
付記１～付記５のいずれか１項に記載の制御プログラム。
【0163】
（付記７）
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータが実行する、制御方法。
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
処理をコンピュータが実行する、制御方法。
【0164】
（付記８）
前記取得対象領域を決定する処理は、複数の前記指標のうちの、前記取得対象領域の範囲内のピクセルについての指標の合計値が最大となる領域を、前記取得対象領域として決定する処理を含む、
付記７に記載の制御方法。
前記取得対象領域を決定する処理は、複数の前記指標のうちの、前記取得対象領域の範囲内のピクセルについての指標の合計値が最大となる領域を、前記取得対象領域として決定する処理を含む、
付記７に記載の制御方法。
【0165】
（付記９）
前記取得対象領域を決定する処理は、前記不可視光撮像装置の光学拡大制御に関する所定のコストと、前記指標の合計値とに基づき、所定時間内に前記不可視光撮像装置により撮像可能な１以上の前記取得対象領域を決定する処理を含む、
付記８に記載の制御方法。
前記取得対象領域を決定する処理は、前記不可視光撮像装置の光学拡大制御に関する所定のコストと、前記指標の合計値とに基づき、所定時間内に前記不可視光撮像装置により撮像可能な１以上の前記取得対象領域を決定する処理を含む、
付記８に記載の制御方法。
【0166】
（付記１０）
前記第２不可視光画像に含まれる前記取得対象領域の部分画像と、前記第３不可視光画像との差が最小となるように前記機械学習モデルを訓練する、
処理を前記コンピュータが実行する、付記７～付記９のいずれか１項に記載の制御方法。
前記第２不可視光画像に含まれる前記取得対象領域の部分画像と、前記第３不可視光画像との差が最小となるように前記機械学習モデルを訓練する、
処理を前記コンピュータが実行する、付記７～付記９のいずれか１項に記載の制御方法。
【0167】
（付記１１）
前記第２不可視光画像に含まれる前記取得対象領域の部分画像を前記第３不可視光画像に置換して得られる第４不可視光画像を、前記機械学習モデルの推論結果として出力する、
処理を前記コンピュータが実行する、付記７～付記１０のいずれか１項に記載の制御方法。
前記第２不可視光画像に含まれる前記取得対象領域の部分画像を前記第３不可視光画像に置換して得られる第４不可視光画像を、前記機械学習モデルの推論結果として出力する、
処理を前記コンピュータが実行する、付記７～付記１０のいずれか１項に記載の制御方法。
【0168】
（付記１２）
前記撮像装置は、可視光画像を撮像する可視光撮像装置であり、
前記不可視光撮像装置は、赤外線画像を撮像する赤外光撮像装置である、
付記７～付記１１のいずれか１項に記載の制御方法。
前記撮像装置は、可視光画像を撮像する可視光撮像装置であり、
前記不可視光撮像装置は、赤外線画像を撮像する赤外光撮像装置である、
付記７～付記１１のいずれか１項に記載の制御方法。
【0169】
（付記１３）
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
制御部を備える、情報処理装置。
所定の撮像範囲を撮像装置で撮像した第１画像と、前記撮像範囲を前記撮像装置よりも解像度の低い不可視光撮像装置で撮像した第１不可視光画像とを取得し、
前記第１画像と前記第１不可視光画像とを入力として、前記第１不可視光画像よりも解像度の高い第２不可視光画像を、機械学習モデルを用いて生成し、
前記第２不可視光画像に含まれる複数のピクセルのそれぞれについての不確実性を示す指標に基づいて、前記撮像範囲の中から、不可視光画像の取得対象領域を決定し、
前記不可視光撮像装置の光学拡大制御により、前記第１不可視光画像における前記取得対象領域の解像度よりも高い解像度で前記取得対象領域を撮像した第３不可視光画像を取得する、
制御部を備える、情報処理装置。
【0170】
（付記１４）
前記制御部は、前記取得対象領域を決定する処理において、複数の前記指標のうちの、前記取得対象領域の範囲内のピクセルについての指標の合計値が最大となる領域を、前記取得対象領域として決定する、
付記１３に記載の情報処理装置。
前記制御部は、前記取得対象領域を決定する処理において、複数の前記指標のうちの、前記取得対象領域の範囲内のピクセルについての指標の合計値が最大となる領域を、前記取得対象領域として決定する、
付記１３に記載の情報処理装置。
【0171】
（付記１５）
前記制御部は、前記取得対象領域を決定する処理において、前記不可視光撮像装置の光学拡大制御に関する所定のコストと、前記指標の合計値とに基づき、所定時間内に前記不可視光撮像装置により撮像可能な１以上の前記取得対象領域を決定する、
付記１４に記載の情報処理装置。
前記制御部は、前記取得対象領域を決定する処理において、前記不可視光撮像装置の光学拡大制御に関する所定のコストと、前記指標の合計値とに基づき、所定時間内に前記不可視光撮像装置により撮像可能な１以上の前記取得対象領域を決定する、
付記１４に記載の情報処理装置。
【0172】
（付記１６）
前記制御部は、前記第２不可視光画像に含まれる前記取得対象領域の部分画像と、前記第３不可視光画像との差が最小となるように前記機械学習モデルを訓練する、
付記１３～付記１５のいずれか１項に記載の情報処理装置。
前記制御部は、前記第２不可視光画像に含まれる前記取得対象領域の部分画像と、前記第３不可視光画像との差が最小となるように前記機械学習モデルを訓練する、
付記１３～付記１５のいずれか１項に記載の情報処理装置。
【0173】
（付記１７）
前記制御部は、前記第２不可視光画像に含まれる前記取得対象領域の部分画像を前記第３不可視光画像に置換して得られる第４不可視光画像を、前記機械学習モデルの推論結果として出力する、
付記１３～付記１６のいずれか１項に記載の情報処理装置。
前記制御部は、前記第２不可視光画像に含まれる前記取得対象領域の部分画像を前記第３不可視光画像に置換して得られる第４不可視光画像を、前記機械学習モデルの推論結果として出力する、
付記１３～付記１６のいずれか１項に記載の情報処理装置。
【0174】
（付記１８）
前記撮像装置は、可視光画像を撮像する可視光撮像装置であり、
前記不可視光撮像装置は、赤外線画像を撮像する赤外光撮像装置である、
付記１３～付記１７のいずれか１項に記載の情報処理装置。
前記撮像装置は、可視光画像を撮像する可視光撮像装置であり、
前記不可視光撮像装置は、赤外線画像を撮像する赤外光撮像装置である、
付記１３～付記１７のいずれか１項に記載の情報処理装置。
【符号の説明】
【0175】
１ システム
１０ サーバ
１１ メモリ部
１１ａ エントロピーマップ
１１ｂ 訓練データ
１２ 取得部
１３ 訓練部
１４ 拡大領域決定部
１５ 出力部
１６ 推論部
１７ 制御部
２ 撮像範囲
２ａ 移動可能範囲
２０，２０－１，２０－２ 拡大領域
２０ａ，２０ｂ 撮像対象位置
２１ 可視光カメラ
２１１ 可視光画像
２２ サーモカメラ
２２１ 熱画像
２２２ 高解像度熱画像
２２２ａ 部分画像
２２３ 拡大熱画像
２２３ａ 比較用拡大熱画像
２２４ 合成熱画像
２３ 搬送帯
３ 物体
３０ 機械学習モデル
３１ エンコーダ
３２ デコーダ
４０ コンピュータ
１０ サーバ
１１ メモリ部
１１ａ エントロピーマップ
１１ｂ 訓練データ
１２ 取得部
１３ 訓練部
１４ 拡大領域決定部
１５ 出力部
１６ 推論部
１７ 制御部
２ 撮像範囲
２ａ 移動可能範囲
２０，２０－１，２０－２ 拡大領域
２０ａ，２０ｂ 撮像対象位置
２１ 可視光カメラ
２１１ 可視光画像
２２ サーモカメラ
２２１ 熱画像
２２２ 高解像度熱画像
２２２ａ 部分画像
２２３ 拡大熱画像
２２３ａ 比較用拡大熱画像
２２４ 合成熱画像
２３ 搬送帯
３ 物体
３０ 機械学習モデル
３１ エンコーダ
３２ デコーダ
４０ コンピュータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】