特許 7524676 機械学習装置及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】機械学習装置及び画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240723BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 7

(21)【出願番号】P 2020142708

(22)【出願日】2020-08-26

(65)【公開番号】P2022038287

(43)【公開日】2022-03-10

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】竹原 英樹

(72)【発明者】

【氏名】木田 晋吾

(72)【発明者】

【氏名】楊 尹誠

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１９－０４６２７６（ＪＰ，Ａ）

【文献】特許第６６６３５２４（ＪＰ，Ｂ２）

【文献】国際公開第２０１９／１７６２３５（ＷＯ，Ａ１）

【文献】特開２０１９－０７１０５０（ＪＰ，Ａ）

【文献】特開２００６－３３３３３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

第１の所定時間帯の遠赤外線画像を取得する遠赤外線画像教師データ取得部と、
第２の所定時間帯の可視光画像を取得する可視光画像教師データ取得部と、
前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像とを教師データとして敵対的生成ネットワークで機械学習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの生成モデルを生成する可視光画像生成モデル学習部とを含み、
前記第１の所定時間帯は夜間であり、前記第２の所定時間帯は昼間であることを特徴とする機械学習装置。

【請求項2】

第１の所定時間帯の遠赤外線画像を取得する遠赤外線画像教師データ取得部と、
第２の所定時間帯の可視光画像を取得する可視光画像教師データ取得部と、
前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像とを教師データとして敵対的生成ネットワークで機械学習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの生成モデルを生成する可視光画像生成モデル学習部とを含み、
前記第１の所定時間帯は気温が第１の所定範囲内にある時間帯であり、前記第２の所定時間帯は光量が第２の所定範囲内にある時間帯であることを特徴とする機械学習装置。

【請求項3】

第１の所定時間帯の遠赤外線画像を取得する遠赤外線画像教師データ取得部と、
第２の所定時間帯の可視光画像を取得する可視光画像教師データ取得部と、
前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像とを教師データとして敵対的生成ネットワークで機械学習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの生成モデルを生成する可視光画像生成モデル学習部とを含み、
前記可視光画像生成モデル学習部は、さらに、敵対的生成ネットワークで機械学習することにより前記遠赤外線画像が前記第１の所定時間帯に撮影された遠赤外線画像であるか否かを識別する学習済みの識別モデルを生成することを特徴とする機械学習装置。

【請求項4】

前記可視光画像教師データ取得部は、可視光画像において所定対象物が認識できないように秘匿処理することを特徴とする請求項１から３のいずれかに記載の機械学習装置。

【請求項5】

遠赤外線画像を取得する遠赤外線画像取得部と、
前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線画像と第２の所定時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械学習された生成モデルに入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と、
前記取得された遠赤外線画像を、敵対的生成ネットワークで機械学習することにより生成された前記遠赤外線画像が前記第１の所定時間帯に撮影された遠赤外線画像であるか否かを識別する識別モデルに入力する遠赤外線画像識別部とを含み、
前記可視光画像生成部は、前記遠赤外線画像識別部により、前記遠赤外線画像が前記第１の所定時間帯に撮影された遠赤外線画像であると判定された場合、前記可視光画像を生成し、前記遠赤外線画像が前記第１の所定時間帯に撮影された遠赤外線画像でないと判定された場合、前記可視光画像を生成しないことを特徴とする画像処理装置。

【請求項6】

前記生成モデルの教師データである前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像は同一の構図であることを特徴とする請求項５に記載の画像処理装置。

【請求項7】

遠赤外線画像を取得する遠赤外線画像取得部と、
前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線画像と第２の所定時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械学習された生成モデルに入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と、
前記生成された可視光画像を教師データとして物体検出モデルを機械学習する物体検出モデル学習部と、
前記生成された可視光画像を、敵対的生成ネットワークで機械学習することにより生成された前記可視光画像が正常であるか否かを識別する識別モデルに入力する可視光画像識別部とを含み、
前記物体検出モデル学習部は、前記可視光画像識別部により、前記生成された可視光画像が正常であると判定された場合、前記生成された可視光画像を前記教師データとし、前記生成された可視光画像が正常でないと判定された場合、前記生成された可視光画像を前記教師データとしないことを特徴とする機械学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠赤外線画像を可視光画像に変換する技術に関する。

【背景技術】

【0002】

可視光カメラは霧や霞に弱く、夜は光源がないと人や動物を撮影することができない。一方、遠赤外線カメラは霧や霞に耐性があり、夜などの光源がない場所でも人や動物をぼんやりと撮影することができるが、人や動物を認識することが困難である。

【0003】

可視光がない夜間では、可視光カメラの代わりに赤外線カメラを用いて物体を撮影するが、遠赤外線画像にはカラー画像情報がないため、遠赤外線画像から人物など特定の物体を検出することは難しい。そこで人間の目でも容易に認識できるように遠赤外線画像を可視光画像に変換することが行われる。

【0004】

特許文献１には、生成器が赤外線画像の画素値から被写体の色を予測することによりカラー画像を生成し、制御部が予測に関連する色ごとの信頼度に基づいて候補色を決定する画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１２２９０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

赤外線画像を可視光画像に変換するためには、赤外線画像の画素値に対してカラー値を正確に指定することが必要であり、精度を上げるには限界があった。また、夜間の赤外線画像を昼間のカラー画像に変換することは難しい。

【0007】

本発明はこうした状況に鑑みてなされたものであり、その目的は、遠赤外線画像を高い精度で可視光画像に変換することのできる技術を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のある態様の機械学習装置は、第１の所定時間帯の遠赤外線画像を取得する遠赤外線画像教師データ取得部と、第２の所定時間帯の可視光画像を取得する可視光画像教師データ取得部と、前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像とを教師データとして敵対的生成ネットワークで機械学習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの生成モデルを生成する可視光画像生成モデル学習部とを含む。

【0009】

本発明の別の態様は、画像処理装置である。この装置は、遠赤外線画像を取得する遠赤外線画像取得部と、前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線画像と第２の所定時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械学習された生成モデルに入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と、前記取得された遠赤外線画像を、敵対的生成ネットワークで機械学習することにより生成された前記遠赤外線画像が前記第１の所定時間帯に撮影された遠赤外線画像であるか否かを識別する識別モデルに入力する遠赤外線画像識別部とを含む。前記可視光画像生成部は、前記遠赤外線画像識別部により、前記遠赤外線画像が前記第１の所定時間帯に撮影された遠赤外線画像であると判定された場合、前記可視光画像を生成し、前記遠赤外線画像が前記第１の所定時間帯に撮影された遠赤外線画像でないと判定された場合、前記可視光画像を生成しない。

【0010】

本発明のさらに別の態様は、機械学習装置である。この装置は、遠赤外線画像を取得する遠赤外線画像取得部と、前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線画像と第２の所定時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械学習された生成モデルに入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と、前記生成された可視光画像を教師データとして物体検出モデルを機械学習する物体検出モデル学習部と、前記生成された可視光画像を、敵対的生成ネットワークで機械学習することにより生成された前記可視光画像が正常であるか否かを識別する識別モデルに入力する可視光画像識別部とを含む。前記物体検出モデル学習部は、前記可視光画像識別部により、前記生成された可視光画像が正常であると判定された場合、前記生成された可視光画像を前記教師データとし、前記生成された可視光画像が正常でないと判定された場合、前記生成された可視光画像を前記教師データとしない。

【0011】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0012】

本発明によれば、遠赤外線画像を高い精度で可視光画像に変換することができる。

【図面の簡単な説明】

【0013】

【図1】実施の形態１に係る機械学習装置の構成図である。

【図2】実施の形態１に係る遠赤外線撮像装置の構成図である。

【図3】図３（ａ）および図３（ｂ）は、所定時間帯を説明する図である。

【図4】図１の機械学習装置によって、可視光画像生成ネットワークの生成モデルと、遠赤外線画像識別ネットワークの識別モデルを機械学習する手順を説明するフローチャートである。

【図5】図２の画像処理装置によって、可視光画像生成ネットワークの生成モデルと、遠赤外線画像識別ネットワークの識別モデルを用いて、遠赤外線画像を可視光画像に変換する手順を説明するフローチャートである。

【図6】図６（ａ）および図６（ｂ）は、分割された所定時間帯を説明する図である。

【図7】実施の形態４に係る機械学習装置の構成図である。

【図8】実施の形態４に係る遠赤外線撮像装置の構成図である。

【図9】図７の機械学習装置によって、遠赤外線画像を可視光画像に変換し、可視光画像を教師データとして用いて物体検出モデルを機械学習する手順を説明するフローチャートである。

【図10】図８の遠赤外線撮像装置によって、遠赤外線画像を可視光画像に変換し、可視光画像から物体検出する手順を説明するフローチャートである。

【発明を実施するための形態】

【0014】

（実施の形態１）
図１は、実施の形態１に係る機械学習装置２００の構成図である。機械学習装置２００は、教師データ記憶部１０、遠赤外線画像教師データ取得部２０、可視光画像教師データ取得部３０、可視光画像生成モデル学習部４０、および学習済みモデル記憶部５０を含む。

【0015】

可視光線の波長領域は３８０～７８０ｎｍ，遠赤外線の波長領域は８～１５μｍで、可視光線は人間が目で人や動物、ナンバープレートなどの対象物を詳細に確認できる。可視光カメラは逆光での撮影に弱く、霧や霞に弱く、夜は光源がないと対象物を撮影することができない課題がある。

【0016】

一方、遠赤外カメラは霧や霞に耐性があり、夜などの光源がない場所でも対象物をぼんやりと撮影することができる。ただし、遠赤外カメラには、対象物を詳細に撮影できないため、対象物を正確に認識することが困難であること、解像度が低いこと、歪みが大きい等の課題がある。

【0017】

ここでは、遠赤外線撮像装置で撮影した画像を遠赤外線画像、可視光撮像装置で撮影した画像を可視光画像とする。遠赤外線画像と可視光画像には相関性があることが知られている。

【0018】

教師データ記憶部１０には、あらゆる時間帯の大量の遠赤外線画像の教師データとあらゆる時間帯の大量の可視光画像の教師データが記憶されている。

【0019】

遠赤外線画像教師データ取得部２０は、教師データ記憶部１０から第１所定時間帯の遠赤外線画像を教師データとして取得し、可視光画像生成モデル学習部４０に供給する。可視光画像教師データ取得部３０は、教師データ記憶部１０から第２所定時間帯の可視光画像を教師データとして取得し、可視光画像生成モデル学習部４０に供給する。

【0020】

第１所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像は、撮影の時間帯が異なるため、一般には、画像の構図、すなわち撮影対象の人物や物体の配置は異なるが、一日の間に物体の配置が変わらないなどにより、第１所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像が画像の構図が同じになる組み合わせも存在する。一例として、第１所定時間帯は夜間であり、第２所定時間帯は昼間である。

【0021】

可視光画像生成モデル学習部４０は、第１所定時間帯の遠赤外線画像から第２所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成する。具体的には、第１所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像とを教師データとして、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークと、遠赤外線画像を入力すると入力された遠赤外線画像が第１所定時間帯の遠赤外線画像として本物か偽物かを識別する遠赤外線画像識別ネットワークとを敵対的生成ネットワーク（ＧＡＮ（Generative Adversarial Networks））で機械学習する。

【0022】

ＧＡＮによる学習の結果、可視光画像生成ネットワークの学習済みモデルである生成モデル６０と、遠赤外線画像識別ネットワークの学習済みモデルである識別モデル７０とが生成される。生成モデル６０は、第１所定時間帯の遠赤外線画像から第２所定時間帯の可視光画像を生成する可視光画像生成ネットワークの学習済みモデルであり、識別モデル７０は、遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデルである。可視光画像生成モデル学習部４０は、生成モデル６０と識別モデル７０を学習済みモデル記憶部５０に保存する。

【0023】

ここで、ＧＡＮについて説明する。ＧＡＮは機械学習の１つの様態である。ＧＡＮは、生成ネットワークと識別ネットワークとを敵対的に学習させて、互いの性能を向上させる機械学習である。学習の結果として、生成ネットワークの学習済みモデルと識別ネットワークの学習済みモデルを得ることができる。

【0024】

生成ネットワークは、ランダムノイズ等の入力信号を入力すると、学習した画像の特徴に基づいて新たな画像を生成するニューラルネットワークである。

【0025】

識別ネットワークは、画像を入力すると、入力された画像が本物の画像（言い換えれば、目標画像）であるか、偽物の画像（言い換えれば、生成ネットワークが生成した画像）であるかを識別するニューラルネットワークである。

【0026】

ＧＡＮの学習手法としてＰｉｘ２ＰｉｘとＣｙｃｌｅ ＧＡＮをそれぞれ説明する。

【0027】

Ｐｉｘ２Ｐｉｘは、入力画像データを入力すると生成画像データを生成する生成ネットワークと、入力された画像データが目標画像データ（すなわち本物）であるか生成ネットワークが生成した生成画像データ（すなわち偽物）であるかを識別する識別ネットワークとをそれぞれ１つずつ敵対的に学習させるＧＡＮである。Ｐｉｘ２Ｐｉｘでは、学習の結果、１セットの生成ネットワークと識別ネットワークの学習済みモデルを得ることができる。

【0028】

Ｐｉｘ２Ｐｉｘでは、グループＸに含まれる入力画像データとグループＹに含まれる目標画像データを１対１のペアとして学習して、グループＸからグループＹに変換する特徴（変換特性）を生成ネットワークに学習させる。

【0029】

Ｐｉｘ２Ｐｉｘでは、ペアである入力画像データと目標画像データは輪郭情報が一致している必要がある。これは、Ｐｉｘ２Ｐｉｘが輪郭の内部のテクスチャ情報を予測しているためである。

【0030】

変換特性を学習した生成ネットワークの学習済みモデルにグループＸの入力画像データを入力すると、生成ネットワークは、グループＹの特徴を有する生成画像データを生成する。

【0031】

ここで、生成ネットワークは、生成した生成画像データが本物であると識別ネットワークに識別させるように学習され、識別ネットワークは、生成ネットワークが生成した生成画像データが偽物であると識別できるようにお互いに敵対的に学習される。

【0032】

Ｃｙｃｌｅ ＧＡＮは、入力画像データを入力すると目標画像データを生成する生成ネットワークと、入力された画像データが目標画像データ（すなわち本物）であるか生成ネットワークが生成した生成画像データ（すなわち偽物）であるかを識別する識別ネットワークとをそれぞれ２つずつ敵対的に学習させるＧＡＮである。Ｃｙｃｌｅ ＧＡＮでは、学習の結果、２セットの生成ネットワークと識別ネットワークの学習済みモデルを得ることができる。

【0033】

Ｃｙｃｌｅ ＧＡＮでは、グループＸに含まれる入力画像データとグループＹに含まれる目標画像データをアンペアで学習して、グループＸからグループＹに変換する特徴（変換特性）を第１の生成ネットワークに学習させつつ、グループＹに含まれる入力画像データとグループＸに含まれる目標画像データをアンペアで学習して、グループＹからグループＸに変換する特徴（変換特性）を第２の生成ネットワークに学習させる。

【0034】

さらに、グループＸからグループＹへの変換特性を学習した第１の生成ネットワークに、グループＸの入力画像データを入力して、グループＹの特徴を有する生成画像データを生成する。この生成画像データを、グループＹからグループＸへの変換特性を学習した第２の生成ネットワークに入力し、その結果生成された生成画像データが、グループＸの入力画像データに戻るように学習させる。並行して、グループＹからグループＸへの変換特性を学習した第２の生成ネットワークに、グループＹの入力画像データを入力して、グループＸの特徴を有する生成画像データを生成する。この生成画像データを、グループＸからグループＹへの変換特性を学習した第１の生成ネットワークに入力し、その結果生成された生成画像データが、グループＹの入力画像データに戻るように学習させる。つまり、Ｃｙｃｌｅ ＧＡＮはグループＸとグループＹの相互変換性を加味して学習されており、グループＸとグループＹの相関が高いほど有効に変換できる。

【0035】

ここで、第１の識別ネットワークには、第１の生成ネットワークが生成した生成画像データとグループＹの画像データが入力されて、第１の識別ネットワークに入力された画像が本物（すなわちグループＹの画像データ）であるか偽物（すなわち第１の生成ネットワークが生成した生成画像データ）であるか識別できるように学習させる。

【0036】

また、第２の識別ネットワークには、第２の生成ネットワークが生成した生成画像データとグループＸの画像データが入力されて、第２の識別ネットワークに入力された画像が本物（すなわちグループＸの画像データ）であるか偽物（すなわち第２の生成ネットワークが生成した生成画像データ）であるか識別できるように学習させる。

【0037】

ここで、第１の生成ネットワークは生成した生成画像データが本物であると第１の識別ネットワークに識別させるように学習される。

【0038】

また、第２の生成ネットワークは生成した生成画像データが本物であると第２の識別ネットワークに識別させるように学習される。

【0039】

Ｃｙｃｌｅ ＧＡＮでは、入力画像データと目標画像データはアンペアであり、輪郭情報が一致している必要はない。これは、Ｃｙｃｌｅ ＧＡＮは輪郭を予測しながら輪郭の内部のテクスチャ情報を予測しているためである。

【0040】

変換特性を学習した第１の生成ネットワークの学習済みモデルにグループＸの入力画像データを入力すると、生成ネットワークは、グループＹの特徴を有する生成画像データを生成する。

【0041】

変換特性を学習した第２の生成ネットワークの学習済みモデルにグループＹの入力画像データを入力すると、生成ネットワークは、グループＸの特徴を有する生成画像データを生成する。

【0042】

以上のように、Ｐｉｘ２ＰｉｘやＣｙｃｌｅ ＧＡＮは、グループＸの画像からグループＹの特徴を有する画像を生成する生成ネットワークを学習させることができる。

【0043】

例えば、グループＸの画像を鞄のエッジ画像とし、グループＹの画像を鞄の写真画像とした場合、エッジ画像を入力すると写真画像を出力するような生成ネットワークを学習させることができる。

【0044】

実施の形態１では、ＧＡＮとしてＣｙｃｌｅ ＧＡＮが利用される。上述のＣｙｃｌｅ ＧＡＮの説明において、グループＸは遠赤外線画像であり、グループＹは可視光画像である。

【0045】

図２は、実施の形態１に係る遠赤外線撮像装置３００の構成図である。遠赤外線撮像装置３００は、学習済みモデル記憶部５０、画像処理装置１００、および画像表示部１１０を含む。画像処理装置１００は、遠赤外線画像取得部８０、遠赤外線画像識別部８５、および可視光画像生成部９０を含む。学習済みモデル記憶部５０は、図１の学習済みモデル記憶部５０の構成と同じであり、可視光画像生成モデル学習部４０により生成された可視光画像生成ネットワークの学習済みモデルである生成モデル６０と、遠赤外線画像識別ネットワークの学習済みモデルである識別モデル７０が格納されている。

【0046】

遠赤外線画像取得部８０は、遠赤外線撮像装置３００により撮影された遠赤外線画像を取得し、遠赤外線画像識別部８５に供給する。遠赤外線画像識別部８５は、遠赤外線画像取得部８０により取得された遠赤外線画像を、学習済みモデル記憶部５０から読み出した識別モデル７０に入力し、取得された遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像であるか否かを識別する。遠赤外線画像識別部８５は、取得された遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像である場合、可視光画像生成部９０に供給し、取得された遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像でない場合、可視光画像生成部９０に供給しない。

【0047】

可視光画像生成部９０は、遠赤外線画像識別部８５により供給された遠赤外線画像を、学習済みモデル記憶部５０から読み出した生成モデル６０に入力し、可視光画像を生成する。これにより、可視光画像生成部９０は、遠赤外線画像識別部８５により、遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像であると判定された場合、可視光画像を生成し、遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像でないと判定された場合、可視光画像を生成しない。

【0048】

ここで、生成モデル６０は、前述のように、第１所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械学習された可視光画像生成ネットワークの学習済みモデルであり、第１所定時間帯の遠赤外線画像から第２所定時間帯の可視光画像を生成する。

【0049】

画像表示部１１０は、可視光画像生成部９０により生成された可視光画像を表示する。画像表示部１１０は、遠赤外線画像取得部８０により取得された遠赤外線画像を表示してもよい。画像表示部１１０は、遠赤外線画像と可視光画像のどちらか一方を表示したり、遠赤外線画像と可視光画像の両方を表示したり、遠赤外線画像と可視光画像を合成して表示してもよい。

【0050】

以上述べたように、逆光、霧、霞、夜等の可視光カメラが対象物を撮影できない状況下で、対象物をぼんやりと撮影できる遠赤外線カメラで対象物の概要部分を捉え、ぼんやりと撮影された対象物を含む遠赤外線画像からＧＡＮで学習した可視光画像生成ネットワークを用いて対象物の詳細部分を生成することができる。このようにして、遠赤外線画像に対しても対象物を鮮明もしくは詳細に確認できる可視光画像を取得することができる。

【0051】

より具体的には、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの学習済みモデルである生成モデル６０を生成する。可視光カメラで対象物を鮮明もしくは詳細に撮影することができない時間帯（例えば夜間時間帯）の遠赤外線画像を生成モデル６０に入力することにより、可視光カメラで対象物を鮮明もしくは詳細に撮影することができない時間帯であっても、対象物を鮮明もしくは詳細に確認できる可視光画像を取得することができる。

【0052】

また、遠赤外線画像を入力すると入力された遠赤外線画像が第１所定時間帯の遠赤外線画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデルである識別モデル７０を生成する。識別モデル７０により第１所定時間帯の遠赤外線画像であると識別される高精度の遠赤外線画像を、可視光画像生成ネットワークの学習済みモデルである生成モデル６０に提供する。可視光画像生成ネットワークは、学習済みの遠赤外線画像と特徴量の確率密度分布が似た遠赤外線画像であれば、高精度に可視光画像に変換することができる。

【0053】

図３（ａ）および図３（ｂ）は、所定時間帯を説明する図である。第１所定時間帯は夜間時間帯であり、第２所定時間帯は昼間時間帯である。図３（ａ）に示すように、昼間時間帯は９時～１５時、夜間時間帯は２１時～翌日３時であってもよい。図３（ｂ）に示すように、昼間時間帯は６時～１８時、夜間時間帯は１８時～翌日６時であってもよい。

【0054】

可視光カメラは昼間時間帯では人などの対象物を鮮明に撮影することができるが、夜間時間帯では人などの対象物を鮮明に撮影することができない。一方、遠赤外カメラは夜間時間帯でも人などの対象物の詳細なテクスチャは撮影することは困難であるが、対象物の形状は鮮明に撮影することができる。

【0055】

そこで、第１所定時間帯は可視光カメラで対象物を鮮明に撮影することができる時間帯であり、第２所定時間帯は可視光カメラで対象物を鮮明に撮影することができない時間帯である。

【0056】

また、可視光カメラで撮影する可視光画像については、時間帯のみならず、季節や天気と場所等を合わせて限定することで、教師データとする可視光画像の品質を向上させることができる。例えば、３月の晴天の日に撮影した可視光画像や、所定のフロアで撮影した可視光画像とする。なお、可視光カメラで撮影する可視光画像については、時間帯、季節、天気、場所等の条件を可視光線の光量が所定範囲内になるように選択することが好ましい。

【0057】

一方、遠赤外線カメラで撮影する遠赤外線画像についても、同様に時間帯のみならず、季節や天気と場所等を合わせて限定することで、教師データとする遠赤外線画像の品質を向上させることができる。なお、遠赤外線カメラで撮影する遠赤外線画像については、時間帯、季節、天気、場所等の条件を気温が所定範囲内になるように選択することが好ましい。

【0058】

このように時間帯、季節、天気や場所を限定した可視光画像と遠赤外線画像を利用してＧＡＮで学習させることで、高精度な可視光画像生成ネットワークと遠赤外線画像識別ネットワークの学習済みモデルを生成することができる。

【0059】

図４は、図１の機械学習装置２００によって、可視光画像生成ネットワークの生成モデル６０と、遠赤外線画像識別ネットワークの識別モデル７０を機械学習する手順を説明するフローチャートである。ここでは、一例として、第１所定時間帯は夜間、第２所定時間帯は昼間であるとして説明する。

【0060】

遠赤外線画像教師データ取得部２０は、教師データ記憶部１０から夜間遠赤外線画像を取得する（Ｓ１０）。可視光画像教師データ取得部３０は、教師データ記憶部１０から昼間可視光画像を取得する（Ｓ２０）。

【0061】

可視光画像生成モデル学習部４０は、夜間遠赤外線画像と昼間可視光画像を教師データとしてＧＡＮで機械学習することにより、夜間遠赤外線画像から昼間可視光画像を生成する生成モデル６０を生成する（Ｓ３０）。

【0062】

可視光画像生成モデル学習部４０は、夜間遠赤外線画像と昼間可視光画像を教師データとしてＧＡＮで機械学習することにより、遠赤外線画像が夜間に撮影された遠赤外線画像であるか否かを識別する識別モデル７０を生成する（Ｓ４０）。ここでは、Ｓ３０の後にＳ４０が実行されるように図示しているが、一般的にＧＡＮではＳ３０とＳ４０は相互に繰り返して実行される。

【0063】

図５は、図２の遠赤外線撮像装置３００によって、可視光画像生成ネットワークの生成モデル６０と、遠赤外線画像識別ネットワークの識別モデル７０を用いて、遠赤外線画像を可視光画像に変換する手順を説明するフローチャートである。ここでは、一例として、第１所定時間帯は夜間、第２所定時間帯は昼間であるとして説明する。

【0064】

遠赤外線撮像装置３００により撮影された遠赤外線画像を入力する（Ｓ５０）。

【0065】

ＧＡＮで機械学習された識別モデル７０を用いて、入力された遠赤外線画像が夜間に撮影された遠赤外線画像であるか否かを識別する（Ｓ６０）。

【0066】

入力された遠赤外線画像が夜間に撮影された遠赤外線画像である場合（Ｓ７０のＹ）、ステップＳ８０に進み、入力された遠赤外線画像が夜間に撮影された遠赤外線画像でない場合（Ｓ７０のＮ）、終了する。

【0067】

夜間遠赤外線画像と昼間可視光画像を教師データとしてＧＡＮで機械学習された生成モデル６０を用いて、入力された遠赤外線画像を昼間可視光画像に変換する（Ｓ８０）。

【0068】

生成された昼間可視光画像を出力する（Ｓ９０）。出力された昼間可視光画像は物体検出などに用いられる。

【0069】

実施の形態１によれば、夜間遠赤外線画像と昼間可視光画像を教師データとして、遠赤外線画像から可視光画像を生成する可視光画像生成ネットワークをＧＡＮで学習し、遠赤外線画像をＧＡＮで学習した可視光画像生成ネットワークの生成モデルで可視光画像に変換することにより、昼夜問わす鮮明な画像を得ることができる。

【0070】

遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの学習済みモデルである生成モデル６０を遠赤外線撮像装置３００に搭載することで、時間帯を問わず常に可視光画像のように人や動物を認識することが可能な遠赤外線撮像装置３００を実現することができる。

【0071】

また、遠赤外線画像を入力すると入力された遠赤外線画像が第１所定時間帯の遠赤外線画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデルである識別モデル７０を遠赤外線撮像装置３００に搭載することで、生成モデル６０による可視光画像の生成精度を向上させることができる。

【0072】

（変形例１）
実施の形態１の機械学習装置２００とは、教師データと可視光画像生成モデル学習部４０の構成と動作が異なるので、相違点についてのみ説明する。変形例１では、第２所定時間帯の可視光画像の教師データは、第１所定時間帯の遠赤外線画像の教師データと同じ場所で同じ対象物を撮影した同一の構図の画像であり、第１所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像はペアをなす。そのため、可視光画像生成モデル学習部４０は、ＧＡＮの学習手法としてＰｉｘ２Ｐｉｘを利用する。

【0073】

可視光画像生成モデル学習部４０は、第１所定時間帯の遠赤外線画像の教師データと第２所定時間帯の可視光画像の教師データをペアにしてＰｉｘ２Ｐｉｘで機械学習させて、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの学習済みモデルである生成モデル６０を生成する。上述のＰｉｘ２Ｐｉｘの説明において、グループＸは遠赤外線画像であり、グループＹは可視光画像である。

【0074】

また、可視光画像生成モデル学習部４０は、入力された遠赤外線画像が第１所定時間帯の遠赤外線画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデルである識別モデル７０を生成する。上述のＰｉｘ２Ｐｉｘの説明において、グループＹは遠赤外線画像であり、グループＸは可視光画像である。

【0075】

同じ場所で同じ対象物を同一の構図となるように撮影した画像を大量に準備することができれば、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの生成モデル６０による可視光画像の生成精度を向上させることができる。

【0076】

（変形例２）
実施の形態１の機械学習装置２００とは、教師データと可視光画像生成モデル学習部４０の構成と動作が異なるので、相違点についてのみ説明する。変形例２では、可視光画像の教師データは、第１所定時間帯の遠赤外線画像の教師データと同じ場所で同じ対象物を同一の構図となるように同一時間帯に投光して撮影した可視光画像である。

【0077】

可視光画像生成モデル学習部４０は、第１所定時間帯の遠赤外線画像の教師データと第１所定時間帯において投光された可視光画像の教師データをペアにしてＧＡＮで機械学習し、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの学習済みモデルである生成モデル６０を生成する。

【0078】

ここで、ＧＡＮとしてＰｉｘ２Ｐｉｘを利用してもよい。Ｐｉｘ２Ｐｉｘを利用する場合、遠赤外線画像の教師データと可視光画像の教師データは可能な限り同一時刻であることが望ましい。これは、遠赤外線画像の教師データは投光直前に撮影し、可視光画像の教師データは投光直後に撮影することで実現することができる。上述のＰｉｘ２Ｐｉｘの説明において、グループＸは遠赤外線画像であり、グループＹは可視光画像である。

【0079】

ほぼ同一時刻で同じ場所で同じ対象物を同一の構図となるように撮影した画像を大量に準備することができれば、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの生成モデル６０による可視光画像の生成精度を向上させることができる。

【0080】

（実施の形態２）
実施の形態２では、第１所定時間帯および第２所定時間帯の少なくとも一方を複数の時間帯に分割し、可視光画像生成モデル学習部４０は、分割された時間帯毎に生成モデル６０および識別モデル７０を学習し、遠赤外線画像識別部８５および可視光画像生成部９０は、時間帯によって生成モデル６０および識別モデル７０を切り替えて利用する。

【0081】

図６（ａ）および図６（ｂ）は、分割された所定時間帯を説明する図である。第１所定時間帯は夜間時間帯であり、第２所定時間帯は昼間時間帯である。図６（ａ）に示すように、夜間時間帯を遠赤外線画像の特徴が異なる２つの時間帯に分割してもよい。遠赤外線画像識別部８５が取得された遠赤外線画像の撮影時間帯に合った識別モデル７０を切り替えて利用することで識別の精度を向上させることができる。

【0082】

図６（ｂ）に示すように、昼間時間帯を可視光画像の特徴が異なる３つの時間帯に分割し、夜間時間帯を遠赤外線画像の特徴が異なる２つの時間帯に分割してもよい。遠赤外線画像識別部８５、可視光画像生成部９０が撮影時間帯に合った識別モデル７０、生成モデル６０を切り替えて利用することで識別、生成の精度を向上させつつ、生成される可視光画像の多様化を図ることができる。

【0083】

また、時間帯は実施の形態１と同様であるが、季節、天気や場所毎に識別モデル７０と生成モデル６０を用意することで、遠赤外線画像識別部８５と可視光画像生成部９０の精度を向上させてもよい。

【0084】

（実施の形態３）
実施の形態３の機械学習装置２００は、可視光画像教師データ取得部３０の構成と動作が実施の形態１の機械学習装置２００とは異なり、それ以外の構成と動作は同じである。実施の形態１と共通する構成と動作については説明を適宜省略する。

【0085】

可視光カメラは晴れた昼間においては人やナンバープレートを鮮明に撮影することができるが、匿名化できていない人やナンバープレートが映りこんだ映像は個人情報保護の観点からは問題がある。そこで、実施の形態３の機械学習装置２００では、所定対象物が認識できないように秘匿処理された可視光画像を教師データとして用いる。

【0086】

機械学習装置２００の可視光画像教師データ取得部３０は、教師データ記憶部１０から取得した可視光画像において所定対象物が認識できないように秘匿処理し、所定対象物が認識できないように秘匿処理された可視光画像の教師データを可視光画像生成モデル学習部４０に供給する。

【0087】

可視光画像生成モデル学習部４０は、実施の形態１と同様に、第１所定時間帯の遠赤外線画像から第２所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成するが、教師データとして学習に使用される可視光画像は、所定対象物が認識できないように秘匿処理されている。そのため、学習の結果、生成される可視光画像生成ネットワークの生成モデル６０は、遠赤外線画像を所定対象物が認識できないように秘匿処理された可視光画像に変換するものとなる。夜間でも昼間でも個人情報保護され、肖像権保護された見やすい画像を得ることができる。

【0088】

画像処理装置１００において可視光画像生成部９０が生成モデル６０を用いて遠赤外線画像から可視光画像を生成すると、所定対象物が認識できないように秘匿処理された可視光画像になるため、生成された可視光画像において所定対象物を秘匿処理することは不要である。

【0089】

所定対象物は個人情報保護や肖像権保護の対象物であるとし、その一例として、人の顔を含む頭部、車やバイクなどのナンバープレートとする。ここでは、所定対象物を人の顔を含む頭部、車やバイクなどのナンバープレートとしたが、個人情報保護や肖像権保護の対象物であればよく、権利保護を強く作用させるために、所定対象物を人の全身や車やバイクの全体としてもよい。

【0090】

所定対象物の領域内の画素値を所定画素値（例えば、黒）で置換して、所定対象物が認識できないように秘匿処理する。ここでは、所定対象物の画素値を所定画素値で置換したが、所定対象物が認識できなければよく、例えば、コンピュータグラフィックス（ＣＧ）で描画された架空の人や車等で置換してもよい。また、画像毎に所定画素値を赤、青、緑などに変えてもよい。

【0091】

なお、所定対象物を認識できるか否かの判定は、例えば、所定対象物を認識できるように学習させた学習済みの物体認識モデルを利用して判定する。また別の方法として、所定対象物を認識できるか否かを人が目視で判定してもよい。

【0092】

（変形例１）
所定対象物が認識できないようにする秘匿処理の別の例として、所定対象物毎に各所定対象物を正確に識別できない所定サイズを定義し、すべての所定対象物が所定対象物毎に定義された所定サイズ以下である可視光画像のみを教師データとして利用するようにして秘匿処理を行ってもよい。

【0093】

（変形例２）
所定対象物が認識できないように秘匿処理の別の例として、所定対象物が所定対象物毎に定義された所定サイズ以上である場合に、所定対象物を所定画素値（例えば、黒）で置換して、所定対象物が認識できないように秘匿処理してもよい。

【0094】

実施の形態３およびその変形例では、遠赤外線画像と所定対象物が認識できないように秘匿処理された可視光画像とを教師データとしてＧＡＮで機械学習させて、遠赤外線画像を入力すると所定対象物が認識できないように秘匿処理された可視光画像を生成する可視光画像生成ネットワークの学習済みモデルを生成する。これにより、個人情報保護や肖像権保護を順守しながら、所定対象物を除いて見やすい可視光画像を生成することができる。

【0095】

また、ＧＡＮが生成する可視光画像は学習した画像の特徴から生成した疑似画像であるため、所定対象物を匿名化することが容易にできる。

【0096】

また、可視光画像生成ネットワークの学習済みモデルを事前に学習させておくことで、運用時には所定対象物の秘匿処理は不要である。

【0097】

（実施の形態４）
遠赤外線カメラは霧や霞に耐性があり、夜などの光源がない場所でも人や動物をぼんやりと撮影することができる。ただし、遠赤外線カメラには、人や動物などの物体の細部まで撮影できないこと、色情報がないことから、物体検出や物体認識の精度が低い。そこで、実施の形態４では、遠赤外線画像から可視光画像を生成する可視光画像生成ネットワークをＧＡＮで学習し、可視光画像生成ネットワークの生成モデルを用いて遠赤外線画像から生成した可視光画像において物体検出することで物体検出の精度を向上させる。

【0098】

図７は、実施の形態４に係る機械学習装置４００の構成図である。機械学習装置４００は、画像処理装置１００、教師データ記憶部１２０、物体検出モデル学習部１３０、および物体検出モデル記憶部１４０を含む。画像処理装置１００は、遠赤外線画像取得部８０、可視光画像生成部９０、および可視光画像識別部９５を含む。図７には図示しないが、本実施の形態では機械学習装置４００とは別にさらに図１の機械学習装置２００を含む。

【0099】

実施の形態４では、図１の可視光画像生成モデル学習部４０は、第１所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像とを教師データとして、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークと、可視光画像を入力すると入力された可視光画像が第２所定時間帯の可視光画像として本物か偽物かを識別する可視光画像識別ネットワークとをＧＡＮで機械学習する。

【0100】

ＧＡＮによる学習の結果、可視光画像生成ネットワークの学習済みモデルである生成モデル６０と、可視光画像識別ネットワークの学習済みモデルである識別モデル７５とが生成される。生成モデル６０は、第１所定時間帯の遠赤外線画像から第２所定時間帯の可視光画像を生成する可視光画像生成ネットワークの学習済みモデルであり、識別モデル７５は、可視光画像が第１所定時間帯に撮影された可視光画像として本物か偽物かを識別する可視光画像識別ネットワークの学習済みモデルである。可視光画像生成モデル学習部４０は、可視光画像生成ネットワークの学習済みモデルである生成モデル６０と、可視光画像識別ネットワークの学習済みモデルである識別モデル７５を学習済みモデル記憶部５０に保存する。可視光画像生成モデル学習部４０は、生成モデル６０を可視光画像生成部９０に供給する。また、可視光画像生成モデル学習部４０は、識別モデル７５を可視光画像識別部９５に供給する。

【0101】

遠赤外線画像取得部８０は、遠赤外線画像を取得し、可視光画像生成部９０に供給する。

【0102】

可視光画像生成部９０は、遠赤外線画像取得部８０により供給された遠赤外線画像を可視光画像生成ネットワークの学習済みモデルである生成モデルに入力して可視光画像を生成し、生成された可視光画像を可視光画像識別部９５に供給する。

【0103】

可視光画像識別部９５は、可視光画像生成部９０により供給された可視光画像を可視光画像識別ネットワークの学習済みモデルである識別モデルに入力し、入力された可視光画像が本物か偽物かを識別し、本物であると識別された可視光画像を教師データ記憶部１２０に保存し、偽物であると識別された可視光画像は教師データ記憶部１２０に保存しない。ここで、入力された可視光画像が本物であると識別された場合、入力された可視光画像は正常であると判定し、入力された可視光画像が偽物であると識別された場合、入力された可視光画像は正常でないと判定する。

【0104】

教師データ記憶部１２０は、入力された可視光画像について、可視光画像内の１以上のオブジェクトについてタグ（たとえばオブジェクト名）とバウンディングボックスの位置や大きさを指定して教師データとして蓄積する。例えば、各オブジェクトが１０００個蓄積されると教師データの生成は完了し、物体検出モデル学習部１３０に学習開始を指示する。ここでは、オブジェクトに付与するタグの一例として、人の顔、歩行者、車、自転車などがある。

【0105】

物体検出モデル学習部１３０は、教師データ記憶部１２０に十分な教師データが蓄積され、学習開始の指示を受けると、教師データ記憶部１２０に蓄積された教師データを用いて物体検出モデルを機械学習する。ここで、物体検出モデルは、一例として物体検出の代表的なモデルである畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））を利用したＹＯＬＯ（You Only Look Once）を利用する。物体検出モデル学習部１３０は、機械学習された物体検出モデルを物体検出モデル記憶部１４０に保存する。

【0106】

図８は、実施の形態４に係る遠赤外線撮像装置５００の構成図である。遠赤外線撮像装置５００は、画像処理装置１００、物体検出モデル記憶部１４０、物体検出部１５０、および画像表示部１６０を含む。画像処理装置１００は、図７の機械学習装置４００の画像処理装置１００と同様、遠赤外線画像取得部８０、可視光画像生成部９０、および可視光画像識別部９５を含む。物体検出モデル記憶部１４０は、図７の物体検出モデル記憶部１４０の構成と同じであり、物体検出モデル学習部１３０により学習された物体検出モデルが格納されている。

【0107】

遠赤外線画像取得部８０は、遠赤外線撮像装置５００により撮影された遠赤外線画像を取得し、可視光画像生成部９０に供給する。

【0108】

可視光画像生成部９０は、遠赤外線画像取得部８０により供給された遠赤外線画像を可視光画像生成ネットワークの学習済みモデルである生成モデルに入力して可視光画像を生成し、生成された可視光画像を可視光画像識別部９５に供給する。

【0109】

可視光画像識別部９５は、可視光画像生成部９０により供給された可視光画像を可視光画像識別ネットワークの学習済みモデルである識別モデルに入力し、入力された可視光画像が本物か偽物かを識別し、本物であると識別された可視光画像を物体検出部１５０に供給し、偽物であると識別された可視光画像は物体検出部１５０に供給しない。

【0110】

物体検出部１５０は、入力された可視光画像を物体検出モデル記憶部１４０に格納された物体検出モデルに入力することにより、可視光画像内のオブジェクトを検出する。入力された可視光画像と検出されたオブジェクト情報は画像表示部１６０に供給される。画像表示部１６０は、可視光画像とタグとバウンディングボックスを合成して画面上に表示する。

【0111】

以上述べたように、逆光、霧、霞、夜等の可視光カメラが対象物を撮影できない状況下で、対象物をぼんやりと撮影できる遠赤外線カメラで対象物の概要部分を捉え、ぼんやりと撮影された対象物を含む遠赤外線画像からＧＡＮで学習した可視光画像生成ネットワークを用いて対象物の詳細部分を生成することができる。これにより、遠赤外線画像に対しても、高精度に物体認識や物体検出することができる。

【0112】

図９は、図７の機械学習装置４００によって、遠赤外線画像を可視光画像に変換し、可視光画像を教師データとして用いて物体検出モデルを機械学習する手順を説明するフローチャートである。ここでは、一例として、第１所定時間帯は夜間、第２所定時間帯は昼間であるとして説明する。

【0113】

遠赤外線画像取得部８０は、遠赤外線画像を入力する（Ｓ１００）。

【0114】

可視光画像生成部９０は、夜間遠赤外線画像と昼間可視光画像を教師データとしてＧＡＮで機械学習された可視光画像生成ネットワークの生成モデルを用いて、入力された遠赤外線画像を昼間可視光画像に変換する（Ｓ１１０）。

【0115】

可視光画像識別部９５は、ＧＡＮで機械学習された可視光画像識別ネットワークの識別モデルを用いて、変換された昼間可視光画像が正常であるか否かを判定する（Ｓ１２０）。変換された昼間可視光画像が正常である場合（Ｓ１３０のＹ）、ステップＳ１４０に進み、変換された昼間可視光画像が正常でない場合（Ｓ１３０のＮ）、ステップＳ１００に戻る。

【0116】

可視光画像識別部９５は、正常と判定された昼間可視光画像を教師データとして教師データ記憶部１２０に蓄積する（Ｓ１４０）。

【0117】

物体検出モデル学習部１３０は、教師データとして蓄積された昼間可視光画像を用いて物体検出モデルを機械学習する（Ｓ１５０）。

【0118】

図１０は、図８の遠赤外線撮像装置５００によって、遠赤外線画像を可視光画像に変換し、可視光画像から物体検出する手順を説明するフローチャートである。

【0119】

遠赤外線画像取得部８０は、遠赤外線撮像装置５００によって撮影された遠赤外線画像を入力する（Ｓ２００）。

【0120】

可視光画像生成部９０は、夜間遠赤外線画像と昼間可視光画像を教師データとしてＧＡＮで機械学習された可視光画像生成ネットワークの生成モデルを用いて、入力された遠赤外線画像を昼間可視光画像に変換する（Ｓ２１０）。

【0121】

可視光画像識別部９５は、ＧＡＮで機械学習された可視光画像識別ネットワークの識別モデルを用いて、変換された昼間可視光画像が正常であるか否かを判定する（Ｓ２２０）。変換された昼間可視光画像が正常である場合（Ｓ２３０のＹ）、ステップＳ２４０に進み、変換された昼間可視光画像が正常でない場合（Ｓ２３０のＮ）、ステップＳ２００に戻る。

【0122】

物体検出部１５０は、物体検出モデルを用いて、正常と判定された昼間可視光画像から物体を検出する（Ｓ２４０）。画像表示部１６０は、昼間可視光画像において検出された物体を表示する（Ｓ２５０）。

【0123】

（変形例１）
実施の形態４では、画像処理装置１００に可視光画像識別部９５を設置したが、可視光画像識別部９５はなくてもよい。また、機械学習装置４００の画像処理装置１００にのみ可視光画像識別部９５を設置してもよく、遠赤外線撮像装置５００の画像処理装置１００にのみ可視光画像識別部９５を設置してもよい。

【0124】

（変形例２）
図８の遠赤外線撮像装置５００では、可視光画像識別部９５が本物であると識別した可視光画像のみから物体検出部１５０が物体検出するとしたが、可視光画像識別部９５が偽物であると識別した可視光画像からも物体検出部１５０が物体検出してもよい。この時、可視光画像識別部９５が偽物であると識別した場合の物体検出の信頼度の閾値Ｂを、可視光画像識別部９５が本物であると識別した場合の物体検出の信頼度の閾値Ａよりも高くする。つまり、可視光画像識別部９５が偽物であると識別した場合は物体検出の信頼度が閾値Ｂ（＞Ａ）よりも高くなければ、物体検出したものと見なさないようにすることで、適合率を高くしながら、再現率も高くすることができる。

【0125】

また、高再現率が要求される場合には、可視光画像識別部９５が偽物であると識別した場合の物体検出の信頼度の閾値Ｂと可視光画像識別部９５が本物であると識別した場合の物体検出の信頼度の閾値Ａの差を小さくし、高適合率が要求される場合には、可視光画像識別部９５が偽物であると識別した場合の物体検出の信頼度の閾値Ｂと可視光画像識別部９５が本物であると識別した場合の物体検出の信頼度の閾値Ａの差を大きくしてもよい。

【0126】

また、可視光画像識別部９５が本物である確率を出力する場合には、本物である確率が高くなるほど物体検出の信頼度の閾値を低くし、本物である確率が低くなるほど物体検出の信頼度の閾値を高くしてもよい。なお、物体検出の信頼度とは、ある領域内に検出対象のオブジェクトが含まれる確率の評価値である。

【0127】

実施の形態４によれば、対象物を正確に認識することが困難である遠赤外線画像から対象物を正確に認識することが容易である可視光画像を生成してから物体認識や物体検出をすることにより、遠赤外線画像に対しても、高精度に物体認識や物体検出することができる。

【0128】

また、識別ネットワークの学習済みモデルの識別結果に応じて物体検出ネットワークを学習することにより、物体検出ネットワークの精度を向上させるように学習させることができる。

【0129】

また、識別ネットワークの学習済みモデルの識別結果に応じて物体検出ネットワークにより推論することにより、物体検出ネットワークの精度を向上させることができる。また、識別ネットワークの学習済みモデルの識別確率に応じて物体検出の信頼度の閾値を変更ことにより、多様なアプリケーションへの対応を容易に行うことができる。

【0130】

また、可視光カメラが不要となり、遠赤外カメラのみで高精度に物体認識や物体検出することができるため、装置の小型化や軽量化に好適である。

【0131】

以上説明した画像処理装置１００、機械学習装置２００、遠赤外線撮像装置３００、機械学習装置４００、および遠赤外線撮像装置５００の各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。

【0132】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0133】

１０ 教師データ記憶部、 ２０ 遠赤外線画像教師データ取得部、 ３０ 可視光画像教師データ取得部、 ４０ 可視光画像生成モデル学習部、 ５０ 学習済みモデル記憶部、 ６０ 生成モデル、 ７０ 識別モデル、 ８０ 遠赤外線画像取得部、 ８５ 遠赤外線画像識別部、 ９０ 可視光画像生成部、 ９５ 可視光画像識別部、 １００ 画像処理装置、 １１０ 画像表示部、 １２０ 教師データ記憶部、 １３０ 物体検出モデル学習部、 １４０ 物体検出モデル記憶部、 １５０ 物体検出部、 １６０ 画像表示部、 ２００ 機械学習装置、 ３００ 遠赤外線撮像装置、 ４００ 機械学習装置、 ５００ 遠赤外線撮像装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】