ホーム > 特許ランキング > 株式会社ＪＶＣケンウッド
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138027
(43)【公開日】2024-10-07
(54)【発明の名称】機械学習装置及び画像処理装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240927BHJP
【ＦＩ】
G06T7/00 350C
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2024114622
(22)【出願日】2024-07-18
(62)【分割の表示】P 2020142708の分割
【原出願日】2020-08-26
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社ＪＶＣケンウッド
(72)【発明者】
【氏名】竹原 英樹
(72)【発明者】
【氏名】木田 晋吾
(72)【発明者】
【氏名】楊 尹誠
(57)【要約】
【課題】遠赤外線画像を高い精度で可視光画像に変換することが求められている。
【解決手段】遠赤外線画像教師データ取得部２０は、第１の所定時間帯の遠赤外線画像を
取得する。可視光画像教師データ取得部３０は、第２の所定時間帯の可視光画像を取得す
る。可視光画像生成モデル学習部４０は、第１の所定時間帯の遠赤外線画像と第２の所定
時間帯の可視光画像とを教師データとして敵対的生成ネットワークで機械学習し、第１の
所定時間帯の遠赤外線画像から第２の所定時間帯の可視光画像を生成する学習済みの生成
モデル６０を生成する。可視光画像生成モデル学習部４０は、さらに、敵対的生成ネット
ワークで機械学習することにより遠赤外線画像が第１の所定時間帯に撮影された遠赤外線
画像であるか否かを識別する学習済みの識別モデル７０を生成する。
【選択図】図１
【解決手段】遠赤外線画像教師データ取得部２０は、第１の所定時間帯の遠赤外線画像を
取得する。可視光画像教師データ取得部３０は、第２の所定時間帯の可視光画像を取得す
る。可視光画像生成モデル学習部４０は、第１の所定時間帯の遠赤外線画像と第２の所定
時間帯の可視光画像とを教師データとして敵対的生成ネットワークで機械学習し、第１の
所定時間帯の遠赤外線画像から第２の所定時間帯の可視光画像を生成する学習済みの生成
モデル６０を生成する。可視光画像生成モデル学習部４０は、さらに、敵対的生成ネット
ワークで機械学習することにより遠赤外線画像が第１の所定時間帯に撮影された遠赤外線
画像であるか否かを識別する学習済みの識別モデル７０を生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
赤外線画像を取得する赤外線画像取得部と、
第１の所定時間帯の赤外線画像と第２の所定時間帯の可視光画像を教師データとして機械学習された生成モデルに前記赤外線画像を入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と、を備え、
前記第１の所定時間帯は夜間であり、前記第２の所定時間帯は昼間であることを特徴とする画像処理装置。
第１の所定時間帯の赤外線画像と第２の所定時間帯の可視光画像を教師データとして機械学習された生成モデルに前記赤外線画像を入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と、を備え、
前記第１の所定時間帯は夜間であり、前記第２の所定時間帯は昼間であることを特徴とする画像処理装置。
【請求項2】
赤外線画像を取得する赤外線画像取得部と、
第１の所定時間帯の赤外線画像と第２の所定時間帯の可視光画像を教師データとして機械学習された生成モデルに前記赤外線画像を入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と、
前記赤外線画像が前記第１の所定時間帯に撮影された赤外線画像であるか否かを識別する赤外線画像識別部とを備え、
前記可視光画像生成部は、前記赤外線画像識別部により、前記赤外線画像が前記第１の所定時間帯に撮影された赤外線画像であると識別された場合、前記可視光画像を生成する画像処理装置。
第１の所定時間帯の赤外線画像と第２の所定時間帯の可視光画像を教師データとして機械学習された生成モデルに前記赤外線画像を入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と、
前記赤外線画像が前記第１の所定時間帯に撮影された赤外線画像であるか否かを識別する赤外線画像識別部とを備え、
前記可視光画像生成部は、前記赤外線画像識別部により、前記赤外線画像が前記第１の所定時間帯に撮影された赤外線画像であると識別された場合、前記可視光画像を生成する画像処理装置。
【請求項3】
赤外線画像を取得する赤外線画像取得ステップと、
第１の所定時間帯の赤外線画像と第２の所定時間帯の可視光画像を教師データとして機械学習された生成モデルに前記赤外線画像を入力して第２の所定時間帯の可視光画像を生成する可視光画像生成ステップと、を有し、
前記第１の所定時間帯は夜間であり、前記第２の所定時間帯は昼間であることを特徴とする画像処理方法。
第１の所定時間帯の赤外線画像と第２の所定時間帯の可視光画像を教師データとして機械学習された生成モデルに前記赤外線画像を入力して第２の所定時間帯の可視光画像を生成する可視光画像生成ステップと、を有し、
前記第１の所定時間帯は夜間であり、前記第２の所定時間帯は昼間であることを特徴とする画像処理方法。
【請求項4】
赤外線画像を取得する赤外線画像取得ステップと、
第１の所定時間帯の赤外線画像と第２の所定時間帯の可視光画像を教師データとして機械学習された生成モデルに前記赤外線画像を入力して第２の所定時間帯の可視光画像を生成する可視光画像生成ステップと、をコンピュータに実行させ、
前記第１の所定時間帯は夜間であり、前記第２の所定時間帯は昼間であることを特徴とする画像処理プログラム。
第１の所定時間帯の赤外線画像と第２の所定時間帯の可視光画像を教師データとして機械学習された生成モデルに前記赤外線画像を入力して第２の所定時間帯の可視光画像を生成する可視光画像生成ステップと、をコンピュータに実行させ、
前記第１の所定時間帯は夜間であり、前記第２の所定時間帯は昼間であることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠赤外線画像を可視光画像に変換する技術に関する。
【背景技術】
【0002】
可視光カメラは霧や霞に弱く、夜は光源がないと人や動物を撮影することができない。
一方、遠赤外線カメラは霧や霞に耐性があり、夜などの光源がない場所でも人や動物をぼ
んやりと撮影することができるが、人や動物を認識することが困難である。
一方、遠赤外線カメラは霧や霞に耐性があり、夜などの光源がない場所でも人や動物をぼ
んやりと撮影することができるが、人や動物を認識することが困難である。
【0003】
可視光がない夜間では、可視光カメラの代わりに赤外線カメラを用いて物体を撮影する
が、遠赤外線画像にはカラー画像情報がないため、遠赤外線画像から人物など特定の物体
を検出することは難しい。そこで人間の目でも容易に認識できるように遠赤外線画像を可
視光画像に変換することが行われる。
が、遠赤外線画像にはカラー画像情報がないため、遠赤外線画像から人物など特定の物体
を検出することは難しい。そこで人間の目でも容易に認識できるように遠赤外線画像を可
視光画像に変換することが行われる。
【0004】
特許文献１には、生成器が赤外線画像の画素値から被写体の色を予測することによりカ
ラー画像を生成し、制御部が予測に関連する色ごとの信頼度に基づいて候補色を決定する
画像処理装置が開示されている。
ラー画像を生成し、制御部が予測に関連する色ごとの信頼度に基づいて候補色を決定する
画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１６－１２２９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
赤外線画像を可視光画像に変換するためには、赤外線画像の画素値に対してカラー値を
正確に指定することが必要であり、精度を上げるには限界があった。また、夜間の赤外線
画像を昼間のカラー画像に変換することは難しい。
正確に指定することが必要であり、精度を上げるには限界があった。また、夜間の赤外線
画像を昼間のカラー画像に変換することは難しい。
【0007】
本発明はこうした状況に鑑みてなされたものであり、その目的は、遠赤外線画像を高い
精度で可視光画像に変換することのできる技術を提供することにある。
精度で可視光画像に変換することのできる技術を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある態様の機械学習装置は、第１の所定時間帯の
遠赤外線画像を取得する遠赤外線画像教師データ取得部と、第２の所定時間帯の可視光画
像を取得する可視光画像教師データ取得部と、前記第１の所定時間帯の遠赤外線画像と前
記第２の所定時間帯の可視光画像とを教師データとして敵対的生成ネットワークで機械学
習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生
成する学習済みの生成モデルを生成する可視光画像生成モデル学習部とを含む。
遠赤外線画像を取得する遠赤外線画像教師データ取得部と、第２の所定時間帯の可視光画
像を取得する可視光画像教師データ取得部と、前記第１の所定時間帯の遠赤外線画像と前
記第２の所定時間帯の可視光画像とを教師データとして敵対的生成ネットワークで機械学
習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生
成する学習済みの生成モデルを生成する可視光画像生成モデル学習部とを含む。
【0009】
本発明の別の態様は、画像処理装置である。この装置は、遠赤外線画像を取得する遠赤
外線画像取得部と、前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線画像と
第２の所定時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械学習さ
れた生成モデルに入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と
、前記取得された遠赤外線画像を、敵対的生成ネットワークで機械学習することにより生
成された前記遠赤外線画像が前記第１の所定時間帯に撮影された遠赤外線画像であるか否
かを識別する識別モデルに入力する遠赤外線画像識別部とを含む。前記可視光画像生成部
は、前記遠赤外線画像識別部により、前記遠赤外線画像が前記第１の所定時間帯に撮影さ
れた遠赤外線画像であると判定された場合、前記可視光画像を生成し、前記遠赤外線画像
が前記第１の所定時間帯に撮影された遠赤外線画像でないと判定された場合、前記可視光
画像を生成しない。
外線画像取得部と、前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線画像と
第２の所定時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械学習さ
れた生成モデルに入力して第２の所定時間帯の可視光画像を生成する可視光画像生成部と
、前記取得された遠赤外線画像を、敵対的生成ネットワークで機械学習することにより生
成された前記遠赤外線画像が前記第１の所定時間帯に撮影された遠赤外線画像であるか否
かを識別する識別モデルに入力する遠赤外線画像識別部とを含む。前記可視光画像生成部
は、前記遠赤外線画像識別部により、前記遠赤外線画像が前記第１の所定時間帯に撮影さ
れた遠赤外線画像であると判定された場合、前記可視光画像を生成し、前記遠赤外線画像
が前記第１の所定時間帯に撮影された遠赤外線画像でないと判定された場合、前記可視光
画像を生成しない。
【0010】
本発明のさらに別の態様は、機械学習装置である。この装置は、遠赤外線画像を取得す
る遠赤外線画像取得部と、前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線
画像と第２の所定時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械
学習された生成モデルに入力して第２の所定時間帯の可視光画像を生成する可視光画像生
成部と、前記生成された可視光画像を教師データとして物体検出モデルを機械学習する物
体検出モデル学習部と、前記生成された可視光画像を、敵対的生成ネットワークで機械学
習することにより生成された前記可視光画像が正常であるか否かを識別する識別モデルに
入力する可視光画像識別部とを含む。前記物体検出モデル学習部は、前記可視光画像識別
部により、前記生成された可視光画像が正常であると判定された場合、前記生成された可
視光画像を前記教師データとし、前記生成された可視光画像が正常でないと判定された場
合、前記生成された可視光画像を前記教師データとしない。
る遠赤外線画像取得部と、前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線
画像と第２の所定時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械
学習された生成モデルに入力して第２の所定時間帯の可視光画像を生成する可視光画像生
成部と、前記生成された可視光画像を教師データとして物体検出モデルを機械学習する物
体検出モデル学習部と、前記生成された可視光画像を、敵対的生成ネットワークで機械学
習することにより生成された前記可視光画像が正常であるか否かを識別する識別モデルに
入力する可視光画像識別部とを含む。前記物体検出モデル学習部は、前記可視光画像識別
部により、前記生成された可視光画像が正常であると判定された場合、前記生成された可
視光画像を前記教師データとし、前記生成された可視光画像が正常でないと判定された場
合、前記生成された可視光画像を前記教師データとしない。
【0011】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒
体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効で
ある。
体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効で
ある。
【発明の効果】
【0012】
本発明によれば、遠赤外線画像を高い精度で可視光画像に変換することができる。
【図面の簡単な説明】
【0013】
【図1】実施の形態１に係る機械学習装置の構成図である。
【図2】実施の形態１に係る遠赤外線撮像装置の構成図である。
【図7】実施の形態４に係る機械学習装置の構成図である。
【図8】実施の形態４に係る遠赤外線撮像装置の構成図である。
【発明を実施するための形態】
【0014】
（実施の形態１）
図１は、実施の形態１に係る機械学習装置２００の構成図である。機械学習装置２００
は、教師データ記憶部１０、遠赤外線画像教師データ取得部２０、可視光画像教師データ
取得部３０、可視光画像生成モデル学習部４０、および学習済みモデル記憶部５０を含む
。
図１は、実施の形態１に係る機械学習装置２００の構成図である。機械学習装置２００
は、教師データ記憶部１０、遠赤外線画像教師データ取得部２０、可視光画像教師データ
取得部３０、可視光画像生成モデル学習部４０、および学習済みモデル記憶部５０を含む
。
【0015】
可視光線の波長領域は３８０～７８０ｎｍ，遠赤外線の波長領域は８～１５μｍで、可
視光線は人間が目で人や動物、ナンバープレートなどの対象物を詳細に確認できる。可視
光カメラは逆光での撮影に弱く、霧や霞に弱く、夜は光源がないと対象物を撮影すること
ができない課題がある。
視光線は人間が目で人や動物、ナンバープレートなどの対象物を詳細に確認できる。可視
光カメラは逆光での撮影に弱く、霧や霞に弱く、夜は光源がないと対象物を撮影すること
ができない課題がある。
【0016】
一方、遠赤外カメラは霧や霞に耐性があり、夜などの光源がない場所でも対象物をぼん
やりと撮影することができる。ただし、遠赤外カメラには、対象物を詳細に撮影できない
ため、対象物を正確に認識することが困難であること、解像度が低いこと、歪みが大きい
等の課題がある。
やりと撮影することができる。ただし、遠赤外カメラには、対象物を詳細に撮影できない
ため、対象物を正確に認識することが困難であること、解像度が低いこと、歪みが大きい
等の課題がある。
【0017】
ここでは、遠赤外線撮像装置で撮影した画像を遠赤外線画像、可視光撮像装置で撮影し
た画像を可視光画像とする。遠赤外線画像と可視光画像には相関性があることが知られて
いる。
た画像を可視光画像とする。遠赤外線画像と可視光画像には相関性があることが知られて
いる。
【0018】
教師データ記憶部１０には、あらゆる時間帯の大量の遠赤外線画像の教師データとあら
ゆる時間帯の大量の可視光画像の教師データが記憶されている。
ゆる時間帯の大量の可視光画像の教師データが記憶されている。
【0019】
遠赤外線画像教師データ取得部２０は、教師データ記憶部１０から第１所定時間帯の遠
赤外線画像を教師データとして取得し、可視光画像生成モデル学習部４０に供給する。可
視光画像教師データ取得部３０は、教師データ記憶部１０から第２所定時間帯の可視光画
像を教師データとして取得し、可視光画像生成モデル学習部４０に供給する。
赤外線画像を教師データとして取得し、可視光画像生成モデル学習部４０に供給する。可
視光画像教師データ取得部３０は、教師データ記憶部１０から第２所定時間帯の可視光画
像を教師データとして取得し、可視光画像生成モデル学習部４０に供給する。
【0020】
第１所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像は、撮影の時間帯が異な
るため、一般には、画像の構図、すなわち撮影対象の人物や物体の配置は異なるが、一日
の間に物体の配置が変わらないなどにより、第１所定時間帯の遠赤外線画像と第２所定時
間帯の可視光画像が画像の構図が同じになる組み合わせも存在する。一例として、第１所
定時間帯は夜間であり、第２所定時間帯は昼間である。
るため、一般には、画像の構図、すなわち撮影対象の人物や物体の配置は異なるが、一日
の間に物体の配置が変わらないなどにより、第１所定時間帯の遠赤外線画像と第２所定時
間帯の可視光画像が画像の構図が同じになる組み合わせも存在する。一例として、第１所
定時間帯は夜間であり、第２所定時間帯は昼間である。
【0021】
可視光画像生成モデル学習部４０は、第１所定時間帯の遠赤外線画像から第２所定時間
帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成する。具体的には、第
１所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像とを教師データとして、遠赤
外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークと、遠赤外線画
像を入力すると入力された遠赤外線画像が第１所定時間帯の遠赤外線画像として本物か偽
物かを識別する遠赤外線画像識別ネットワークとを敵対的生成ネットワーク（ＧＡＮ（Ge
nerative Adversarial Networks））で機械学習する。
帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成する。具体的には、第
１所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像とを教師データとして、遠赤
外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークと、遠赤外線画
像を入力すると入力された遠赤外線画像が第１所定時間帯の遠赤外線画像として本物か偽
物かを識別する遠赤外線画像識別ネットワークとを敵対的生成ネットワーク（ＧＡＮ（Ge
nerative Adversarial Networks））で機械学習する。
【0022】
ＧＡＮによる学習の結果、可視光画像生成ネットワークの学習済みモデルである生成モ
デル６０と、遠赤外線画像識別ネットワークの学習済みモデルである識別モデル７０とが
生成される。生成モデル６０は、第１所定時間帯の遠赤外線画像から第２所定時間帯の可
視光画像を生成する可視光画像生成ネットワークの学習済みモデルであり、識別モデル７
０は、遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像であるか否かを識別する
遠赤外線画像識別ネットワークの学習済みモデルである。可視光画像生成モデル学習部４
０は、生成モデル６０と識別モデル７０を学習済みモデル記憶部５０に保存する。
デル６０と、遠赤外線画像識別ネットワークの学習済みモデルである識別モデル７０とが
生成される。生成モデル６０は、第１所定時間帯の遠赤外線画像から第２所定時間帯の可
視光画像を生成する可視光画像生成ネットワークの学習済みモデルであり、識別モデル７
０は、遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像であるか否かを識別する
遠赤外線画像識別ネットワークの学習済みモデルである。可視光画像生成モデル学習部４
０は、生成モデル６０と識別モデル７０を学習済みモデル記憶部５０に保存する。
【0023】
ここで、ＧＡＮについて説明する。ＧＡＮは機械学習の１つの様態である。ＧＡＮは、
生成ネットワークと識別ネットワークとを敵対的に学習させて、互いの性能を向上させる
機械学習である。学習の結果として、生成ネットワークの学習済みモデルと識別ネットワ
ークの学習済みモデルを得ることができる。
生成ネットワークと識別ネットワークとを敵対的に学習させて、互いの性能を向上させる
機械学習である。学習の結果として、生成ネットワークの学習済みモデルと識別ネットワ
ークの学習済みモデルを得ることができる。
【0024】
生成ネットワークは、ランダムノイズ等の入力信号を入力すると、学習した画像の特徴
に基づいて新たな画像を生成するニューラルネットワークである。
に基づいて新たな画像を生成するニューラルネットワークである。
【0025】
識別ネットワークは、画像を入力すると、入力された画像が本物の画像（言い換えれば
、目標画像）であるか、偽物の画像（言い換えれば、生成ネットワークが生成した画像）
であるかを識別するニューラルネットワークである。
、目標画像）であるか、偽物の画像（言い換えれば、生成ネットワークが生成した画像）
であるかを識別するニューラルネットワークである。
【0026】
ＧＡＮの学習手法としてＰｉｘ２ＰｉｘとＣｙｃｌｅ ＧＡＮをそれぞれ説明する。
【0027】
Ｐｉｘ２Ｐｉｘは、入力画像データを入力すると生成画像データを生成する生成ネット
ワークと、入力された画像データが目標画像データ（すなわち本物）であるか生成ネット
ワークが生成した生成画像データ（すなわち偽物）であるかを識別する識別ネットワーク
とをそれぞれ１つずつ敵対的に学習させるＧＡＮである。Ｐｉｘ２Ｐｉｘでは、学習の結
果、１セットの生成ネットワークと識別ネットワークの学習済みモデルを得ることができ
る。
ワークと、入力された画像データが目標画像データ（すなわち本物）であるか生成ネット
ワークが生成した生成画像データ（すなわち偽物）であるかを識別する識別ネットワーク
とをそれぞれ１つずつ敵対的に学習させるＧＡＮである。Ｐｉｘ２Ｐｉｘでは、学習の結
果、１セットの生成ネットワークと識別ネットワークの学習済みモデルを得ることができ
る。
【0028】
Ｐｉｘ２Ｐｉｘでは、グループＸに含まれる入力画像データとグループＹに含まれる目
標画像データを１対１のペアとして学習して、グループＸからグループＹに変換する特徴
（変換特性）を生成ネットワークに学習させる。
標画像データを１対１のペアとして学習して、グループＸからグループＹに変換する特徴
（変換特性）を生成ネットワークに学習させる。
【0029】
Ｐｉｘ２Ｐｉｘでは、ペアである入力画像データと目標画像データは輪郭情報が一致し
ている必要がある。これは、Ｐｉｘ２Ｐｉｘが輪郭の内部のテクスチャ情報を予測してい
るためである。
ている必要がある。これは、Ｐｉｘ２Ｐｉｘが輪郭の内部のテクスチャ情報を予測してい
るためである。
【0030】
変換特性を学習した生成ネットワークの学習済みモデルにグループＸの入力画像データ
を入力すると、生成ネットワークは、グループＹの特徴を有する生成画像データを生成す
る。
を入力すると、生成ネットワークは、グループＹの特徴を有する生成画像データを生成す
る。
【0031】
ここで、生成ネットワークは、生成した生成画像データが本物であると識別ネットワー
クに識別させるように学習され、識別ネットワークは、生成ネットワークが生成した生成
画像データが偽物であると識別できるようにお互いに敵対的に学習される。
クに識別させるように学習され、識別ネットワークは、生成ネットワークが生成した生成
画像データが偽物であると識別できるようにお互いに敵対的に学習される。
【0032】
Ｃｙｃｌｅ ＧＡＮは、入力画像データを入力すると目標画像データを生成する生成ネ
ットワークと、入力された画像データが目標画像データ（すなわち本物）であるか生成ネ
ットワークが生成した生成画像データ（すなわち偽物）であるかを識別する識別ネットワ
ークとをそれぞれ２つずつ敵対的に学習させるＧＡＮである。Ｃｙｃｌｅ ＧＡＮでは、
学習の結果、２セットの生成ネットワークと識別ネットワークの学習済みモデルを得るこ
とができる。
ットワークと、入力された画像データが目標画像データ（すなわち本物）であるか生成ネ
ットワークが生成した生成画像データ（すなわち偽物）であるかを識別する識別ネットワ
ークとをそれぞれ２つずつ敵対的に学習させるＧＡＮである。Ｃｙｃｌｅ ＧＡＮでは、
学習の結果、２セットの生成ネットワークと識別ネットワークの学習済みモデルを得るこ
とができる。
【0033】
Ｃｙｃｌｅ ＧＡＮでは、グループＸに含まれる入力画像データとグループＹに含まれ
る目標画像データをアンペアで学習して、グループＸからグループＹに変換する特徴（変
換特性）を第１の生成ネットワークに学習させつつ、グループＹに含まれる入力画像デー
タとグループＸに含まれる目標画像データをアンペアで学習して、グループＹからグルー
プＸに変換する特徴（変換特性）を第２の生成ネットワークに学習させる。
る目標画像データをアンペアで学習して、グループＸからグループＹに変換する特徴（変
換特性）を第１の生成ネットワークに学習させつつ、グループＹに含まれる入力画像デー
タとグループＸに含まれる目標画像データをアンペアで学習して、グループＹからグルー
プＸに変換する特徴（変換特性）を第２の生成ネットワークに学習させる。
【0034】
さらに、グループＸからグループＹへの変換特性を学習した第１の生成ネットワークに
、グループＸの入力画像データを入力して、グループＹの特徴を有する生成画像データを
生成する。この生成画像データを、グループＹからグループＸへの変換特性を学習した第
２の生成ネットワークに入力し、その結果生成された生成画像データが、グループＸの入
力画像データに戻るように学習させる。並行して、グループＹからグループＸへの変換特
性を学習した第２の生成ネットワークに、グループＹの入力画像データを入力して、グル
ープＸの特徴を有する生成画像データを生成する。この生成画像データを、グループＸか
らグループＹへの変換特性を学習した第１の生成ネットワークに入力し、その結果生成さ
れた生成画像データが、グループＹの入力画像データに戻るように学習させる。つまり、
Ｃｙｃｌｅ ＧＡＮはグループＸとグループＹの相互変換性を加味して学習されており、
グループＸとグループＹの相関が高いほど有効に変換できる。
、グループＸの入力画像データを入力して、グループＹの特徴を有する生成画像データを
生成する。この生成画像データを、グループＹからグループＸへの変換特性を学習した第
２の生成ネットワークに入力し、その結果生成された生成画像データが、グループＸの入
力画像データに戻るように学習させる。並行して、グループＹからグループＸへの変換特
性を学習した第２の生成ネットワークに、グループＹの入力画像データを入力して、グル
ープＸの特徴を有する生成画像データを生成する。この生成画像データを、グループＸか
らグループＹへの変換特性を学習した第１の生成ネットワークに入力し、その結果生成さ
れた生成画像データが、グループＹの入力画像データに戻るように学習させる。つまり、
Ｃｙｃｌｅ ＧＡＮはグループＸとグループＹの相互変換性を加味して学習されており、
グループＸとグループＹの相関が高いほど有効に変換できる。
【0035】
ここで、第１の識別ネットワークには、第１の生成ネットワークが生成した生成画像デ
ータとグループＹの画像データが入力されて、第１の識別ネットワークに入力された画像
が本物（すなわちグループＹの画像データ）であるか偽物（すなわち第１の生成ネットワ
ークが生成した生成画像データ）であるか識別できるように学習させる。
ータとグループＹの画像データが入力されて、第１の識別ネットワークに入力された画像
が本物（すなわちグループＹの画像データ）であるか偽物（すなわち第１の生成ネットワ
ークが生成した生成画像データ）であるか識別できるように学習させる。
【0036】
また、第２の識別ネットワークには、第２の生成ネットワークが生成した生成画像デー
タとグループＸの画像データが入力されて、第２の識別ネットワークに入力された画像が
本物（すなわちグループＸの画像データ）であるか偽物（すなわち第２の生成ネットワー
クが生成した生成画像データ）であるか識別できるように学習させる。
タとグループＸの画像データが入力されて、第２の識別ネットワークに入力された画像が
本物（すなわちグループＸの画像データ）であるか偽物（すなわち第２の生成ネットワー
クが生成した生成画像データ）であるか識別できるように学習させる。
【0037】
ここで、第１の生成ネットワークは生成した生成画像データが本物であると第１の識別
ネットワークに識別させるように学習される。
ネットワークに識別させるように学習される。
【0038】
また、第２の生成ネットワークは生成した生成画像データが本物であると第２の識別ネ
ットワークに識別させるように学習される。
ットワークに識別させるように学習される。
【0039】
Ｃｙｃｌｅ ＧＡＮでは、入力画像データと目標画像データはアンペアであり、輪郭情
報が一致している必要はない。これは、Ｃｙｃｌｅ ＧＡＮは輪郭を予測しながら輪郭の
内部のテクスチャ情報を予測しているためである。
報が一致している必要はない。これは、Ｃｙｃｌｅ ＧＡＮは輪郭を予測しながら輪郭の
内部のテクスチャ情報を予測しているためである。
【0040】
変換特性を学習した第１の生成ネットワークの学習済みモデルにグループＸの入力画像
データを入力すると、生成ネットワークは、グループＹの特徴を有する生成画像データを
生成する。
データを入力すると、生成ネットワークは、グループＹの特徴を有する生成画像データを
生成する。
【0041】
変換特性を学習した第２の生成ネットワークの学習済みモデルにグループＹの入力画像
データを入力すると、生成ネットワークは、グループＸの特徴を有する生成画像データを
生成する。
データを入力すると、生成ネットワークは、グループＸの特徴を有する生成画像データを
生成する。
【0042】
以上のように、Ｐｉｘ２ＰｉｘやＣｙｃｌｅ ＧＡＮは、グループＸの画像からグルー
プＹの特徴を有する画像を生成する生成ネットワークを学習させることができる。
プＹの特徴を有する画像を生成する生成ネットワークを学習させることができる。
【0043】
例えば、グループＸの画像を鞄のエッジ画像とし、グループＹの画像を鞄の写真画像と
した場合、エッジ画像を入力すると写真画像を出力するような生成ネットワークを学習さ
せることができる。
した場合、エッジ画像を入力すると写真画像を出力するような生成ネットワークを学習さ
せることができる。
【0044】
実施の形態１では、ＧＡＮとしてＣｙｃｌｅ ＧＡＮが利用される。上述のＣｙｃｌｅ
ＧＡＮの説明において、グループＸは遠赤外線画像であり、グループＹは可視光画像で
ある。
ＧＡＮの説明において、グループＸは遠赤外線画像であり、グループＹは可視光画像で
ある。
【0045】
図２は、実施の形態１に係る遠赤外線撮像装置３００の構成図である。遠赤外線撮像装
置３００は、学習済みモデル記憶部５０、画像処理装置１００、および画像表示部１１０
を含む。画像処理装置１００は、遠赤外線画像取得部８０、遠赤外線画像識別部８５、お
よび可視光画像生成部９０を含む。学習済みモデル記憶部５０は、図１の学習済みモデル
記憶部５０の構成と同じであり、可視光画像生成モデル学習部４０により生成された可視
光画像生成ネットワークの学習済みモデルである生成モデル６０と、遠赤外線画像識別ネ
ットワークの学習済みモデルである識別モデル７０が格納されている。
置３００は、学習済みモデル記憶部５０、画像処理装置１００、および画像表示部１１０
を含む。画像処理装置１００は、遠赤外線画像取得部８０、遠赤外線画像識別部８５、お
よび可視光画像生成部９０を含む。学習済みモデル記憶部５０は、図１の学習済みモデル
記憶部５０の構成と同じであり、可視光画像生成モデル学習部４０により生成された可視
光画像生成ネットワークの学習済みモデルである生成モデル６０と、遠赤外線画像識別ネ
ットワークの学習済みモデルである識別モデル７０が格納されている。
【0046】
遠赤外線画像取得部８０は、遠赤外線撮像装置３００により撮影された遠赤外線画像を
取得し、遠赤外線画像識別部８５に供給する。遠赤外線画像識別部８５は、遠赤外線画像
取得部８０により取得された遠赤外線画像を、学習済みモデル記憶部５０から読み出した
識別モデル７０に入力し、取得された遠赤外線画像が第１所定時間帯に撮影された遠赤外
線画像であるか否かを識別する。遠赤外線画像識別部８５は、取得された遠赤外線画像が
第１所定時間帯に撮影された遠赤外線画像である場合、可視光画像生成部９０に供給し、
取得された遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像でない場合、可視光
画像生成部９０に供給しない。
取得し、遠赤外線画像識別部８５に供給する。遠赤外線画像識別部８５は、遠赤外線画像
取得部８０により取得された遠赤外線画像を、学習済みモデル記憶部５０から読み出した
識別モデル７０に入力し、取得された遠赤外線画像が第１所定時間帯に撮影された遠赤外
線画像であるか否かを識別する。遠赤外線画像識別部８５は、取得された遠赤外線画像が
第１所定時間帯に撮影された遠赤外線画像である場合、可視光画像生成部９０に供給し、
取得された遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像でない場合、可視光
画像生成部９０に供給しない。
【0047】
可視光画像生成部９０は、遠赤外線画像識別部８５により供給された遠赤外線画像を、
学習済みモデル記憶部５０から読み出した生成モデル６０に入力し、可視光画像を生成す
る。これにより、可視光画像生成部９０は、遠赤外線画像識別部８５により、遠赤外線画
像が第１所定時間帯に撮影された遠赤外線画像であると判定された場合、可視光画像を生
成し、遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像でないと判定された場合
、可視光画像を生成しない。
学習済みモデル記憶部５０から読み出した生成モデル６０に入力し、可視光画像を生成す
る。これにより、可視光画像生成部９０は、遠赤外線画像識別部８５により、遠赤外線画
像が第１所定時間帯に撮影された遠赤外線画像であると判定された場合、可視光画像を生
成し、遠赤外線画像が第１所定時間帯に撮影された遠赤外線画像でないと判定された場合
、可視光画像を生成しない。
【0048】
ここで、生成モデル６０は、前述のように、第１所定時間帯の遠赤外線画像と第２所定
時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械学習された可視光
画像生成ネットワークの学習済みモデルであり、第１所定時間帯の遠赤外線画像から第２
所定時間帯の可視光画像を生成する。
時間帯の可視光画像を教師データとして敵対的生成ネットワークで機械学習された可視光
画像生成ネットワークの学習済みモデルであり、第１所定時間帯の遠赤外線画像から第２
所定時間帯の可視光画像を生成する。
【0049】
画像表示部１１０は、可視光画像生成部９０により生成された可視光画像を表示する。
画像表示部１１０は、遠赤外線画像取得部８０により取得された遠赤外線画像を表示して
もよい。画像表示部１１０は、遠赤外線画像と可視光画像のどちらか一方を表示したり、
遠赤外線画像と可視光画像の両方を表示したり、遠赤外線画像と可視光画像を合成して表
示してもよい。
画像表示部１１０は、遠赤外線画像取得部８０により取得された遠赤外線画像を表示して
もよい。画像表示部１１０は、遠赤外線画像と可視光画像のどちらか一方を表示したり、
遠赤外線画像と可視光画像の両方を表示したり、遠赤外線画像と可視光画像を合成して表
示してもよい。
【0050】
以上述べたように、逆光、霧、霞、夜等の可視光カメラが対象物を撮影できない状況下
で、対象物をぼんやりと撮影できる遠赤外線カメラで対象物の概要部分を捉え、ぼんやり
と撮影された対象物を含む遠赤外線画像からＧＡＮで学習した可視光画像生成ネットワー
クを用いて対象物の詳細部分を生成することができる。このようにして、遠赤外線画像に
対しても対象物を鮮明もしくは詳細に確認できる可視光画像を取得することができる。
で、対象物をぼんやりと撮影できる遠赤外線カメラで対象物の概要部分を捉え、ぼんやり
と撮影された対象物を含む遠赤外線画像からＧＡＮで学習した可視光画像生成ネットワー
クを用いて対象物の詳細部分を生成することができる。このようにして、遠赤外線画像に
対しても対象物を鮮明もしくは詳細に確認できる可視光画像を取得することができる。
【0051】
より具体的には、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネッ
トワークの学習済みモデルである生成モデル６０を生成する。可視光カメラで対象物を鮮
明もしくは詳細に撮影することができない時間帯（例えば夜間時間帯）の遠赤外線画像を
生成モデル６０に入力することにより、可視光カメラで対象物を鮮明もしくは詳細に撮影
することができない時間帯であっても、対象物を鮮明もしくは詳細に確認できる可視光画
像を取得することができる。
トワークの学習済みモデルである生成モデル６０を生成する。可視光カメラで対象物を鮮
明もしくは詳細に撮影することができない時間帯（例えば夜間時間帯）の遠赤外線画像を
生成モデル６０に入力することにより、可視光カメラで対象物を鮮明もしくは詳細に撮影
することができない時間帯であっても、対象物を鮮明もしくは詳細に確認できる可視光画
像を取得することができる。
【0052】
また、遠赤外線画像を入力すると入力された遠赤外線画像が第１所定時間帯の遠赤外線
画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデルである識別
モデル７０を生成する。識別モデル７０により第１所定時間帯の遠赤外線画像であると識
別される高精度の遠赤外線画像を、可視光画像生成ネットワークの学習済みモデルである
生成モデル６０に提供する。可視光画像生成ネットワークは、学習済みの遠赤外線画像と
特徴量の確率密度分布が似た遠赤外線画像であれば、高精度に可視光画像に変換すること
ができる。
画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデルである識別
モデル７０を生成する。識別モデル７０により第１所定時間帯の遠赤外線画像であると識
別される高精度の遠赤外線画像を、可視光画像生成ネットワークの学習済みモデルである
生成モデル６０に提供する。可視光画像生成ネットワークは、学習済みの遠赤外線画像と
特徴量の確率密度分布が似た遠赤外線画像であれば、高精度に可視光画像に変換すること
ができる。
【0053】
図３（ａ）および図３（ｂ）は、所定時間帯を説明する図である。第１所定時間帯は夜
間時間帯であり、第２所定時間帯は昼間時間帯である。図３（ａ）に示すように、昼間時
間帯は９時～１５時、夜間時間帯は２１時～翌日３時であってもよい。図３（ｂ）に示す
ように、昼間時間帯は６時～１８時、夜間時間帯は１８時～翌日６時であってもよい。
間時間帯であり、第２所定時間帯は昼間時間帯である。図３（ａ）に示すように、昼間時
間帯は９時～１５時、夜間時間帯は２１時～翌日３時であってもよい。図３（ｂ）に示す
ように、昼間時間帯は６時～１８時、夜間時間帯は１８時～翌日６時であってもよい。
【0054】
可視光カメラは昼間時間帯では人などの対象物を鮮明に撮影することができるが、夜間
時間帯では人などの対象物を鮮明に撮影することができない。一方、遠赤外カメラは夜間
時間帯でも人などの対象物の詳細なテクスチャは撮影することは困難であるが、対象物の
形状は鮮明に撮影することができる。
時間帯では人などの対象物を鮮明に撮影することができない。一方、遠赤外カメラは夜間
時間帯でも人などの対象物の詳細なテクスチャは撮影することは困難であるが、対象物の
形状は鮮明に撮影することができる。
【0055】
そこで、第１所定時間帯は可視光カメラで対象物を鮮明に撮影することができる時間帯
であり、第２所定時間帯は可視光カメラで対象物を鮮明に撮影することができない時間帯
である。
であり、第２所定時間帯は可視光カメラで対象物を鮮明に撮影することができない時間帯
である。
【0056】
また、可視光カメラで撮影する可視光画像については、時間帯のみならず、季節や天気
と場所等を合わせて限定することで、教師データとする可視光画像の品質を向上させるこ
とができる。例えば、３月の晴天の日に撮影した可視光画像や、所定のフロアで撮影した
可視光画像とする。なお、可視光カメラで撮影する可視光画像については、時間帯、季節
、天気、場所等の条件を可視光線の光量が所定範囲内になるように選択することが好まし
い。
と場所等を合わせて限定することで、教師データとする可視光画像の品質を向上させるこ
とができる。例えば、３月の晴天の日に撮影した可視光画像や、所定のフロアで撮影した
可視光画像とする。なお、可視光カメラで撮影する可視光画像については、時間帯、季節
、天気、場所等の条件を可視光線の光量が所定範囲内になるように選択することが好まし
い。
【0057】
一方、遠赤外線カメラで撮影する遠赤外線画像についても、同様に時間帯のみならず、
季節や天気と場所等を合わせて限定することで、教師データとする遠赤外線画像の品質を
向上させることができる。なお、遠赤外線カメラで撮影する遠赤外線画像については、時
間帯、季節、天気、場所等の条件を気温が所定範囲内になるように選択することが好まし
い。
季節や天気と場所等を合わせて限定することで、教師データとする遠赤外線画像の品質を
向上させることができる。なお、遠赤外線カメラで撮影する遠赤外線画像については、時
間帯、季節、天気、場所等の条件を気温が所定範囲内になるように選択することが好まし
い。
【0058】
このように時間帯、季節、天気や場所を限定した可視光画像と遠赤外線画像を利用して
ＧＡＮで学習させることで、高精度な可視光画像生成ネットワークと遠赤外線画像識別ネ
ットワークの学習済みモデルを生成することができる。
ＧＡＮで学習させることで、高精度な可視光画像生成ネットワークと遠赤外線画像識別ネ
ットワークの学習済みモデルを生成することができる。
【0059】
図４は、図１の機械学習装置２００によって、可視光画像生成ネットワークの生成モデ
ル６０と、遠赤外線画像識別ネットワークの識別モデル７０を機械学習する手順を説明す
るフローチャートである。ここでは、一例として、第１所定時間帯は夜間、第２所定時間
帯は昼間であるとして説明する。
ル６０と、遠赤外線画像識別ネットワークの識別モデル７０を機械学習する手順を説明す
るフローチャートである。ここでは、一例として、第１所定時間帯は夜間、第２所定時間
帯は昼間であるとして説明する。
【0060】
遠赤外線画像教師データ取得部２０は、教師データ記憶部１０から夜間遠赤外線画像を
取得する（Ｓ１０）。可視光画像教師データ取得部３０は、教師データ記憶部１０から昼
間可視光画像を取得する（Ｓ２０）。
取得する（Ｓ１０）。可視光画像教師データ取得部３０は、教師データ記憶部１０から昼
間可視光画像を取得する（Ｓ２０）。
【0061】
可視光画像生成モデル学習部４０は、夜間遠赤外線画像と昼間可視光画像を教師データ
としてＧＡＮで機械学習することにより、夜間遠赤外線画像から昼間可視光画像を生成す
る生成モデル６０を生成する（Ｓ３０）。
としてＧＡＮで機械学習することにより、夜間遠赤外線画像から昼間可視光画像を生成す
る生成モデル６０を生成する（Ｓ３０）。
【0062】
可視光画像生成モデル学習部４０は、夜間遠赤外線画像と昼間可視光画像を教師データ
としてＧＡＮで機械学習することにより、遠赤外線画像が夜間に撮影された遠赤外線画像
であるか否かを識別する識別モデル７０を生成する（Ｓ４０）。ここでは、Ｓ３０の後に
Ｓ４０が実行されるように図示しているが、一般的にＧＡＮではＳ３０とＳ４０は相互に
繰り返して実行される。
としてＧＡＮで機械学習することにより、遠赤外線画像が夜間に撮影された遠赤外線画像
であるか否かを識別する識別モデル７０を生成する（Ｓ４０）。ここでは、Ｓ３０の後に
Ｓ４０が実行されるように図示しているが、一般的にＧＡＮではＳ３０とＳ４０は相互に
繰り返して実行される。
【0063】
図５は、図２の遠赤外線撮像装置３００によって、可視光画像生成ネットワークの生成
モデル６０と、遠赤外線画像識別ネットワークの識別モデル７０を用いて、遠赤外線画像
を可視光画像に変換する手順を説明するフローチャートである。ここでは、一例として、
第１所定時間帯は夜間、第２所定時間帯は昼間であるとして説明する。
モデル６０と、遠赤外線画像識別ネットワークの識別モデル７０を用いて、遠赤外線画像
を可視光画像に変換する手順を説明するフローチャートである。ここでは、一例として、
第１所定時間帯は夜間、第２所定時間帯は昼間であるとして説明する。
【0064】
遠赤外線撮像装置３００により撮影された遠赤外線画像を入力する（Ｓ５０）。
【0065】
ＧＡＮで機械学習された識別モデル７０を用いて、入力された遠赤外線画像が夜間に撮
影された遠赤外線画像であるか否かを識別する（Ｓ６０）。
影された遠赤外線画像であるか否かを識別する（Ｓ６０）。
【0066】
入力された遠赤外線画像が夜間に撮影された遠赤外線画像である場合（Ｓ７０のＹ）、
ステップＳ８０に進み、入力された遠赤外線画像が夜間に撮影された遠赤外線画像でない
場合（Ｓ７０のＮ）、終了する。
ステップＳ８０に進み、入力された遠赤外線画像が夜間に撮影された遠赤外線画像でない
場合（Ｓ７０のＮ）、終了する。
【0067】
夜間遠赤外線画像と昼間可視光画像を教師データとしてＧＡＮで機械学習された生成モ
デル６０を用いて、入力された遠赤外線画像を昼間可視光画像に変換する（Ｓ８０）。
デル６０を用いて、入力された遠赤外線画像を昼間可視光画像に変換する（Ｓ８０）。
【0068】
生成された昼間可視光画像を出力する（Ｓ９０）。出力された昼間可視光画像は物体検
出などに用いられる。
出などに用いられる。
【0069】
実施の形態１によれば、夜間遠赤外線画像と昼間可視光画像を教師データとして、遠赤
外線画像から可視光画像を生成する可視光画像生成ネットワークをＧＡＮで学習し、遠赤
外線画像をＧＡＮで学習した可視光画像生成ネットワークの生成モデルで可視光画像に変
換することにより、昼夜問わす鮮明な画像を得ることができる。
外線画像から可視光画像を生成する可視光画像生成ネットワークをＧＡＮで学習し、遠赤
外線画像をＧＡＮで学習した可視光画像生成ネットワークの生成モデルで可視光画像に変
換することにより、昼夜問わす鮮明な画像を得ることができる。
【0070】
遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの学習済
みモデルである生成モデル６０を遠赤外線撮像装置３００に搭載することで、時間帯を問
わず常に可視光画像のように人や動物を認識することが可能な遠赤外線撮像装置３００を
実現することができる。
みモデルである生成モデル６０を遠赤外線撮像装置３００に搭載することで、時間帯を問
わず常に可視光画像のように人や動物を認識することが可能な遠赤外線撮像装置３００を
実現することができる。
【0071】
また、遠赤外線画像を入力すると入力された遠赤外線画像が第１所定時間帯の遠赤外線
画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデルである識別
モデル７０を遠赤外線撮像装置３００に搭載することで、生成モデル６０による可視光画
像の生成精度を向上させることができる。
画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデルである識別
モデル７０を遠赤外線撮像装置３００に搭載することで、生成モデル６０による可視光画
像の生成精度を向上させることができる。
【0072】
（変形例１）
実施の形態１の機械学習装置２００とは、教師データと可視光画像生成モデル学習部４
０の構成と動作が異なるので、相違点についてのみ説明する。変形例１では、第２所定時
間帯の可視光画像の教師データは、第１所定時間帯の遠赤外線画像の教師データと同じ場
所で同じ対象物を撮影した同一の構図の画像であり、第１所定時間帯の遠赤外線画像と第
２所定時間帯の可視光画像はペアをなす。そのため、可視光画像生成モデル学習部４０は
、ＧＡＮの学習手法としてＰｉｘ２Ｐｉｘを利用する。
実施の形態１の機械学習装置２００とは、教師データと可視光画像生成モデル学習部４
０の構成と動作が異なるので、相違点についてのみ説明する。変形例１では、第２所定時
間帯の可視光画像の教師データは、第１所定時間帯の遠赤外線画像の教師データと同じ場
所で同じ対象物を撮影した同一の構図の画像であり、第１所定時間帯の遠赤外線画像と第
２所定時間帯の可視光画像はペアをなす。そのため、可視光画像生成モデル学習部４０は
、ＧＡＮの学習手法としてＰｉｘ２Ｐｉｘを利用する。
【0073】
可視光画像生成モデル学習部４０は、第１所定時間帯の遠赤外線画像の教師データと第
２所定時間帯の可視光画像の教師データをペアにしてＰｉｘ２Ｐｉｘで機械学習させて、
遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの学習済み
モデルである生成モデル６０を生成する。上述のＰｉｘ２Ｐｉｘの説明において、グルー
プＸは遠赤外線画像であり、グループＹは可視光画像である。
２所定時間帯の可視光画像の教師データをペアにしてＰｉｘ２Ｐｉｘで機械学習させて、
遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの学習済み
モデルである生成モデル６０を生成する。上述のＰｉｘ２Ｐｉｘの説明において、グルー
プＸは遠赤外線画像であり、グループＹは可視光画像である。
【0074】
また、可視光画像生成モデル学習部４０は、入力された遠赤外線画像が第１所定時間帯
の遠赤外線画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデル
である識別モデル７０を生成する。上述のＰｉｘ２Ｐｉｘの説明において、グループＹは
遠赤外線画像であり、グループＸは可視光画像である。
の遠赤外線画像であるか否かを識別する遠赤外線画像識別ネットワークの学習済みモデル
である識別モデル７０を生成する。上述のＰｉｘ２Ｐｉｘの説明において、グループＹは
遠赤外線画像であり、グループＸは可視光画像である。
【0075】
同じ場所で同じ対象物を同一の構図となるように撮影した画像を大量に準備することが
できれば、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワーク
の生成モデル６０による可視光画像の生成精度を向上させることができる。
できれば、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワーク
の生成モデル６０による可視光画像の生成精度を向上させることができる。
【0076】
（変形例２）
実施の形態１の機械学習装置２００とは、教師データと可視光画像生成モデル学習部４
０の構成と動作が異なるので、相違点についてのみ説明する。変形例２では、可視光画像
の教師データは、第１所定時間帯の遠赤外線画像の教師データと同じ場所で同じ対象物を
同一の構図となるように同一時間帯に投光して撮影した可視光画像である。
実施の形態１の機械学習装置２００とは、教師データと可視光画像生成モデル学習部４
０の構成と動作が異なるので、相違点についてのみ説明する。変形例２では、可視光画像
の教師データは、第１所定時間帯の遠赤外線画像の教師データと同じ場所で同じ対象物を
同一の構図となるように同一時間帯に投光して撮影した可視光画像である。
【0077】
可視光画像生成モデル学習部４０は、第１所定時間帯の遠赤外線画像の教師データと第
１所定時間帯において投光された可視光画像の教師データをペアにしてＧＡＮで機械学習
し、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの学習
済みモデルである生成モデル６０を生成する。
１所定時間帯において投光された可視光画像の教師データをペアにしてＧＡＮで機械学習
し、遠赤外線画像を入力すると可視光画像を生成する可視光画像生成ネットワークの学習
済みモデルである生成モデル６０を生成する。
【0078】
ここで、ＧＡＮとしてＰｉｘ２Ｐｉｘを利用してもよい。Ｐｉｘ２Ｐｉｘを利用する場
合、遠赤外線画像の教師データと可視光画像の教師データは可能な限り同一時刻であるこ
とが望ましい。これは、遠赤外線画像の教師データは投光直前に撮影し、可視光画像の教
師データは投光直後に撮影することで実現することができる。上述のＰｉｘ２Ｐｉｘの説
明において、グループＸは遠赤外線画像であり、グループＹは可視光画像である。
合、遠赤外線画像の教師データと可視光画像の教師データは可能な限り同一時刻であるこ
とが望ましい。これは、遠赤外線画像の教師データは投光直前に撮影し、可視光画像の教
師データは投光直後に撮影することで実現することができる。上述のＰｉｘ２Ｐｉｘの説
明において、グループＸは遠赤外線画像であり、グループＹは可視光画像である。
【0079】
ほぼ同一時刻で同じ場所で同じ対象物を同一の構図となるように撮影した画像を大量に
準備することができれば、遠赤外線画像を入力すると可視光画像を生成する可視光画像生
成ネットワークの生成モデル６０による可視光画像の生成精度を向上させることができる
。
準備することができれば、遠赤外線画像を入力すると可視光画像を生成する可視光画像生
成ネットワークの生成モデル６０による可視光画像の生成精度を向上させることができる
。
【0080】
（実施の形態２）
実施の形態２では、第１所定時間帯および第２所定時間帯の少なくとも一方を複数の時
間帯に分割し、可視光画像生成モデル学習部４０は、分割された時間帯毎に生成モデル６
０および識別モデル７０を学習し、遠赤外線画像識別部８５および可視光画像生成部９０
は、時間帯によって生成モデル６０および識別モデル７０を切り替えて利用する。
実施の形態２では、第１所定時間帯および第２所定時間帯の少なくとも一方を複数の時
間帯に分割し、可視光画像生成モデル学習部４０は、分割された時間帯毎に生成モデル６
０および識別モデル７０を学習し、遠赤外線画像識別部８５および可視光画像生成部９０
は、時間帯によって生成モデル６０および識別モデル７０を切り替えて利用する。
【0081】
図６（ａ）および図６（ｂ）は、分割された所定時間帯を説明する図である。第１所定
時間帯は夜間時間帯であり、第２所定時間帯は昼間時間帯である。図６（ａ）に示すよう
に、夜間時間帯を遠赤外線画像の特徴が異なる２つの時間帯に分割してもよい。遠赤外線
画像識別部８５が取得された遠赤外線画像の撮影時間帯に合った識別モデル７０を切り替
えて利用することで識別の精度を向上させることができる。
時間帯は夜間時間帯であり、第２所定時間帯は昼間時間帯である。図６（ａ）に示すよう
に、夜間時間帯を遠赤外線画像の特徴が異なる２つの時間帯に分割してもよい。遠赤外線
画像識別部８５が取得された遠赤外線画像の撮影時間帯に合った識別モデル７０を切り替
えて利用することで識別の精度を向上させることができる。
【0082】
図６（ｂ）に示すように、昼間時間帯を可視光画像の特徴が異なる３つの時間帯に分割
し、夜間時間帯を遠赤外線画像の特徴が異なる２つの時間帯に分割してもよい。遠赤外線
画像識別部８５、可視光画像生成部９０が撮影時間帯に合った識別モデル７０、生成モデ
ル６０を切り替えて利用することで識別、生成の精度を向上させつつ、生成される可視光
画像の多様化を図ることができる。
し、夜間時間帯を遠赤外線画像の特徴が異なる２つの時間帯に分割してもよい。遠赤外線
画像識別部８５、可視光画像生成部９０が撮影時間帯に合った識別モデル７０、生成モデ
ル６０を切り替えて利用することで識別、生成の精度を向上させつつ、生成される可視光
画像の多様化を図ることができる。
【0083】
また、時間帯は実施の形態１と同様であるが、季節、天気や場所毎に識別モデル７０と
生成モデル６０を用意することで、遠赤外線画像識別部８５と可視光画像生成部９０の精
度を向上させてもよい。
生成モデル６０を用意することで、遠赤外線画像識別部８５と可視光画像生成部９０の精
度を向上させてもよい。
【0084】
（実施の形態３）
実施の形態３の機械学習装置２００は、可視光画像教師データ取得部３０の構成と動作
が実施の形態１の機械学習装置２００とは異なり、それ以外の構成と動作は同じである。
実施の形態１と共通する構成と動作については説明を適宜省略する。
実施の形態３の機械学習装置２００は、可視光画像教師データ取得部３０の構成と動作
が実施の形態１の機械学習装置２００とは異なり、それ以外の構成と動作は同じである。
実施の形態１と共通する構成と動作については説明を適宜省略する。
【0085】
可視光カメラは晴れた昼間においては人やナンバープレートを鮮明に撮影することがで
きるが、匿名化できていない人やナンバープレートが映りこんだ映像は個人情報保護の観
点からは問題がある。そこで、実施の形態３の機械学習装置２００では、所定対象物が認
識できないように秘匿処理された可視光画像を教師データとして用いる。
きるが、匿名化できていない人やナンバープレートが映りこんだ映像は個人情報保護の観
点からは問題がある。そこで、実施の形態３の機械学習装置２００では、所定対象物が認
識できないように秘匿処理された可視光画像を教師データとして用いる。
【0086】
機械学習装置２００の可視光画像教師データ取得部３０は、教師データ記憶部１０から
取得した可視光画像において所定対象物が認識できないように秘匿処理し、所定対象物が
認識できないように秘匿処理された可視光画像の教師データを可視光画像生成モデル学習
部４０に供給する。
取得した可視光画像において所定対象物が認識できないように秘匿処理し、所定対象物が
認識できないように秘匿処理された可視光画像の教師データを可視光画像生成モデル学習
部４０に供給する。
【0087】
可視光画像生成モデル学習部４０は、実施の形態１と同様に、第１所定時間帯の遠赤外
線画像から第２所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生
成するが、教師データとして学習に使用される可視光画像は、所定対象物が認識できない
ように秘匿処理されている。そのため、学習の結果、生成される可視光画像生成ネットワ
ークの生成モデル６０は、遠赤外線画像を所定対象物が認識できないように秘匿処理され
た可視光画像に変換するものとなる。夜間でも昼間でも個人情報保護され、肖像権保護さ
れた見やすい画像を得ることができる。
線画像から第２所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生
成するが、教師データとして学習に使用される可視光画像は、所定対象物が認識できない
ように秘匿処理されている。そのため、学習の結果、生成される可視光画像生成ネットワ
ークの生成モデル６０は、遠赤外線画像を所定対象物が認識できないように秘匿処理され
た可視光画像に変換するものとなる。夜間でも昼間でも個人情報保護され、肖像権保護さ
れた見やすい画像を得ることができる。
【0088】
画像処理装置１００において可視光画像生成部９０が生成モデル６０を用いて遠赤外線
画像から可視光画像を生成すると、所定対象物が認識できないように秘匿処理された可視
光画像になるため、生成された可視光画像において所定対象物を秘匿処理することは不要
である。
画像から可視光画像を生成すると、所定対象物が認識できないように秘匿処理された可視
光画像になるため、生成された可視光画像において所定対象物を秘匿処理することは不要
である。
【0089】
所定対象物は個人情報保護や肖像権保護の対象物であるとし、その一例として、人の顔
を含む頭部、車やバイクなどのナンバープレートとする。ここでは、所定対象物を人の顔
を含む頭部、車やバイクなどのナンバープレートとしたが、個人情報保護や肖像権保護の
対象物であればよく、権利保護を強く作用させるために、所定対象物を人の全身や車やバ
イクの全体としてもよい。
を含む頭部、車やバイクなどのナンバープレートとする。ここでは、所定対象物を人の顔
を含む頭部、車やバイクなどのナンバープレートとしたが、個人情報保護や肖像権保護の
対象物であればよく、権利保護を強く作用させるために、所定対象物を人の全身や車やバ
イクの全体としてもよい。
【0090】
所定対象物の領域内の画素値を所定画素値（例えば、黒）で置換して、所定対象物が認
識できないように秘匿処理する。ここでは、所定対象物の画素値を所定画素値で置換した
が、所定対象物が認識できなければよく、例えば、コンピュータグラフィックス（ＣＧ）
で描画された架空の人や車等で置換してもよい。また、画像毎に所定画素値を赤、青、緑
などに変えてもよい。
識できないように秘匿処理する。ここでは、所定対象物の画素値を所定画素値で置換した
が、所定対象物が認識できなければよく、例えば、コンピュータグラフィックス（ＣＧ）
で描画された架空の人や車等で置換してもよい。また、画像毎に所定画素値を赤、青、緑
などに変えてもよい。
【0091】
なお、所定対象物を認識できるか否かの判定は、例えば、所定対象物を認識できるよう
に学習させた学習済みの物体認識モデルを利用して判定する。また別の方法として、所定
対象物を認識できるか否かを人が目視で判定してもよい。
に学習させた学習済みの物体認識モデルを利用して判定する。また別の方法として、所定
対象物を認識できるか否かを人が目視で判定してもよい。
【0092】
（変形例１）
所定対象物が認識できないようにする秘匿処理の別の例として、所定対象物毎に各所定
対象物を正確に識別できない所定サイズを定義し、すべての所定対象物が所定対象物毎に
定義された所定サイズ以下である可視光画像のみを教師データとして利用するようにして
秘匿処理を行ってもよい。
所定対象物が認識できないようにする秘匿処理の別の例として、所定対象物毎に各所定
対象物を正確に識別できない所定サイズを定義し、すべての所定対象物が所定対象物毎に
定義された所定サイズ以下である可視光画像のみを教師データとして利用するようにして
秘匿処理を行ってもよい。
【0093】
（変形例２）
所定対象物が認識できないように秘匿処理の別の例として、所定対象物が所定対象物毎
に定義された所定サイズ以上である場合に、所定対象物を所定画素値（例えば、黒）で置
換して、所定対象物が認識できないように秘匿処理してもよい。
所定対象物が認識できないように秘匿処理の別の例として、所定対象物が所定対象物毎
に定義された所定サイズ以上である場合に、所定対象物を所定画素値（例えば、黒）で置
換して、所定対象物が認識できないように秘匿処理してもよい。
【0094】
実施の形態３およびその変形例では、遠赤外線画像と所定対象物が認識できないように
秘匿処理された可視光画像とを教師データとしてＧＡＮで機械学習させて、遠赤外線画像
を入力すると所定対象物が認識できないように秘匿処理された可視光画像を生成する可視
光画像生成ネットワークの学習済みモデルを生成する。これにより、個人情報保護や肖像
権保護を順守しながら、所定対象物を除いて見やすい可視光画像を生成することができる
。
秘匿処理された可視光画像とを教師データとしてＧＡＮで機械学習させて、遠赤外線画像
を入力すると所定対象物が認識できないように秘匿処理された可視光画像を生成する可視
光画像生成ネットワークの学習済みモデルを生成する。これにより、個人情報保護や肖像
権保護を順守しながら、所定対象物を除いて見やすい可視光画像を生成することができる
。
【0095】
また、ＧＡＮが生成する可視光画像は学習した画像の特徴から生成した疑似画像である
ため、所定対象物を匿名化することが容易にできる。
ため、所定対象物を匿名化することが容易にできる。
【0096】
また、可視光画像生成ネットワークの学習済みモデルを事前に学習させておくことで、
運用時には所定対象物の秘匿処理は不要である。
運用時には所定対象物の秘匿処理は不要である。
【0097】
（実施の形態４）
遠赤外線カメラは霧や霞に耐性があり、夜などの光源がない場所でも人や動物をぼんや
りと撮影することができる。ただし、遠赤外線カメラには、人や動物などの物体の細部ま
で撮影できないこと、色情報がないことから、物体検出や物体認識の精度が低い。そこで
、実施の形態４では、遠赤外線画像から可視光画像を生成する可視光画像生成ネットワー
クをＧＡＮで学習し、可視光画像生成ネットワークの生成モデルを用いて遠赤外線画像か
ら生成した可視光画像において物体検出することで物体検出の精度を向上させる。
遠赤外線カメラは霧や霞に耐性があり、夜などの光源がない場所でも人や動物をぼんや
りと撮影することができる。ただし、遠赤外線カメラには、人や動物などの物体の細部ま
で撮影できないこと、色情報がないことから、物体検出や物体認識の精度が低い。そこで
、実施の形態４では、遠赤外線画像から可視光画像を生成する可視光画像生成ネットワー
クをＧＡＮで学習し、可視光画像生成ネットワークの生成モデルを用いて遠赤外線画像か
ら生成した可視光画像において物体検出することで物体検出の精度を向上させる。
【0098】
図７は、実施の形態４に係る機械学習装置４００の構成図である。機械学習装置４００
は、画像処理装置１００、教師データ記憶部１２０、物体検出モデル学習部１３０、およ
び物体検出モデル記憶部１４０を含む。画像処理装置１００は、遠赤外線画像取得部８０
、可視光画像生成部９０、および可視光画像識別部９５を含む。図７には図示しないが、
本実施の形態では機械学習装置４００とは別にさらに図１の機械学習装置２００を含む。
は、画像処理装置１００、教師データ記憶部１２０、物体検出モデル学習部１３０、およ
び物体検出モデル記憶部１４０を含む。画像処理装置１００は、遠赤外線画像取得部８０
、可視光画像生成部９０、および可視光画像識別部９５を含む。図７には図示しないが、
本実施の形態では機械学習装置４００とは別にさらに図１の機械学習装置２００を含む。
【0099】
実施の形態４では、図１の可視光画像生成モデル学習部４０は、第１所定時間帯の遠赤
外線画像と第２所定時間帯の可視光画像とを教師データとして、遠赤外線画像を入力する
と可視光画像を生成する可視光画像生成ネットワークと、可視光画像を入力すると入力さ
れた可視光画像が第２所定時間帯の可視光画像として本物か偽物かを識別する可視光画像
識別ネットワークとをＧＡＮで機械学習する。
外線画像と第２所定時間帯の可視光画像とを教師データとして、遠赤外線画像を入力する
と可視光画像を生成する可視光画像生成ネットワークと、可視光画像を入力すると入力さ
れた可視光画像が第２所定時間帯の可視光画像として本物か偽物かを識別する可視光画像
識別ネットワークとをＧＡＮで機械学習する。
【0100】
ＧＡＮによる学習の結果、可視光画像生成ネットワークの学習済みモデルである生成モ
デル６０と、可視光画像識別ネットワークの学習済みモデルである識別モデル７５とが生
成される。生成モデル６０は、第１所定時間帯の遠赤外線画像から第２所定時間帯の可視
光画像を生成する可視光画像生成ネットワークの学習済みモデルであり、識別モデル７５
は、可視光画像が第１所定時間帯に撮影された可視光画像として本物か偽物かを識別する
可視光画像識別ネットワークの学習済みモデルである。可視光画像生成モデル学習部４０
は、可視光画像生成ネットワークの学習済みモデルである生成モデル６０と、可視光画像
識別ネットワークの学習済みモデルである識別モデル７５を学習済みモデル記憶部５０に
保存する。可視光画像生成モデル学習部４０は、生成モデル６０を可視光画像生成部９０
に供給する。また、可視光画像生成モデル学習部４０は、識別モデル７５を可視光画像識
別部９５に供給する。
デル６０と、可視光画像識別ネットワークの学習済みモデルである識別モデル７５とが生
成される。生成モデル６０は、第１所定時間帯の遠赤外線画像から第２所定時間帯の可視
光画像を生成する可視光画像生成ネットワークの学習済みモデルであり、識別モデル７５
は、可視光画像が第１所定時間帯に撮影された可視光画像として本物か偽物かを識別する
可視光画像識別ネットワークの学習済みモデルである。可視光画像生成モデル学習部４０
は、可視光画像生成ネットワークの学習済みモデルである生成モデル６０と、可視光画像
識別ネットワークの学習済みモデルである識別モデル７５を学習済みモデル記憶部５０に
保存する。可視光画像生成モデル学習部４０は、生成モデル６０を可視光画像生成部９０
に供給する。また、可視光画像生成モデル学習部４０は、識別モデル７５を可視光画像識
別部９５に供給する。
【0101】
遠赤外線画像取得部８０は、遠赤外線画像を取得し、可視光画像生成部９０に供給する
。
。
【0102】
可視光画像生成部９０は、遠赤外線画像取得部８０により供給された遠赤外線画像を可
視光画像生成ネットワークの学習済みモデルである生成モデルに入力して可視光画像を生
成し、生成された可視光画像を可視光画像識別部９５に供給する。
視光画像生成ネットワークの学習済みモデルである生成モデルに入力して可視光画像を生
成し、生成された可視光画像を可視光画像識別部９５に供給する。
【0103】
可視光画像識別部９５は、可視光画像生成部９０により供給された可視光画像を可視光
画像識別ネットワークの学習済みモデルである識別モデルに入力し、入力された可視光画
像が本物か偽物かを識別し、本物であると識別された可視光画像を教師データ記憶部１２
０に保存し、偽物であると識別された可視光画像は教師データ記憶部１２０に保存しない
。ここで、入力された可視光画像が本物であると識別された場合、入力された可視光画像
は正常であると判定し、入力された可視光画像が偽物であると識別された場合、入力され
た可視光画像は正常でないと判定する。
画像識別ネットワークの学習済みモデルである識別モデルに入力し、入力された可視光画
像が本物か偽物かを識別し、本物であると識別された可視光画像を教師データ記憶部１２
０に保存し、偽物であると識別された可視光画像は教師データ記憶部１２０に保存しない
。ここで、入力された可視光画像が本物であると識別された場合、入力された可視光画像
は正常であると判定し、入力された可視光画像が偽物であると識別された場合、入力され
た可視光画像は正常でないと判定する。
【0104】
教師データ記憶部１２０は、入力された可視光画像について、可視光画像内の１以上の
オブジェクトについてタグ（たとえばオブジェクト名）とバウンディングボックスの位置
や大きさを指定して教師データとして蓄積する。例えば、各オブジェクトが１０００個蓄
積されると教師データの生成は完了し、物体検出モデル学習部１３０に学習開始を指示す
る。ここでは、オブジェクトに付与するタグの一例として、人の顔、歩行者、車、自転車
などがある。
オブジェクトについてタグ（たとえばオブジェクト名）とバウンディングボックスの位置
や大きさを指定して教師データとして蓄積する。例えば、各オブジェクトが１０００個蓄
積されると教師データの生成は完了し、物体検出モデル学習部１３０に学習開始を指示す
る。ここでは、オブジェクトに付与するタグの一例として、人の顔、歩行者、車、自転車
などがある。
【0105】
物体検出モデル学習部１３０は、教師データ記憶部１２０に十分な教師データが蓄積さ
れ、学習開始の指示を受けると、教師データ記憶部１２０に蓄積された教師データを用い
て物体検出モデルを機械学習する。ここで、物体検出モデルは、一例として物体検出の代
表的なモデルである畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural N
etwork））を利用したＹＯＬＯ（You Only Look Once）を利用する。物体検出モデル学習
部１３０は、機械学習された物体検出モデルを物体検出モデル記憶部１４０に保存する。
れ、学習開始の指示を受けると、教師データ記憶部１２０に蓄積された教師データを用い
て物体検出モデルを機械学習する。ここで、物体検出モデルは、一例として物体検出の代
表的なモデルである畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural N
etwork））を利用したＹＯＬＯ（You Only Look Once）を利用する。物体検出モデル学習
部１３０は、機械学習された物体検出モデルを物体検出モデル記憶部１４０に保存する。
【0106】
図８は、実施の形態４に係る遠赤外線撮像装置５００の構成図である。遠赤外線撮像装
置５００は、画像処理装置１００、物体検出モデル記憶部１４０、物体検出部１５０、お
よび画像表示部１６０を含む。画像処理装置１００は、図７の機械学習装置４００の画像
処理装置１００と同様、遠赤外線画像取得部８０、可視光画像生成部９０、および可視光
画像識別部９５を含む。物体検出モデル記憶部１４０は、図７の物体検出モデル記憶部１
４０の構成と同じであり、物体検出モデル学習部１３０により学習された物体検出モデル
が格納されている。
置５００は、画像処理装置１００、物体検出モデル記憶部１４０、物体検出部１５０、お
よび画像表示部１６０を含む。画像処理装置１００は、図７の機械学習装置４００の画像
処理装置１００と同様、遠赤外線画像取得部８０、可視光画像生成部９０、および可視光
画像識別部９５を含む。物体検出モデル記憶部１４０は、図７の物体検出モデル記憶部１
４０の構成と同じであり、物体検出モデル学習部１３０により学習された物体検出モデル
が格納されている。
【0107】
遠赤外線画像取得部８０は、遠赤外線撮像装置５００により撮影された遠赤外線画像を
取得し、可視光画像生成部９０に供給する。
取得し、可視光画像生成部９０に供給する。
【0108】
可視光画像生成部９０は、遠赤外線画像取得部８０により供給された遠赤外線画像を可
視光画像生成ネットワークの学習済みモデルである生成モデルに入力して可視光画像を生
成し、生成された可視光画像を可視光画像識別部９５に供給する。
視光画像生成ネットワークの学習済みモデルである生成モデルに入力して可視光画像を生
成し、生成された可視光画像を可視光画像識別部９５に供給する。
【0109】
可視光画像識別部９５は、可視光画像生成部９０により供給された可視光画像を可視光
画像識別ネットワークの学習済みモデルである識別モデルに入力し、入力された可視光画
像が本物か偽物かを識別し、本物であると識別された可視光画像を物体検出部１５０に供
給し、偽物であると識別された可視光画像は物体検出部１５０に供給しない。
画像識別ネットワークの学習済みモデルである識別モデルに入力し、入力された可視光画
像が本物か偽物かを識別し、本物であると識別された可視光画像を物体検出部１５０に供
給し、偽物であると識別された可視光画像は物体検出部１５０に供給しない。
【0110】
物体検出部１５０は、入力された可視光画像を物体検出モデル記憶部１４０に格納され
た物体検出モデルに入力することにより、可視光画像内のオブジェクトを検出する。入力
された可視光画像と検出されたオブジェクト情報は画像表示部１６０に供給される。画像
表示部１６０は、可視光画像とタグとバウンディングボックスを合成して画面上に表示す
る。
た物体検出モデルに入力することにより、可視光画像内のオブジェクトを検出する。入力
された可視光画像と検出されたオブジェクト情報は画像表示部１６０に供給される。画像
表示部１６０は、可視光画像とタグとバウンディングボックスを合成して画面上に表示す
る。
【0111】
以上述べたように、逆光、霧、霞、夜等の可視光カメラが対象物を撮影できない状況下
で、対象物をぼんやりと撮影できる遠赤外線カメラで対象物の概要部分を捉え、ぼんやり
と撮影された対象物を含む遠赤外線画像からＧＡＮで学習した可視光画像生成ネットワー
クを用いて対象物の詳細部分を生成することができる。これにより、遠赤外線画像に対し
ても、高精度に物体認識や物体検出することができる。
で、対象物をぼんやりと撮影できる遠赤外線カメラで対象物の概要部分を捉え、ぼんやり
と撮影された対象物を含む遠赤外線画像からＧＡＮで学習した可視光画像生成ネットワー
クを用いて対象物の詳細部分を生成することができる。これにより、遠赤外線画像に対し
ても、高精度に物体認識や物体検出することができる。
【0112】
図９は、図７の機械学習装置４００によって、遠赤外線画像を可視光画像に変換し、可
視光画像を教師データとして用いて物体検出モデルを機械学習する手順を説明するフロー
チャートである。ここでは、一例として、第１所定時間帯は夜間、第２所定時間帯は昼間
であるとして説明する。
視光画像を教師データとして用いて物体検出モデルを機械学習する手順を説明するフロー
チャートである。ここでは、一例として、第１所定時間帯は夜間、第２所定時間帯は昼間
であるとして説明する。
【0113】
遠赤外線画像取得部８０は、遠赤外線画像を入力する（Ｓ１００）。
【0114】
可視光画像生成部９０は、夜間遠赤外線画像と昼間可視光画像を教師データとしてＧＡ
Ｎで機械学習された可視光画像生成ネットワークの生成モデルを用いて、入力された遠赤
外線画像を昼間可視光画像に変換する（Ｓ１１０）。
Ｎで機械学習された可視光画像生成ネットワークの生成モデルを用いて、入力された遠赤
外線画像を昼間可視光画像に変換する（Ｓ１１０）。
【0115】
可視光画像識別部９５は、ＧＡＮで機械学習された可視光画像識別ネットワークの識別
モデルを用いて、変換された昼間可視光画像が正常であるか否かを判定する（Ｓ１２０）
。変換された昼間可視光画像が正常である場合（Ｓ１３０のＹ）、ステップＳ１４０に進
み、変換された昼間可視光画像が正常でない場合（Ｓ１３０のＮ）、ステップＳ１００に
戻る。
モデルを用いて、変換された昼間可視光画像が正常であるか否かを判定する（Ｓ１２０）
。変換された昼間可視光画像が正常である場合（Ｓ１３０のＹ）、ステップＳ１４０に進
み、変換された昼間可視光画像が正常でない場合（Ｓ１３０のＮ）、ステップＳ１００に
戻る。
【0116】
可視光画像識別部９５は、正常と判定された昼間可視光画像を教師データとして教師デ
ータ記憶部１２０に蓄積する（Ｓ１４０）。
ータ記憶部１２０に蓄積する（Ｓ１４０）。
【0117】
物体検出モデル学習部１３０は、教師データとして蓄積された昼間可視光画像を用いて
物体検出モデルを機械学習する（Ｓ１５０）。
物体検出モデルを機械学習する（Ｓ１５０）。
【0118】
【0119】
遠赤外線画像取得部８０は、遠赤外線撮像装置５００によって撮影された遠赤外線画像
を入力する（Ｓ２００）。
を入力する（Ｓ２００）。
【0120】
可視光画像生成部９０は、夜間遠赤外線画像と昼間可視光画像を教師データとしてＧＡ
Ｎで機械学習された可視光画像生成ネットワークの生成モデルを用いて、入力された遠赤
外線画像を昼間可視光画像に変換する（Ｓ２１０）。
Ｎで機械学習された可視光画像生成ネットワークの生成モデルを用いて、入力された遠赤
外線画像を昼間可視光画像に変換する（Ｓ２１０）。
【0121】
可視光画像識別部９５は、ＧＡＮで機械学習された可視光画像識別ネットワークの識別
モデルを用いて、変換された昼間可視光画像が正常であるか否かを判定する（Ｓ２２０）
。変換された昼間可視光画像が正常である場合（Ｓ２３０のＹ）、ステップＳ２４０に進
み、変換された昼間可視光画像が正常でない場合（Ｓ２３０のＮ）、ステップＳ２００に
戻る。
モデルを用いて、変換された昼間可視光画像が正常であるか否かを判定する（Ｓ２２０）
。変換された昼間可視光画像が正常である場合（Ｓ２３０のＹ）、ステップＳ２４０に進
み、変換された昼間可視光画像が正常でない場合（Ｓ２３０のＮ）、ステップＳ２００に
戻る。
【0122】
物体検出部１５０は、物体検出モデルを用いて、正常と判定された昼間可視光画像から
物体を検出する（Ｓ２４０）。画像表示部１６０は、昼間可視光画像において検出された
物体を表示する（Ｓ２５０）。
物体を検出する（Ｓ２４０）。画像表示部１６０は、昼間可視光画像において検出された
物体を表示する（Ｓ２５０）。
【0123】
（変形例１）
実施の形態４では、画像処理装置１００に可視光画像識別部９５を設置したが、可視光
画像識別部９５はなくてもよい。また、機械学習装置４００の画像処理装置１００にのみ
可視光画像識別部９５を設置してもよく、遠赤外線撮像装置５００の画像処理装置１００
にのみ可視光画像識別部９５を設置してもよい。
実施の形態４では、画像処理装置１００に可視光画像識別部９５を設置したが、可視光
画像識別部９５はなくてもよい。また、機械学習装置４００の画像処理装置１００にのみ
可視光画像識別部９５を設置してもよく、遠赤外線撮像装置５００の画像処理装置１００
にのみ可視光画像識別部９５を設置してもよい。
【0124】
（変形例２）
図８の遠赤外線撮像装置５００では、可視光画像識別部９５が本物であると識別した可
視光画像のみから物体検出部１５０が物体検出するとしたが、可視光画像識別部９５が偽
物であると識別した可視光画像からも物体検出部１５０が物体検出してもよい。この時、
可視光画像識別部９５が偽物であると識別した場合の物体検出の信頼度の閾値Ｂを、可視
光画像識別部９５が本物であると識別した場合の物体検出の信頼度の閾値Ａよりも高くす
る。つまり、可視光画像識別部９５が偽物であると識別した場合は物体検出の信頼度が閾
値Ｂ（＞Ａ）よりも高くなければ、物体検出したものと見なさないようにすることで、適
合率を高くしながら、再現率も高くすることができる。
図８の遠赤外線撮像装置５００では、可視光画像識別部９５が本物であると識別した可
視光画像のみから物体検出部１５０が物体検出するとしたが、可視光画像識別部９５が偽
物であると識別した可視光画像からも物体検出部１５０が物体検出してもよい。この時、
可視光画像識別部９５が偽物であると識別した場合の物体検出の信頼度の閾値Ｂを、可視
光画像識別部９５が本物であると識別した場合の物体検出の信頼度の閾値Ａよりも高くす
る。つまり、可視光画像識別部９５が偽物であると識別した場合は物体検出の信頼度が閾
値Ｂ（＞Ａ）よりも高くなければ、物体検出したものと見なさないようにすることで、適
合率を高くしながら、再現率も高くすることができる。
【0125】
また、高再現率が要求される場合には、可視光画像識別部９５が偽物であると識別した
場合の物体検出の信頼度の閾値Ｂと可視光画像識別部９５が本物であると識別した場合の
物体検出の信頼度の閾値Ａの差を小さくし、高適合率が要求される場合には、可視光画像
識別部９５が偽物であると識別した場合の物体検出の信頼度の閾値Ｂと可視光画像識別部
９５が本物であると識別した場合の物体検出の信頼度の閾値Ａの差を大きくしてもよい。
場合の物体検出の信頼度の閾値Ｂと可視光画像識別部９５が本物であると識別した場合の
物体検出の信頼度の閾値Ａの差を小さくし、高適合率が要求される場合には、可視光画像
識別部９５が偽物であると識別した場合の物体検出の信頼度の閾値Ｂと可視光画像識別部
９５が本物であると識別した場合の物体検出の信頼度の閾値Ａの差を大きくしてもよい。
【0126】
また、可視光画像識別部９５が本物である確率を出力する場合には、本物である確率が
高くなるほど物体検出の信頼度の閾値を低くし、本物である確率が低くなるほど物体検出
の信頼度の閾値を高くしてもよい。なお、物体検出の信頼度とは、ある領域内に検出対象
のオブジェクトが含まれる確率の評価値である。
高くなるほど物体検出の信頼度の閾値を低くし、本物である確率が低くなるほど物体検出
の信頼度の閾値を高くしてもよい。なお、物体検出の信頼度とは、ある領域内に検出対象
のオブジェクトが含まれる確率の評価値である。
【0127】
実施の形態４によれば、対象物を正確に認識することが困難である遠赤外線画像から対
象物を正確に認識することが容易である可視光画像を生成してから物体認識や物体検出を
することにより、遠赤外線画像に対しても、高精度に物体認識や物体検出することができ
る。
象物を正確に認識することが容易である可視光画像を生成してから物体認識や物体検出を
することにより、遠赤外線画像に対しても、高精度に物体認識や物体検出することができ
る。
【0128】
また、識別ネットワークの学習済みモデルの識別結果に応じて物体検出ネットワークを
学習することにより、物体検出ネットワークの精度を向上させるように学習させることが
できる。
学習することにより、物体検出ネットワークの精度を向上させるように学習させることが
できる。
【0129】
また、識別ネットワークの学習済みモデルの識別結果に応じて物体検出ネットワークに
より推論することにより、物体検出ネットワークの精度を向上させることができる。また
、識別ネットワークの学習済みモデルの識別確率に応じて物体検出の信頼度の閾値を変更
ことにより、多様なアプリケーションへの対応を容易に行うことができる。
より推論することにより、物体検出ネットワークの精度を向上させることができる。また
、識別ネットワークの学習済みモデルの識別確率に応じて物体検出の信頼度の閾値を変更
ことにより、多様なアプリケーションへの対応を容易に行うことができる。
【0130】
また、可視光カメラが不要となり、遠赤外カメラのみで高精度に物体認識や物体検出す
ることができるため、装置の小型化や軽量化に好適である。
ることができるため、装置の小型化や軽量化に好適である。
【0131】
以上説明した画像処理装置１００、機械学習装置２００、遠赤外線撮像装置３００、機
械学習装置４００、および遠赤外線撮像装置５００の各種の処理は、ＣＰＵやメモリ等の
ハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード
・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュ
ータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム
、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供す
ることも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波
あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
械学習装置４００、および遠赤外線撮像装置５００の各種の処理は、ＣＰＵやメモリ等の
ハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード
・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュ
ータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム
、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供す
ることも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波
あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
【0132】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構
成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例
も本発明の範囲にあることは当業者に理解されるところである。
成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例
も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0133】
１０ 教師データ記憶部、 ２０ 遠赤外線画像教師データ取得部、 ３０ 可視光画
像教師データ取得部、 ４０ 可視光画像生成モデル学習部、 ５０ 学習済みモデル記
憶部、 ６０ 生成モデル、 ７０ 識別モデル、 ８０ 遠赤外線画像取得部、 ８５
遠赤外線画像識別部、 ９０ 可視光画像生成部、 ９５ 可視光画像識別部、 １０
０ 画像処理装置、 １１０ 画像表示部、 １２０ 教師データ記憶部、 １３０ 物
体検出モデル学習部、 １４０ 物体検出モデル記憶部、 １５０ 物体検出部、 １６
０ 画像表示部、 ２００ 機械学習装置、 ３００ 遠赤外線撮像装置、 ４００ 機
械学習装置、 ５００ 遠赤外線撮像装置。
像教師データ取得部、 ４０ 可視光画像生成モデル学習部、 ５０ 学習済みモデル記
憶部、 ６０ 生成モデル、 ７０ 識別モデル、 ８０ 遠赤外線画像取得部、 ８５
遠赤外線画像識別部、 ９０ 可視光画像生成部、 ９５ 可視光画像識別部、 １０
０ 画像処理装置、 １１０ 画像表示部、 １２０ 教師データ記憶部、 １３０ 物
体検出モデル学習部、 １４０ 物体検出モデル記憶部、 １５０ 物体検出部、 １６
０ 画像表示部、 ２００ 機械学習装置、 ３００ 遠赤外線撮像装置、 ４００ 機
械学習装置、 ５００ 遠赤外線撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】