知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-17
(45)【発行日】2025-02-26
(54)【発明の名称】監視カメラ及び監視システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20250218BHJP
H04N 23/76 20230101ALI20250218BHJP
H04N 7/18 20060101ALI20250218BHJP
G06T 7/00 20170101ALI20250218BHJP
【ＦＩ】
H04N23/60 500
H04N23/76
H04N7/18 D
G06T7/00 350B
H04N7/18 N
【請求項の数】
7
(21)【出願番号】P 2021154270
(22)【出願日】2021-09-22
(65)【公開番号】P2023045713
(43)【公開日】2023-04-03
【審査請求日】2023-09-15
(73)【特許権者】
【識別番号】000001122
【氏名又は名称】株式会社国際電気
(74)【代理人】
【識別番号】100093104
【弁理士】
【氏名又は名称】船津 暢宏
(72)【発明者】
【氏名】宇佐美 裕丈
【審査官】堀井 康司
(56)【参考文献】
【文献】特開２００２－２７９５４５（ＪＰ，Ａ）
【文献】特開２０２１－１３２２６７（ＪＰ，Ａ）
【文献】特開２０２０－１７０９２１（ＪＰ，Ａ）
【文献】国際公開第２０１９／０６９５９９（ＷＯ，Ａ１）
【文献】特開昭６１－２９６２０８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２－５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９０－２３／９５９
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ５／５０
(57)【特許請求の範囲】
【請求項1】
撮像した遠赤外線画像データを出力する撮像部と、前記遠赤外線画像データの画像処理を行い、ライブ画像データを出力する画像処理部と、を有する監視カメラであって、予め設定された閾値と前記ライブ画像データの明暗強度を比較して、前記ライブ画像データから熱画像領域を検出し、前記検出された熱画像領域について、予め設定された複数の特徴点に基づいて、重心座標、動きベクトル情報、及び温度情報の特徴量を算出し、前記特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、前記算出された特徴量が虚像の特徴量に相関する場合に前記熱画像領域を虚像と判定し、相関しない場合に前記熱画像領域を実像と判定するキャリブレーション部を備えることを特徴とする監視カメラ。
【請求項2】
撮像した遠赤外線画像データを出力する撮像部と、前記遠赤外線画像データの画像処理を行い、ライブ画像データを出力する画像処理部と、を有する監視カメラであって、前記ライブ画像データから熱画像領域を特定し、前記熱画像領域の特徴量を算出し、前記特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、前記算出された特徴量が虚像の特徴量に相関する場合に前記熱画像領域を虚像と判定し、相関しない場合に前記熱画像領域を実像と判定するキャリブレーション部を備え、
前記キャリブレーション部は、虚像と判定した熱画像領域のゲインを下げて特徴を抑えた補正データを生成するものであり、
前記画像処理部からのライブ画像データと前記補正データとを合成する画像合成部を備えることを特徴とする監視カメラ。
【請求項3】
前記キャリブレーション部は、実像と判定した熱画像領域のゲインを上げて特徴を強調した補正データを生成するものであり、前記画像合成部は、前記画像処理部からのライブ画像データと前記補正データとを合成することを特徴とする請求項２記載の監視カメラ。
【請求項4】
撮像した遠赤外線画像データを出力する撮像部と、前記遠赤外線画像データの画像処理を行い、ライブ画像データを出力する画像処理部と、を有する監視カメラであって、前記ライブ画像データから熱画像領域を特定し、前記熱画像領域の特徴量を算出し、前記特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、前記算出された特徴量が虚像の特徴量に相関する場合に前記熱画像領域を虚像と判定し、相関しない場合に前記熱画像領域を実像と判定するキャリブレーション部を備え、
前記キャリブレーション部は、前記ライブ画像データにおいて近接する熱画像領域が２つある場合に、温度が高い方の熱画像領域の特徴量を第１の特徴量とし、温度が低い方の熱画像領域の特徴量を第２の特徴量とし、前記第１の特徴量を実像として識別判定モデルに入力し、前記識別判定モデルから、前記第１の特徴量に類似した実像の特徴量に対応する虚像の特徴量が出力されると、前記第２の特徴量と前記虚像の特徴量との相関値を求め、前記相関値が第１の閾値以上の場合に、前記温度が低い方の熱画像領域を虚像と判定することを特徴とする監視カメラ。
【請求項5】
前記キャリブレーション部は、虚像と判定した場合でも、当該熱画像領域における温度が第２の閾値以上の場合に、実像と判定することを特徴とする請求項４記載の監視カメラ。
【請求項6】
前記キャリブレーション部は、運用前に、前記第１の特徴量を実像の特徴量、前記第２の特徴量を虚像の特徴量として対応付けて記憶し、記憶された実像の特徴量及び虚像の特徴量の組を用いて機械学習させて、前記識別判定モデルを生成することを特徴とする請求項４又は５記載の監視カメラ。
【請求項7】
請求項２乃至５のいずれか記載の監視カメラと、前記監視カメラから出力されたライブ画像データを表示して画像処理を行う映像装置とを備えた監視システムであって、前記映像装置が、予め設定された閾値と前記画像データの明暗強度を比較して、前記ライブ画像データから熱画像領域を検出し、前記検出された熱画像領域について、予め設定された複数の特徴点に基づいて、重心座標、動きベクトル情報、及び温度情報の特徴量を算出し、前記特徴量と外部からの実像又は虚像の判定結果とを対応付けて機械学習させて、前記特徴量を基に実像に対する虚像を推定するための識別判定モデルを生成し、前記識別判定モデルを前記監視カメラのキャリブレーション部に設定することを特徴とする監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠赤外線を用いた監視カメラ及び映像装置に係り、特に輻射熱による虚像の影響を抑え、鮮明な遠赤外線画像を提供して、誤認識や誤検知を防ぐことができる監視カメラ及び映像装置に関する。
【背景技術】
【0002】
［先行技術の説明］
近年、夜間駐車中の車への器物損壊、鉄道車両へのいたずらといった事件が増えており、不法侵入者の行動をいち早く検知し、アラームを発報する等の対策が急務になってきた。
特に、バスや鉄道などの公共インフラでは、安全・安心に加え、スムーズな運行が求められるため、立ち入り禁止区域への不審者の侵入や踏切内の状況監視など、昼夜を問わず２４時間稼働する監視システムが構築されている。
近年、夜間駐車中の車への器物損壊、鉄道車両へのいたずらといった事件が増えており、不法侵入者の行動をいち早く検知し、アラームを発報する等の対策が急務になってきた。
特に、バスや鉄道などの公共インフラでは、安全・安心に加え、スムーズな運行が求められるため、立ち入り禁止区域への不審者の侵入や踏切内の状況監視など、昼夜を問わず２４時間稼働する監視システムが構築されている。
【0003】
従来の監視システムでは、波長領域３８０～７８０nmの可視光線を撮像する可視光センサが多く使われている。しかし、可視光センサは霧や霞に弱く、夜間の監視には光源となる照明設備が必要であること、また、逆光や列車本体からの反射光が原因で映像が不鮮明になり、正しい検知が難しいといった指摘がある。
【0004】
そのような状況から、影になるような場所やトンネル内を移動する車両や歩行者を検知対象とする場合には、温度（熱）を感知する遠赤外線センサを用いた暗視監視システムが使われるケースも増えている。
遠赤外線は、霧を透過するなどの特徴があり、遠赤外線センサを用いることで、光源がなくても、暗闇・煙・霧といった使用環境に左右されずに物体を検知できるといったメリットがある。
遠赤外線は、霧を透過するなどの特徴があり、遠赤外線センサを用いることで、光源がなくても、暗闇・煙・霧といった使用環境に左右されずに物体を検知できるといったメリットがある。
【0005】
［従来の監視システム：図７］
従来の監視システムの構成について図７を用いて説明する。図７は、従来の監視システムの概略構成図である。
図７に示すように、従来の監視システムは、暗視監視システムであり、遠赤外線カメラ４と、監視用モニタ３とを備えてある。
更に、遠赤外線カメラ４は、撮像部４１と、画像処理部４２と、出力部４３とを備えている。
従来の監視システムの構成について図７を用いて説明する。図７は、従来の監視システムの概略構成図である。
図７に示すように、従来の監視システムは、暗視監視システムであり、遠赤外線カメラ４と、監視用モニタ３とを備えてある。
更に、遠赤外線カメラ４は、撮像部４１と、画像処理部４２と、出力部４３とを備えている。
【0006】
遠赤外線カメラ４の撮像部４１は、遠赤外線センサであり、遠赤外線を検出して温度に応じた信号（遠赤外線画像データ）を出力する。
画像処理部４２は、撮像部２２からの遠赤外線画像データに画像処理を施し、表示用の画像データ（ライブ画像データ）を出力する。
出力部４３は、ライブ画像データを監視用モニタ３に適したフォーマットに変換して、出力する。
画像処理部４２は、撮像部２２からの遠赤外線画像データに画像処理を施し、表示用の画像データ（ライブ画像データ）を出力する。
出力部４３は、ライブ画像データを監視用モニタ３に適したフォーマットに変換して、出力する。
【0007】
監視用モニタ３は、監視カメラ２からのライブ画像データに基づいて画像を表示する。
遠赤外線カメラ４で撮影した画像は、温度差に基づく白黒の明暗画像であり、高温部は高輝度に（白っぽく）、低温部は低輝度に（黒っぽく）表示される。
遠赤外線カメラ４で撮影した画像は、温度差に基づく白黒の明暗画像であり、高温部は高輝度に（白っぽく）、低温部は低輝度に（黒っぽく）表示される。
【0008】
そして、従来の暗視監視システムでは、遠赤外線カメラ４の撮像部４１で撮像された遠赤外線画像データは、画像処理部４２で各種画像処理が施されてライブ画像データが生成され、ライブ画像データは、出力部４３を介して監視用モニタ３に出力され、監視用モニタ３において遠赤外線監視画像が表示される。
尚、図示は省略するが、遠赤外線カメラ４には制御部が設けられており、制御部が、ライブ画像データに基づいて異常（侵入者等）を検出すると、監視用モニタ３等にアラームを発報する。
尚、図示は省略するが、遠赤外線カメラ４には制御部が設けられており、制御部が、ライブ画像データに基づいて異常（侵入者等）を検出すると、監視用モニタ３等にアラームを発報する。
【0009】
［輻射熱による虚像］
遠赤外線センサによる監視画像は、可視光センサに比べ解像度が低く、温度差に基づく白黒の明暗画像となるため、周囲と温度差のない物体は鮮明に識別することは難しい。
また、周囲温度に対して高い熱を有する物体の場合には、発熱体が放射する熱の輻射により、実際には実在しない虚像が画面に映り込むことがある。例えば、被写体が移動した場合、移動前に被写体が居た場所にも熱が残ってそれが虚像となる。
虚像が映り込むことで、誤認識や誤検知が発生する恐れがある。
遠赤外線センサによる監視画像は、可視光センサに比べ解像度が低く、温度差に基づく白黒の明暗画像となるため、周囲と温度差のない物体は鮮明に識別することは難しい。
また、周囲温度に対して高い熱を有する物体の場合には、発熱体が放射する熱の輻射により、実際には実在しない虚像が画面に映り込むことがある。例えば、被写体が移動した場合、移動前に被写体が居た場所にも熱が残ってそれが虚像となる。
虚像が映り込むことで、誤認識や誤検知が発生する恐れがある。
【0010】
［関連技術］
尚、赤外線カメラを用いた監視システムの従来技術としては、特開２０１７－９７７０２号公報「監視システムとその監視制御装置」（特許文献１）がある。
特許文献１には、可視画像データと赤外線画像データの両方を取得し、監視対象に温度異常（火災）が発生しているか否かを検出する監視システムが記載されている。
尚、赤外線カメラを用いた監視システムの従来技術としては、特開２０１７－９７７０２号公報「監視システムとその監視制御装置」（特許文献１）がある。
特許文献１には、可視画像データと赤外線画像データの両方を取得し、監視対象に温度異常（火災）が発生しているか否かを検出する監視システムが記載されている。
【先行技術文献】
【特許文献】
【0011】
【文献】特開２０１７－９７７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
上述したように、従来の遠赤外線センサを用いた監視カメラでは、発熱体が放射する熱の輻射により、実際には存在しない虚像が画面に映り込み、誤認識や誤検知を引き起こす恐れがあるという問題点があった。
【0013】
尚、特許文献１には、ライブ画像データ中の熱画像領域の特徴量を算出し、当該特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された熱画像領域の特徴量が虚像の特徴量に相関する場合に、特定された熱画像領域を虚像と判定することは記載されていない。
【0014】
本発明は上記実状に鑑みて為されたもので、遠赤外線センサを用い、輻射熱による虚像の影響を抑え、誤認識や誤検知を防ぐことができる監視カメラ及び映像装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
上記従来例の問題点を解決するための本発明は、撮像した遠赤外線画像データを出力する撮像部と、遠赤外線画像データの画像処理を行い、ライブ画像データを出力する画像処理部と、を有する監視カメラであって、予め設定された閾値とライブ画像データの明暗強度を比較して、ライブ画像データから熱画像領域を検出し、検出された熱画像領域について、予め設定された複数の特徴点に基づいて、重心座標、動きベクトル情報、及び温度情報の特徴量を算出し、特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された特徴量が虚像の特徴量に相関する場合に熱画像領域を虚像と判定し、相関しない場合に熱画像領域を実像と判定するキャリブレーション部を備えることを特徴としている。
【0016】
また、本発明は、撮像した遠赤外線画像データを出力する撮像部と、遠赤外線画像データの画像処理を行い、ライブ画像データを出力する画像処理部と、を有する監視カメラであって、ライブ画像データから熱画像領域を特定し、熱画像領域の特徴量を算出し、特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された特徴量が虚像の特徴量に相関する場合に熱画像領域を虚像と判定し、相関しない場合に熱画像領域を実像と判定するキャリブレーション部を備え、キャリブレーション部は、虚像と判定した熱画像領域のゲインを下げて特徴を抑えた補正データを生成するものであり、画像処理部からのライブ画像データと補正データとを合成する画像合成部を備えることを特徴としている。
【0017】
また、本発明は、上記監視カメラにおいて、キャリブレーション部は、実像と判定した熱画像領域のゲインを上げて特徴を強調した補正データを生成するものであり、画像合成部は、画像処理部からのライブ画像データと前記補正データとを合成することを特徴としている。
【0018】
また、本発明は、撮像した遠赤外線画像データを出力する撮像部と、遠赤外線画像データの画像処理を行い、ライブ画像データを出力する画像処理部と、を有する監視カメラであって、ライブ画像データから熱画像領域を特定し、熱画像領域の特徴量を算出し、特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された特徴量が虚像の特徴量に相関する場合に熱画像領域を虚像と判定し、相関しない場合に熱画像領域を実像と判定するキャリブレーション部を備え、キャリブレーション部は、ライブ画像データにおいて近接する熱画像領域が２つある場合に、温度が高い方の熱画像領域の特徴量を第１の特徴量とし、温度が低い方の熱画像領域の特徴量を第２の特徴量とし、第１の特徴量を実像として識別判定モデルに入力し、識別判定モデルから、第１の特徴量に類似した実像の特徴量に対応する虚像の特徴量が出力されると、第２の特徴量と虚像の特徴量との相関値を求め、相関値が第１の閾値以上の場合に、温度が低い方の熱画像領域を虚像と判定することを特徴としている。
【0019】
また、本発明は、上記監視カメラにおいて、キャリブレーション部は、虚像と判定した場合でも、当該熱画像領域における温度が第２の閾値以上の場合に、実像と判定することを特徴としている。
【0020】
また、本発明は、上記監視カメラにおいて、キャリブレーション部は、運用前に、第１の特徴量を実像の特徴量、第２の特徴量を虚像の特徴量として対応付けて記憶し、記憶された実像の特徴量及び虚像の特徴量の組を用いて機械学習させて、識別判定モデルを生成することを特徴としている。
【0021】
また、本発明は、上記いずれか記載の監視カメラと、監視カメラから出力されたライブ画像データを表示して画像処理を行う映像装置とを備えた監視システムであって、
映像装置が、予め設定された閾値と画像データの明暗強度を比較して、ライブ画像データから熱画像領域を検出し、検出された熱画像領域について、予め設定された複数の特徴点に基づいて、重心座標、動きベクトル情報、及び温度情報の特徴量を算出し、特徴量と外部からの実像又は虚像の判定結果とを対応付けて機械学習させて、特徴量を基に実像に対する虚像を推定するための識別判定モデルを生成し、識別判定モデルを監視カメラのキャリブレーション部に設定することを特徴としている。
映像装置が、予め設定された閾値と画像データの明暗強度を比較して、ライブ画像データから熱画像領域を検出し、検出された熱画像領域について、予め設定された複数の特徴点に基づいて、重心座標、動きベクトル情報、及び温度情報の特徴量を算出し、特徴量と外部からの実像又は虚像の判定結果とを対応付けて機械学習させて、特徴量を基に実像に対する虚像を推定するための識別判定モデルを生成し、識別判定モデルを監視カメラのキャリブレーション部に設定することを特徴としている。
【発明の効果】
【0022】
本発明によれば、撮像した遠赤外線画像データを出力する撮像部と、遠赤外線画像データの画像処理を行い、ライブ画像データを出力する画像処理部と、を有する監視カメラであって、予め設定された閾値とライブ画像データの明暗強度を比較して、ライブ画像データから熱画像領域を検出し、検出された熱画像領域について、予め設定された複数の特徴点に基づいて、重心座標、動きベクトル情報、及び温度情報の特徴量を算出し、特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された特徴量が虚像の特徴量に相関する場合に熱画像領域を虚像と判定し、相関しない場合に熱画像領域を実像と判定するキャリブレーション部を備える監視カメラとしているので、ライブ画像データにおける熱画像領域が実像であるか虚像であるかを判定することができ、虚像の熱画像領域が目立たない画像処理を施すことで、虚像による誤認識や誤検知を防ぐことができる効果がある。
【0023】
また、本発明によれば、撮像した遠赤外線画像データを出力する撮像部と、遠赤外線画像データの画像処理を行い、ライブ画像データを出力する画像処理部と、を有する監視カメラであって、ライブ画像データから熱画像領域を特定し、熱画像領域の特徴量を算出し、特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された特徴量が虚像の特徴量に相関する場合に熱画像領域を虚像と判定し、相関しない場合に熱画像領域を実像と判定するキャリブレーション部を備え、キャリブレーション部は、虚像と判定した熱画像領域のゲインを下げて特徴を抑えた補正データを生成するものであり、画像処理部からのライブ画像データと補正データとを合成する画像合成部を備える監視カメラとしているので、合成後の画像では虚像が目立たなくなり、虚像による誤認識や誤検知を防ぐことができる効果がある。
【0024】
また、本発明によれば、キャリブレーション部は、実像と判定した熱画像領域のゲインを上げて特徴を強調した補正データを生成するものであり、画像合成部は、画像処理部からのライブ画像データと補正データとを合成する上記監視カメラとしているので、合成後の画像では実像が明瞭に表示され、監視者に注意喚起を促すことができる効果がある。
【図面の簡単な説明】
【0025】
【図1】本監視システムの説明図である。
【図2】撮影シーンの例を示す説明図である。
【図3】動体検知部２１で取得される特徴量を示す説明図である。
【図4】特徴量テーブルを示す説明図である。
【図5】運用時の動体検知部２１の処理を示すフローチャートである。
【図6】運用時の制御部２２の校正処理を示すフローチャートである。
【図7】従来の監視システムの概略構成図である。
【発明を実施するための形態】
【0026】
本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る監視カメラ（本監視カメラ）は、遠赤外線センサを備えたカメラであり、虚像の影響を抑える校正処理を行うキャリブレーション部を設け、キャリブレーション部が、画像処理部からのライブ画像データから熱画像領域を特定して、当該熱画像領域の特徴量を算出し、当該特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された熱画像領域の特徴量が虚像の特徴量に相関する場合に、特定された熱画像領域を虚像と判定し、相関しない場合に当該熱画像領域を実像と判定するものであり、ライブ画像データにおける熱画像領域が実像であるか虚像であるかを判定することができ、虚像を目立たなくするような画像処理を施すことで、虚像による誤認識や誤検知を防ぐことができるものである。
［実施の形態の概要］
本発明の実施の形態に係る監視カメラ（本監視カメラ）は、遠赤外線センサを備えたカメラであり、虚像の影響を抑える校正処理を行うキャリブレーション部を設け、キャリブレーション部が、画像処理部からのライブ画像データから熱画像領域を特定して、当該熱画像領域の特徴量を算出し、当該特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された熱画像領域の特徴量が虚像の特徴量に相関する場合に、特定された熱画像領域を虚像と判定し、相関しない場合に当該熱画像領域を実像と判定するものであり、ライブ画像データにおける熱画像領域が実像であるか虚像であるかを判定することができ、虚像を目立たなくするような画像処理を施すことで、虚像による誤認識や誤検知を防ぐことができるものである。
【0027】
また、本監視カメラは、キャリブレーション部が、虚像と判定した熱画像領域のゲインを下げて特徴を抑えた校正データを生成し、画像合成部が、画像処理部からのライブ画像データと補正データとを合成するようにしているので、虚像部分が目立たないようマスクした画像を表示させることができ、虚像の映り込みを低減し、誤認識や誤検知を防ぐことができるものである。
【0028】
［本監視カメラを備えた監視システム：図１］
本監視カメラを備えた監視システム（本監視システム）について、図１を用いて説明する。図１は、本監視システムの説明図である。
図１に示すように、本監視システムは、図７に示した従来の監視システムと同様に、遠赤外線カメラ（本監視カメラ）１と、監視用モニタ３とを備えている。監視用モニタ３は、従来と同様である。
本監視カメラを備えた監視システム（本監視システム）について、図１を用いて説明する。図１は、本監視システムの説明図である。
図１に示すように、本監視システムは、図７に示した従来の監視システムと同様に、遠赤外線カメラ（本監視カメラ）１と、監視用モニタ３とを備えている。監視用モニタ３は、従来と同様である。
【0029】
［遠赤外線カメラの構成：図１］
遠赤外線カメラ１の構成について、図１を用いて具体的に説明する。
遠赤外線カメラ１は、撮像部１１と、画像処理部１２と、遅延調整部１３と、画像合成部１４と、出力部１５と、キャリブレーション部１６とを備えている。
遠赤外線カメラ１の構成について、図１を用いて具体的に説明する。
遠赤外線カメラ１は、撮像部１１と、画像処理部１２と、遅延調整部１３と、画像合成部１４と、出力部１５と、キャリブレーション部１６とを備えている。
【0030】
撮像センサ１１は、従来と同様の遠赤外線センサであり、遠赤外線による撮像を行って遠赤外線画像データを出力する。
画像処理部１２は、従来と同様であり、入力された遠赤外線画像データに対して、視認性を高めるための各種画像処理を行ってライブ画像データを出力する。画像処理としては、ノイズ除去、キズ補正、ガンマ補正等の処理がある。
画像処理部１２は、従来と同様であり、入力された遠赤外線画像データに対して、視認性を高めるための各種画像処理を行ってライブ画像データを出力する。画像処理としては、ノイズ除去、キズ補正、ガンマ補正等の処理がある。
【0031】
遅延調整部１３は、画像処理部１２から出力されて２つに分岐されたライブ画像データの一方を入力して、後述するキャリブレーション部１６における処理に要する時間だけ遅延して出力する。
画像合成部１４は、キャリブレーション部１６からの校正データ（キャリブレーションデータ、補正データ）と、遅延調整部１３からの遅延されたライブ画像データとを合成して、合成遠赤外線画像データを出力する。
後述するように、校正データを合成することにより、虚像の影響を抑えたり、実像を目立つようにして注意喚起することができるものである。
出力部１５は、入力された合成遠赤外線画像データにヘッダ等を付加して所定のフォーマットに変換し、監視用モニタ３に出力する。
画像合成部１４は、キャリブレーション部１６からの校正データ（キャリブレーションデータ、補正データ）と、遅延調整部１３からの遅延されたライブ画像データとを合成して、合成遠赤外線画像データを出力する。
後述するように、校正データを合成することにより、虚像の影響を抑えたり、実像を目立つようにして注意喚起することができるものである。
出力部１５は、入力された合成遠赤外線画像データにヘッダ等を付加して所定のフォーマットに変換し、監視用モニタ３に出力する。
【0032】
キャリブレーション部１６は、本監視カメラの特徴部分であり、分岐された他方のライブ画像データに対して、被写体の輻射熱による虚像がある場合には、その影響を低減するための校正データを生成する。
また、虚像ではなく被写体の実像が映る場合には、より鮮明に表示されるよう、校正データを生成する。
図１に示すように、キャリブレーション部１６は、動体検知部２１と、制御部２２と、記憶部２３とを備えている。
また、虚像ではなく被写体の実像が映る場合には、より鮮明に表示されるよう、校正データを生成する。
図１に示すように、キャリブレーション部１６は、動体検知部２１と、制御部２２と、記憶部２３とを備えている。
【0033】
動体検知部２１は、他方のライブ画像データから、周囲に比べて温度が高い領域（熱画像領域）を検出すると、制御部２２に対してアラーム発報を促す。
それと共に、動体検知部２１は、情報検出された熱画像領域について、当該熱画像領域の特徴を表す複数の項目を算出して特徴量とし、熱画像領域に１対１に対応付けて、アラーム発報の指示と共に制御部２２に出力する。
熱画像領域が１つではなく、複数検出された場合には、例えば、検出順に熱画像領域１、熱画像領域２のように番号を付して区別し、それぞれの特徴量を算出する。
それと共に、動体検知部２１は、情報検出された熱画像領域について、当該熱画像領域の特徴を表す複数の項目を算出して特徴量とし、熱画像領域に１対１に対応付けて、アラーム発報の指示と共に制御部２２に出力する。
熱画像領域が１つではなく、複数検出された場合には、例えば、検出順に熱画像領域１、熱画像領域２のように番号を付して区別し、それぞれの特徴量を算出する。
【0034】
制御部２２は、動体検知部２１からアラーム発報の指示が入力されると、アラームを発報して、所定の通知先に異常を報知する。
また、本監視カメラの特徴として、制御部２２は、ライブ画像データで検出された熱画像領域が、実像であるか虚像であるか判別するための識別判定モデルを備えており、動体検知部２１から入力された特徴量を識別判定モデルに入力して、当該モデルの出力に基づいて対応する熱画像領域が実像か虚像かを判定する。
また、本監視カメラの特徴として、制御部２２は、ライブ画像データで検出された熱画像領域が、実像であるか虚像であるか判別するための識別判定モデルを備えており、動体検知部２１から入力された特徴量を識別判定モデルに入力して、当該モデルの出力に基づいて対応する熱画像領域が実像か虚像かを判定する。
【0035】
識別判定モデルは、設置場所や被写体の特性に応じて機械学習を行った学習済みのモデルであり、本監視システムが設置された際に、運用前の準備段階として、想定される様々なシーンについて熱画像領域の特徴量及び実像／虚像の情報を入力して学習することで生成される。
具体的には、ライブ画像データを表示する映像装置を用い、監視者がライブ画像データを見て、そこに表示される熱画像領域が実像か虚像かを判定し、判定結果を熱画像領域に対応付けて制御部２２に設定する。
運用前の準備段階における識別判定モデルの生成については後述する。
具体的には、ライブ画像データを表示する映像装置を用い、監視者がライブ画像データを見て、そこに表示される熱画像領域が実像か虚像かを判定し、判定結果を熱画像領域に対応付けて制御部２２に設定する。
運用前の準備段階における識別判定モデルの生成については後述する。
【0036】
更に、制御部２２は、熱画像領域が実像であるか虚像であるかに応じて、監視用モニタ３に表示される画像がより良好になるよう、ライブ画像データを校正する校正処理を行う。
具体的には、制御部２２は、熱画像領域が虚像であると判定した場合には、当該虚像が目立たないように、周辺温度と同程度の温度帯の明暗強度に変換した校正データを生成して出力する。
逆に、熱画像領域が実像であると判定した倍には、制御部２２は、監視者の注視を促すために、明暗強度を上げて目立つように変換した校正データを生成して出力する。
具体的には、制御部２２は、熱画像領域が虚像であると判定した場合には、当該虚像が目立たないように、周辺温度と同程度の温度帯の明暗強度に変換した校正データを生成して出力する。
逆に、熱画像領域が実像であると判定した倍には、制御部２２は、監視者の注視を促すために、明暗強度を上げて目立つように変換した校正データを生成して出力する。
【0037】
記憶部２３は、識別判定モデル等、制御部２２で実行されるプログラムや各種データを記憶し、特に、識別判定モデルの機械学習や運用に用いられるライブ画像データや、後述する特徴量、実像／虚像等の情報を記憶する。特徴量、実像／虚像等の情報は、記憶部２３の特徴量テーブルに記憶される。
【0038】
［識別判定モデルの生成］
本監視カメラでは、カメラ設置時に、設置場所の環境や想定される異常（不審者等）に応じて学習前のモデルに大量の情報を与えて機械学習させ、習識別判定モデルの生成を行う。
まず、設置時に、これまでにデータベース化されてきた「うろつき、立ち止まり、通り抜け」といった不審者の行動パターンを不審者役の被験者に行わせ、これを遠赤外線カメラ１によって撮影する。その際、時間帯や気象条件、被験者の行動パターン等の各種条件を変えて多くの遠赤外線画像を撮影する。
本監視カメラでは、カメラ設置時に、設置場所の環境や想定される異常（不審者等）に応じて学習前のモデルに大量の情報を与えて機械学習させ、習識別判定モデルの生成を行う。
まず、設置時に、これまでにデータベース化されてきた「うろつき、立ち止まり、通り抜け」といった不審者の行動パターンを不審者役の被験者に行わせ、これを遠赤外線カメラ１によって撮影する。その際、時間帯や気象条件、被験者の行動パターン等の各種条件を変えて多くの遠赤外線画像を撮影する。
【0039】
そして、撮影した遠赤外線画像（ライブ画像データ）から、シーンごとに熱画像領域を検出して、撮影に立ち会った監視者が目視によって各熱画像領域が実像か虚像かを判定し、各熱画像領域の特徴量と判断結果とを対応付けて、記憶部２３の特徴量テーブルに記憶し、制御部２２が、モデルに機械学習させることにより識別判定モデルを生成する。
【0040】
尚、図示は省略するが、監視者は、本遠赤外線カメラ１の出力部１５に接続する映像装置を操作して、遠赤外線画像を目視し、判定結果を本監視カメラに入力する。映像装置は、基本的に、制御部、記憶部、インタフェース部、操作部、表示部を備え、ネットワークに接続するコンピュータである。
【0041】
また、識別判定モデルの機械学習を本監視カメラの内部で行うのではなく、映像装置で行って、学習済みの識別判定モデルを本監視カメラのキャリブレーション部１６に設定するようにしてもよい。
映像装置で識別判定モデルを生成することにより、本監視カメラの処理を大幅に低減することができるものである。
映像装置で識別判定モデルを生成することにより、本監視カメラの処理を大幅に低減することができるものである。
【0042】
［撮影シーンの例：図２］
次に、識別判定モデル生成における撮影シーンの例と、撮影された遠赤外線画像における虚像の映り込みについて図２を用いて説明する。図２は、撮影シーンの例を示す説明図である。
図２に示すように、遠赤外線カメラ１が運用場所に設置され、侵入者役の被験者５１が侵入してくる様子を撮影する。
被験者５１が移動すると、移動前に居た空間には被験者５１の輻射熱により虚像５２が残る。
そのため、監視用モニタ３に表示される遠赤外線画像では、実像である熱画像領域１と虚像である熱画像領域２が両方表示されることになる。
次に、識別判定モデル生成における撮影シーンの例と、撮影された遠赤外線画像における虚像の映り込みについて図２を用いて説明する。図２は、撮影シーンの例を示す説明図である。
図２に示すように、遠赤外線カメラ１が運用場所に設置され、侵入者役の被験者５１が侵入してくる様子を撮影する。
被験者５１が移動すると、移動前に居た空間には被験者５１の輻射熱により虚像５２が残る。
そのため、監視用モニタ３に表示される遠赤外線画像では、実像である熱画像領域１と虚像である熱画像領域２が両方表示されることになる。
【0043】
本監視カメラでは、このように表示された熱画像領域１、熱画像領域２について、監視者が目視により、実像／虚像の判定を行う。ここでは、熱画像領域１が実像であり、熱画像領域２は熱画像領域１に対応した虚像であると判定している。
そして、監視者が映像装置から判定結果を入力すると、当該判定結果が遠赤外線カメラ１に送出され、後述する特徴量と共に判定結果が制御部２２に設定される。
そして、監視者が映像装置から判定結果を入力すると、当該判定結果が遠赤外線カメラ１に送出され、後述する特徴量と共に判定結果が制御部２２に設定される。
【0044】
また、監視者の目視による判定の代わりに、可視光センサと遠赤外センサを具備する２眼カメラを使い、同一時刻に、同一画角で撮影した可視、遠赤線それぞれの画像の特徴量を検出し、両特徴量を比較して、遠赤外線画像に映りこむ不自然な発熱体を虚像と判断して、判定結果を本監視カメラの制御部２２に入力してもよい。
【0045】
更にまた、識別判定モデルの生成を、本監視カメラに接続された映像装置で行う場合には、本監視カメラから、ライブ画像データに加えて、特徴量１、特徴量２の情報も映像装置に出力し、映像装置において実像／虚像の判定結果を付して記憶しておき、記憶された情報に基づいて識別判定モデルを機械学習させる。
【0046】
［特徴量の取得：図３］
次に、動体検知部２１における特徴量の取得について図３を用いて説明する。図３は、動体検知部２１で取得される特徴量を示す説明図である。
動体検知部２１は、被験者を撮影した各行動シーンのライブ画像データが入力されると、まず、熱画像領域を検出する。熱画像領域の検出には閾値判定法を用い、予め設定された閾値よりも明暗強度が強く表れる（明るく表示される、輝度が高い）領域を熱画像領域とする。十分な明暗強度がある熱画像領域は、例えば人物の実像であることが想定されるため、最初に検知される熱画像領域は、人物の実像であることが多い。
１画面内に複数の熱画像領域が検出される場合には、例えば、検出順に熱画像領域１、熱画像領域２等の識別可能な名称を付しておく。
次に、動体検知部２１における特徴量の取得について図３を用いて説明する。図３は、動体検知部２１で取得される特徴量を示す説明図である。
動体検知部２１は、被験者を撮影した各行動シーンのライブ画像データが入力されると、まず、熱画像領域を検出する。熱画像領域の検出には閾値判定法を用い、予め設定された閾値よりも明暗強度が強く表れる（明るく表示される、輝度が高い）領域を熱画像領域とする。十分な明暗強度がある熱画像領域は、例えば人物の実像であることが想定されるため、最初に検知される熱画像領域は、人物の実像であることが多い。
１画面内に複数の熱画像領域が検出される場合には、例えば、検出順に熱画像領域１、熱画像領域２等の識別可能な名称を付しておく。
【0047】
そして、動体検知部２１は、検出された熱画像領域について、予め設定された複数の特徴点を検出する。図３の例では、熱画像領域１について、特徴点１ａ，１ｂ，１ｃ，１ｄが検出され、熱画像領域２について、特徴点２ａ，２ｂ，２ｃ，２ｄが検出されている。
【0048】
次に、動体検知部２１は、それらの特徴点から特徴量を算出する。
特徴量としては、４つの特徴点から求めた「重心座標」、重心座標の移動方向及び移動量を示す「動きベクトル情報」、そして、４つの特徴点を結んだエリアの明暗強度を平均して得られる「温度情報」の３つの情報を算出する。
そして、算出された特徴量を、各熱画像領域の特徴量として記憶部２３に記憶する。
ここでは、熱画像領域１に対応する特徴量を「特徴量１」、熱画像領域２に対応する特徴量を「特徴量２」としている。
尚、動体検知部２１は、検出された熱画像領域が１つの場合には、熱画像領域１の特徴量のみを算出して記憶部２３の特徴量テーブルに記憶する。
特徴量としては、４つの特徴点から求めた「重心座標」、重心座標の移動方向及び移動量を示す「動きベクトル情報」、そして、４つの特徴点を結んだエリアの明暗強度を平均して得られる「温度情報」の３つの情報を算出する。
そして、算出された特徴量を、各熱画像領域の特徴量として記憶部２３に記憶する。
ここでは、熱画像領域１に対応する特徴量を「特徴量１」、熱画像領域２に対応する特徴量を「特徴量２」としている。
尚、動体検知部２１は、検出された熱画像領域が１つの場合には、熱画像領域１の特徴量のみを算出して記憶部２３の特徴量テーブルに記憶する。
【0049】
同一画面内に複数の熱画像領域が検出され、一方（ここでは熱画像領域２とする）の熱画像領域が、他方（熱画像領域１）とは明暗強度は異なるものの、熱画像領域１に近接し、熱画像領域１の動きにリンクして動く（動きベクトルがほぼ等しい）場合には、熱画像領域２は熱画像領域１の虚像であることが推定される。
【0050】
本監視カメラでは、監視者の目視により、熱画像領域２が熱画像領域１の虚像であることが判定されると、動体検知部２１は、当該シーンの特徴量１と特徴量２とを対応付け、特徴量１には「実像」、特徴量２には「虚像」のラベルを付して記憶する。
実像と虚像の判定は、目視に限らず、時系列で前後にあるフレーム画像との差分に基づいて判定してもよい。
実像と虚像の判定は、目視に限らず、時系列で前後にあるフレーム画像との差分に基づいて判定してもよい。
【0051】
これにより、当該シーンのライブ画像データにおいて、特徴量１を備えた実像の熱画像領域１が、特徴量２を備えた虚像の熱画像領域２を伴っていたことを示す情報が記憶されるものである。
尚、熱画像領域が２つ検出されても、両方とも実像の場合（侵入者が２人の場合等）には、互いの特徴点の配置や動きに相関はない。
尚、熱画像領域が２つ検出されても、両方とも実像の場合（侵入者が２人の場合等）には、互いの特徴点の配置や動きに相関はない。
【0052】
そして、多くの撮影シーンについて、熱画像領域１及び熱画像領域２の特徴量の算出及び実像／虚像のラベル付けを行ってデータベースに蓄積し、特徴量１と特徴量２との相関関係（傾向）を機械学習する。
【0053】
つまり、識別判定モデルは、実像である熱画像領域１の特徴量に対応した虚像の特徴量を学習しており、運用時には、発熱体の実像の特徴量（特徴量１）が入力された場合に、当該発熱体に起因して映る可能性が高い虚像の特徴量２（モデル特徴量２）を出力するものである。
そして、本監視カメラでは、キャリブレーション部１６の制御部２２が、当該学習済みの識別判定モデルを用いて、ライブ画像データに映る熱画像領域について、実像か虚像かを判定している。
そして、本監視カメラでは、キャリブレーション部１６の制御部２２が、当該学習済みの識別判定モデルを用いて、ライブ画像データに映る熱画像領域について、実像か虚像かを判定している。
【0054】
［別の識別判定モデルの生成］
次に、別の識別判定モデルの生成について説明する。
別の識別判定モデルは、行動パターン判定モデルと、虚像判定モデルとを備えている。
行動パターン判定モデルは、上述したように、うろつき・立ち止まり・通り抜けといった複数の行動パターンの特徴量１を学習しており、運用時に入力された実像の特徴量（特徴量１）がどの行動パターンに該当するかを出力される値（確率）で特定する。
次に、別の識別判定モデルの生成について説明する。
別の識別判定モデルは、行動パターン判定モデルと、虚像判定モデルとを備えている。
行動パターン判定モデルは、上述したように、うろつき・立ち止まり・通り抜けといった複数の行動パターンの特徴量１を学習しており、運用時に入力された実像の特徴量（特徴量１）がどの行動パターンに該当するかを出力される値（確率）で特定する。
【0055】
虚像判定モデルは、行動パターン毎に設けられたもので、実像に対応する虚像の特徴量（特徴量２）を学習しており、入力された特徴量２が、行動パターンの特定で用いられた特徴量１の虚像である確率を出力する。
運用時には、虚像判定モデルから出力される確率の値が特定の閾値以上である場合に、当該特徴量２を持つ熱画像領域は特徴量１を持つ熱画像領域の虚像であると判定される。
運用時には、虚像判定モデルから出力される確率の値が特定の閾値以上である場合に、当該特徴量２を持つ熱画像領域は特徴量１を持つ熱画像領域の虚像であると判定される。
【0056】
別の識別判定モデルを映像装置で生成する場合、本監視カメラで撮影されたライブ画像データと、後述する特徴量テーブルの情報（特徴量１，特徴量２，実像／虚像の判定結果）を入力して、ＡＩモデルを機械学習させ、学習済みの行動パターン判定モデルと、それぞれの行動パターンに対応した学習済みの虚像判定モデルを生成する。学習済みの別の識別判定モデルとは、これらの学習済みモデルを全て含むものである。
そして、映像装置は、学習済みの別の識別判定モデルを本監視カメラのキャリブレーション部１６に移植（記憶）する。これにより、別の識別判定モデル（学習済み）が運用時に利用可能となる。
そして、映像装置は、学習済みの別の識別判定モデルを本監視カメラのキャリブレーション部１６に移植（記憶）する。これにより、別の識別判定モデル（学習済み）が運用時に利用可能となる。
【0057】
［特徴量テーブル：図４］
記憶部２３に設けられた特徴量テーブルについて図４を用いて説明する。図４は、特徴量テーブルを示す説明図である。
図４に示すように、特徴量テーブルでは、撮影された行動シーン（行動シーン（１）～行動シーン（Ｍ））のそれぞれについて、熱画像領域１に対応する特徴量（特徴量１）と、熱画像領域２に対応する特徴量（特徴量２）を１対１に対応付けて記憶している。
特徴量１、特徴量２は、それぞれの熱画像領域に応じた重心座標（水平／垂直）と、動くベクトル（移動方向／移動量）と、温度情報である。
記憶部２３に設けられた特徴量テーブルについて図４を用いて説明する。図４は、特徴量テーブルを示す説明図である。
図４に示すように、特徴量テーブルでは、撮影された行動シーン（行動シーン（１）～行動シーン（Ｍ））のそれぞれについて、熱画像領域１に対応する特徴量（特徴量１）と、熱画像領域２に対応する特徴量（特徴量２）を１対１に対応付けて記憶している。
特徴量１、特徴量２は、それぞれの熱画像領域に応じた重心座標（水平／垂直）と、動くベクトル（移動方向／移動量）と、温度情報である。
【0058】
また、図示は省略するが、監視者によって判定された実像／虚像の情報も併せて記憶されている。
ここでは、説明を簡単にするために、実像と判定された熱画像領域を熱画像領域１とし、熱画像領域１に対応する虚像と判定された熱画像領域を熱画像領域２として、それぞれの特徴量を特徴量１、特徴量２として記憶したものとする。
尚、識別判定モデルを映像装置で生成する場合には、特徴量テーブルは映像装置の記憶部に設けられる。
ここでは、説明を簡単にするために、実像と判定された熱画像領域を熱画像領域１とし、熱画像領域１に対応する虚像と判定された熱画像領域を熱画像領域２として、それぞれの特徴量を特徴量１、特徴量２として記憶したものとする。
尚、識別判定モデルを映像装置で生成する場合には、特徴量テーブルは映像装置の記憶部に設けられる。
【0059】
［運用時の動作：図１］
識別判定モデルが生成されて運用が開始されると、撮像部センサ１１で撮影された遠赤外線画像データは、画像処理部１２で画像処理が施され、ライブ画像データが出力される。
ライブ画像データは２つに分岐されて、一方は遅延調整部１３で所定の時間遅延されて画像合成部１４に出力される。
識別判定モデルが生成されて運用が開始されると、撮像部センサ１１で撮影された遠赤外線画像データは、画像処理部１２で画像処理が施され、ライブ画像データが出力される。
ライブ画像データは２つに分岐されて、一方は遅延調整部１３で所定の時間遅延されて画像合成部１４に出力される。
【0060】
また、ライブ画像データの他方は、キャリブレーション部１６に入力され、キャリブレーション部１６の動体検知部２１において熱画像領域が特定されて発熱体が検知されると、制御部２２からアラームが発報される。
【0061】
また、動体検知部２１において、熱画像領域の特徴量が算出され、制御部２２で実像であると判定された場合には、熱画像領域が目立つように明暗強度を強くして鮮明にした校正データが生成され、画像合成部１４に出力される。
【0062】
一方、熱画像領域が虚像であると判定された場合には、当該熱画像領域が目立たないように、周囲の温度と同等の明暗強度に変換した校正データが生成され、画像合成部１４に出力される。
画像合成部１４では、遅延されたライブ画像データと校正データとが合成され、出力部１５でフォーマット変換されて監視用モニタ３に出力される。
これにより、監視用モニタ３では、従来に比べて虚像が目立たず、実像がより鮮明な遠赤外線画像が表示されることになり、監視員による誤認識や誤検知を防ぐことができるものである。
画像合成部１４では、遅延されたライブ画像データと校正データとが合成され、出力部１５でフォーマット変換されて監視用モニタ３に出力される。
これにより、監視用モニタ３では、従来に比べて虚像が目立たず、実像がより鮮明な遠赤外線画像が表示されることになり、監視員による誤認識や誤検知を防ぐことができるものである。
【0063】
［動体検知部２１の処理：図５］
次に、運用時におけるキャリブレーション部１６の動体検知部２１の処理について図５を用いて説明する。図５は、運用時の動体検知部２１の処理を示すフローチャートである。尚、ここでは、動体検知部２１が２つの熱画像領域が検出された場合の処理を示している。
図５に示すように、動体検知部２１は、ライブ画像データから熱画像領域ａ，熱画像領域ｂを検出すると（Ｓ１１）、発熱体検知として制御部２２にアラーム発報を指示する（Ｓ１２）。
次に、運用時におけるキャリブレーション部１６の動体検知部２１の処理について図５を用いて説明する。図５は、運用時の動体検知部２１の処理を示すフローチャートである。尚、ここでは、動体検知部２１が２つの熱画像領域が検出された場合の処理を示している。
図５に示すように、動体検知部２１は、ライブ画像データから熱画像領域ａ，熱画像領域ｂを検出すると（Ｓ１１）、発熱体検知として制御部２２にアラーム発報を指示する（Ｓ１２）。
【0064】
そして、動体検知部２１は、熱画像領域ａ，熱画像領域ｂのそれぞれについて特徴量を算出する（特徴量ａ、特徴量ｂ）。
更に、動体検知部２１は、算出された特徴量の温度を比較して（Ｓ１４）、高温の方を熱画像領域１（通常は、発熱体の実像）として対応する特徴量を特徴量１とし、低温の方を熱画像領域２として対応する特徴量を特徴量２とする（Ｓ１５）。
そして、動体検知部２１は、特徴量１と特徴量２とを制御部２２に出力する（Ｓ１６）。
このようにして、運用時の動体検知部２１の処理が行われる。
更に、動体検知部２１は、算出された特徴量の温度を比較して（Ｓ１４）、高温の方を熱画像領域１（通常は、発熱体の実像）として対応する特徴量を特徴量１とし、低温の方を熱画像領域２として対応する特徴量を特徴量２とする（Ｓ１５）。
そして、動体検知部２１は、特徴量１と特徴量２とを制御部２２に出力する（Ｓ１６）。
このようにして、運用時の動体検知部２１の処理が行われる。
【0065】
［制御部２２の校正処理：図６］
次に、運用時におけるキャリブレーション部１６の制御部２２の校正処理について図６を用いて説明する。図６は、運用時の制御部２２の校正処理を示すフローチャートである。
尚、ここでは、ライブ画像データに２つの熱画像領域が検出された場合の校正処理を示しており、図５の処理に続いて行われるものである。また、動体検知部２１からアラーム発報の指示があると、制御部２２はアラーム発報を行うが、図６の校正処理には記載していない。
次に、運用時におけるキャリブレーション部１６の制御部２２の校正処理について図６を用いて説明する。図６は、運用時の制御部２２の校正処理を示すフローチャートである。
尚、ここでは、ライブ画像データに２つの熱画像領域が検出された場合の校正処理を示しており、図５の処理に続いて行われるものである。また、動体検知部２１からアラーム発報の指示があると、制御部２２はアラーム発報を行うが、図６の校正処理には記載していない。
【0066】
図６に示すように、制御部２２は、動体検知部２１から特徴量１及び特徴量２が入力されると（Ｓ２１）、特徴量１を学習済みの識別判定モデルに入力する（Ｓ２２）。
ここで、特徴量１は熱画像領域１の特徴量であり、通常は発熱体の実像の特徴量である。
ここで、特徴量１は熱画像領域１の特徴量であり、通常は発熱体の実像の特徴量である。
【0067】
識別判定モデルでは、特徴量テーブルに記憶された行動シーンを検索して、入力された実像の特徴量１に類似した特徴量１（モデル特徴量１）を備えたシーンを特定する。
例えば、識別判定モデルでは、各行動シーンに対応する特徴量１と、入力された実像の特徴量１との相関を算出し、最も相関が高い行動シーンを特定する。
そして、識別判定モデルは、当該シーンに対応付けられた特徴量２（又はそれに基づいて算出された特徴量２）をモデル特徴量２として出力する。モデル特徴量２は、識別判定モデルが、当該シーンにおいて映る可能性がある虚像の特徴量として出力する値である。
例えば、識別判定モデルでは、各行動シーンに対応する特徴量１と、入力された実像の特徴量１との相関を算出し、最も相関が高い行動シーンを特定する。
そして、識別判定モデルは、当該シーンに対応付けられた特徴量２（又はそれに基づいて算出された特徴量２）をモデル特徴量２として出力する。モデル特徴量２は、識別判定モデルが、当該シーンにおいて映る可能性がある虚像の特徴量として出力する値である。
【0068】
そして、制御部２２は、識別判定モデルから出力されたモデル特徴量２と、動体検知部２１からの特徴量２とを比較して相関値を算出し（Ｓ２３）、相関値が第１の閾値以上であるかどうかを判断し（Ｓ２４）、相関値が第１の閾値未満であれば（Ｎｏの場合）、ライブ画像データの熱画像領域２が熱画像領域１の虚像である可能性は低く、熱画像領域２は実像であると判定する（Ｓ２８）。
【0069】
また、処理Ｓ２４で相関値が第１の閾値以上であれば（ＹＥＳの場合）、制御部２２は、更に、特徴量２の温度情報に基づいて、温度が第２の閾値よりも低いかどうかを判断し（Ｓ２５）、第２の閾値以上であった場合には、処理Ｓ２９に移行して、実像と判断する。
通常、遠赤外線を用いた監視カメラ及び映像装置の運用が想定される暗闇環境下では、人の皮膚表面の体表温度が周囲の環境温度よりも高いため、本性質を利用して、第２の閾値は、周囲の温度よりも若干高い温度に設定している。
通常、遠赤外線を用いた監視カメラ及び映像装置の運用が想定される暗闇環境下では、人の皮膚表面の体表温度が周囲の環境温度よりも高いため、本性質を利用して、第２の閾値は、周囲の温度よりも若干高い温度に設定している。
【0070】
そして、処理Ｓ２５で特徴量２の温度情報が第２の閾値よりも低い場合には（Ｙｅｓの場合）、制御部２２は、熱画像領域２は、処理１１で入力された特徴量１を備えた熱画像領域１の虚像であると判定して（Ｓ２６）、当該熱画像領域２のゲインを下げ、明暗強度を周囲温度と同じ温度帯の明暗強度に変換した校正データを生成し（Ｓ２７）、処理Ｓ３０に移行する。
つまり、虚像と判断した熱画像領域２を目立たなくするようにマスクする校正データを生成する。
つまり、虚像と判断した熱画像領域２を目立たなくするようにマスクする校正データを生成する。
【0071】
また、処理Ｓ２８で実像と判断した場合、制御部２２は、監視者の注意を喚起するために、周囲とのコントラストを明瞭にし、熱画像領域２の明暗強度を大きくする校正データを生成して（Ｓ２９）、処理Ｓ３０に移行する。
その際に、熱画像領域２の面積が次第に大きくなるような変化がある場合には、侵入者がセンサに接近している状況であるため、明暗強度を大きくする校正データを生成するのに加えて、緊急事態であることを報知するアラームを送信する。
その際に、熱画像領域２の面積が次第に大きくなるような変化がある場合には、侵入者がセンサに接近している状況であるため、明暗強度を大きくする校正データを生成するのに加えて、緊急事態であることを報知するアラームを送信する。
【0072】
そして、処理Ｓ２７及び処理Ｓ２９において、構成データが生成されると、制御部２２は、処理Ｓ３０に移行して、校正データを画像合成部１４に出力する（Ｓ３０）。
このようにして、キャリブレーション部１６の制御部２２における校正処理が行われるものである。
このようにして、キャリブレーション部１６の制御部２２における校正処理が行われるものである。
【0073】
［別の識別判定モデルを用いた判定］
別の識別判定モデルを用いた判定では、動体検知部２１から特徴量１，２が入力されると、制御部２２は、まず特徴量１を行動パターン判定モデルに入力し、行動パターンを特定する。
そして、特定された行動パターンに対応する虚像判定モデルに、動体検知部２１から入力された特徴量２を入力し、虚像判定モデルから確率の値を取得する。
当該確率の値は、特徴量２が、行動パターンの特定時に用いた特徴量１を持つ実像の虚像である確率の値である。
別の識別判定モデルを用いた判定では、動体検知部２１から特徴量１，２が入力されると、制御部２２は、まず特徴量１を行動パターン判定モデルに入力し、行動パターンを特定する。
そして、特定された行動パターンに対応する虚像判定モデルに、動体検知部２１から入力された特徴量２を入力し、虚像判定モデルから確率の値を取得する。
当該確率の値は、特徴量２が、行動パターンの特定時に用いた特徴量１を持つ実像の虚像である確率の値である。
【0074】
そして、制御部２２は、虚像判定モデルからの確率の値が、特定の閾値以上であった場合に熱画像領域２は熱画像領域１の虚像であると判定し、特定の閾値未満であれば、熱画像領域２は実像であると判定する。
判定後の構成データの生成及び出力は、図６と同様である。
このようにして、別の識別判定モデルを用いた判定が行われるものである。
判定後の構成データの生成及び出力は、図６と同様である。
このようにして、別の識別判定モデルを用いた判定が行われるものである。
【0075】
［実施の形態の効果］
本監視カメラによれば、遠赤外線センサを備えたカメラであって、虚像の影響を抑える校正処理を行うキャリブレーション部１６を設け、キャリブレーション部１６が、画像処理部１２からのライブ画像データから熱画像領域を特定して、当該熱画像領域の特徴量を算出し、当該特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された熱画像領域の特徴量が虚像の特徴量に相関する場合に、特定された熱画像領域を虚像と判定し、相関しない場合に当該熱画像領域を実像と判定するものであり、ライブ画像データにおける熱画像領域が実像であるか虚像であるかを判定することができ、虚像を目立たなくするような画像処理を施すことで、虚像による誤認識や誤検知を防ぐことができる効果がある。
本監視カメラによれば、遠赤外線センサを備えたカメラであって、虚像の影響を抑える校正処理を行うキャリブレーション部１６を設け、キャリブレーション部１６が、画像処理部１２からのライブ画像データから熱画像領域を特定して、当該熱画像領域の特徴量を算出し、当該特徴量を基に実像に対する虚像を推定するための識別判定モデルを用いて、算出された熱画像領域の特徴量が虚像の特徴量に相関する場合に、特定された熱画像領域を虚像と判定し、相関しない場合に当該熱画像領域を実像と判定するものであり、ライブ画像データにおける熱画像領域が実像であるか虚像であるかを判定することができ、虚像を目立たなくするような画像処理を施すことで、虚像による誤認識や誤検知を防ぐことができる効果がある。
【0076】
また、本監視カメラによれば、キャリブレーション部１６が、虚像と判定した熱画像領域のゲインを下げて特徴を抑えた補正データを生成し、画像合成部１４が、画像処理部１２からのライブ画像データと校正データとを合成するようにしているので、虚像部分が目立たないようマスクした画像を表示させることができ、監視用モニタ３において、虚像の映り込みを低減し、誤認識や誤検知を防ぐことができる効果がある。
【0077】
また、本映像装置によれば、未学習のモデルに、熱画像領域の特徴量を機械学習させて、識別判定モデルを生成し、当該識別判定モデルを本監視カメラのキャリブレーション部１６に設定するようにしているので、本監視カメラの処理を大幅に低減することができる効果がある。
【産業上の利用可能性】
【0078】
本発明は、遠赤外線センサを用い、輻射熱による虚像の影響を抑え、誤認識や誤検知を防ぐことができる監視カメラ及び映像装置に適している。
【符号の説明】
【0079】
１，４…遠赤外線カメラ、 ３…監視用モニタ、 １１，４１…撮像部、 １２，４２…画像処理部、 １３…遅延調整部、 １４…画像合成部、 １５，４３…出力部、 １６…キャリブレーション部、 ２１…動体検知部、 ２２…制御部、 ２３…記憶部、 ５１…被験者、 ５２…虚像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】