ホーム > 特許ランキング > 株式会社ＪＶＣケンウッド
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162443
(43)【公開日】2024-11-21
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
G06T 7/11 20170101AFI20241114BHJP
G01J 5/48 20220101ALI20241114BHJP
G01J 1/42 20060101ALI20241114BHJP
H04N 23/71 20230101ALI20241114BHJP
H04N 7/18 20060101ALI20241114BHJP
【ＦＩ】
G06T7/11
G01J5/48 E
G01J5/48 C
G01J1/42 B
H04N23/71
H04N7/18 N
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023077948
(22)【出願日】2023-05-10
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社ＪＶＣケンウッド
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】林 啓太
(72)【発明者】
【氏名】山本 浩史
(72)【発明者】
【氏名】石渡 忠司
(72)【発明者】
【氏名】土屋 圭二
(72)【発明者】
【氏名】中明 靖文
【テーマコード（参考）】
2G065
2G066
5C054
5C122
5L096
【Ｆターム（参考）】
2G065AA04
2G065AB02
2G065BA04
2G065BC33
2G065BC35
2G066AC13
2G066AC20
2G066BA14
2G066BC15
2G066CA02
5C054CA05
5C054CC02
5C054EA01
5C054EA05
5C054EA07
5C054FC03
5C054FC15
5C054FC16
5C054FE06
5C054FF03
5C054GB01
5C054GB05
5C054HA19
5C122DA16
5C122EA14
5C122FH09
5C122FH11
5C122HB01
5L096AA03
5L096AA06
5L096BA02
5L096DA01
5L096FA32
5L096FA66
5L096FA69
5L096GA07
5L096GA19
5L096GA51
5L096HA05
(57)【要約】
【課題】赤外線カメラのシャッタを閉じることなく、画像を適切に補正することが可能な画像処理装置を提供する。
【解決手段】本開示にかかる画像処理装置１０１は、熱画像を撮像する赤外線カメラから熱画像データを取得する熱画像データ取得部１５０と、熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得部１７３と、熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得部１７４と、物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出部１７５と、物体領域のうち、物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、移動軌跡に含まれる画素領域を、異常画素領域として特定する特定部１７６と、物体領域統計値に基づいて、異常画素領域の画素値を補正する補正部１７７と、を備える。
【選択図】図３
【解決手段】本開示にかかる画像処理装置１０１は、熱画像を撮像する赤外線カメラから熱画像データを取得する熱画像データ取得部１５０と、熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得部１７３と、熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得部１７４と、物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出部１７５と、物体領域のうち、物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、移動軌跡に含まれる画素領域を、異常画素領域として特定する特定部１７６と、物体領域統計値に基づいて、異常画素領域の画素値を補正する補正部１７７と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
熱画像を撮像する赤外線カメラから熱画像データを取得する熱画像データ取得部と、
前記熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得部と、
前記熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得部と、
前記物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出部と、
前記物体領域のうち、前記物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、前記移動軌跡に含まれる画素領域を、異常画素領域として特定する特定部と、
前記物体領域統計値に基づいて、前記異常画素領域の画素値を補正する補正部と、を備える
画像処理装置。
前記熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得部と、
前記熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得部と、
前記物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出部と、
前記物体領域のうち、前記物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、前記移動軌跡に含まれる画素領域を、異常画素領域として特定する特定部と、
前記物体領域統計値に基づいて、前記異常画素領域の画素値を補正する補正部と、を備える
画像処理装置。
【請求項2】
前記物体領域において、前記異常画素領域周辺に位置する周辺領域の画素値が均一であるか否かを判定する判定部をさらに備え、
前記算出部は、前記周辺領域の画素値が均一であると判定された場合、前記周辺領域における画素値の統計値である周辺領域統計値をさらに算出し、
前記補正部は、前記周辺領域統計値に基づいて、前記周辺領域の画素値が均一であると判定された前記異常画素領域の画素値を補正する
請求項１に記載の画像処理装置。
前記算出部は、前記周辺領域の画素値が均一であると判定された場合、前記周辺領域における画素値の統計値である周辺領域統計値をさらに算出し、
前記補正部は、前記周辺領域統計値に基づいて、前記周辺領域の画素値が均一であると判定された前記異常画素領域の画素値を補正する
請求項１に記載の画像処理装置。
【請求項3】
前記異常画素領域に関連する前記物体領域に基づいて、前記異常画素領域を複数の分割領域に分割する分割部をさらに備え、
前記算出部は、前記複数の分割領域のそれぞれに対応する物体領域の前記物体領域統計値を算出し、
前記補正部は、対応する物体領域の前記物体領域統計値に基づいて、前記複数の分割領域の画素値をそれぞれ補正する
請求項１又は２に記載の画像処理装置。
前記算出部は、前記複数の分割領域のそれぞれに対応する物体領域の前記物体領域統計値を算出し、
前記補正部は、対応する物体領域の前記物体領域統計値に基づいて、前記複数の分割領域の画素値をそれぞれ補正する
請求項１又は２に記載の画像処理装置。
【請求項4】
前記異常画素領域に関連する前記物体領域の画素値の変化傾向を取得する傾向取得部をさらに備え、
前記補正部は、前記変化傾向にさらに基づいて、前記異常画素領域の画素値を補正する
請求項１又は２に記載の画像処理装置。
前記補正部は、前記変化傾向にさらに基づいて、前記異常画素領域の画素値を補正する
請求項１又は２に記載の画像処理装置。
【請求項5】
熱画像を撮像する赤外線カメラから熱画像データを取得する熱画像データ取得ステップと、
前記熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得ステップと、
前記熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得ステップと、
前記物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出ステップと、
前記物体領域のうち、前記物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、前記移動軌跡に含まれる画素領域を、異常画素領域として特定する特定ステップと、
前記物体領域統計値に基づいて、前記異常画素領域の画素値を補正する補正ステップと、を備える
画像処理方法。
前記熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得ステップと、
前記熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得ステップと、
前記物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出ステップと、
前記物体領域のうち、前記物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、前記移動軌跡に含まれる画素領域を、異常画素領域として特定する特定ステップと、
前記物体領域統計値に基づいて、前記異常画素領域の画素値を補正する補正ステップと、を備える
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
赤外線カメラを用いて、物体を検出する技術が知られている。赤外線カメラは撮像画像の熱を検出するため、夜間などのように可視光が存在しない環境においても、撮像画像に含まれる人や物体を検出することができる。近年では、セキュリティ用や移動体用として、赤外線カメラを利用した製品が多く開発されている。
【0003】
一方、赤外線カメラは、物体の熱を検出するという特性上、太陽のような高温物体を撮像すると、撮像素子として用いられているマイクロボロメータ等が異常を起こす可能性がある。例えば、太陽光が赤外線センサに直接入射した場合、太陽光による焼き付きによって異常画素が発生する。異常画素は感度が変化するため、撮像画像の画質が劣化する。例えば、異常画素は、白点（アーティファクト）として撮像画像に現れる。このような異常画素の発生を抑制するための技術が望まれている。
【0004】
関連する技術として、特許文献１は、撮像データに飽和領域が存在することを検出する飽和領域検出部と、飽和領域の検出結果に基づいてシャッタの閉制御を行うシャッタ制御部と、を備える画像処理装置を開示する。特許文献１が開示する画像処理装置において、シャッタ制御部は、飽和領域検出部によって飽和領域が検出された場合に、赤外線撮像素子を保護するためにシャッタを閉じる。
【0005】
また、特許文献１が開示する画像処理装置は、シャッタを閉じた状態において取得された撮像データに異常画素が含まれるか否かを検出する異常画素検出部と、検出の結果に応じて、補正された撮像データである第１又は第２補正データを選択して出力する選択部と、を備えている。第１補正データは、シャッタを用いず、予め設定されたアルゴリズムにより出力を調整する補正（いわゆるシャッタレス補正）により補正された撮像データである。また第２補正データは、黒体であるメカニカルなシャッタを閉じた状態でマイクロボロメータの出力を調整する補正（いわゆるメカニカルシャッタ補正）により補正された撮像データである。これにより、特許文献１が開示する画像処理装置は、異常画素の検出結果に応じて、選択された補正データをモニタに出力する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開第２０２２／０１８９００号
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１が開示する技術のように、赤外線カメラを保護するためにシャッタを閉じる場合、赤外線カメラは、シャッタを閉じている間は撮像を行うことができない。そのため、例えばセキュリティシステムなどにおいて、人や物体を検出することができない期間が発生するという問題がある。
【0008】
本開示の目的は、上述した課題を鑑み、赤外線カメラのシャッタを閉じることなく、画像を適切に補正することが可能な画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【0009】
本開示にかかる画像処理装置は、
熱画像を撮像する赤外線カメラから熱画像データを取得する熱画像データ取得部と、
前記熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得部と、
前記熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得部と、
前記物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出部と、
前記物体領域のうち、前記物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、前記移動軌跡に含まれる画素領域を、異常画素領域として特定する特定部と、
前記物体領域統計値に基づいて、前記異常画素領域の画素値を補正する補正部と、を備えるものである。
熱画像を撮像する赤外線カメラから熱画像データを取得する熱画像データ取得部と、
前記熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得部と、
前記熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得部と、
前記物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出部と、
前記物体領域のうち、前記物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、前記移動軌跡に含まれる画素領域を、異常画素領域として特定する特定部と、
前記物体領域統計値に基づいて、前記異常画素領域の画素値を補正する補正部と、を備えるものである。
【0010】
本開示にかかる画像処理方法は、
熱画像を撮像する赤外線カメラから熱画像データを取得する熱画像データ取得ステップと、
前記熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得ステップと、
前記熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得ステップと、
前記物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出ステップと、
前記物体領域のうち、前記物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、前記移動軌跡に含まれる画素領域を、異常画素領域として特定する特定ステップと、
前記物体領域統計値に基づいて、前記異常画素領域の画素値を補正する補正ステップと、を備えるものである。
熱画像を撮像する赤外線カメラから熱画像データを取得する熱画像データ取得ステップと、
前記熱画像データにおける物体の領域を示す物体領域を取得する物体領域取得ステップと、
前記熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する軌跡取得ステップと、
前記物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する算出ステップと、
前記物体領域のうち、前記物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、前記移動軌跡に含まれる画素領域を、異常画素領域として特定する特定ステップと、
前記物体領域統計値に基づいて、前記異常画素領域の画素値を補正する補正ステップと、を備えるものである。
【発明の効果】
【0011】
本開示にかかる像処理装置及び画像処理方法は、赤外線カメラのシャッタを閉じることなく、画像を適切に補正することを可能とする。
【図面の簡単な説明】
【0012】
【図1】実施形態１にかかる撮像システムの構成を示すブロック図である。
【図2】実施形態１にかかる赤外線カメラの詳細構成を示すブロック図である。
【図3】実施形態１にかかる画像処理部の構成を示すブロック図である。
【図4】太陽光が入射した場合の熱画像データの一例を示す図である。
【図5】異常画素領域が発生した場合の熱画像データの一例を示す図である。
【図6】実施形態１にかかる画像処理装置が行う処理を示すフローチャートである。
【図7】実施形態２にかかる画像処理部の構成を示すブロック図である。
【図8】実施形態２にかかる周辺領域の画素値の均一性を説明する図である。
【図9】実施形態２にかかる画像処理装置が行う処理を示すフローチャートである。
【図10】実施形態３にかかる画像処理部の構成を示すブロック図である。
【図11】実施形態３にかかる異常画素領域が分割される前の状態を示す図である。
【図12】実施形態３にかかる異常画素領域が分割された後の状態を示す図である。
【図13】実施形態３にかかる画像処理装置が行う処理を示すフローチャートである。
【図14】実施形態３の変形例にかかる画像処理部の構成を示すブロック図である。
【図15】実施形態３の変形例にかかる画像処理装置が行う処理を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されている。説明の明確化のため、必要に応じて重複説明は省略される。
【0014】
【0015】
図１に示されるように、撮像システム１は、画像処理装置１０１、赤外線カメラ２００、及び表示装置３００を備えている。撮像システム１は、例えば、車両において用いられ得る。撮像システム１は、例えば、周囲の熱画像を取得する車両用の撮像システムや、監視用途に用いられる撮像システム等である。
【0016】
赤外線カメラ２００は、熱画像（赤外線画像）を撮像する。赤外線カメラ２００は、赤外線センサを有している。赤外線カメラ２００は、被写体からの赤外線を赤外線センサで検出することにより、熱画像を撮像する。赤外線カメラ２００は、例えば、物体から放射される遠赤外線を可視化することが可能な遠赤外線（ＦＩＲ：Far Infrared Rays）カメラである。赤外線カメラ２００で撮像した熱画像のデータを熱画像データともいう。熱画像データは、例えば、毎秒１５から６０フレームの複数のフレームで構成される動画像である。
【0017】
ここで、物体は、赤外線カメラ２００が撮像する対象を示している。物体は、例えば、車両、人、又は建物などである。また、物体は、空（そら）、太陽、又は海などを含み得る。
【0018】
赤外線カメラ２００は、熱画像データを、画像処理装置１０１に出力する。なお、赤外線カメラ２００から画像処理装置１０１が取得する熱画像データを取得熱画像データともいう。取得熱画像データは、赤外線カメラ２００で撮像された熱画像のデータを示している。
【0019】
（赤外線カメラ２００）
ここで、図２を参照して、赤外線カメラ２００の構成について詳細に説明する。図２は、赤外線カメラ２００の詳細構成を示すブロック図である。図２に示されるように、赤外線カメラ２００は、レンズ２１０、シャッタ２２０、赤外線センサ２３０、伝送デバイス２４０、及び温度センサ２５０を備えている。
ここで、図２を参照して、赤外線カメラ２００の構成について詳細に説明する。図２は、赤外線カメラ２００の詳細構成を示すブロック図である。図２に示されるように、赤外線カメラ２００は、レンズ２１０、シャッタ２２０、赤外線センサ２３０、伝送デバイス２４０、及び温度センサ２５０を備えている。
【0020】
レンズ２１０は、被写体からの赤外光を赤外線センサ２３０の受光面に結像する。赤外線センサ２３０は、複数の画素を備えている。赤外線センサ２３０の各画素が被写体からの赤外光を受光する。これにより、被写体の熱画像を撮像することができる。例えば、赤外線センサ２３０は、遠赤外線を検出するためのマイクロボロメータを有してもよい。赤外線センサ２３０は、２次元アレイ状配列された複数の画素を備えている。各画素の検出値（検出信号）が被写体の熱画像を形成する。
【0021】
伝送デバイス２４０は、画像処理装置１０１に各種の信号やデータを伝送するためのインタフェースである。伝送デバイス２４０は、赤外線センサ２３０で撮像された熱画像データを画像処理装置１０１に伝送する。また、伝送デバイス２４０は、画像処理装置１０１からの制御信号を受信する。
【0022】
温度センサ２５０は、赤外線カメラ２００の使用環境における温度を測定する。伝送デバイス２４０は、温度センサ２５０で測定された環境温度を画像処理装置１０１に送信する。温度センサ２５０で測定された環境温度はシャッタレス補正に用いられ得る。
【0023】
シャッタ２２０は、赤外線センサ２３０の前面側に配置される。シャッタ２２０は、外部から赤外線センサ２３０に入射する赤外光を遮る。シャッタ２２０は、開閉可能な機構を有している。シャッタ２２０が閉じた状態では、レンズ２１０からの赤外光が赤外線センサ２３０に入射しなくなる。この場合、レンズ２１０からではなくシャッタ２２０からの赤外光が赤外線センサ２３０に入射する。また、シャッタ２２０が開いた状態では、レンズ２１０からの赤外光が赤外線センサ２３０に入射する。例えば、シャッタ２２０は、レンズ２１０の前面側に配置されたバリヤ又はカバーのようなものであってもよい。なお、赤外線カメラ２００は、シャッタ２２０のない構成であってもよい。
【0024】
（表示装置３００）
図１に戻り説明を続ける。表示装置３００は、表示画像データを表示するためのディスプレイ等を備えている。表示装置３００は、画像処理装置１０１において、画像処理が施された表示画像データを表示する。
図１に戻り説明を続ける。表示装置３００は、表示画像データを表示するためのディスプレイ等を備えている。表示装置３００は、画像処理装置１０１において、画像処理が施された表示画像データを表示する。
【0025】
（画像処理装置１０１）
画像処理装置１０１は、取得熱画像データに対して画像処理を行うことで、表示画像データを生成する。例えば、画像処理装置１０１は、赤外線カメラ２００の画素ばらつきの補正等の各種処理を行う。
画像処理装置１０１は、取得熱画像データに対して画像処理を行うことで、表示画像データを生成する。例えば、画像処理装置１０１は、赤外線カメラ２００の画素ばらつきの補正等の各種処理を行う。
【0026】
画像処理装置１０１は、画像処理が施された表示画像データを表示装置３００に出力する。なお、画像処理装置１０１で画像処理が施されて、表示装置３００に出力される表示画像データを出力熱画像データともいう。つまり、取得熱画像データは、画像処理装置１０１による処理前のデータであり、出力熱画像データは、処理後のデータである。
【0027】
画像処理装置１０１は、物理的な構成として、制御ＩＦ（インタフェース）１１０、ＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０を備える。画像処理装置１０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの処理としてプログラムによって実現される機能ブロックとして、システム制御部１４０、熱画像データ取得部１５０、高温物体領域取得部１６０、画像処理部１７０、及び、表示制御部１８０をさらに備えている。これらの構成は、便宜的に、バスを介して適宜通信可能に接続されている構成として示す。
【0028】
制御ＩＦ１１０は、赤外線カメラ２００を制御するためのインタフェースである。画像処理装置１０１は、制御ＩＦ１１０を介して、赤外線カメラ２００に各種の信号やデータを送信する。また、制御ＩＦ１１０は、赤外線カメラ２００からの各種の信号やデータ等を受信する。
【0029】
ＲＯＭ１２０は、画像処理装置１０１を制御するための制御プログラムや各種パラメータを格納する。例えば、ＲＯＭ１２０は、画像処理部１７０で実行される画像処理プログラムを格納している。また、ＲＯＭ１２０は、システム制御部１４０で実行されるシステム制御プログラムを格納している。
【0030】
ＲＡＭ１３０は、各種プログラムやその実行に用いるパラメータなどを格納している。また、ＲＡＭ１３０は、画像処理部１７０の演算データ等を記憶する。
【0031】
システム制御部１４０は、撮像システム１の全体を制御する。プロセッサが制御プログラムを実行することで、システム全体を制御することができる。例えば、当該プロセッサは、コンピュータプログラムをＲＯＭ１２０からＲＡＭ１３０へ読み込ませ、当該コンピュータプログラムを実行する。これにより、プロセッサは、例えば、熱画像データ取得部１５０、高温物体領域取得部１６０、画像処理部１７０、及び表示制御部１８０の各機能を実現する。なお、プロセッサとしては、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）、量子プロセッサ（量子コンピュータ制御チップ）等が用いられてもよい。
【0032】
また、画像処理装置１０１の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。
【0033】
なお、システム制御部１４０は、これらの各機能以外の機能を備えてもよい。例えば、システム制御部１４０は、赤外線カメラ２００のシャッタの開閉を制御するシャッタ制御部の機能を備えてもよい。
【0034】
熱画像データ取得部１５０は、熱画像を撮像する赤外線カメラ２００から熱画像データを取得する。熱画像データは、複数のフレームで構成され得る。熱画像データ取得部１５０は、例えば、赤外線カメラ２００からの熱画像データを取得するためのＩＦ（インタフェース）を備えている。なお、熱画像データ取得部１５０と、赤外線カメラ２００とのインタフェースは、有線接続であってもよく、無線接続であってもよい。
【0035】
高温物体領域取得部１６０は、熱画像データの撮像範囲に対応する高温物体の領域を示す高温物体領域を取得する。ここで、高温物体は、熱画像データに異常画素を発生させ得る高温の物体を示している。
【0036】
高温物体は、赤外線センサ２３０の特性などに応じて、あらかじめ設定され得る。例えば、高温物体として、所定以上の温度を有すると想定される物体が設定されてよい。所定の温度は、例えば、１０００℃である。この場合、高温物体の例は、太陽や溶鉱炉などが挙げられる。赤外線カメラ２００がこのような高温物体を撮像した場合、熱画像データにおいて画素が飽和し、飽和した画素が異常画素となり得る。
【0037】
一方、例えば、車両のマフラーなどの温度は、通常１０００℃未満である。熱画像データにおいては、マフラーの領域の画素も飽和するが、異常画素とはなりにくい。そのため、熱画像データにおいて画素が飽和するか否かにかかわらず、異常画素を発生させ得る高温物体をあらかじめ設定することで、高温物体領域取得部１６０は、異常画素を発生させ得る高温物体の情報を、適切に取得することができる。
【0038】
また、異常画素は、非常に高い強度の遠赤外光が、赤外線センサ２３０にある程度の時間入射したことにより、ダメージが生じた画素を示している。例えば、シャッタ２２０が閉じた状態において、赤外線カメラ２００が撮像を行うとする。この場合、赤外線カメラ２００は、黒体であるシャッタ２２０を撮像した熱画像データを取得する。この場合、全ての画素に異常がなければ、熱画像データにおいて隣接する画素間の画素値の差はゼロないしゼロに近い値となる。
【0039】
しかしながら、太陽光などの強い光が赤外線センサ２３０に入射した場合、太陽光を受けた画素はダメージが生じて異常画素となる。異常画素が発生した状態において、シャッタ２２０を閉じて撮像した場合、取得された熱画像データにおいて、異常画素の画素値と、正常な画素の画素値と、の差はゼロないしゼロに近い値をとらない状態となる。
【0040】
この場合、異常画素は、本来よりも高い画素値を示すこととなる。この場合、複数の異常画素が形成する異常画素領域が、熱画像データにおいて白点のように現れることとなる。異常画素及び異常画素の検出方法については後述する。
【0041】
高温物体領域取得部１６０は、赤外線カメラ２００の位置を示す位置情報、撮影日時を示す撮影日時情報、及び撮像範囲（画角）に対応する地図を示す地図情報に基づいて、高温物体を検出する。高温物体領域取得部１６０は、検出した高温物体の熱画像データに対応する領域である高温物体領域を取得する。
【0042】
例えば、高温物体領域取得部１６０は、ＧＮＳＳ（Global Navigation Satellite System）等の技術を用いて測位された結果を、赤外線カメラ２００の位置情報として取得する。例えば、赤外線カメラ２００は、図示しないＧＰＳ（Global Positioning System）センサを備えており、当該ＧＰＳセンサを用いて、測位を行う。高温物体領域取得部１６０は、当該ＧＰＳセンサから測位結果を取得することで、赤外線カメラ２００の位置情報を取得する。高温物体領域取得部１６０は、位置情報を順次取得することで、位置情報の時系列データを取得する。
【0043】
また、高温物体領域取得部１６０は、赤外線カメラ２００の撮影方向に関する情報を、赤外線カメラ２００の位置情報として取得する。例えば、車両に赤外線カメラ２００が搭載されている場合、赤外線カメラ２００の取付位置、及び取付方向は既知である。したがって、高温物体領域取得部１６０は、車両の進行方向から、赤外線カメラ２００の撮影方向を求めることができる。
【0044】
さらに、高温物体領域取得部１６０は、熱画像データから、熱画像データに対応付けられた撮影日時情報を取得する。また、高温物体領域取得部１６０は、図示しないネットワークを介して、位置情報及び撮影日時情報に対応する地図情報を取得する。図示しないネットワークは、例えば、有線又は無線の通信回線である。
【0045】
例えば、高温物体領域取得部１６０は、高温物体領域として、熱画像データにおける太陽の領域を取得する。具体的には、まず、高温物体領域取得部１６０は、位置情報及び撮影日時情報に基づいて、撮影位置における太陽の位置を特定する。位置情報には、赤外線カメラ２００の撮影方向が含まれる。
【0046】
高温物体領域取得部１６０は、太陽に限らず、他の高温物体に対応する高温物体領域を取得してもよい。例えば、高温物体領域取得部１６０は、溶鉱炉などの高温物体に対応する高温物体領域を取得する。このようにすることで、高温物体領域取得部１６０は、熱画像データの撮像範囲に対応する種々の高温物体領域を取得することができる。高温物体領域取得部１６０は、取得した高温物体領域に関するデータをＲＯＭ１２０などに記憶する。
【0047】
なお、高温物体領域取得部１６０は、上述した位置情報、撮影日時情報、及び地図情報に基づいて高温物体領域を取得する以外の方法を用いて、高温物体領域を取得してもよい。例えば、高温物体領域取得部１６０は、飽和画素を検出し、飽和画素を用いて高温物体領域を取得してもよい。
【0048】
ここで、飽和画素は、画素値が上限値となった状態の画素である。例えば、熱画像データの各画素の輝度レベルが、ゼロから１６３８３までの１４ビットで表現されているとする。この場合、輝度レベルが１６３８３の値を有する座標の画素を飽和画素とすることができる。例えば、高温物体領域取得部１６０は、後述する画像処理部１７０の欠陥画素補正部１７１から熱画像データを受け取り、受け取った熱画像データに含まれる飽和画素を検出する。
【0049】
なお、上限値に限らず、飽和画素は、所定の閾値を用いて定義されてもよい。例えば、飽和画素は、画素値が所定の閾値以上となった状態の画素であってもよい。これにより、高温物体領域取得部１６０は、実質的に飽和した画素を飽和画素として検出することができる。
【0050】
また、高温物体領域取得部１６０は、飽和画素を複数有する飽和領域を検出する。高温物体領域取得部１６０は、複数の飽和画素を含み、かつ、所定の条件を満たす画素領域を飽和領域として検出してもよい。所定の条件は、あらかじめ設定され得る。例えば、高温物体領域取得部１６０は、隣接する４個以上の飽和画素を検出した場合、当該隣接する４個以上の飽和画素の領域を飽和領域として検出する。または、高温物体領域取得部１６０は、例えば、近接する９個以上の画素が、上述した上限値の９８％以上の画素値を有する場合に、当該近接する９個以上の画素の領域を飽和領域として検出するなどしてもよい。このようにすることで、高温物体領域取得部１６０は、上述した位置情報などを用いた方法とは異なる方法で高温物体領域を取得することができる。
【0051】
画像処理部１７０は、熱画像データ取得部１５０で取得された熱画像データに対して、所定の画像処理を行う。画像処理部１７０の処理を実行するプロセッサは、汎用プロセッサであってもよく、専用プロセッサであってもよい。画像処理部１７０の処理を実行するプロセッサとシステム制御部１４０の処理を実行するプロセッサは共通であってもよい。
【0052】
例えば、画像処理部１７０は、赤外線カメラ２００から取得された取得熱画像データに対して所定の処理を行うことで、取得熱画像データを補正する。画像処理部１７０は、補正後のデータである出力熱画像データを表示装置３００に出力する。
【0053】
ここで、図３を参照して、画像処理部１７０について詳細に説明する。図３は、画像処理部１７０の構成を示すブロック図である。画像処理部１７０は、欠陥画素補正部１７１、ＮＵＣ（Non-Uniformity Correction）部１７２、物体領域取得部１７３、軌跡取得部１７４、算出部１７５、特定部１７６、及び補正部１７７を備えている。なお、同図において示される一方向矢印は、情報（データ又は信号など）の流れを端的に示したものであり、情報の双方向性を排除するものではない。以降の図についても同様である。
【0054】
欠陥画素補正部１７１は、ＲＡＭ１３０に予め記憶されている赤外線センサ２３０の欠陥画素の画素値を、欠陥画素の周辺の画素における画素値から補間処理を行う。欠陥画素補正部１７１は、熱画像データ取得部１５０が取得した取得熱画像データに対して、上述の補間処理を行い、補間処理を行った画像データを、ＮＵＣ部１７２に出力する。
【0055】
ＮＵＣ部１７２は、画素間の出力ばらつきを補正するための処理を行う。例えば、ＮＵＣ部１７２は、温度センサ２５０で検出された環境温度に基づいて、シャッタレス補正を行う。ＮＵＣ部１７２におけるシャッタレス補正については公知の手法を用いることができる。
【0056】
物体領域取得部１７３は、熱画像データにおける物体の領域を示す物体領域を取得する。例えば、物体領域取得部１７３は、熱画像データ取得部１５０で取得された取得熱画像データに含まれる物体を、公知の画像認識技術を用いて抽出することで、物体領域を取得する。これに限らず、物体領域取得部１７３は、例えば、画像処理部１７０内又は画像処理部１７０外の図示しない機能部において検出された物体領域を、当該機能部から取得してもよい。
【0057】
軌跡取得部１７４は、熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する。具体的には、軌跡取得部１７４は、高温物体領域取得部１６０で取得された高温物体領域の時系列データに基づいて、高温物体の移動軌跡を取得する。例えば、軌跡取得部１７４は、熱画像データの空の領域（以下、「空領域」と称する）における、太陽の移動軌跡を取得する。
【0058】
算出部１７５は、物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する。画素値は、物体領域に含まれる各画素の出力値を示している。物体領域が空領域の場合、算出部１７５は、例えば空領域の全体における画素値の平均値を物体領域統計値（以下、「空領域統計値」と称する）として算出する。また、算出部１７５は、空領域の一部における画素値の平均値を空領域統計値として算出してもよい。統計値は平均値に限らず、最頻値や中央値などであってもよい。したがって、算出部１７５は、例えば空領域の全体又は一部における画素値の、最頻値や中央値を物体領域統計値として算出してもよい。
【0059】
特定部１７６は、物体領域のうち、物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、高温物体の移動軌跡に含まれる画素領域を、異常画素領域として特定する。具体的には、まず、特定部１７６は、物体領域のうち、物体領域統計値との差が所定以上の画素値を有する異常画素を検出する。特定部１７６は、複数の異常画素が、所定以上の大きさの領域を形成する場合、当該領域を異常画素領域として特定する。特定部１７６は、あらかじめ設定された閾値を用いて当該大きさを判定し得る。当該閾値は、固定されてもよいし、適宜変更されてもよい。
【0060】
例えば、上述した空領域の場合、特定部１７６は、空領域のうち、空領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、高温物体の移動軌跡に含まれる画素領域を、異常画素領域として特定する。このようにすることで、特定部１７６は、空領域全体における画素値の統計値と大きく異なる画素値を有する画素領域を、異常画素領域として特定することができる。
【0061】
なお、特定部１７６は、空領域統計値との差が所定以上の画素値を有する画素領域が高温物体の移動軌跡に実質的に含まれている場合に、当該画素領域を異常画素領域として特定してよい。例えば、空領域統計値との差が所定以上の画素領域が、移動軌跡から所定の範囲内においてはみ出ている場合、当該はみ出ている範囲の画素領域を異常画素領域に含めてもよい。
【0062】
ここで、図４及び図５を参照して、異常画素領域について具体的に説明する。図４は、太陽光が入射した場合の熱画像データの一例を示す図である。図５は、異常画素領域が発生した場合の熱画像データの一例を示す図である。
【0063】
図４に示される熱画像データＤ１は、太陽ＳＵ、空ＳＫ、車両５、車両５が備えるマフラー５１を含んでいる。太陽ＳＵ、空ＳＫ、車両５、及びマフラー５１は、それぞれ上述した物体領域の一例である。また、空ＳＫに対応する領域は、上述した空領域に対応する。
【0064】
太陽ＳＵ及びマフラー５１はいずれも、熱画像データＤ１において画素を飽和させる温度を有する高温物体である。そのため、熱画像データＤ１において、太陽ＳＵ及びマフラー５１は、飽和した画素である飽和画素が形成する飽和領域となる。飽和画素は、画素値が上限値となった状態の画素である。熱画像データＤ１において、太陽ＳＵ及びマフラー５１は、いずれも白く映っている。
【0065】
上述したように、太陽ＳＵ及びマフラー５１は、異常画素を発生させ得る高温物体の一例である。しかしながら、赤外線センサ２３０の特性や設定に応じて、高温物体の中でも、異常画素を発生させる高温物体と、異常画素を発生させにくい高温物体とがある。例えば、図４及び図５の例では、太陽ＳＵは異常画素を発生させる高温物体であり、マフラー５１は異常画素を発生させない高温物体である例を示している。
【0066】
赤外線カメラ２００が、太陽ＳＵをある程度の時間撮像した場合、図５に示される熱画像データＤ２のように、空ＳＫにおいて異常画素領域Ａが発生する。太陽ＳＵは時間と共に移動するので、異常画素領域Ａは、太陽ＳＵの移動軌跡上に発生している。マフラー５１も時間と共に移動するが、異常画素を発生させない高温物体であるため、同図に示されるように、マフラー５１の領域は、飽和領域であるが、周辺領域に異常画素領域は発生していない。発生した異常画素は、時間とともに回復し、異常が発生していない正常画素に戻るため、図５に示される異常画素領域Ａはなくなっていく。しかしながら、画素の状態が完全に回復するまでの間は画質が劣化する。
【0067】
異常画素領域Ａが発生したことにより、熱画像データＤ２では、異常画素領域Ａは、周囲の領域との温度差を正確に測定することができない。そのため、熱画像データＤ２で検出された物体の一部又は全部の温度を正確に測定することができなくなるおそれがある。この場合、赤外線カメラ２００の熱画像データを用いた物体認識に支障が起こる。本開示では、後述する補正部１７７において、異常画素領域Ａの画素値を補正することでこのような課題を解決する。
【0068】
また、例えば、車両５の走行中におけるマフラー５１は、一般に高温である。よって、マフラー５１の領域における画素の統計値と、車両５全体における物体領域統計値との差は所定以上になると想定される。そのため、特定部１７６において、高温物体の移動軌跡を用いずに異常画素領域を特定した場合、マフラー５１の領域が異常画素領域として誤って特定される可能性がある。
【0069】
しかしながら、本開示では、特定部１７６は、上述の差を単に用いるのではなく、高温物体の移動軌跡を併せて用いることで、異常画素領域を特定する。これにより、特定部１７６は、高温物体の軌跡上にないマフラー５１を異常画素領域として特定しない。
【0070】
また、特定部１７６は、あらかじめ設定された所定の領域内において異常画素領域を特定するようにしてもよい。例えば、所定の領域は、熱画像データの上端部から３分の１の範囲であるとする。特定部１７６は、当該所定の領域内を対象として異常画素領域を取得する。このようにすることで、特定部１７６は、熱画像データのうち上端部から３分の１の領域でのみ異常画素領域を特定するので、熱画像データの下端部分に近いマフラー５１などを異常画素領域として特定しない。このようにすることで、特定部１７６は、精度よく異常画素領域を特定することができる。
【0071】
図３に戻り説明を続ける。補正部１７７は、物体領域統計値に基づいて、異常画素領域の画素値を補正する。例えば、上述した空領域の例では、補正部１７７は、空領域統計値に基づいて、異常画素領域の画素値を補正するための補正値を、画素ごとに算出する。補正部１７７は、算出した補正値を用いて異常画素領域の画素値を補正する。
【0072】
例えば、図５の例では、補正部１７７は、空ＳＫの統計値に基づいて補正値を算出し、当該補正値を用いて、異常画素領域Ａの各画素の画素値を補正する。これにより、補正部１７７は、異常画素領域Ａの画素値と空ＳＫの画素値との差が、補正前よりも小さくなるように、異常画素領域Ａの画素値を補正することができる。このようにすることで、異常画素領域Ａは、白色から、空ＳＫに近い色（例えば、濃いグレー）に変化する。このように、補正部１７７は、空ＳＫの統計値を用いて異常画素領域Ａを補正することで、画質の劣化を抑制することができる。
【0073】
なお、補正部１７７は、上述のように空ＳＫ全体の統計値に基づいて補正値を算出してもよいし、空ＳＫの一部の領域の統計値を用いて補正値を算出してもよい。例えば、補正部１７７は、空ＳＫから異常画素領域Ａを除いた領域の統計値を算出し、当該統計値を用いて補正値を算出する。空ＳＫから異常画素領域Ａを除いた領域は、画素値が概ね一定であると想定されるので、補正部１７７は、適切な補正値を算出することができる。
【0074】
図１に戻り、撮像システム１について説明を続ける。表示制御部１８０は、熱画像データ取得部１５０が取得した熱画像データを、表示装置３００に表示させる。具体的には、表示制御部１８０は、熱画像データ取得部１５０が取得した取得熱画像データを、画像処理部１７０で処理された後に、表示装置３００に表示させる。表示制御部１８０は、出力熱画像データを表示装置３００に出力するインタフェースである。
【0075】
（画像処理装置１０１の処理）
続いて、図６を参照して、画像処理装置１０１が行う処理を説明する。図６は、画像処理装置１０１が行う処理を示すフローチャートである。図６に示す処理は、例えば、赤外線カメラ２００の撮影が開始することによって開始される。
続いて、図６を参照して、画像処理装置１０１が行う処理を説明する。図６は、画像処理装置１０１が行う処理を示すフローチャートである。図６に示す処理は、例えば、赤外線カメラ２００の撮影が開始することによって開始される。
【0076】
まず、熱画像データ取得部１５０（図１を参照）は、赤外線カメラ２００から熱画像データの取得を開始する（Ｓ１１）。熱画像データ取得部１５０は、取得した熱画像データを画像処理部１７０に出力する。
【0077】
物体領域取得部１７３（図３を参照）は、熱画像データにおける物体領域の取得を開始する（Ｓ１２）。なお、物体領域取得部１７３は、欠陥画素補正部１７１及びＮＵＣ部１７２のそれぞれにおいて補正された熱画像データを用いて当該処理を行ってもよい。
【0078】
次に、高温物体領域取得部１６０は、熱画像データの撮像範囲に対応する高温物体を検出したか否かを判定する（Ｓ１３）。具体的には、高温物体領域取得部１６０は、赤外線カメラ２００の位置を示す位置情報、撮影日時を示す撮影日時情報、及び、撮像範囲に対応する地図を示す地図情報に基づいて、高温物体を検出する。高温物体は、例えば、太陽である。
【0079】
高温物体を検出していないと判定した場合（Ｓ１３のＮＯ）、高温物体領域取得部１６０はステップＳ１３の処理を繰り返す。高温物体領域取得部１６０が高温物体を検出したと判定した場合（Ｓ１３のＹＥＳ）、軌跡取得部１７４は、高温物体の移動軌跡を取得する（Ｓ１４）。軌跡取得部１７４は、取得した移動軌跡をＲＡＭ１３０などに記憶し得る。
【0080】
ステップＳ１１からステップＳ１４の処理は、赤外線カメラ２００の撮影が行われている期間は、継続して実行される。これにより、熱画像データ、物体領域、及び高温物体の移動軌跡が時系列で記憶され得る。
【0081】
続いて、算出部１７５は、物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する（Ｓ１５）。特定部１７６は、物体領域のうち、物体領域統計値との差が所定以上の画素値を有する画素領域があるか否かを判定する（Ｓ１６）。当該画素領域がないと判定された場合（Ｓ１６のＮＯ）は処理を終了する。
【0082】
当該画素領域があると判定した場合（Ｓ１６のＹＥＳ）、特定部１７６は、当該画素領域が、高温物体の移動軌跡に含まれるか否かを判定する（Ｓ１７）。当該画素領域が、高温物体の移動軌跡に含まれないと判定した場合（Ｓ１７のＮＯ）は処理を終了する。当該画素領域が、高温物体の移動軌跡に含まれると判定した場合（Ｓ１７のＹＥＳ）、特定部１７６は、当該画素領域を異常画素領域として特定する（Ｓ１８）。
【0083】
続いて、補正部１７７は、物体領域統計値に基づいて、異常画素領域の画素値を補正するための補正値を算出する（Ｓ１９）。補正部１７７は、異常画素領域の画素値と物体領域の画素値との差が、補正前よりも小さくなるように補正値を算出する。
【0084】
そして、補正部１７７は、算出した補正値を用いて異常画素領域の各画素の画素値を補正する（Ｓ２０）。補正後の熱画像データは、補正前の熱画像データと比べて、異常画素領域の白色が、当該異常画素領域を含む物体領域に近い色に変化する。補正部１７７は、補正後の熱画像データを表示装置３００に出力してもよい。これにより、表示装置３００は、補正後の熱画像データを表示する。
【0085】
以上説明したように、本実施形態にかかる撮像システム１によれば、画像処理装置１０１において、熱画像データ取得部１５０は、赤外線カメラ２００から熱画像データを取得する。画像処理部１７０において、物体領域取得部１７３は、熱画像データにおける物体領域を取得する。また、軌跡取得部１７４は、熱画像データの撮像範囲に対応する高温物体の移動軌跡を取得する。例えば、軌跡取得部１７４は、赤外線カメラ２００の位置情報、撮影日時情報、及び地図情報に基づいて、高温物体の移動軌跡を取得する。
【0086】
また、算出部１７５は、物体領域の少なくとも一部における画素値の統計値である物体領域統計値を算出する。特定部１７６は、物体領域のうち、物体領域統計値との差が所定以上の画素値を有する画素領域であり、かつ、移動軌跡に含まれる画素領域を、異常画素領域として特定する。これにより、特定部１７６は、高温物体の移動軌跡を加味して異常画素領域を特定することができる。また、補正部１７７は、物体領域統計値に基づいて、異常画素領域の画素値を補正する。
【0087】
このように、本実施形態にかかる撮像システム１では、赤外線カメラ２００の位置情報や地図情報などを用いて、高温物体の実際の位置を検出し、当該高温物体の移動軌跡を取得することができる。これにより、撮像システム１では、当該移動軌跡に基づいて、異常画素領域を精度よく特定することができる。このようにすることで、本実施形態にかかる撮像システム１によれば、赤外線カメラ２００のシャッタ２２０を閉じることなく、画像を適切に補正することができる。
【0088】
＜実施形態２＞
続いて、実施形態２について説明する。実施形態１では、画像処理装置１０１の補正部１７７は、物体領域全体、又は物体領域から異常画素領域を除いた領域の画素値を用いて補正値を算出し、当該補正値を用いて異常画素領域の画素値を補正した。本実施形態では、物体領域のうち、補正値の算出に用いるための領域について、当該領域の均一性を考慮する。以下では、主に、実施形態１と異なる点について説明し、実施形態１と重複する点については適宜説明を省略する。
続いて、実施形態２について説明する。実施形態１では、画像処理装置１０１の補正部１７７は、物体領域全体、又は物体領域から異常画素領域を除いた領域の画素値を用いて補正値を算出し、当該補正値を用いて異常画素領域の画素値を補正した。本実施形態では、物体領域のうち、補正値の算出に用いるための領域について、当該領域の均一性を考慮する。以下では、主に、実施形態１と異なる点について説明し、実施形態１と重複する点については適宜説明を省略する。
【0089】
本実施形態にかかる画像処理装置１０１ａは、画像処理装置１０１の画像処理部１７０に代えて、画像処理部１７０ａを備えている。画像処理装置１０１ａの構成は、実施形態１の画像処理装置１０１（図１を参照）の画像処理部１７０を画像処理部１７０ａと読み替えることで説明できる。よって、画像処理装置１０１ａの構成を示すブロック図の図示を省略する。
【0090】
図７を参照して、画像処理部１７０ａの構成について説明する。図７は、画像処理部１７０ａの構成を示すブロック図である。実施形態１の画像処理部１７０（図３を参照）と異なり、画像処理部１７０ａは、判定部１７８を備えている。また、算出部１７５ａ及び補正部１７７ａは、算出部１７５及び補正部１７７とそれぞれ異なる機能を有する。
【0091】
判定部１７８は、物体領域取得部１７３で取得された物体領域において、異常画素領域周辺に位置する領域である周辺領域の画素値が均一であるか否かを判定する。例えば、判定部１７８は、周辺領域の画素値の分布を算出する。判定部１７８は、当該分布を解析することで、周辺領域の画素値が均一であるか否かを判定する。例えば、判定部１７８は、公知の統計手法を用いて、周辺領域の画素値のばらつきを表す指標値（例えば、周辺領域の画素値の分散など）を算出する。判定部１７８は、算出した指標値を所定の閾値と比較して、周辺領域の画素値が均一であるか否かを判定する。所定の閾値は、あらかじめ設定され得る。所定の閾値は、固定されてもよいし、適宜変更されてもよい。
【0092】
なお、判定部１７８は、所定の閾値との比較により、周辺領域の画素値が均一であるか否かを判定するので、「周辺領域の画素値が均一である」、とは、周辺領域の画素値が厳密に均一であることを必要とするものではない。
【0093】
周辺領域は、異常画素領域から所定の範囲を示す領域である。周辺領域は、例えば、異常画素領域の境界線から外側に向かって所定の距離以内にある領域である。周辺領域は、例えば、異常画素領域の上下左右の端部から所定の距離以内にある領域であってよい。周辺領域の形状は、例えば、矩形、円形、又は楕円形などであるが、これらに限られない。
【0094】
算出部１７５ａは、周辺領域の画素値が均一であると判定された場合、周辺領域における画素値の統計値である周辺領域統計値をさらに算出する。物体領域統計値と同様、統計値は、例えば、平均値、最頻値、又は中央値などである。周辺領域統計値は、補正部１７７ａにおいて補正値の算出に用いられ得る。
【0095】
補正部１７７ａは、周辺領域統計値に基づいて、周辺領域の画素値が均一であると判定された異常画素領域の画素値を補正する。なお、補正部１７７ａは、熱画像データが含む複数の異常画素領域に対して、異なる補正値を用いて補正を行ってもよい。例えば、補正部１７７ａは、熱画像データの一部に対して、実施形態１で説明したような、物体領域全体の統計値である物体領域統計値に基づいた補正値を用いて補正を行う。一方、他の部分に対して、補正部１７７ａは、本実施形態で説明するような周辺領域統計値に基づいた補正値を用いて補正を行うようにしてもよい。
【0096】
ここで、図８を参照して、周辺領域の画素値の均一性について説明する。図８は、周辺領域の画素値の均一性を説明する図である。図８に示される熱画像データＤ３は、実施形態１の熱画像データＤ２（図５を参照）における異常画素領域Ａが発生する位置の、複数の例を示している。図８では、異常画素領域Ａが図の左上に発生した場合と、図の右上に発生した場合と、の例を示している。図８では、左上に発生した異常画素領域Ａを異常画素領域Ａ１として示し、図の右上に発生した異常画素領域Ａを異常画素領域Ａ２として示している。異常画素領域Ａ１及びＡ２は、例えば、異なるタイミングで撮像された熱画像データのそれぞれで発生した異常画素領域である。しかしながら、ここでは便宜的に同一の図面を用いて説明する。
【0097】
図８の左側には、異常画素領域Ａの周辺領域Ｐ１を示している。また、図８の右側には、周辺領域Ｐ２を示している。周辺領域Ｐ１及びＰ２は、例えば、異常画素領域Ａの上下左右の端部から、１０画素以内にある矩形領域である。周辺領域Ｐ１及びＰ２は、空ＳＫの一部である。また、周辺領域Ｐ１及びＰ２は、異常画素領域Ａを含まない領域である。
【0098】
周辺領域Ｐ１には、電柱７や電線８が存在する。一方、周辺領域Ｐ２には、電柱７や電線８などが存在しない。よってこの場合、周辺領域Ｐ１と周辺領域Ｐ２とを比較すると、周辺領域Ｐ２の方が画素値の均一性が高いといえる。
【0099】
判定部１７８は、例えば、周辺領域Ｐ１の画素値を均一でないと判定し、周辺領域Ｐ２の画素値を均一であると判定する。この場合、算出部１７５ａは、周辺領域Ｐ２における画素値の統計値である周辺領域統計値を算出する。
【0100】
補正部１７７ａは、周辺領域Ｐ２の周辺領域統計値に基づいて、異常画素領域Ａの画素値を補正するための補正値を、画素ごとに算出する。補正部１７７ａは、当該補正値を用いて異常画素領域Ａの画素値を補正する。
【0101】
なお、算出部１７５ａは、画素値が均一でないと判定した周辺領域Ｐ１の周辺領域統計値を算出しなくともよい。この場合、算出部１７５ａは、異常画素領域Ａが図の左側にある場合の熱画像データに対し、周辺領域Ｐ２の周辺領域統計値を用いて、異常画素領域Ａの画素値を補正してもよい。例えば、異常画素領域Ａが太陽光に起因して発生したものである場合、太陽が図の左側から右側に移動するとともに、周辺領域の画素値が均一となる可能性がある。したがって、算出部１７５ａは、異なるタイミングで撮像された熱画像データの周辺領域統計値を用いて、異常画素領域Ａの画素値を補正することができる。
【0102】
なお、ここでは、補正値の算出のために、周辺領域が均一であるか否かの判定を行ったが、これに限られない。例えば、特定部１７６において、周辺領域が均一であるか否かの判定を行い、判定結果に応じて異常画素領域を特定してもよい。例えば、特定部１７６は、実施形態１で説明した異常画素領域の特定において、異常画素領域の周辺領域の画素値が均一であるか否かの判定結果を加味する。例えば、特定部１７６は、周辺領域の画素値が均一である場合には、異常画素領域の特定結果を維持する。また、特定部１７６は、周辺領域の画素値が均一でない場合には、異常画素領域の特定結果を破棄するなどしてもよい。これにより、周辺領域の均一性が高い場合にのみ、異常画素領域を特定するので、特定部１７６は、精度よく異常画素領域を特定することができる。
【0103】
（画像処理装置１０１ａの処理）
続いて、図９を参照して、画像処理装置１０１ａが行う処理を説明する。図９は、画像処理装置１０１ａが行う処理を示すフローチャートである。図９に示される処理は、ステップＳ１８の後にステップＳ３１及びＳ３２が入っている点が、実施形態１における画像処理装置１０１の処理（図６を参照）と異なる。ステップＳ１１～Ｓ１８の処理は実施形態１と同様であるので説明を省略し、以下では、ステップＳ３１以降の処理について説明する。
続いて、図９を参照して、画像処理装置１０１ａが行う処理を説明する。図９は、画像処理装置１０１ａが行う処理を示すフローチャートである。図９に示される処理は、ステップＳ１８の後にステップＳ３１及びＳ３２が入っている点が、実施形態１における画像処理装置１０１の処理（図６を参照）と異なる。ステップＳ１１～Ｓ１８の処理は実施形態１と同様であるので説明を省略し、以下では、ステップＳ３１以降の処理について説明する。
【0104】
ステップＳ１８において、特定部１７６が当該画素領域を異常画素領域として特定した後、判定部１７８は、物体領域において、異常画素領域周辺に位置する周辺領域の画素値が均一であるか否かを判定する（Ｓ３１）。
【0105】
周辺領域の画素値が均一でないと判定した場合（Ｓ３１のＮＯ）は処理を終了する。周辺領域の画素値が均一であると判定した場合（Ｓ３１のＹＥＳ）、算出部１７５ａにおいて、周辺領域における画素値の統計値である周辺領域統計値を算出し、補正部１７７ａにおいて、周辺領域統計値に基づいて補正値を算出する（Ｓ３２）。そして、補正部１７７ａは、算出した補正値を用いて異常画素領域の各画素の画素値を補正する（Ｓ２０）。
【0106】
以上説明したように、本実施形態にかかる画像処理装置１０１ａでは、判定部１７８が、物体領域において、異常画素領域周辺に位置する周辺領域の画素値が均一であるか否かを判定する。また、算出部１７５ａは、周辺領域の画素値が均一であると判定された場合、周辺領域における画素値の統計値である周辺領域統計値をさらに算出する。そして、補正部１７７ａは、周辺領域統計値に基づいて、周辺領域の画素値が均一であると判定された異常画素領域の画素値を補正する。
【0107】
このような構成により、画像処理装置１０１ａは、異常画素領域の周辺領域の画素値の均一性を評価して、評価結果に応じて異常画素領域を補正することができる。画像処理装置１０１ａは、画素値が均一な周辺領域の統計値を用いて補正値を算出するので、より精度よく、異常画素領域の補正を行うことができる。
【0108】
＜実施形態３＞
続いて、実施形態３について説明する。実施形態１及び２では、画像処理装置１０１又は１０１ａにおいて、１つの補正値を用いて異常画素領域の画素値を補正した。本実施形態にかかる画像処理装置１０１ｂは、異常画素領域が複数の物体領域にまたがっている場合に、複数の物体領域のそれぞれの物体領域統計値を用いて、異常画素領域の画素値を補正するものである。以下では、主に、実施形態１及び２と異なる点について説明し、実施形態１及び２と重複する点については適宜説明を省略する。
続いて、実施形態３について説明する。実施形態１及び２では、画像処理装置１０１又は１０１ａにおいて、１つの補正値を用いて異常画素領域の画素値を補正した。本実施形態にかかる画像処理装置１０１ｂは、異常画素領域が複数の物体領域にまたがっている場合に、複数の物体領域のそれぞれの物体領域統計値を用いて、異常画素領域の画素値を補正するものである。以下では、主に、実施形態１及び２と異なる点について説明し、実施形態１及び２と重複する点については適宜説明を省略する。
【0109】
本実施形態にかかる画像処理装置１０１ｂは、画像処理装置１０１の画像処理部１７０に代えて、画像処理部１７０ｂを備えている。画像処理装置１０１ｂの構成は、実施形態１の画像処理装置１０１（図１を参照）の画像処理部１７０を画像処理部１７０ｂと読み替えることで説明できる。よって、画像処理装置１０１ｂの構成を示すブロック図の図示を省略する。
【0110】
図１０を参照して、画像処理部１７０ｂの構成について説明する。図１０は、画像処理部１７０ｂの構成を示すブロック図である。実施形態１の画像処理部１７０（図３を参照）と異なり、画像処理部１７０ｂは、分割部１７９を備えている。また、算出部１７５ｂ及び補正部１７７ｂは、算出部１７５及び補正部１７７とそれぞれ異なる機能を有する。
【0111】
分割部１７９は、異常画素領域に関連する物体領域に基づいて、異常画素領域を複数の分割領域に分割する。異常画素領域に関連する物体領域は、例えば、当該異常画素領域が属する物体領域である。異常画素領域が複数の物体領域にまたがるように発生している場合、当該異常画素領域は、複数の物体領域に属している。よって、この場合、当該複数の物体領域は、それぞれ異常画素領域に関連する物体領域である。また、異常画素領域に関連する物体領域は、例えば、異常画素領域に近接する物体領域、又は異常画素領域に隣接する物体領域などであってもよい。
【0112】
さらに、異常画素領域に関連する物体領域は、例えば、異常画素領域を含む物体領域と、画素値が類似する他の物体領域であってもよい。例えば、熱画像データにおいて、ビルＸの領域が異常画素領域を含む場合、ビルＸの画素値と類似する画素値を有するビルＹの領域は、異常画素領域に関連する物体領域である。
【0113】
算出部１７５ｂは、複数の分割領域のそれぞれに対応する物体領域の物体領域統計値を算出する。補正部１７７ｂは、対応する物体領域の物体領域統計値に基づいて、複数の分割領域の画素値をそれぞれ補正する。
【0114】
ここで、図１１及び図１２を参照して、本実施形態にかかる分割領域を用いた補正について具体的に説明する。図１１は、異常画素領域Ａが分割される前の状態を示す図である。図１２は、異常画素領域Ａが分割された後の状態を示す図である。図１１及び図１２において、熱画像データＤ４及びＤ５は、空ＳＫ、電柱７、及び異常画素領域Ａを含んでいる。図１１及び図１２では、説明のために、異常画素領域Ａをハッチングで示している。
【0115】
図１１に示される熱画像データＤ４において、異常画素領域Ａは、空ＳＫ及び電柱７にまたがるように発生している。異常画素領域Ａの一部は、空ＳＫに含まれている。また、異常画素領域Ａのうち、空ＳＫに含まれていない部分は、電柱７に含まれている。つまり、異常画素領域Ａの一部は空ＳＫに属しており、他の一部は電柱７に属している。
【0116】
分割部１７９は、空ＳＫ及び電柱７に基づいて、異常画素領域Ａを複数の分割領域に分割する。これにより、分割部１７９は、図１２における熱画像データＤ５に示されるように、異常画素領域Ａを、３つの分割領域Ａ１１～Ａ１３に分割する。
【0117】
分割部１７９は、実施形態１で説明した位置情報、撮影日時情報、及び地図情報に基づいて、異常画素領域Ａを分割し得る。例えば、分割部１７９は、位置情報、撮影日時情報、及び地図情報に基づいて、電柱７の実際の位置を取得する。これにより、分割部１７９は、図１１に示される熱画像データＤ４において、異常画素領域Ａによって隠れている領域が、電柱７の一部であることを検出することができる。また、分割部１７９は、公知の画像認識技術を用いて異常画素領域Ａを分割してもよい。
【0118】
算出部１７５ｂは、分割領域Ａ１１～Ａ１３のそれぞれに対応する物体領域の物体領域統計値を算出する。分割領域Ａ１１及びＡ１３は、空ＳＫの一部であるので、分割領域Ａ１１及びＡ１３に対応する物体領域は空ＳＫである。算出部１７５ｂは、分割領域Ａ１１及びＡ１３に対応する空ＳＫの物体領域統計値を算出する。
【0119】
また、分割領域Ａ１２は、電柱７の一部であるので、分割領域Ａ１２に対応する物体領域は電柱７である。算出部１７５ｂは、分割領域Ａ１２に対応する電柱７の物体領域統計値を算出する。
【0120】
補正部１７７ｂは、対応する物体領域の物体領域統計値に基づいて、分割領域Ａ１１～Ａ１３の画素値をそれぞれ補正する。補正部１７７ｂは、空ＳＫの物体領域統計値を用いて、分割領域Ａ１１及びＡ１３の画素値を補正するための補正値を算出する。また、補正部１７７ｂは、電柱７の物体領域統計値を用いて、分割領域Ａ１２の画素値を補正するための補正値を算出する。補正部１７７ｂは、算出した補正値を用いて、分割領域Ａ１１～Ａ１３のそれぞれの画素値を補正する。
【0121】
このようにすることで、補正部１７７ｂは、分割領域Ａ１１～Ａ１３のそれぞれに対応する補正値を用いて、異常画素領域Ａの画素値を補正することができる。これにより、異常画素領域が複数の物体領域にまたがって発生した場合であっても、異常画素領域を精度よく補正することができる。
【0122】
なお、図１１及び図１２では、電線などの図示を省略しているが、画像処理装置１０１ｂは、電線などを、電柱７と同様に補正対象に含めて、上述した処理を行ってもよい。または、画像処理装置１０１ｂは、所定未満の大きさの物体領域を、補正対象から除外して、上述した処理を行ってもよい。このようにすることで、画像処理装置１０１ｂは、電線のように大きさが所定未満の物体については、補正を行わないようにすることができる。
【0123】
また、図１１及び図１２の例では、異常画素領域が複数の物体領域にまたがる例を説明したが、ここで、例えば、異常画素領域が大きい場合などにおいて、物体領域が異常画素領域によって隠れてしまう場合について説明する。このような場合、当該物体領域が熱画像データ上に現れないので、分割部１７９は、上述した方法を用いて異常画素領域を分割することができない。
【0124】
この場合、分割部１７９は、例えば、位置情報、撮影日時情報、及び地図情報に基づいて、異常画素領域によって隠れている物体の物体領域を推定する。分割部１７９は、推定された物体領域に基づいて、異常画素領域を複数の分割領域に分割する。
【0125】
補正部１７７ｂは、物体ごとにあらかじめ設定された画素値を用いて、補正値を算出し得る。例えば、ビルの領域が異常画素領域によって隠れている場合、補正部１７７ｂは、あらかじめ設定されたビルの領域の画素値を用いて補正値を算出する。
【0126】
または、補正部１７７ｂは、異常画素領域内によって隠れている物体領域の周辺に、同様の物体領域があるか否かを判定し、判定結果に応じて補正値を算出してもよい。例えば、異常画素領域によって隠れているビルＸの領域の周辺に、類似するビルＹの領域があるとする。この場合、補正部１７７ｂは、ビルＹの画素値に基づいてビルＸの補正値を算出する。補正部１７７ｂは、ビルＹの縮尺や、ビルＹの位置を加味して、ビルＸの補正値を算出してもよい。
【0127】
（画像処理装置１０１ｂの処理）
続いて、図１３を参照して、画像処理装置１０１ｂが行う処理を説明する。図１３は、画像処理装置１０１ｂが行う処理を示すフローチャートである。図１３に示される処理は、ステップＳ１８の後にステップＳ４１及びＳ４２が入っている点が、実施形態１における画像処理装置１０１の処理（図６を参照）と異なる。ステップＳ１１～Ｓ１８の処理は実施形態１と同様であるので説明を省略し、以下では、ステップＳ４１以降の処理について説明する。
続いて、図１３を参照して、画像処理装置１０１ｂが行う処理を説明する。図１３は、画像処理装置１０１ｂが行う処理を示すフローチャートである。図１３に示される処理は、ステップＳ１８の後にステップＳ４１及びＳ４２が入っている点が、実施形態１における画像処理装置１０１の処理（図６を参照）と異なる。ステップＳ１１～Ｓ１８の処理は実施形態１と同様であるので説明を省略し、以下では、ステップＳ４１以降の処理について説明する。
【0128】
ステップＳ１８において、特定部１７６が当該画素領域を異常画素領域として特定した後、分割部１７９は、異常画素領域が複数の物体領域に属するか否かを判定する（Ｓ４１）。異常画素領域が複数の物体領域に属しないと判定された場合（Ｓ４１のＮＯ）はステップＳ１９の処理に進む。
【0129】
異常画素領域が複数の物体領域に属すると判定した場合（Ｓ４１のＹＥＳ）、分割部１７９は、異常画素領域を複数の分割領域に分割する（Ｓ４２）。補正部１７７ｂは、物体領域統計値に基づいて補正値を算出する（Ｓ１９）。具体的には、算出部１７５ｂは、複数の分割領域のそれぞれに対応する物体領域の物体領域統計値を算出する。また、補正部１７７ｂは、対応する物体領域の物体領域統計値に基づいて、複数の分割領域の補正値をそれぞれ算出する。補正部１７７ｂは、算出した補正値を用いて、異常画素領域の画素値を補正する（Ｓ２０）。本実施形態では、補正部１７７ｂは、異常画素領域を構成する複数の分割領域の画素値をそれぞれ補正する。
【0130】
以上説明したように、本実施形態にかかる画像処理装置１０１ｂは、異常画素領域に関連する物体領域に基づいて、異常画素領域を複数の分割領域に分割する分割部１７９をさらに備える。このような構成により、画像処理装置１０１ｂでは、分割領域のそれぞれに対応する補正値を算出することができるので、異常画素領域の画素値を、より精度よく補正することができる。
【0131】
＜実施形態３の変形例＞
続いて、実施形態３の変形例について説明する。本変形例にかかる画像処理装置１０１ｂ２は、実施形態３における画像処理装置１０１ｂの画像処理部１７０ｂと異なる構成を有する画像処理部１７０ｂ２を備えている。画像処理装置１０１ｂ２の構成は、実施形態１の画像処理装置１０１（図１を参照）の画像処理部１７０を画像処理部１７０ｂ２と読み替えることで説明できる。よって、画像処理装置１０１ｂ２の構成を示すブロック図の図示を省略する。
続いて、実施形態３の変形例について説明する。本変形例にかかる画像処理装置１０１ｂ２は、実施形態３における画像処理装置１０１ｂの画像処理部１７０ｂと異なる構成を有する画像処理部１７０ｂ２を備えている。画像処理装置１０１ｂ２の構成は、実施形態１の画像処理装置１０１（図１を参照）の画像処理部１７０を画像処理部１７０ｂ２と読み替えることで説明できる。よって、画像処理装置１０１ｂ２の構成を示すブロック図の図示を省略する。
【0132】
本変形例にかかる画像処理部１７０ｂ２は、実施形態３で説明した画像処理部１７０ｂの機能に加え、物体領域の画素値の変化傾向を取得し、当該傾向に基づいて画素値を補正する機能を有するものである。
【0133】
例えば、熱画像データがビルの領域を含むとする。ビルの領域は、太陽光などの影響によって、ビルの領域内の複数の地点間で画素値が所定以上異なる場合がある。例えば、ビルのうち、太陽光が当たる部分は、太陽光が当たらない日陰の部分よりも温度が高くなる。なお、太陽光に限らず、風向きなどの影響も想定される。
【0134】
このような場合に、異常画素領域が、温度が高い領域に対応する物体領域と、温度が低い領域に対応する物体領域と、にまたがっているとする。このような場合、１つの補正値を用いて異常画素領域を補正した場合、異常画素領域の画素値を適切に補正できない可能性がある。本変形例は、このような問題を解決するものである。
【0135】
図１４を参照して、本変形例にかかる画像処理部１７０ｂ２の構成を説明する。図１４は、本変形例にかかる画像処理部１７０ｂ２の構成を示すブロック図である。画像処理部１７０ｂ２は、傾向取得部１７９１を備える点が、実施形態３の画像処理部１７０ｂ（図１０を参照）の構成と異なる。また、補正部１７７ｂ２は、補正部１７７ｂと異なる機能を有する。
【0136】
傾向取得部１７９１は、異常画素領域に関連する物体領域の画素値の変化傾向を取得する。画素値の変化傾向は、物体領域の少なくとも一部における、画素値の変化の傾向を示す情報である。
【0137】
傾向取得部１７９１は、例えば、物体領域の複数の地点間における画素値の変化傾向を取得する。例えば、傾向取得部１７９１は、物体領域の第１地点と第２地点との間の画素値を解析することで、画素値の変化傾向を取得する。傾向取得部１７９１は、例えば、第１地点から第２地点に向かうにつれて画素値が大きくなる、又は、第１地点から第２地点に向かうにつれて画素値が小さくなる、などの変化傾向を取得する。
【0138】
第１及び第２地点の位置関係は任意である。例えば、第１及び第２地点は、上下に配置されてもよいし、左右に配置されてもよい。また、傾向取得部１７９１は、３つ以上の地点を用いて、当該地点間の画素値の変化傾向を取得してもよい。
【0139】
補正部１７７ｂ２は、傾向取得部１７９１で取得された変化傾向に基づいて、補正値を算出する。例えば、補正部１７７ｂ２は、画素値の変化傾向に基づいて、１つの異常画素領域を補正するための複数の補正値を算出する。また、補正部１７７ｂ２は、物体領域の画素値の傾向に基づいて、複数の分割領域に対応する補正値を算出してもよい。
【0140】
傾向取得部１７９１は、熱画像データに含まれる全ての物体領域を用いて変化傾向を取得してもよいし、熱画像データに含まれる物体領域のうち一部を用いて変化傾向を取得してもよい。例えば、傾向取得部１７９１は、画像データに含まれる物体領域のうち、分割領域に関連する物体の物体領域を用いて変化傾向を取得してもよい。
【0141】
傾向取得部１７９１が、熱画像データに含まれる全ての物体領域を用いて変化傾向を取得する場合の処理について説明する。例えば、熱画像データにおいて、１つの物体領域の全てが異常画素領域によって隠れているとする。このような場合、傾向取得部１７９１は、熱画像データに含まれる全ての物体領域を用いて変化傾向を取得する。例えば、傾向取得部１７９１は、熱画像データに含まれる複数の物体領域のうち、所定割合以上の物体領域において、右側の画素値が左側の画素値より大きい、との変化傾向を取得する。この場合、補正部１７７ｂ２は、異常画素領域の右側の画素値が左側の画素値より大きくなるように補正値を算出する。
【0142】
具体的には、補正部１７７ｂ２は、熱画像データにおいて、右側の画素値が左側の画素値より大きい、との変化傾向を示す複数の物体領域において、右端の画素値と左端の画素値との差分をそれぞれ算出する。補正部１７７ｂ２は、算出した差分の平均値を用いて、補正値を算出する。補正部１７７ｂ２は、算出した差分の最頻値や中央値を用いて、補正値を算出してもよい。
【0143】
例えば、右側の画素値が左側の画素値より大きい、との変化傾向を示す複数の物体領域において、右端の画素値が、左端の画素値よりも平均して２０大きくなる傾向であるとする。このような場合、補正部１７７ｂ２は、異常画素領域の右端の画素値が、左端の画素値よりも２０大きくなるように、補正値を算出する。例えば、補正部１７７ｂ２は、異常画素領域の右端から左端に向かって、均等な変化幅で画素値が変化するように、画素ごとに補正値を算出する。このようにすることで、補正部１７７ｂ２は、異常画素領域の右端から左端に向かって、段階的に画素値が小さくなるように、補正値を算出することができる。
【0144】
傾向取得部１７９１が、熱画像データに含まれる物体領域のうち一部を用いて変化傾向を取得する場合の処理について説明する。例えば、図１２に示される例のように、異常画素領域Ａが、複数の分割領域Ａ１１～Ａ１３に分割されているとする。このような場合、傾向取得部１７９１は、異常画素領域Ａの一部（分割領域Ａ１２）が属する電柱７の画素値の変化傾向を取得する。
【0145】
例えば、電柱７の領域のうち、分割領域Ａ１２の上側の領域における画素値が、分割領域Ａ１２の下側の領域における画素値よりも、２０大きいとする。補正部１７７ｂ２は、分割領域Ａ１２の上端の画素値が、分割領域Ａ１２の下端の画素値よりも２０大きくなるように、分割領域Ａ１２の補正値を算出する。
【0146】
具体的には、補正部１７７ｂ２は、分割領域Ａ１２の上端から下端に向かって、均等な変化幅で画素値が変化するように、画素ごとに補正値を算出する。このようにすることで、補正部１７７ｂ２は、分割領域Ａ１２の上端から下端に向かって、段階的に画素値が小さくなるように補正値を算出することができる。なお、補正部１７７ｂ２は、分割領域Ａ１２の上端の画素値及び下端の画素値が、それぞれが隣接する電柱７の画素値と同じ値又は近い値となるように、補正値を算出してもよい。
【0147】
上述した補正値の算出方法は一例であるので、補正部１７７ｂ２は、他の算出方法を用いて補正値を算出し得る。なお、補正部１７７ｂ２は、均等でない変化幅で画素値が変化するように、補正値を算出してもよい。
【0148】
（画像処理装置１０１ｂ２の処理）
続いて、図１５を参照して、画像処理装置１０１ｂ２が行う処理を説明する。図１５は、画像処理装置１０１ｂ２が行う処理を示すフローチャートである。図１５に示される処理は、ステップＳ４２の後にステップＳ４３が入っている点が、実施形態３における画像処理装置１０１ｂの処理（図１３を参照）と異なる。ステップＳ１１～Ｓ４２の処理は実施形態３と同様であるので説明を省略し、以下では、ステップＳ４３以降の処理について説明する。
続いて、図１５を参照して、画像処理装置１０１ｂ２が行う処理を説明する。図１５は、画像処理装置１０１ｂ２が行う処理を示すフローチャートである。図１５に示される処理は、ステップＳ４２の後にステップＳ４３が入っている点が、実施形態３における画像処理装置１０１ｂの処理（図１３を参照）と異なる。ステップＳ１１～Ｓ４２の処理は実施形態３と同様であるので説明を省略し、以下では、ステップＳ４３以降の処理について説明する。
【0149】
ステップＳ４２において、分割部１７９が異常画素領域を複数の分割領域に分割した後、傾向取得部１７９１は、物体領域の画素値の変化傾向を取得する（Ｓ４３）。補正部１７７ｂ２は、物体領域統計値に基づいて補正値を算出する（Ｓ１９）。本変形例では、補正部１７７ｂ２は、取得された変化傾向に基づいて補正値を算出する。例えば、補正部１７７ｂ２は、異常画素領域の一端から他端に向かって、段階的に画素値が変化するように、画素ごとに補正値を算出する。そして、補正部１７７ｂ２は、異常画素領域の画素値を補正する（Ｓ２０）。
【0150】
以上説明したように、本変形例にかかる画像処理装置１０１ｂ２では、傾向取得部１７９１は、異常画素領域に関連する物体領域の画素値の変化傾向を取得する。また、補正部１７７ｂ２は、変化傾向に基づいて補正値を算出し、当該補正値を用いて異常画素領域の画素値を補正する。このようにすることで、本変形例にかかる画像処理装置１０１ｂ２によれば、周辺領域の画素値に応じて、異常画素領域の画素値が段階的に変化するように、異常画素領域を補正することができる。
【0151】
上述した画像処理装置１０１、１０１ａ、１０１ｂ、及び１０１ｂ２の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。例えば本開示は、上述したように、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
【0152】
プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、非一時的なコンピュータ可読媒体又は実体のある記憶媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（solid-state drive）又はその他のメモリや各種ストレージデバイスを含む。また、プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。
【0153】
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上述した実施形態１～３及び変形例は、任意に組み合わせて実行可能である。
【0154】
例えば、上述した実施形態３の変形例における説明では、実施形態３にかかる画像処理部１７０ｂがさらに傾向取得部１７９１を備えた例として、画像処理部１７０ｂ２の構成を説明した。しかしながら、これに限らず、実施形態１にかかる画像処理部１７０、又は実施形態２にかかる画像処理部１７０ａが、傾向取得部１７９１の構成を備えてもよい。例えば、実施形態１にかかる画像処理部１７０が傾向取得部１７９１を備えているとする。また、異常画素領域は分割されていないものとする。この場合、画像処理部１７０の補正部１７７は、異常画素領域に関連する物体領域の画素値の変化傾向に基づいて、異常画素領域全体の画素値を補正する。このようにすることで、補正部１７７は、例えば空領域に発生した異常画素領域の画素値を、当該空領域の画素値の変化傾向に基づいて補正することができる。
【符号の説明】
【0155】
１ 撮像システム
５ 車両
７ 電柱
８ 電線
５１ マフラー
１０１、１０１ａ、１０１ｂ、１０１ｂ２ 画像処理装置
１１０ 制御ＩＦ
１４０ システム制御部
１５０ 熱画像データ取得部
１６０ 高温物体領域取得部
１７０、１７０ａ、１７０ｂ、１７０ｂ２ 画像処理部
１７１ 欠陥画素補正部
１７２ ＮＵＣ部
１７３ 物体領域取得部
１７４ 軌跡取得部
１７５、１７５ａ、１７５ｂ 算出部
１７６ 特定部
１７７、１７７ａ、１７７ｂ、１７７ｂ２ 補正部
１７８ 判定部
１７９ 分割部
１７９１ 傾向取得部
１８０ 表示制御部
２００ 赤外線カメラ
２１０ レンズ
２２０ シャッタ
２３０ 赤外線センサ
２４０ 伝送デバイス
２５０ 温度センサ
３００ 表示装置
Ａ、Ａ１、Ａ２ 異常画素領域
Ａ１１～Ａ１３ 分割領域
Ｄ１～Ｄ５ 熱画像データ
Ｐ１、Ｐ２ 周辺領域
ＳＫ 空
ＳＵ 太陽
５ 車両
７ 電柱
８ 電線
５１ マフラー
１０１、１０１ａ、１０１ｂ、１０１ｂ２ 画像処理装置
１１０ 制御ＩＦ
１４０ システム制御部
１５０ 熱画像データ取得部
１６０ 高温物体領域取得部
１７０、１７０ａ、１７０ｂ、１７０ｂ２ 画像処理部
１７１ 欠陥画素補正部
１７２ ＮＵＣ部
１７３ 物体領域取得部
１７４ 軌跡取得部
１７５、１７５ａ、１７５ｂ 算出部
１７６ 特定部
１７７、１７７ａ、１７７ｂ、１７７ｂ２ 補正部
１７８ 判定部
１７９ 分割部
１７９１ 傾向取得部
１８０ 表示制御部
２００ 赤外線カメラ
２１０ レンズ
２２０ シャッタ
２３０ 赤外線センサ
２４０ 伝送デバイス
２５０ 温度センサ
３００ 表示装置
Ａ、Ａ１、Ａ２ 異常画素領域
Ａ１１～Ａ１３ 分割領域
Ｄ１～Ｄ５ 熱画像データ
Ｐ１、Ｐ２ 周辺領域
ＳＫ 空
ＳＵ 太陽
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】