2024-162036 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162036

(43)【公開日】2024-11-21

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241114BHJP

   G03B 15/00 20210101ALI20241114BHJP

   G03B 11/04 20210101ALI20241114BHJP

【ＦＩ】

H04N23/60

H04N23/60 500

G03B15/00 V

G03B15/00 Q

G03B11/04

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023077187

(22)【出願日】2023-05-09

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】中明 靖文

(72)【発明者】

【氏名】山本 浩史

(72)【発明者】

【氏名】林 啓太

(72)【発明者】

【氏名】石渡 忠司

(72)【発明者】

【氏名】土屋 圭二

【テーマコード（参考）】

2H083

5C122

【Ｆターム（参考）】

2H083CC07

2H083CC58

5C122DA14

5C122DA16

5C122EA02

5C122FA06

5C122FF09

5C122FH12

5C122FH14

5C122FK24

5C122HB01

5C122HB05

(57)【要約】

【課題】太陽光を受けたときに、センサを保護しつつ、車両及び人物等の認識を行うことができる画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置１０１は、赤外線カメラ２００から、複数のフレームで構成される熱画像データを取得する熱画像データ取得部１６０と、所定条件を満たす飽和画素の有無を検出する飽和検出部１７３と、赤外線センサ２３０への光の入射を遮蔽するシャッタ２２０の動作を制御するシャッタ制御部１５０と、熱画像データを表示装置３００に表示させる表示制御部１８０と、を備え、シャッタ制御部１５０は、飽和検出部１７３が飽和画素を検出した場合、シャッタ２２０を閉じるとともに、所定フレーム毎にシャッタ２２０を開く制御を行い、表示制御部１８０は、シャッタ制御部１５０がシャッタ２２０を閉じている期間に、シャッタ２２０が閉じる直前のフレームの映像を表示装置３００に表示させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

熱画像を撮像する赤外線カメラから、複数のフレームで構成される熱画像データを取得する熱画像データ取得部と、
前記熱画像データにおける飽和画素であって、所定条件を満たす前記飽和画素の有無を検出する飽和検出部と、
前記赤外線カメラが備える赤外線センサへの光の入射を遮蔽するシャッタの動作を制御するシャッタ制御部と、
前記熱画像データ取得部が取得した前記熱画像データを、表示装置に表示させる表示制御部と、
を備え、
前記シャッタ制御部は、前記飽和検出部が前記所定条件を満たす前記飽和画素を検出した場合、前記シャッタを閉じるとともに、所定フレーム毎に前記シャッタを開く制御を行い、
前記表示制御部は、前記シャッタ制御部が前記シャッタを閉じている期間に、前記シャッタが閉じる直前の前記フレームの前記熱画像を前記表示装置に表示させる、
画像処理装置。

【請求項2】

前記熱画像データから所定物体を検出する画像認識部をさらに備え、
前記画像認識部は、前記シャッタ制御部が前記シャッタを閉じている期間は、前記シャッタが閉じる直前の前記フレームの前記熱画像から前記所定物体を検出する、
請求項１に記載の画像処理装置。

【請求項3】

前記熱画像データから所定物体を検出する画像認識部と、
前記画像認識部が検出した前記所定物体の位置の動きを予測する予測部と、
をさらに備え、
前記表示制御部は、前記シャッタ制御部が前記シャッタを閉じている期間は、前記シャッタが閉じる直前に認識された前記所定物体について前記予測部が予測した前記位置を示す表示を行う、
請求項１に記載の画像処理装置。

【請求項4】

前記画像処理装置は、移動体に設置され、
前記移動体の移動状態を取得する移動情報取得部をさらに備え、
前記シャッタ制御部は、前記飽和検出部が前記所定条件を満たす前記飽和画素を検出した場合、前記シャッタを閉じてから前記シャッタを開く所定フレーム毎の期間を、前記移動情報取得部が取得した前記移動体の移動状態によって変化させる、
請求項１に記載の画像処理装置。

【請求項5】

熱画像を撮像する赤外線カメラから、複数のフレームで構成される熱画像データを取得する熱画像データ取得ステップと、
前記熱画像データにおける飽和画素であって、所定条件を満たす前記飽和画素の有無を検出する飽和検出ステップと、
前記飽和検出ステップで前記所定条件を満たす前記飽和画素が検出された場合、前記赤外線カメラが備える赤外線センサへの光の入射を遮蔽するシャッタを閉じるとともに、所定フレーム毎に前記シャッタを開く制御を行うシャッタ制御ステップと、
前記熱画像データ取得ステップで取得した熱画像データを、表示装置に表示させ、前記シャッタを閉じている期間に、前記シャッタが閉じる直前の前記フレームの前記熱画像を前記表示装置に表示させる、表示制御ステップと、
を画像処理装置が実行する、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

特許文献１には、太陽光が赤外線センサに入射した場合に、シャッタを閉じて赤外線センサを保護することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１８７０７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の赤外線センサでは、シャッタを閉じている期間は、人物等の認識が行われない。特許文献１の赤外線センサを車両に適用する場合には、走行によって外部の状態が変化することから、シャッタ閉による太陽光からの赤外線センサの保護と、車両及び人物等の認識による警告とを両立させることが望まれている。

【0005】

本開示は、このような問題点を解決するためになされたものであり、太陽光を受けたときに、赤外線センサを保護しつつ、車両及び人物等の認識を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

そこで、本開示は、熱画像を撮像する赤外線カメラから、複数のフレームで構成される熱画像データを取得する熱画像データ取得部と、前記熱画像データにおける飽和画素であって、所定条件を満たす前記飽和画素の有無を検出する飽和検出部と、前記赤外線カメラが備える赤外線センサへの光の入射を遮蔽するシャッタの動作を制御するシャッタ制御部と、前記熱画像データ取得部が取得した前記熱画像データを、表示装置に表示させる表示制御部と、を備え、前記シャッタ制御部は、前記飽和検出部が前記所定条件を満たす前記飽和画素を検出した場合、前記シャッタを閉じるとともに、所定フレーム毎に前記シャッタを開く制御を行い、前記表示制御部は、前記シャッタ制御部が前記シャッタを閉じている期間に、前記シャッタが閉じる直前の前記フレームの前記熱画像を前記表示装置に表示させる、画像処理装置を提供する。

【0007】

また、本開示は、熱画像を撮像する赤外線カメラから、複数のフレームで構成される熱画像データを取得する熱画像データ取得ステップと、前記熱画像データにおける飽和画素であって、所定条件を満たす前記飽和画素の有無を検出する飽和検出ステップと、前記飽和検出ステップで前記所定条件を満たす前記飽和画素が検出された場合、前記赤外線カメラが備える赤外線センサへの光の入射を遮蔽するシャッタを閉じるとともに、所定フレーム毎に前記シャッタを開く制御を行うシャッタ制御ステップと、前記熱画像データ取得ステップで取得した熱画像データを、表示装置に表示させ、前記シャッタを閉じている期間に、前記シャッタが閉じる直前の前記フレームの前記熱画像を前記表示装置に表示させる、表示制御ステップと、を画像処理装置が実行する、画像処理方法を提供する。

【発明の効果】

【0008】

本開示により、太陽光を受けたときに、センサを保護しつつ、車両及び人物等の認識を行うことができる画像処理装置及び画像処理方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態１に係る撮像システムの構成を例示したブロック図である。

【図2】実施形態１に係る撮像システムにおいて、赤外線カメラの詳細構成を模式的に例示したブロック図である。

【図3】実施形態１に係る画像処理部の構成を例示したブロック図である。

【図4】実施形態１に係る画像処理装置において、通常時の取得熱画像データ及び出力熱画像データを例示した概念図である。

【図5】実施形態１に係る画像処理装置において、太陽光検出時の取得熱画像データ及び出力熱画像データを例示した概念図である。

【図6】実施形態１に係る画像処理方法を例示したフローチャート図である。

【図7】実施形態２に係る撮像システムの構成を例示したブロック図である。

【図8】実施形態２に係る画像処理装置において、画像認識部が所定物体を認識した熱画像データの表示例を示した図である。

【図9】実施形態２に係る画像処理方法を例示したフローチャート図である。

【図10】実施形態３に係る撮像システムの構成を例示したブロック図である。

【図11】実施形態３に係る画像処理方法を例示したフローチャート図である。

【図12】実施形態４に係る撮像システムの構成を例示したブロック図である。

【図13】実施形態４に係る画像処理方法を例示したフローチャート図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本開示の実施の形態について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、図面が煩雑にならないように、いくつかの符号は省略されている。

【0011】

（実施形態１）
実施形態１に係る画像処理装置及び撮像システムについて、図１を用いて説明する。図１は、実施形態１に係る撮像システム１の構成を例示したブロック図である。図１に示すように、撮像システム１は、画像処理装置１０１、赤外線カメラ２００、及び、表示装置３００を備えている。撮像システム１は、例えば、車両において用いられ、周囲の熱画像を取得する車両用の撮像システム１や、監視用途に用いられる撮像システム１等である。

【0012】

赤外線カメラ２００は、熱画像（赤外線画像）を撮像する。赤外線カメラ２００は、赤外線センサを有している。なお、赤外線カメラ２００の構成については後述する。赤外線カメラ２００は、被写体からの赤外線を赤外線センサで検出することにより、熱画像を撮像する。赤外線カメラ２００は、物体から放射される遠赤外線を可視化することが可能な遠赤外線（Ｆａｒ Ｉｎｆｒａｒｅｄ Ｒａｙｓ）カメラである。赤外線カメラ２００で撮像した熱画像のデータを熱画像データ（又は赤外線画像データ）ともいう。熱画像データは、例えば、毎秒１５から６０フレームの複数のフレームで構成される動画像である。

【0013】

赤外線カメラ２００は、熱画像データを、画像処理装置１０１に出力する。なお、赤外線カメラ２００から画像処理装置１０１が取得する熱画像データを取得熱画像データともいう。熱画像データは、赤外線カメラで撮像された熱画像データを示す。

【0014】

画像処理装置１０１は、取得熱画像データに対して画像処理を行うことで、表示画像データを生成する。例えば、画像処理装置１０１は、赤外線カメラ２００の画素ばらつきの補正等の各種処理を行う。

【0015】

画像処理装置１０１は、画像処理が施された表示画像データを表示装置３００に出力する。なお、画像処理装置１０１で画像処理が施されて、表示装置３００に出力される表示画像データを出力熱画像データともいう。つまり、取得熱画像データは、画像処理装置１０１による処理前のデータであり、出力熱画像データは、処理後のデータである。

【0016】

表示装置３００は、表示画像データを表示するためのディスプレイ等を備えている。表示装置３００は、画像処理装置１０１において、画像処理が施された表示画像データを表示する。

【0017】

画像処理装置１０１は、物理的な構成として、制御ＩＦ（インタフェース）１１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３０を備える。画像処理装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理としてプログラムによって実現される機能ブロックとして、システム制御部１４０、シャッタ制御部１５０、熱画像データ取得部１６０、画像処理部１７０、飽和検出部１７３、及び、表示制御部１８０をさらに備えている。これらの構成は、便宜的に、バスを介して適宜通信可能に接続されている構成として示す。

【0018】

熱画像データ取得部１６０は、熱画像を撮像する赤外線カメラ２００から、複数のフレームで構成される熱画像データを取得する。熱画像データ取得部１６０は、例えば、赤外線カメラ２００からの熱画像データを取得するためのＩＦ（インターフェース）を備えている。なお、熱画像データ取得部１６０と、赤外線カメラ２００とのインタフェースは、有線接続であってもよく、無線接続であってもよい。

【0019】

ＲＯＭ１２０は、画像処理装置１０１を制御するための制御プログラムや各種パラメータを格納する。例えば、ＲＯＭ１２０は、画像処理部１７０で実行される画像処理プログラムを格納している。また、ＲＯＭ１２０は、システム制御部１４０で実行されるシステム制御プログラムを格納している。

【0020】

ＲＡＭ１３０は、各種プログラムやその実行に用いるパラメータなどを格納している。さらに、画像処理部１７０の演算データ等を記憶する。

【0021】

システム制御部１４０は、撮像システム１の全体を制御する。システム制御部１４０のプロセッサが制御プログラムを実行することで、システム全体を制御することができる。

【0022】

システム制御部１４０は、シャッタ制御部１５０を備えている。シャッタ制御部１５０は、赤外線カメラ２００のシャッタの開閉を制御する。具体的には、シャッタ制御部１５０は、赤外線カメラ２００が備える赤外線センサへの光の入射を遮蔽するシャッタの動作を制御する。シャッタ制御部１５０は、シャッタを開閉するための制御信号を出力する。

【0023】

制御ＩＦ１１０は、赤外線カメラ２００を制御するためのインタフェースである。例えば、シャッタ制御部１５０は、制御ＩＦ１１０を介して、赤外線カメラ２００のシャッタを開閉するための制御信号を出力する。また、画像処理装置１０１は、制御ＩＦ１１０を介して、赤外線カメラ２００に各種の信号やデータを送信することができる。さらに、制御ＩＦ１１０は、赤外線カメラ２００からの各種の信号やデータ等を受信することができる。例えば、制御ＩＦ１１０は、赤外線カメラ２００の温度センサで測定された環境温度を取得する。

【0024】

画像処理部１７０は、熱画像データ取得部１６０で取得された熱画像データに対して、所定の画像処理を行う。

【0025】

画像処理部１７０は、飽和検出部１７３を備えている。飽和検出部１７３は、熱画像データにおける飽和画素であって、所定条件を満たす飽和画素の有無を検出する。飽和画素は、例えば、画素データが上限値となった状態の画素をいう。例えば、撮像データの各画素の輝度レベルがゼロから１６３８３までの１４ビットで表現されている場合に、輝度レベルが１６３８３の値を有する座標の画素を飽和画素としてもよい。なお、飽和画素の所定条件は、上限値となることに限らず、予め設定した他の値としてもよい。

【0026】

飽和検出部１７３は、所定条件を満たす飽和画素の有無として、太陽光の直接入射に該当する飽和画素の有無を検出してもよい。飽和検出部１７３は、所定条件を満たす飽和画素の有無として、画素にダメージを生じさせる飽和画素の有無を検出してもよい。

【0027】

画像処理部１７０における処理については後述する。画像処理部１７０が取得熱画像データに対して画像処理を行うことで、出力熱画像データが生成される。

【0028】

表示制御部１８０は、熱画像データ取得部１６０が取得した熱画像データを、表示装置３００に表示させる。具体的には、表示制御部１８０は、熱画像データ取得部１６０が取得した取得熱画像データを、画像処理部１７０で処理された後に、表示装置３００に表示させる。表示制御部１８０は、出力熱画像データを表示装置３００に出力するインタフェースである。

【0029】

図２は、実施形態１に係る撮像システム１において、赤外線カメラ２００の詳細構成を模式的に例示したブロック図である。図２に示すように、赤外線カメラ２００は、レンズ２１０、シャッタ２２０、赤外線センサ２３０、伝送デバイス２４０及び温度センサ２５０を備えている。

【0030】

レンズ２１０は、被写体からの赤外光を赤外線センサ２３０の受光面に結像する。赤外線センサ２３０は、複数の画素を備えている。赤外線センサ２３０の各画素が被写体からの赤外光を受光する。これにより、被写体の熱画像を撮像することができる。例えば、赤外線センサ２３０は、遠赤外線を検出するためのマイクロボロメータを有してもよい。赤外線センサ２３０は、２次元アレイ状配列された複数の画素を備えている。各画素の検出値（検出信号）が被写体の熱画像を形成する。

【0031】

伝送デバイス２４０は、画像処理装置１０１に各種の信号やデータを伝送するためのインタフェースとなる。伝送デバイス２４０は、赤外線センサ２３０で撮像された熱画像データを画像処理装置１０１に伝送する。また、伝送デバイス２４０は、画像処理装置１０１からの制御信号を受信する。

【0032】

温度センサ２５０は、赤外線カメラ２００の使用環境における温度を測定する。伝送デバイス２４０は、温度センサ２５０で測定された環境温度を画像処理装置１０１に送信する。

【0033】

シャッタ２２０は、赤外線センサ２３０の前面側に配置される。シャッタ２２０は、外部から赤外線センサ２３０に入射する赤外光を含む光を遮る。シャッタ２２０は、開閉可能な機構を有している。シャッタ２２０は、シャッタ制御部１５０からの制御信号によって開閉する。シャッタ２２０が閉じた状態（以下、単に、閉状態とも呼ぶ。）では、レンズ２１０からの赤外光が赤外線センサ２３０に入射しなくなる。つまり、閉状態では、レンズ２１０からではなくシャッタ２２０からの赤外光が赤外線センサ２３０に入射する。シャッタ２２０が開いた状態（以下、単に、開状態とも呼ぶ。）では、レンズ２１０からの赤外光が赤外線センサ２３０に入射する。なお、シャッタ２２０は、赤外線センサ２３０の撮像範囲を熱的な均一面とするとすることができる。例えば、シャッタ２２０は、レンズ２１０の前面側に配置されたバリヤ又はカバーのようなものであってもよい。

【0034】

次に、画像処理部１７０の構成について図３を用いて説明する。図３は、実施形態１に係る画像処理部１７０の構成を例示したブロック図である。図３に示すように、画像処理部１７０は、飽和検出部１７３の他に、さらに、欠陥画素補正部１７１及びＮＵＣ（Ｎｏｎ－Ｕｎｉｆｏｒｍｉｔｙ Ｃｏｒｒｅｃｔｉｏｎ）部１７２を備えてもよい。画像処理部１７０は、システム制御部１４０及びＲＡＭ１３０と連携し、所定の処理を実行する。

【0035】

欠陥画素補正部１７１は、ＲＡＭ１３０に予め記憶されている赤外線センサ２３０の欠陥画素の画素値を、欠陥画素の周辺の画素における画素値から補間処理を行う。欠陥画素補正部１７１は、熱画像データ取得部１６０が取得した取得熱画像データに対して、上述の補間処理を行い、補間処理を行った画像データを、ＮＵＣ部１７２に出力する。

【0036】

ＮＵＣ部１７２は、画素間の出力ばらつきを補正するための処理を行う。

【0037】

飽和検出部１７３は、前述したように、熱画像データの飽和画素を検出する。飽和検出部１７３は、取得した熱画像データに飽和画素を検出した場合に、飽和画素の検出結果を示す信号を、システム制御部１４０に出力する。

【0038】

次に、本実施形態に係る画像処理装置１０１において、シャッタ制御部１５０及び表示制御部１８０等の動作を説明する。図４は、実施形態１に係る画像処理装置１０１において、通常時の取得熱画像データ及び出力熱画像データを例示した概念図である。図４に示すように、通常時において、画像処理装置１０１における熱画像データ取得部１６０は、熱画像を撮像する赤外線カメラ２００から、複数のフレームＦ１～Ｆ３０を含む熱画像データを取得する。通常時は、例えば、赤外線センサ２３０に太陽光の直接入射を検出していない時を含む。したがって、通常時は、飽和検出部１７３は、太陽光の直接入射による飽和画像を検出していない時を含む。通常時には、表示制御部１８０は、熱画像データ取得部１６０が取得した取得熱画像データを、出力熱画素データとして表示装置３００に表示させる。

【0039】

図５は、実施形態１に係る画像処理装置１０１において、太陽光検出時の取得熱画像データ及び出力熱画像データを例示した概念図である。図５に示すように、太陽光の直接入射検出時、すなわち、飽和検出部１７３が所定条件を満たす飽和画素を検出した場合には、シャッタ制御部１５０は、シャッタ２２０を閉じるように制御する。それとともに、シャッタ制御部１５０は、所定フレーム毎にシャッタ２２０を開く制御を行う。所定フレーム毎は、例えば、５フレーム毎である。

【0040】

具体的には、シャッタ制御部１５０は、飽和検出部１７３が太陽光の直接入射による飽和画素を検出した場合、シャッタ２２０を閉じつつ、５フレーム毎にシャッタ２２０を開く。例えば、シャッタ制御部１５０は、フレームＦ１を取得する際には、シャッタ２２０を開き、フレームＦ２～Ｆ５を取得する際には、シャッタ２２０を閉じる。シャッタ制御部１５０は、フレームＦ６を取得する際には、シャッタ２２０を開き、フレームＦ７～Ｆ１０を取得する際には、シャッタ２２０を閉じる。シャッタ制御部１５０は、フレームＦ１１を取得する際には、シャッタ２２０を開き、フレームＦ１２～Ｆ１５を取得する際には、シャッタ２２０を閉じる。

【0041】

このように、シャッタ制御部１５０は、飽和検出部１７３が太陽光の直接入射による飽和画素を検出した場合、所定数のフレームに渡るシャッタ２２０の開状態と、所定数のフレームに渡るシャッタ２２０の閉状態とを含む開閉動作を繰り返す。例えば、図５では、１つの開閉動作におけるシャッタ２２０の開状態のフレーム数は、１フレームであり、１つの開閉動作におけるシャッタ２２０の閉状態のフレーム数は、４フレームである。１つの開閉動作におけるフレーム数は、５フレームである。よって、シャッタ制御部１５０は、飽和検出部１７３が太陽光の直接入射による飽和画素を検出した場合、太陽光の直接入射による飽和画素が検出されなくなるまで、５フレームの周期で開閉動作を繰り返す。

【0042】

表示制御部１８０は、シャッタ制御部１５０がシャッタ２２０を開いている期間に、開いたシャッタ２２０を通して取得したフレームの熱画像を表示装置３００に表示させる。一方、表示制御部１８０は、シャッタ制御部１５０がシャッタ２２０を閉じている期間に、シャッタ２２０が閉じる直前のフレームの熱画像を表示装置３００に表示させる。

【0043】

具体的には、フレームＦ１を取得する際には、シャッタ制御部１５０は、シャッタ２２０を開く。表示制御部１８０は、開いたシャッタ２２０を通して取得したフレームＦ１の熱画像を表示装置３００に表示させる。フレームＦ２～Ｆ５を取得する際には、シャッタ制御部１５０は、シャッタ２２０を閉じる。表示制御部１８０は、シャッタ制御部１５０がシャッタ２２０を閉じているフレームＦ２～Ｆ５の期間に、シャッタ２２０が閉じる直前のフレームＦ１の熱画像を表示装置３００に表示させる。

【0044】

フレームＦ６を取得する際には、シャッタ制御部１５０は、シャッタ２２０を開く。表示制御部１８０は、開いたシャッタ２２０を通して取得したフレームＦ６の熱画像を表示装置３００に表示させる。フレームＦ６の熱画像を取得した際、フレームＦ６の熱画像に対し、太陽光の直接入射による飽和画素を検出する。フレームＦ６の熱画像に太陽光の直接入射による飽和画素が検出された場合、再度、５フレームの周期で開閉動作を繰り返す。したがって、フレームＦ７～Ｆ１０を取得する際には、シャッタ制御部１５０は、シャッタ２２０を閉じている。表示制御部１８０は、シャッタ制御部１５０がシャッタ２２０を閉じているフレームＦ７～Ｆ１０の期間に、シャッタ２２０が閉じる直前のフレームＦ６の熱画像を表示装置３００に表示させる。フレームＦ６の熱画像に太陽光の直接入射による飽和画素が検出されない場合、シャッタ２２０を閉じる処理は行わない。結果的に、飽和検出部１７３が太陽光の直接入射を検出している期間、シャッタ２２０の開閉動作が繰り返される。

【0045】

このように、表示制御部１８０は、飽和検出部１７３が太陽光の直接入射による飽和画素を検出している期間、所定数のフレームに渡って開いたシャッタ２２０を通して取得したフレームの表示と、所定数のフレームに渡ってシャッタ２２０が閉じる直前に取得したフレームの表示とを含む開閉表示動作を繰り返す。例えば、図５では、１つの開閉表示動作におけるシャッタ２２０の開状態のフレーム数は、１フレームであり、１つの開閉表示動作におけるシャッタ２２０の閉状態のフレーム数は、４フレームである。１つの開閉表示動作におけるフレーム数は、５フレームである。よって、表示制御部１８０は、飽和検出部１７３が太陽光の直接入射による飽和画素を検出している期間、５フレームの周期で開閉表示動作を繰り返す。

【0046】

次に、本実施形態に係る画像処理方法について図６を用いて説明する。本実施形態の画像処理方法は、以下に示すステップを画像処理装置１０１が実行する。図６は、実施形態１に係る画像処理方法を例示したフローチャート図である。図６に示すように、まず、システム制御部１４０は、熱画像データ取得部１６０に、熱画像データの取得を開始させる（ステップＳ１０１）。ステップＳ１０１に示す熱画像データの取得開始は、画像処理装置１０１が車両に搭載されている場合、車両が動作可能な状態となった場合や、ユーザの操作によって開始される。本実施形態の画像処理方法は、熱画像を撮像する赤外線カメラ２００から、複数のフレームで構成される熱画像データを取得する熱画像データ取得ステップを実行する。

【0047】

次に、システム制御部１４０は、飽和検出部１７３に、太陽光の直接入射による飽和画素の検出を開始させる（ステップＳ１０２）。次に、システム制御部１４０は、表示制御部１８０に、熱画像データの通常の表示を開始させる（ステップＳ１０３）。

【0048】

次に、システム制御部１４０は、熱画像データの表示を終了するか判定する（ステップＳ１０４）。ステップＳ１０４に示す表示終了は、熱画像データの取得終了と言い換えてもよい。例えば、画像処理装置１０１が車両に搭載されている場合、車両の動作が終了した場合や、ユーザ操作によって終了する。熱画像データの表示を終了する場合（ステップＳ１０４のＹｅｓ）、システム制御部１４０は、表示制御部１８０に熱画像データの表示を終了させる、または熱画像データ取得部１６０に熱画像データの取得を終了させる。システム制御部１４０は、画像処理装置１０１の動作を終了させることとしてもよい。熱画像データの表示を終了しない場合（ステップＳ１０４のＮｏ）、システム制御部１４０は、飽和検出部１７３が飽和画素を検出しているか否かを判定する（ステップＳ１０５）。したがって、本実施形態の画像処理方法は、熱画像データにおける飽和画素であって、所定条件を満たす飽和画素の有無を検出する飽和検出ステップを実行する。ステップＳ１０５では、「所定条件を満たす飽和画素の有無」として、太陽光の直接入射に該当する飽和画素の有無を検出する。なお、画素にダメージを生じさせる飽和画素の有無の検出と言い換えてもよい。

【0049】

飽和検出部１７３が、太陽光の直接入射による飽和画素を検出していない場合（ステップＳ１０５のＮｏ）、ステップＳ１０４に戻り、処理を繰り返す。この場合、図４に示すように、所定条件の飽和画素を検出していない場合は、取得熱画像データの各フレームに対応した出力熱画像データが表示装置３００に表示される。一方、飽和検出部１７３が太陽光の直接入射による飽和画素を検出した場合（ステップＳ１０５のＹｅｓ）、システム制御部１４０は、シャッタ制御部１５０にシャッタ２２０を閉じるように制御する（ステップＳ１０６）。そして、システム制御部１４０は、表示制御部１８０に、シャッタ２２０が閉じる直前のフレームの熱画像の表示を開始させる（ステップＳ１０７）。ステップＳ１０７では、図５に示すように、例えば、シャッタ２２０を閉じる直前のフレームＦ１の熱画像を、フレームＦ２～Ｆ５の撮影期間に表示させる。

【0050】

次に、システム制御部１４０は、シャッタ２２０を閉じた状態で所定フレーム撮影したか否かを判定する（ステップＳ１０８）。所定フレーム撮影していない場合（ステップＳ１０８のＮｏ）、システム制御部１４０は、所定フレーム撮影するまでステップＳ１０８を繰り返す。所定フレーム撮影した場合（ステップＳ１０８のＹｅｓ）、システム制御部１４０は、シャッタ制御部１５０にシャッタ２２０を開く制御を行い（ステップＳ１０９）、ステップＳ１０５に推移する。

【0051】

したがって、本実施形態の画像処理方法は、飽和検出ステップで所定条件を満たす飽和画素が検出した場合、赤外線カメラ２００が備える赤外線センサ２３０への光の入射を遮蔽するシャッタ２２０を閉じるとともに、所定フレーム毎にシャッタ２２０を開く制御を行うシャッタ制御ステップを実行する。また、本実施形態の画像処理方法は、熱画像データ取得ステップで取得した熱画像データを、表示装置３００に表示させ、シャッタ２２０を閉じている期間に、シャッタ２２０が閉じる直前のフレームの熱画像を表示装置３００に表示させる、表示制御ステップを実行する。

【0052】

ステップＳ１０９では、図５に示すように、所定フレーム撮影期間は、例えば、１フレームに設定されてもよい。そして、ステップＳ１０５に戻り、処理を繰り返す。ステップＳ１０５において、フレームＦ６の撮影期間で、所定条件を満たす飽和画素が検出された場合、同様の処理を繰り返す。

【0053】

次に、本実施形態の効果を説明する。本実施形態の画像処理装置１０１は、飽和検出部１７３が飽和画素を検出した場合、シャッタ２２０を閉じるとともに、所定フレーム毎にシャッタ２２０を開く。表示制御部１８０は、シャッタ２２０を閉じている期間に、シャッタ２２０が閉じる直前のフレームの熱画像を表示装置３００に表示させる。したがって、太陽光を受けたときに、赤外線センサ２３０を保護しつつ、ユーザは、表示装置３００に表示された車両及び人物等の認識を行うことができる。

【0054】

具体的には、例えば、太陽が地平線に近い位置にあり、かつ太陽をバックに人物がいる状態の時に、そのまま撮影をしていると、赤外線センサ２３０が太陽光の影響で焼き付いてしまう。そこで、本実施形態では、赤外線カメラ２００のシャッタ２２０を閉じるとともに所定フレーム毎に開くように、開状態及び閉状態を繰り返す。これにより、赤外線センサ２３０が太陽光による焼き付きを起こさないようにすることができるとともに、ユーザは、人物の認識を行うことができる。

【0055】

（実施形態２）
次に、実施形態２に係る画像処理装置及び撮像システムを説明する。図７は、実施形態２に係る撮像システム２の構成を例示したブロック図である。図７に示すように、撮像システム２において、画像処理装置１０２は、さらに、画像認識部１９０を備えている。画像認識部１９０は、熱画像データから所定物体を検出する。

【0056】

画像認識部１９０は、所定物体が撮影された熱画像データを機械学習させた学習モデルを参照し、取得した熱画像データに対して、所定物体らしさを示す閾値が所定値以上の区画に対して、所定物体が撮影されていると判断することで所定物体を検出する。

【0057】

図８は、実施形態２に係る画像処理装置１０２において、画像認識部１９０が所定物体を認識した熱画像データを表示装置３００に表示した場合を例示した図である。図８に示すように、画像認識部１９０は、熱画像データにおけるフレームＦ１の熱画像に、走行中の他車両９０を検出した場合の例として説明する。画像認識部１９０は、検出した他車両９０の部分をシステム制御部１４０に出力してもよい。システム制御部１４０は、他車両９０を含む部分を検出枠９１で囲んで表示制御部１８０に表示させている。画像認識部１９０は、所定物体として、他車両９０に限らず、人物（歩行者、自転車に乗車している人物）等を検出してもよい。

【0058】

シャッタ２２０が開いている場合には、画像認識部１９０は、開いたシャッタ２２０を通して取得されたフレームの熱画像から所定物体を検出する。一方、前述したように、シャッタ制御部１５０は、飽和検出部１７３が太陽光の直接入射による飽和画素を検出した場合、シャッタ２２０を閉じるとともに、所定フレーム毎にシャッタ２２０を開く制御を行う。この制御に伴って、画像認識部１９０は、シャッタ制御部１５０がシャッタ２２０を閉じている期間、シャッタ２２０が閉じる直前のフレームの熱画像から所定物体を検出する。

【0059】

シャッタ２２０を閉じているシャッタ閉期間に直前フレームの熱画像を表示装置３００に表示させる場合には、以下の２通りの方法で行ってもよい。すなわち、画像認識部１９０に、連続して同一の熱画像毎に画像認識を行わせ、表示制御部１８０に、検出結果を表示させてもよい。また、画像認識部１９０が直前フレームで検出した検出結果を、表示制御部１８０にシャッタ閉期間中表示させてもよい。

【0060】

次に、本実施形態の画像処理方法を説明する。図９は、実施形態２に係る画像処理方法を例示したフローチャート図である。図９のステップＳ２０１及びステップＳ２０２は、図６に示す実施形態１のステップＳ１０１及びステップＳ１０２と同様の処理であるので説明を省略する。

【0061】

ステップＳ２０２の後で、システム制御部１４０は、画像認識部１９０に、所定物体の検出を開始させる（ステップＳ２０３）。次に、表示制御部１８０は、熱画像データ取得部１６０が取得した熱画素データに加えて、画像認識部１９０が認識した所定物体の検出結果についての通常の表示を開始する（ステップＳ２０４）。

【0062】

次に、システム制御部１４０は、熱画像データ及び検出結果についての表示を終了するか否かを判定する（ステップＳ２０５）。熱画像データ及び検出結果についての表示を終了する場合（ステップＳ２０５のＹｅｓ）、システム制御部１４０は、表示制御部１８０に熱画像データ及び検出結果についての表示を終了させる。熱画像データ及び検出結果についての表示を終了しない場合（ステップＳ２０５のＮｏ）、ステップＳ２０６に進む。図９のステップＳ２０６及びステップＳ２０７は、図６に示す実施形態１のステップＳ１０５及びステップＳ１０６と同様の処理であるので説明を省略する。ただし、ステップＳ２０６のＮｏの場合には、ステップＳ２０５に戻る。

【0063】

次に、システム制御部１４０は、表示制御部１８０に、シャッタ２２０が閉じる直前のフレームの熱画像及び検出結果についての表示を開始させる（ステップＳ２０８）。ステップＳ２０８では、図５に示すように、例えば、シャッタ２２０を閉じる直前のフレームＦ１の熱画像を、フレームＦ２～Ｆ５の撮影期間に表示させる。また、シャッタ２２０を閉じる直前のフレームＦ１において、所定物体が検出されている場合は、検出枠９１が付された熱画像を、フレームＦ２～Ｆ５の撮影期間に表示させる。シャッタ２２０を閉じる直前のフレームＦ１において、所定物体が検出されていない場合は、検出枠９１が付されていない熱画像を、フレームＦ２～Ｆ５の撮影期間に表示させる。

【0064】

図９のステップＳ２０９及びステップＳ２１０は、図６に示す実施形態１のステップＳ１０８及びステップＳ１０９と同様の処理であるので説明を省略する。ただし、ステップＳ２０９のＮｏの場合には、ステップＳ２０９に戻る。ステップＳ２１０の後は、ステップＳ２０６に戻る。

【0065】

次に、本実施形態の効果を説明する。本実施形態では、画像認識部１９０は、シャッタ制御部１５０がシャッタ２２０を閉じている期間に、シャッタ２２０が閉じる直前のフレームの熱画像から所定物体を検出する。よって、赤外線センサ２３０を保護しつつ、画像処理装置１０２のユーザは、シャッタ２２０が閉じられている期間においても、人物及び他車両９０等の認識を行うことができる。

【0066】

これまでの関連する撮像システムでは、太陽光が画角内に入った時には、赤外線センサ２３０の焼き付きが発生するために、シャッタ２２０を閉じる処理を行っている。その為、太陽光が地平線の近い位置にある時には、人物等がいても赤外線カメラ２００は、人物等を撮像できず、人物等を認識することができない。これに対して、本実施形態では、シャッタ２２０を閉じている期間にも、所定フレーム毎にシャッタ２２０が開くので、コマ送りのような映像になるものの、画像認識部１９０による人物等の認識をすることができる。よって、撮像システム２が車両などの移動体に搭載されている場合には、人物等との衝突回避のための警告や、ユーザによる人物等の認識を行うことができる。

【0067】

（実施形態３）
次に、実施形態３に係る撮像システムを説明する。図１０は、実施形態３に係る撮像システムの構成を例示したブロック図である。図１０に示すように、本実施形態の撮像システム３は、予測部１５１をさらに備えている。具体的には、システム制御部１４０は、予測部１５１を備えている。予測部１５１は、画像認識部１９０の機能であってもよい。予測部１５１は、画像認識部１９０が検出した所定物体の位置を予測する。例えば、予測部１５１は、検出している所定物体の位置をフレーム毎の移動推移から予測する。予測部１５１は、シャッタ２２０が閉じられる前において検出された所定物体の位置の推移から、シャッタ２２０が閉じられている期間における所定物体の位置を予測する。

【0068】

予測部１５１は、シャッタ２２０が閉じられる前において検出された所定物体が、フレーム毎に所定方向に一定速度での移動を示している場合、シャッタ２２０が閉じられている期間においても、同一方向に一定速度で移動していることを予測する。予測部１５１は、シャッタ２２０が閉じられる前において検出された所定物体が、フレーム毎に所定方向に所定の加減速を伴って移動している場合、シャッタ２２０が閉じられている期間においても、同一方向に同一の加減速を伴って移動していることを予測する。また、予測部１５１は、シャッタ２２０が閉じられる前における所定物体の移動方向に基づき、シャッタ２２０が閉じられている期間における所定物体の移動方向を予測する。

【0069】

表示制御部１８０は、シャッタ制御部１５０がシャッタ２２０を閉じている期間に、シャッタ２２０が閉じる直前に認識された所定物体について予測部１５１が予測した位置を示す表示を行う。

【0070】

次に、本実施形態の画像処理方法を説明する。図１１は、実施形態３に係る画像処理方法を例示したフローチャート図である。図１１のステップＳ３０１及びステップＳ３０２は、図９に示す実施形態２のステップＳ２０１及びステップＳ２０２と同様の処理であるので説明を省略する。

【0071】

ステップＳ３０２の後で、画像認識部１９０は、所定物体の検出を開始し、予測部１５１は、検出された所定物体の位置の予測を開始する（ステップＳ３０３）。図１１のステップＳ３０４からステップＳ３０７の処理は、図９に示す実施形態２のステップＳ２０４からステップＳ２０７と同様の処理であるので説明を省略する。ただし、ステップＳ３０６のＮｏの場合には、ステップＳ３０５に戻る。

【0072】

ステップＳ３０７において、シャッタ２２０が閉じられた場合、システム制御部１４０は、表示制御部１８０に、シャッタ２２０が閉じる直前のフレームの熱画像及び所定物体の移動予測位置の表示を開始させる（ステップＳ３０８）。ステップＳ３０８では、図５に示すように、例えば、シャッタ２２０を閉じる直前のフレームＦ１の熱画像を、フレームＦ２～Ｆ５の撮影期間に表示させる。また、シャッタ２２０を閉じる直前のフレームＦ１において、所定物体が検出されている場合は、シャッタ２２０を閉じる直前のフレームＦ１とその前のフレームなどにおいて検出された所定物体の位置から予測された所定物体の予測された位置を示す検出枠９１が付された熱画像を、フレームＦ２～Ｆ５の撮影期間に表示させる。

【0073】

図１１のステップＳ３０９及びステップＳ３１０は、図９に示す実施形態２のステップＳ２０９及びステップＳ２１０と同様の処理であるので説明を省略する。ただし、ステップＳ３０９のＮｏの場合には、ステップＳ３０９に戻る。ステップＳ３１０の後は、ステップＳ３０６に戻る。

【0074】

次に、本実施形態の効果を説明する。本実施形態では、予測部１５１は、画像認識部１９０によって検出された所定物体の位置を予測する。さらに、シャッタ制御部１５０がシャッタ２２０を閉じている期間においては、シャッタ２２０が閉じる直前に認識された所定物体の位置から予測された位置を示す検出枠等を表示する。これにより、赤外線センサ２３０を保護しつつ、画像処理装置１０３のユーザは、シャッタ２２０が閉じられている期間においても、人物及び他車両９０等の予測された移動先を認識することができる。よって、撮像システム３が車両などの移動体に搭載されている場合には、人物等との衝突回避のための警告や、ユーザによる人物等の位置確認を行うことができる。

【0075】

（実施形態４）
次に、実施形態４に係る撮像システムを説明する。本実施形態の撮像システムは、実施形態１～３における「所定フレーム期間撮影」の期間を変化させる。例えば、システム制御部１４０は、撮像システムが設置された移動体の移動状態によって「所定フレーム期間撮影」の期間を変化させる。

【0076】

図１２は、実施形態４に係る撮像システム４の構成を例示したブロック図である。図１２に示すように、本実施形態の撮像システム４において、画像処理装置１０４は、車両等の移動体に設置され、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）４００に接続されている。ＣＡＮ４００は、移動体の制御装置等から移動体の移動状態を示す情報が取得可能である。移動体の移動状態は、移動体の走行速度や、旋回状態などの情報を含む。

【0077】

また、画像処理装置１０４は、移動情報取得部１５２をさらに備えている。具体的には、システム制御部１４０は、移動情報取得部１５２を含んでいる。移動情報取得部１５２は、ＣＡＮ４００を介して移動体の移動状態を取得する。

【0078】

本実施形態のシャッタ制御部１５０は、飽和検出部１７３が所定条件を満たす飽和画素を検出している期間、シャッタ２２０を閉じてからシャッタ２２０を開く所定フレーム毎の期間を、移動情報取得部１５２が取得した移動体の移動状態によって変化させる。

【0079】

本実施形態は、シャッタ２２０の開状態毎における赤外線センサ２３０に対する太陽の位置が重複しないようにすることを目的に含んでいる。よって、例えば、車両の走行が、旋回状態であれば、短期間で赤外線センサ２３０に対する太陽の位置が変動する。車両が停止状態であれば、複数回のシャッタ２２０の開状態において、赤外線センサ２３０の同一位置に太陽光が撮影されてしまう。

【0080】

そこで、シャッタ制御部１５０は、例えば、太陽光の直接入射による飽和画素が検出された時に、車両が停止状態である場合は、１０フレーム分撮影する期間をシャッタの閉状態とし、１フレーム分撮影する期間をシャッタの開状態とすることで、再度、太陽光の直接入射による飽和画素の有無を判断する。例えば、太陽光の直接入射による画素飽和が検出された時に、車両が旋回（交差点における旋回などステア角が大きい場合）している状態である場合は、３フレーム分撮影する期間をシャッタの閉状態とし、１フレーム分撮影する期間をシャッタの開状態とすることで、再度、太陽光の直接入射による飽和画素の有無を判断する。このように、赤外線センサ２３０に入射する太陽光の位置の変化が大きい移動状態の場合には、開状態の間隔を短くし（閉状態の期間を短くし）、赤外線センサ２３０に入射する太陽光の位置の変化が小さい移動状態の場合には、開状態の間隔を長く（閉状態の期間を長く）してもよい。

【0081】

なお、シャッタ制御部１５０は、赤外線カメラ２００の撮影画角における移動体の移動速度が速いほど、シャッタ２２０を閉じてからシャッタ２２０を開く所定フレーム毎の期間を短くしてもよい。ここで、撮影画角における移動体の移動速度が速いほどとは、走行速度が速い及び／または遅いのみでもよいし、旋回方向の移動の有無のみであってもよいし、両者が組み合わされたものでもよい。

【0082】

次に、本実施形態の画像処理方法を説明する。図１３は、実施形態４に係る画像処理方法を例示したフローチャート図である。図１３のステップＳ４０１及びステップＳ４０２は、図６に示す実施形態１のステップＳ１０１及びステップＳ１０２と同様の処理であるので説明を省略する。

【0083】

ステップＳ４０２の後で、移動情報取得部１５２は、移動体の移動状態の取得を開始する（Ｓ４０３）。

【0084】

ステップＳ４０４～ステップＳ４１０は、図６に示す実施形態１のステップＳ１０３～ステップＳ１０９と同様の処理であるので説明を省略する。ただし、ステップＳ４０６のＮｏは、ステップＳ４０５に進み、ステップＳ４０９のＮｏは、ステップＳ４０９に進み、ステップＳ４１０の後は、ステップＳ４０６に進む。また、ステップＳ４０９及びステップＳ４１０において、シャッタ制御部１５０は、シャッタ２２０を閉じてからシャッタ２２０を開く所定フレーム毎の期間を、移動情報取得部１５２が取得した移動体の移動状態によって変化させる。

【0085】

本実施形態によれば、シャッタ２２０の開状態毎における赤外線センサ２３０に対する太陽の位置が重複しないようにすることができ、赤外線センサ２３０の焼き付けを低減させることができる。これ以外の構成及び効果は、実施形態１～３の記載に含まれている。

【0086】

なお、本発明は、上記実施形態の記載に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施形態１～４の各構成のいずれかを組み合わせたものも本実施形態の技術思想の範囲内である。また、下記のように、画像処理方法をコンピュータに実行させる画像処理プログラムも実施形態の技術的思想の範囲である。

【0087】

（付記１）
熱画像を撮像する赤外線カメラから、複数のフレームで構成される熱画像データを取得する熱画像データ取得ステップと、
前記熱画像データにおける飽和画素であって、所定条件を満たす前記飽和画素の有無を検出する飽和検出ステップと、
前記飽和検出ステップで前記所定条件を満たす前記飽和画素が検出された場合、前記赤外線カメラが備える赤外線センサへの光の入射を遮蔽するシャッタを閉じるとともに、所定フレーム毎に前記シャッタを開く制御を行うシャッタ制御ステップと、
前記熱画像データ取得ステップで取得した熱画像データを、表示装置に表示させ、前記シャッタを閉じている期間は、前記シャッタが閉じる直前の前記フレームの前記熱画像を前記表示装置に表示させる、表示制御ステップと、
をコンピュータに実行させる画像処理プログラム。
（付記２）
前記熱画像データから所定物体を検出する画像認識ステップをさらに備え、
前記画像認識ステップでは、前記シャッタを閉じている期間は、前記シャッタが閉じる直前の前記フレームの前記熱画像から前記所定物体を検出する、
付記１に記載の画像処理プログラム。
（付記３）
前記熱画像データから所定物体を検出する画像認識ステップと、
前記画像認識ステップにおいて検出した前記所定物体の位置の動きを予測する予測ステップと、
をさらに備え、
前記表示制御ステップでは、前記シャッタを閉じている期間は、前記シャッタが閉じる直前に認識された前記所定物体について予測された前記位置を示す表示を行う、
付記１に記載の画像処理プログラム。
（付記４）
移動体の移動状態を取得する移動情報取得ステップをさらに備え、
前記シャッタ制御ステップでは、前記飽和検出ステップにおいて前記所定条件を満たす前記飽和画素を検出した場合、前記シャッタを閉じてから前記シャッタを開く所定フレーム毎の期間を、前記移動情報取得ステップにおいて取得された前記移動体の移動状態によって変化させる、
付記１に記載の画像処理プログラム。

【0088】

また、上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリや各種ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。

【符号の説明】

【0089】

１、２、３、４ 撮像システム
９０ 他車両
９１ 検出枠
１０１、１０２、１０３、１０４ 画像処理装置
１１０ 制御ＩＦ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ システム制御部
１５０ シャッタ制御部
１５１ 予測部
１５２ 移動情報取得部
１６０ 熱画像データ取得部
１７０ 画像処理部
１７１ 欠陥画素補正部
１７２ ＮＵＣ部
１７３ 飽和検出部
１８０ 表示制御部
１９０ 画像認識部
２００ 赤外線カメラ
２１０ レンズ２１０
２２０ シャッタ
２３０ 赤外線センサ
２４０ 伝送デバイス
２５０ 温度センサ
３００ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】