特開 2024-89870 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024089870

(43)【公開日】2024-07-04

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 23/71 20230101AFI20240627BHJP

   H04N 23/695 20230101ALI20240627BHJP

   G03B 15/00 20210101ALI20240627BHJP

   G03B 7/091 20210101ALI20240627BHJP

【ＦＩ】

H04N23/71

H04N23/695

G03B15/00 Q

G03B15/00 P

G03B7/091

G03B15/00 U

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022205372

(22)【出願日】2022-12-22

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】林 啓太

(72)【発明者】

【氏名】石渡 忠司

(72)【発明者】

【氏名】土屋 圭二

(72)【発明者】

【氏名】山本 浩史

(72)【発明者】

【氏名】中明 靖文

【テーマコード（参考）】

2H002

5C122

【Ｆターム（参考）】

2H002BB01

2H002BB05

2H002BB07

2H002DB30

2H002HA16

5C122DA11

5C122DA16

5C122EA06

5C122EA65

5C122EA66

5C122FA18

5C122FF01

5C122FF26

5C122FH11

5C122FH14

5C122GD06

5C122HA13

5C122HA35

5C122HB01

5C122HB05

(57)【要約】

【課題】太陽などのダイナミックレンジを超えた高温物体が映ることによる遠赤外線カメラのセンサーの異常を回避することができる画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】本開示の画像処理装置１０において、第１取得部１３は、可視光画像取得部１２が取得する可視光画像から所定物体を検知し、可視光画像内の所定物体の位置である第１位置を取得する。可視光画像内で所定物体を検知しなくなった場合、遠赤外線カメラ制御部１４は、遠赤外線カメラを第１位置の方向に向け、所定時間以下で撮像するように遠赤外線カメラを制御する。第２取得部１６は、遠赤外線画像取得部１５で取得された遠赤外線画像から所定物体を検知し、遠赤外線画像内の所定物体の位置である第２位置を取得する。露出調整部１７は、第２位置に基づいて可視光カメラの露出を調整する。
【選択図】図１

【特許請求の範囲】

【請求項1】

可視光カメラから可視光画像を取得する可視光画像取得部と、
遠赤外線カメラから遠赤外線画像を取得する遠赤外線画像取得部と、
前記可視光画像から所定物体を検知し、前記可視光画像内の前記所定物体の位置である第１位置を取得する第１取得部と、
前記可視光画像内で前記所定物体を検知しなくなった場合に、前記遠赤外線カメラを前記第１位置の方向に向け、所定時間以下で撮像するように前記遠赤外線カメラを制御する遠赤外線カメラ制御部と、
前記遠赤外線画像から前記所定物体を検知し、前記遠赤外線画像内の前記所定物体の位置である第２位置を取得する第２取得部と、
前記第２位置に基づいて前記可視光カメラの露出を調整する露出調整部と、を備える
画像処理装置。

【請求項2】

前記所定物体までの距離を計測する距離計測部をさらに備え、
前記遠赤外線カメラ制御部は、
前記距離が所定以下である場合、前記遠赤外線カメラの撮像を行う
請求項１に記載の画像処理装置。

【請求項3】

前記可視光画像から高温物体を検知し、前記可視光画像内の前記高温物体の位置である第３位置を取得する第３取得部をさらに備え、
前記遠赤外線カメラ制御部は、
前記第１位置と、前記第３位置との間の距離が所定以上の場合、前記第１位置を含め、かつ前記第３位置を前記遠赤外線画像に含めないように前記遠赤外線カメラを制御する
請求項２に記載の画像処理装置。

【請求項4】

可視光カメラから可視光画像を取得する可視光画像取得ステップと、
前記可視光画像から所定物体を検知し、前記可視光画像内の前記所定物体の位置である第１位置を取得する第１取得ステップと、
前記可視光画像内で前記所定物体を検知しなくなった場合に、遠赤外線カメラを前記第１位置の方向に向け、所定時間以下で撮像するように前記遠赤外線カメラを制御する遠赤外線カメラ制御ステップと、
前記遠赤外線カメラから遠赤外線画像を取得する遠赤外線画像取得ステップと、
前記遠赤外線画像から前記所定物体を検知し、前記遠赤外線画像内の前記所定物体の位置である第２位置を取得する第２取得ステップと、
前記第２位置に基づいて前記可視光カメラの露出を調整する露出調整ステップと、を含む
画像処理方法。

【請求項5】

可視光カメラから可視光画像を取得する可視光画像取得ステップと、
前記可視光画像から所定物体を検知し、前記可視光画像内の前記所定物体の位置である第１位置を取得する第１取得ステップと、
前記可視光画像内で前記所定物体を検知しなくなった場合に、遠赤外線カメラを前記第１位置の方向に向け、所定時間以下で撮像するように前記遠赤外線カメラを制御する遠赤外線カメラ制御撮像ステップと、
前記遠赤外線カメラから遠赤外線画像を取得する遠赤外線画像取得ステップと、
前記遠赤外線画像から前記所定物体を検知し、前記遠赤外線画像内の前記所定物体の位置である第２位置を取得する第２取得ステップと、
前記第２位置に基づいて前記可視光カメラの露出を調整する露出調整ステップと、をコンピュータに実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１では、可視光カメラにより得られる可視光画像と、ゲーティングカメラにより得られる複数の赤外線画像を組み合わせることにより、被写体を認識する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／１８４４４７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

可視光カメラでは、実際には物体が存在するが、太陽光などの光の影響によって可視光画像上に物体が映らない場合がある。このような場面では物体検知が行えない。そこで光の影響を受けない遠赤外線カメラを使って物体検知を行う場面が考えられるが、遠赤外線カメラは、ダイナミックレンジを超えた高温物体の撮像をしてしまうとセンサーが異常を起こしてしまうため、例えば太陽などの高温物体を撮像しないことが望ましい。やむを得ず高温物体の撮像が必要である場合は短時間に留め、センサーに異常が起きないようにする必要がある。しかしながら、特許文献１に係る技術では、赤外線画像を生成するゲーティングカメラを使用しているものの、センサーの異常については考慮されていない。

【0005】

本開示は、太陽光などによる遠赤外線カメラのセンサーの異常を回避することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の画像処理装置は、
可視光カメラから可視光画像を取得する可視光画像取得部と、
遠赤外線カメラから遠赤外線画像を取得する遠赤外線画像取得部と、
前記可視光画像から所定物体を検知し、前記可視光画像内の前記所定物体の位置である第１位置を取得する第１取得部と、
前記可視光画像内で前記所定物体を検知しなくなった場合に、前記遠赤外線カメラを前記第１位置の方向に向け、所定時間以下で撮像するように前記遠赤外線カメラを制御する遠赤外線カメラ制御部と、
前記遠赤外線画像から前記所定物体を検知し、前記遠赤外線画像内の前記所定物体の位置である第２位置を取得する第２取得部と、
前記第２位置に基づいて前記可視光カメラの露出を調整する露出調整部と、を備える。

【0007】

本開示の画像処理方法は、
可視光カメラから可視光画像を取得する可視光画像取得ステップと、
前記可視光画像から所定物体を検知し、前記可視光画像内の前記所定物体の位置である第１位置を取得する第１取得ステップと、
前記可視光画像内で前記所定物体を検知しなくなった場合に、遠赤外線カメラを前記第１位置の方向に向け、所定時間以下で撮像するように前記遠赤外線カメラを制御する遠赤外線カメラ制御ステップと、
前記遠赤外線カメラから遠赤外線画像を取得する遠赤外線画像取得ステップと、
前記遠赤外線画像から前記所定物体を検知し、前記遠赤外線画像内の前記所定物体の位置である第２位置を取得する第２取得ステップと、
前記第２位置に基づいて前記可視光カメラの露出を調整する露出調整ステップと、を含む。

【0008】

本開示のプログラムは、
可視光カメラから可視光画像を取得する可視光画像取得ステップと、
前記可視光画像から所定物体を検知し、前記可視光画像内の前記所定物体の位置である第１位置を取得する第１取得ステップと、
前記可視光画像内で前記所定物体を検知しなくなった場合に、遠赤外線カメラを前記第１位置の方向に向け、所定時間以下で撮像するように前記遠赤外線カメラを制御する遠赤外線カメラ制御撮像ステップと、
前記遠赤外線カメラから遠赤外線画像を取得する遠赤外線画像取得ステップと、
前記遠赤外線画像から前記所定物体を検知し、前記遠赤外線画像内の前記所定物体の位置である第２位置を取得する第２取得ステップと、
前記第２位置に基づいて前記可視光カメラの露出を調整する露出調整ステップと、をコンピュータに実行させる。

【発明の効果】

【0009】

本開示により、可視光カメラの適切な露出による撮像を行いつつ、太陽光などによる遠赤外線カメラのセンサーの異常を回避することができる画像処理装置、画像処理方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係る画像処置装置の構成の一例を示すブロック図である。

【図2】第１の実施形態に係る画像処理装置の第１取得部による可視光画像による所定物体の検知の一例と、第２取得部による遠赤外線画像による所定物体の検知の一例とを示す図である。

【図3】第１の実施形態に係る画像処置装置の動作の一例を示すフローチャートである。

【図4】第１の実施形態に係る画像処置装置の動作の一例を示すフローチャートである。

【図5】第２の実施形態に係る画像処置装置の構成の一例を示すブロック図である。

【図6】第３の実施形態に係る画像処置装置の構成の一例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

【0012】

（第１の実施形態）
まず、図１を用いて、第１の実施形態に係る画像処理装置１０の構成を説明する。図１は、第１の実施形態に係る画像処理装置１０の構成の一例を示す図である。

【0013】

図１に示すように、画像処理装置１０は、例えばサーバであり、クラウド上に構築される。画像処理装置１０は、可視光カメラ２０及び遠赤外線カメラ３０とネットワークを介して通信してデータを送受信する。可視光カメラ２０は、可視光の画像（以下、可視光画像）を撮像するカメラである。遠赤外線カメラ３０は、遠赤外線の画像（以下、遠赤外線画像）を撮像するカメラである。

【0014】

可視光カメラ２０及び遠赤外線カメラ３０は、例えば空港などの監視が必要な場所に設置される。画像処理装置１０は、可視光カメラ２０から取得した可視光画像及び遠赤外線カメラ３０から取得した遠赤外線画像を用いて、例えば空港でのバードストライクの要因となる鳥やドローンなどの所定物体を検知する。

【0015】

図１の説明に戻る。画像処理装置１０は、可視光カメラ制御部１１、可視光画像取得部１２、第１取得部１３、遠赤外線カメラ制御部１４、遠赤外線画像取得部１５、第２取得部１６及び露出調整部１７を備える。

【0016】

可視光カメラ制御部１１は、可視光カメラ２０による撮像をする。具体的には、可視光カメラ制御部１１は、可視光カメラ２０に撮像を開始又は停止させる。
可視光画像取得部１２は、可視光カメラ２０から可視光画像を取得する。

【0017】

第１取得部１３は、可視光画像から所定物体を検知する。具体的には、第１取得部１３は、機械学習やディープラーニングなどの学習済みのモデルを用いて所定物体を検知する。第１取得部１３は、可視光画像内の所定物体の位置である第１位置を取得する。

【0018】

図２は夕方に撮像された映像の例であり、物体１の後方に太陽がある状況である。図２Ａは、第１の実施形態に係る画像処理装置１０の可視光画像取得部１２が取得する可視光画像の一例である。第１取得部１３は、可視光画像内の物体１を検知する。第１取得部１３は、ダイナミックレンジの広いシーンを撮像すると、物体１が検知されない場合がある。例えば、第１取得部１３は、位置Ａでは、物体１を検知している。その後、物体１が山の影に移動した位置Ｂでは、山も位置Ｂにある物体１も逆光で暗く映っているため、第１取得部１３は物体１を検知しない。

【0019】

遠赤外線カメラ３０は太陽などの高温物体が映ることによってセンサーが異常を起こしてしまうと撮像ができなくなってしまうため、遠赤外線カメラ３０は高温物体を避けた撮像をする。または高温物体を含んだ撮像の場合はセンサーが異常を起こさない所定時間以内での撮像に留める必要がある。遠赤外線カメラ制御部１４は、第１取得部１３が可視光画像内で所定物体を検知しなくなった場合に、遠赤外線カメラを第１位置の方向に向け、所定時間以下で撮像するように遠赤外線カメラを制御する。所定時間とは、例えば太陽光などによって遠赤外線カメラ３０のセンサーが異常を起こさないと考えられる数分間の時間である。ここで、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０の撮像開始時、遠赤外線カメラ３０のレンズバリアを開ける。そして、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０の撮像終了時、遠赤外線カメラ３０のレンズバリアを閉める。このとき、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０をスタンバイ状態にしてもよいし、遠赤外線カメラ３０の電源をオフにしてもよい。また、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０のレンズバリアを閉める代わりに、遠赤外線カメラ３０のセンサーに高温物体の光が入らない方向に遠赤外線カメラ３０を向けてもよい。

【0020】

遠赤外線画像取得部１５は、遠赤外線カメラ３０から遠赤外線画像を取得する。
第２取得部１６は、遠赤外線画像から所定物体を検知する。第２取得部１６は、機械学習やディープラーニングなどの学習済みのモデルを用いて所定物体を検知する。第２取得部１６は、遠赤外線画像内の所定物体の位置である第２位置を取得する。

【0021】

図２Ｂは、第１の実施形態に係る画像処理装置１０の遠赤外線画像取得部１５が取得した遠赤外線画像の一例である。遠赤外線画像では、可視光画像とは異なり、光が物体の検知に影響を与えない。よって第２取得部１６は、位置Ａ、位置Ｂのどちらでも物体１を検知する。

【0022】

露出調整部１７は、第２取得部１６によって取得された遠赤外線画像内の所定物体の第２位置に基づいて可視光カメラ２０の露出を調整する。具体的には、露出調整部１７は、遠赤外線画像内の所定物体の第２位置を可視光画像内での位置に変換する。例えば、露出調整部１７は、可視光画像の各画素の位置と遠赤外線画像の各画素の位置との対応を持つ変換テーブルを用いて位置を変換する。露出調整部１７は、変換テーブルを用いて変換した可視光画像内の位置に合わせて可視光カメラ２０の露出が最適になるように調整する。そのため、第１取得部１３が可視光画像で所定物体を再度検知する。例えば、図２の位置Ｂの場合、逆光により背景も物体１も黒潰れし、物体１が背景に埋もれてしまう。その場合、露出調整部１７は、位置Ｂに合わせて可視光カメラ２０の露出を高くなるように調整する。

【0023】

ここで、露出調整部１７が可視光カメラ２０の露出を調整した後、第１取得部１３が可視光画像内の所定物体を検知した場合、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０の撮像を終了する。

【0024】

続いて、図３及び図４を用いて、第１の実施形態に係る画像処理装置１０の動作を説明する。図３及び図４は、第１の実施形態に係る画像処理装置１０の動作の一例を示す図である。

【0025】

画像処理装置１０は可視光カメラ２０の動作中であれば常に繰り返し動作しているものであり、図３及び図４に示す処理は、可視光カメラ２０の動作中に常に繰り返される。

【0026】

可視光画像取得部１２は、可視光カメラ２０が動作中の場合、可視光画像を常に取得している。次に、図３に示すように第１取得部１３は、可視光画像内に所定物体があることを検知する（ステップＳ１０１）。第１取得部１３は、可視光画像内に所定物体を検知した場合（ステップＳ１０１のＹＥＳ）、可視光画像内の所定物体の第１位置を取得して（ステップＳ１０２）、画像処理装置１０は処理を終了する。一方、第１取得部１３が可視光画像内に所定物体を検知しなかった場合（ステップＳ１０１のＮＯ）、第１取得部１３は、最後に取得した第１位置が可視光画像内であるか否かを判定する（ステップＳ１０３）。具体的には、第１取得部１３は、最後に取得された第１位置が可視光画像内の端の位置であれば、時間が経過した現在の処理では所定物体が可視光画像外に移動したと想定できるため、所定物体が可視光画像内にいないと判定する（ステップＳ１０３のＮＯ）。最後に取得された第１位置が可視光画像内の端であるとは、例えば第1位置に可視光画像の最も端の位置（例えば座標（０，０）など）が含まれている場合のことを示す。次に、最後に取得した第１位置が可視光画像内であると判定された場合（ステップＳ１０３のＹＥＳ）、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０の撮像を開始し、第１位置の方向に遠赤外線カメラ３０を向ける（ステップＳ１０４）。遠赤外線カメラ３０の撮像の開始時、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０のレンズバリアを開ける。そして、遠赤外線画像取得部１５は、遠赤外線カメラ３０によって撮像された遠赤外線画像を取得する。次に、処理は図４に示すステップＳ１０５に進む。一方、最後に取得した第１位置が可視光画像内の端の位置であると判定された場合（ステップＳ１０３のＮＯ）、画像処理装置１０は処理を終了する。

【0027】

図４に示すように、ステップＳ１０４の後、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０の撮像を開始してから所定時間経過したか否かを判定する（ステップＳ１０５）。所定時間とは、例えば太陽光などによって遠赤外線カメラ３０のセンサーが異常を起こさないと考えられる数分間の時間である。そして、遠赤外線カメラ３０の撮像を開始してから所定時間経過していないと判定された場合（ステップＳ１０５のＮＯ）、第２取得部１６は、遠赤外線画像内に所定物体があることを検知する（ステップＳ１０６）。一方、遠赤外線カメラ３０の撮像を開始してから所定時間経過したと判定された場合（ステップＳ１０５のＹＥＳ）、処理は後述するステップＳ１０９に進む。

【0028】

ステップＳ１０５の後、第２取得部１６は、遠赤外線画像内に所定物体を検知した場合（ステップＳ１０６のＹＥＳ）、遠赤外線画像内の所定物体の第２位置を取得する（ステップＳ１０７）。一方、第２取得部１６は、遠赤外線画像内に所定物体を検知しなかった場合（ステップＳ１０６のＮＯ）、処理はステップＳ１０５に戻る。

【0029】

ステップＳ１０７の処理の後、露出調整部１７は、第２取得部１６によって取得された第２位置に基づいて可視光カメラ２０の露出を調整する（ステップＳ１０８）。具体的には、露出調整部１７は、遠赤外線画像内の所定物体の第２位置を可視光画像内の位置に変換する。露出調整部１７は、可視光カメラ２０の画角内の所定物体の位置に合わせて可視光カメラ２０の露出が最適になるように調整する。

【0030】

次に、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０の撮像を終了する（ステップＳ１０９）。遠赤外線カメラ３０の撮像の終了時、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０のレンズバリアを閉める。その後、遠赤外線カメラ制御部１４は、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０の撮像を一時中断するなどスタンバイ状態にする。遠赤外線カメラ制御部１４は、スタンバイ状態にする代わりに、遠赤外線カメラ３０の電源をオフにしてもよい。また、遠赤外線カメラ制御部１４は、遠赤外線カメラ３０のレンズバリアを閉める代わりに、遠赤外線カメラ３０のセンサーに高温物体の光が入らない方向に遠赤外線カメラ３０を向けてもよい。

【0031】

上述の説明より、第１の実施形態に係る画像処理装置１０は、可視光画像内で所定物体を検知しなくなった場合、遠赤外線画像内の所定物体の第２位置に基づいて可視光カメラ２０の露出を調整する。したがって、画像処理装置１０は、露出の影響によって可視光カメラ２０の画像内で検知しなくなった所定物体を再検知できる。

【0032】

また、画像処理装置１０は、所定時間経過後に遠赤外線カメラ３０の撮像を終了する。したがって、画像処理装置１０は、太陽光などの高温物体によって遠赤外線カメラ３０のセンサーの異常を回避し、遠赤外線カメラ３０での撮像ができなくなることを防ぐ。

【0033】

（第２の実施形態）
続いて、図５を用いて、第２の実施形態に係る画像処理装置４０の構成を説明する。図５は、第２の実施形態に係る画像処理装置４０の構成の一例を示す図である。
図５に示すように、画像処理装置４０は、第１の実施形態に係る画像処理装置１０の構成に加え、距離計測部４１を備える。

【0034】

距離計測部４１は、第１取得部１３が可視光画像に映る所定物体を検知した後、検知された所定物体までの距離を計測する。距離とは例えば、検知された所定物体と可視光カメラ２０との間の距離である。距離計測部４１は、例えばLiDARや超音波センサーで構成される。

【0035】

遠赤外線カメラ制御部１４は、距離計測部４１によって計測された距離が所定距離以下か否かを判定する。遠赤外線カメラ制御部１４は、当該距離が所定距離以下であると判定された場合、遠赤外線カメラ３０の撮像を行う。一方、遠赤外線カメラ制御部１４は、当該距離が所定距離以下でないと判定された場合、遠赤外線カメラ３０の撮像を行わない。

【0036】

上述の説明のように、第２の実施形態に係る画像処理装置４０は、可視光画像で検知された所定物体との間の距離が所定以上場合には遠赤外線カメラ３０での撮像を行わない。例えば空港において鳥やドローンが所定以上の距離にある場合は、航空機の運航を妨げることがない。従って所定以上の距離とは、例えば滑走路の長さ以上であり、具体例としては３ｋｍ以上距離である。遠赤外線カメラ３０の不必要な撮像をなくすことで、太陽などの高温物体による遠赤外線カメラ３０のセンサーの異常を防ぐことができる。

【0037】

（第３の実施形態）
続いて、図６を用いて、第３の実施形態に係る画像処理装置５０の構成を説明する。図６は、第３の実施形態に係る画像処理装置５０の構成の一例を示すブロック図である。
図６に示すように、画像処理装置５０は、第１の実施形態に係る画像処理装置１０の構成に加え、第３取得部５１の構成をさらに備える。

【0038】

第３取得部５１は、可視光画像から遠赤外線カメラ３０のセンサーに異常を発生させる可能性のある高温物体を検知し、可視光画像内の高温物体の位置である第３位置を取得する。高温物体は、太陽や溶岩など所定以上（例えば摂氏１０００度以上）の温度をもつ物体である。第３取得部５１は、機械学習やディープラーニングなどで学習済みのモデルを含んでおり、このモデルは太陽や溶岩を含む様々な高温物体の画像を学習済みである。第３取得部５１は、この学習済みのモデルを用いて高温物体を検知する。

【0039】

遠赤外線カメラ制御部１４は、第１取得部１３によって取得された可視光画像内の所定物体の位置である第１位置と、第３取得部５１によって取得された可視光画像内の高温物体の位置である第３位置と、の間の距離が所定以上であるか否かを判定する。遠赤外線カメラ制御部１４は、当該距離が所定以上である場合、第１位置を含め、かつ第３位置を遠赤外線画像に含めないように遠赤外線カメラ３０を制御する。一方、遠赤外線カメラ制御部１４は、当該距離が所定未満の場合、第１位置を含め、かつ第３位置を遠赤外線画像に含めないようにする遠赤外線カメラ３０の制御はせず、第１または第２の実施形態と同様の制御を行う。

【0040】

第３の実施形態に係る画像処理装置５０は、高温物体が遠赤外線画像に映らないように遠赤外線カメラ３０の画角を制御する。したがって、画像処理装置５０は、太陽光などによる遠赤外線カメラ３０のセンサーの異常を避けることができる。第１位置と第３位置との間の距離が所定以上とは、例えば画像上で1０ピクセル以上の距離のことである。

【0041】

＜ハードウェア構成＞
上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置及び各機能（処理）を、ＣＰＵ（Central Processing Unit）等のプロセッサ及び記憶装置であるメモリを有するコンピュータにより実現してもよい。例えば、メモリに実施形態における方法を行うためのプログラムを格納し、各機能を、メモリに格納されたプログラムをプロセッサで実行することにより実現してもよい。

【0042】

これらのプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0043】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0044】

１０、４０、５０ 画像処理装置
１１ 可視光カメラ制御部
１２ 可視光画像取得部
１３ 第１取得部
１４ 遠赤外線カメラ制御部
１５ 遠赤外線画像取得部
１６ 第２取得部
１７ 露出調整部
２０ 可視光カメラ
３０ 遠赤外線カメラ
４１ 距離計測部
５１ 第３取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】