特開 2024-64574 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024064574

(43)【公開日】2024-05-14

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 23/70 20230101AFI20240507BHJP

   H04N 23/71 20230101ALI20240507BHJP

   G03B 7/091 20210101ALN20240507BHJP

【ＦＩ】

H04N5/235

H04N5/235 100

G03B7/091

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022173265

(22)【出願日】2022-10-28

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】林 啓太

(72)【発明者】

【氏名】石渡 忠司

(72)【発明者】

【氏名】山本 浩史

(72)【発明者】

【氏名】土屋 圭二

(72)【発明者】

【氏名】中明 靖文

【テーマコード（参考）】

2H002

5C122

【Ｆターム（参考）】

2H002EB09

2H002GA35

5C122DA14

5C122DA16

5C122EA12

5C122FA18

5C122FF01

5C122FF23

5C122FF26

5C122FH11

5C122FH14

5C122HB01

(57)【要約】

【課題】可視光カメラの露出を適正に調整できること。
【解決手段】画像処理装置は、可視光カメラにより撮影された映像を取得する可視光映像取得部と、可視光カメラと同じ方向を撮影する遠赤外カメラにより撮影された映像を取得する遠赤外映像取得部と、可視光カメラ及び遠赤外カメラの映像内において所定物体を夫々検出する物体検出部と、遠赤外カメラにより撮影された映像内において所定物体を含む第１領域を特定する第１領域特定部と、第１領域特定部により特定された遠赤外カメラの映像内の第１領域に対応する可視光カメラの映像内の第２領域を特定する第２領域特定部と、物体検出部によって、可視光カメラの映像において所定物体が検出されず、かつ、遠赤外カメラの映像において所定物体が検出された場合に、第２領域特定部により特定された可視光カメラの映像内の第２領域に合わせて、可視光カメラの露出を調整する露出調整部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

可視光カメラにより撮影された映像を取得する可視光映像取得部と、
前記可視光カメラと同じ方向を撮影する遠赤外カメラにより撮影された映像を取得する遠赤外映像取得部と、
前記可視光カメラ及び前記遠赤外カメラの映像内において、所定物体を夫々検出する物体検出部と、
前記遠赤外映像取得部により取得された前記遠赤外カメラの映像内において、前記物体検出部により検出された所定物体を含む第１領域を特定する第１領域特定部と、
前記第１領域特定部により特定された前記遠赤外カメラの映像内の第１領域に対応する前記可視光カメラの映像内の第２領域を特定する第２領域特定部と、
前記物体検出部によって、前記可視光カメラの映像において所定物体が検出されず、かつ、前記遠赤外カメラの映像において所定物体が検出された場合に、前記第２領域特定部により特定された前記可視光カメラの映像内の第２領域に合わせて、前記可視光カメラの露出を調整する露出調整部と、
を備える画像処理装置。

【請求項2】

請求項１記載の画像処理装置であって、
前記露出調整部は、前記第１領域特定部により特定された前記遠赤外カメラの映像内の第１領域が所定面積以上の場合に、前記第２領域特定部により特定された前記可視光カメラの映像内の第２領域に合わせて可視光カメラの露出を調整する、
画像処理装置。

【請求項3】

請求項１又は２記載の画像処理装置であって、
前記第１領域特定部により特定された第１領域に含まれる各所定物体までの距離を夫々検出する距離検出部を更に備え、
前記露出調整部は、前記距離検出部により検出された所定物体の距離が所定距離以上である場合に、前記可視光カメラの映像内において、前記所定物体が存在する可能性の高い所定場所に合わせて前記可視光カメラの露出を調整する、
画像処理装置。

【請求項4】

可視光カメラにより撮影された映像を取得するステップと、
前記可視光カメラと同じ方向を撮影する遠赤外カメラにより撮影された映像を取得するステップと、
前記可視光カメラ及び前記遠赤外カメラの映像内において、所定物体を夫々検出するステップと、
前記取得された遠赤外カメラの映像内において、前記検出された所定物体を含む第１領域を特定するステップと、
前記特定された前記遠赤外カメラの映像内の第１領域に対応する前記可視光カメラの映像内の第２領域を特定するステップと、
前記可視光カメラの映像において所定物体が検出されず、かつ、前記遠赤外カメラの映像において所定物体が検出された場合に、前記特定された前記可視光カメラの映像内の第２領域に合わせて、前記可視光カメラの露出を調整するステップと、
を含む、画像処理方法。

【請求項5】

可視光カメラにより撮影された映像を取得する処理と、
前記可視光カメラと同じ方向を撮影する遠赤外カメラにより撮影された映像を取得する処理と、
前記可視光カメラ及び前記遠赤外カメラの映像内において、所定物体を夫々検出する処理と、
前記取得された前記遠赤外カメラの映像内において、前記検出された所定物体を含む第１領域を特定する処理と、
前記特定された前記遠赤外カメラの映像内の第１領域に対応する前記可視光カメラの映像内の第２領域を特定する処理と、
前記可視光カメラの映像において所定物体が検出されず、かつ、前記遠赤外カメラの映像において所定物体が検出された場合に、前記特定された前記可視光カメラの映像内の第２領域に合わせて、前記可視光カメラの露出を調整する処理と、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、及びプログラムに関するものである。

【背景技術】

【0002】

遠赤外カメラにより撮影された映像内において所定物体を含む領域を特定し、その遠赤外カメラの映像の領域に対応する可視光カメラの映像内の領域に合わせて、可視光カメラの露出を調整する画像処理装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－１９７９１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記画像処理装置は、可視光カメラの露出が通常の露出制御で適正に調整される場合でも、無条件で、遠赤外カメラの映像の領域に対応する可視光カメラの映像内の領域に合わせて可視光カメラの露出を調整することとなる。これにより、可視光カメラの露出がかえって不適正に調整される虞がある。

【0005】

本開示は、このような問題点を解決するためになされたものであり、可視光カメラの露出を適正に調整できる画像処理装置、画像処理方法、及びプログラムを提供することを主たる目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するための本開示の一態様は、
可視光カメラにより撮影された映像を取得する可視光映像取得部と、
前記可視光カメラと同じ方向を撮影する遠赤外カメラにより撮影された映像を取得する遠赤外映像取得部と、
前記可視光カメラ及び前記遠赤外カメラの映像内において、所定物体を夫々検出する物体検出部と、
前記遠赤外映像取得部により取得された前記遠赤外カメラの映像内において、前記物体検出部により検出された所定物体を含む第１領域を特定する第１領域特定部と、
前記第１領域特定部により特定された前記遠赤外カメラの映像内の第１領域に対応する前記可視光カメラの映像内の第２領域を特定する第２領域特定部と、
前記物体検出部によって、前記可視光カメラの映像において所定物体が検出されず、かつ、前記遠赤外カメラの映像において所定物体が検出された場合に、前記第２領域特定部により特定された前記可視光カメラの映像内の第２領域に合わせて、前記可視光カメラの露出を調整する露出調整部と、
を備える画像処理装置
である。

【0007】

上記目的を達成するための本開示の一態様は、
可視光カメラにより撮影された映像を取得するステップと、
前記可視光カメラと同じ方向を撮影する遠赤外カメラにより撮影された映像を取得するステップと、
前記可視光カメラ及び前記遠赤外カメラの映像内において、所定物体を夫々検出するステップと、
前記取得された遠赤外カメラの映像内において、前記検出された所定物体を含む第１領域を特定するステップと、
前記特定された前記遠赤外カメラの映像内の第１領域に対応する前記可視光カメラの映像内の第２領域を特定するステップと、
前記可視光カメラの映像において所定物体が検出されず、かつ、前記遠赤外カメラの映像において所定物体が検出された場合に、前記特定された前記可視光カメラの映像内の第２領域に合わせて、前記可視光カメラの露出を調整するステップと、
を含む、画像処理方法
である。

【0008】

上記目的を達成するための本開示の一態様は、
可視光カメラにより撮影された映像を取得する処理と、
前記可視光カメラと同じ方向を撮影する遠赤外カメラにより撮影された映像を取得する処理と、
前記可視光カメラ及び前記遠赤外カメラの映像内において、所定物体を夫々検出する処理と、
前記取得された前記遠赤外カメラの映像内において、前記検出された所定物体を含む第１領域を特定する処理と、
前記特定された前記遠赤外カメラの映像内の第１領域に対応する前記可視光カメラの映像内の第２領域を特定する処理と、
前記可視光カメラの映像において所定物体が検出されず、かつ、前記遠赤外カメラの映像において所定物体が検出された場合に、前記特定された前記可視光カメラの映像内の第２領域に合わせて、前記可視光カメラの露出を調整する処理と、
をコンピュータに実行させる、プログラム
である。

【発明の効果】

【0009】

本開示によれば、可視光カメラの露出を適正に調整できる画像処理装置、画像処理方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。

【図2】本実施形態に係る画像処理装置の概略的なシステム構成を示すブロック図である。

【図3】本実施形態に係る画像処理方法のフローを示すフローチャートである。

【図4】本実施形態に係る画像処理方法のフローを示すフローチャートである。

【図5】本実施形態に係る画像処理装置の概略的なシステム構成を示すブロック図である。

【発明を実施するための形態】

【0011】

実施形態１
以下、図面を参照して本発明の実施形態について説明する。例えば、可視光カメラにより撮影された夜の映像に、照明が当たって明るい看板と照明が当たっていない暗い道路が含まれる場合がある。この場合、照明が当たっている明るい看板に合わせて可視光カメラの露出が調整されていると、実際には照明の当たっていない暗い道路（道路脇など）に歩行者がいても、道路は露出アンダーとなってしまうため、その歩行者が映像に映らないことがある。

【0012】

特に、夜間の車両走行時やトンネル出入り口などにおいては、その映像に輝度差が生じ易く、いわゆる白飛びや黒潰れ等が発生し、人物等が映像に映らない、あるいは、ぼやけて映るなどの状況が発生していた。一方、遠赤外カメラは物体から放射する熱を映像化するため、上記場合でも道路の歩行者を映像に映すことができる。

【0013】

上述のように、遠赤外カメラの映像には映すことができるが、可視カメラの映像には映すことができない状況の原因として、可視光カメラにおいて被写体に対する露出がアンダー気味もしくはオーバー気味になっており、可視光カメラの露出が適正に調整されていないことが考えられる。

【0014】

これに対し、本実施形態に係る撮影システムは、上述のような同一映像内で輝度差が生じている場合でも、可視光カメラの露出を適正に調整し、その映像に特に注視したい人などの所定物体を確実に映すことができるものである。

【0015】

本実施形態に係る撮影システムは、例えば、車両のドライブレコーダーや自動運転装置、インフラなどに搭載される。撮影システムは、可視光カメラの映像において、所定物体に関して、露出アンダー領域の露出を上げ、あるいは、露出オーバー領域の露出を下げることで、可視光カメラの露出を適正に調整し、その映像上で所定物体を確実に捉えることができる。

【0016】

図１は、本実施形態に係る撮影システムの概略的なシステム構成を示すブロック図である。本実施形態に係る撮影システム１は、可視光カメラ２と、遠赤外カメラ３と、画像処理装置４と、を備えている。

【0017】

可視光カメラ２は、例えば、車両のフロントウインドウなどに設けられており、車両前方を撮影する。なお、可視光カメラ２は、道路に設けられた信号機やスマートポールなどのインフラに設けられてもよい。可視光カメラ２は、画像処理装置４に無線あるいは有線で通信接続されている。

【0018】

遠赤外カメラ３は、例えば、車両のフロントグリルなどに設けられ、可視光カメラ２と同じ方向を撮影している。なお、遠赤外カメラ３と、可視光カメラ２とは、同じ方向を撮影できれば、夫々離れて設けられていてもよく、撮影範囲が同一、または一方の撮影範囲に他方の撮影範囲が含まれていればよい。例えば、可視光カメラ２は、車両のフロントウインドウに設けられ、遠赤外カメラ３は、インフラに設けられていてもよい。遠赤外カメラ３は、画像処理装置４に無線あるいは有線で通信接続されている。

【0019】

画像処理装置４は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ４ａと、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの内部メモリ４ｂと、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージデバイス４ｃと、ディスプレイなどの周辺機器を接続するための入出力Ｉ／Ｆ４ｄと、装置外部の機器と通信を行う通信Ｉ／Ｆ４ｅと、を備えた通常のコンピュータのハードウェア構成を有する。

【0020】

図２は、本実施形態に係る画像処理装置の概略的なシステム構成を示すブロック図である。本実施形態に係る画像処理装置４は、可視光映像取得部４１と、遠赤外映像取得部４２と、物体検出部４３と、第１領域特定部４４と、第２領域特定部４５と、露出調整部４６と、を備えている。

【0021】

可視光映像取得部４１には、可視光カメラ２が接続されている。可視光映像取得部４１は、可視光カメラ２により撮影された映像を取得する。

【0022】

遠赤外映像取得部４２には、遠赤外カメラ３が接続されている。遠赤外映像取得部４２は、遠赤外カメラ３により撮影された映像を取得する。

【0023】

物体検出部４３は、可視光映像取得部４１により取得された可視光カメラ２の映像内において、所定物体を検出する。また、物体検出部４３は、遠赤外映像取得部４２により取得された遠赤外カメラ３の映像内において、所定物体を検出する。

【0024】

所定物体は、例えば、人、動物、自転車、自動二輪車、自動四輪車などの移動可能な移動物体であり、予め物体検出部４３に設定されている。物体検出部４３は、例えば、パターンマッチング処理などを行うことで、可視光カメラ２及び遠赤外カメラ３の映像から所定物体を夫々検出する。

【0025】

物体検出部４３は、所定物体の映像をニューラルネットワークなどの学習器により機械学習されたモデルであり、可視光カメラ２及び遠赤外カメラ３の映像から所定物体を夫々検出してもよい。

【0026】

一方、可視光カメラ２の露出が適正でないために、可視光カメラ２の映像において白飛びや黒潰れ等が発生し、その映像に所定物体がぼやけて映っている場合、物体検出部４３は、その所定物体を検出しない。例えば、物体検出部４３は、モデルの出力値が所定未満であると判断した場合に、その所定物体を検出しない。

【0027】

第１領域特定部４４は、遠赤外映像取得部４２により取得された遠赤外カメラ３の映像内において、物体検出部４３により検出された所定物体を含む第１領域を特定する。第１領域は、所定物体を囲む領域であり、例えば、略矩形状に形成される。なお、第１領域は、所定物体よりも大きい領域であるが、所定物体よりも小さな領域であってもよい。

【0028】

第１領域特定部４４は、例えば、遠赤外映像取得部４２により取得された遠赤外カメラ３の映像内に複数の所定物体が存在する場合、その複数の所定物体全てを含む第１領域を特定する。

【0029】

第１領域特定部４４は、自車両の位置情報などに基づいて、自車両が走行している道路上の所定物体を含む第１領域を特定してもよい。ここで、自車両が走行している道路には、自車両が走行するレーンに隣接する追い越しレーンなどの同方向に走行するレーンや分岐路など、自車両の走行に影響する道路も含むものとする。

【0030】

一方、第１領域特定部４４は、自車両が走行している道路とは別の道路上の所定物体を含む第１領域を特定しなくてもよい。この別の道路とは、例えば、自車両とは逆方向に走行するレーンや、自車両のレーンから離れたレーンなどの自車両が走行し得ない道路である。これにより、自車両の走行に影響する道路上の所定物体のみの第１領域を特定することで、後述の露出調整をより高精度に行うことができる。

【0031】

第２領域特定部４５は、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域に対応する可視光カメラ２の映像内の第２領域を特定する。第２領域特定部４５は、例えば、可視光カメラ２の映像と、遠赤外カメラ３の映像と、を比較するマッチング処理を行うことで、遠赤外カメラ３の映像内の第１領域に対応する可視光カメラ２の映像内の第２領域を特定する。

【0032】

なお、第１領域特定部４４は、遠赤外映像取得部４２により取得された遠赤外カメラ３の映像内に複数の所定物体が存在する場合、各所定物体に対して第１領域を夫々特定してもよい。さらに、上記各所定物体に対し優先度が設定されていてもよい。優先度は、ユーザが任意に設定でき、予め第２領域特定部４５に設定されていてもよい。

【0033】

第２領域特定部４５は、第１領域特定部４４により特定された各第１領域のうち、所定物体の優先度がより高い第１領域を選択し、その選択した遠赤外カメラ３の映像内の第１領域に対応する可視光カメラ２の映像内の第２領域を特定する。これにより、優先度の高い所定物体に合わせて、後述の露出調整を行うことができる。

【0034】

例えば、第１領域特定部４４は、遠赤外映像取得部４２により取得された遠赤外カメラ３の映像内に人と自動車が存在する場合、その人と自動車に対して第１領域を夫々特定する。また、人の優先度が自動車の優先度よりも高く設定されているとする。

【0035】

第２領域特定部４５は、第１領域特定部４４により特定された人の第１領域と自動車の第１領域のうち、優先度がより高い人の第１領域を選択し、その選択した人の第１領域に対応する可視光カメラ２の映像内の第２領域を特定する。これにより、優先度のより高い人に合わせて、後述の如く、可視光カメラ２の露出調整をより高精度に行うことができる。

【0036】

露出調整部４６は、可視光カメラ２のＡＥ（Auto Exposure）制御を行う。露出調整部４６は、第２領域特定部４５により特定された可視光カメラ２の映像内の第２領域に合わせて、可視光カメラ２の露出を調整する。これにより、遠赤外カメラ３の映像で捉えた所定物体の明るさに合わせて可視光カメラ２の露出を高精度に調整できる。そして、可視光カメラ２の映像において、最も捉えたい所定物体の映像を確実に映すことができる。

【0037】

露出調整部４６は、物体検出部４３によって、可視光カメラ２において所定物体が検出されず、かつ、遠赤外カメラ３において所定物体が検出された場合にのみ、上述の如く、第２領域特定部４５により特定された第２領域に合わせて、可視光カメラ２の露出を調整するのが好ましい。

【0038】

これにより、所定物体に関して可視光カメラ２の露出が適正でないことを確認した後、遠赤外カメラ３の第１領域に対応する可視光カメラ２の第２領域に合わせて、可視光カメラ２の露出を適正に調整することができる。したがって、所定物体に関して可視光カメラ２の露出を適正に調整できる。

【0039】

続いて、本実施形態に係る画像処理方法について説明する。図３は、本実施形態に係る画像処理方法のフローを示すフローチャートである。

【0040】

可視光カメラ２及び遠赤外カメラ３は、車両前方などを夫々撮影する（ステップＳ１０１）。可視光映像取得部４１及び遠赤外映像取得部４２は、可視光カメラ２及び遠赤外カメラ３により撮影された映像を夫々取得する（ステップＳ１０２）。

【0041】

第１領域特定部４４は、物体検出部４３によって、可視光カメラ２の映像において所定物体が検出されず、かつ、遠赤外カメラ３の映像において所定物体が検出された場合（ステップＳ１０３のＹＥＳ）に、遠赤外映像取得部４２により取得された遠赤外カメラ３の映像内において、物体検出部４３により検出された所定物体を含む第１領域を特定する（ステップＳ１０４）。

【0042】

第２領域特定部４５は、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域に対応する可視光カメラ２の映像内の第２領域を特定する（ステップＳ１０５）。

【0043】

露出調整部４６は、第２領域特定部４５により特定された第２領域に合わせて、可視光カメラ２の露出を調整する（ステップＳ１０６）。

【0044】

一方、露出調整部４６は、物体検出部４３によって、可視光カメラ２の映像において所定物体が検出される、あるいは、遠赤外カメラ３の映像において所定物体が検出されない場合（ステップＳ１０３のＮＯ）、通常の可視光カメラ２の露出調整を行う（ステップＳ１０７）。

【0045】

以上、本実施形態に係る画像処理方法によれば、所定物体に関して可視光カメラ２の露出が適正でないことを確認した後、遠赤外カメラ３の第１領域に対応する可視光カメラ２の第２領域に合わせて、可視光カメラ２の露出を適正に調整することができる。したがって、所定物体に関して可視光カメラ２の露出を適正に調整できる。

【0046】

実施形態２
本実施形態において、露出調整部４６は、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域が所定面積以下で小さい場合に、第２領域特定部４５により特定された第２領域に合わせて可視光カメラ２の露出を調整しなくともよい。この場合、露出調整部４６は、可視光映像取得部４１により取得された可視光カメラ２の映像に基づいて、通常の可視光カメラ２の露出調整を行う。

【0047】

所定物体が遠方に離れるに従って、所定物体は小さく映るため、その所定物体の大きさに応じて第１領域の面積も小さくなる。また、所定物体が遠く離れている場合、例えば、その所定物体との衝突などをそれほど考慮する必要が無い。このため、上述のように可視光カメラ２の露出制御を行って、所定物体をより高精度に検出する必要性がそれほど高くない。

【0048】

したがって、上述の如く、露出調整部４６は、所定物体が遠方にあり第１領域が所定面積以下で小さい場合に、第２領域特定部４５により特定された第２領域に合わせて可視光カメラ２の露出を行わず、可視光カメラ２の映像に基づいて、通常の可視光カメラ２の露出制御を行う。

【0049】

なお、露出調整部４６は、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域が所定面積以下の場合でも、所定物体の種別に応じて、第２領域特定部４５により特定された第２領域に合わせて可視光カメラ２の露出を調整してもよい。

【0050】

例えば、所定物体が対向車などの自動車である場合、その自動車は高速で接近してくると予測される。この場合、その自動車が遠方にあり、その第１領域が小さいが、その自動車との衝突などを考慮する必要性が高くなる。このため、上述のように可視光カメラ２の露出制御を高精度に行って、その自動車をより高精度に検出する必要性が高くなる。

【0051】

したがって、露出調整部４６は、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域が所定面積以下の場合でも、所定物体の種別が自動車などの高速度で接近する高速移動体である場合、第２領域特定部４５により特定された第２領域に合わせて可視光カメラ２の露出を高精度に調整してもよい。これにより、遠方にあるが自動車などの高速度で接近する所定物体との衝突をより確実に回避できる。

【0052】

一方で、所定物体が人などの高速で接近しない移動体が遠方にある場合、その移動体との衝突などをそれほど考慮する必要がない。このため、上述のように可視光カメラ２の露出制御を高精度に行う必要性がそれほど高くない。

【0053】

したがって、露出調整部４６は、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域が所定面積以下であり、所定物体の種別が人などの低速度で移動する低速移動体である場合、第２領域特定部４５により特定された第２領域に合わせて可視光カメラ２の露出を高精度に調整しなくてもよい。この場合、露出調整部４６は、可視光映像取得部４１により取得された可視光カメラ２の映像に基づいて、通常の可視光カメラ２の露出調整を行う。

【0054】

続いて、本実施形態に係る画像処理方法について説明する。図４は、本実施形態に係る画像処理方法のフローを示すフローチャートである。

【0055】

可視光カメラ２及び遠赤外カメラ３は、車両前方などを夫々撮影する（ステップＳ２０１）。可視光映像取得部４１及び遠赤外映像取得部４２は、可視光カメラ２及び遠赤外カメラ３により撮影された映像を夫々取得する（ステップＳ２０２）。

【0056】

第１領域特定部４４は、物体検出部４３によって、可視光カメラ２の映像において所定物体が検出されず、かつ、遠赤外カメラ３の映像において所定物体が検出された場合（ステップＳ２０３のＹＥＳ）に、遠赤外映像取得部４２により取得された遠赤外カメラ３の映像内において、物体検出部４３により検出された所定物体を含む第１領域を特定する（ステップＳ２０４）。

【0057】

第２領域特定部４５は、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域が所定面積以下でないと判断した場合（ステップＳ２０５のＮＯ）、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域に対応する可視光カメラ２の映像内の第２領域を特定する（ステップＳ２０６）。

【0058】

露出調整部４６は、第２領域特定部４５により特定された第２領域に合わせて、可視光カメラ２の露出を調整する（ステップＳ２０７）。

【0059】

露出調整部４６は、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域が所定面積以下であると判断した場合（ステップＳ２０５のＹＥＳ）、可視光映像取得部４１により取得された可視光カメラ２の映像に基づいて、通常の可視光カメラ２の露出調整を行う（ステップＳ２０８）。

【0060】

露出調整部４６は、物体検出部４３によって、可視光カメラ２の映像において所定物体が検出される、あるいは、遠赤外カメラ３の映像において所定物体が検出されない場合（ステップＳ２０３のＮＯ）、可視光映像取得部４１により取得された可視光カメラ２の映像に基づいて、通常の可視光カメラ２の露出調整を行う（ステップＳ２０８）。

【0061】

実施形態３
図５は、本実施形態に係る画像処理装置の概略的なシステム構成を示すブロック図である。

【0062】

本実施形態に係る画像処理装置４０は、上記実施形態１の構成に加えて、第１領域特定部４４により特定された第１領域に含まれる各所定物体までの距離を夫々検出する距離検出部４７を更に備えている。

【0063】

距離検出部４７は、遠赤外カメラ３により撮影された各所定物体の映像に基づいて、各所定物体までの距離を検出する。なお、距離検出部４７は、超音波センサ、レーダセンサなどの距離センサにより検出された各所定物体の距離情報に基づいて、各所定物体までの距離を検出してもよい。

【0064】

ここで、全ての所定物体の距離が所定距離以上であり、全ての所定物体が遠方にある場合、例えば、その所定物体との衝突などをそれほど考慮する必要が無い。このため、上述のように可視光カメラ２の露出制御を行って、その所定物体をより高精度に検出する必要性がそれほど高くない。

【0065】

一方で、所定物体が存在する可能性の高い所定場所では、例えば、人など所定物体の飛び出しが不意に発生し事故に繋がる可能性がある。このため、可視光カメラ２の映像において、その所定場所を確実に映す必要性が生じる。

【0066】

そこで、本実施形態において、露出調整部４６は、距離検出部４７により検出された全ての所定物体の距離が所定距離以上である場合に、可視光カメラ２の映像内において、所定物体が存在する可能性の高い所定場所に合わせて可視光カメラ２の露出を調整する。

【0067】

これにより、所定物体が存在する可能性の高い所定場所に合わせて可視光カメラ２の露出を調整することで、可視光カメラ２の映像において、その所定場所を確実に映すことができ、例えば、人の飛び出しなどを確実に回避できる。

【0068】

なお、露出調整部４６は、第１領域特定部４４により特定された遠赤外カメラ３の映像内の第１領域が所定面積以下である場合に、可視光カメラ２の映像内において、所定物体が存在する可能性の高い所定場所に合わせて可視光カメラ２の露出を調整してもよい。

【0069】

所定場所は、例えば、人が存在する可能性の高い交差点、建物の出入り口、横断歩道、及び道路のうちの少なくとも１つを含む。所定場所は、ユーザが任意に設定でき、予め露出調整部４６に設定されていてもよい。

【0070】

なお、上記各所定場所に対し優先度が設定されていてもよい。優先度は、ユーザが任意に設定でき、予め露出調整部４６に設定されていてもよい。露出調整部４６は、優先度に基づいて、可視光カメラ２の映像内における所定場所に合わせて可視光カメラ２の露出を調整する。

【0071】

例えば、交差点、建物の出入り口、横断歩道、及び道路の順で、上記優先度が高く設定されている。これらの場所は、この順で、車両から見て見通しが悪く急に人が出てくる可能性が高いため、事故になる可能性が高い場所である。このため、この順で優先度を高く設定している。

【0072】

露出調整部４６は、可視光カメラ２の映像内における所定場所のうちで、最も優先度が高い所定場所に合わせて可視光カメラ２の露出を調整してもよい。これにより、人が存在する可能性が最も高い最も優先度の高い所定場所に合わせて、可視光カメラ２の露出を調整することができる。

【0073】

本開示のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0074】

本開示は、例えば、図３及び図４に示す処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。

【0075】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

【0076】

プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0077】

上述した各実施形態に係る画像処理装置４、４０を構成する各部は、プログラムにより実現するだけでなく、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアにより実現することもできる。

【符号の説明】

【0078】

１ 撮影システム
２ 可視光カメラ
３ 遠赤外カメラ
４ 画像処理装置
４１ 可視光映像取得部
４２ 遠赤外映像取得部
４３ 物体検出部
４４ 第１領域特定部
４５ 第２領域特定部
４６ 露出調整部
４７ 距離検出部
４ａ プロセッサ
４ｂ 内部メモリ
４ｃ ストレージデバイス
４ｄ 入出力Ｉ／Ｆ４ｄ
４ｅ 通信Ｉ／Ｆ

【図1】

【図2】

【図3】

【図4】

【図5】