特開 2024-118522 画像調整装置、及び画像調整方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118522

(43)【公開日】2024-09-02

(54)【発明の名称】画像調整装置、及び画像調整方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240826BHJP

   H04N 23/45 20230101ALI20240826BHJP

   H04N 23/76 20230101ALI20240826BHJP

   H04N 7/18 20060101ALI20240826BHJP

   G03B 15/00 20210101ALI20240826BHJP

   G03B 7/00 20210101ALI20240826BHJP

   G03B 17/02 20210101ALI20240826BHJP

【ＦＩ】

H04N23/60

H04N23/45

H04N23/76

H04N7/18 J

G03B15/00 Q

G03B7/00

G03B17/02

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023024839

(22)【出願日】2023-02-21

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】石渡 忠司

(72)【発明者】

【氏名】林 啓太

(72)【発明者】

【氏名】山本 浩史

(72)【発明者】

【氏名】土屋 圭二

(72)【発明者】

【氏名】中明 靖文

【テーマコード（参考）】

2H002

2H100

5C054

5C122

【Ｆターム（参考）】

2H002CC00

2H100CC02

5C054CA04

5C054CA05

5C054CC02

5C054FC12

5C054FC15

5C054HA30

5C122DA14

5C122DA16

5C122EA12

5C122FC05

5C122FF15

5C122FH11

5C122FH14

5C122HA75

5C122HB01

(57)【要約】

【課題】適切に画像を調整することができる画像調整装置、及び画像調整方法を提供すること。
【解決手段】撮像システム１は、第１画像に含まれる物体を検知する物体検知部４３と、物体の温度に応じて与えられた優先順位情報を参照して、第１画像に含まれる物体の中から対象物体を選択する選択部４４と、第２画像において対象物体が含まれる判定領域を特定する領域特定部５１と、判定領域において、飽和している飽和画素を計数する計数部５２と、判定領域における飽和画素の比率が閾値以上か否かを判定する判定部５３と、閾値以上である場合に、第２撮像素子におけるゲイン又はオフセットの値を変更する変更部５４と、を備えている。
【選択図】図５

【特許請求の範囲】

【請求項1】

第１撮像素子で撮像された第１画像を取得する第１画像取得部と、
遠赤外光を検出する第２撮像素子で撮像された第２画像を取得する第２画像取得部と、
前記第１画像に含まれる物体を検知する物体検知部と、
物体の温度に応じて与えられた優先順位情報を参照して、前記第１画像に含まれる物体の中から対象物体を選択する選択部と、
前記第２画像において前記対象物体が含まれる判定領域を特定する領域特定部と、
前記判定領域において、飽和している飽和画素を計数する計数部と、
前記判定領域における前記飽和画素の比率が閾値以上か否かを判定する判定部と、
前記閾値以上である場合に、前記第２撮像素子におけるゲイン又はオフセットの値を変更する変更部と、を備えた画像調整装置。

【請求項2】

前記第１画像に優先順位が最も高い物体が複数含まれている場合、前記優先順位が最も高い複数の物体の中から、前記第１画像において最も大きい物体を対象物体として選択する請求項１に記載の画像調整装置。

【請求項3】

太陽の位置又は気象条件を含む環境情報を取得する環境情報取得部をさらに備え、
前記領域特定部が、前記環境情報に応じて前記判定領域を特定する請求項１、又は２に記載の画像調整装置。

【請求項4】

太陽の位置又は気象条件を含む環境情報を取得する環境情報取得部をさらに備え、
前記選択部が、前記環境情報に応じて前記優先順位情報を変更して、前記対象物体を選択する請求項１、又は２に記載の画像調整装置。

【請求項5】

第１撮像素子で撮像された第１画像を取得するステップと、
遠赤外光を検出する第２撮像素子で撮像された第２画像を取得するステップと、
前記第１画像に含まれる物体を検知するステップと、
物体の温度に応じて与えられた優先順位情報を参照して、前記第１画像に含まれる物体の中から対象物体を選択するステップと、
前記第２画像において前記対象物体が含まれる判定領域を特定するステップと、
前記判定領域において、飽和している飽和画素を計数するステップと、
前記判定領域における前記飽和画素の比率が閾値以上か否かを判定するステップと、
前記閾値以上である場合に、前記第２撮像素子におけるゲイン又はオフセットの値を変更するステップと、を備えた画像調整方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像調整装置、及び画像調整方法に関する。

【背景技術】

【0002】

特許文献１には、車両に搭載された車両用表示制御装置が開示されている。この車両用表示制御装置は、可視光画像と赤外線画像を取得している。車両用表示制御装置は、赤外線画像に基づいて、車両の外部の対象物を検出している。制御装置は、車両の外部の可視光画像の範囲に基づいて、赤外線画像から重複領域を検出している。制御装置は、対象物が重複領域の範囲内に存在するときに、可視光画像に対象物の情報を重畳表示させて表示画像として送信する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１９１６６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠赤外線カメラのイメージセンサでは、遠赤外線を受光して発熱するボロメータが用いられるものがある。ボロメータなどを用いた遠赤外線カメラでは、黒体炉などの均一な温度面を撮影した場合でも、各画素の出力値が均一にならずに、画素毎にばらつきを持つ。また、環境温度が高くなると、画素毎の出力値のばらつきが大きくなる傾向がある。

【0005】

遠赤外線カメラにおいて、温度分解能はゲインを設定することで決まる。ただし、温度分解能を高く設定する（微小な温度の差を捉えられるようにする）と、画素毎の出力値のばらつきによる影響が大きくなるため、撮像環境の温度が高い、高温物体を撮像する、といった場合に、遠赤外線カメラの信号処理範囲を超え、画素の出力値がサチレーション（飽和）してしまうことがある。一方で、飽和を防ぐために、温度分解能を低くすると、温度の違う別の物体であるにもかかわらず、同一の物体であるかのように映る可能性がある。一方で、温度の測定範囲の調整はオフセットで行うことができる。画素の出力値が飽和する場合に、オフセットすることで飽和しない出力値に調整することができる。

【0006】

本開示は、上述した課題に鑑み、遠赤外線カメラの撮像対象である対象物体について、温度分解能が高く、飽和の無い遠赤外線画像を取得することができる画像調整装置、及び画像調整方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本実施形態の一態様にかかる画像調整装置は、第１撮像素子で撮像された第１画像を取得する第１画像取得部と、遠赤外光を検出する第２撮像素子で撮像された第２画像を取得する第２画像取得部と、前記第１画像に含まれる物体を検知する物体検知部と、物体の温度に応じて与えられた優先順位情報を参照して、前記第１画像に含まれる物体の中から対象物体を選択する選択部と、前記第２画像において前記対象物体が含まれる判定領域を特定する領域特定部と、前記判定領域において、飽和している飽和画素を計数する計数部と、前記判定領域における前記飽和画素の比率が閾値以上か否かを判定する判定部と、前記閾値以上である場合に、前記第２撮像素子におけるゲイン又はオフセットの値を変更する変更部と、を備えている。

【0008】

本実施形態の一態様にかかる画像調整方法は、第１撮像素子で撮像された第１画像を取得するステップと、遠赤外光を検出する第２撮像素子で撮像された第２画像を取得するステップと、前記第１画像に含まれる物体を検知するステップと、物体の温度に応じて与えられた優先順位情報を参照して、前記第１画像に含まれる物体の中から対象物体を選択するステップと、前記第２画像において前記対象物体が含まれる判定領域を特定するステップと、前記判定領域において、飽和している飽和画素を計数するステップと、前記判定領域における前記飽和画素の比率が閾値以上か否かを判定するステップと、前記閾値以上である場合に、前記第２撮像素子におけるゲイン又はオフセットの値を変更するステップと、を備えている。

【発明の効果】

【0009】

本実施形態によれば、撮像対象である対象物体について、温度分解能が高く、飽和のない遠赤外線画像を取得することができる画像調整装置、及び画像調整方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】撮像システムの構成を模式的に示す図である。

【図2】補正前後の遠赤外線画像を示す図である。

【図3】出力特性のばらつきが小さい場合の画素データを説明するための図である。

【図4】出力特性のばらつきが大きい場合の画素データを説明するための図である。

【図5】撮像システムの遠赤外線カメラの構成を示すブロック図である。

【図6】撮像システムの制御装置の構成を示すブロック図である。

【図7】物体検知部が検知した物体の一例を示す図である。

【図8】選択部が選択した対象物体の一例を示す図である。

【図9】領域特定部が特定した判定領域の一例を示す図である。

【図10】領域特定部が環境情報に基づいて、特定された判定領域の一例を示す図である。

【図11】領域特定部が環境情報に基づいて、選択された対象物体の一例を示す図である。

【図12】画像調整方法を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

【0012】

本実施の形態にかかる撮像システムは，車両等の移動体に搭載可能となっている。例えば、撮像システムはドライブレコーダなどの車載機器として利用される。また、撮像システムは監視カメラや防犯カメラとして利用されてもよい。

【0013】

図１は、本実施形態に係る撮像システムの概略的なシステム構成を示すブロック図である。本実施形態に係る撮像システム１は、可視光カメラ２と、遠赤外線カメラ３と、制御装置４と、を備えている。なお、図１に示す撮像システム１の一例はさらにディスプレイ７を備えるが、撮像システム１はディスプレイ７を備えなくてもよい。

【0014】

可視光カメラ２は可視光を検出して、被写体を撮像する。可視光カメラ２は、動画像をあるいは、連続する静止画像を撮像してもよい。可視光カメラ２で撮像された画像を可視光画像又は第１画像とする。可視光カメラ２は、制御装置４に無線あるいは有線で通信接続されている。可視光カメラ２は、所定の画角で被写体を撮像する。

【0015】

具体的には、可視光カメラ２はレンズユニット２１と撮像素子２２とを備えている。撮像素子２２は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサなどの光検出器である。撮像素子２２は、水平方向及び垂直方向に配列された複数の画素（受光素子）を備えている。撮像素子２２の入射側にはレンズユニット２１が配置されている。レンズユニット２１は被写体の象を撮像素子２２に結像する。撮像素子２２は、レンズユニット２１で屈折された可視光を検出する。レンズユニット２１は、少なくとも１枚のレンズを有している。例えば、レンズユニット２１は、ズームレンズやフォーカスレンズなどの複数のレンズを備えていてもよい。なお、撮像素子２２を第１撮像素子ともいう。

【0016】

遠赤外線カメラ３は、遠赤外光（遠赤外線ともいう）を検出して、被写体を撮像する。遠赤外線カメラ３は、動画像を撮像する。あるいは、遠赤外線カメラ３は、連続する静止画像を撮像する。遠赤外線カメラ３で撮像された画像を遠赤外線画像、熱画像又は第２画像とする。遠赤外線カメラ３は、制御装置４に無線あるいは有線で通信接続されている。遠赤外線カメラ３は、所定の画角で被写体を撮像する。

【0017】

遠赤外線カメラ３はレンズユニット３１と撮像素子３２を備えている。撮像素子３２は、マイクロボロメータなどの光検出器である。撮像素子３２は、熱型（非冷却型）の素子でもよく、量子型（冷却型）の素子でもよい。撮像素子３２は、水平方向及び垂直方向に配列された複数の画素を備えている。撮像素子３２の入射側にはレンズユニット３１が配置されている。レンズユニット３１は被写体の像を撮像素子３２に結像する。撮像素子３２は、レンズユニット３１で屈折された遠赤外光を検出する。レンズユニット３１は、ズームレンズやフォーカスレンズなどの複数のレンズを備えていてもよい。なお、撮像素子３２を第２撮像素子ともいう。遠赤外線カメラ３の出力ビット幅は、例えば、１０ビット～１４ビットとなっている。

【0018】

なお、遠赤外線カメラ３と、可視光カメラ２とは、同じ方向を撮影できれば、夫々離れて設けられていてもよく、撮影範囲が同一、又は一方の撮影範囲に他方の撮影範囲が含まれていればよい。遠赤外線カメラ３に対する可視光カメラ２の相対的な取付位置、及び取付方向は既知となっている。

【0019】

遠赤外線カメラ３と可視光カメラ２は同軸に配置されていてもよい。この場合、遠赤外線カメラ３と可視光カメラ２の手前に、遠赤外光と可視光を分岐するビームスプリッタなどが設けられていてもよい。

【0020】

制御装置４は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサ４ａと、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの内部メモリ４ｂと、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などのストレージデバイス４ｃと、ディスプレイ７などの周辺機器を接続するための入出力Ｉ／Ｆ４ｄと、装置外部の機器と通信を行う通信Ｉ／Ｆ４ｅと、を備えた通常のコンピュータのハードウェア構成を有する。制御装置４は、ストレージデバイス４ｃに格納されたコンピュータプログラムを実行することで後述する画像処理と制御を行うことができる。

【0021】

制御装置４は、ディスプレイ７と通信可能に接続している。制御装置４は、ディスプレイ７と有線で接続されてもよいし無線で接続されてもよい。制御装置４は、遠赤外線画像データに対して画像処理を実行する。そして、制御装置４は、遠赤外線画像をディスプレイ７に表示させてもよい。また、制御装置４は、可視光画像をディスプレイ７に表示させてもよい。

【0022】

ディスプレイ７は、例えば液晶パネルや有機エレクトロルミネッセンスパネルを含む表示装置であって、ユーザが視認可能な位置に設けられている。ディスプレイ７は、制御装置４を介して遠赤外線カメラ３が撮影した画像を表示する。

【0023】

上述の構成により、制御装置４は、遠赤外線カメラ３が撮影した遠赤外線画像をユーザが視認可能な態様によりディスプレイ７に表示させる。これにより、制御装置４は、周辺の物体をユーザに認識させることができる。なお、撮像システム１は、ディスプレイ７を備えない場合は、制御装置４は遠赤外線カメラ３が撮影した遠赤外線画像を図示しない外部記憶装置などに保存できてもよい。また、制御装置４と遠赤外線カメラ３とディスプレイ７は一体の撮像装置として構成されていてもよい。

【0024】

以下、遠赤外線画像を撮像する遠赤外線カメラ３を用いた場合の課題について説明する。制御装置４は遠赤外線画像データに対してＮＵＣ（Ｎｏｎ－Ｕｎｉｆｏｒｍｉｔｙ Ｃｏｒｒｅｃｔｉｏｎ）を行う。ＮＵＣは画素出力のばらつきを補正するものである。図２は、補正前（ＮＵＣ前）の画像と、補正後（ＮＵＣ後）の画像を示す図である。図２は、温度が均一な均一面（黒体炉）を撮像した遠赤外線画像となっている。

【0025】

補正前の画像には、ムラが生じているため、画素出力にばらつきがあることが分かる。つまり、均一な温度の被写体を撮像している場合であっても、各画素のボロメータの出力特性にばらつきが生じている。

【0026】

出力のばらつきは、補正後であっても撮像素子３２の環境温度が上昇するにつれて、大きくなる傾向がある。また、ボロメータの出力はＡＤ変換されたデジタル信号となっており、その出力範囲のビット幅は制限がある。例えば、ボロメータの出力ビット幅は、１０～１４ビットであることが多い。そのため画素の出力値がこの範囲を超えるとサチュレーションが発生し、正常な信号処理ができずに異常な映像が出力される。

【0027】

撮像素子３２のゲインが低い場合の出力特性と、高い場合の出力特性について、図３、図４を用いて説明する。図３，図４は、均一な温度の被写体を撮像した遠赤外線画像における、撮像素子３２の画素出力値のデータを示している。横軸は、環境温度であり、縦軸は、撮像素子３２の画素出力値となっている。ここで、画素出力値の信号処理範囲は１４ビット幅となっている。また、それぞれの図の２本の線は、画素出力値のばらつきによって発生する最大出力値と最小出力値をそれぞれ示している。図３は、ゲインが低い場合の出力特性を示し、図４は、ゲインが高い場合の出力特性を示している。

【0028】

環境温度が上昇するにつれて出力値が上昇していく。さらに、環境温度が上昇するにつれて２つの画素間のばらつきも大きくなっている。図３ではゲインが低いため、その変化はそれほど大きくなく、信号処理範囲に収まっているので問題ない。

【0029】

図４では、図３の場合よりも、ゲインが高く設定されている。このため、環境温度の上昇に応じて出力値のばらつきが、図３の場合よりも大きくなる。

【0030】

図４において点線で示すグラフＡはゲインが高い場合の特性の一例である。環境温度が高くなるにつれて、出力値が急激に上昇する。よって、環境温度が高温になると、１４ビットの信号処理範囲を超えて、サチュレーションが発生している（領域Ｃ）。この現象が発生すると信号処理が破綻し、正常な映像を出力できない。この状態を回避するためにはセンサ出力のオフセットを下げて、図４の実線で示すグラフＢのようにする必要がある。図４の実線のグラフＢでは、信号処理の範囲に出力値が治められている。つまり、高い環境温度であっても、遠赤外線カメラ３が正常な映像を出力することができる。

【0031】

本実施形態では、制御装置４が、物体を検出して、撮像素子３２のゲインとオフセットを設定する。このようにすることで、飽和によって、映像中の物体が異常な映りになることを防ぐ。常時、制御装置４は、正常な映像を出力することが可能となる。

【0032】

次に、遠赤外線カメラ３の構成について説明する。図５は遠赤外線カメラ３の詳細構成を模式的に示すブロック図である。遠赤外線カメラ３は、レンズユニット３１、撮像素子３２、データ格納部３３、調整部３４、温度センサ３５と、伝送デバイス３６とを備えている。データ格納部３３や調整部３４等は、ＭＣＵ（Micro Controller Unit）を含む制御回路に搭載されていてもよいし、制御装置４に搭載されていてもよい。また、遠赤外線カメラ３は図示しないシャッタなどを有していてもよい。

【0033】

レンズユニット３１は、被写体からの遠赤外光を撮像素子３２の受光面に結像する。レンズユニット３１は、少なくとも１枚のレンズを有している。例えば、レンズユニット３１は、ズームレンズやフォーカスレンズなどの複数のレンズを備えていてもよい。

【0034】

撮像素子３２は、複数の画素を備えている。撮像素子３２の各画素が被写体からの赤外光を受光する。これにより、被写体の遠赤外線画像を撮像することができる。例えば、撮像素子３２は、遠赤外線を検出するためのマイクロボロメータを有している。撮像素子３２は、２次元アレイ状配列された複数の画素を備えている。各画素の検出値（検出信号）が被写体の遠赤外線画像を形成する。

【0035】

伝送デバイス３６は、制御装置４に各種の信号やデータを伝送するためのインタフェースとなる。伝送デバイス３６は、遠赤外線画像データを制御装置４に伝送する。また、伝送デバイス３６は、制御装置４からの制御信号を受信する。例えば、後述するオフセット又はゲインを補正するための制御信号を受信する。さらに、伝送デバイス３６は、レンズユニット３１のズームやフォーカスに関するレンズ情報を送信してもよい。伝送デバイス３６又は調整部３４は、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータを有していてもよい。

【0036】

温度センサ３５は、遠赤外線カメラ３の使用環境における温度を測定する。温度センサ３５は、遠赤外線カメラ３内に搭載されているため、温度センサ３５で測定された温度を内部温度（又は環境温度ともいう）とする。内部温度は調整部３４における調整に用いられる。具体的には、調整部３４は、内部温度に応じて、異なるテーブルを使用する。

【0037】

データ格納部３３は、撮像素子３２の各画素の検出値を調整するための調整データを格納している。調整データはゲインとオフセットの値を含んでおり、例えばテーブル形式である。ゲインテーブルは、画素毎に設定されたゲインの値を示すテーブルである。オフセットテーブルは、画素毎に設定されたオフセットの値を示すテーブルである。

【0038】

調整部３４は、撮像素子３２の出力値を調整する。具体的には、調整部３４は、データ格納部３３に格納されている調整用のオフセットとゲインを読み出して、撮像素子３２の出力値を調整する。そして、調整部３４は、調整した出力値を、伝送デバイス３６に出力する。つまり、調整部３４が調整した出力値の集合が、遠赤外線画像データを形成する。

【0039】

ここで、ゲインは撮像できる温度分解能を調整する値であり、オフセットは温度の測定範囲を調整する値である。信号処理範囲よりも調整した出力値が高いとサチュレーション（飽和）を起こす。遠赤外線画像データにおいて、飽和した画素が多いと、異常な画像となってしまい、物体を認識することが困難になる。そのため、遠赤外線カメラでは通常、環境温度に応じたゲインとオフセットの値のテーブルが設定されている。

【0040】

データ格納部３３は、例えば、低温用のテーブルと、常温用のテーブルと、高温用のテーブルとを格納している。内部温度が第１の閾値温度未満の場合には、低温用のテーブルが用いられる。内部温度が第２の閾値温度以上の場合には、高温用のテーブルが用いられる。第１の閾値温度は、第２の閾値温度よりも低い温度である。常温用のテーブルは、第１の閾値温度以上、第２の閾値温度未満の範囲で用いられる。それぞれの温度範囲毎に、ゲインテーブル及びオフセットテーブルが設定されている。もちろん、テーブルを切り替える温度の設定範囲は３段階に限られるものではない。例えば、２段階の設定範囲でテーブルを切り替えてもよい。調整部３４は、内部温度によって、テーブルを切り替えて、使用する。つまり、調整部３４は、内部温度に応じたテーブルを読み出す。

【0041】

このように、ゲインとオフセットは、内部温度によって変更される。しかしながら、遠赤外線画像に高温の物体が映っている場合、内部温度に従ったゲインとオフセットの調整をしても飽和が生じてしまう場合がある。制御装置４は、後述する画像処理の結果に基づいて、ゲイン又はオフセットの少なくとも一方の設定を変更する。これにより、遠赤外線画像が上記のような異常画像となってしまうことを防ぐ。

【0042】

異常画像の発生は、ゲインとオフセットの設定を変更することで回避することができる。そのため、制御装置４が、ゲインとオフセットの設定を変更すべきか否かを判定する。そして、判定結果に基づいて、ゲインとオフセットの値を変更する。このようにすることで、異常な画像が生成されることを防ぐことが可能となる。画素出力値のサチュレーションが起こっていないかを１つの物体の範囲で判定することによって判断する。

【0043】

撮像システム１は、例えば、車載機器として利用される。真夏の場合、昼間に太陽光で路面が温められ、夜になっても温度が下がらない場面がある。また、夜になると、他車のライトの逆光により肉眼や可視光カメラ２で見えない場面があるが、遠赤外線カメラ３を使用すれば、歩行者などを撮像することができる場面がある。このような状況下では遠赤外線カメラ３に適切な温度分解能が必要である。つまり、高温物体まで含めて遠赤外線カメラ３の出力値を設定すると、物体同士の画素の出力値が近づき、ある物体が別の温度が近い物体と同じような色になってしまい、別物体として認識できなくなってしまう可能性がある。つまり、路面と歩行者の温度が近づき、路面と歩行者の見分けがつかない画像となる可能性がある。従って、制御装置４は、高温であり、かつ走行に影響のないものに関しては出力値がサチュレーションすることを許容する。一方、制御装置４は、遠赤外線カメラの温度分解能を上げることで、走行に影響ある物体が見分けられるように画像を調整することができる。

【0044】

図６は、制御装置４の構成を示す制御ブロック図である。制御装置４は、可視光画像取得部４１と遠赤外線画像取得部４２と、物体検知部４３と、選択部４４と、領域特定部５１と、計数部５２と、判定部５３と、変更部５４と、を備えている。さらに、制御装置４は、環境情報取得部５６、ＮＵＣ部６１と、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）部６２と、映像出力部６３と、を備えていてもよい。

【0045】

可視光画像取得部４１には、可視光カメラ２が接続されている。可視光画像取得部４１は、可視光カメラ２により撮影された可視光画像を取得する。可視光画像取得部４１を第１画像取得部ともいう。可視光画像取得部４１で取得された可視光画像を第１画像ともいう。

【0046】

遠赤外線画像取得部４２には、遠赤外線カメラ３が接続されている。遠赤外線画像取得部４２は、遠赤外線カメラ３により撮影された遠赤外線画像を取得する。遠赤外線画像取得部４２を第２画像取得部ともいう。遠赤外線画像取得部４２で取得された遠赤外線画像を第２画像ともいう。

【0047】

物体検知部４３は、可視光画像に含まれる物体を検知する。例えば、物体検知部４３は、可視光画像に対して画像処理を行うことで、可視光画像に写っている物体を検知する。例えば、物体検知部４３は、人間（歩行者）、自転車、バイク、自動車、犬などの動物、建物、街灯、太陽、道路等を検知する。なお、ここでの物体は人間、及び動物などを含んでいる。物体検知部４３は、エッジ検出やパターンマッチングなどの画像処理によって、物体を特定することができる。物体検知部４３は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の機械学習モデルを用いて、物体を検知してもよい。

【0048】

図７は、物体検知部４３が検知した物体の一例を示す図である。可視光画像Ｐ１には、車両Ｖ１～Ｖ４、街灯Ｌ１～Ｌ２、太陽Ｓ、建物Ｂ１～Ｂ６、道路Ｒ１～Ｒ２が含まれている。物体検知部４３は、画像処理によって、これらの物体をそれぞれ検知する。物体検知部４３は、各物体の位置及び大きさに応じた画素アドレスを検出する。これにより、可視光画像において各物体が写っている範囲が特定される。そして、物体にその種類や名称を示す属性情報を付す。物体検知部４３は、検知結果を示すデータをメモリなどに格納する。

【0049】

選択部４４は、可視光画像に含まれる物体の中から走行に影響する対象である対象物体を選択する。例えば、選択部４４は、対象物体とするための物体毎の優先順位を示す優先順位情報を格納している。優先順位情報は物体の種類に応じて与えられている。ここで、極めて高温の物体について、選択部４４は対象物体として選択しない。

【0050】

走行に影響する対象とは、例えば安全な走行のために確認を要する物体である。具体的には、車両、バイク、歩行者、自転車であり、車両、バイク、歩行者、自転車の順で優先順位が設定されている。一方で、所定の温度以上の高温の物体については、対象物体として選択されない。所定温度以上の高温物体としては、例えば、太陽、街灯、溶岩、人が入れないような高温の温泉等が挙げられる。また、真夏などでは、アスファルトで形成された道路や黒色の建物を高温物体としてもよい。さらに、可視光画像に車両が写っている場合、車両の部分を特定して、それぞれの部分を物体として特定してもよい。例えば、車両の画像において、マフラーやボンネットなどの高温となる部分を特定してもよい。極めて高温の物体にあわせて設定されたゲイン及びオフセットを用いた場合、通常の温度の物体が適切に撮像できないおそれがある。すなわち、他車両や歩行者などを適切な温度分解能で撮像できなくなってしまう。よって、上記のような高温物体については、対象物体の候補から外して、対象物体として選択されないようにしている。ただし、高温物体であっても、必要に応じて優先順位を付与する場合があってもよい。

【0051】

物体の優先順位は、極めて高温な物体を除いて、温度が高いと想定される順に設定されていてもよい。例えば、車両は、バイク、人間、自転車などよりも高温になることが想定される。よって、車両はバイク、人間、自転車よりも優先順位が高くなる。例えば、メモリなどに物体の温度に応じた優先順位を示す優先順位情報が格納されている。そして、選択部４４は、優先順位情報のデータを参照して、対象物体を選択する。つまり、選択部４４は、可視光画像から検知された物体の中で最も優先順位が高い物体を対象物体として選択する。もちろん、対象物体の数は１つに限られるものではなく、２以上の対象物体を選択してもよい。２以上の対象物体を選択する場合、選択部４４は、優先順位の何番目までを対象物体とするかを設定する。

【0052】

遠赤外線画像において、飽和なく適切に撮像したい物体の優先順位を高くしてもよい。例えば、撮像システム１がセキュリティシステムの場合、カメラに映る人間、館内ロボット、館内に設置されている装置などを適切に撮像することが望まれる。よって、注意が必要な物体については、画素の飽和を防止するために、優先順位を高くしてもよい。よって、ゲインとオフセットの設定を優先順位が高い物体に合わせることで適切に撮像することができる。

【0053】

図８は、優先順位を参照して対象物体を選択する一例を説明するための図である。図８に示す可視光画像Ｐ２には、車両Ｖ１、人間Ｈ１～Ｈ３，太陽Ｓ、街灯Ｌ１～Ｌ２が含まれている。つまり、物体検知部４３は、車両Ｖ１、人間Ｈ１～Ｈ３，太陽Ｓ、街灯Ｌ１～Ｌ２をそれぞれ検知している。ここで、太陽Ｓ、街灯Ｌ１～Ｌ２は高温物体になるため、対象物体にはならない（優先順位が付与されない）。さらに、車両は人間よりも優先順位が高くなっている。よって、選択部４４は、車両Ｖ１を対象物体として選択する。

【0054】

領域特定部５１は、遠赤外線画像において、対象物体が含まれる判定領域を特定する。領域特定部５１は、可視光カメラ２に対する遠赤外線カメラ３の相対的な位置及び方向に基づいて、可視光画像における画素アドレスを遠赤外線画像における画素アドレスに変換する。このようにすることで、領域特定部５１は、対象物体に対応する判定領域を特定することができる。図８に示すように、領域特定部５１は、車両Ｖ１を含む矩形領域を判定領域ＲＶ１として設定する。もちろん、領域特定部５１が特定する判定領域の形状は、矩形枠に限定されるものではない。例えば、判定領域は、物体の外形に応じた形状となっていてもよい。また、判定領域は、対象物体の全てを含んでいなくてもよい。つまり、判定領域は対象物体の少なくとも一部を含んでいればよい。

【0055】

遠赤外線カメラ３に対する可視光カメラ２の相対的な取付位置、及び取付方向は既知となっている。領域特定部５１は、相対的な取付位置や取付方向に関するデータを記憶している。領域特定部５１は、可視光画像の画素アドレスを、撮像素子３２の画素アドレスに変換する変換式や変換テーブルを有している。変換式や変換テーブルは、取付位置、及び取付方向の設計データに基づいて、作成可能である。

【0056】

さらに、対象物体が所定温度以上の高温部分を含む場合、その高温部分を判定領域から除外してもよい。例えば、車両Ｖ１のボンネットやマフラーなどは極めて高温になることがある。ボンネットやマフラー等の高温部分は、判定領域ＲＶ１から除外されてもよい。つまり、領域特定部５１は、対象物体が写っている範囲から、高温物体を除外した部分を判定領域として特定してもよい。

【0057】

計数部５２は、判定領域において飽和している画素数を計数する。例えば、撮像データの各画素の輝度レベルがゼロから２５５までの８ビットで表現されている場合に、輝度レベルが２５５の値を有する座標の画素を飽和画素という。あるいは、計数部５２は、画素出力値が所定以上の値を有する座標の画素を、飽和画素としても計数してもよい。

【0058】

判定部５３は、判定領域における飽和画素の比率が閾値以上か否かを判定する。例えば、判定部５３は、判定領域における飽和画素の飽和画素数を判定領域の全画素数で除算することにより、飽和画素の比率を求める。判定部５３は、判定領域に占める飽和画素の比率を閾値と比較する。判定部５３は、対象物体に対応する判定領域において、飽和画素数の比率が閾値以上の場合、対象物体が適切な温度分解能又は測定範囲で撮像されていないと判定する。判定部５３は、ゲイン又はオフセットの補正が必要と判定する。補正が必要となるか否かを判定するための閾値は、予め設定されていてもよい。例えば、対象物体の種別に応じて閾値が設定されていてもよく、対象物体の種別に関わらず一定の閾値が設定されていてもよい。判定部５３は、対象物体の種別や画像上の面積に応じて、閾値を変更してもよい。

【0059】

変更部５４は、飽和画素の比率が閾値以上である場合、遠赤外線カメラ３におけるゲイン又はオフセットの少なくとも一方を変更する。例えは、変更部５４は、オフセットを下げるための制御信号を遠赤外線カメラ３に出力する。これにより、データ格納部３３に格納されているオフセットの値が補正される。例えば、調整部３４は、オフセットテーブルの値が一定値だけ小さくなるように補正した値を用いて、画素出力値を調整する。つまり、調整部３４は、オフセット値が補正された補正テーブルを用いて、画素出力値を調整する。

【0060】

オフセット値の補正量は、予め設定された固定値であってもよい。あるいは、オフセット値の補正量は、飽和の比率に応じて設定されていてもよく、物体の種類に応じて設定されていてもよい。また、変更部５４は、ゲイン及びオフセットの両方を変更してもよく、オフセットのみを補正してもよい。さらには、変更部５４はゲインのみを補正してもよい。ゲインを補正する場合、ゲインの補正量は、オフセット値の補正量と同様に、予め設定された固定値であってもよく、飽和の比率に応じて設定されていてもよい。

【0061】

図４のグラフＢはオフセットを変更して画素の飽和を防ぐ例である。変更部５４は、飽和している画素出力が信号処理範囲（図４では１４ビット）に入るように、オフセットを変更する。よって、出力値のばらつきが生じた場合であっても、対象物体に対応する判定領域の画素が飽和することを防ぐことができ、適切な遠赤外線画像を撮像することができる。

【0062】

ＮＵＣ部６１は、上記のように、遠赤外線画像に対してＮＵＣ処理を施す。ＡＧＣ部６２は、ＮＵＣ処理が施された遠赤外線画像に対してオートゲインコントロール処理を施す。これにより、遠赤外線画像の明るさを調整することができる。映像出力部６３は、ＡＧＣ処理が成された遠赤外線画像をディスプレイ７に出力する。よって、ディスプレイ７は、適切に撮像された遠赤外線画像を表示することができる。

【0063】

つまり、走行する上で注意が必要な物体が対象物体として選択されている。そして、対象物体に対応する判定領域において、画素の飽和が見られる場合、変更部５４がゲイン又はオフセットの値を変更する。これにより、適切な温度分解能と測定範囲で遠赤外線画像を撮像することができる。

【0064】

また、選択部４４は、走行への影響の可能性が低い物体について、優先順位を低く設定している。又は、走行への影響の可能性が低い物体について、対象物体として選択されないようにしてもよい。例えば、離れた位置にある物体である、太陽、街灯、溶岩などについては、対象物体として選択されない。これらの物体については、走行に影響がないため、画素の飽和が許容される。つまり、これらの物体が高温だったとしても、運転者が注意する必要はないため、遠赤外線画像では、当該物体が飽和してもよい。換言すると、走行に影響しない物体を除くことで、ゲインとオフセットが適切に設定される。

【0065】

本実施の形態では、遠赤外線カメラ３の設定を、画素出力値のばらつきを考慮しつつ最適にすることができる。よって、被写体の温度分解能を高めることができる。飽和のない遠赤外線画像を取得することできる。

【0066】

次に、優先順位が最も高い物体が複数ある場合の処理について、図９を用いて説明する。図９に示す画像Ｐ３では、複数の車両Ｖ１～Ｖ４が含まれている。つまり、物体検知部４３が、複数の車両Ｖ１～Ｖ４を検知している。ここで、車両Ｖ１～Ｖ４は同じ属性となっているため、優先順位が最上位で同じとなる。この場合、選択部４４は、車両Ｖ１～Ｖ４のうち、画像Ｐ３において最も大きい車両Ｖ１を対象物体として選択する。車両Ｖ１～Ｖ４の中で車両Ｖ１が最も大きい面積で撮像されている。よって、選択部４４は、最も大きい車両Ｖ１を対象物体として選択する。そして、領域特定部５１が車両Ｖ１に対応する判定領域ＲＶ１を特定する。なお、ここでは最も大きい車両を対象物体としたが、所定以上の大きさを持つ物体を対象物体としてもよい。

【0067】

このようにすると、判定部５３が、精度よく判定を行うことができる。例えば、対象物体がより大きい範囲に写っているため、領域特定部５１がより広い判定領域ＲＶ１を特定することができる。よって、判定部５３が判定に用いる画素数を増やすことができ、精度よく判定することができる。

【0068】

また、物体の色や材質に応じて、優先順位が設定されてもよい。例えば、同じ車両であっても、黒色の車両の場合、白色の車両よりも、光の吸収によって温度が高くなりやすい。よって、黒色の車両の優先順位を高くして、白色の車両の優先順位を低くする。このようにすることで、選択部４４が、温度の高い物体を対象物体として選択することができる。よって、飽和しやすい物体を優先することで、異常な画像となるのを防ぐことができる。

【0069】

制御装置４は、環境情報を取得する環境情報取得部５６を備えていてもよい。環境情報は、太陽の位置又は気象条件を含む情報である。環境情報は、天候、風向き、風速、気温等を含んでいてもよい。環境情報、自車に対する太陽の位置や方位に関する情報を含んでいてもよい。環境情報は季節に関する情報を含んでいてもよい。さらに、撮像システム１がＧＰＳ等を搭載する車両に搭載された車載機器である場合、環境情報取得部５６が、自車の位置における気象情報を環境情報として取得することも可能である。

【0070】

領域特定部５１が、環境情報に基づいて判定領域を特定することができる。領域特定部５１が、環境情報に基づいて、判定領域を特定する例について図１０を用いて説明する。図１０では車両Ｖ１が対象物体として選択されている。遠赤外線画像Ｐ４において、車両Ｖ１の右側半分に直射日光が当たっているとする。このため、車両Ｖ１の右側半分は、左側半分よりも太陽光を吸収して、高温になっていることが想定される。この場合、領域特定部５１は、車両Ｖ１の右側半分を判定領域ＲＶ１として特定する。

【0071】

あるいは、風向きなどの情報によって、領域特定部５１が判定領域を特定してもよい。例えば、環境情報取得部５６が風向きや風速を測定する風速計を備えている。あるいは、環境情報取得部５６は、自車両に搭載されている風速計から、風向きや風速を示す情報を取得してもよい。冷たい風を受けている部分を除いて、領域特定部５１が判定領域を特定する。例えば，車両Ｖ１が左側から冷たい風を受けている場合、領域特定部５１は飽和の可能性の高い車両Ｖ１の右半分を判定領域ＲＶ１として特定する。

【0072】

さらに、選択部４４が環境情報に基づいて、対象物体を選択してもよい。選択部４４が環境情報に基づいて、対象物体を選択する例について、図１１を用いて説明する。図１１では車両Ｖ４が対象物体として選択されている。遠赤外線画像Ｐ４において、左側の道路Ｒ１が、建物Ｂ２、Ｂ３等によって、日陰となっているとする。右側の道路Ｒ２が、日向となっている。日向の道路Ｒ２では、太陽光によって物体の温度が上昇する。つまり、道路Ｒ２を走行している車両Ｖ４は、太陽光によって温度が高くなっている。反対に道路Ｒ１を走行している車両Ｖ１～Ｖ３は太陽光が照射されていないため、相対的に低温になっている。従って、選択部４４は、車両Ｖ４を対象物体として選択する。つまり、最も大きい画像上の面積で写っている車両Ｖ１ではなく、温度が高い車両Ｖ４が対象物体となる。領域特定部５１は、車両Ｖ４を含む判定領域ＲＶ４を特定する。

【0073】

環境情報によって、日向、日陰に関する情報が分かっている場合、日向か日陰かで優先順位を変更するようにしてもよい。つまり、選択部４４は、日向にある物体の優先順位を高くして、日陰にある物体の優先順位を低くする。これにより、選択部４４が、適切に対象物体を選択することができる。あるいは、環境情報によって、風向き、風速などが分かっている場合、選択部４４は、これらに応じて優先順位を変更するようにしてもよい。例えば、冷たい風があたって冷却されている物体については、優先順位を低くしても良い。

【0074】

図１２を用いて、画像調整方法について説明する。図１２は、画像調整方法を示すフローチャートである。可視光画像取得部４１が可視光カメラ２から可視光画像を取得する（Ｓ１０１）。遠赤外線画像取得部４２が遠赤外線カメラ３から遠赤外線画像を取得する（Ｓ１０２）。物体検知部４３が可視光画像に含まれる物体を検知する（Ｓ１０３）。物体検知部４３は、公知の画像認識処理によって、可視光画像に写っている物体を認識する。

【0075】

選択部４４は、可視光画像に含まれる物体の中から、対象物体を選択する（Ｓ１０４）。選択部４４は、物体毎に設定された優先順位を示す優先順位情報を参照して、対象物体を選択する。ここでは、可視光画像に含まれる物体の中から、１つの物体を対象物体として選択する。

【0076】

領域特定部５１は、遠赤外線画像において、対象物体に対応する判定領域を特定する（Ｓ１０５）。つまり、可視光画像において対象物体が写っている箇所の画素アドレスを、遠赤外線画像における画素アドレスに変換する。可視光カメラ２と遠赤外線カメラ３と設置角度や画角が既知となっている。よって、領域特定部５１は、画素アドレスの変換式や変換テーブルを用いて、遠赤外線画像において対象物体が写っている判定領域を特定することができる。

【0077】

計数部５２が、判定領域における飽和画素を計数する（Ｓ１０６）。計数部５２が、判定領域における飽和画素の画素数を求める。判定部５３が、判定領域における飽和画素の比率が閾値以上か否かを判定する（Ｓ１０７）。つまり、判定部５３が、飽和画素数を判定領域に含まれる全画素数で除することで、判定領域に占める飽和画素の比率を求める。判定部５３が、飽和画素の比率を閾値と比較する。

【0078】

飽和画素の比率が、閾値以上ではない場合（Ｓ１０７のＮＯ）、処理を終了する。つまり、遠赤外線カメラ３におけるゲイン、又はオフセットが変更されない。飽和画素の比率が、閾値以上ではある場合（Ｓ１０７のＹＥＳ）、変更部５４が遠赤外線カメラ３のゲイン又はオフセットを変更する（Ｓ１０８）。つまり、変更部５４は、ゲイン又はオフセットの値を変更するための制御信号を遠赤外線カメラ３に出力する。ゲイン又はオフセットの値の補正量は、予め設定された所定値としてもよく、飽和画素の比率などに応じて設定されてもよい。そして、処理を終了する。

【0079】

撮像システム１は、上記の処理を繰り返し行っている。例えば、１又は複数のフレーム毎に撮像システム１が、上記の処理を行う。これにより、制御装置４は、適切な温度分解能となるように画像を調整することができる。

【0080】

また、可視光画像に、優先順位の同じ物体が複数含まれている場合、Ｓ１０４において、選択部４４が物体の画像上の面積に応じて対象物体を選択してもよい。つまり、優先順位が同じ複数の物体のうち、画像上の面積が最も大きい物体を選択部４４が対象物体として選択する。これにより、図９に示したように、車両Ｖ１が対象物体として選択される。

【0081】

また、Ｓ１０４では、環境情報取得部５６が取得した環境情報に基づいて、選択部４４が対象物体を選択してもよい。例えば、環境情報が、日陰か日向を示す情報を含む場合、選択部４４が日向の物体の優先順位を高くする。これにより、図１１に示したように、車両Ｖ４が対象物体として選択される。あるいは、環境情報が、風速や風向きを示す情報を含む場合、選択部４４が冷却されている物体の優先順位を低くする。

【0082】

また、Ｓ１０５では、環境情報取得部５６が取得した環境情報に基づいて、領域特定部５１が判定領域を特定してもよい。例えば、環境情報が、日陰か日向を示す情報を含む場合、図１０に示したように、車両Ｖ１の一部分が判定領域ＲＶ１として選択される。

【0083】

制御装置４は、遠赤外線カメラ３の遠赤外線画像を調整する画像調整装置として機能する。制御装置４は、物理的に単一な装置に限らず、複数の装置に分散されて配置されていても良い。例えば、制御装置４の一部の機能が、可視光カメラ２や遠赤外線カメラ３に搭載されていても良い。物体検知機能が可視光カメラ２に搭載されていても良い。判定部などの処理機能が遠赤外線カメラ３に搭載されていても良い。

【0084】

上述した制御装置４や撮像システム１のプログラムは、コンピュータに読み込まれた場合に、実施の形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。

【0085】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0086】

１ 撮像システム
２ 可視光カメラ
３ 遠赤外線カメラ
４ 制御装置
７ ディスプレイ
２１ レンズユニット
２２ 撮像素子
３１ レンズユニット
３２ 撮像素子
３３ データ格納部
３４ 調整部
３５ 温度センサ
３６ 伝送デバイス
４１ 可視光画像取得部
４２ 遠赤外線画像取得部
４３ 物体検知部
４４ 選択部
５１ 領域特定部
５２ 計数部
５３ 判定部
５４ 変更部
５６ 環境情報取得部
６１ ＮＵＣ部
６２ ＡＧＣ部
６３ 映像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】