特開 2022-187078 制御システム、制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187078

(43)【公開日】2022-12-19

(54)【発明の名称】制御システム、制御方法およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221212BHJP

   G01J 1/42 20060101ALI20221212BHJP

   H04N 5/235 20060101ALI20221212BHJP

   G03B 17/02 20210101ALI20221212BHJP

   G03B 15/00 20210101ALI20221212BHJP

【ＦＩ】

H04N5/232 290

G01J1/42 B

H04N5/235

G03B17/02

G03B15/00 Q

G03B15/00 V

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021094888

(22)【出願日】2021-06-07

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】鈴木 保成

【テーマコード（参考）】

2G065

2H100

5C122

【Ｆターム（参考）】

2G065AA11

2G065AB02

2G065BA12

2G065BA34

2G065BB21

2G065BC11

2G065BC14

2G065BC35

2G065CA01

2G065CA23

2H100CC02

2H100FF01

5C122DA14

5C122DA16

5C122EA12

5C122FF09

5C122FH11

5C122HA13

5C122HA35

5C122HB01

(57)【要約】

【課題】熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制する制御システム等を提供する。
【解決手段】制御システム１１は、画像データ取得部１６０、画像認識部１８０、飽和領域検出部１７３、判断部１５１および指示部１５２を有している。画像データ取得部１６０は、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。画像認識部１８０は、熱画像データにかかる熱画像から車両画像を検出する。飽和領域検出部１７３は、熱画像に飽和領域が存在することを検出する。判断部１５１は、熱画像における車両画像の外側に飽和領域が存在するか否かを判断する。指示部１５２は、車両画像の外側に飽和領域が存在する場合に、赤外線カメラのシャッタを閉じる指示を出力する。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する画像データ取得部と、
前記熱画像データにかかる前記熱画像から車両画像を検出する画像認識部と、
前記熱画像に飽和領域が存在することを検出する飽和領域検出部と、
前記熱画像における前記車両画像の外側に前記飽和領域が存在するか否かを判断する判断部と、
前記車両画像の外側に前記飽和領域が存在する場合に、前記赤外線カメラのシャッタを閉じる指示を出力する指示部と、を備える
制御システム。

【請求項2】

前記判断部は、前記熱画像における前記車両画像の下部領域の外側に前記飽和領域が存在するか否かを判断するものであって、
前記指示部は、前記車両画像の下部領域の外側に前記飽和領域が存在する場合に、前記赤外線カメラのシャッタを閉じる指示を出力する、
請求項１に記載の制御システム。

【請求項3】

前記熱画像データの画素値の統計データを生成する統計データ生成部をさらに備え、
前記判断部は、前記統計データに基づいて、前記熱画像に空が含まれるか否かを判断し、
前記指示部は、前記熱画像に空が含まれ、且つ、前記熱画像における前記車両画像の外側に前記飽和領域が存在する場合に、前記赤外線カメラのシャッタを閉じる指示を出力する、
請求項１または２に記載の制御システム。

【請求項4】

制御システムを制御するコンピュータが、
車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する画像データ取得ステップと、
前記熱画像データにかかる前記熱画像から車両画像を検出する画像認識ステップと、
前記熱画像に飽和領域が存在することを検出する飽和領域検出ステップと、
前記熱画像における前記車両画像の外側に前記飽和領域が存在するか否かを判断する判断ステップと、
前記車両画像の外側に前記飽和領域が存在する場合に、前記赤外線カメラのシャッタを閉じる指示を出力する指示ステップと、を実行する
制御方法。

【請求項5】

車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する画像データ取得ステップと、
前記熱画像データにかかる前記熱画像から車両画像を検出する画像認識ステップと、
前記熱画像に飽和領域が存在することを検出する飽和領域検出ステップと、
前記熱画像における前記車両画像の外側に前記飽和領域が存在するか否かを判断する判断ステップと、
前記車両画像の外側に前記飽和領域が存在する場合に、前記赤外線カメラのシャッタを閉じる指示を出力する指示ステップと、を備える
制御方法を、コンピュータに実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は制御システム、制御方法およびプログラムに関する。

【背景技術】

【0002】

物体の熱を検出する赤外線カメラを利用した物体検出システムが多く開発されている。またこのような物体検出システムを用いて、例えば自動車の安全性を向上させることが期待されている。一方、赤外線カメラは、物体の熱を検出するという特性上、太陽光を撮像すると赤外線撮像素子として用いられているサーマルセンサが異常を起こす可能性がある。そのため、太陽光の影響を抑制するための技術が必要とされている。

【0003】

例えば、焦点面アレイによって撮像された熱画像の欠点を表示する原因となる焼き付き事象を、フラットフィールドコレクションを利用して検出する方法が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第０９１０２７７６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

赤外線カメラを利用した物体検出システムは、赤外線カメラに直射日光が当たったことを素早く検出してサーマルセンサを保護するとともに、直射日光が当たっていない場合にはセンサ機能を好適に継続することが期待されている。

【0006】

本発明は、このような課題を解決するためになされたものであって、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制する制御システム等を提供するものである。

【課題を解決するための手段】

【0007】

本発明にかかる制御システムは、画像データ取得部、画像認識部、飽和領域検出部、判断部および指示部を有している。画像データ取得部は、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。画像認識部は、熱画像データにかかる熱画像から車両画像を検出する。飽和領域検出部は、熱画像に飽和領域が存在することを検出する。判断部は、熱画像における車両画像の外側に飽和領域が存在するか否かを判断する。指示部は、車両画像の外側に飽和領域が存在する場合に、赤外線カメラのシャッタを閉じる指示を出力する。

【0008】

本発明に係る制御方法は、画像データ取得ステップ、画像認識ステップ、飽和領域検出ステップ、判断ステップおよび指示ステップをコンピュータが実行する。画像データ取得ステップは、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。画像認識ステップは、熱画像データにかかる熱画像から車両画像を検出する。飽和領域検出ステップは、熱画像に飽和領域が存在することを検出する。判断ステップは、熱画像における車両画像の外側に飽和領域が存在するか否かを判断する。指示ステップは、車両画像の外側に飽和領域が存在する場合に、赤外線カメラのシャッタを閉じる指示を出力する。

【0009】

本発明に係るプログラムは、コンピュータに以下の制御方法を実行させる。制御方法は、画像データ取得ステップ、画像認識ステップ、飽和領域検出ステップ、判断ステップおよび指示ステップをコンピュータが有する。画像データ取得ステップは、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。画像認識ステップは、熱画像データにかかる熱画像から車両画像を検出する。飽和領域検出ステップは、熱画像に飽和領域が存在することを検出する。判断ステップは、熱画像における車両画像の外側に飽和領域が存在するか否かを判断する。指示ステップは、車両画像の外側に飽和領域が存在する場合に、赤外線カメラのシャッタを閉じる指示を出力する。

【発明の効果】

【0010】

本発明によれば、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制する制御システム、制御方法およびプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１にかかる制御システムを搭載した車両の構成図である。

【図2】赤外線カメラの構成図である。

【図3】実施の形態１にかかる制御システムのブロック図である。

【図4】実施の形態１にかかる画像処理部のブロック図である。

【図5】実施の形態１にかかる制御方法のフローチャートである。

【図6】実施の形態１にかかる制御システムの機能を説明するための第１の図である。

【図7】実施の形態１にかかる制御システムの機能を説明するための第２の図である。

【図8】実施の形態２にかかる制御システムを搭載した車両の構成図である。

【図9】実施の形態２にかかる制御システムのブロック図である。

【図10】実施の形態２にかかる画像処理部のブロック図である。

【図11】実施の形態２にかかる制御方法のフローチャートである。

【図12】実施の形態２にかかる制御システムの機能を説明するための第１の図である。

【図13】実施の形態２にかかる制御システムの機能を説明するための第２の図である。

【発明を実施するための形態】

【0012】

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0013】

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる制御システムを搭載した車両の構成図である。本実施の形態にかかる制御システムは、車両に設けられた赤外線カメラを制御する。図１に示す車両９０は、赤外線カメラ１０、制御システム１１およびディスプレイ１２を含む。

【0014】

赤外線カメラ１０は、車両９０の周辺を撮像するように車両９０に設けられている。赤外線カメラ１０は例えば車両９０の前方に固定され、車両９０の前方を撮像する。赤外線カメラ１０は制御システム１１と通信可能に接続し、制御システム１１から所定の指示信号を受け取り、受け取った指示信号に応じて動作する。また赤外線カメラ１０は、制御システム１１に対して、赤外線カメラ１０が撮像した画像（熱画像ともいう）にかかる画像データ（熱画像データともいう）を供給する。

【0015】

制御システム１１は、車両９０の任意の場所に固定され、赤外線カメラ１０およびディスプレイ１２のそれぞれと通信可能に接続している。制御システム１１は、赤外線カメラ１０を制御して、赤外線カメラ１０が生成した画像データを取得し、取得した画像データをディスプレイ１２に表示させる。

【0016】

ディスプレイ１２は、例えば液晶パネルや有機エレクトロルミネッセンスパネルを含む表示装置であって、車両９０において運転者が視認可能な位置に設けられている。ディスプレイ１２は、制御システム１１を介して赤外線カメラ１０が撮像した画像を表示する。

【0017】

上述の構成により、制御システム１１は、赤外線カメラ１０が撮像した画像を運転者が視認可能な態様によりディスプレイ１２に表示させる。これにより、制御システム１１は、車両９０の周辺の物体を運転者に認識させることができる。

【0018】

次に、図２を参照して、赤外線カメラ１０の構成について説明する。図２は、赤外線カメラの構成図である。図２に示す赤外線カメラ１０は主な構成として、筐体１０１、対物レンズ１０２、シャッタ１０３、赤外線センサ１０４およびカメラ制御回路１０５を有している。

【0019】

筐体１０１は、赤外線カメラ１０の各構成を収容し、車両９０に固定される。対物レンズ１０２は、赤外線カメラ１０が撮像する範囲から入射する赤外線を受け、赤外線センサ１０４に投射する。シャッタ１０３は、遮光性の板材を含み、対物レンズ１０２と赤外線センサ１０４との間に開閉可能に介在する。

【0020】

シャッタ１０３は、閉じた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮る。一方、シャッタ１０３は、開いた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮らない。また、シャッタ１０３は、赤外線センサ１０４から見て黒体であり、シャッタ１０３を閉じた状態で、赤外線センサ１０４のキャリブレーションを行う。

【0021】

赤外線センサ１０４は、アレイ状に配置された感熱素子で構成され、対物レンズ１０２を介して入射する赤外光を受け、感熱素子の各々の抵抗値変化によって画像データを生成する。赤外線センサ１０４はカメラ制御回路１０５と通信可能に接続し、カメラ制御回路１０５から所定の制御信号を受けて動作する。赤外線センサ１０４は、画像データを生成すると、生成した画像データをカメラ制御回路１０５に供給する。

【0022】

なお、赤外線センサ１０４は、所定の強さより強い太陽光を所定期間以上受けると、太陽光を受けた範囲の素子の出力が飽和する。また、太陽光を受けた範囲の素子の温度が規定値以上に上昇するため、素子の不可逆な変形や特性の変化などの異常状態が生じる。そのため、赤外線カメラ１０は、赤外線センサ１０４を直射日光から保護するために、シャッタ１０３を有する。

【0023】

また、赤外線センサ１０４のダイナミックレンジは、歩行者等の物体を検出するための分解能が比較的に高くなるように設定されている。そのため、赤外線センサ１０４は、異常を起こさない温度範囲であっても、検出信号が飽和するように設定されている。

【0024】

カメラ制御回路１０５は、ＭＣＵ（Micro Controller Unit）を含む制御回路であって、シャッタ１０３および赤外線センサ１０４を制御する。またカメラ制御回路１０５は制御システム１１と通信可能に接続し、制御システム１１から制御信号を受け取り、受け取った制御信号に応じて、赤外線カメラ１０の各構成を制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮像をしない場合にはシャッタ１０３が閉じた状態を保つよう制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮像をする場合にはシャッタ１０３が開いた状態となるよう制御する。またこのとき、カメラ制御回路１０５は、赤外線センサ１０４が生成した画像データを、制御システム１１に供給する。

【0025】

またカメラ制御回路１０５は、所定の条件下、シャッタ１０３を一時的に閉じる。所定の条件とは例えば、赤外線センサ１０４を保護する目的でシャッタ１０３を一時的に閉じる場合や、キャリブレーションを行う場合である。この場合、例えばカメラ制御回路１０５は、制御システム１１からシャッタ１０３を一時的に閉じる指示を受ける。

【0026】

次に、図３を参照して、制御システム１１について説明する。図３は、実施の形態１にかかる制御システムのブロック図である。制御システム１１は主な構成として、制御ＩＦ１２０、ＲＯＭ１３０、ＲＡＭ１４０、システム制御回路１５０、画像データ取得部１６０、画像処理部１７０、画像認識部１８０および画像データ出力部１９０を有している。またこれらの構成は、バス１１０を介して適宜通信可能に接続されている。

【0027】

制御ＩＦ１２０は、赤外線カメラ１０を制御するための通信回線のインタフェースである。制御ＩＦ１２０は制御システム１１が赤外線カメラ１０を制御するための制御信号を、赤外線カメラ１０に供給する。

【0028】

ＲＯＭ１３０（ＲＯＭ（Read Only Memory））は、予め設定された情報またはデータを記憶する不揮発性のメモリである。ＲＯＭ１３０は、例えば制御システム１１が本実施の形態にかかる機能を実現するためのプログラムを予め記憶している。

【0029】

ＲＡＭ１４０（ＲＡＭ（Random Access Memory））は、制御システム１１が一時的にデータを展開できる記憶領域を有する揮発性のメモリである。ＲＡＭ１４０は、例えばＤＲＡＭ（Dynamic Random Access Memory）であってもよいし、システム制御回路１５０等に付随するレジスタを含んでもよい。ＲＡＭ１４０は、ＲＯＭ１３０が記憶するプログラムを展開して実行する領域を含む。またＲＡＭ１４０は、例えば赤外線カメラ１０から供給された画像データを処理する場合等に利用され得る。

【0030】

システム制御回路１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの演算装置を含む。システム制御回路１５０は機能ブロックとして、判断部１５１および指示部１５２を含む。

【0031】

判断部１５１は、制御システム１１から取得した画像データにかかる熱画像について、この熱画像に車両の画像（車両画像）と飽和領域とがいずれも含まれる場合に、これらの位置関係について所定の判断をする。より具体的には、判断部１５１は、この熱画像における車両画像の外側に飽和領域が存在するか否かを判断する。すなわち、車両画像が放射する熱とは異なる熱を飽和領域として検出した場合に、直射日光が入射した可能性がある。一方、車両画像内に飽和領域を検出した場合には、この飽和領域は、車両のマフラやエンジンなどの発熱部分が発している熱によるものである可能性が高い。そこで、制御システム１１は、車両画像の外側に飽和領域が存在する場合に、これを認識したことを示す判断をする。判断部１５１は、この判断の結果を指示部１５２に供給する。判断部１５１は、車両画像の内側と外側との双方にまたがって飽和領域が存在する場合に、車両画像の外側に飽和領域が存在すると判断する。このような場合は、前方車両に一部重なって太陽光が見える状態である。

【0032】

指示部１５２は、赤外線カメラ１０に対して所定の指示を出力する。より具体的には、指示部１５２は例えば、判断部１５１の判断結果を受け取る。そしてこの判断結果が、車両画像の外側に飽和領域が存在すると判断するものであった場合、指示部１５２は、赤外線カメラ１０のシャッタ１０３を閉じる指示を出力する。制御ＩＦ１２０は、指示部１５２が出力した指示を、赤外線カメラ１０に供給する。

【0033】

なお、前方に存在し、同一方向に走行している車両を撮影した車両画像の発熱部分は車両のマフラであることが多い。車両画像におけるマフラは通常、車両の下部に設けられている。そこで判断部１５１は、熱画像における車両画像の下部領域の外側に、飽和領域が存在するか否かを判断するものであってもよい。このように判断することにより、制御システム１１は、より精度よくマフラの熱と異なる熱にかかる飽和領域を検出する。これにより、制御システム１１は、赤外線カメラ１０を好適に直射日光から保護できる。

【0034】

またこの場合に、指示部１５２は、判断部１５１の判断結果に応じて、熱画像における車両画像の下部領域の外側に飽和領域が存在する場合に、赤外線カメラ１０のシャッタ１０３を閉じる指示を出力するものであってもよい。これにより、制御システム１１は、好適に、シャッタ１０３を閉じることができる。

【0035】

画像データ取得部１６０は、赤外線カメラ１０から熱画像にかかるデータである熱画像データ（入力熱画像データ）を取得するインタフェースである。画像データ取得部１６０は例えば赤外線カメラ１０から定期的に画像データを取得する。例えば画像データ取得部１６０は、１フレームの画像を、１５分の１秒毎に受け取る。画像データ取得部１６０は画像データを受け取ると、受け取った画像データを画像処理部１７０に供給する。

【0036】

画像処理部１７０は、例えばＧＰＵ（Graphics Processing Unit）を含む画像処理回路である。画像処理部１７０は、ＲＡＭ１４０と連携して、熱画像データに対して所定の処理を施す。画像処理部１７０の詳細は、後述する。

【0037】

画像認識部１８０は、画像データ取得部１６０から熱画像データを受け取り、受け取った熱画像データにかかる熱画像から車両画像を検出する。より具体的には、画像認識部１８０は、例えば車両画像を検出するための認識辞書を有し、認識辞書のデータを参照して、車両画像を検出する。画像認識部１８０は、車両画像を検出すると、検出した車両画像の位置、車両画像の大きさに関する情報を生成し、生成した情報を、システム制御回路１５０に供給する。

【0038】

画像データ出力部１９０は、画像処理部１７０が処理した画像データ（出力熱画像データ）を、ディスプレイ１２に出力するためのインタフェースである。画像データ出力部１９０が出力する画像データはディスプレイ１２の仕様に対応したデータフォーマットにしたがって出力される。このデータフォーマットは、例えばＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）やＤＶＩ（Digital Visual Interface）等である。

【0039】

次に、図４を参照して、画像処理部１７０について説明する。図４は、実施の形態１にかかる画像処理部１７０のブロック図である。画像処理部１７０は主な構成として、欠陥画素補正部１７１、ＮＵＣ部１７２および飽和領域検出部１７３を有する。

【0040】

欠陥画素補正部１７１は、赤外線センサ１０４の欠陥画素を予め記憶し、記憶した欠陥画素の画素値を、周辺の画素の画素値から補間する処理（補間処理）を施す。欠陥画素補正部１７１は、画像データ取得部１６０を介して、赤外線カメラ１０から入力熱画像データを受け取り、受け取った画像データに対して、上述の補間処理を施す。欠陥画素補正部１７１は補間処理を施した画像データを、ＮＵＣ部１７２および飽和領域検出部１７３に供給する。

【0041】

ＮＵＣ部１７２は、入力された光に対して出力する画素値のばらつきを抑制するための較正処理であるＮＵＣ（Non-Uniformity Correction）を行う。ＮＵＣ部１７２は、赤外線センサ１０４のそれぞれの画素が有する特性に対応したゲインとオフセット値の設定を予め有している。ＮＵＣ部１７２は、欠陥画素補正部１７１から受け取った画像データに対して、予め有しているこの設定にしたがい、画像データのそれぞれの画素値を較正する。

【0042】

飽和領域検出部１７３は、欠陥画素補正部１７１から欠陥画素が補正された画像データを受け取り、受け取った画像データの飽和領域を検出する。飽和領域は、飽和画素ないし実質的に飽和している画素が存在する領域である。飽和画素とは、画素データが上限値となった状態の画素をいう。例えば、撮像データの各画素の輝度レベルがゼロから１６３８３までの１４ビットで表現されている場合に、輝度レベルが１６３８３の値を有する座標の画素を飽和画素という。

【0043】

飽和領域検出部１７３は、例えば隣接する４個以上の画素が飽和画素であることを検出した場合に、飽和領域が存在すると判断する。あるいは飽和領域検出部１７３は、例えば近接する９個以上の画素が輝度値の上限の９８パーセント以上である場合に、飽和領域が存在すると判断してもよい。飽和領域検出部１７３は、受け取った撮像データに飽和領域が存在すると検出した場合、飽和領域の検出結果を示す信号を、システム制御回路１５０に出力する。

【0044】

次に、図５を参照して、制御システム１１が実行する処理について説明する。図５は、実施の形態１にかかる制御方法のフローチャートである。図５に示すフローチャートは、例えば、制御システム１１による赤外線カメラ１０を用いた撮像が開始されることによって開始され、赤外線カメラ１０を用いた撮像が行われている期間、繰り返し実行される。

【0045】

まず、制御システム１１の画像データ取得部１６０は、赤外線カメラ１０から熱画像データを取得し（ステップＳ１０）、これを画像処理部１７０に供給する。

【0046】

次に、画像処理部１７０の飽和領域検出部１７３は、欠陥補正が施された画像データから飽和領域を検出する（ステップＳ１１）。飽和領域検出部１７３は、飽和領域を検出すると、検出した飽和領域の位置や大きさに関する情報をシステム制御回路１５０に供給する。

【0047】

次に、画像認識部１８０は、画像データから車両画像を認識する（ステップＳ１２）。画像認識部１８０は、車両画像を認識した場合には、認識した車両画像に関する情報をシステム制御回路１５０に供給する。ステップＳ１１およびステップＳ１２の処理は、ステップＳ１０の開始とともに処理が開始される。

【0048】

次に、システム制御回路１５０は、画像データに飽和領域が存在することを検出したか否かを判断する（ステップＳ１３）。より具体的には、システム制御回路１５０が有する判断部１５１が、この判断を行う。画像データに飽和領域が存在することを検出したと判断する場合（ステップＳ１３：ＹＥＳ）、システム制御回路１５０はステップＳ１４に進む。一方、画像データに飽和領域が存在することを検出したと判断しない場合（ステップＳ１３：ＮＯ）、制御システム１１は一連の処理を終了する。

【0049】

ステップＳ１４において、システム制御回路１５０の指示部１５２は、熱画像における車両画像の外側に飽和領域が存在するか否かを判断する（ステップＳ１４）。車両画像の外側に飽和領域が存在すると判断する場合（ステップＳ１４：ＹＥＳ）、制御システム１１はステップＳ１５に進む。一方、車両画像の外側に飽和領域が存在すると判断しない場合、（ステップＳ１４：ＮＯ）、制御システム１１は一連の処理を終了する。

【0050】

ステップＳ１５において、システム制御回路１５０の指示部１５２は、赤外線カメラ１０のシャッタ１０３を閉じる指示を出力する（ステップＳ１５）。制御システム１１は、この指示に関する信号を、制御ＩＦ１２０を介して赤外線カメラ１０に供給する。制御システム１１は、シャッタ１０３を閉じる指示を出力すると、一連の処理を終了する。

【0051】

ステップＳ１５において、シャッタ１０３を閉じた場合、指示部１５２は、例えば所定期間経過してからシャッタ１０３を開く。この場合の所定期間とは、例えば、赤外線センサ１０４のキャリブレーションを行うための期間などである。または、例えば１秒間など予め設定された期間であってもよい。

【0052】

以上、制御システム１１が実行する処理である制御方法について説明した。上述の制御方法において、制御システム１１は、飽和領域の位置に応じてシャッタ１０３を閉じる処理を実行する。すなわち、制御システム１１は、車両画像に含まれるマフラの熱を撮像した場合にはシャッタ１０３を閉じない。一方、車両画像に含まれるマフラの熱と異なる飽和領域を検出した場合には、赤外線カメラ１０が直射日光を撮像している可能性が高い。この場合、制御システム１１は、シャッタ１０３を閉じる指示を出力する。これにより、上述の制御方法は、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制することができる。

【0053】

次に、制御システム１１の機能について具体例と共に説明する。図６は、実施の形態１にかかる制御システムの機能を説明するための第１の図である。図６は、赤外線カメラ１０が撮像した画像の一例を示している。図６に示す画像Ｄ１１は、走行中の車両９０の前方を赤外線カメラ１０が撮像したものである。画像Ｄ１１は、車両９０の前方を走行する他車両９９０にかかる車両画像Ｐ９９０を含む。車両画像Ｐ９９０は、マフラ９９１を含む。また画像Ｄ１１は、中央上方に太陽８００の画像を含む。

【0054】

画像Ｄ１１は、マフラ９９１の範囲の画素に飽和領域が生じ得る。すなわち、制御システム１１の飽和領域検出部１７３は、マフラ９９１の範囲において飽和した画素を飽和領域として検出し得る。一方、画像認識部１８０は、車両画像Ｐ９９０を認識する。ここで、マフラ９９１の範囲の画素に生じる飽和領域は車両画像Ｐ９９０の内側に存在する。そのため判断部１５１は、マフラ９９１の画像に生じる飽和領域が車両画像Ｐ９９０の外側に存在する、と判断しない。そのため、制御システム１１は、マフラ９９１の画像に起因してシャッタ１０３を閉じる指示を出力することはない。

【0055】

一方、制御システム１１の飽和領域検出部１７３は、太陽８００の範囲の画素を飽和領域として検出し得る。一方、画像認識部１８０は、車両画像Ｐ９９０を認識する。太陽８００の範囲の画素に生じる飽和領域は車両画像Ｐ９９０の外側に存在する。そのため、判断部１５１は、太陽８００にかかる飽和領域が車両画像Ｐ９９０の外側に存在すると判断する。そのため、制御システム１１の指示部１５２は、太陽８００の範囲の画素の飽和に起因してシャッタ１０３を閉じる指示を出力する。

【0056】

次に、図７を参照して、制御システム１１の具体例についてさらに説明する。図７は、実施の形態１にかかる制御システムの機能を説明するための第２の図である。図７に示す画像Ｄ１２は、走行中の車両９０の前方を赤外線カメラ１０が撮像したものである。画像Ｄ１２は、車両９０の前方を走行する他車両９９０にかかる車両画像Ｐ９９０を含む。画像Ｄ１２は、撮像した範囲に太陽を含まない点が、図６の画像Ｄ１１と異なる。また図７にかかる例において、制御システム１１は、車両の下部領域Ｐ９９１の範囲の画素に飽和領域が含まれるか否かを判断する点が、図６に示す例と異なる。

【0057】

画像Ｄ１２は、マフラ９９１の範囲の画素に飽和領域が生じ得る。すなわち、制御システム１１の飽和領域検出部１７３は、マフラ９９１の範囲において飽和した画素を飽和領域として検出し得る。一方、画像認識部１８０は、車両画像Ｐ９９０を認識する。ここで、マフラ９９１の範囲の画素に生じる飽和領域は車両画像Ｐ９９０の下側の内側に存在する。そのため判断部１５１は、マフラ９９１の範囲の画素に生じる飽和領域が車両画像Ｐ９９０の下部領域Ｐ９９１の外側に存在する、と判断しない。また画像Ｄ２１には、マフラ９９１を除いて、飽和領域を生じ得る要素が存在しない。そのため、図７に示す例の場合に、制御システム１１は、飽和領域を検出するものの、シャッタ１０３を閉じる指示を出力しない。

【0058】

以上、実施の形態１にかかる制御システム１１について説明した。なお、赤外線センサ１０４は、サーマルセンサ、または、ボロメータと言い換えてもよい。上述の制御システム１１は、赤外線カメラ１０およびディスプレイ１２の少なくともいずれか一方を含む構成であってもよい。

【0059】

上述の具体例では、他車両９９０を用いて説明したが、車両画像は、自動車、バス、トラック、オートバイなど、道路を走行する車両のいずれであってもよい。また、車両画像として、ブルドーザやホイルローダなどの特殊車両を含んでもよい。その場合、マフラの位置は車両の種別に応じて異なる。そこで、判断部１５１は、熱画像における車両画像の下部領域の外側に飽和領域が存在するか否かを判断するのに代えて、所定の特殊車両にかかる車両画像の上部領域の外側に飽和領域が存在するか否かを判断するものであってもよい。またこのとき、指示部は、判断部１５１の判断に対応して車両画像の上部領域の外側に飽和領域が存在する場合に、赤外線カメラ１０のシャッタ１０３を閉じる指示を出力するものであってもよい。すなわち、車両画像に付随する飽和領域の位置は、車両画像の種別に対応して設定されてもよい。

【0060】

以上、実施の形態１によれば、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制する制御システム、制御方法およびプログラムを提供することができる。

【0061】

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２は、車両９０の情報を取得する点が、実施の形態１と異なる。図８は、実施の形態２にかかる制御システム２１を搭載した車両の構成図である。図８に示す車両９０は、車両９０が有するＥＣＵ（Electronic Control Unit）と制御システム２１とが通信可能に接続している点が、実施の形態１と異なる。

【0062】

車両９０はＥＣＵ１３をさらに有する。ＥＣＵ１３は、車両の所定の機能に関するデータを有し、この機能を制御する。例えばＥＣＵ１３は、車両９０のヘッドライトの点灯および消灯を制御するものである。この場合、ＥＣＵ１３は、ヘッドライドが点灯したことを示す情報（車両情報）を、制御システム２１に供給し得る。

【0063】

本実施の形態にかかる制御システム２１は、ＥＣＵ１３からヘッドライトが点灯したことを示す車両情報を受け取ると、この情報に連動して赤外線カメラ１０による撮像を開始する。すなわち、本実施の形態にかかる制御システム２１は、車両９０がヘッドライトを点灯させるような暗所において、赤外線カメラ１０のシャッタ１０３を開き、赤外線センサ１０４から画像データの取得を行う。

【0064】

本実施の形態にかかる制御システム２１は、夜間やトンネルの中など、暗い場所で起動するように設定される。しかしながら、トンネルの中などで一時的にシステムが起動し、赤外線カメラ１０が撮像を開始した場合に、トンネルの出口付近において、直射日光が赤外線カメラ１０に当たってしまう虞がある。このような場合に、赤外線カメラ１０に直射日光が当たってしまうと、赤外線撮像素子が異常を起こす可能性がある。そこで、上述のような状況において、赤外線カメラ１０の機能を維持しつつ、太陽光の影響を抑制するための技術が望まれる。

【0065】

次に、図９を参照して、本実施の形態にかかる制御システムについて説明する。図９は、実施の形態２にかかる制御システム２１のブロック図である。図９に示す制御システム２１は、実施の形態１にかかる制御システム１１に対し、画像処理部１７０に代えて、画像処理部２７０を有する。本実施の形態にかかる制御システム２１は、画像処理部２７０を用いて、赤外線カメラ１０が撮像した熱画像に空が含まれるか否かを判断する。

【0066】

本実施の形態にかかる制御ＩＦ１２０は、ＥＣＵ１３から所定の車両情報を受け取る。制御ＩＦ１２０は、車両情報を受け取ると、受け取った車両情報をシステム制御回路１５０に供給する。より具体的には、例えば、車両情報には、ヘッドライトの点灯または消灯に関する情報が含まれる。

【0067】

本実施の形態にかかるシステム制御回路１５０は、制御ＩＦ１２０から供給される車両情報に応じて、赤外線カメラ１０を制御する。すなわち、例えばシステム制御回路１５０は、車両情報としてヘッドライトが点灯したことを示す情報を取得した場合など、熱画像データの取得が必要となった場合に、赤外線カメラ１０を起動して、熱画像データの取得を開始する。

【0068】

また本実施の形態にかかる判断部１５１は、画像処理部２７０から統計データを受け取り、受け取った統計データから、熱画像に空が含まれるか否かを判断する。判断部１５１は、この判断の結果を指示部１５２に供給する。

【0069】

本実施の形態にかかる指示部１５２は、熱画像に空が含まれ、且つ、熱画像における車両画像の外側に飽和領域が存在する場合に、赤外線カメラ１０のシャッタ１０３を閉じる指示を出力する。

【0070】

図１０を参照して、画像処理部１７０の構成について説明する。図１０は、実施の形態２にかかる画像処理部のブロック図である。画像処理部１７０は主な構成として、欠陥画素補正部１７１、ＮＵＣ部１７２、飽和領域検出部１７３および統計データ生成部１７４を有する。統計データ生成部１７４は、生成した統計データを、システム制御回路１５０に供給する。

【0071】

統計データ生成部１７４は、ＮＵＣ部１７２から較正された画像データを受け取り、受け取った画像データから熱画像データの画素値の統計データを生成する。より具体的には、統計データ生成部１７４は、熱画像データを上下方向に２以上の領域に分割する。そして統計データ生成部１７４はそれぞれの領域における画素値のヒストグラムを生成する。このような統計データを生成することにより、制御システム２１は、熱画像の上方の領域に空が含まれるか否かを判断できる。

【0072】

ヘッドライトが点灯するような暗い場所において撮像された熱画像データに空が含まれる場合には、この熱画像に太陽が含まれていないと考えられる。一方、ヘッドライトが点灯するような暗い場所において撮像された熱画像データに空が含まれない場合には、この熱画像が撮像された場所はトンネルなど上方が閉塞した空間であって、車両９０がその空間から出た場合に、赤外線カメラ１０が太陽を撮像する可能性があると考えられる。そこで、制御システム２１は、熱画像に空が含まれない場合に、太陽光から赤外線センサ１０４を保護するための機能を発揮する。

【0073】

次に、制御システム２１が実行する処理について説明する。図１１は、実施の形態２にかかる制御方法のフローチャートである。図１１に示すフローチャートは、ステップＳ１０とステップＳ１１との間に、ステップＳ２０およびステップＳ２１を有する点が、実施の形態１にかかるフローチャートと異なる。

【0074】

ステップＳ１０において熱画像データを取得した後に、統計データ生成部１７４は、熱画像データを受け取り、統計データを生成する（ステップＳ２０）。そして統計データ生成部１７４は、生成した統計データをシステム制御回路１５０に供給する。

【0075】

システム制御回路１５０の判断部１５１は、画像処理部２７０から統計データを受け取り、受け取った統計データから、熱画像に空が含まれるか否かを判断する（ステップＳ２１）。熱画像に空が含まれると判断する場合（ステップＳ２１：ＹＥＳ）、制御システム２１は、一連の処理を終了する。一方、熱画像に空が含まれると判断しない場合（ステップＳ２１：ＮＯ）、制御システム２１は、ステップＳ１１に進む。ステップＳ１１以降は、実施の形態１にかかるフローチャートと同様である。

【0076】

以上、制御システム２１が実行する処理である制御方法について説明した。上述の方法によれば、暗所において赤外線カメラ１０が起動した場合であっても、直射日光が赤外線カメラ１０に当たらない場合には飽和領域の位置に応じてシャッタ１０３を閉じる機能を実行しない。一方、暗所において赤外線カメラ１０が起動した場合であって、且つ、上方が閉塞した空間の場合には、飽和領域の位置に応じてシャッタ１０３を閉じる機能を実行する。これにより、上述の制御方法は、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を効率良く抑制することができる。

【0077】

次に、図１２を参照して制御システム２１の機能について具体例と共に説明する。図１２は、実施の形態２にかかる制御システムの機能を説明するための第１の図である。図１２の上側に示す画像Ｄ２１は、赤外線カメラ１０が撮像した画像の一例であって、図７と同様の画像を示している。すなわち画像Ｄ２１は、他車両９９０を含み、上部には空が含まれる。

【0078】

画像Ｄ２１は、上下方向に沿って、上から順に、第１領域Ｂ１１、第２領域Ｂ１２および第３領域Ｂ１３の３つに区分されている。図１２の下側には、この３つの領域に対応した統計データであるヒストグラムとして、第１データＨ１１、第２データＨ１２および第３データＨ１３がそれぞれ示されている。これらのヒストグラムは、横軸が温度を示す画素値であって、右側ほど高い温度であることを示す。またこれらのヒストグラムの縦軸は、度数であり、温度毎の画素数を示す。

【0079】

図１２に示す統計データにおいて、画像Ｄ２１の上部の第１領域Ｂ１１に対応する第１データＨ１１は、左側の低画素値領域Ｒ１１に度数のピークが存在する。一方、第２領域Ｂ１２および第３領域Ｂ１３に対応する第２データＨ１２および第３データＨ１３は、低画素値領域Ｒ１１には画素が存在していない。すなわち、第１データＨ１１は、画像Ｄ２１の上方に温度が低い空の画像が多く含まれることを示している。判断部１５１は、このような統計データから、画像Ｄ２１に空が含まれることを判断できる。

【0080】

画像Ｄ２１を撮像する状況において、制御システム２１が搭載されている車両９０は、ヘッドライトが点灯するほどに暗所であって、且つ、屋外を走行している。よって、このような状況において、制御システム２１は、飽和領域の位置に応じてシャッタ１０３を閉じる機能を動作させることなく、継続的に赤外線カメラ１０から画像データを受け取る。

【0081】

次に、図１３を参照して制御システム２１の機能についてさらに説明する。図１３は、実施の形態２にかかる制御システムの機能を説明するための第２の図である。図１３の上側に示す画像Ｄ２２は、赤外線カメラ１０が撮像した画像の一例である。画像Ｄ２２は、トンネル内を走行する車両９０に搭載された赤外線カメラ１０が撮像した画像であって、他車両９９０が含まれる。また画像Ｄ２２は、トンネルの出口の先に太陽８００を含む。

【0082】

画像Ｄ２２は、上下方向に沿って、上から順に、第１領域Ｂ２１、第２領域Ｂ２２および第３領域Ｂ２３の３つに区分されている。また図１３の下側には、この３つの領域に対応した統計データであるヒストグラムとして、第１データＨ２１、第２データＨ２２および第３データＨ２３がそれぞれ示されている。

【0083】

図１３に示す統計データは、図１２に示した統計データと異なり、低画素値領域Ｒ１１に度数のピークが存在しない。一方、第１領域Ｂ２１は、低画素値領域Ｒ１１よりも比較的に画素値の高い領域であって、第２領域Ｂ２２に対応する第２データＨ２２にも多く存在する画素値の領域にピークが存在する。判断部１５１は、このような統計データから、画像Ｄ２２に空が含まれないことを判断できる。

【0084】

画像Ｄ２２を撮像する状況において、制御システム２１が搭載されている車両９０は、ヘッドライトが点灯するほどに暗所であって、且つ、上方が閉塞した空間を走行している。よって、このような状況において、制御システム２１は、飽和領域の位置に応じてシャッタ１０３を閉じる機能を動作させる。これにより、制御システム２１は、例えばトンネルなどの閉塞空間において起動した赤外線カメラ１０に対して直射日光が当たった場合に、センサを好適に保護できる。

【0085】

なお、閉塞空間は、トンネルの他に、立体駐車場や屋根付き車庫が含まれ得る。また閉塞空間は、上空が完全に閉塞している必要はなく、晴天の日中であっても車両９０の位置する場所が暗くなる場所であれば閉塞空間に含めてもよい。

【0086】

以上、実施の形態２について説明した。なお、実施の形態２にかかる制御システム２１は、赤外線カメラ１０およびディスプレイ１２の少なくともいずれか一方を含んでもよい。制御システム２１において、ＥＣＵ１３から受け取る信号は、ヘッドライトの点灯または消灯に関するものに限られない。ＥＣＵ１３から受け取る信号は、例えば車両９０が有する照度センサの信号であってもよい。この場合、制御システム１１は、照度センサの信号から、車両９０が暗所に存在するのか否かを判定できる。

【0087】

以上、実施の形態２について説明した。実施の形態２によれば、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制する制御システム、制御方法およびプログラムを提供することができる。

【0088】

上述のプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0089】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0090】

１０ 赤外線カメラ
１１ 制御システム
１２ ディスプレイ
１３ ＥＣＵ
２１ 制御システム
９０ 車両
１０１ 筐体
１０２ 対物レンズ
１０３ シャッタ
１０４ 赤外線センサ
１０５ カメラ制御回路
１１０ バス
１２０ 制御ＩＦ
１３０ ＲＯＭ
１４０ ＲＡＭ
１５０ システム制御回路
１５１ 判断部
１５２ 指示部
１６０ 画像データ取得部
１７０ 画像処理部
１７１ 欠陥画素補正部
１７２ ＮＵＣ部
１７３ 飽和領域検出部
１７４ 統計データ生成部
１８０ 画像認識部
１９０ 画像データ出力部
２７０ 画像処理部
８００ 太陽
９９０ 他車両
９９１ マフラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】