特許 7494625 赤外線撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】赤外線撮像装置

(51)【国際特許分類】

   H04N 23/74 20230101AFI20240528BHJP

   H04N 23/56 20230101ALI20240528BHJP

   H04N 23/71 20230101ALI20240528BHJP

【ＦＩ】

H04N23/74

H04N23/56

H04N23/71

【請求項の数】 2

(21)【出願番号】P 2020128014

(22)【出願日】2020-07-29

(65)【公開番号】P2022025280

(43)【公開日】2022-02-10

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】千葉 栄敏

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特表２０１９－５３３１４５（ＪＰ，Ａ）

【文献】特開２０１９－１４５８８８（ＪＰ，Ａ）

【文献】特開２０１１－０４９７８９（ＪＰ，Ａ）

【文献】特表２０１７－５２７７７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７４

Ｈ０４Ｎ ２３／５６

Ｈ０４Ｎ ２３／７１

(57)【特許請求の範囲】

【請求項1】

赤外線撮像装置であって、
赤外線を照射する発光部と、
入射される赤外線を電気信号に変換して出力するグローバルシャッタ方式の撮像素子と、
前記撮像素子から出力される電気信号に基づき生成される赤外線画像をもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記別の赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、
を備え、
前記制御部は、前記発光部からの赤外線の照射を停止させつつ、フレームレートを可変させながら前記撮像素子により撮像される各赤外線画像が明るい画像であるか暗い画像であるかをもとに、前記別の赤外線撮像装置から赤外線が照射される発光タイミングを推定する、
赤外線撮像装置。

【請求項2】

赤外線撮像装置であって、
赤外線を照射する発光部と、
入射される赤外線を電気信号に変換して出力するローリングシャッタ方式の撮像素子と、
前記撮像素子から出力される電気信号に基づき生成される赤外線画像をもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記別の赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、
を備え、
前記制御部は、前記発光部からの赤外線の照射を停止させつつ、前記撮像素子により撮像される各赤外線画像の明領域と暗領域の境界位置をもとに、前記別の赤外線撮像装置から赤外線が照射される発光タイミングを推定する、
赤外線撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、赤外線を被写体に照射して、被写体から反射される赤外線を撮像する赤外線撮像装置に関する。

【背景技術】

【0002】

近年、ドライバモニタリングシステム（Driver Monitoring System）を設置している車両が増えてきている。ドライバモニタリングシステムでは、運転者の顔を撮像することにより、運転者の脇見や居眠りを検知して運転者に注意喚起を促すことができる。夜間やトンネル等の周囲が暗い状況下でも運転者の顔を高品質に撮像できるように、赤外線カメラを使用するものが一般的である（例えば、特許文献１参照）。

【0003】

また、ドライバの顔だけでなく、助手席や後部座席を含む車室全体を監視する車室内モニタリングシステム（In-Cabin Monitoring System）を設置している車両も増えてきている。ドライバモニタリングシステムと、車室内モニタリングシステムのそれぞれが、赤外線照明と赤外線カメラを備える場合において、既にドライバモニタリングシステムが設置されている車両に、車室内モニタリングシステムが後付されると、車室内に２つの赤外線照明が併存することになる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－２０９７４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の環境下において、２つの赤外線照明が同時に発光すると光が干渉し、撮像された映像の明るさが安定しない。ドライバモニタリングシステムや車室内モニタリングシステムでは、乗員の顔の認識精度が低下するおそれがある。

【0006】

本実施形態はこうした状況に鑑みてなされたものであり、その目的は、複数の赤外線照明が存在する環境下において、赤外線の干渉を回避する技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本実施形態のある態様の赤外線撮像装置は、赤外線撮像装置であって、赤外線を照射する発光部と、入射される赤外線を電気信号に変換して出力する撮像素子と、前記撮像素子から出力される電気信号に基づき生成される赤外線画像をもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記別の赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、を備える。

【0008】

本実施形態の別の態様もまた、赤外線撮像装置である。この装置は、赤外線撮像装置であって、赤外線を照射する発光部と、入射される赤外線を電気信号に変換して出力する撮像素子と、入射される赤外線の照度を計測する照度センサと、前記照度センサの受光パターンをもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記別の赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、を備える。

【0009】

本実施形態のさらに別の態様は、赤外線撮像システムである。この赤外線撮像システムは、車室内に設置された第１赤外線撮像装置と第２赤外線撮像装置を備える赤外線撮像システムであって、前記第１赤外線撮像装置は、赤外線を照射する発光部と、入射される赤外線を電気信号に変換して出力する撮像素子と、前記撮像素子から出力される電気信号を基づき生成される赤外線画像をもとに、別の赤外線撮像装置から赤外線が照射される発光タイミングを推定し、前記第２赤外線撮像装置から赤外線が照射されていない期間に、前記発光部に赤外線を照射させるように制御する制御部と、を有する。

【発明の効果】

【0010】

本実施形態によれば、複数の赤外線照明が存在する環境下において、赤外線の干渉を回避することができる。

【図面の簡単な説明】

【0011】

【図1】車両内の第１赤外線撮像装置と第２赤外線撮像装置の設置例を示す図である。

【図2】実施の形態１に係る第１赤外線撮像装置の構成例を示す図である。

【図3】第１赤外線撮像装置の発光部の発光タイミングと撮像部の露光タイミングの制御の基本概念を示す図である。

【図4】ローリングシャッタ方式における、第２赤外線撮像装置の発光部の発光タイミングを推定する処理の具体例を示す図である。

【図5】グローバルシャッタ方式における、第２赤外線撮像装置の発光部の発光タイミングを推定する処理の具体例を示す図である。

【図6】実施の形態２に係る第１赤外線撮像装置の構成例を示す図である。

【発明を実施するための形態】

【0012】

図１は、車両１内の第１赤外線撮像装置１０と第２赤外線撮像装置２０の設置例を示す図である。第２赤外線撮像装置２０はドライバモニタリングシステムを構成する機器であり、第１赤外線撮像装置１０は車室内モニタリングシステムを構成する機器である。

【0013】

図１では第２赤外線撮像装置２０は、ステアリングコラムの上部に、ステアリングホイールの隙間を介して、ドライバの顔と対向するように設置されている。なお、第２赤外線撮像装置２０は、ステアリングホイールに組み込んでおいてもよい。第２赤外線撮像装置２０を用いたドライバモニタリングシステムは、ドライバの監視に特化したシステムであり、ドライバの顔が画角の中央に写るように、撮像部の向きとパラメータが設定されている。

【0014】

図１では第１赤外線撮像装置１０は、ルームミラーに取り付けられている。なお、第１赤外線撮像装置１０は、センタバイザーやセンタコンソール上に設置されてもよい。第１赤外線撮像装置１０を用いた車室内モニタリングシステムは、助手席や後部座席を含む車室全体を監視するシステムであり、ドライバの居眠りや脇見に加えて、助手席や後部座席に座っている乗員の数、ドライバを含む乗員全員のシートベルトの着用の有無などを検知することができる。

【0015】

図２は、実施の形態１に係る第１赤外線撮像装置１０の構成例を示す図である。図２に示す第１赤外線撮像装置１０は、発光部１１、撮像部１２、制御部１３、記録部１４及びスピーカ１５を備える。発光部１１は、車室内に赤外線を照射するための赤外線照明を含む。赤外線照明として例えば、赤外線ＬＥＤを使用することができる。

【0016】

撮像部１２は、赤外線を受光して赤外線画像を生成する。以下、本実施の形態では、発光部１１が照射し、撮像部１２が撮像する赤外線は近赤外線であるとする。遠赤外線画像と異なり、近赤外線画像を撮影する場合、被写体に近赤外線を照射して、被写体からの反射光を撮像する必要がある。

【0017】

撮像部１２は、レンズ１２１、撮像素子１２２を含む。レンズ１２１は、車室内の所定の領域の光を集光して、撮像素子１２２に入射させる。撮像素子１２２は、入射される光を電気信号に変換する。撮像素子１２２には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサ等の固体撮像素子が使用される。

【0018】

撮像素子１２２は、近赤外線域に感度を有する。撮像素子１２２の上に、可視光をカットし、赤外線を透過する可視光カットフィルタを設置する。なお、近赤外線域にのみ感度を有する撮像素子を使用する場合、可視光カットフィルタを省略可能である。

【0019】

本実施の形態では電子式シャッタを採用している。撮像素子１２２は通常、３０Ｈｚまたは６０Ｈｚのフレームレートで撮像する。撮像素子１２２の後段には、信号処理回路（不図示）が設けられる。信号処理回路は、撮像素子１２２から入力される電気信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施す。信号処理回路からフレーム単位で出力される画像信号は、制御部１３に供給される。

【0020】

制御部１３は、画像処理部１３１、画像認識部１３２、発光タイミング推定部１３３、発光制御部１３４、露光制御部１３５、記録制御部１３６、及び警報制御部１３７を含む。これらの構成要素は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

【0021】

画像処理部１３１は、撮像部１２から入力される画像信号に対して、階調補正、輪郭補正などの各種の画像処理を施して出力する。

【0022】

画像認識部１３２は、辞書データとして、人物が写った多数の画像を学習して生成された人物の識別器、シートベルトが写った多数の画像を学習して生成されたシートベルトの識別器などの各種オブジェクトの識別器を有する。なお、特定の人物を識別するための識別器を有していてもよい。

【0023】

画像認識部１３２は、画像処理部１３１から入力される赤外線画像内において、各種オブジェクトの識別器を用いて各種オブジェクトを探索する。オブジェクトの検出には例えば、Haar-like特徴量、ＨＯＧ(Histogram of Gradients)特徴量、ＬＢＰ(Local Binary Patterns)特徴量などを用いることができる。

【0024】

露光制御部１３５は、発光タイミング推定部１３３からの指示に応じて撮像素子１２２の露光タイミングを制御する。撮像素子１２２にローリングシャッタ方式が採用されている場合、露光制御部１３５は、ライン毎に露光タイミングと読み出しタイミングを制御する。撮像素子１２２にグローバルシャッタ方式が採用されている場合、露光制御部１３５は、全画素同時に露光タイミングと読み出しタイミングを制御する。撮像素子１２２にＣＣＤイメージセンサが使用される場合、グローバルシャッタ方式となる。撮像素子１２２にＣＭＯＳイメージセンサが使用される場合、ローリングシャッタ方式が多く採用されているが、近年、グローバルシャッタ方式のＣＭＯＳイメージセンサも増えてきている。

【0025】

発光制御部１３４は、露光制御部１３５による撮像素子１２２の露光タイミングに同期して、発光部１１の発光タイミング（本実施の形態では、赤外線ＬＥＤの照射タイミング）を制御する。発光部１１は、撮像素子１２２が露光している期間にのみ発光していればよく、撮像素子１２２が露光していない期間に発光していても消費電力の無駄である。また、本実施の形態のように、隣接する場所に複数の赤外線撮像装置が設置されている場合、赤外線同士の干渉を抑えるために、赤外線の照射を抑制的に運用する必要がある。

【0026】

発光タイミング推定部１３３は、発光制御部１３４と露光制御部１３５に発光タイミングと露光タイミングをそれぞれ指定する。発光タイミング推定部１３３の詳細な動作は後述する。

【0027】

記録部１４は、内蔵型または着脱自在な外付け型の不揮発性の記録媒体を備える。内蔵型として、ＮＡＮＤフラッシュメモリ、ＳＳＤ、ＨＤＤなどを使用することができる。外付け型として、フラッシュメモリカード（例えば、ＳＤカード）、光ディスク、磁気テープなどを使用することができる。

【0028】

記録制御部１３６は、撮像部１２により撮像された画像を、記録部１４内の記録媒体に記録させることができる。記録制御部１３６は、ドライブレコーダのように運転中の動画を記録させることもできるし、画像認識にもとづき所定のイベントが検出された際の静止画を記録させることもできる。イベントの検出として、例えばドライバの居眠りや脇見の検出が挙げられる。

【0029】

スピーカ１５は、運転者または運転者以外の乗員に向けて、警告音、警告メッセージ、または音声案内を出力する。警報制御部１３７は、画像認識にもとづき所定のイベントが検出された際、検出されたイベントの内容に応じた警告音や音声メッセージをスピーカ１５から出力させる。例えば、ドライバの居眠りや脇見が検出された場合、警報制御部１３７はスピーカ１５に警告音を出力させる。また、後部座席に座っている子供が座席から落下した場合、警報制御部１３７は、スピーカ１５に、”後部座席から落下しました。”といった音声メッセージを出力させる。

【0030】

車室内モニタリングシステムを構成する第１赤外線撮像装置１０と、ドライバモニタリングシステムを構成する第２赤外線撮像装置２０の基本構成は同じである。両者の間で、撮像部による撮像範囲、発光部による赤外線の照射範囲、画像認識が可能なオブジェクトの種別、及び画像認識に基づき実行されるアプリケーションの種別が異なる。

【0031】

第１赤外線撮像装置１０と第２赤外線撮像装置２０を一体化したシステムとして構築する場合、両者の制御部を一つに統合することができる。これに対して、第１赤外線撮像装置１０と第２赤外線撮像装置２０の設置時期が異なる場合（通常、第１赤外線撮像装置１０が後から設置される）や、第１赤外線撮像装置１０と第２赤外線撮像装置２０の製造メーカが異なる場合、第１赤外線撮像装置１０と第２赤外線撮像装置２０は連携せずに、それぞれ独立に動作する。

【0032】

その場合、第１赤外線撮像装置１０の発光部から照射される赤外線と、第２赤外線撮像装置２０の発光部から照射される赤外線が干渉する可能性がある。両者の赤外線が同時に照射された期間に撮像された赤外線画像では、白とびが発生する確率が高くなる。白とびが発生している赤外線画像では、画像認識の精度が低下し、運転支援機能が有効に働かない可能性がある。実施の形態１に係る第１赤外線撮像装置１０には、この赤外線の干渉対策の仕組みが導入されている。

【0033】

図３は、第１赤外線撮像装置１０の発光部１１の発光タイミングと撮像部１２の露光タイミングの制御の基本概念を示す図である。発光タイミング推定部１３３は、画像処理部１３１から入力される赤外線画像をもとに、第２赤外線撮像装置２０の発光部から赤外線が照射される発光タイミングを推定する。

【0034】

例えば、発光タイミング推定部１３３は、入力される赤外線画像ごとに、全画素の輝度の平均値を算出する。当該平均値が閾値以上のとき、発光タイミング推定部１３３は、第２赤外線撮像装置２０の発光部が点灯している期間に撮像された赤外線画像と判定する。反対に、当該平均値が閾値未満のとき、発光タイミング推定部１３３は、第２赤外線撮像装置２０の発光部が消灯している期間に撮像された赤外線画像と判定する。

【0035】

発光制御部１３４及び露光制御部１３５は、発光タイミング推定部１３３により推定された、第２赤外線撮像装置２０の発光部から赤外線が照射されていない期間に、発光部１１に赤外線を照射させ、撮像素子１２２に露光させるように、発光部１１の発光タイミングと撮像素子１２２の露光タイミングを制御する。

【0036】

なお図３では、第２赤外線撮像装置２０の発光部の消灯期間と、第１赤外線撮像装置１０の発光部１１の点灯期間が一致する例を示しているが、第１赤外線撮像装置１０の発光部１１の点灯期間は、第２赤外線撮像装置２０の発光部の消灯期間に収まっていればよい。即ち、第２赤外線撮像装置２０の発光部の発光パターンと、第１赤外線撮像装置１０の発光部１１の発光パターンは完全に逆位相になる必要はない。

【0037】

図４は、ローリングシャッタ方式における、第２赤外線撮像装置２０の発光部の発光タイミングを推定する処理の具体例を示す図である。ローリングシャッタ方式を使用したＣＭＯＳイメージセンサでは、マトリクス状に配置された複数の画素で構成される撮像領域の一番上の水平ラインから一番下の水平ラインに向けてライン単位で順次、露光され、露光されたライン順に画素情報が順次、読み出される。

【0038】

ローリングシャッタ方式では、一枚のフレーム画像内において、水平ライン毎に露光タイミングが異なるため、一枚のフレーム画像内において下に行くほど、先頭ラインの画像に対して時間的に遅れた画像となる。したがって、高速に動いている被写体を撮像した場合、被写体が歪んで写る。

【0039】

ローリングシャッタ方式では、一枚のフレーム画像内においてフリッカの影響を受ける。ローリングシャッタ方式では、フレーム画像内のあるラインを境に、フリッカの影響により明暗が変化することがある。これに対してグローバルシャッタ方式では、光源の点滅に応じて、明るいフレーム画像と暗いフレーム画像が発生することがあるが、一枚のフレーム画像内においては、光源の点滅による明暗差は発生しない。

【0040】

第２赤外線撮像装置２０の発光部の発光タイミングを推定する際、発光制御部１３４は発光部１１を消灯させる。ローリングシャッタ方式の撮像素子１２２を使用している場合、露光制御部１３５は、フレーム期間における露光時間を可及的に長く設定し、読み出し時間を可及的に短く設定する。露光時間をフレーム期間と同等に設定することが好ましい。即ち、シャッタスピードをフレーム期間と同等まで遅く設定することが好ましい。

【0041】

発光タイミング推定部１３３は、撮像部１２により撮像されたフレーム画像内において、明領域と暗領域が切り替わる境界位置（即ち、境界ライン）を特定する。図４に示す例では、発光タイミング推定部１３３は、第１フレーム画像Ｆ１内において、暗領域から明領域に切り替わったラインの露光開始タイミングから、次に明領域から暗領域に切り替わったラインの露光開始タイミングまでの期間を計測する。発光タイミング推定部１３３は、当該計測した期間を、第２赤外線撮像装置２０の発光部の点灯期間と推定する。

【0042】

発光タイミング推定部１３３は、第１フレーム画像Ｆ１内において、明領域から暗領域に切り替わったラインの露光開始タイミングから、第２フレーム画像Ｆ２内において、暗領域から明領域に切り替わったラインの露光開始タイミングまでの期間を計測する。発光タイミング推定部１３３は、当該計測した期間を、第２赤外線撮像装置２０の発光部の消灯期間と推定する。

【0043】

以上の処理により、発光タイミング推定部１３３は、第２赤外線撮像装置２０の発光部の発光タイミングを推定することができる。この発光タイミングの推定処理は、第１赤外線撮像装置１０の起動時に実行される。車両１の走行開始後は、例えば、車両１が一旦停止した期間に実行されてもよいし、定期的に実行されてもよい。

【0044】

図５は、グローバルシャッタ方式における、第２赤外線撮像装置２０の発光部の発光タイミングを推定する処理の具体例を示す図である。第２赤外線撮像装置２０の発光部の発光タイミングを推定する際、発光制御部１３４は発光部１１を消灯させる。グローバルシャッタ方式の撮像素子１２２を使用している場合、露光制御部１３５は、スキャン用の露光パターンを使用して発光部１１の発光タイミングを制御する。

【0045】

スキャン用の露光パターンは、フレームレートが可変の露光パターンである。図５に示すように、スキャン用の露光パターンは、各フレームの露光時間が一定で、フレーム間の露光間隔が変化する露光パターンである。発光タイミング推定部１３３は、各フレーム画像が明るい画像であるか暗い画像であるかを特定する。明るい画像であるか暗い画像であるかは、例えば、上述したように画像内の全画素の輝度の平均値と閾値を比較することにより特定することができる。発光タイミング推定部１３３は、予め作成されたスキャン用の露光パターンと、各フレーム画像の明暗の推移をもとに、第２赤外線撮像装置２０の発光部の発光タイミングを推定することができる。

【0046】

図６は、実施の形態２に係る第１赤外線撮像装置１０の構成例を示す図である。図６に示す実施の形態２に係る第１赤外線撮像装置１０の構成は、図２に示した実施の形態１に係る第１赤外線撮像装置１０の構成に照度センサ１６が追加された構成である。照度センサ１６は、赤外線検出用の受光素子（例えば、フォトダイオード）を含み、赤外線の照度を計測して発光タイミング推定部１３３に出力する。

【0047】

第２赤外線撮像装置２０の発光部の発光タイミングを推定する際、発光制御部１３４は発光部１１を消灯させる。実施の形態２では、発光タイミング推定部１３３は、照度センサ１６により計測される赤外線の受光パターンをもとに、第２赤外線撮像装置２０の発光部の発光タイミングを推定する。照度センサ１６は連続的に受光しているため、第２赤外線撮像装置２０の発光部の発光タイミングと、ほぼ同じ受光パターンを出力することができる。

【0048】

実施の形態２では、第１赤外線撮像装置１０の動作中に、第２赤外線撮像装置２０の発光部の発光タイミングが変わったことをリアルタイムに検知することができる。発光タイミング推定部１３３は、照度センサ１６の出力から、第１赤外線撮像装置１０の発光部１１から赤外線が照射されていない期間の受光パターンを抽出して監視する。発光タイミング推定部１３３は、当該期間の受光パターンが変化したことを検出すると、発光制御部１３４に発光部１１を消灯させる。発光タイミング推定部１３３は当該環境下において、照度センサ１６により計測される赤外線の受光パターンをもとに、第２赤外線撮像装置２０の発光部の発光タイミングを推定する。

【0049】

実施の形態２では、実施の形態１で説明した撮像素子１２２により撮像された赤外線画像をもとに、第２赤外線撮像装置２０の発光部の発光タイミングを推定する機能は基本的に不要である。

【0050】

なお、照度センサ１６により計測される赤外線の受光パターンにもとづく第２赤外線撮像装置２０の発光部の発光タイミングの推定処理と、撮像素子１２２により撮像された赤外線画像にもとづく第２赤外線撮像装置２０の発光部の発光タイミングの推定処理を併用してもよい。両者の計測結果が実質的に一致しない場合、撮像素子１２２または照度センサ１６に異常が発生している可能性がある。両者を併用することにより、撮像素子１２２または照度センサ１６の故障検出モードとして使用することができる。

【0051】

以上説明したように実施の形態１、２によれば、第１赤外線撮像装置１０と第２赤外線撮像装置２０が同時に赤外線を照射することを防止することができ、赤外線同士の干渉を回避することができる。これにより、第１赤外線撮像装置１０及び第２赤外線撮像装置２０で撮像される赤外線画像の明るさを安定化させることができ、画像認識の精度が低下することを防止することができる。

【0052】

また、第１赤外線撮像装置１０と第２赤外線撮像装置２０間を配線で接続する必要がなく、配線を設置するための追加コストが不要である。また、配線で接続することによる、第１赤外線撮像装置１０と第２赤外線撮像装置２０の設置位置の自由度が低下することがない。また、配線で接続することによる、車室内の意匠性の低下が発生しない。

【0053】

また、実施の形態１によれば、照度センサ１６が設けられない場合でも、赤外線同士の干渉を回避することができる。また、実施の形態２によれば、照度センサ１６を設けることにより、常時、第２赤外線撮像装置２０の発光部の発光タイミングを監視することができる。

【0054】

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0055】

上述した実施の形態１、２では、第１赤外線撮像装置１０が第２赤外線撮像装置２０の発光部の発光タイミングを推定し、第２赤外線撮像装置２０から赤外線が照射されていない期間に、第１赤外線撮像装置１０の発光部１１から赤外線を照射するように制御する例を説明した。この点、第２赤外線撮像装置２０が第１赤外線撮像装置１０の発光部１１の発光タイミングを推定し、第１赤外線撮像装置１０から赤外線が照射されていない期間に、第２赤外線撮像装置２０の発光部から赤外線を照射するように制御してもよい。

【0056】

上述した実施の形態１、２では、第１赤外線撮像装置１０及び第２赤外線撮像装置２０が車室内に設置される例を説明した。この点、監視カメラとして路上や建物内に設置されてもよい。特に、不審者や侵入者を検知する画像認識機能を有する監視カメラに有効である。

【符号の説明】

【0057】

１ 車両、 １０ 第１赤外線撮像装置、 ２０ 第２赤外線撮像装置、 １１ 発光部、 １２ 撮像部、 １２１ レンズ、 １２２ 撮像素子、 １３ 制御部、 １３１ 画像処理部、 １３２ 画像認識部、 １３３ 発光タイミング推定部、 １３４ 発光制御部、 １３５ 露光制御部、 １３６ 記録制御部、 １３７ 警報制御部、 １４ 記録部、 １５ スピーカ、 １６ 照度センサ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】