特許 7285188 車両の乗員監視装置、および車両の乗員保護システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-24

(45)【発行日】2023-06-01

(54)【発明の名称】車両の乗員監視装置、および車両の乗員保護システム

(51)【国際特許分類】

   B60R 21/015 20060101AFI20230525BHJP

   G06V 20/59 20220101ALI20230525BHJP

【ＦＩ】

B60R21/015 310

G06V20/59

【請求項の数】 7

(21)【出願番号】P 2019185043

(22)【出願日】2019-10-08

(65)【公開番号】P2021059241

(43)【公開日】2021-04-15

【審査請求日】2022-09-20

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】100099793

【弁理士】

【氏名又は名称】川北 喜十郎

(74)【代理人】

【識別番号】100154586

【弁理士】

【氏名又は名称】藤田 正広

(74)【代理人】

【識別番号】100182051

【弁理士】

【氏名又は名称】松川 直宏

(74)【代理人】

【識別番号】100179280

【弁理士】

【氏名又は名称】河村 育郎

(74)【代理人】

【識別番号】100180747

【弁理士】

【氏名又は名称】小森 剛彦

(72)【発明者】

【氏名】中村 亮太

【審査官】上谷 公治

(56)【参考文献】

【文献】特開２００１－０３０８７０（ＪＰ，Ａ）

【文献】特開２００４－１４８８８１（ＪＰ，Ａ）

【文献】特開２００８－０１７２２７（ＪＰ，Ａ）

【文献】特開２００７－１９８９２９（ＪＰ，Ａ）

【文献】特開２００４－３３８５１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ ２１／０１５

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両に乗車している乗員を撮像して前記乗員の位置を監視可能な車両の乗員監視装置であって、
前記乗員へ光を照射する発光デバイスおよび撮像デバイスをそれぞれが有する複数の撮像モジュールと、
前記複数の撮像モジュールによる撮像を制御する制御部と、
を有し、
前記制御部は、
前記車両の衝突が予測または検出されていない場合には、複数の前記撮像モジュールの撮像タイミングを互いにずらして、複数の前記撮像モジュールにおける複数の前記発光デバイスの発光タイミングが互いに重ならないようにし、
前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスから同時に前記乗員へ光を照射して撮像して乗員の位置を監視する、
車両の乗員監視装置。

【請求項2】

前記制御部は、
前記車両の衝突が予測または検出されると、複数の前記撮像モジュールを、前記車両の衝突が予測または検出されていない場合と比べて高速に動作させる、
請求項１記載の、車両の乗員監視装置。

【請求項3】

複数の前記撮像モジュールにおける複数の前記発光デバイスは、赤外線を前記乗員へ照射するものであり、
前記制御部は、
少なくとも前記車両の衝突が予測または検出されていない場合での複数の前記撮像モジュールにおける複数の前記発光デバイスそれぞれを、前記乗員の網膜または血管を撮像可能な第一光量に抑えて発光させる、
請求項１または２記載の、車両の乗員監視装置。

【請求項4】

前記制御部は、
前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスそれぞれを、前記第一光量以下の第二光量で発光させる、
請求項３記載の、車両の乗員監視装置。

【請求項5】

前記制御部は、複数の前記撮像モジュールにおける複数の前記撮像デバイスによる複数の撮像画像に基づいて乗員の状態を監視するものであり、
前記車両の衝突が予測または検出されていない場合には、前記乗員の頭部の位置を監視するとともに、複数の前記撮像デバイスによる複数の撮像画像の中の少なくとも１つの前記撮像画像に撮像されている前記乗員の網膜または血管に基づいて、前記乗員の状態を監視し、
前記車両の衝突が予測または検出されている場合には、前記乗員の網膜または血管に基づく状態の監視を停止して、１つの前記撮像デバイスにより撮像される前記撮像画像に基づいて前記乗員の頭部の位置を監視する、
請求項１から４のいずれか一項記載の、車両の乗員監視装置。

【請求項6】

複数の前記撮像モジュールは、前記車両のドライバへ共に照射して撮像可能な、前記車両の前中央部分に設けられるセンタ撮像モジュールと、前記ドライバの前側となるように前記車両の側部分に設けられるドライバ撮像モジュールと、を含む、
請求項１から５のいずれか一項記載の、車両の乗員監視装置。

【請求項7】

車両に乗車している乗員を撮像して前記乗員の位置を監視可能な車両の乗員監視装置と、
前記乗員監視装置による前記乗員の位置に応じて、前記乗員に対する保護制御を実行する乗員保護装置と、
を有する、車両の乗員保護システムであって、
前記乗員監視装置は、
前記乗員へ光を照射する発光デバイスおよび撮像デバイスをそれぞれが有する複数の撮像モジュールと、
前記複数の撮像モジュールによる撮像を制御する制御部と、
を有し、
前記制御部は、
前記車両の衝突が予測または検出されていない場合には、複数の前記撮像モジュールの撮像タイミングを互いにずらして、複数の前記撮像モジュールにおける複数の前記発光デバイスの発光タイミングが互いに重ならないようにし、
前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスから同時に前記乗員へ光を照射して撮像して乗員の位置を監視する、
車両の乗員保護システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、主に車両の乗員監視装置に関する。

【背景技術】

【0002】

自動車などでは、車両に乗車している乗員を撮像し、撮像画像にもどいて乗員の状態を判断するものがある（特許文献１、２）。
うまく合わないときには、視線を頻繁に動かしたことなどにより、乗員は気分が悪くなる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１１－０４３００９号公報

【文献】特開２０１６－０３８７９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、車両では、単に乗員監視装置の単体により乗員の状態を監視するだけではなく、車両の乗員監視装置による乗員の位置などの監視結果を用いて、車両の他の装置、たとえば乗員保護装置が、その乗員に対して適切に制御を実行できるようにすることが望まれる。
そして、乗員監視装置により乗員の位置などを正確に監視しようとする場合、発光デバイスなどを用いて、乗員に対して比較的強い光を照射することが望ましい。車両では、走行環境に応じて車内の明るさが大きく変化したり、乗員に対して車外の光が照射されたりすることがある。これらの状況においても、乗員の輪郭などをはっきりと撮像できるように、発光デバイスなどは、乗員に対して比較的強い光を照射することが望ましい。
しかしながら、このような強い光を乗員に対して照射するためには、発光デバイスは、高出力のために比較的に大型なものとなり、比較的に大きい電流を必要とする。発光デバイスの電流の二乗により消費電力が増大する。発光デバイスを冷却するためのヒートシンクも大型化する。また、発光デバイスの光量は、高い光束で発光させるほど早期に減ることになる。

【0005】

このように、車両の乗員監視装置は、改善することが求められている。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係る車両の乗員監視装置は、車両に乗車している乗員を撮像して前記乗員の位置を監視可能な車両の乗員監視装置であって、前記乗員へ光を照射する発光デバイスおよび撮像デバイスをそれぞれが有する複数の撮像モジュールと、前記複数の撮像モジュールによる撮像を制御する制御部と、を有し、前記制御部は、前記車両の衝突が予測または検出されていない場合には、複数の前記撮像モジュールの撮像タイミングを互いにずらして、複数の前記撮像モジュールにおける複数の前記発光デバイスの発光タイミングが互いに重ならないようにし、前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスから同時に前記乗員へ光を照射して撮像して乗員の位置を監視する。

【0008】

好適には、前記制御部は、前記車両の衝突が予測または検出されると、複数の前記撮像モジュールの前記撮像デバイスを、前記車両の衝突が予測または検出されていない場合と比べて高速に撮像させる、とよい。

【0009】

好適には、複数の前記撮像モジュールにおける複数の前記発光デバイスは、赤外線を前記乗員へ照射するものであり、前記制御部は、少なくとも前記車両の衝突が予測または検出されていない場合での複数の前記撮像モジュールにおける複数の前記発光デバイスそれぞれを、前記乗員の網膜または血管を撮像可能な第一光量に抑えて発光させる、とよい。

【0010】

好適には、前記制御部は、前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスそれぞれを、前記第一光量以下の第二光量で発光させる、とよい。

【0011】

好適には、前記制御部は、複数の前記撮像モジュールにおける複数の前記撮像デバイスによる複数の撮像画像に基づいて乗員の状態を監視するものであり、前記車両の衝突が予測または検出されていない場合には、前記乗員の頭部の位置を監視するとともに、複数の前記撮像デバイスによる複数の撮像画像の中の少なくとも１つの前記撮像画像に撮像されている前記乗員の網膜または血管に基づいて、前記乗員の状態を監視し、前記車両の衝突が予測または検出されている場合には、前記乗員の網膜または血管に基づく状態の監視を停止して、１つの前記撮像デバイスにより撮像される前記撮像画像に基づいて前記乗員の頭部の位置を監視する、とよい。

【0012】

好適には、複数の前記撮像モジュールは、前記車両のドライバへ共に照射して撮像可能な、前記車両の前中央部分に設けられるセンタ撮像モジュールと、前記ドライバの前側となるように前記車両の側部分に設けられるドライバ撮像モジュールと、を含む、とよい。

【0013】

本発明の一実施形態に係る車両の乗員保護システムは、車両に乗車している乗員を撮像して前記乗員の位置を監視可能な車両の乗員監視装置と、前記乗員監視装置による前記乗員の位置に応じて、前記乗員に対する保護制御を実行する乗員保護装置と、を有する、車両の乗員保護システムであって、前記乗員監視装置は、前記乗員へ光を照射する発光デバイスおよび撮像デバイスをそれぞれが有する複数の撮像モジュールと、前記複数の撮像モジュールによる撮像を制御する制御部と、を有し、前記制御部は、前記車両の衝突が予測または検出されていない場合には、複数の前記撮像モジュールの撮像タイミングを互いにずらして、複数の前記撮像モジュールにおける複数の前記発光デバイスの発光タイミングが互いに重ならないようにし、前記車両の衝突が予測または検出されると、複数の前記撮像モジュールにおける複数の前記発光デバイスから同時に前記乗員へ光を照射して撮像して乗員の位置を監視する。

【発明の効果】

【0014】

本発明では、撮像デバイスおよび発光デバイスをそれぞれ有する複数の撮像モジュールのそれぞれについて、撮像デバイスが撮像する際に発光デバイスから光を照射させる。そして、車両の衝突が予測または検出されると、撮像デバイスおよび発光デバイスを有する複数の撮像モジュールを同時に撮像するように動作させて、複数の撮像モジュールの発光デバイスから同時に乗員へ光を照射する。これにより、乗員は、車両の衝突が予測または検出される場合には、複数の発光デバイスの光により明るく照らされる。その状態で乗員を撮像することより、撮像画像には、乗員の輪郭などがはっきりと撮像されるようになる。その結果、本発明では、撮像画像に基づいて乗員の位置など正確に特定することが可能になる。本発明の車両の乗員監視装置により特定される正確な乗員の位置などに基づいて、車両の他の装置、たとえば乗員保護装置は、正確な乗員の位置に応じて、その乗員に対しての保護制御を適切に実行することが可能になる。
しかも、本発明では、複数の撮像モジュールの発光デバイスから同時に乗員へ光を照射するため、たとえば個々の発光デバイスにおいて発光光量を上げるようにしなくとも、乗員に照射される総光量を増やすことができる。したがって、車両の衝突が予測または検出された状態から検出されない状態へ戻った後に、個々の発光デバイスにおいて光量増加による劣化が生じないようにすることが可能である。または、個々の発光デバイスにおいて、光量増加による劣化がほぼ生じていないようにすることが可能である。その結果、発光デバイスは、車両の衝突が予測または検出された後においても、継続して使用し続けることが可能となる。発光デバイスは、車両の衝突の予測または検出の有無にかかわらず、長期にわたって継続して使用することが可能になる。
しかも、本発明では、車両の衝突が予測または検出されていない通常の場合には、複数の撮像モジュールは、それらの複数の発光デバイスの発光タイミングが互いにずれるように、互いの撮像タイミングをずらして動作する。これにより、通常時には、複数の撮像モジュールは、それぞれのタイミングにおいて、それぞれの発光デバイスのみの光により乗員を照射した状態で乗員を撮像することができる。また、乗員に対して強い光を照射し続け難くなる。乗員についての網膜、血管などの状態を良好に撮像することが可能になる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の実施形態に係る自動車の模式的な説明図である。

【図2】図２は、図１の自動車の制御系の模式的な説明図である。

【図3】図３は、図１の赤外線ＬＥＤの一例の発光特性図である。

【図4】図４は、図２の乗員監視ＥＣＵの動作モードの切替処理のフローチャートである。

【図5】図５は、図４の通常モードでの処理のフローチャートである。

【図6】図６は、図４の縮退モードでの処理のフローチャートである。

【図7】図７は、図２の乗員保護ＥＣＵの処理のフローチャートである。

【図8】図８は、ドライバ撮像モジュールおよびセンタ撮像モジュールの動作状態を説明するタイミングチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態を、図面に基づいて説明する。

【0017】

図１は、本発明の実施形態に係る自動車１の模式的な説明図である。
図１（Ａ）は、自動車１の上面図である。図１（Ｂ）は、自動車１の車室３の前部の模式的な説明図である。
図１の自動車１は、車両の一例である。自動車１は、車体２の中央に乗員が乗車する車室３が設けられる。車室３には、自動車１に乗った乗員が着座するシート４が設けられる。車室３の前部には、フロントガラス５が設けられる。フロントガラス５の下には、ダッシュボード６が設けられる。ダッシュボード６は、シート４に着座した乗員の上体の前に位置する。ダッシュボード６には、ドライバ用のシート４の前側となる部位に、ドライバが自動車１の走行を操作するためのハンドル３１が後向きに突出して設けられる。ダッシュボード６の下には、ドライバが自動車１の走行を操作するためのブレーキペダル３２、アクセルペダル３３、が並べて設けられる。

【0018】

図２は、図１の自動車１の制御系１０の模式的な説明図である。
図２では、自動車１の制御系１０を構成する複数の制御モジュールが、それぞれに組み込まれる制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により代表して示されている。
自動車１では、ドライバなどの乗員による運転によらない自動運転中や、乗員による手動運転中に、乗員監視装置６０により、乗車した乗員を識別して監視するとよい。
また、自動車１では、乗員保護装置７０により、衝突時の衝撃から乗員を保護するとよい。
これらの技術が有機的に連携することにより、乗員の乗車状態に応じた適切な乗員保護が実現可能になると考えられる。自動車１の利便性および安全性が高まると期待される。
このような自動車１の制御系１０は、自動車１の乗員監視装置６０を有する自動車１の乗員保護システムとして機能し得る。

【0019】

図２には、自動車１の制御系１０を構成する複数の制御装置が、それぞれに組み込まれる制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により代表して示されている。
図２の自動車１の制御系１０には、具体的には、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３、自動車１の自動運転または手動運転時の運転支援により走行を制御する装置としてのドライブＥＣＵ（自動運転／運転支援ＥＣＵ）１４、運転操作ＥＣＵ１５、検出ＥＣＵ１６、乗員監視装置６０の乗員監視ＥＣＵ１７、乗員保護装置７０の乗員保護ＥＣＵ１８、外通信ＥＣＵ１９、ＵＩＥＣＵ２０、が示されている。これら複数の制御ＥＣＵは、直接的にはケーブル２６に接続され、自動車１で採用されるたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった車ネットワーク２５により、中継装置としてのセントラルゲートウェイ（ＣＧＷ）２７に接続される。各制御ＥＣＵは、送信元である自身のＩＤと送信先の装置のＩＤとを付加した暗号化データにより、相互に通信することができる。各制御ＥＣＵは、送信先を指定しない暗号化データにより、ブロードキャストのように複数の他の制御ＥＣＵへ同時に送信してよい。また、各制御ＥＣＵは、自身のＩＤが送信先である暗号化データを受信し、自身の制御に使用する。なお、制御ＥＣＵは、自身以外の特定のＩＤが送信先である暗号化データについても受信し、自身の制御に使用してよい。セントラルゲートウェイ２７は、複数のケーブル２６のそれぞれから受信した暗号化データが他のケーブル２６に接続される制御ＥＣＵへのものである場合、受信した暗号化データを他のケーブル２６へ出力する。これにより、図２に示す複数の制御ＥＣＵは、相互に暗号化データを送受できる。

【0020】

駆動ＥＣＵ１１は、車ネットワーク２５を通じて暗号化データを受信し、自動車１に設けられる不図示のエンジンまたはモータといった駆動源、トランスミッションを制御する。これにより、自動車１は、加速して走行することができる。
操舵ＥＣＵ１２は、車ネットワーク２５を通じて暗号化データを受信し、自動車１に設けられる不図示のステアリング装置を制御する。これにより、自動車１は、進行方向を変えることができる。
制動ＥＣＵ１３は、車ネットワーク２５を通じて暗号化データを受信し、自動車１に設けられる不図示のブレーキ装置を制御する。これにより、走行する自動車１は、減速し、停車できる。また、制動ＥＣＵ１３は、車ネットワーク２５を通じて駆動ＥＣＵ１１と通信して、駆動源の回転を抑制したり、トランスミッションのギア比を変更したりして、走行する自動車１を減速させてもよい。

【0021】

運転操作ＥＣＵ１５は、自動車１の走行を操作するためのハンドル３１、ブレーキペダル３２、アクセルペダル３３、シフトレバ３４といった操作部材に接続される。運転操作ＥＣＵ１５は、操作された操作部材についての操作情報などを含む暗号データを、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力する。

【0022】

検出ＥＣＵ１６は、たとえば速度センサ４１、加速度センサ４２、ステレオカメラ４３、に接続される。速度センサ４１は、自動車１の速度を検出する。加速度センサ４２は、自動車１の加速度を検出する。ステレオカメラ４３は、自動車１の外側の周囲を撮像する。ステレオカメラ４３は、たとえば自動車１の前方、側方、または後方を撮像してよい。検出ＥＣＵ１６は、接続されているセンサの物理量などを、自動車１の走行について自動車１において検出される物理量として取得し、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８などへ出力する。
たとえば、検出ＥＣＵ１６は、ステレオカメラ４３による外の画像を解析して、自動車１の周囲にいる他の移動体の有無を検出し、検出した他の移動体の種類、自車からの相対的な距離および方向についての情報を、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８などへ出力してよい。
検出ＥＣＵ１６は、ステレオカメラ４３による外の画像を解析して、自動車１の周囲にいる他の移動体との衝突を予測し、その情報を、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８へ出力する。
検出ＥＣＵ１６は、加速度センサ４２において所定値以上の大きい衝突の加速度が検出されると、衝突検出を乗員保護ＥＣＵ１８へ出力してよい。

【0023】

外通信ＥＣＵ１９は、自動車１の外と通信する。外通信ＥＣＵ１９は、たとえば交通情報システム１００の通信中継局１０１と通信してサーバ装置１０２との間で、通信データを送受する。外通信ＥＣＵ１９は、この他にもたとえば、自動車１の近くを走行している他の自動車１１０や歩行者の不図示の携帯端末との間で、たとえばＶ２Ｘ通信により通信データを送受する。外通信ＥＣＵ１９は、これらの通信により、自動車１の目的地までのナビゲーションデータ、交通情報、自動車１の周囲の状況の情報、などを受信すると、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。
外通信ＥＣＵ１９は、他の自動車１１０において予測された衝突の情報を取得し、その情報を、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８へ出力する。

【0024】

ＵＩＥＣＵ２０には、たとえば表示デバイス５１、操作デバイス５２、に接続される。操作デバイス５２は、表示デバイス５１の表示画面に重ねられるタッチパネル、複数のキーを有してよい。ＵＩＥＣＵ２０は、表示に関する暗号化データを受信すると、表示デバイス５１に画像を表示させる。ＵＩＥＣＵ２０は、表示デバイス５１の表示に応じた操作デバイス５２の操作に基づいて、たとえばナビゲーションデータなどを生成し、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。

【0025】

ドライブＥＣＵ１４は、自動車１の走行を、自動運転と運転支援との間で切り替えて制御する。ドライブＥＣＵ１４は、車ネットワーク２５を通じて取得する各種の情報に基づいて、自動車１の走行を制御する。たとえば自動運転の場合、ドライブＥＣＵ１４は、ナビゲーションデータにしたがって周囲の安全を確認しながら目的地まで走行するように、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３へ制御情報を出力する。運転支援の場合、ドライブＥＣＵ１４は、操作情報に基づいて、その操作量を周囲の安全などに応じて調整した制御情報を、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３へ出力する。

【0026】

乗員監視ＥＣＵ１７は、センタ撮像モジュール６１、ドライバ撮像モジュール６２、乗員監視メモリ６３、に接続される。

【0027】

センタ撮像モジュール６１は、図１（Ｂ）に示すように、撮像デバイス６５、発光デバイスとしての赤外線ＬＥＤ６６、を有する。センタ撮像モジュール６１は、乗員の前にあるダッシュボード６の中央部分に設けられる。発光デバイスは、図１（Ｂ）に示す撮像デバイス６５の広い画角の全体に対して、赤外線による光を広角に照射する。これにより、撮像デバイス６５は、その画角に含まれるドライバなどへ赤外線による光を照射して赤外線による撮像画像を撮像できる。赤外線による撮像画像には、ドライバなどの乗員の網膜、血管、などの画像成分が含めることが可能である。赤外線ＬＥＤ６６の投光周波数は、自然光、外灯に含まれる周波数でよい。この場合、赤外線ＬＥＤ６６は、投光強度、投光パターンなどを調整することにより、自然光と区別できるようにしてよい。赤外線ＬＥＤ６６を投光した状態の赤外線の撮像画像から、投光していない状態の赤外線の撮像画像を減算することにより、赤外線ＬＥＤ６６の投光による画像成分のみを含む撮像画像を得ることができる。

【0028】

ドライバ撮像モジュール６２は、図１（Ｂ）に示すように、撮像デバイス６５、発光デバイスとしての赤外線ＬＥＤ６６、を有する。ドライバ撮像モジュール６２は、乗員の前にあるダッシュボード６についての、ドライバが着座するシート４の前側となる右側部分に設けられる。ドライバ撮像モジュール６２は、センタ撮像モジュール６１とともにドライバを撮像できる。発光デバイスは、図１（Ｂ）に示す撮像デバイス６５の狭い画角の全体に対して、赤外線による光を狭角に照射する。これにより、撮像デバイス６５は、その画角に含まれるドライバなどへ赤外線による光を照射して赤外線による撮像画像を撮像できる。赤外線による撮像画像には、ドライバなどの乗員の網膜、血管、などの画像成分が含めることが可能である。赤外線ＬＥＤ６６の投光周波数は、センタ撮像モジュール６１と同じ周波数とするとよい。

【0029】

乗員監視メモリ６３は、乗員監視のためのプログラム、設定データ、などを記録する。設定データには、乗員のごとの個人データが含まれてよい。

【0030】

乗員監視ＥＣＵ１７は、乗員監視メモリ６３からプログラムを読み込んで実行する。これにより、乗員監視ＥＣＵ１７は、乗員監視装置６０の制御部として機能する。乗員監視装置６０の制御部としての乗員監視ＥＣＵ１７は、センタ撮像モジュール６１の動作と、ドライバ撮像モジュール６２の動作とを制御する。乗員監視ＥＣＵ１７は、たとえばセンタ撮像モジュール６１とドライバ撮像モジュール６２とを、所定の周期で撮像を繰り返すように動作させる。乗員監視ＥＣＵ１７は、センタ撮像モジュール６１から撮像画像を取得し、ドライバ撮像モジュール６２から撮像画像を取得する。乗員監視ＥＣＵ１７は、取得した撮像画像を解析して、自動車１に乗車しているドライバを含む乗員を認識して監視する。
たとえば、乗員監視ＥＣＵ１７は、撮像画像を解析して、自動車１に乗車しているドライバなどの乗員それぞれを特定する。
乗員監視ＥＣＵ１７は、乗員の状態として、乗員の上体の位置や頭部の位置を監視する。また、位置の変化により動きを監視する。乗員監視ＥＣＵ１７は、乗員の上体や頭部の位置や動きの情報を、乗員保護ＥＣＵ１８などへ出力してよい。
乗員監視ＥＣＵ１７は、乗員の状態としてさらに、たとえば居眠り（眠気）状態、興奮状態、わき見、デッドマンなどの緊急状態、を監視する。乗員監視ＥＣＵ１７は、たとえば撮像される頭部の傾きの大きさ、目の開き程度により居眠り、を判断してよい。乗員監視ＥＣＵ１７は、たとえば網膜や血管での脈波の速さ、ヘモグロビンの量により興奮状態、緊急状態、または眠気状態を判断してよい。乗員監視ＥＣＵ１７は、たとえば両目が撮像されていないこと、鼻または口に対して両目が対称な位置に撮像されていないことなどに基づいて、わき見を判断してよい。乗員監視ＥＣＵ１７は、これらのそれぞれについて作成されたプログラムを並列的に実行してよい。
そして、乗員監視ＥＣＵ１７は、これらの監視結果を、車ネットワーク２５を通じてドライブＥＣＵ１４、乗員保護ＥＣＵ１８などへ出力してよい。このような情報を受け取ると、ドライブＥＣＵ１４は、自動走行の目的地を病院などへ変更して走行を継続したり、道路わきや駐車場に緊急停止したりする制御を実行してよい。

【0031】

乗員保護ＥＣＵ１８は、エアバッグ装置７１、シートベルト装置７２、に接続される。

【0032】

エアバッグ装置７１には、たとえば、シート４に着座している乗員前にエアバッグを展開するフロントエアバッグ装置、乗員の外側にエアバッグを展開するサイドエアバッグ装置、隣り合う乗員の間にエアバッグを展開するファーサイドエアバッグ装置、車体２のガラス面の内側にエアバッグを展開するカーテンエアバッグ装置、がある。

【0033】

シートベルト装置７２は、シート４に着座している乗員に掛け渡されるシートベルト、を有する。

【0034】

乗員保護ＥＣＵ１８は、自動車１の衝突が予測または検出されると、エアバッグ装置７１およびシートベルト装置７２を作動させて、乗員の保護制御を実行する。
たとえば、乗員保護ＥＣＵ１８は、乗員監視ＥＣＵ１７から乗員の頭部の現在の位置などを取得すると、それに応じてエアバッグの展開開始位置、展開方向、展開速度、展開強さ、シートベルトの拘束開始タイミング、拘束強さ（リミット）、拘束期間などの設定を変更して、乗員の頭部の現在の位置などに適するように調整してよい。
乗員保護ＥＣＵ１８は、衝突検出を取得すると、その時点での設定により、エアバッグ装置７１およびシートベルト装置７２を作動させてよい。

【0035】

ところで、このような自動車１の制御系１０において、乗員監視装置６０は、乗員を撮像するために、赤外線ＬＥＤ６６といった発光デバイスを使用する。
図３は、図１の赤外線ＬＥＤ６６の一例の発光特性図である。
図３の横軸は、赤外線ＬＥＤ６６の寿命に対応する累積点灯時間である。縦軸は、赤外線ＬＥＤ６６を発光させる光束の維持率である。

【0036】

図３に示すように、赤外線ＬＥＤ６６は、発光の光量が多いほど、その光量で使用可能となる累積点灯時間が短くなる。図中に示す単体最大光量での使用限界は、それより低い第一光量で発光させる場合での使用限界より短くなる。第一光量は、網膜、血管を撮像するために適した光量範囲に含まれる。赤外線ＬＥＤ６６の発光光量は、なるべく下げたほうがよい。
累積点灯時間は、赤外線ＬＥＤ６６についての累積的な点灯時間であるため、赤外線ＬＥＤ６６は、不要な場合には消灯したほうがよい。
その一方で、自動車１では、走行環境に応じて車内の明るさが大きく変化したり、乗員に対して車外の光が照射されたりすることがある。これらの状況においても、乗員の輪郭などをはっきりと撮像できるように、赤外線ＬＥＤ６６は、乗員に対して比較的強い光を照射することが望ましい。乗員の位置などを撮像される輪郭などにより正確に監視しようとする場合、赤外線ＬＥＤ６６から乗員へ比較的強い光を照射することが望ましい。
赤外線ＬＥＤ６６の単体最大光量を大きくするためには、赤外線ＬＥＤ６６が大型化する。大きな赤外線ＬＥＤ６６は、高出力を得るために、小さな赤外線ＬＥＤ６６と比べて大電流を必要とする。赤外線ＬＥＤ６６の消費電力、発熱量は電流の二乗に比例するように増加する。発光デバイスを冷却するためのヒートシンクも大型化する。
このため、図３に示すように、乗員の輪郭などを撮像環境によらずに撮像するために必要とされる光量を得ようとすると、高出力の赤外線ＬＥＤ６６を使用する必要があるため、上述したような課題が顕在化する。また、中出力の赤外線ＬＥＤ６６を単体最大光量に近いところで使用するすると、短い累積点灯時間において早期に光量不足が発生することになる。この場合、赤外線ＬＥＤ６６を比較的頻繁に交換しなければならなくなる。
また、赤外線ＬＥＤ６６から乗員へ比較的強い光を照射している場合、乗員についての網膜、血管などが良好に撮像され難くなる。網膜、血管などの撮像に適した光量範囲は、環境によらずに乗員の輪郭を撮像することに適した光量範囲より低く、それらの範囲同士が重ならない可能性が高い。
本実施形態では、制御を工夫することにより、これらの課題を総合的に解決し、さらに車両の乗員監視装置６０としての機能を改善している。以下、詳しく説明する。

【0037】

図４は、図２の乗員監視ＥＣＵ１７の動作モードの切替処理のフローチャートである。
乗員監視ＥＣＵ１７は、自動車１が起動されると、乗員監視装置６０の制御部として、図４の処理を繰り返し実行する。乗員監視ＥＣＵ１７は、自動車１の走行中において、図４の処理を繰り返し実行してよい。

【0038】

ステップＳＴ１において、乗員監視ＥＣＵ１７は、まず、乗員監視装置６０を通常モードで起動する。通常モードにおいて、乗員監視ＥＣＵ１７は、乗員監視装置６０におけるすべての機能を実行する状態にする。乗員監視ＥＣＵ１７は、たとえばセンタ撮像モジュール６１の撮像画像に基づいて乗員の上体の位置や頭部の位置を監視するとともに、ドライバ撮像モジュール６２の撮像画像に基づいて乗員の居眠り、興奮、わき見などの乗車状態を監視する。乗員監視ＥＣＵ１７は、撮像画像に撮像されている乗員の網膜または血管に基づいて、乗員の状態を監視してよい。

【0039】

ステップＳＴ２において、乗員監視ＥＣＵ１７は、自動車１の衝突が予測されたか否かを判断する。検出ＥＣＵ１６は、ステレオカメラ４３による外の画像を解析して、自動車１の周囲にいる他の移動体との衝突を予測する。乗員監視ＥＣＵ１７は、この衝突予測を取得している場合、自動車１の衝突が予測されたと判断し、処理をステップＳＴ３へ進める。衝突が予測されていない場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ１へ戻す。衝突が予測されるまで、乗員監視ＥＣＵ１７は、通常モードで動作し続ける。

【0040】

ステップＳＴ３において、乗員監視ＥＣＵ１７は、乗員監視装置６０の動作状態を、起動時の通常モードから縮退モードへ切り替える。縮退モードにおいて、乗員監視ＥＣＵ１７は、乗員監視装置６０における一部の機能のみを実行する状態にする。乗員監視ＥＣＵ１７は、たとえば衝突予測後に必要とされる機能に絞って、実行する。ここでは、乗員監視ＥＣＵ１７は、たとえばセンタ撮像モジュール６１の撮像画像に基づいて乗員の上体の位置や頭部の位置を監視して記録する機能のみを実行する状態とする。また、後述するように、縮退モードでは、乗員監視ＥＣＵ１７は、センタ撮像モジュール６１およびドライバ撮像モジュール６２を、通常モードの場合より高速で短い周期ごとに撮像させる。この場合、ドライバ撮像モジュール６２の撮像画像は、使用しないことになる。乗員監視ＥＣＵ１７は、乗員の網膜または血管に基づく状態の監視を停止して、１つの撮像デバイス６５により高速に撮像されている撮像画像のみに基づいて乗員の頭部の位置のみを短い周期で監視することになる。

【0041】

ステップＳＴ４において、乗員監視ＥＣＵ１７は、自動車１の衝突が検出された否かを判断する。検出ＥＣＵ１６は、加速度センサ４２において所定値以上の大きい衝突の加速度が検出されると、衝突を検出する。乗員監視ＥＣＵ１７は、この衝突検出を取得している場合、自動車１の衝突が検出されたと判断し、図４の処理を終了する。この際、乗員監視ＥＣＵ１７は、衝突検出と判断するための乗員の監視データを、乗員監視メモリ６３に記録してよい。また、乗員監視ＥＣＵ１７は、衝突検出後の所定期間で乗員を監視して、その検出後のデータを、乗員監視メモリ６３に記録してよい。乗員監視ＥＣＵ１７は、衝突検出を取得していない場合、処理をステップＳＴ５へ進める。

【0042】

ステップＳＴ５において、乗員監視ＥＣＵ１７は、自動車１の衝突がなくなったか否かを判断する。乗員監視ＥＣＵ１７は、たとえば検出ＥＣＵ１６から新たな衝突予測を取得しなくなった場合、自動車１の衝突がなくなったと判断し、処理をステップＳＴ１へ戻す。乗員監視ＥＣＵ１７は、たとえば検出ＥＣＵ１６から新たな衝突予測を取得し続けている場合、自動車１の衝突がなくなっていないと判断し、処理をステップＳＴ４へ戻す。

【0043】

図５は、図４の通常モードでの処理のフローチャートである。
乗員監視ＥＣＵ１７は、乗員監視装置６０を通常モードで起動して動作させる場合、乗員監視装置６０の制御部として、図５の処理を繰り返し実行する。
乗員監視ＥＣＵ１７は、図５の処理により、複数の撮像モジュールの撮像デバイス６５による複数の撮像画像に基づいて、乗員の状態を監視する。

【0044】

ステップＳＴ１１において、乗員監視ＥＣＵ１７は、乗員監視装置６０を通常モードで動作させるための初期設定を実行する。ここでは、乗員監視ＥＣＵ１７は、乗員監視装置６０のすべての機能を起動して実行する状態にする。乗員監視ＥＣＵ１７は、センタ撮像モジュール６１とドライバ撮像モジュール６２とが、撮像および監視を繰り返すための所定の周期内で互いに重ならないようにずらしたタイミングにおいて個別に撮像するように、これらを設定する。乗員監視ＥＣＵ１７は、センタ撮像モジュール６１の赤外線ＬＥＤ６６とドライバ撮像モジュール６２の赤外線ＬＥＤ６６とを、それぞれの撮像タイミングにおいてのみ発光するように設定するとともに、それらの発光光量を第一光量に設定する。

【0045】

ステップＳＴ１２において、乗員監視ＥＣＵ１７は、センタ撮像モジュール６１において撮像を実行させる第一タイミングであるか否かを判断する。第一タイミングに到達していない場合、乗員監視ＥＣＵ１７は、本処理を繰り返す。第一タイミングに到達すると、乗員監視ＥＣＵ１７は、処理をステップＳＴ１３へ進める。

【0046】

ステップＳＴ１３において、乗員監視ＥＣＵ１７は、センタ撮像モジュール６１に、赤外線ＬＥＤ６６を発光させて撮像デバイス６５による撮像処理を実行させる。赤外線ＬＥＤ６６は、第一光量で発光を開始し、撮像デバイス６５による撮像処理が終了すると消灯する。赤外線ＬＥＤ６６は、乗員の網膜または血管を撮像可能な第一光量に抑えて発光する。

【0047】

ステップＳＴ１４において、乗員監視ＥＣＵ１７は、ステップＳＴ１３においてセンタ撮像モジュール６１により撮像された撮像画像を取得して監視処理を実行する。乗員監視ＥＣＵ１７は、撮像画像における乗員の頭部の撮像位置から、車内における乗員の頭部の現在位置を判断する。乗員監視ＥＣＵ１７は、判断した乗員の頭部の現在位置を、乗員保護ＥＣＵ１８へ送信する。

【0048】

ステップＳＴ１５において、乗員監視ＥＣＵ１７は、ドライバ撮像モジュール６２において撮像を実行させる第二タイミングであるか否かを判断する。第二タイミングに到達していない場合、乗員監視ＥＣＵ１７は、本処理を繰り返す。第二タイミングに到達すると、乗員監視ＥＣＵ１７は、処理をステップＳＴ１６へ進める。

【0049】

ステップＳＴ１６において、乗員監視ＥＣＵ１７は、ドライバ撮像モジュール６２に、赤外線ＬＥＤ６６を発光させて撮像デバイス６５による撮像処理を実行させる。赤外線ＬＥＤ６６は、第一光量で発光を開始し、撮像デバイス６５による撮像処理が終了すると消灯する。赤外線ＬＥＤ６６は、乗員の網膜または血管を撮像可能な第一光量に抑えて発光する。

【0050】

ステップＳＴ１７において、乗員監視ＥＣＵ１７は、ステップＳＴ１６においてドライバ撮像モジュール６２により撮像された撮像画像を取得して監視処理を実行する。乗員監視ＥＣＵ１７は、ステップＳＴ１３においてセンタ撮像モジュール６１により撮像された撮像画像についても同様に監視処理を実行してよい。乗員監視ＥＣＵ１７は、撮像画像における乗員の網膜や血管などに基づいて、乗員の乗車状態を判断する。乗員監視ＥＣＵ１７は、乗員が自動車１を運転することができる乗車状態でない場合、判断した乗車状態を、ドライブＥＣＵ１４、外通信ＥＣＵ１９、ＵＩＥＣＵ２０などへ送信する。ドライブＥＣＵ１４は、乗員の乗車状態に応じて、自動車１の走行を切り換えてよい。外通信ＥＣＵ１９は、サーバ装置１０２や他の自動車１１０へ、乗員の乗車状態を送信してよい。ＵＩＥＣＵ２０は、乗員の乗車状態に基づく警報を表示デバイス５１などから出力してよい。

【0051】

ステップＳＴ１８において、乗員監視ＥＣＵ１７は、監視終了か否かを判断する。たとえば自動車１が目的地に到達して乗員が降車した場合、乗員監視ＥＣＵ１７は、監視終了と判断して、図５の処理を終了する。監視終了と判断しない場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ１２へ戻す。乗員監視ＥＣＵ１７は、通常モードでの所定の撮像周期ごとに、ステップＳＴ１２からステップＳＴ１８の処理を繰り返して、センタ撮像モジュール６１とドライバ撮像モジュール６２とを順番に撮像させる。そして、センタ撮像モジュール６１の赤外線ＬＥＤ６６は、その撮像デバイス６５が撮像する期間でのみ点灯して光を照射する。ドライバ撮像モジュール６２の赤外線ＬＥＤ６６は、その撮像デバイス６５が撮像する期間でのみ点灯して光を照射する。
このように、乗員監視ＥＣＵ１７は、自動車１の衝突が予測または検出されていない場合には、複数の撮像モジュールを、それらの複数の赤外線ＬＥＤ６６の発光タイミングが互いにずれるように、互いの撮像タイミングをずらして動作させる。

【0052】

図６は、図４の縮退モードでの処理のフローチャートである。
乗員監視ＥＣＵ１７は、乗員監視装置６０を縮退モードで動作させる場合、乗員監視装置６０の制御部として、図６の処理を繰り返し実行する。
乗員監視ＥＣＵ１７は、図６の処理により、センタ撮像モジュール６１の撮像デバイス６５による撮像画像に基づいて、乗員の頭部の現在位置を監視する。

【0053】

ステップＳＴ２１において、乗員監視ＥＣＵ１７は、乗員監視装置６０を縮退モードで動作させるための初期設定を実行する。ここでは、乗員監視ＥＣＵ１７は、乗員監視装置６０の一部の機能のみを実行する状態にする。ここでは、乗員監視ＥＣＵ１７は、乗員の頭部の現在位置を監視する機能のみを実行する状態にする。乗員監視ＥＣＵ１７は、センタ撮像モジュール６１とドライバ撮像モジュール６２とが、通常モードより短い所定の照射撮像周期内の同じタイミングにおいて同時に撮像するように、これらを設定する。乗員監視ＥＣＵ１７は、センタ撮像モジュール６１の赤外線ＬＥＤ６６とドライバ撮像モジュール６２の赤外線ＬＥＤ６６とを、それぞれの撮像タイミングにおいてのみ発光するように設定するとともに、それらの発光光量を第一光量以下の第二光量に設定する。第二光量が第一光量の半分以上であることにより、センタ撮像モジュール６１の赤外線ＬＥＤ６６とドライバ撮像モジュール６２の赤外線ＬＥＤ６６との総光量は、第一光量以上となり得る。また、各赤外線ＬＥＤ６６の光量が通常時のものより増えないことから、衝突予測検出時において光量を切り換えて動作させたとしても、各赤外線ＬＥＤ６６が劣化してその寿命が短くなることはない。

【0054】

ステップＳＴ２２において、乗員監視ＥＣＵ１７は、ドライバ撮像モジュール６２およびセンタ撮像モジュール６１を同時に撮像させる高速撮像タイミングであるか否かを判断する。高速撮像タイミングに到達していない場合、乗員監視ＥＣＵ１７は、本処理を繰り返す。高速撮像タイミングに到達すると、乗員監視ＥＣＵ１７は、処理をステップＳＴ２３へ進める。

【0055】

ステップＳＴ２３において、乗員監視ＥＣＵ１７は、ドライバ撮像モジュール６２およびセンタ撮像モジュール６１に、赤外線ＬＥＤ６６を発光させて撮像デバイス６５による撮像処理を実行させる。ドライバ撮像モジュール６２の赤外線ＬＥＤ６６とセンタ撮像モジュール６１の赤外線ＬＥＤ６６とは、それぞれ第一光量で発光を開始し、それぞれの撮像デバイス６５による撮像処理が終了すると消灯する。乗員に照射される総光量は、第一光量以上となり、環境によらずに乗員の輪郭を撮像するために適した光量となり得る。

【0056】

ステップＳＴ２４において、乗員監視ＥＣＵ１７は、ステップＳＴ２３においてセンタ撮像モジュール６１により撮像された撮像画像を取得して監視処理を実行する。乗員監視ＥＣＵ１７は、撮像画像における乗員の頭部の撮像位置から、車内における乗員の頭部の現在位置を判断する。乗員監視ＥＣＵ１７は、判断した乗員の頭部の現在位置を、乗員保護ＥＣＵ１８へ送信する。

【0057】

ステップＳＴ２５において、乗員監視ＥＣＵ１７は、監視終了か否かを判断する。たとえば自動車１が目的地に到達して乗員が降車した場合、乗員監視ＥＣＵ１７は、監視終了と判断して、図６の処理を終了する。監視終了と判断しない場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ２２へ戻す。乗員監視ＥＣＵ１７は、縮退モードでの高速の撮像周期ごとに、ステップＳＴ２２からステップＳＴ２５までの処理を繰り返して、センタ撮像モジュール６１とドライバ撮像モジュール６２とを同時に撮像させる。そして、センタ撮像モジュール６１の赤外線ＬＥＤ６６と、ドライバ撮像モジュール６２の赤外線ＬＥＤ６６とは、同時点灯することにより、乗員に対して第一光量以上の総光量を照射する。センタ撮像モジュール６１の撮像デバイス６５は、そのように強い光が照射されている乗員を撮像できる。
このように、乗員監視ＥＣＵ１７は、自動車１の衝突が予測または検出されている場合には、複数の撮像モジュールを、それらの複数の赤外線ＬＥＤ６６の発光タイミングが同時に点灯するようにする。

【0058】

図７は、図２の乗員保護ＥＣＵ１８の処理のフローチャートである。
乗員保護ＥＣＵ１８は、自動車１が起動されると、乗員保護装置７０の制御部として、図７の処理を繰り返し実行する。乗員監視ＥＣＵ１７は、自動車１の走行中において、図７の処理を繰り返し実行してよい。

【0059】

ステップＳＴ３１において、乗員保護ＥＣＵ１８は、自動車１の衝突が予測されたか否かを判断する。検出ＥＣＵ１６は、ステレオカメラ４３による外の画像を解析して、自動車１の周囲にいる他の移動体との衝突を予測する。乗員保護ＥＣＵ１８は、この衝突予測を取得している場合、自動車１の衝突が予測されたと判断し、処理をステップＳＴ３２へ進める。衝突が予測されていない場合、乗員監視ＥＣＵ１７は、本処理を繰り返す。

【0060】

ステップＳＴ３２において、乗員保護ＥＣＵ１８は、乗員の最新の頭部位置を取得する。乗員監視ＥＣＵ１７は、周期的な乗員の撮像に基づいて、乗員の最新の頭部位置を得る。乗員保護ＥＣＵ１８は、乗員監視ＥＣＵ１７から、乗員の最新の頭部位置を取得する。

【0061】

ステップＳＴ３３において、乗員保護ＥＣＵ１８は、取得した乗員の最新の頭部位置に応じて、乗員保護装置７０の動作を設定する。乗員保護ＥＣＵ１８は、乗員監視ＥＣＵ１７から乗員の頭部の最新の位置に応じて、衝突により乗員が倒れる方向から乗員の上体および頭部を支えるように、エアバッグの展開開始位置、展開方向、展開速度、展開強さ、の設定を調整する。また、乗員保護ＥＣＵ１８は、シートベルトの拘束開始タイミング、拘束強さ（リミット）、拘束期間などの設定を調整する。
なお、乗員保護ＥＣＵ１８は、ステップＳＴ３２およびステップＳＴ３３の処理の後に、ステップＳＴ３１の処理を実行してもよい。この場合、乗員監視ＥＣＵ１７は、衝突が予測されていない場合に処理をステップＳＴ３２へ戻すとよい。

【0062】

ステップＳＴ３４において、乗員保護ＥＣＵ１８は、自動車１の衝突が検出されたか否かを判断する。検出ＥＣＵ１６は、加速度センサ４２の検出値に基づいて、自動車１の衝突を検出する。乗員保護ＥＣＵ１８は、この衝突検出を取得している場合、自動車１が衝突したと判断し、処理をステップＳＴ３５へ進める。衝突が検出されていない場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ３６へ進める。

【0063】

ステップＳＴ３５において、乗員保護ＥＣＵ１８は、乗員保護制御を実行する。乗員保護ＥＣＵ１８は、エアバッグ装置７１およびシートベルト装置７２を、それらの設定に基づいて作動させる。シートベルトは、乗員に対してシート４への拘束力を作用させ、エアバックが乗員の周囲で展開する。乗員の衝撃は、シートベルトおよびエアバッグにより吸収される。

【0064】

ステップＳＴ３６において、乗員保護ＥＣＵ１８は、自動車１の衝突がなくなったか否かを判断する。乗員保護ＥＣＵ１８は、たとえば検出ＥＣＵ１６から新たな衝突予測を取得しなくなった場合、自動車１の衝突がなくなったと判断し、処理をステップＳＴ３１へ戻す。乗員監視ＥＣＵ１７は、たとえば検出ＥＣＵ１６から新たな衝突予測を取得し続けている場合、自動車１の衝突がなくなっていないと判断し、処理をステップＳＴ３２へ戻す。

【0065】

図８は、センタ撮像モジュール６１およびドライバ撮像モジュール６２の動作状態を説明するタイミングチャートである。
図８（Ａ）から図８（Ｃ）は、通常モードでのタイミングチャートである。図８（Ａ）は、通常モードの投光撮像周期である。図８（Ｂ）は、センタ撮像モジュール６１の照射撮像動作である。図８（Ｃ）は、ドライバ撮像モジュール６２の照射撮像動作である。時間は左から右へ流れる。
図８（Ｄ）から図８（Ｆ）は、縮退モードでのタイミングチャートである。図８（Ｄ）は、縮退モードの投光撮像周期である。図８（Ｅ）は、センタ撮像モジュール６１の照射撮像動作である。図８（Ｆ）は、ドライバ撮像モジュール６２の照射撮像動作である。時間は左から右へ流れる。

【0066】

通常モードでは、図８（Ａ）に示すように比較的に長い周期ごとに、センタ撮像モジュール６１およびドライバ撮像モジュール６２は、照射および撮像を繰り返す。センタ撮像モジュール６１は、図８（Ｂ）に示すように、各周期の初めの第一タイミングから、乗員への照射を開始して乗員を撮像する。ドライバ撮像モジュール６２は、図８（Ｃ）に示すように、各周期の途中の第二タイミングから、乗員への照射を開始して乗員を撮像する。ここで、センタ撮像モジュール６１とドライバ撮像モジュール６２とは、ＨＤＲ撮像のために１つ撮像において２つの画像を撮像している。２つの画像を合成することにより、ダイナミックレンジが広がったＨＤＲ画像が得られる。このように、センタ撮像モジュール６１の照射期間と、ドライバ撮像モジュール６２の照射期間とは、重ならない。この場合、センタ撮像モジュール６１の撮像デバイス６５と、ドライバ撮像モジュール６２の撮像デバイス６５とは、それぞれの赤外線ＬＥＤ６６により照射された第一光量のみの光により、乗員を撮像できる。乗員の網膜や血管を判断するのに適した画像を撮像できる。

【0067】

縮退モードでは、図８（Ｄ）に示すように比較的に短い周期ごとに、センタ撮像モジュール６１およびドライバ撮像モジュール６２は、照射および撮像を高速に繰り返す。センタ撮像モジュール６１は、図８（Ｅ）に示すように、各周期の初めの高速撮像タイミングから、乗員への照射を開始して乗員を撮像する。ドライバ撮像モジュール６２は、図８（Ｆ）に示すように、各周期の初めの高速撮像タイミングから、乗員への照射を開始して乗員を撮像する。センタ撮像モジュール６１の照射期間と、ドライバ撮像モジュール６２の照射期間とは、重なる。この場合、センタ撮像モジュール６１の撮像デバイス６５と、ドライバ撮像モジュール６２の撮像デバイス６５とは、それら複数の赤外線ＬＥＤ６６により照射されている乗員を撮像することになる。第一光量以上の光量が照射されている乗員を撮像することになる。乗員の輪郭を判断するのに適した画像を撮像できる。
しかも、縮退モードでは、センタ撮像モジュール６１およびドライバ撮像モジュール６２は、通常モードより短い周期で、高速に撮像を繰り返す。これにより、乗員の頭部の最新の位置をほぼリアルタイムに撮像して更新することができる。

【0068】

以上のように、本実施形態では、撮像デバイス６５および発光デバイスとしての赤外線ＬＥＤ６６をそれぞれ有するセンタ撮像モジュール６１およびドライバ撮像モジュール６２のそれぞれについて、撮像デバイス６５が撮像する際に赤外線ＬＥＤ６６から光を照射させる。そして、自動車１の衝突が予測または検出されると、撮像デバイス６５および赤外線ＬＥＤ６６を有する複数の撮像モジュールを同時に撮像するように動作させて、複数の撮像モジュールの赤外線ＬＥＤ６６から同時に乗員へ光を照射する。これにより、乗員は、自動車１の衝突が予測または検出される場合には、複数の赤外線ＬＥＤ６６の光により明るく照らされる。その状態で乗員を撮像することより、撮像画像には、乗員の輪郭などがはっきりと撮像されるようになる。その結果、本実施形態では、撮像画像に基づいて乗員の位置など正確に特定することが可能になる。本実施形態の自動車１の乗員監視装置６０により特定される正確な乗員の位置などに基づいて、自動車１の他の装置、たとえば乗員保護装置７０は、正確な乗員の位置に応じて、その乗員に対しての保護制御を適切に実行することが可能になる。

【0069】

しかも、本実施形態では、個々の赤外線ＬＥＤ６６において発光光量を上げるようにしなくとも、乗員に照射される総光量を増やすことができる。したがって、自動車１の衝突が予測または検出された状態から検出されない状態へ戻った後に、個々の赤外線ＬＥＤ６６において光量増加による劣化が生じないようにできる。または、光量増加による劣化がほぼ生じていないようにできる。その結果、赤外線ＬＥＤ６６は、自動車１の衝突が予測または検出された後においても、継続して使用し続けることができる。赤外線ＬＥＤ６６は、自動車１の衝突の予測または検出の有無にかかわらず、長期にわたって継続して使用することができる。

【0070】

また、本実施形態では、自動車１の衝突が予測または検出されていない通常の場合には、複数の撮像モジュールは、それらの複数の赤外線ＬＥＤ６６の発光タイミングが互いにずれるように、互いの撮像タイミングをずらして動作する。これにより、通常時には、複数の撮像モジュールは、それぞれのタイミングにおいて、それぞれの赤外線ＬＥＤ６６のみの光により乗員を照射した状態で乗員を撮像することができる。また、乗員に対して強い光を照射し続け難くなる。乗員についての網膜、血管などの状態を良好に撮像することが可能になる。

【0071】

本実施形態では、自動車１の衝突が予測または検出されると、複数の撮像モジュールの撮像デバイス６５を、自動車１の衝突が予測または検出されていない場合と比べて高速に撮像させる。このように高速な撮像をして各画像の撮像期間が短くなったとしても、乗員へ照射される総光量が増えているので、各撮像画像において乗員が暗く撮像され難くなり、乗員の輪郭をはっきりと撮像できる。そして、乗員の輪郭をはっきりと撮像した複数の撮像画像が短い撮像期間ごとに得られることにより、自動車１の衝突が予測または検出された後の乗員の位置を、リアルタイムに且つ正確に得ることが可能となる。
このように自動車１の衝突が予測または検出された後の乗員の位置を、リアルタイムに且つ正確に得ることができるので、自動車１の他の装置、たとえば乗員保護装置７０は、そのリアルタイムの正確な乗員の位置に応じて、その乗員に対しての保護制御を適切に実行することが可能になる。

【0072】

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

【0073】

たとえば上述した実施形態では、複数の撮像モジュールを構成するセンタ撮像モジュール６１は、乗員の前にあるダッシュボード６の中央部分に設けられ、ドライバ撮像モジュール６２は、乗員の前にあるダッシュボード６についての、ドライバが着座するシート４の前側となる右側部分に設けられる。
複数の撮像モジュールは、これら以外の場所の組み合わせにより車室３に設けられてよい。たとえば、ドライバ撮像モジュール６２は、センタ撮像モジュール６１とともに、乗員の前にあるダッシュボード６の中央部分に設けられてよい。また、複数の撮像モジュールは、衝突予測時ではない通常時において常に図８（Ａ）から図８（Ｃ）のように動作していなくてもよい。たとえば、通常時においても複数の撮像モジュールが同時に撮像動作をすることがあってもよい。また、複数の撮像モジュールの撮像画像は、必ずしも個別に処理に利用されるのではなく、たとえばステレオカメラ用の複数の撮像画像として、たとえば乗員の位置などを判断するための処理に利用されてもよい。

【符号の説明】

【0074】

１…自動車（車両）、６…ダッシュボード、１０…制御系（乗員保護システム）、１７…乗員監視ＥＣＵ、１８…乗員保護ＥＣＵ、６０…乗員監視装置、６１…センタ撮像モジュール、６２…ドライバ撮像モジュール、６３…乗員監視メモリ、６５…撮像デバイス、６６…赤外線ＬＥＤ、７０…乗員保護装置、７１…エアバッグ装置、７２…シートベルト装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】