特許 7285155 車両の乗員保護システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-24

(45)【発行日】2023-06-01

(54)【発明の名称】車両の乗員保護システム

(51)【国際特許分類】

   B60R 21/015 20060101AFI20230525BHJP

   B60R 11/04 20060101ALI20230525BHJP

【ＦＩ】

B60R21/015 312

B60R11/04

【請求項の数】 7

(21)【出願番号】P 2019131020

(22)【出願日】2019-07-16

(65)【公開番号】P2021014227

(43)【公開日】2021-02-12

【審査請求日】2022-04-26

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】100099793

【弁理士】

【氏名又は名称】川北 喜十郎

(74)【代理人】

【識別番号】100154586

【弁理士】

【氏名又は名称】藤田 正広

(74)【代理人】

【識別番号】100182051

【弁理士】

【氏名又は名称】松川 直宏

(74)【代理人】

【識別番号】100179280

【弁理士】

【氏名又は名称】河村 育郎

(74)【代理人】

【識別番号】100180747

【弁理士】

【氏名又は名称】小森 剛彦

(72)【発明者】

【氏名】時崎 淳平

(72)【発明者】

【氏名】中村 亮太

【審査官】飯島 尚郎

(56)【参考文献】

【文献】特開２００９－１６６７８３（ＪＰ，Ａ）

【文献】特開２０１１－１１８５８８（ＪＰ，Ａ）

【文献】国際公開第２０１７／１９５４０５（ＷＯ，Ａ１）

【文献】特開２０１３－１５２７００（ＪＰ，Ａ）

【文献】特開２０１７－０４９３１１（ＪＰ，Ａ）

【文献】特開２０１５－０５８９１７（ＪＰ，Ａ）

【文献】特開２０１０－０４９４９１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／００５５４２８（ＵＳ，Ａ１）

【文献】独国特許出願公開第１０２０１７０１１８２７（ＤＥ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ ２１／００－２１／１３

Ｂ６０Ｒ １１／００－１１／０６

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車両に乗車している乗員を撮像可能な撮像デバイスと、
前記撮像デバイスから出力される撮像画像に基づいて乗員を監視する乗員監視装置と、
前記乗員監視装置の監視に基づいて、前記車両に乗車している乗員に応じた保護制御を実行する乗員保護装置と、
を有し、
前記乗員監視装置は、
前記車両の衝突が予測される際に前記撮像デバイスから出力される第一撮像画像に基づいて、乗員についての前記車両での乗車状態を判定できない場合、前記第一撮像画像の第一撮像範囲より狭い第二撮像範囲を撮像するように、前記撮像デバイスから出力される撮像画像の撮像範囲を切替える、
車両の乗員保護システム。

【請求項2】

前記乗員監視装置は、
前記撮像デバイスから出力される撮像画像に基づいて、乗員についての前記車両での乗車状態を判定できない場合、前記撮像デバイスから出力される撮像画像の撮像範囲を、判定できなかった撮像画像より狭く切替える、
請求項１記載の、車両の乗員保護システム。

【請求項3】

前記撮像デバイスは、
車両に乗車している乗員を撮像可能な撮像素子と、
前記撮像素子の撮像画像から、前記乗員監視装置により指示された画像を生成する生成部と、
前記生成部により生成される画像の画質を画像全体に基づいて評価する評価部と、
前記評価部の評価に基づいて前記生成部により生成される画像を補正して、撮像画像として出力する出力部と、
を有する、
請求項１または２記載の、車両の乗員保護システム。

【請求項4】

前記乗員監視装置は、
前記第二撮像範囲の第二撮像画像に基づいて、乗員についての前記車両での乗車状態を判定できない場合、前記第二撮像範囲より狭い第三撮像範囲を撮像するように、前記撮像デバイスから出力される撮像画像を切替える、
請求項１から３のいずれか一項記載の、車両の乗員保護システム。

【請求項5】

前記乗員監視装置は、
前記第三撮像範囲の第三撮像画像に基づいて、乗員についての前記車両での乗車状態を判定できない場合、前記第三撮像範囲を複数に分割して撮像するように、前記撮像デバイスから出力される撮像画像を切替える、
請求項４記載の、車両の乗員保護システム。

【請求項6】

前記乗員監視装置は、
前記乗員保護装置が前記車両の衝突検出に基づく乗員の保護制御を実行するまでに時間がある場合、前記撮像デバイスにより前記第三撮像範囲を複数に分割して撮像する処理を繰り返す、
請求項５記載の、車両の乗員保護システム。

【請求項7】

前記乗員監視装置は、
前記撮像デバイスから出力される撮像画像の撮像範囲を狭く切り替える際に、前記撮像デバイスが撮像画像を出力する出力フレームレートを上げる、
請求項１から６のいずれか一項記載の、車両の乗員保護システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の乗員保護システムに関する。

【背景技術】

【0002】

車両には、たとえば衝突の際に車両に乗車している乗員の保護制御を実行する乗員保護装置が設けられる。乗員保護装置は、衝突による衝撃が検出されると、シートに着座している乗員をシートベルトにより拘束したり、シートの周囲でエアバッグを展開してシートから倒れたり離れたりする乗員の衝撃を吸収したりする。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１１－０４３００９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、車両の衝突は、たとえば正面衝突や側面衝突に限られるものではない。たとえば車両には、側面に他の移動体が衝突したり、斜め前方向から他の移動体が衝突したりすることもある。
したがって、乗員保護装置は、できる限り多種多様な衝突形態に対応できるようにすることが望ましい。また、乗員保護装置は、できる限り衝突時の乗員の乗車状態に応じて、それぞれに適した乗員保護ができるようにすることが望ましい。
特許文献１では、車両に乗車している乗員を監視するために車両にＣＣＤデバイスなどの撮像デバイスを設けている。このような撮像デバイスを、乗員保護のために活用することが考えられる。

【0005】

このように車両では、撮像デバイスから出力される撮像画像に映る乗員に応じた保護制御を実行できるようにすることが求められている。

【課題を解決するための手段】

【0006】

本発明に係る車両の乗員保護システムは、車両に乗車している乗員を撮像可能な撮像デバイスと、前記撮像デバイスから出力される撮像画像に基づいて乗員を監視する乗員監視装置と、前記乗員監視装置の監視に基づいて、前記車両に乗車している乗員に応じた保護制御を実行する乗員保護装置と、を有し、前記乗員監視装置は、前記車両の衝突が予測される際に前記撮像デバイスから出力される第一撮像画像に基づいて、乗員についての前記車両での乗車状態を判定できない場合、前記第一撮像画像の第一撮像範囲より狭い第二撮像範囲を撮像するように、前記撮像デバイスから出力される撮像画像の撮像範囲を切替える。

【0007】

好適には、前記乗員監視装置は、前記撮像デバイスから出力される撮像画像に基づいて、乗員についての前記車両での乗車状態を判定できない場合、前記撮像デバイスから出力される撮像画像の撮像範囲を、判定できなかった撮像画像より狭く切替える、とよい。

【0008】

好適には、前記撮像デバイスは、車両に乗車している乗員を撮像可能な撮像素子と、前記撮像素子の撮像画像から、前記乗員監視装置により指示された画像を生成する生成部と、前記生成部により生成される画像の画質を画像全体に基づいて評価する評価部と、前記評価部の評価に基づいて前記生成部により生成される画像を補正して、撮像画像として出力する出力部と、を有する、とよい。

【0010】

好適には、前記乗員監視装置は、前記第二撮像範囲の第二撮像画像に基づいて、乗員についての前記車両での乗車状態を判定できない場合、前記第二撮像範囲より狭い第三撮像範囲を撮像するように、前記撮像デバイスから出力される撮像画像を切替える、とよい。

【0011】

好適には、前記乗員監視装置は、前記第三撮像範囲の第三撮像画像に基づいて、乗員についての前記車両での乗車状態を判定できない場合、前記第三撮像範囲を複数に分割して撮像するように、前記撮像デバイスから出力される撮像画像を切替える、とよい。

【0012】

好適には、前記乗員監視装置は、前記乗員保護装置が前記車両の衝突検出に基づく乗員の保護制御を実行するまでに時間がある場合、前記撮像デバイスにより前記第三撮像範囲を複数に分割して撮像する処理を繰り返す、とよい。

【0013】

好適には、前記乗員監視装置は、前記撮像デバイスから出力される撮像画像の撮像範囲を狭く切り替える際に、前記撮像デバイスが撮像画像を出力する出力フレームレートを上げる、とよい。

【発明の効果】

【0014】

本発明では、乗員監視装置は、撮像デバイスから出力される撮像画像に基づいて、乗員についての車両での乗車状態を判定できない場合、撮像デバイスから出力される撮像画像の撮像範囲を、切替える。撮像範囲が切替えられることにより撮像画像には乗員以外のものが入り難くなり、撮像デバイスが車両に乗車している乗員を適切に撮像できるようになることが期待できる。その結果、乗員監視装置は、切替え後の撮像画像に基づいて、乗員についての車両での乗車状態を判定できる。また、乗員保護装置は、車両での乗車状態をより確からしく判定した乗員監視装置の監視に基づいて、車両に乗車している乗員に応じた保護制御を実行することが可能になる。
車両において、乗員を撮像する撮像デバイスは、基本的に車内において固定的な位置および向きに設置される。このため、たとえば撮像範囲に朝日や夕日が入る場合、画像全体が白飛びする可能性がある。画像全体が白飛びする場合、その撮像画像に基づいて乗員についての車両での乗車状態を正確に判定することが難しくなる。この場合、不正確な判定に基づいて乗員に対する保護制御を実行することになり、車両に乗車している乗員に対して保護制御を適切に実行できない可能性が高くなる。
これに対し、本実施形態では、撮像デバイスから出力される撮像画像に基づいて、乗員についての車両での乗車状態を判定できない場合、撮像デバイスから出力される撮像画像の撮像範囲を切替える。たとえば、撮像デバイスから出力される撮像画像に基づいて、乗員についての車両での乗車状態を判定できない場合、撮像デバイスから出力される撮像画像の撮像範囲を、判定できなかった撮像画像より狭く切替える。これにより、乗員を撮像する撮像デバイスが車内において固定的な位置および向きに設置されていたとしても、乗員監視装置は、切り替え後の、たとえば朝日や夕日の映り込みがない撮像画像に基づいて、乗員についての車両での乗車状態を正確に判定できるようになる。正確な判定に基づいて乗員に対する保護制御を実行でき、車両に乗車している乗員に対して保護制御を適切に実行できるようになる。本実施形態の乗員監視装置を用いることにより、乗員保護装置は、多種多様な衝突形態において、衝突時の乗員の乗車状態などに応じてそれに適した乗員保護を実行することが可能になる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の一例としての実施形態に係る自動車の説明図である。

【図2】図２は、図１の自動車に設けられる乗員保護装置の一例の構成図である。

【図3】図３は、乗員の乗車状態などに応じた最適保護制御のために図２の乗員保護装置が必要とする情報の一例の説明図である。

【図4】図４は、図１の自動車に設けられる制御システムの一例の構成図である。

【図5】図５は、図４の車内撮像デバイスおよび乗員監視装置を含む、乗員保護システムの主な構成図である。

【図6】図６は、図４の乗員監視ＥＣＵによる撮像制御のフローチャートである。

【図7】図７は、車内撮像デバイスの通常撮像画像に太陽が映る場合の説明図である。

【図8】図８は、ドライバの頭部撮像画像において、頭部の一部が欠けて映る場合の説明図である。

【発明を実施するための形態】

【0016】

以下、本発明の一例としての実施形態を、図面に基づいて説明する。

【0017】

図１は、本発明の一例としての実施形態に係る自動車１の説明図である。自動車１は、車両の一例である。
図１の自動車１は、車体２に形成された車室３に、ドライバを含む複数の乗員が乗車する。乗車した乗員は、車室３に設けられているシート４に着座する。この状態で、ドライバが自動車１のハンドル、ペダル、レバーといった操作デバイス３９を操作することにより、自動車１は走行して移動する。また、自動車１は、目的地の設定などに基づいて自律的な自動運転により走行して移動してよい。
このような自動車１では、移動中または停車中に、他の自動車１などの他の動体と接触したり衝突したりする可能性がある。図１に複数の矢線で示すように、自動車１には、前後左右斜めのあらゆる方向から他の動体との衝突による衝撃が入力される。この場合、基本的にシート４に着座している乗員の上体は、基本的に衝撃の入力方向へ向かって倒れることになる。

【0018】

図２は、図１の自動車１に設けられる乗員保護装置１０の一例の構成図である。
図２の乗員保護装置１０は、乗員保護ＥＣＵ１１、保護メモリ１２、複数のシートベルト１３、複数のベルトアクチュエータ１４、複数のエアバック１５、複数のベース部材１６、複数のエアバックアクチュエータ（ＡＢアクチュエータ）１７、複数のインフレータ１８、を有する。

【0019】

一組のシートベルト１３、およびベルトアクチュエータ１４は、一つのシートベルト部材１９を構成する。
一組のエアバック１５、ベース部材１６、エアバックアクチュエータ１７、複数のインフレータ１８は、一つのエアバック部材２０を構成する。
シートベルト部材１９およびエアバック部材２０は、シート４ごと、またはシート４の着座位置ごとに設けられる。図２では、左右一対のシート４に対応するように、二組のシートベルト部材１９と、二組のエアバック部材２０と、が設けられている。

【0020】

シートベルト１３は、シート４に着座した乗員の腰部および上体の前に掛け渡されるベルトである。
ベルトアクチュエータ１４は、シートベルト１３に対して、可変可能なテンションを加える。テンションが加えられたシートベルト１３は、乗員の腰部および上体をシート４に押し付けるように機能し得る。

【0021】

エアバック１５は、高圧ガスにより瞬時に展開する袋体である。
複数のインフレータ１８はそれぞれ、エアバック１５に注入する高圧ガスを発生する。複数のインフレータ１８をともに動作させる場合、エアバック１５は、高い圧力で展開し得る。一方のインフレータ１８を動作させる場合、エアバック１５は、低い圧力で展開し得る。複数のインフレータ１８の動作開始タイミングを互いにずらすことにより、それらがそろっている場合とは異なる圧力変化でエアバック１５を展開できる。
ベース部材１６には、エアバック１５が取り付けられ、エアバック１５を折りたたんで収納する。なお、複数のインフレータ１８も、ベース部材１６に設けられてよい。
エアバックアクチュエータ１７は、ベース部材１６を駆動し、ベース部材１６の位置または向きを調整する。ベース部材１６がたとえば車幅方向、前後方向、上下方向へ移動可能に車体２に取り付けられている場合、エアバックアクチュエータ１７は、ベース部材１６をスライド駆動してその位置を調整する。
ベース部材１６が取り付け位置において回転可能に設けられている場合、エアバックアクチュエータ１７は、ベース部材１６を回転駆動してその向きを調整する。
保護メモリ１２は、たとえば半導体メモリである。保護メモリ１２は、乗員保護のためのプログラム、および設定データなどを記録する。
乗員保護ＥＣＵ１１は、たとえばマイクロコンピュータである。乗員保護ＥＣＵ１１は、保護メモリ１２に記録されているプログラムを読み込んで実行する。これにより、乗員保護ＥＣＵ１１は、乗員保護制御部として機能する。

【0022】

乗員保護制御部としての乗員保護ＥＣＵ１１は、自動車１の衝突が予測されたり、自動車１の衝突が検出されたりすると、乗員保護制御を実行する。乗員保護ＥＣＵ１１は、自動車１の衝突の検出または不可避の検出に基づいて、乗員保護制御を実行してよい。その際、乗員保護ＥＣＵ１１は、図１に示すような衝撃の入力位置および強度、車速、シート４に着座する乗員の上体および頭部の位置および向きなどに基づいて、乗車している乗員に応じた保護制御を実行してよい。たとえば乗員保護ＥＣＵ１１は、乗員を保護するために、乗員の上体が倒れ込む方向へエアバック１５を展開する。乗員保護ＥＣＵ１１は、衝撃の強度に応じたテンションをシートベルト部材１９のシートベルト１３に加える。これにより、衝突の際に倒れ込む乗員の上体をシートベルト１３により支え、それでも倒れ込む乗員の上体の衝撃を展開したエアバッグで吸収することができる。
このような制御を実行することにより、乗員保護装置１０は、多種多様な衝突形態に対応して、衝突時の乗員の乗車状態に応じてそれに適した最適な乗員保護を実行できる。

【0023】

図３は、乗員の乗車状態などに応じた最適保護制御のために図２の乗員保護装置１０が必要とする情報の一例の説明図である。
図３（Ａ）は、衝突予測情報である。図３（Ａ）の衝突予測情報には、衝撃の入力位置、衝撃の強度、車速、が含まれる。衝撃の入力位置、強度の予測情報は、たとえば車外撮像デバイス４７により撮像される他の動体との相対移動に基づいて予測することが可能である。自車の車速は、車速センサ４５により検出できる。
図３（Ｂ）は、乗員情報である。図３（Ｂ）の乗員情報は、たとえばドライバといった乗員の上体の位置（着座位置）、上体の向き、頭部の位置、頭部の向き、が含まれる。これらの情報は、自動車１に乗車している乗員の撮像画像に基づいて乗員を監視する乗員監視装置３３により生成することができる。

【0024】

これらの情報が取得できる場合、乗員保護ＥＣＵ１１は、多種多様な衝突形態に対応して、衝突時の乗員の乗車状態に応じてそれに適した最適な乗員保護を実行することが可能になる。
逆に、これらの情報の一部でも取得できない場合、乗員保護ＥＣＵ１１は、たとえば衝突時の乗員の乗車状態によらない衝突形態のみに応じた通常の乗員保護を実行することになる。このような通常の乗員保護は、必ずしも乗員の乗車状態に対応した最適な保護とは言い切れない可能性があり、最小公倍数的な保護になる可能性がある。
このように、乗員保護装置１０が高度な乗員保護を実行するためには、車体２への衝撃の入力位置および強度の情報だけでなく、さらに他にもたとえば、衝突時の乗員の着座状態についての高精度に検出した情報が必要となる。

【0025】

図４は、図１の自動車１に設けられる制御システム３０の一例の構成図である。
図４の制御システム３０は、車内撮像デバイス３１の車内撮像ＥＣＵ３２、乗員監視装置３３の乗員監視ＥＣＵ３４、システムタイマ３５、乗員保護装置１０の乗員保護ＥＣＵ１１、無線通信ネットワーク３６を通じて情報サーバ３７と通信する通信デバイス３８、操作デバイス３９、運転支援ＥＣＵ４０、自動運転ＥＣＵ４１、衝突予測ＥＣＵ４２、センサＥＣＵ４３、およびこれらが接続される車載ネットワーク４４、を有する。

【0026】

車載ネットワーク４４は、たとえばＣＡＮといった規格に基づく車両用のデータ通信ネットワークである。

【0027】

システムタイマ３５は、時刻、時間を計測する。システムタイマ３５は、計測する時刻や経過時間のデータを、車載ネットワーク４４へ出力する。

【0028】

センサＥＣＵ４３には、たとえば車速センサ４５、加速度センサ４６、車外撮像デバイス４７、が接続される。センサＥＣＵ４３は、これらのセンサの動作を制御し、たとえば、車外撮像デバイス４７センサにより検出された車外の撮像画像、加速度センサ４６により検出される自動車１の加速度といった情報を、車載ネットワーク４４へ出力する。

【0029】

衝突予測ＥＣＵ４２は、車外の撮像画像、車速などに基づいて、自動車１の衝突を予測する。衝突予測ＥＣＵ４２は、衝突予測データを、車載ネットワーク４４へ出力する。

【0030】

通信デバイス３８は、図示外の基地局と無線通信して、無線通信ネットワーク３６を通じて情報サーバ３７とデータを送受する。通信デバイス３８は、たとえば地図データ、交通情報、を情報サーバ３７から取得してよい。

【0031】

操作デバイス３９は、車体２に設けられて乗員により操作される操作デバイス３９である。操作デバイス３９には、たとえば操舵用のハンドル、アクセルペダル、ブレーキペダル、シフトレバー、がある。

【0032】

運転支援ＥＣＵ４０は、操作デバイス３９が乗員の操作に応じて生成する操作データを取得し、操作データに応じた走行制御データを生成する。運転支援ＥＣＵ４０は、車載ネットワーク４４を通じて、図示外のエンジンの動作を制御する駆動源ＥＣＵ、図示外の制動装置を制御する制動ＥＣＵ、図示外のステアリング装置を制御する操舵ＥＣＵへ、走行制御データを出力する。これにより、自動車１は、乗員の操作に応じて走行して移動する。

【0033】

自動運転ＥＣＵ４１は、目的地までの経路設定などに基づいて、目的地まで自動車１を走行させる。自動運転ＥＣＵ４１は、走行する道路の走行環境に応じて自動車１の移動を制御する走行制御データを生成する。自動運転ＥＣＵ４１は、車載ネットワーク４４を通じて上述した駆動源ＥＣＵ、制動ＥＣＵ、操舵ＥＣＵへ、走行制御データを出力する。これより、自動車１は、乗員の操作によらずに自律的に目的地まで走行して移動する。

【0034】

車内撮像ＥＣＵ３２は、車内撮像デバイス３１の動作を制御し、自動車１に乗車している乗員を撮像する。車内撮像ＥＣＵ３２は、車内撮像デバイス３１にて撮像した画像を、車載ネットワーク４４へ出力する。

【0035】

乗員監視ＥＣＵ３４は、乗員監視装置３３の動作を制御する。乗員監視ＥＣＵ３４は、たとえば車載ネットワーク４４を通じて車内撮像ＥＣＵ３２へ撮像の設定データを出力する。乗員監視ＥＣＵ３４は、車内撮像デバイス３１から出力される撮像画像を取得し、取得した撮像画像に基づいて自動車１に乗車している乗員を監視する。また、乗員監視ＥＣＵ３４は、自動車１の衝突が予測された場合、乗員の乗車状態を、車載ネットワーク４４へ出力する。

【0036】

乗員保護ＥＣＵ１１は、乗員保護装置１０の動作を制御する。乗員保護ＥＣＵ１１は、自動車１の衝突が予測された場合、さらには加速度センサ４６により自動車１の衝突による加速度が検出された場合、乗員などを保護する制御を実行する。乗員保護ＥＣＵ１１は、自動車１の衝突の検出または衝突の不可避の検出に基づいて、乗員を保護するための最終的な制御を実行する。そして、乗員保護ＥＣＵ１１は、衝突時の情報として、乗員監視装置３３の監視結果を含む十分なものが得られる場合、多種多様な衝突形態に対応して、衝突時の乗員の乗車状態に応じた最適な乗員保護を実行してよい。乗員保護ＥＣＵ１１は、衝突時の情報として十分なものが得られない場合、衝突形態や乗員の乗車状態によらない通常の乗員保護を実行してよい。

【0037】

図５は、図４の車内撮像デバイス３１および乗員監視装置３３を含む、乗員保護システム６０の主な構成図である。
図５の乗員保護システム６０は、車内撮像デバイス３１を有する乗員監視装置３３、乗員保護ＥＣＵ１１、を有する。
車内撮像デバイス３１は、撮像素子６１、発光素子６２、およびこれらが接続される車内撮像ＥＣＵ３２、を有する。

【0038】

撮像素子６１および発光素子６２は、たとえば車室３の前部中央において後ろ向きに設けられてよい。撮像素子６１および発光素子６２は、たとえばダッシュボードの中央において後ろ向きに設けられてよい。撮像素子６１および発光素子６２は、使用しない場合には車体２から取り外しできるように設置されてよい。そして、撮像素子６１は、基本的に車室３において車幅方向に並べられる一対のシート４およびこれらに着座する複数の乗員を撮像可能な画角を有する。これにより、撮像素子６１は、自動車１に乗車している複数の乗員を撮像することができる。

【0039】

ここで、複数の乗員の身体を全体的に撮像する画角の範囲を、通常撮像範囲Ａ１という。通常撮像範囲Ａ１は、たとえばドライバといった乗員の身体を全体的に撮像する画角の範囲でもよい。また、通常撮像範囲Ａ１の一部であるドライバの上体および頭部を撮像する画角の範囲を、上体撮像範囲Ａ２という。また、上体撮像範囲Ａ２の一部であるドライバの頭部を撮像する画角の範囲を、頭部撮像範囲Ａ３という。また、発光素子６２は、撮像される複数の乗員の頭部に対して、たとえば赤外線光を照射する。

【0040】

車内撮像ＥＣＵ３２は、内部に設定メモリ６３を有する。設定メモリ６３には、プログラムおよび設定データが記録される。設定メモリ６３には、たとえば撮像画像の出力フレームレートの設定データ、撮像範囲の設定データが記録されてよい。設定データは、乗員監視ＥＣＵ３４の指示に基づいて変更されてよい。

【0041】

車内撮像ＥＣＵ３２は、設定メモリ６３のプログラムを読み込んで実行する。これにより、車内撮像ＥＣＵ３２には、車内撮像制御部の機能として、たとえば投光制御部６５、撮像制御部６６、切出部６７、評価部６８、補正部６９、出力部７０、が実現される。

【0042】

投光制御部６５は、発光素子６２による投光を制御する。投光制御部６５は、たとえば衝突が予測された場合には、衝突回避が判断されるまで、発光素子６２を最大光量で投光させてよい。

【0043】

撮像制御部６６は、設定メモリ６３の設定に基づいて、撮像素子６１による撮像を制御する。撮像制御部６６は、設定されている撮像フレームレートにより撮像素子６１に撮像させる。

【0044】

切出部６７は、設定メモリ６３の設定に基づいて、撮像素子６１の撮像画像から指定された範囲の画像を切り出す。これにより、撮像範囲の撮像画像が生成される。通常撮像範囲Ａ１の撮像画像の場合、切出部６７は、撮像素子６１の撮像画像をそのまま、撮像範囲の撮像画像としてよい。

【0045】

評価部６８は、切出部６７により生成された撮像画像について、たとえば露出といった画質を評価する。評価部６８は、撮像画像の全体の画素値の平均を演算し、その平均値を評価値として生成する。

【0046】

補正部６９は、評価部６８の評価値に基づいて、切出部６７により生成された撮像範囲の撮像画像の画質を補正する。たとえば、補正部６９は、評価部６８による画像全体の露出の評価値に基づいて、画像全体の平均的な露出が所定の明るさとなるように、撮像画像の全体の画素値を補正する。これにより、撮像範囲の撮像画像は、その後の処理に利用しやすい露出（明るさ）の画像となる。

【0047】

出力部７０は、補正部６９により補正された後の撮像範囲の撮像画像を、車載ネットワーク４４を通じて乗員監視ＥＣＵ３４などへ出力する。
これにより、車内撮像デバイス３１の出力部７０からは、乗員監視ＥＣＵ３４が指定した出力フレームレートごとに、乗員監視ＥＣＵ３４が指定した撮像範囲の撮像画像が出力される。

【0048】

図６は、図４の乗員監視ＥＣＵ３４による撮像制御のフローチャートである。
乗員監視ＥＣＵ３４は、たとえば自動車１の車載ネットワーク４４が起動すると、図６の処理を開始する。乗員監視ＥＣＵ３４は、たとえば自動車１の車載ネットワーク４４が停止するまで図６の処理の実行を継続する。

【0049】

ステップＳＴ１において、乗員監視ＥＣＵ３４は、第一撮像範囲としての通常撮像範囲Ａ１での撮像を、設定メモリ６３に設定する。これにより、車内撮像デバイス３１は、自動車１に乗車している複数の乗員の身体を全体的に撮像した通常撮像範囲Ａ１の撮像画像を出力する。車内撮像デバイス３１は、通常のフレームレートにて、撮像素子６１のすべての画素による通常撮像範囲Ａ１の撮像画像を出力する。

【0050】

ステップＳＴ２において、乗員監視ＥＣＵ３４は、車内撮像デバイス３１から出力される通常撮像範囲Ａ１の撮像画像を取得する。また、乗員監視ＥＣＵ３４は、通常撮像範囲Ａ１の撮像画像から、自動車１に乗車しているドライバの上体および頭部を抽出する。そして、乗員監視ＥＣＵ３４は、通常撮像範囲Ａ１における上体および頭部の撮像位置および範囲などに基づいて、車室３におけるドライバの上体の位置および向き、並びに頭部の位置および向きを判定する。

【0051】

ステップＳＴ３において、乗員監視ＥＣＵ３４は、ステップＳＴ２で判定したドライバの上体および頭部の撮像範囲の情報と、頭部のみの撮像範囲の情報とを、車載ネットワーク４４を通じて車内撮像デバイス３１へ出力する。車内撮像ＥＣＵ３２は、取得したドライバの上体および頭部の撮像範囲を、上体撮像範囲Ａ２として設定メモリ６３に記録する。車内撮像ＥＣＵ３２は、取得したドライバの頭部のみの撮像範囲を、頭部撮像範囲Ａ３として設定メモリ６３に記録する。車内撮像ＥＣＵ３２は、その後の処理において、更新した上体撮像範囲Ａ２および頭部撮像範囲Ａ３を使用することになる。

【0052】

ステップＳＴ４において、乗員監視ＥＣＵ３４は、自動車１の衝突が予測されているか否かを判断する。衝突予測ＥＣＵ４２は、車外撮像デバイス４７の画像や通信デバイス３８の情報などに基づいて、自車の衝突の可能性を判断する。自車の衝突の可能性がある場合、衝突予測ＥＣＵ４２は、衝突予測の情報を、車載ネットワーク４４へ出力する。乗員監視ＥＣＵ３４は、衝突予測の情報がある場合、自動車１の衝突が予測されていると判断し、処理をステップＳＴ５へ進める。これ以外の場合、乗員監視ＥＣＵ３４は、自動車１の衝突が予測されていないと判断し、処理をステップＳＴ２へ戻す。乗員監視ＥＣＵ３４は、衝突が予測されるまで、ステップＳＴ２からステップＳＴ４の処理を繰り返し、設定メモリ６３に記録される上体撮像範囲Ａ２および頭部撮像範囲Ａ３を最新の通常撮像画像に基づいて更新し続ける。

【0053】

ステップＳＴ５において、乗員監視ＥＣＵ３４は、最新の通常撮像画像に基づいて、ドライバの上体および頭部の位置および向きを高精度に判定可能か否かを判断する。
ドライバの撮像環境は、自動車１の走行環境などに応じて時々刻々と大きく変化する。たとえば図５に示すように夕日または朝日が通常撮像画像に映り込む場合、車外が明るくなり、露出などの画質調整により車内は相対的に暗くなる。この場合、ドライバの上体および頭部も、相対的に暗く撮像されることになる。この他にもたとえば、日光や他の自動車１のハイビームなどの強い光が、ドライバの頭部や上体へ照射されている場合、露出などの画質調整をしても、照射されている部分が画像にはっきりと映らないことがある。このようなドライバの上体および頭部がはっきりと画像に映らない場合、ドライバの上体および頭部の位置および向きを高精度に判定することは難しい。
このため、乗員監視ＥＣＵ３４は、たとえば最新の通常撮像画像をエッジ処理し、エッジ処理後の通常撮像範囲Ａ１の画像において顔の輪郭、目、鼻、口、肩といった所定の特徴が抽出できるか否かを試みる。画像に頭部がはっきりと映っている場合、エッジ処理後の画像において顔の所定の特徴を抽出できる。この場合、乗員監視ＥＣＵ３４は、ドライバの上体および頭部の位置および向きを高精度に判定可能であると判断し、処理をステップＳＴ１８へ進める。高精度に判定可能でない場合、乗員監視ＥＣＵ３４は、処理をステップＳＴ６へ進める。

【0054】

ステップＳＴ６において、乗員監視ＥＣＵ３４は、第二撮像範囲としての上体撮像範囲Ａ２での撮像を、設定メモリ６３に設定する。これにより、車内撮像デバイス３１は、自動車１に乗車しているドライバの乗員の頭部を含む上体を全体的に撮像した上体撮像範囲Ａ２の撮像画像の出力を開始する。車内撮像デバイス３１は、通常のフレームレートにて、撮像素子６１の一部の画素による上体撮像範囲Ａ２の撮像画像を出力し始める。
このように、乗員監視ＥＣＵ３４は、自動車１の衝突が自動車１の衝突の検出前に予測される際に通常撮像画像に基づいて乗員の乗車状態を高精度に判定できない場合、車内撮像デバイス３１から出力される撮像画像の撮像範囲（画角）を狭く切替える。

【0055】

ステップＳＴ７において、乗員監視ＥＣＵ３４は、車内撮像デバイス３１から出力される上体撮像範囲Ａ２の撮像画像を取得する。また、乗員監視ＥＣＵ３４は、上体撮像画像から、自動車１に乗車しているドライバの上体および頭部を抽出する。そして、乗員監視ＥＣＵ３４は、上体撮像範囲Ａ２における上体および頭部の撮像位置および範囲などに基づいて、車室３におけるドライバの上体の位置および向き、並びに頭部の位置および向きを判定する。

【0056】

ステップＳＴ８において、乗員監視ＥＣＵ３４は、最新の上体撮像画像に基づいて、ドライバの上体および頭部の位置および向きを高精度に判定可能か否かを判断する。ステップＳＴ５の場合と比べて撮像範囲は、狭くなっている。これにより、太陽が画像に映り込み難くなる。また、ドライバの上体および頭部に強い光が照射されているとしても、それを含む画像全体での輝度の差といった画質の差は小さくなる。ドライバの上体および頭部は、ステップＳＴ５の場合と比べてはっきりと画像に映りやすくなる。
乗員監視ＥＣＵ３４は、たとえば最新の上体撮像画像をエッジ処理し、エッジ処理後の上体撮像範囲Ａ２の画像において顔の輪郭、目、鼻、口、肩といった所定の特徴が抽出できるか否かを試みる。画像に頭部がはっきりと映っている場合、エッジ処理後の画像において顔の所定の特徴を抽出できる。この場合、乗員監視ＥＣＵ３４は、ドライバの上体および頭部の位置および向きを上体撮像画像により高精度に判定可能であると判断し、処理をステップＳＴ１８へ進める。高精度に判定可能でない場合、乗員監視ＥＣＵ３４は、処理をステップＳＴ９へ進める。

【0057】

ステップＳＴ９において、乗員監視ＥＣＵ３４は、第三撮像範囲としての頭部撮像範囲Ａ３での撮像を、設定メモリ６３に設定する。これにより、車内撮像デバイス３１は、自動車１に乗車しているドライバの乗員の頭部を全体的に撮像した頭部撮像範囲Ａ３の撮像画像の出力を開始する。車内撮像デバイス３１は、通常のフレームレートにて、撮像素子６１の一部の画素による頭部撮像範囲Ａ３の撮像画像を出力し始める。
このように、乗員監視ＥＣＵ３４は、自動車１の衝突が自動車１の衝突の検出前に予測される際に通常撮像画像および上体撮像画像に基づいて乗員の乗車状態を高精度に判定できない場合、車内撮像デバイス３１から出力される撮像画像の撮像範囲（画角）をさらに狭く切替える。

【0058】

ステップＳＴ１０において、乗員監視ＥＣＵ３４は、車内撮像デバイス３１から出力される頭部撮像範囲Ａ３の撮像画像を取得する。また、乗員監視ＥＣＵ３４は、頭部撮像画像から、自動車１に乗車しているドライバの頭部を抽出する。そして、乗員監視ＥＣＵ３４は、頭部撮像範囲Ａ３における頭部の撮像位置および範囲などに基づいて、車室３におけるドライバの頭部の位置および向きを判定する。

【0059】

ステップＳＴ１１において、乗員監視ＥＣＵ３４は、最新の頭部撮像画像に基づいて、ドライバの頭部の位置および向きを高精度に判定可能か否かを判断する。ステップＳＴ５またはステップＳＴ８の場合と比べて撮像範囲は、狭くなっている。これにより、太陽が画像に映り込み難くなる。また、ドライバの上体および頭部に強い光が照射されているとしても、それを含む画像全体での輝度の差といった画質の差は小さくなる。ドライバの頭部は、ステップＳＴ５の場合やステップＳＴ８の場合と比べてはっきりと画像に映りやすくなる。
乗員監視ＥＣＵ３４は、たとえば最新の頭部撮像画像をエッジ処理し、エッジ処理後の頭部撮像範囲Ａ３の画像において顔の輪郭、目、鼻、口といった所定の特徴が抽出できるか否かを試みる。画像に頭部がはっきりと映っている場合、エッジ処理後の画像において顔の所定の特徴を抽出できる。この場合、乗員監視ＥＣＵ３４は、ドライバの上体および頭部の位置および向きを頭部撮像画像などにより高精度に判定可能であると判断し、処理をステップＳＴ１８へ進める。高精度に判定可能でない場合、乗員監視ＥＣＵ３４は、処理をステップＳＴ１２へ進める。

【0060】

ステップＳＴ１２において、乗員監視ＥＣＵ３４は、頭部撮像範囲Ａ３を複数に分けて撮像する微小範囲Ａ４ごとの撮像を、設定メモリ６３に設定する。具体的にはたとえば、乗員監視ＥＣＵ３４は、１回の撮像範囲を、車内撮像デバイス３１において設定可能な最小の範囲に設定する。また、乗員監視ＥＣＵ３４は、車内撮像デバイス３１から撮像画像を出力する出力フレームレートを、車内撮像デバイス３１において設定可能な最大のものに上げるように設定する。これにより、車内撮像デバイス３１は、頭部撮像範囲Ａ３を微小範囲Ａ４ごとに撮像する微小画像の出力を開始する。車内撮像デバイス３１は、最大のフレームレートにて高速に、微小範囲Ａ４ごとに頭部撮像範囲Ａ３を撮像した撮像画像を出力し始める。

【0061】

ステップＳＴ１３において、乗員監視ＥＣＵ３４は、車内撮像デバイス３１から、頭部撮像範囲Ａ３を微小範囲Ａ４ごとに撮像した微小画像を取得する。

【0062】

ステップＳＴ１４において、乗員監視ＥＣＵ３４は、頭部撮像範囲Ａ３についての１組の複数の微小画像を取得が完了したか否かを判断する。１組の微小画像の取得が完了していない場合、乗員監視ＥＣＵ３４は、処理をステップＳＴ１３へ戻す。乗員監視ＥＣＵ３４は、頭部撮像範囲Ａ３についての１組の複数の微小画像を取得し終えるまで、ステップＳＴ１３およびステップＳＴ１４の処理を繰り返す。頭部撮像範囲Ａ３についての１組の複数の微小画像を取得し終えると、乗員監視ＥＣＵ３４は、処理をステップＳＴ１５へ進める。

【0063】

ステップＳＴ１５において、乗員監視ＥＣＵ３４は、取得した頭部撮像範囲Ａ３についての１組の複数の微小画像を合成し、頭部撮像範囲Ａ３の画像を生成する。乗員監視ＥＣＵ３４は、たとえば微小画像ごとにエッジ処理を実行し、エッジ処理後の複数の微小画像を合成して、頭部撮像範囲Ａ３のエッジ画像を生成してよい。微小画像ごとにエッジ処理することにより、各画像に含まれる頭部の特徴が、エッジ画像に残りやすくなる。また、エッジ画像を合成することにより、元画像の画質の違いが抑制されて、エッジ画像同士の接続部分において、頭部の特徴が連続的に得られやすくなる。合成画像において頭部の特徴を全体的に得やすくなる。

【0064】

ステップＳＴ１６において、乗員監視ＥＣＵ３４は、合成した頭部撮像画像に基づいて、ドライバの頭部の位置および向きを高精度に判定可能か否かを判断する。微小画像ごとにエッジ処理して合成した画像では、頭部撮像画像の全体をエッジ処理した画像と比べて、顔の特徴に対応するエッジ成分が画像に残りやすい。ドライバの頭部の特徴は、ステップＳＴ１０の場合と比べてはっきりと画像に映りやすくなる。
乗員監視ＥＣＵ３４は、たとえばエッジ処理済みの合成画像において顔の輪郭、目、鼻、口といった所定の特徴が抽出できるか否かを試みる。画像に頭部がはっきりと映っている場合、エッジ処理後の画像において顔の所定の特徴を抽出できる。この場合、乗員監視ＥＣＵ３４は、ドライバの上体および頭部の位置および向きを頭部撮像画像などにより高精度に判定可能であると判断し、処理をステップＳＴ１７へ進める。高精度に判定可能でない場合、乗員監視ＥＣＵ３４は、処理をステップＳＴ１９へ進める。

【0065】

ステップＳＴ１７において、乗員監視ＥＣＵ３４は、上体撮像範囲Ａ２についての分割撮像を実行する。乗員監視ＥＣＵ３４は、上体撮像範囲Ａ２の撮像を設定メモリ６３に設定し、車内撮像デバイス３１から上体撮像画像を複数に分割して撮像した複数の微小画像を取得する。乗員監視ＥＣＵ３４は、複数の微小画像をエッジ処理してから合成し、ドライバの上体撮像画像を取得する。乗員監視ＥＣＵ３４は、合成によるドライバの上体撮像画像に基づいて、ドライバの肩といった特徴に基づいて、ドライバの上体の位置および向きを判定する。

【0066】

ステップＳＴ１８において、乗員監視ＥＣＵ３４は、高精度判定によるドライバの上体の位置および向き並びに頭部の位置および向きといった、ドライバの乗車状態の情報を、車載ネットワーク４４へ出力する。乗員保護ＥＣＵ１１は、この高精度に判定されたドライバの乗車状態の情報を取得し、保護メモリ１２に乗員情報の設定データとして記録する。その後に衝突が検出されると、乗員保護ＥＣＵ１１は、保護メモリ１２の設定データに基づいて、乗員に対する保護制御を実行する。乗員保護ＥＣＵ１１は、高精度に判定されたドライバの乗車状態の乗員情報に基づいて、多種多様な衝突形態において衝突時の乗員の乗車状態に応じた最適な乗員保護を実行することが可能になる。

【0067】

ステップＳＴ１９において、乗員監視ＥＣＵ３４は、衝突までの残時間が残っているか否かを判断する。乗員監視ＥＣＵ３４は、たとえばシステムタイマ３５で計測されている現時刻から衝突が予想されているタイミングまでの残時間が、たとえばステップＳＴ１３からステップＳＴ１７までの処理に必要とされる時間以上である場合、衝突までの残時間が残っていると判断し、処理をステップＳＴ１３へ戻す。この場合、乗員監視ＥＣＵ３４は、衝突までの残時間が不足するようになるまで、ステップＳＴ１３からステップＳＴ１７までの処理を繰り返し実行し、ドライバの頭部の位置および向きを高精度に判定することを試みる。乗員監視ＥＣＵ３４は、乗員保護ＥＣＵ１１が自動車１の衝突検出に基づく乗員の保護制御を実行するまでに残時間がある場合、車内撮像デバイス３１により頭部撮像範囲Ａ３を複数に分割して撮像する処理を繰り返す。残時間が不足する場合、乗員監視ＥＣＵ３４は、処理をステップＳＴ２０へ進める。

【0068】

ステップＳＴ２０において、乗員監視ＥＣＵ３４は、ドライバの乗車状態についての高精度な判定ができないため、ドライバの最小限の乗車状態の情報を、車載ネットワーク４４へ出力する。乗員保護ＥＣＵ１１は、この簡易的なドライバの乗車状態の情報を取得し、保護メモリ１２に乗員情報の設定データとして記録する。その後に衝突が検出されると、乗員保護ＥＣＵ１１は、保護メモリ１２の設定データに基づいて、乗員に対する通常の保護制御を実行する。乗員保護ＥＣＵ１１は、たとえばドライバの乗車状態を用いることなく、衝突形態のみに応じた汎用的な乗員保護を実行してよい。

【0069】

図７は、車内撮像デバイス３１の通常撮像画像に太陽が映る場合の説明図である。
図７（Ａ）は、通常撮像画像である。図７（Ｂ）は、ドライバの上体撮像画像である。図７（Ｃ）は、ドライバの頭部撮像画像である。
図７の撮像環境では、通常撮像画像に太陽が映っている。

【0070】

この場合、車内撮像デバイス３１は、図７（Ａ）の通常撮像範囲Ａ１の撮像画像については、太陽のある車外の輝度が得られるように、画像全体の輝度を下げるように画質を補正する。その結果、車内に存在するドライバなどの乗員の上体および頭部は、その位置または向きが判定できないように暗く映る。乗員監視ＥＣＵ３４は、ステップＳＴ５の判断において、通常撮像画像について高精度の判定が不可能であると判断する。

【0071】

また、図７（Ｂ）の通常撮像範囲Ａ１の撮像画像には、太陽が映っていない。この場合、車内撮像デバイス３１は、逆光と車内との輝度が得られるように、画像全体の輝度といった画質を補正する。その結果、車内に存在するドライバなどの乗員の上体および頭部は、図７（Ａ）の通常撮像画像と比べて明るく映る。乗員監視ＥＣＵ３４は、ステップＳＴ８の判断において、上体撮像画像について高精度の判定が不可能であると判断することもある。実際に、図７（Ｂ）の上体撮像画像では、図７（Ａ）の通常撮像画像と異なり、ドライバの頭部の鼻や口といった特徴が画像に映っている。

【0072】

しかしながら、上体撮像画像についても高精度の判定が不可能である場合、車内撮像デバイス３１は、図７（Ｃ）の頭部撮像画像を撮像する。この場合、基本的に乗員の頭部といった車内しか映っていない。したがって、車内撮像デバイス３１は、逆光の影響を取り除くように、画像全体の輝度を上げるように画質を補正する。その結果、図７（Ｃ）の頭部撮像画像では、図７（Ｂ）の上体撮像画像よりもはっきりと、ドライバの頭部の眼、鼻および口といった特徴が画像に映る。この場合、乗員監視ＥＣＵ３４は、ステップＳＴ１１の判断において、頭部撮像画像について高精度の判定が可能であると判断することができる。

【0073】

図８は、ドライバの頭部撮像画像において、頭部の一部が欠けて映る場合の説明図である。
図８（Ａ）は、ステップＳＴ９によるドライバの頭部撮像画像である。
図８（Ｂ）は、ステップＳＴ１２により分割して撮像された複数の微小画像の合成画像である。
図８の撮像環境では、ドライバの頭部の右半分に、太陽などによる強い光が照射されている。

【0074】

この場合、車内撮像デバイス３１は、頭部の右半分の輝度が得られるように、図８（Ａ）の頭部撮像画像では画像全体の輝度を下げるように画質を補正する。その結果、車内に存在するドライバなどの乗員の頭部の残部は、その位置または向きが判定できないように暗く映る。乗員監視ＥＣＵ３４は、ステップＳＴ１１の判断において頭部撮像画像について高精度の判定が不可能であると判断する。
そして、車内撮像デバイス３１は、乗員監視ＥＣＵ３４の指示に基づいて、図８（Ｂ）のように頭部撮像画像を複数の微小範囲Ａ４ごとに分割して撮像する。図８（Ｂ）の例では、車内撮像デバイス３１は、最初に頭部撮像画像の中央の微小範囲Ａ４を撮像し、その後に周囲の複数の微小範囲Ａ４を右回りの順番で且つ内から外への順番で撮像する。乗員監視ＥＣＵ３４は、左上の最後の微小範囲Ａ４の画像を取得すると、画像合成を実行する。
これにより、図８（Ｂ）の合成画像では、図８（Ａ）の頭部撮像画像よりもはっきりと、ドライバの頭部の眼、鼻および口といった特徴が画像に映る。この場合、乗員監視ＥＣＵ３４は、ステップＳＴ１６の判断において、合成画像について高精度の判定が可能であると判断することができる。

【0075】

これらの図７および図８に示すように、乗員監視ＥＣＵ３４は、通常撮像画像ではたとえば撮像範囲の一部が明るいことに起因してドライバの上体や頭部などが白飛びや黒抜けするような場合であっても、撮像範囲を狭めて撮像画像を取得することによりその狭めた範囲の撮像画像に基づいて高精度の乗員の乗車状態の判定が可能となる。また、乗員保護ＥＣＵ１１は、乗員の乗車状態についての高精度の判定結果に基づいて、乗員の乗車状態に応じた最適な乗員保護制御を実行することができる。

【0076】

以上のように、本実施形態では、乗員監視装置３３は、車内撮像デバイス３１から出力される撮像画像に基づいて、乗員の上体または頭部についての自動車１での乗車状態、たとえば位置、向き、姿勢などを判定できない場合、車内撮像デバイス３１から出力される撮像画像の撮像範囲（画角）を、判定できなかった撮像画像より狭く切替える。撮像範囲が狭く切替えられることにより撮像画像には乗員以外のものが入り難くなり、車内撮像デバイス３１が自動車１に乗車している乗員を適切に撮像できるようになることが期待できる。その結果、乗員監視装置３３は、切替え後の撮像画像に基づいて、乗員の上体または頭部についての自動車１での乗車状態を判定できる。また、乗員保護装置１０は、自動車１での乗車状態をより確からしく判定した乗員監視装置３３の監視結果に基づいて、自動車１に乗車している乗員に応じた保護制御を適切に実行することが可能になる。
自動車１において、乗員を撮像する車内撮像デバイス３１は、基本的に車内において固定的な位置および向きに設置される。このため、たとえば撮像範囲に朝日や夕日が入る場合、画像全体が白飛びする可能性がある。画像全体が白飛びする場合、その撮像画像に基づいて乗員の上体または頭部についての自動車１での乗車状態を正確に判定することが難しくなる。この場合、不正確な判定に基づいて乗員に対する保護制御を実行することになり、自動車１に乗車している乗員に対して保護制御を適切に実行できない可能性が高くなる。
これに対し、本実施形態では、車内撮像デバイス３１から出力される撮像画像に基づいて、乗員の上体または頭部についての自動車１での乗車状態を判定できない場合、車内撮像デバイス３１から出力される撮像画像の撮像範囲を狭く切替える。たとえば、車内撮像デバイス３１から出力される撮像画像に基づいて、乗員の上体または頭部についての自動車１での乗車状態を判定できない場合、車内撮像デバイス３１から出力される撮像画像の撮像範囲を、判定できなかった撮像画像より狭く切替える。これにより、乗員を撮像する車内撮像デバイス３１が車内において固定的な位置および向きに設置されていたとしても、乗員監視装置３３は、切り替え後の、たとえば朝日や夕日の映り込みがない撮像画像に基づいて、乗員の上体または頭部についての自動車１での乗車状態を正確に判定できるようになる。正確な判定に基づいて乗員に対する保護制御を実行でき、自動車１に乗車している乗員に対して保護制御を適切に実行できるようになる。本実施形態の乗員監視装置３３を用いることにより、乗員保護装置１０は、多種多様な衝突形態において、衝突時の乗員の乗車状態などに応じてそれに適した乗員保護を実行することが可能になる。

【0077】

特に、本実施形態では、車内撮像デバイス３１は、それ自体において撮像画像を評価してたとえば露出といった画質を補正して出力する。このような車内撮像デバイス３１を用いると、たとえば太陽光などの強い光が乗員の頭部や上体で反射されるとき、撮像画像は最も明るい部位の像が得られるように、撮像画像の露出といった画質を全体的に抑えるように補正されることになる。たとえば眼鏡のガラスのみが適正露出となるように、画像全体を暗くする。このように撮像画像において高輝度部位以外が暗くなると、乗員監視装置３３は、撮像画像において乗員の頭部や上体の位置や向きを正確に判定し難くなる。本実施形態では、このような補正が車内撮像デバイス３１において実行される場合には、車内撮像デバイス３１から出力される撮像画像の撮像範囲を狭く切替える。撮像画像の撮像範囲を狭く切替えることにより、撮像画像において高輝度部位とそれ以外の部分との画質の差、たとえば輝度の差が小さくなることが期待できる。高輝度部位以外の部分が暗くなり難くなる。乗員監視装置３３は、高輝度部位以外の部分の画像に基づいて、乗員の頭部や上体の位置や向きを判定することができるようになる。

【0078】

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるのもではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

【0079】

たとえば上記実施形態では、通常撮像画像において乗員の乗車状態を高精度に特定できない場合、乗員監視ＥＣＵ３４は、車内撮像デバイス３１の撮像範囲を、通常撮像範囲Ａ１から頭部を含む上体撮像範囲Ａ２へ、さらに上体撮像範囲Ａ２から頭部撮像範囲Ａ３へ順番に三段階に狭めるように切り替えている。
この他にもたとえば、乗員監視ＥＣＵ３４は、車内撮像デバイス３１の撮像範囲を、二段階で狭めるように切り替えても、四段階以上で狭めるように切り替えても、よい。
たとえば、乗員監視ＥＣＵ３４は、通常撮像画像から頭部撮像範囲Ａ３へ二段階に切り替えてもよい。また、乗員監視ＥＣＵ３４は、通常撮像画像から上体撮像範囲Ａ２へ二段階に切り替えるだけてもよい。

【0080】

上記実施形態では、乗員監視ＥＣＵ３４は、頭部撮像範囲Ａ３について、複数の微小範囲Ａ４ごとに分割撮像している。
この他にもたとえば、乗員監視ＥＣＵ３４は、上体撮像範囲Ａ２について、複数の微小範囲Ａ４ごとに分割撮像してもよい。

【0081】

上記実施形態では、乗員監視ＥＣＵ３４は、頭部撮像範囲Ａ３を複数の微小範囲Ａ４ごとに分割撮像する場合に、車内撮像デバイス３１から出力される出力フレームレートを、通常のフレームレートから最大のフレームレートへ上げている。
この他にもたとえば、乗員監視ＥＣＵ３４は、上体撮像範囲Ａ２を撮像する場合、または頭部撮像範囲Ａ３を撮像する場合においても、車内撮像デバイス３１から出力される出力フレームレートを最大のフレームレートへ上げている。また、乗員監視ＥＣＵ３４は、衝突が予測されると、出力フレームレートを最大のフレームレートへ上げてもよい。

【0082】

上記実施形態では、乗員監視ＥＣＵ３４は、合成画像を含む撮像画像において高精度判定ができる場合にのみ、最適展開のための乗員の乗車状態の情報を出力している。
この他にもたとえば、乗員監視ＥＣＵ３４は、合成画像を含む撮像画像において高精度判定ができない場合においても、通常展開のための乗員の乗車状態の情報ではなく、最善に推定され得る乗員の乗車状態の情報を出力してもよい。

【符号の説明】

【0083】

１…自動車（車両）、３…車室、１０…乗員保護装置、１１…乗員保護ＥＣＵ、３０…制御システム、３１…車内撮像デバイス、３２…車内撮像ＥＣＵ、３３…乗員監視装置、３４…乗員監視ＥＣＵ、３５…システムタイマ、４２…衝突予測ＥＣＵ、６０…乗員保護システム、６１…撮像素子、６３…設定メモリ、６６…撮像制御部、６７…切出部、６８…評価部、６９…補正部、７０…出力部、Ａ１…通常撮像範囲、Ａ２…上体撮像範囲、Ａ３…頭部撮像範囲、Ａ４…微小範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】