ホーム > 特許ランキング > 株式会社ＳＵＢＡＲＵ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-07
(45)【発行日】2024-11-15
(54)【発明の名称】車両の乗員監視装置
(51)【国際特許分類】
B60R 11/02 20060101AFI20241108BHJP
B60K 35/50 20240101ALI20241108BHJP
B60K 35/60 20240101ALI20241108BHJP
B60K 37/10 20240101ALI20241108BHJP
【ＦＩ】
B60R11/02 C
B60K35/50
B60K35/60
B60K37/10
【請求項の数】
8
(21)【出願番号】P 2021027735
(22)【出願日】2021-02-24
(65)【公開番号】P2022129153
(43)【公開日】2022-09-05
【審査請求日】2024-01-15
(73)【特許権者】
【識別番号】000005348
【氏名又は名称】株式会社ＳＵＢＡＲＵ
(74)【代理人】
【識別番号】100099793
【弁理士】
【氏名又は名称】川北 喜十郎
(74)【代理人】
【識別番号】100154586
【弁理士】
【氏名又は名称】藤田 正広
(74)【代理人】
【識別番号】100182051
【弁理士】
【氏名又は名称】松川 直宏
(74)【代理人】
【識別番号】100179280
【弁理士】
【氏名又は名称】河村 育郎
(74)【代理人】
【識別番号】100180747
【弁理士】
【氏名又は名称】小森 剛彦
(72)【発明者】
【氏名】中村 亮太
【審査官】池田 晃一
(56)【参考文献】
【文献】特開２００７－２５５９７１（ＪＰ，Ａ）
【文献】特開２００７－３２６４１０（ＪＰ，Ａ）
【文献】特開２００９－１８６１８９（ＪＰ，Ａ）
【文献】国際公開第２０１４／１２８８３８（ＷＯ，Ａ１）
【文献】特開２００８－１９５１４１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｒ １１／００ － １１／０６
Ｂ６０Ｋ ３５／００ － ３７／２０
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６ ； ４０／２０
Ｇ０８Ｇ １／００ － ９９／００
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３８－ ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
車両の乗員の操作画面を表示する表示部材と、前記表示部材の前記操作画面に対する乗員の操作として判断された操作内容に応じた制御を実行する制御部と、
前記車両の乗員を撮像可能な撮像部材と、
を有し、
前記制御部は、
前記乗員の操作内容が、少なくとも前記撮像部材へ向かう動きを伴う操作である場合には、判断した操作内容に応じた制御を実行しない、
車両の乗員監視装置。
【請求項2】
前記撮像部材は、前記表示部材の表示領域と隣接して配置され、前記制御部は、
前記乗員の操作内容が、前記表示領域についての前記撮像部材の周辺部分における前記撮像部材へ向かう動きを伴う操作である場合には、判断した操作内容に応じた制御を実行しない、
請求項１記載の、車両の乗員監視装置。
【請求項3】
前記表示部材は、前記操作画面を表示するパネルとして、前記操作画面の表示領域より大きいものを有し、前記撮像部材は、前記表示部材の前記パネルの裏側に設けられる、
請求項１または２記載の、車両の乗員監視装置。
【請求項4】
前記制御部は、前記撮像部材へ向かう動きを伴う操作が、前記表示部材の表面を前記撮像部材へ向けてなぞる操作である場合には、判断した操作内容に応じた制御を実行しない、
請求項１から３のいずれか一項記載の、車両の乗員監視装置。
【請求項5】
前記表示部材は、前記操作画面にスワイプ操作可能な複数の操作オブジェクトを表示し、前記制御部は、
前記撮像部材の周辺に表示される前記操作オブジェクトについて前記撮像部材へ向けてなぞるスワイプ操作がなされた場合には、判断したスワイプ操作に応じた制御を実行しない、
請求項１から３のいずれか一項記載の、車両の乗員監視装置。
【請求項6】
前記制御部は、前記表示部材の表面をなぞる操作の向きが、前記撮像部材へ向かうものである場合には、判断した操作内容に応じた制御を実行せず、
前記表示部材の表面をなぞる操作の向きが、前記撮像部材とは異なる方向へ向かうものである場合には、判断した操作内容に応じた制御を実行する、
請求項４または５記載の、車両の乗員監視装置。
【請求項7】
前記制御部は、前記乗員の操作内容が、少なくとも前記車両の走行中における前記撮像部材へ向かう動きを伴う操作である場合には、判断した操作内容に応じた制御を実行しない、
請求項１から６のいずれか一項記載の、車両の乗員監視装置。
【請求項8】
前記表示部材および前記撮像部材は、前記車両の車幅方向の中央部分に設けられ、前記制御部は、前記撮像部材の撮像画像に基づいて、前記車両の乗員の状態を監視する、
請求項１から７のいずれか一項記載の、車両の乗員監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の乗員監視装置に関する。
【背景技術】
【0002】
車両では、たとえば車両の設定などを行うための表示部材として、タッチパネルを有する液晶デバイスを、ユーザインタフェースとして採用し始めている。タッチパネルを有する液晶デバイスには、たとえばボタンといった操作オブジェクトが表示される。
この場合、車両の乗員が、タッチパネルを有する液晶デバイスに表示されているたとえばボタンといった操作オブジェクトを操作する。車両の制御部は、操作内容に応じた制御を実行する。
そして、タッチパネルを有する液晶デバイスは、たとえばモバイル端末において、操作オブジェクトを触れるようにクリック操作するだけでなく、たとえば液晶デバイスの表面をなぞるように動かすスワイプ操作などの多彩な操作が可能である。乗員は、モバイル端末などの操作において、これらの操作に慣れている。
この場合、車両の乗員が、タッチパネルを有する液晶デバイスに表示されているたとえばボタンといった操作オブジェクトを操作する。車両の制御部は、操作内容に応じた制御を実行する。
そして、タッチパネルを有する液晶デバイスは、たとえばモバイル端末において、操作オブジェクトを触れるようにクリック操作するだけでなく、たとえば液晶デバイスの表面をなぞるように動かすスワイプ操作などの多彩な操作が可能である。乗員は、モバイル端末などの操作において、これらの操作に慣れている。
【0003】
また、車両では、運転支援や自動運転の際に乗員の状態を監視することが今後求められてくると考えられる（特許文献１、２）。
この場合、車両は、車両の乗員を監視するために、たとえば乗員の前のダッシュボートなどに撮像デバイスを設け、撮像デバイスの撮像画像に基づいて乗員の状態を判断して監視することになる。
この場合、車両は、車両の乗員を監視するために、たとえば乗員の前のダッシュボートなどに撮像デバイスを設け、撮像デバイスの撮像画像に基づいて乗員の状態を判断して監視することになる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－０１４３５９号公報
【文献】特開２０１９－０１４３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
これら各種の要求に応えるために、撮像デバイスは、車両に設けられるタッチパネルを有する液晶デバイスの近くなどに設けることが考えられる。
これにより、撮像デバイスは、液晶デバイスに所定の表示をしてそれを見ている乗員を正面から撮像することが可能になる。乗員を予め正面から撮像した撮像データがある場合、たとえば、この正面からの撮像データと現在の撮像データとを比較するなどして、ドライバといった各乗員の状態をより確からしく判断することが可能になる。この場合、撮像デバイスは、液晶デバイスの近くに設けることが望ましい。
しかしながら、撮像デバイスが表示部材としての液晶デバイスの近くに設けられていると、監視中の乗員が、液晶デバイスに対してたとえばスワイプ操作をする際に、その操作の際に動くことになる乗員の指、手、腕、肘により、撮像デバイスの視野が遮られる可能性がある。特に、たとえば１つの撮像デバイスによる撮像データによりドライバを含む前列の複数の乗員の状態を監視しようとする場合、撮像デバイスは、タッチパネルを有する液晶デバイスとともに、車体の車幅方向の中央部分に設けられることが望ましく、このような場合にはスワイプ操作をする際の乗員の指、手、腕、肘により、撮像デバイスの視野が遮られてしまうことが発生し易くなる可能性がある。乗員を撮像することができないと、その乗員の状態を監視することができない。
これにより、撮像デバイスは、液晶デバイスに所定の表示をしてそれを見ている乗員を正面から撮像することが可能になる。乗員を予め正面から撮像した撮像データがある場合、たとえば、この正面からの撮像データと現在の撮像データとを比較するなどして、ドライバといった各乗員の状態をより確からしく判断することが可能になる。この場合、撮像デバイスは、液晶デバイスの近くに設けることが望ましい。
しかしながら、撮像デバイスが表示部材としての液晶デバイスの近くに設けられていると、監視中の乗員が、液晶デバイスに対してたとえばスワイプ操作をする際に、その操作の際に動くことになる乗員の指、手、腕、肘により、撮像デバイスの視野が遮られる可能性がある。特に、たとえば１つの撮像デバイスによる撮像データによりドライバを含む前列の複数の乗員の状態を監視しようとする場合、撮像デバイスは、タッチパネルを有する液晶デバイスとともに、車体の車幅方向の中央部分に設けられることが望ましく、このような場合にはスワイプ操作をする際の乗員の指、手、腕、肘により、撮像デバイスの視野が遮られてしまうことが発生し易くなる可能性がある。乗員を撮像することができないと、その乗員の状態を監視することができない。
【0006】
このため、車両に設けられるタッチパネルを有する液晶デバイスでは、スワイプ操作などを一律に制限して、クリック操作などのみを使用可能にすることが考えられる。しかしながら、スワイプ操作などを一律に制限すると、乗員は、クリック操作などを繰り返すことになる。乗員は、慣れ親しんでいるスワイプ操作などにより、車両に設けられている液晶デバイスに対して操作をすることができなくなる。乗員は、モバイル端末などで慣れていて違和感が少ないスワイプ操作などを、車両の操作画面の操作として利用することができなくなってしまう。車両に設けられるタッチパネルを有する液晶デバイスの使い勝手は、悪くなる。
【0007】
このように車両では、車両において乗員の操作画面を表示する表示部材を、撮像部材とともに乗員監視に用いる場合でも、表示部材についての乗員の使いやすさと、乗員の状態監視とを、良好に両立させることが求められる。
【課題を解決するための手段】
【0008】
本発明に係る車両の乗員監視装置は、車両の乗員の操作画面を表示する表示部材と、前記表示部材の前記操作画面に対する乗員の操作として判断された操作内容に応じた制御を実行する制御部と、前記車両の乗員を撮像可能な撮像部材と、を有し、前記制御部は、前記乗員の操作内容が、少なくとも前記撮像部材へ向かう動きを伴う操作である場合には、判断した操作内容に応じた制御を実行しない。
【0009】
好適には、前記撮像部材は、前記表示部材の表示領域と隣接して配置され、前記制御部は、前記乗員の操作内容が、前記表示領域についての前記撮像部材の周辺部分における前記撮像部材へ向かう動きを伴う操作である場合には、判断した操作内容に応じた制御を実行しない、とよい。
【0010】
好適には、前記表示部材は、前記操作画面を表示するパネルとして、前記操作画面の表示領域より大きいものを有し、前記撮像部材は、前記表示部材の前記パネルの裏側に設けられる、とよい。
【0011】
好適には、前記制御部は、前記撮像部材へ向かう動きを伴う操作が、前記表示部材の表面を前記撮像部材へ向けてなぞる操作である場合には、判断した操作内容に応じた制御を実行しない、とよい。
【0012】
好適には、前記表示部材は、前記操作画面にスワイプ操作可能な複数の操作オブジェクトを表示し、前記制御部は、前記撮像部材の周辺に表示される前記操作オブジェクトについて前記撮像部材へ向けてなぞるスワイプ操作がなされた場合には、判断したスワイプ操作に応じた制御を実行しない、とよい。
【0013】
好適には、前記制御部は、前記表示部材の表面をなぞる操作の向きが、前記撮像部材へ向かうものである場合には、判断した操作内容に応じた制御を実行せず、前記表示部材の表面をなぞる操作の向きが、前記撮像部材とは異なる方向へ向かうものである場合には、判断した操作内容に応じた制御を実行する、とよい。
【0014】
好適には、前記制御部は、前記乗員の操作内容が、少なくとも前記車両の走行中における前記撮像部材へ向かう動きを伴う操作である場合には、判断した操作内容に応じた制御を実行しない、とよい。
【0015】
好適には、前記表示部材および前記撮像部材は、前記車両の車幅方向の中央部分に設けられ、前記制御部は、前記撮像部材の撮像画像に基づいて、前記車両の乗員の状態を監視する、とよい。
【発明の効果】
【0016】
本発明では、制御部は、乗員の操作内容が、少なくとも撮像部材へ向かう動きを伴う操作である場合には、判断した操作内容に応じた制御を実行しない。よって、乗員は、車両の乗員の操作画面を表示する表示部材に対して、撮像部材へ向かう動きを伴う操作をしないようになり得る。その結果、本発明では、乗員の操作の際の指、手、腕、肘などの動きにより、撮像部材の視野が遮られ難くなることが期待できる。しかも、乗員は、撮像部材へ向かわないのであれば動きを伴う操作について制限されることなく操作が可能であるため、表示部材に表示される操作画面に対して動きを伴う操作をすることができる。
このように、本発明では、乗員による動きを伴う操作が一律に制限されてしまうことがないため、操作画面を表示する表示部材を撮像部材とともに乗員監視に用いる場合でも、表示部材についての乗員の使いやすさと、乗員の状態監視とを、良好に両立させることができる。
このように、本発明では、乗員による動きを伴う操作が一律に制限されてしまうことがないため、操作画面を表示する表示部材を撮像部材とともに乗員監視に用いる場合でも、表示部材についての乗員の使いやすさと、乗員の状態監視とを、良好に両立させることができる。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
以下、本発明の実施形態を、図面に基づいて説明する。
【0019】
図１は、本発明の実施形態に係る乗員監視装置１５が適用される自動車１の説明図である。
自動車１は、自動車１の一例である。自動車１は、内燃機関を走行の動力源としているものでも、バッテリの蓄電電力を走行の動力源としているものでも、それらを組み合わせたものでもよい。
図１の自動車１の車体２には、車室３が形成されている。車室３には、運転席および助手席のための複数の前列のシート４と、長尺の後列のシート４と、が設けられる。シート４には、ドライバを含む乗員が着座する。前列の複数のシート４の前側である車室３の前部には、車体２の車幅方向に沿って延在するようにダッシュボード５が設けられる。
自動車１は、自動車１の一例である。自動車１は、内燃機関を走行の動力源としているものでも、バッテリの蓄電電力を走行の動力源としているものでも、それらを組み合わせたものでもよい。
図１の自動車１の車体２には、車室３が形成されている。車室３には、運転席および助手席のための複数の前列のシート４と、長尺の後列のシート４と、が設けられる。シート４には、ドライバを含む乗員が着座する。前列の複数のシート４の前側である車室３の前部には、車体２の車幅方向に沿って延在するようにダッシュボード５が設けられる。
【0020】
図２は、図１の自動車１の制御装置１０の説明図である。
図２の制御装置１０は、ドア開閉センサ１１、車速センサ１２、パークセンサ１３、スピーカデバイス１４、乗員監視装置１５、ポジション設定装置１６、運転支援装置１７、車外通信装置１８、乗員保護装置１９、空調装置２０、および、これらが接続される車内ネットワーク２１、を有する。
図２の制御装置１０は、ドア開閉センサ１１、車速センサ１２、パークセンサ１３、スピーカデバイス１４、乗員監視装置１５、ポジション設定装置１６、運転支援装置１７、車外通信装置１８、乗員保護装置１９、空調装置２０、および、これらが接続される車内ネットワーク２１、を有する。
【0021】
車内ネットワーク２１は、自動車１のためのたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）に準拠した有線の通信ネットワークでよい。車内ネットワーク２１は、ＬＡＮなどの通信用ネットワークでも、これらを組み合わせたものであってもよい。車内ネットワーク２１の一部には、無線方式の通信ネットワークが含まれてよい。
【0022】
ドア開閉センサ１１は、自動車１のドアの開閉を検出する。
車速センサ１２は、走行する自動車１の速度を検出する。車速センサ１２は、停止状態を検出してよい。
パークセンサ１３は、自動車１が停車状態に維持されるパーキング状態を検出する。パークセンサ１３は、たとえば不図示のシフトレバーがパーキング位置に操作されたこと、不図示のパーキングレバーが制動位置に操作されたこと、をパーキング状態として検出してよい。
車速センサ１２は、走行する自動車１の速度を検出する。車速センサ１２は、停止状態を検出してよい。
パークセンサ１３は、自動車１が停車状態に維持されるパーキング状態を検出する。パークセンサ１３は、たとえば不図示のシフトレバーがパーキング位置に操作されたこと、不図示のパーキングレバーが制動位置に操作されたこと、をパーキング状態として検出してよい。
【0023】
乗員監視装置１５は、たとえばドア開閉センサ１１がドアの開閉を検出すると、車室３に乗る乗員の認識処理を実行する。
乗員監視装置１５は、複数の乗員を認識している場合、複数の乗員の各々を個別に監視してよい。
乗員監視装置１５は、認識した各乗員の情報、監視に基づく情報を、車ネットワークを通じて制御装置１０の各部へ出力してよい。
特に、乗員監視装置１５は、たとえばドライバ用のシート４に着座した乗員をドライバとして認識し、認識したドライバの脇見や居眠りを監視する。そして、ドライバが所定の状態にある場合、乗員監視装置１５は、ドライバへの注意喚起のための制御、危険予防のための制御を実行する。この際、乗員監視装置１５は、ドライバの情報、注意喚起のための情報、危険予防のための情報を、車ネットワークを通じて制御装置１０の各部へ出力してよい。
乗員監視装置１５は、複数の乗員を認識している場合、複数の乗員の各々を個別に監視してよい。
乗員監視装置１５は、認識した各乗員の情報、監視に基づく情報を、車ネットワークを通じて制御装置１０の各部へ出力してよい。
特に、乗員監視装置１５は、たとえばドライバ用のシート４に着座した乗員をドライバとして認識し、認識したドライバの脇見や居眠りを監視する。そして、ドライバが所定の状態にある場合、乗員監視装置１５は、ドライバへの注意喚起のための制御、危険予防のための制御を実行する。この際、乗員監視装置１５は、ドライバの情報、注意喚起のための情報、危険予防のための情報を、車ネットワークを通じて制御装置１０の各部へ出力してよい。
【0024】
スピーカデバイス１４は、音声、警告音などを出力する。スピーカデバイス１４は、乗員監視装置１５によるドライバその他の乗員への警告を出力してよい。
ポジション設定装置１６は、たとえば、シート４の前後上下の位置および背もたれの角度、ハンドルの前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。ポジション設定装置１６は、乗員監視装置１５が出力する乗員の情報に基づいて、シートポジションを変更する。
運転支援装置１７は、ドライバによる手動運転による自動車１の走行操作を支援したり、自動運転による自動車１の走行操作を支援したりする。運転支援装置１７は、自動車１の加速、減速、停止、操舵を制御する。運転支援装置１７は、乗員監視装置１５が出力するドライバの情報に基づいて、ドライバに応じた運転支援を実行する。
車外通信装置１８は、たとえば公共無線通信網の基地局、商用無線通信網の基地局、高度交通情報のための基地局との間に無線通信路を確立し、確立している無線通信路を用いてデータ通信を実行する。車外通信装置１８は、たとえば自動運転を支援するサーバ装置などとの双方向のデータ通信を実行してよい。車外通信装置１８は、乗員監視装置１５が出力するドライバを含む乗員の情報を、たとえば緊急支援情報として、サーバ装置へ送信してよい。
乗員保護装置１９は、自動車１の衝突を検出または予測した場合に、乗員を保護するための制御を実行する。乗員保護装置１９は、不図示のたとえばエアバッグを展開したり、シートベルトにテンションをかけたりすることにより、シート４に着座している乗員を保護する。乗員保護装置１９は、乗員監視装置１５が出力する乗員の情報に応じて、乗員に対する乗員保護を実行してよい。
空調装置２０は、車室３の温度、酸素濃度、を制御する。空調装置２０は、たとえば冷却した空気または過熱した空気を車室３へ供給し、これにより車室３を設定温度に調整する。空調装置２０は、乗員監視装置１５が出力する乗員の情報に応じた空調を実行してよい。
これらの乗員監視装置１５が出力する乗員の情報に基づく制御により、乗員は、たとえば自らに応じた設定の下で快適に乗車できる。ドライバは、たとえば自動車１の走行に集中することができる。
ポジション設定装置１６は、たとえば、シート４の前後上下の位置および背もたれの角度、ハンドルの前後上下の位置および角度、各種ペダルの前後上下の位置および角度を調整する。ポジション設定装置１６は、乗員監視装置１５が出力する乗員の情報に基づいて、シートポジションを変更する。
運転支援装置１７は、ドライバによる手動運転による自動車１の走行操作を支援したり、自動運転による自動車１の走行操作を支援したりする。運転支援装置１７は、自動車１の加速、減速、停止、操舵を制御する。運転支援装置１７は、乗員監視装置１５が出力するドライバの情報に基づいて、ドライバに応じた運転支援を実行する。
車外通信装置１８は、たとえば公共無線通信網の基地局、商用無線通信網の基地局、高度交通情報のための基地局との間に無線通信路を確立し、確立している無線通信路を用いてデータ通信を実行する。車外通信装置１８は、たとえば自動運転を支援するサーバ装置などとの双方向のデータ通信を実行してよい。車外通信装置１８は、乗員監視装置１５が出力するドライバを含む乗員の情報を、たとえば緊急支援情報として、サーバ装置へ送信してよい。
乗員保護装置１９は、自動車１の衝突を検出または予測した場合に、乗員を保護するための制御を実行する。乗員保護装置１９は、不図示のたとえばエアバッグを展開したり、シートベルトにテンションをかけたりすることにより、シート４に着座している乗員を保護する。乗員保護装置１９は、乗員監視装置１５が出力する乗員の情報に応じて、乗員に対する乗員保護を実行してよい。
空調装置２０は、車室３の温度、酸素濃度、を制御する。空調装置２０は、たとえば冷却した空気または過熱した空気を車室３へ供給し、これにより車室３を設定温度に調整する。空調装置２０は、乗員監視装置１５が出力する乗員の情報に応じた空調を実行してよい。
これらの乗員監視装置１５が出力する乗員の情報に基づく制御により、乗員は、たとえば自らに応じた設定の下で快適に乗車できる。ドライバは、たとえば自動車１の走行に集中することができる。
【0025】
図３は、図２の自動車１の乗員監視装置１５の説明図である。図３の乗員監視装置１５は、ドライバだけでなく、たとえば前列の複数のシート４に着座する複数の乗員を監視するものである。図３の乗員監視装置１５は、カメラモジュール３１、表示操作パネル３３を有する液晶デバイス３２、入出力デバイス３４、メモリ３５、および、これらが接続される監視制御部３６、を有する。
【0026】
入出力デバイス３４は、車内ネットワーク２１に接続される。入出力デバイス３４は、車内ネットワーク２１を通じて、自動車１に設けられる他の各部との間でデータを入出力する。
【0027】
液晶デバイス３２は、表示操作パネル３３による表示面に画像を表示する。液晶デバイス３２は、表示部材として、自動車１に乗る各乗員に視認させる画面を表示する。表示画面には、たとえば乗員により操作される操作画面がある。
表示操作パネル３３は、液晶デバイス３２の表示面に重ねて設けられる透明または半透明のパネルである。表示操作パネル３３を液晶デバイス３２の表示面に重ねたものが表示部材である。表示操作パネル３３は、液晶デバイス３２の表示面に対する乗員の操作を検出する。表示操作パネル３３は、液晶デバイス３２の表示面に対する乗員の操作位置を、監視制御部３６へ出力してよい。
表示操作パネル３３は、液晶デバイス３２の表示面に重ねて設けられる透明または半透明のパネルである。表示操作パネル３３を液晶デバイス３２の表示面に重ねたものが表示部材である。表示操作パネル３３は、液晶デバイス３２の表示面に対する乗員の操作を検出する。表示操作パネル３３は、液晶デバイス３２の表示面に対する乗員の操作位置を、監視制御部３６へ出力してよい。
【0028】
カメラモジュール３１は、前列の複数のシート４に着座する複数の乗員を撮像するためのものである。カメラモジュール３１は、撮像センサ４１、撮像広角レンズ４２、第一ＬＥＤ４３、第一投光レンズ４４、第二ＬＥＤ４５、第二投光レンズ４６、を有する。
【0029】
撮像センサ４１は、たとえばＣＣＤ、ＣＭＯＳセンサといった半導体光学センサである。撮像センサ４１は、たとえば複数の受光素子が配列された略四角形の受光面を有するものでよい。撮像センサ４１は、撮像画像を含む撮像データを、監視制御部３６へ出力してよい。
撮像広角レンズ４２は、撮像センサ４１に重ねて設けられる。撮像広角レンズ４２は、画像の周縁部分での歪みを抑制するように、複数枚の光学レンズで構成されてよい。
撮像センサ４１および撮像広角レンズ４２は、撮像部材として、自動車１に乗る複数の乗員の状態を監視可能にするために自動車１の乗員を撮像可能である。
撮像広角レンズ４２は、たとえばダッシュボード５についての車幅方向の中央部に撮像センサ４１が設けられている状態において、前列の複数のシート４に着座する複数の乗員の上体または頭部を撮像可能なレンズでよい。
撮像広角レンズ４２は、撮像センサ４１に重ねて設けられる。撮像広角レンズ４２は、画像の周縁部分での歪みを抑制するように、複数枚の光学レンズで構成されてよい。
撮像センサ４１および撮像広角レンズ４２は、撮像部材として、自動車１に乗る複数の乗員の状態を監視可能にするために自動車１の乗員を撮像可能である。
撮像広角レンズ４２は、たとえばダッシュボード５についての車幅方向の中央部に撮像センサ４１が設けられている状態において、前列の複数のシート４に着座する複数の乗員の上体または頭部を撮像可能なレンズでよい。
【0030】
第一ＬＥＤ４３、第二ＬＥＤ４５は、半導体発光素子でよい。第一ＬＥＤ４３、第二ＬＥＤ４５は、投光部材として、撮像センサ４１が撮像対象としている自動車１の乗員へ投光する。第一ＬＥＤ４３、第二ＬＥＤ４５は、たとえば赤外線を投光するものでよい。この場合、撮像センサ４１は、赤外線による撮像画像を含む撮像データを、監視制御部３６へ出力することになる。第一投光レンズ４４は、第一ＬＥＤ４３に重ねて設けられる。第一投光レンズ４４は、第一ＬＥＤ４３の光を主に運転席としてのシート４に着座するドライバへ向けて照射してよい。第二投光レンズ４６は、第二ＬＥＤ４５に重ねて設けられる。第二投光レンズ４６は、第二ＬＥＤ４５の光を主に助手席としてのシート４に着座する乗員へ向けて照射してよい。なお、第二投光レンズ４６は、助手席としてのシート４に着座する乗員とともに、運転席としてのシート４に着座するドライバへ向けて、光を拡散して投光してもよい。
【0031】
メモリ３５は、プログラムおよびデータを記憶する。メモリ３５は、不揮発性メモリと、揮発性メモリとで構成されてよい。不揮発性メモリには、たとえばＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、などがある。揮発性メモリには、たとえばＲＡＭがある。
【0032】
乗員監視装置１５のメモリ３５には、自動車１に登録されている複数の乗員のデータが、乗員毎に管理して記録されてよい。図３には、第一乗員についての第一乗員データ５１と、第二乗員についての第二乗員データ５２と、が示されている。複数の乗員データにより、メモリ３５にはデータベースが構成される。
【0033】
第一乗員データ５１、第二乗員データ５２といった各乗員データには、乗員ごとに固有の識別情報、たとえば乗員の頭部や目を撮像センサ４１により撮像した登録撮像データ、乗員がした各種の設定データ、が含まれてよい。設定データには、たとえば乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、といった情報、が含まれてよい。
このように、メモリ３５は、記録部材として、液晶デバイス３２に所定の画面を表示している際の各乗員を正面から撮像センサ４１により撮像した撮像データを、それぞれの乗員の登録撮像データとして記録できる。
また、メモリ３５は、登録されていない汎用の乗員についての乗員データを、記録してよい。
このように、メモリ３５は、記録部材として、液晶デバイス３２に所定の画面を表示している際の各乗員を正面から撮像センサ４１により撮像した撮像データを、それぞれの乗員の登録撮像データとして記録できる。
また、メモリ３５は、登録されていない汎用の乗員についての乗員データを、記録してよい。
【0034】
監視制御部３６は、たとえばＥＣＵ、ＣＰＵ、その他のマイクロコンピュータでよい。監視制御部３６は、メモリ３５からプログラムを読み込んで実行する。これにより、乗員監視装置１５の制御部としての監視制御部３６が実現される。監視制御部３６は、液晶デバイス３２の操作画面に対する乗員の操作として判断された操作内容に応じた制御を実行してよい。
また、監視制御部３６は、撮像センサ４１の撮像画像のデータに基づいて自動車１の複数の乗員の状態を監視する。監視制御部３６は、乗員監視のために、たとえば、自動車１に乗る乗員についての登録処理、監視処理、を実行する。監視処理において、監視制御部３６は、自動車１に乗っている乗員を識別し、乗員ごとの監視処理を実行してよい。特に、少なくともドライバとしての乗員については、監視制御部３６は、判断部として、メモリ３５に登録されている各自の登録撮像データを判断の際の基準データとして用いて、各乗員のわき見、居眠り、緊急事態といった状態を判断する。
また、監視制御部３６は、撮像センサ４１の撮像画像のデータに基づいて自動車１の複数の乗員の状態を監視する。監視制御部３６は、乗員監視のために、たとえば、自動車１に乗る乗員についての登録処理、監視処理、を実行する。監視処理において、監視制御部３６は、自動車１に乗っている乗員を識別し、乗員ごとの監視処理を実行してよい。特に、少なくともドライバとしての乗員については、監視制御部３６は、判断部として、メモリ３５に登録されている各自の登録撮像データを判断の際の基準データとして用いて、各乗員のわき見、居眠り、緊急事態といった状態を判断する。
【0035】
【0036】
図４（Ａ）には、車室３の前部に設けられるダッシュボード５およびセンターコンソール６が示されている。
本実施形態の液晶デバイス３２とカメラモジュール３１とは、たとえば図１に示すように、自動車１の車幅方向の中央部分において、ダッシュボード５からセンターコンソール６までにかけて縦長に配置される。これにより、カメラモジュール３１の撮像センサ４１は、ドライバおよび同乗者を広角により全体的に撮像できる。撮像センサ４１は、ドライバの頭部を含む上体と、同乗者の頭部を含む上体とを撮像し得る。
液晶デバイス３２は、表示画面の車幅方向の中央位置Ｙｄが自動車１の車幅方向の中央位置Ｙ０と一致するように、自動車１の車幅方向の中央部分においてセンター配置されてもよいが、本実施形態では、表示画面の車幅方向の中央位置Ｙｄが、自動車１の車幅方向の中央位置Ｙ０より少しだけドライバとは反対側へずらしてオフセット配置されている。そして、液晶デバイス３２は、その位置からドライバへ向かうように、車幅方向に対して傾けて配置される。液晶デバイス３２の表示画面は、同乗者の視認性を確保しながら、ドライバの視認性を高めることができる。
本実施形態の液晶デバイス３２とカメラモジュール３１とは、たとえば図１に示すように、自動車１の車幅方向の中央部分において、ダッシュボード５からセンターコンソール６までにかけて縦長に配置される。これにより、カメラモジュール３１の撮像センサ４１は、ドライバおよび同乗者を広角により全体的に撮像できる。撮像センサ４１は、ドライバの頭部を含む上体と、同乗者の頭部を含む上体とを撮像し得る。
液晶デバイス３２は、表示画面の車幅方向の中央位置Ｙｄが自動車１の車幅方向の中央位置Ｙ０と一致するように、自動車１の車幅方向の中央部分においてセンター配置されてもよいが、本実施形態では、表示画面の車幅方向の中央位置Ｙｄが、自動車１の車幅方向の中央位置Ｙ０より少しだけドライバとは反対側へずらしてオフセット配置されている。そして、液晶デバイス３２は、その位置からドライバへ向かうように、車幅方向に対して傾けて配置される。液晶デバイス３２の表示画面は、同乗者の視認性を確保しながら、ドライバの視認性を高めることができる。
【0037】
図４（Ｂ）は、自動車１の車幅方向の中央部分においてオフセット位置に傾けて設けられる撮像センサ４１および撮像広角レンズ４２を有するカメラモジュール３１による車内の撮像範囲の説明図である。
撮像センサ４１には撮像広角レンズ４２が重ねられる。これにより、撮像センサ４１は、図４（Ｂ）において撮像範囲として示すように、車室３を全体的に撮像できる。撮像センサ４１は、自動車１の車幅方向の中央部分に配置されて、複数の前列のシート４に着座するドライバの頭部と同乗者の頭部とを撮像できる。
ただし、撮像広角レンズ４２を撮像センサ４１に組み合わせて複数の乗員を撮像可能とする場合、撮像範囲の中央部分の画像は、歪みが少ない高画質エリアとなる一方で、撮像範囲の周縁部分は、中央部分と比べて歪みが生じている歪発生エリアとなる。このため、乗員が車幅方向において右端や左端へ寄って着座してしまうと、その乗員の頭部を歪みなく撮像することが難しくなる傾向にある。乗員の目の開閉状態などを判断に使用する場合、その判断を正しくできなくなる可能性が高まる。
本実施形態では、表示操作パネル３３は、ドライバへ向かうように車体２の前後方向に対して傾けて配置される。これにより、撮像センサ４１の撮像画像の中央部分の高画質エリアは、ドライバ側へ寄る。ドライバは、撮像センサ４１の撮像画像の中央部分の高画質エリアにおいて撮像され易くなり、周辺部分の歪発生エリアにおいて撮像され難くなる。ドライバは、歪みが抑えられた画像として撮像されることが期待できる。
撮像センサ４１には撮像広角レンズ４２が重ねられる。これにより、撮像センサ４１は、図４（Ｂ）において撮像範囲として示すように、車室３を全体的に撮像できる。撮像センサ４１は、自動車１の車幅方向の中央部分に配置されて、複数の前列のシート４に着座するドライバの頭部と同乗者の頭部とを撮像できる。
ただし、撮像広角レンズ４２を撮像センサ４１に組み合わせて複数の乗員を撮像可能とする場合、撮像範囲の中央部分の画像は、歪みが少ない高画質エリアとなる一方で、撮像範囲の周縁部分は、中央部分と比べて歪みが生じている歪発生エリアとなる。このため、乗員が車幅方向において右端や左端へ寄って着座してしまうと、その乗員の頭部を歪みなく撮像することが難しくなる傾向にある。乗員の目の開閉状態などを判断に使用する場合、その判断を正しくできなくなる可能性が高まる。
本実施形態では、表示操作パネル３３は、ドライバへ向かうように車体２の前後方向に対して傾けて配置される。これにより、撮像センサ４１の撮像画像の中央部分の高画質エリアは、ドライバ側へ寄る。ドライバは、撮像センサ４１の撮像画像の中央部分の高画質エリアにおいて撮像され易くなり、周辺部分の歪発生エリアにおいて撮像され難くなる。ドライバは、歪みが抑えられた画像として撮像されることが期待できる。
【0038】
図５は、自動車１の乗員であるドライバの撮像状態の説明図である。
【0039】
図５（Ａ）は、第一ドライバの頭部の正面図である。図５（Ｂ）は、図５（Ａ）の第一ドライバの頭部の斜視図である。
自動車１の車幅方向の中央部分に設けられる撮像センサ４１は、ドライバが自動車１の前方を向いている場合、ドライバの頭部を、図５（Ａ）の正面方向から撮像したものではなく、図５（Ｂ）のように斜め方向から撮像することになる。
自動車１の車幅方向の中央部分に設けられる撮像センサ４１は、ドライバが自動車１の前方を向いている場合、ドライバの頭部を、図５（Ａ）の正面方向から撮像したものではなく、図５（Ｂ）のように斜め方向から撮像することになる。
【0040】
図５（Ｃ）は、第二ドライバの頭部の正面図である。図５（Ｄ）は、図５（Ｃ）の第二ドライバの頭部の斜視図である。
自動車１の車幅方向の中央部分に設けられる撮像センサ４１は、ドライバが自動車１の前方を向いている場合、ドライバの頭部を、図５（Ｃ）の正面方向から撮像したものではなく、図５（Ｄ）のように斜め方向から撮像することになる。
自動車１の車幅方向の中央部分に設けられる撮像センサ４１は、ドライバが自動車１の前方を向いている場合、ドライバの頭部を、図５（Ｃ）の正面方向から撮像したものではなく、図５（Ｄ）のように斜め方向から撮像することになる。
【0041】
そして、図５（Ｄ）の撮像データでは、図５（Ｂ）の撮像データとは異なり、ドライバの右目が、ドライバの高い鼻に隠れて、黒目しか映っていない。
この場合、監視制御部３６は、図５（Ｄ）の撮像データのみから、ドライバの右目の開閉状態を判断することは容易でない。特に、図５（Ｄ）のように歪みがない状態ではなく、歪んだ画像として撮像されている場合には、監視制御部３６は、図５（Ｄ）の撮像データのみから、ドライバの右目の開閉状態を判断することは極めて容易でない。
また、図５（Ｄ）の撮像データでは、ドライバの右目の白目の画像成分が状態判別可能な程度に含まれていないことから、監視制御部３６は、図５（Ｄ）の撮像データのみに基づいて右目の状態を抽出し難い。監視制御部３６は、右目を特定できない場合、その結果としてドライバの頭部の向きなどを判別できない可能性もある。たとえば両目と鼻との配置関係、両目と口との配置関係に基づいて、画像中の頭部の撮像領域を特定するような場合、監視制御部３６は、図５（Ｄ）の撮像データのみに基づいて、図５（Ｄ）のドライバの頭部の向きなどを特定することができない。ドライバの頭部についての基準となるデータがない場合、監視制御部３６は、ドライバの右目が画像成分に含まれていない場合には、ドライバの状態を正しく推定することができない可能性が高まる。
カメラモジュール３１の撮像センサ４１が自動車１の車幅方向の中央部分に設けられている場合、この図５（Ｄ）のような状態は生じ易くなる。
この場合、監視制御部３６は、図５（Ｄ）の撮像データのみから、ドライバの右目の開閉状態を判断することは容易でない。特に、図５（Ｄ）のように歪みがない状態ではなく、歪んだ画像として撮像されている場合には、監視制御部３６は、図５（Ｄ）の撮像データのみから、ドライバの右目の開閉状態を判断することは極めて容易でない。
また、図５（Ｄ）の撮像データでは、ドライバの右目の白目の画像成分が状態判別可能な程度に含まれていないことから、監視制御部３６は、図５（Ｄ）の撮像データのみに基づいて右目の状態を抽出し難い。監視制御部３６は、右目を特定できない場合、その結果としてドライバの頭部の向きなどを判別できない可能性もある。たとえば両目と鼻との配置関係、両目と口との配置関係に基づいて、画像中の頭部の撮像領域を特定するような場合、監視制御部３６は、図５（Ｄ）の撮像データのみに基づいて、図５（Ｄ）のドライバの頭部の向きなどを特定することができない。ドライバの頭部についての基準となるデータがない場合、監視制御部３６は、ドライバの右目が画像成分に含まれていない場合には、ドライバの状態を正しく推定することができない可能性が高まる。
カメラモジュール３１の撮像センサ４１が自動車１の車幅方向の中央部分に設けられている場合、この図５（Ｄ）のような状態は生じ易くなる。
【0042】
このように乗員には、たとえば目が大きい人、目が小さい人、目が前に出ている人、目が奥に入っている人などの個人差がある。
実際のドライバの頭部の位置は、車幅方向での画角方向へ移動するだけでなく、さらに上下方向へも移動する可能性がある。これらの移動の発生について考慮すると、撮像センサ４１の現在の撮像データのみに基づいてドライバの頭部の状態や目の状態を正しく推定することは、容易なことではない。
実際のドライバの頭部の位置は、車幅方向での画角方向へ移動するだけでなく、さらに上下方向へも移動する可能性がある。これらの移動の発生について考慮すると、撮像センサ４１の現在の撮像データのみに基づいてドライバの頭部の状態や目の状態を正しく推定することは、容易なことではない。
【0043】
図６は、車体２の車幅方向の中央部分に設けられる乗員監視装置１５の液晶デバイス３２とカメラモジュール３１についての詳細な説明図である。図６（Ａ）は、車室３側からの正面図である。図６において、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄは、車体２の車幅方向の中央位置Ｙ０から図示左側である同乗者側へずれて設けられている。
表示操作パネル３３を有する液晶デバイス３２は、樹脂製の押さえ部品としての保持部材６１により、表示操作パネル３３の周縁部分をその四角において保持されている。
表示操作パネル３３は、液晶デバイス３２より一回り大きい外形を有する。
表示操作パネル３３を有する液晶デバイス３２は、樹脂製の押さえ部品としての保持部材６１により、表示操作パネル３３の周縁部分をその四角において保持されている。
表示操作パネル３３は、液晶デバイス３２より一回り大きい外形を有する。
【0044】
液晶デバイス３２は、画面を表示する表示領域として、一般的なモニタのように四角形の表示面ではなく、四角形の上縁の中央部分を切り欠いた略凹形状を有する。略凹形状の液晶デバイス３２の表示領域と外接する矩形枠３３ａの内側に、切り欠きになる非表示部３３ｂが形成される。非表示部３３ｂの左右両側には、液晶デバイス３２の表示領域がある。非表示部３３ｂは、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄを基準として、線対象に形成されている。
このように、非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、表示領域と外接する矩形枠３３ａの内側における、画面の表示領域の上縁の中央部分の切欠部分として形成される。非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、画面の表示領域の上縁に沿う切欠部分として形成される。そして、非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、少なくとも、画面の表示領域の車幅方向の中央位置Ｙｄから、自動車１の車幅方向の中央位置Ｙ０までの範囲にわたって形成されている。非表示部３３ｂは、表示操作パネル３３において、画面の表示領域の車幅方向の中央位置Ｙｄを基準として、自動車１の車幅方向において左右対称な形状に形成される。
そして、表示操作パネル３３の表示領域には、カメラモジュール３１が配置される非表示部３３ｂの左右両側および下側に、カメラモジュール３１へ向かう方向へのスワイプ操作を禁止する制限領域６２が設定されている。
このように、非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、表示領域と外接する矩形枠３３ａの内側における、画面の表示領域の上縁の中央部分の切欠部分として形成される。非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、画面の表示領域の上縁に沿う切欠部分として形成される。そして、非表示部３３ｂは、液晶デバイス３２についての画面を表示する表示操作パネル３３において、少なくとも、画面の表示領域の車幅方向の中央位置Ｙｄから、自動車１の車幅方向の中央位置Ｙ０までの範囲にわたって形成されている。非表示部３３ｂは、表示操作パネル３３において、画面の表示領域の車幅方向の中央位置Ｙｄを基準として、自動車１の車幅方向において左右対称な形状に形成される。
そして、表示操作パネル３３の表示領域には、カメラモジュール３１が配置される非表示部３３ｂの左右両側および下側に、カメラモジュール３１へ向かう方向へのスワイプ操作を禁止する制限領域６２が設定されている。
【0045】
撮像センサ４１を有するカメラモジュール３１は、表示操作パネル３３の裏側において、液晶デバイス３２による表示領域の上側に形成される非表示部３３ｂの裏側に配置される。カメラモジュール３１は、表示操作パネル３３の四角を保持する保持部材６１より外へ突出しないように、保持部材６１より内側となるように設けられる。
詳しくは、カメラモジュール３１は、撮像センサ４１および撮像広角レンズ４２が、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄと、車体２の車幅方向の中央位置Ｙ０との間に収まるように設けられる。これにより、撮像センサ４１および撮像広角レンズ４２は、それらの車幅方向の中央位置が、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄと、車体２の車幅方向の中央位置Ｙ０との間に位置するように設けられる。
これにより、カメラモジュール３１の撮像センサ４１は、あたかも液晶デバイス３２そのものに設けられている状態となる。撮像センサ４１は、液晶デバイス３２において操作画面を表示する表示操作パネル３３についての操作画面の表示領域と隣接して配置される。
その結果、カメラモジュール３１の撮像センサ４１は、表示操作パネル３３を有する液晶デバイス３２の裏側から、乗員を撮像することが可能となる。
また、カメラモジュール３１において、撮像センサ４１および撮像広角レンズ４２は、車幅方向の中央部分に配置される。第一ＬＥＤ４３および第一投光レンズ４４は、助手席側の端部分に配置される。第二ＬＥＤ４５および第二投光レンズ４６は、ドライバ側の端部分に配置される。これにより、カメラモジュール３１は、ドライバとダッシュボード５との間にステアリング７などの物体が存在していても、そのステアリング７などにより遮られることなく投光し、撮像することができる。
なお、このようにカメラモジュール３１を表示操作パネル３３の裏側に設ける場合、撮像広角レンズ４２、第一投光レンズ４４、第二投光レンズ４６は、表示操作パネル３３そのものを加工することにより設けられてもよい。
詳しくは、カメラモジュール３１は、撮像センサ４１および撮像広角レンズ４２が、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄと、車体２の車幅方向の中央位置Ｙ０との間に収まるように設けられる。これにより、撮像センサ４１および撮像広角レンズ４２は、それらの車幅方向の中央位置が、液晶デバイス３２の表示操作パネル３３の中央位置Ｙｄと、車体２の車幅方向の中央位置Ｙ０との間に位置するように設けられる。
これにより、カメラモジュール３１の撮像センサ４１は、あたかも液晶デバイス３２そのものに設けられている状態となる。撮像センサ４１は、液晶デバイス３２において操作画面を表示する表示操作パネル３３についての操作画面の表示領域と隣接して配置される。
その結果、カメラモジュール３１の撮像センサ４１は、表示操作パネル３３を有する液晶デバイス３２の裏側から、乗員を撮像することが可能となる。
また、カメラモジュール３１において、撮像センサ４１および撮像広角レンズ４２は、車幅方向の中央部分に配置される。第一ＬＥＤ４３および第一投光レンズ４４は、助手席側の端部分に配置される。第二ＬＥＤ４５および第二投光レンズ４６は、ドライバ側の端部分に配置される。これにより、カメラモジュール３１は、ドライバとダッシュボード５との間にステアリング７などの物体が存在していても、そのステアリング７などにより遮られることなく投光し、撮像することができる。
なお、このようにカメラモジュール３１を表示操作パネル３３の裏側に設ける場合、撮像広角レンズ４２、第一投光レンズ４４、第二投光レンズ４６は、表示操作パネル３３そのものを加工することにより設けられてもよい。
【0046】
【0047】
ステップＳＴ１において、監視制御部３６は、まず、乗員を登録するか否かを判断する。
監視制御部３６は、たとえば液晶デバイス３２に表示しているメニュー画面において乗員登録ボタンが乗員により選択操作された場合、乗員を登録すると判断し、処理をステップＳＴ２へ進める。これ以外の場合、監視制御部３６は、乗員を登録しないと判断し、図７の登録制御を終了する。
監視制御部３６は、たとえば液晶デバイス３２に表示しているメニュー画面において乗員登録ボタンが乗員により選択操作された場合、乗員を登録すると判断し、処理をステップＳＴ２へ進める。これ以外の場合、監視制御部３６は、乗員を登録しないと判断し、図７の登録制御を終了する。
【0048】
ステップＳＴ２から、監視制御部３６は、新たな乗員の登録処理を実行する。監視制御部３６は、まず、乗員の登録を開始する案内を、液晶デバイス３２に表示する。メニュー画面において乗員登録ボタンを操作して登録しようとしている乗員は、基本的に液晶デバイス３２の案内表示を正面から直視していると考えられる。また、監視制御部３６は、案内において、顔を液晶デバイス３２へ向けるように正対する指示してよい。また、監視制御部３６は、カメラモジュール３１の第一ＬＥＤ４３、および第二ＬＥＤ４５を点灯する。これにより、液晶デバイス３２の案内表示を視るように正対している乗員の上体または頭部には、紫外線が照射される。
【0049】
ステップＳＴ３において、監視制御部３６は、撮像センサ４１から、現在の撮像データを取得し、撮像データに含まれる新たな登録対象の乗員を正面から撮像した画像成分を、正対画像として取得する。監視制御部３６は、撮像センサ４１の撮像画像から複数の乗員が抽出できる場合、その中の１つを乗員に選択させてよい。正対画像には、乗員の両目、鼻、口についての赤外線光による画像成分が高い確率で含まれることが期待できる。赤外線光による画像成分には、頭部や眼球の静脈パターンが含まれてもよい。頭部や眼球の静脈パターンは、それについて抽出する特徴点の個数にもよるが、個人を特定するために用いることができる。また、頭部や眼球の静脈パターンは、頭部の表面形状やまたは顔の凹凸や形状の影響に起因する明暗パターンの影響を受け難い。眼球の静脈パターンは、基本的に、周辺の白目から中央の黒目へ向かうものがある。眼球を覆う瞼の静脈パターンは、眼球の静脈パターンとは異なるパターンである。監視制御部３６は、これらの頭部、眼球、瞼などの静脈パターンの情報を、撮像データから抽出して取得してよい。そして、このように正対する乗員の頭部を捉えた画像成分には、頭部の各部の画像成分が高画質に含まれていることが期待できる。
なお、監視制御部３６は、正対画像に、乗員の両目、鼻、口についての赤外線光による画像成分が含まれていることが確認できるまで、案内を繰り返したり、撮像センサ４１からの現在の撮像データの取得を繰り返したりしてよい。
なお、監視制御部３６は、正対画像に、乗員の両目、鼻、口についての赤外線光による画像成分が含まれていることが確認できるまで、案内を繰り返したり、撮像センサ４１からの現在の撮像データの取得を繰り返したりしてよい。
【0050】
ステップＳＴ４から、監視制御部３６は、乗員に自動車１の前方を視る正面視の案内を、液晶デバイス３２に表示する。乗員は、液晶デバイス３２の案内表示に基づいて、自動車１の前方を視ると考えられる。また、監視制御部３６は、カメラモジュール３１の第一ＬＥＤ４３、および第二ＬＥＤ４５を点灯する。これにより、自動車１の前方を視る正面視の乗員の上体または頭部には、紫外線が照射される。
【0051】
ステップＳＴ５において、監視制御部３６は、撮像センサ４１から、現在の撮像データを取得し、撮像データに含まれる正面視している乗員を撮像した画像成分を、正面視画像として取得する。正面視画像には、基本的に正対画像とは異なる配置で乗員の両目、鼻、口についての赤外線光による画像成分が含まれ得る。正面視画像には、赤外線光による正面視の頭部や眼球の静脈パターンが含まれてもよい。監視制御部３６は、これらの頭部、眼球、瞼などの静脈パターンの情報を、撮像データから抽出して取得してよい。
そして、このように正面視する乗員の頭部を捉えた画像成分には、居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分が高画質に含まれていることが期待できる。正面視している頭部の各部の画像成分は、正対している頭部の各部の画像成分と好適に対応するものとすることができる。その結果、たとえば一人の乗員についての居眠りしている状態で正面視している頭部の画像がある場合、その乗員が居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分を、正面視している頭部の各部の画像成分へ変換する場合と同様の処理を実行することにより、居眠りしている状態で正面視している頭部の各部の画像成分を得ることが可能になる。このような正面視している頭部の各部の画像成分は、その乗員が居眠りしている状態のものとして確からしいものとなり得る。乗員の特徴によらずに一律の処理を実行した場合には、その乗員が居眠りしている状態のものとはならない可能性があるが、そのような可能性を確実に減らすことができる。
そして、このように正面視する乗員の頭部を捉えた画像成分には、居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分が高画質に含まれていることが期待できる。正面視している頭部の各部の画像成分は、正対している頭部の各部の画像成分と好適に対応するものとすることができる。その結果、たとえば一人の乗員についての居眠りしている状態で正面視している頭部の画像がある場合、その乗員が居眠りもわき見もしていない状態で正面視している頭部の各部の画像成分を、正面視している頭部の各部の画像成分へ変換する場合と同様の処理を実行することにより、居眠りしている状態で正面視している頭部の各部の画像成分を得ることが可能になる。このような正面視している頭部の各部の画像成分は、その乗員が居眠りしている状態のものとして確からしいものとなり得る。乗員の特徴によらずに一律の処理を実行した場合には、その乗員が居眠りしている状態のものとはならない可能性があるが、そのような可能性を確実に減らすことができる。
【0052】
ステップＳＴ６において、監視制御部３６は、ユーザの登録処理を実行する。
ユーザ登録処理において、監視制御部３６は、撮像した二枚の乗員の画像を、登録撮像データとして、乗員ごとに固有の識別情報とともに記録する。これにより、メモリ３５には、新たな乗員についての登録撮像データを含む乗員データが記録される。メモリ３５は、記録部材として、液晶デバイス３２に所定の画面を表示している際の各乗員を撮像センサ４１により撮像した撮像データが、乗員ごとの撮像データとして記録される。メモリ３５において各乗員について記録される登録撮像データには、乗員を正面から撮像したものと、正面視の乗員を撮像したものと、が含まれる。
ユーザ登録処理において、監視制御部３６は、撮像した二枚の乗員の画像を、登録撮像データとして、乗員ごとに固有の識別情報とともに記録する。これにより、メモリ３５には、新たな乗員についての登録撮像データを含む乗員データが記録される。メモリ３５は、記録部材として、液晶デバイス３２に所定の画面を表示している際の各乗員を撮像センサ４１により撮像した撮像データが、乗員ごとの撮像データとして記録される。メモリ３５において各乗員について記録される登録撮像データには、乗員を正面から撮像したものと、正面視の乗員を撮像したものと、が含まれる。
【0053】
【0054】
ステップＳＴ１１において、監視制御部３６は、乗員の乗車を判断する。監視制御部３６は、たとえば、ドア開閉センサ１１による開閉検出、撮像センサ４１の画像に基づいて乗員の乗車を判断してよい。乗員が乗車している場合、監視制御部３６は、処理をステップＳＴ１２へ進める。乗員が乗車していない場合、監視制御部３６は、本処理を繰り返す。なお、乗員が乗車していない場合、監視制御部３６は、図８の監視制御を終了してもよい。
【0055】
ステップＳＴ１２から、監視制御部３６は、乗車している乗員の監視処理を開始する。監視制御部３６は、まず、乗車している乗員を識別する。
監視制御部３６は、撮像センサ４１から新たな撮像画像を取得し、乗車している乗員の画像成分を抽出し、メモリ３５に登録されている複数の乗員データと照合する。
この際、監視制御部３６は、メモリ３５に登録されている各乗員の登録撮像データの中の、正面視の画像成分のみに基づいて、照合してよい。正面視の画像には、顔の鼻などについての凹凸による特徴点が鮮明に含まれることが多い。正面視の画像成分のみに基づいて照合しても、乗員の合致を高い精度で判断可能である。また、監視制御部３６は、画像同士を直接比較するのではなく、それぞれの画像から抽出した特徴点同士を比較してよい。
監視制御部３６は、メモリ３５に登録されている乗員データに含まれる登録撮像データが一定確度以上で合致する場合、乗車している乗員をその登録撮像データの乗員であるとして特定してよい。
この場合、監視制御部３６は、乗車している乗員を、メモリ３５に登録されている複数の乗員データとの照合により特定した乗員として識別することになる。
メモリ３５に登録されている複数の乗員データにおいて一定確度以上で合致する登録撮像データがない場合、監視制御部３６は、登録がない乗員として識別してよい。
監視制御部３６は、撮像センサ４１から新たな撮像画像を取得し、乗車している乗員の画像成分を抽出し、メモリ３５に登録されている複数の乗員データと照合する。
この際、監視制御部３６は、メモリ３５に登録されている各乗員の登録撮像データの中の、正面視の画像成分のみに基づいて、照合してよい。正面視の画像には、顔の鼻などについての凹凸による特徴点が鮮明に含まれることが多い。正面視の画像成分のみに基づいて照合しても、乗員の合致を高い精度で判断可能である。また、監視制御部３６は、画像同士を直接比較するのではなく、それぞれの画像から抽出した特徴点同士を比較してよい。
監視制御部３６は、メモリ３５に登録されている乗員データに含まれる登録撮像データが一定確度以上で合致する場合、乗車している乗員をその登録撮像データの乗員であるとして特定してよい。
この場合、監視制御部３６は、乗車している乗員を、メモリ３５に登録されている複数の乗員データとの照合により特定した乗員として識別することになる。
メモリ３５に登録されている複数の乗員データにおいて一定確度以上で合致する登録撮像データがない場合、監視制御部３６は、登録がない乗員として識別してよい。
【0056】
ステップＳＴ１３において、監視制御部３６は、識別した乗員の乗員データを取得する。
【0057】
ステップＳＴ１４において、監視制御部３６は、取得した乗員データを用いて、設定処理を実行する。乗員データに、乗員がした各種の設定データが含まれている場合、監視制御部３６は、その設定データに基づく設定処理を実行する。監視制御部３６は、設定データの情報を、自動車１の各部へ出力する。これにより、乗員の着座についてのシートポジション、運転支援の有無の初期設定、自動運転での走行嗜好情報、使用するサーバ装置の情報、乗員保護の設定、空調の設定、などの処理が実行される。
また、監視制御部３６は、取得している最新の撮像データに基づいて、たとえば助手席のシート４へのチャイルドバケットの装着を判断し、チャイルドバケットが装着されている場合には、助手席のシート４へ向けてのエアバッグ展開を禁止する設定を実行する。
また、監視制御部３６は、取得している最新の撮像データに基づいて、たとえば助手席のシート４へのチャイルドバケットの装着を判断し、チャイルドバケットが装着されている場合には、助手席のシート４へ向けてのエアバッグ展開を禁止する設定を実行する。
【0058】
ステップＳＴ１５から、監視制御部３６は、識別した乗員についての監視処理を開始する。監視制御部３６は、まず、撮像センサ４１による最新の撮像データを取得する。
【0059】
ステップＳＴ１６において、監視制御部３６は、最新の撮像データに含まれる乗員の上体および頭部の画像成分を特定する。監視制御部３６は、既に識別している乗員についてのメモリ３５の登録撮像データの画像成分を基準として用いて、最新の撮像データに含まれる乗員の上体および頭部の画像成分を判断する。ここで、監視制御部３６は、たとえばメモリ３５に登録されている各乗員を正面から撮像したものと正面視の乗員を撮像したものとの相違（差）に基づいて、撮像センサ４１により撮像されている現在の撮像データに含まれる乗員を正面から撮像したものを推定し、乗員を正面から撮像したものとして推定した画像成分に基づいて自動車１に乗る各乗員の状態を判断してよい。監視制御部３６は、たとえば乗員を正面から撮像したものを用いて、現在の撮像データに含まれる乗員の画像のレンズ歪みおよび向きを補正し、現在の撮像データに基づく乗員を正面から撮像したものを推定してよい。なお、登録が識別てきない場合には、監視制御部３６は、メモリ３５の標準的な登録撮像データの画像成分を基準として用いても、登録撮像データの画像成分を用いずに、最新の撮像データに含まれる乗員の上体および頭部の画像成分を判断してよい。
監視制御部３６は、最新の撮像データにおける乗員の状態としてたとえば目の開閉状態、視線の方向、頭部の向き、などを判断する。監視制御部３６は、静脈の脈動を判断してもよい。そして、たとえばドライバとしての乗員の目が閉じている場合、視線が正面視ではない場合、頭部の向きが正面視ではない場合、脈拍が高い場合、監視制御部３６は、ドライバが運転に適した状態にないと判定する。それ以外の場合、監視制御部３６は、ドライバが運転に適した状態にあると判定してよい。
このように監視制御部３６は、判断部として、メモリ３５に記録されている登録撮像データを基準データとして用いて、自動車１に乗る各乗員の状態を判断する。
また、監視制御部３６は、自動車１に乗るドライバの状態として、少なくとも、ドライバの目の開閉状態、またはドライバの視線を判断する。この際、監視制御部３６は、高画質な登録撮像データを基準として用いることができるので、単なる目の開閉状態だけでなく、上瞼と下瞼との間における黒目の撮像状態の変化や白目の撮像状態の変化などについての情報を、各乗員に合わせて取得でき、乗員の視線方向などの目の表情を高精度に判定することができる。
これに対し、乗員ごとの登録撮像データを用いないで同様の判断をしようとすると、目の大きさなどの個人差を含めて乗員の視線方向などの目の表情を判定することになる。各個人についての視線方向などの目の表情を高精度に判定することは容易ではない。乗員の身体的特徴に基づく過剰な警告を出力するようになってしまう。その乗員にとって不快である。
監視制御部３６は、最新の撮像データにおける乗員の状態としてたとえば目の開閉状態、視線の方向、頭部の向き、などを判断する。監視制御部３６は、静脈の脈動を判断してもよい。そして、たとえばドライバとしての乗員の目が閉じている場合、視線が正面視ではない場合、頭部の向きが正面視ではない場合、脈拍が高い場合、監視制御部３６は、ドライバが運転に適した状態にないと判定する。それ以外の場合、監視制御部３６は、ドライバが運転に適した状態にあると判定してよい。
このように監視制御部３６は、判断部として、メモリ３５に記録されている登録撮像データを基準データとして用いて、自動車１に乗る各乗員の状態を判断する。
また、監視制御部３６は、自動車１に乗るドライバの状態として、少なくとも、ドライバの目の開閉状態、またはドライバの視線を判断する。この際、監視制御部３６は、高画質な登録撮像データを基準として用いることができるので、単なる目の開閉状態だけでなく、上瞼と下瞼との間における黒目の撮像状態の変化や白目の撮像状態の変化などについての情報を、各乗員に合わせて取得でき、乗員の視線方向などの目の表情を高精度に判定することができる。
これに対し、乗員ごとの登録撮像データを用いないで同様の判断をしようとすると、目の大きさなどの個人差を含めて乗員の視線方向などの目の表情を判定することになる。各個人についての視線方向などの目の表情を高精度に判定することは容易ではない。乗員の身体的特徴に基づく過剰な警告を出力するようになってしまう。その乗員にとって不快である。
【0060】
ステップＳＴ１７において、監視制御部３６は、ドライバなどの乗員の状態判定結果に基づいて、自動車１の走行などについての制御が必要であるか否かを判断する。たとえばドライバが運転に適した状態にないと判定している場合、監視制御部３６は、制御要と判断し、処理をステップＳＴ１８へ進める。それ以外の場合、たとえばドライバを含む乗員のすべてが移動に適した状態にある場合、監視制御部３６は、制御不要と判断し、ステップＳＴ１８を飛ばして処理をステップＳＴ１９へ進める。
【0061】
ステップＳＴ１８において、監視制御部３６は、自動車１の走行などについての制御を実行する。
たとえばドライバの視線が正面視ではないまたは頭部が前へ向いていないと判定している場合、監視制御部３６は、ドライバに対する警告を行う。ドライバへの警告は、たとえば液晶デバイス３２の警告表示、スピーカデバイス１４からの警告音の出力でよい。警告を出力してもドライバが正面視とはならない場合、すなわち連続してドライバの視線が正面視ではないと判定している場合、監視制御部３６は、自動車１の走行モードを自動運転へ切り替えて、自動車１の走行を減速停止してよい。自動車１の走行を減速停止する場合、監視制御部３６は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。
たとえばドライバが居眠りしているまたは高い脈拍であると判定している場合、監視制御部３６は、ドライバへの警告、または自動車１の走行の減速停止を実行する。自動車１の走行を減速停止する場合、監視制御部３６は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。
なお、所定の期間以上にわたって継続的に走行をしている場合、目が所定頻度で開閉している場合、頭部の向きが下がりぎみである場合、監視制御部３６は、ステップＳＴ１７において制御要と判断し、ドライバに対して休憩などを促す出力を実行してよい。
たとえばドライバの視線が正面視ではないまたは頭部が前へ向いていないと判定している場合、監視制御部３６は、ドライバに対する警告を行う。ドライバへの警告は、たとえば液晶デバイス３２の警告表示、スピーカデバイス１４からの警告音の出力でよい。警告を出力してもドライバが正面視とはならない場合、すなわち連続してドライバの視線が正面視ではないと判定している場合、監視制御部３６は、自動車１の走行モードを自動運転へ切り替えて、自動車１の走行を減速停止してよい。自動車１の走行を減速停止する場合、監視制御部３６は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。
たとえばドライバが居眠りしているまたは高い脈拍であると判定している場合、監視制御部３６は、ドライバへの警告、または自動車１の走行の減速停止を実行する。自動車１の走行を減速停止する場合、監視制御部３６は、不図示のハザードランプの点灯、車外通信装置１８による緊急事態情報の送信を実行してよい。
なお、所定の期間以上にわたって継続的に走行をしている場合、目が所定頻度で開閉している場合、頭部の向きが下がりぎみである場合、監視制御部３６は、ステップＳＴ１７において制御要と判断し、ドライバに対して休憩などを促す出力を実行してよい。
【0062】
ステップＳＴ１９において、監視制御部３６は、乗員の監視制御を継続するか否かを判断する。監視制御部３６は、たとえば、ドア開閉センサ１１による開閉検出、撮像センサ４１の画像に基づいて乗員の降車を判断してよい。乗員が降車した場合、監視制御部３６は、乗員の監視制御を継続しないと判断し、処理をステップＳＴ２０へ進める。それ以外の場合、監視制御部３６は、乗員の監視制御を継続すると判断し、処理をステップＳＴ１５へ戻す。監視制御部３６は、乗員の監視制御を継続しないと判断するまで、ステップＳＴ１５からステップＳＴ１９の処理を繰り返す。
【0063】
ステップＳＴ２０において、監視制御部３６は、乗員の降車時の処理として、認識した乗員のものとしてメモリ３５に登録されている乗員データを更新する。監視制御部３６は、乗員の降車時の設定情報を、自動車１の各部が取得し、メモリ３５に登録されている乗員データを更新する。これにより、メモリ３５に登録されている乗員データは、乗員の嗜好に適応したものとなる。次回の乗車時には、乗員についての最新の設定が自動的になされることになる。
また、監視制御部３６は、未登録の乗員についての乗員データを、メモリ３５に一時的に記録してよい。これにより、その後にその乗員が登録操作をした場合に、直ちに設定を紐付けることができる。
また、監視制御部３６は、未登録の乗員についての乗員データを、メモリ３５に一時的に記録してよい。これにより、その後にその乗員が登録操作をした場合に、直ちに設定を紐付けることができる。
【0064】
このように、本実施形態の乗員監視装置１５では、撮像センサ４１を有するカメラモジュール３１が、自動車１の車幅方向の中央部分において液晶デバイス３２の表示操作パネル３３の裏側に配置されているため、ドライバと同乗者とを１つの撮像センサ４１により撮像して、各々の状態を監視することができる。しかも、撮像センサ４１を有するカメラモジュール３１は、液晶デバイス３２の表示操作パネル３３の近くに配置され、乗員の現在の撮像データに加えて乗員を予め正面などから撮像したデータを用いて状態を判断しているため、乗員の撮像方向や撮像位置の影響を抑制して、乗員の状態を現在の撮像データのみに基づいて判断する場合と比べて、より確からしく判断することができる。
【0065】
次に、このような乗員監視に用いることができる表示操作パネル３３を有する液晶デバイス３２についての、乗員の操作に対する応答制御を説明する。
【0066】
図９は、車体２の車幅方向の中央部分に設けられて監視制御に用いることができる図３の表示操作パネル３３に対する操作についての応答制御のフローチャートである。
乗員監視装置１５の監視制御部３６は、液晶デバイス３２の表示操作パネル３３に対する乗員の操作を検出するために、図９の処理を繰り返し実行する。
なお、乗員監視装置１５に接続される車両の他の装置のＥＣＵが、たとえば図２に示す他の装置のＥＣＵが、液晶デバイス３２の表示操作パネル３３への乗員操作の情報を監視制御部３６を通じて取得して、図９の処理を繰り返し実行してもよい。
そして、図６に示すように、表示操作パネル３３の表示領域には、カメラモジュール３１が配置される非表示部３３ｂの左右両側および下側に、カメラモジュール３１へ向かう方向へのスワイプ操作を禁止する制限領域６２が設定されている。
乗員監視装置１５の監視制御部３６は、液晶デバイス３２の表示操作パネル３３に対する乗員の操作を検出するために、図９の処理を繰り返し実行する。
なお、乗員監視装置１５に接続される車両の他の装置のＥＣＵが、たとえば図２に示す他の装置のＥＣＵが、液晶デバイス３２の表示操作パネル３３への乗員操作の情報を監視制御部３６を通じて取得して、図９の処理を繰り返し実行してもよい。
そして、図６に示すように、表示操作パネル３３の表示領域には、カメラモジュール３１が配置される非表示部３３ｂの左右両側および下側に、カメラモジュール３１へ向かう方向へのスワイプ操作を禁止する制限領域６２が設定されている。
【0067】
ステップＳＴ３１において、監視制御部３６は、乗員による液晶デバイス３２の表示操作パネル３３に対する操作の有無を判断する。乗員の操作が検出されていない場合、監視制御部３６は、本処理を継続する。そして、乗員の操作が検出されると、監視制御部３６は、処理をステップＳＴ３２へ進める。
【0068】
ステップＳＴ３２において、監視制御部３６は、操作環境として、自動車１が走行中であるか否かを判断する。自動車１が走行中である場合、表示操作パネル３３に対する操作を禁止するために、監視制御部３６は、処理をステップＳＴ３１へ戻す。自動車１が走行中でない場合、監視制御部３６は、処理をステップＳＴ３３へ進める。
ここで、監視制御部３６は、操作環境として、さらにドライバが操作したか否かを判断してもよい。この場合、監視制御部３６は、ドライバが操作している場合には処理をステップＳＴ３１へ戻し、同乗者が操作している場合には処理をステップＳＴ３３へ進めてよい。
ここで、監視制御部３６は、操作環境として、さらにドライバが操作したか否かを判断してもよい。この場合、監視制御部３６は、ドライバが操作している場合には処理をステップＳＴ３１へ戻し、同乗者が操作している場合には処理をステップＳＴ３３へ進めてよい。
【0069】
ステップＳＴ３３において、監視制御部３６は、液晶デバイス３２の表示操作パネル３３の表示領域について、乗員により操作された操作位置を判定する。表示操作パネル３３の表示領域には、たとえば図６に示すように、メイン表示領域ＡＭと、サブ表示領域ＡＳと、がある。サブ表示領域ＡＳは、非表示部３３ｂの左右両側に設定されてよい。メイン表示領域ＡＭには、各種の設定のための複数の操作ボタンといった操作オブジェクト６５が表示できる。サブ表示領域ＡＳには、現在時刻、自動車１の各種の状態についての操作オブジェクト６５が表示できる。
液晶デバイス３２は、操作画面にスワイプ操作可能な複数の操作オブジェクト６５を表示できる。監視制御部３６は、操作位置を判定において、表示中の複数の操作オブジェクト６５について、どの操作オブジェクト６５が操作されたか否かを判断してよい。
液晶デバイス３２は、操作画面にスワイプ操作可能な複数の操作オブジェクト６５を表示できる。監視制御部３６は、操作位置を判定において、表示中の複数の操作オブジェクト６５について、どの操作オブジェクト６５が操作されたか否かを判断してよい。
【0070】
ステップＳＴ３４において、監視制御部３６は、乗員の操作内容を判定する。乗員は、液晶デバイス３２の表示操作パネル３３の表示領域に表示されている操作オブジェクト６５について、基本的に、たとえば押すクリック操作、上下左右へずらすスワイプ操作などをしてよい。監視制御部３６は、乗員の操作内容として、ステップＳＴ３３において特定した操作位置または操作オブジェクト６５の位置を基準として、クリック操作がなされたか、スワイプ操作がなされたかを判断してよい。また、監視制御部３６は、表示操作パネル３３の表面を撮像カメラの設置位置へ向けてなぞるスワイプ操作についての操作位置からの操作方向を判断してよい。
【0071】
ステップＳＴ３５において、監視制御部３６は、操作内容が表示操作パネル３３の表面をなぞるスワイプ操作であるか否かを判断する。ステップＳＴ３４においてスワイプ操作と判断している場合、監視制御部３６は、処理をステップＳＴ３６へ進める。ステップＳＴ３４においてスワイプ操作と判断していない場合、監視制御部３６は、処理をステップＳＴ３８へ進める。
【0072】
ステップＳＴ３６において、監視制御部３６は、スワイプ操作が、スワイプ操作を制限する領域での、スワイプ操作を制限する方向への操作であるか否かを判断する。図６に示すように、表示操作パネル３３の表示領域には、カメラモジュール３１が配置される非表示部３３ｂの左右両側および下側に、カメラモジュール３１へ向かう方向へのスワイプ操作を禁止する制限領域６２が設定されている。監視制御部３６は、カメラモジュール３１へ向かう方向へのスワイプ操作であるか否かを判断する。カメラモジュール３１へ向かう方向へのスワイプ操作である場合、監視制御部３６は、処理をステップＳＴ３７へ進める。それ以外の場合、監視制御部３６は、処理をステップＳＴ３８へ進める。
ここで、図６に例示するように、制限領域６２と一部が重なる操作オブジェクト６５については、制限領域６２に含まれる操作オブジェクト６５と同様に判断しても、制限領域６２に含まれていない操作オブジェクト６５と同様に判断しても、よい。たとえばカメラモジュール３１の周囲に十分な広さの制限領域６２を設定している場合には、制限領域６２に含まれていない操作オブジェクト６５と同様に判断してよい。
また、制限領域６２の設定は、図６のパターンに限られるものではない。
ここで、図６に例示するように、制限領域６２と一部が重なる操作オブジェクト６５については、制限領域６２に含まれる操作オブジェクト６５と同様に判断しても、制限領域６２に含まれていない操作オブジェクト６５と同様に判断しても、よい。たとえばカメラモジュール３１の周囲に十分な広さの制限領域６２を設定している場合には、制限領域６２に含まれていない操作オブジェクト６５と同様に判断してよい。
また、制限領域６２の設定は、図６のパターンに限られるものではない。
【0073】
ステップＳＴ３７において、監視制御部３６は、乗員の操作位置および操作内容に応じた、操作に対する応答制御を実行しない。監視制御部３６は、乗員の操作内容が表示領域についての撮像センサ４１の周辺部分における撮像センサ４１へ向かう動きを伴うスワイプ操作である場合、操作内容に応じた制御を実行しない。監視制御部３６は、操作に対する応答制御を実行しない旨の警告ウィンドウなどを液晶デバイス３２に出力してもよい。その後、監視制御部３６は、本制御を終了する。
【0074】
ステップＳＴ３８において、監視制御部３６は、乗員の操作位置および操作内容に応じた、操作に対する応答制御を実行する。
たとえば乗員の操作が表示オブジェクトについてのクリック操作である場合、監視制御部３６は、その操作に予め対応付けられた応答制御を実行する。監視制御部３６は、たとえば操作された表示オブジェクトについての実行画面を、液晶デバイス３２に表示してよい。
たとえば乗員の操作が表示オブジェクトについてのスワイプ操作である場合、監視制御部３６は、その操作に予め対応付けられた応答制御を実行する。監視制御部３６は、たとえば操作された表示オブジェクトについての設定画面を、液晶デバイス３２に表示してよい。
たとえば乗員の操作が表示オブジェクトについてのクリック操作である場合、監視制御部３６は、その操作に予め対応付けられた応答制御を実行する。監視制御部３６は、たとえば操作された表示オブジェクトについての実行画面を、液晶デバイス３２に表示してよい。
たとえば乗員の操作が表示オブジェクトについてのスワイプ操作である場合、監視制御部３６は、その操作に予め対応付けられた応答制御を実行する。監視制御部３６は、たとえば操作された表示オブジェクトについての設定画面を、液晶デバイス３２に表示してよい。
【0075】
このように監視制御部３６は、撮像センサ４１の周辺に表示される操作オブジェクト６５について撮像センサ４１の設置位置へ向けてなぞるスワイプ操作がなされた場合には、そのスワイプ操作に応じた制御を実行しない。これに対し、撮像センサ４１の周辺以外に表示される操作オブジェクト６５についてのスワイプ操作がなされた場合、または、撮像センサ４１の周辺であっても撮像センサ４１以外へ向けてなぞるスワイプ操作がなされた場合には、監視制御部３６は、そのスワイプ操作に応じた制御を実行する。
【0076】
以上のように、本実施形態では、監視制御部３６は、乗員の操作内容が、少なくとも撮像センサ４１へ向かう動きを伴う操作である場合には、判断した操作内容に応じた制御を実行しない。よって、乗員は、自動車１の乗員の操作画面を表示する液晶デバイス３２に対して、撮像センサ４１へ向かう動きを伴う操作をしないようになり得る。その結果、本実施形態では、乗員の操作の際の指、手、腕、肘などの動きにより、撮像センサ４１の視野が遮られ難くなる。しかも、乗員は、撮像センサ４１へ向かわないのであれば動きを伴う操作について制限されることがないため、液晶デバイス３２に表示される操作画面に対して動きを伴う操作をすることができる。
このように、本実施形態では、乗員による動きを伴うスワイプ操作が一律に制限されてないため、乗員の使いやすさと、乗員の状態監視とを、高度なバランスで両立することができる。
このように自動車１では、乗員監視に用いる液晶デバイス３２についての、乗員の使いやすさと、乗員の状態監視とを、良好に両立させることが求められる。
このように、本実施形態では、乗員による動きを伴うスワイプ操作が一律に制限されてないため、乗員の使いやすさと、乗員の状態監視とを、高度なバランスで両立することができる。
このように自動車１では、乗員監視に用いる液晶デバイス３２についての、乗員の使いやすさと、乗員の状態監視とを、良好に両立させることが求められる。
【0077】
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
【0078】
たとえば上述した実施形態では、液晶デバイス３２は、縦長に配置されている。
この他にもたとえば、液晶デバイス３２は、横長に配置されてよい。
この他にもたとえば、液晶デバイス３２は、横長に配置されてよい。
【0079】
図１０は、図６の車体２の車幅方向の中央部分に設けられる乗員監視装置１５の液晶デバイス３２とカメラモジュール３１についての第一変形例の説明図である。
図１０の液晶デバイス３２の表示領域は、横長となっている。
また、撮像センサ４１を有するカメラモジュール３１は、表示操作パネル３３の裏側において、液晶デバイス３２による表示領域の上側に形成される非表示部３３ｂの裏側に配置される。カメラモジュール３１は、表示操作パネル３３の四角を保持する保持部材６１より外へ突出しないように、保持部材６１より内側となるように設けられる。
この場合であっても、表示操作パネル３３の表示領域についての、カメラモジュール３１が配置される非表示部３３ｂの左右両側および下側に、カメラモジュール３１へ向かう方向へのスワイプ操作を禁止する制限領域６２を設定することにより、上述した実施形態と同様の効果を得ることができる。
図１０の液晶デバイス３２の表示領域は、横長となっている。
また、撮像センサ４１を有するカメラモジュール３１は、表示操作パネル３３の裏側において、液晶デバイス３２による表示領域の上側に形成される非表示部３３ｂの裏側に配置される。カメラモジュール３１は、表示操作パネル３３の四角を保持する保持部材６１より外へ突出しないように、保持部材６１より内側となるように設けられる。
この場合であっても、表示操作パネル３３の表示領域についての、カメラモジュール３１が配置される非表示部３３ｂの左右両側および下側に、カメラモジュール３１へ向かう方向へのスワイプ操作を禁止する制限領域６２を設定することにより、上述した実施形態と同様の効果を得ることができる。
【0080】
図１１は、図６の車体２の車幅方向の中央部分に設けられる乗員監視装置１５の液晶デバイス３２とカメラモジュール３１についての第二変形例の説明図である。
図１１の液晶デバイス３２の表示領域は、横長となっている。
また、撮像センサ４１を有するカメラモジュール３１は、表示操作パネル３３の裏側において、液晶デバイス３２による四角形の表示領域の上側となるように配置される。カメラモジュール３１は、表示操作パネル３３の四角を保持する保持部材６１より外へ突出しないように、保持部材６１より内側となるように設けられる。
この場合であっても、表示操作パネル３３の表示領域についての、カメラモジュール３１が隣接して配置される上部中央に、カメラモジュール３１へ向かう方向へのスワイプ操作を禁止する制限領域６２を設定することにより、上述した実施形態と同様の効果を得ることができる。
図１１の液晶デバイス３２の表示領域は、横長となっている。
また、撮像センサ４１を有するカメラモジュール３１は、表示操作パネル３３の裏側において、液晶デバイス３２による四角形の表示領域の上側となるように配置される。カメラモジュール３１は、表示操作パネル３３の四角を保持する保持部材６１より外へ突出しないように、保持部材６１より内側となるように設けられる。
この場合であっても、表示操作パネル３３の表示領域についての、カメラモジュール３１が隣接して配置される上部中央に、カメラモジュール３１へ向かう方向へのスワイプ操作を禁止する制限領域６２を設定することにより、上述した実施形態と同様の効果を得ることができる。
【0081】
上述した実施形態では、液晶デバイス３２の表示操作パネル３３、および撮像センサ４１は、自動車１の車幅方向の中央部分にセンター配置されている。撮像センサ４１は、自動車１の車幅方向の中央部分にセンター配置された状態で、自動車１の前列に着座する複数の乗員の頭部を撮像可能な画角の撮像広角レンズ４２を有している。監視制御部３６は、自動車１に乗る乗員の状態として、少なくとも、乗員の目の開閉状態、または視線を判断している。
乗員の監視装置は、これらのいずれかにも該当しないものであってもよい。たとえば、乗員の監視装置は、ドライバのみを監視対象とするものでもよい。この場合であっても、たとえば、撮像センサ４１を、液晶デバイス３２の表示操作パネル３３の裏側において、画像の表示領域の外接円の内側に収まるように配置したり、監視制御部３６が、メモリ３５に記録されている登録撮像データを基準データとして用いて、自動車１に乗る乗員の状態を判断することにより、その監視判断の確からしさを向上できることは期待できる。
乗員の監視装置は、これらのいずれかにも該当しないものであってもよい。たとえば、乗員の監視装置は、ドライバのみを監視対象とするものでもよい。この場合であっても、たとえば、撮像センサ４１を、液晶デバイス３２の表示操作パネル３３の裏側において、画像の表示領域の外接円の内側に収まるように配置したり、監視制御部３６が、メモリ３５に記録されている登録撮像データを基準データとして用いて、自動車１に乗る乗員の状態を判断することにより、その監視判断の確からしさを向上できることは期待できる。
【符号の説明】
【0082】
１…自動車（車両）、２…車体、３…車室、４…シート、５…ダッシュボード、６…センターコンソール、７…ステアリング、１０…制御装置、１１…ドア開閉センサ、１２…車速センサ、１３…パークセンサ、１４…スピーカデバイス、１５…乗員監視装置、１６…ポジション設定装置、１７…運転支援装置、１８…車外通信装置、１９…乗員保護装置、２０…空調装置、２１…車内ネットワーク、３１…カメラモジュール、３２…液晶デバイス（表示部材）、３３…表示操作パネル、３３ａ…矩形枠、３３ｂ…非表示部、３４…入出力デバイス、３５…メモリ、３６…監視制御部、４１…撮像センサ（撮像部材）、４２…撮像広角レンズ、４３…第一ＬＥＤ、４４…第一投光レンズ、４５…第二ＬＥＤ、４６…第二投光レンズ、５１…第一乗員データ、５２…第二乗員データ、６１…保持部材、６２…制限領域、６５…操作オブジェクト、ＡＭ…メイン表示領域（表示領域）、ＡＳ…サブ表示領域（表示領域）、Ｙ０…自動車の車幅方向の中央位置、Ｙｄ…液晶デバイスの車幅方向の中央位置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】