(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、以下に記載した構成は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。
【0013】
〔実施形態〕
実施形態に係る車両ルーフ搭載システム1について説明する。車両ルーフ搭載システム1は、車両2のルーフパネル2aに設けられ、運転席2bと補助席2cとの間且つ車両2の前後方向の前側に位置し、ステレオカメラ14により撮像された運転者P1の顔を含む画像を後部席2d及び運転席2bから視認可能に表示するディスプレイ15aを備えるものである。この構成により、車両ルーフ搭載システム1は、運転席2bの運転者P1と後部席2dの乗員P3とが適正にコミュニケーションをとることを支援することができる。以下、車両ルーフ搭載システム1について詳細に説明する。
【0014】
なお、以下の説明では、前後方向は、車両2が直進する方向であり、車両2の全長方向と同等の方向である。車幅方向は、車両2の幅に沿った方向である。高さ方向は、車両2の高さに沿った方向であり、典型的には鉛直方向である。前後方向、車幅方向、及び、高さ方向は、互いに略直交する。
【0015】
車両2は、
図1に示すように、車両2を運転する運転者P1が着座する運転席2bと、運転席2bの車幅方向側に設けられる補助席2cと、車両2の前後方向において運転席2b及び補助席2cよりも後側に設けられる複数の後部席2dとを備える。運転席2bは、前後方向の前側且つ車両2のハンドルに対向する位置に設けられる。補助席2cは、いわゆる助手席であり、運転席2bの車幅方向に並んで設けられる。ここでは、各後部席2dは、車幅方向に沿って一列設けられるが、これに限定されず、車幅方向に沿って複数列設けられてもよい。車両2は、
図2に示すように、さらに、車両センサ2eと、車両制御装置2fと、センターディスプレイ2g(
図1参照)とを備える。車両センサ2eは、例えば、車両2の車速等を検出するセンサである。車両センサ2eは、後述する通信制御部16bに接続され、検出した結果を当該通信制御部16bに出力する。車両制御装置2fは、車両2全体を制御する装置であり、ECU(電子制御ユニット;Electronic Control Unit)を含んで構成される。車両制御装置2fは、通信制御部16bに接続され、通信制御部16bから出力される警告信号に基づいて車両2を制御する。車両制御装置2fは、例えば、警告信号が車両2を停止することを示す場合、他の情報を含めて判断し、車両2を安全に停止する制御を行う。センターディスプレイ2gは、例えば、運転の順路を案内するナビゲーション情報等を表示する表示装置であり、車両2のインストルメントパネル2hに設けられる。
【0016】
車両ルーフ搭載システム1は、オーバーヘッドモジュール10と、リアモジュール20とを備える。オーバーヘッドモジュール10は、車両2の室内を撮像した映像等を出力する装置である。また、オーバーヘッドモジュール10は、撮像した映像に基づき運転者P1の居眠り等の状態を監視して警告する装置である。オーバーヘッドモジュール10は、監視機能も備えることで、従来のように監視機能を有する装置を別途設置する場合と比較して部品点数を削減することができる。また、オーバーヘッドモジュール10は、この監視機能を従来の運転に関する入出力装置(図示せず)と分離することができるので、この入出力装置が設けられるインストルメントパネル2hのレイアウトに余裕を持たせることができる。オーバーヘッドモジュール10は、車両2のルーフパネル2aの室内側に設けられる。オーバーヘッドモジュール10は、ルーフパネル2aにおいて運転席2bと補助席2cとの間且つ前後方向の前側に位置する。つまり、オーバーヘッドモジュール10は、ルーフパネル2aにおいて車両2の車幅方向の中央部且つフロントガラス側に位置する。オーバーヘッドモジュール10は、筐体11と、スイッチ部12と、照明部13と、第1撮像部としてのステレオカメラ14と、出力部15と、制御ユニット16とを備える。
【0017】
筐体11は、合成樹脂等により形成され、内部空間部を有する。この内部空間部には、
図3に示すように、スイッチ部12、照明部13、ステレオカメラ14、出力部15、及び、制御ユニット16が収容される。筐体11は、当該筐体11の外側から操作可能にスイッチ部12を収容し、当該筐体11の外側に灯りを照射可能な照明部13を収容する。また、筐体11は、車両2の室内等を撮像可能なステレオカメラ14を収容し、車両2の室内に画像や音声等を出力可能な出力部15を収容する。また、筐体11は、外部から保護した状態で制御ユニット16を収容する。
【0018】
スイッチ部12は、運転者P1及び補助席2cの乗員P2に操作される複数のスイッチを備える。スイッチ部12は、例えば、照明スイッチ12a、切替部としての切替スイッチ12b、及び、設定スイッチ12cを有する。照明スイッチ12aは、照明部13をオンオフするスイッチであり、運転者P1又は補助席2cの乗員P2により操作される。照明スイッチ12aは、後述する照明制御部16aに接続され、当該照明制御部16aに照明オン信号又は照明オフ信号を出力する。切替スイッチ12bは、後述するディスプレイ15aに表示される画像を切り替えるスイッチであり、運転者P1又は補助席2cの乗員P2により操作される。切替スイッチ12bは、後述する表示制御部16dに接続され、当該表示制御部16dに切替信号を出力する。設定スイッチ12cは、運転者P1の居眠り等の状態を監視する監視機能をオンオフするスイッチであり、運転者P1又は補助席2cの乗員P2により操作される。設定スイッチ12cは、監視制御部16eに接続され、当該監視制御部16eに設定信号を出力する。
【0019】
照明部13は、車両2の運転席2b及び補助席2cに灯りを照らす機器である。照明部13は、例えば、LED(発光ダイオード;Light Emitting Diode)が埋め込まれており、照明制御部16aに接続される。照明部13は、照明制御部16aの制御に基づいて灯りを照らす。
【0020】
ステレオカメラ14は、一対のカメラ14a、14bを有する撮像装置である。ステレオカメラ14は、各カメラ14a、14bが車幅方向に沿って配置され、各カメラ14a、14bのレンズは共に運転席2bと補助席2cを映す向きに配置される。ステレオカメラ14は、例えば、その画角が運転席2bに着座した運転者P1の顔及び補助席2cに着座した乗員P2の顔が画像に含まれる角度に設定される。ステレオカメラ14は、3次元の情報を含む画像(以下、3次元の画像とも称する。)を撮像する。ステレオカメラ14は、各カメラ14a、14bで撮像した撮像対象の画像上における映る位置の違い(視差)から撮像対象を3次元で認識することを可能とする。ステレオカメラ14は、運転席2bに着座した運転者P1の顔及び補助席2cに着座した乗員P2の顔を含む画像を撮像する。なお、ステレオカメラ14は、運転者P1の顔及び補助席2cの乗員P2の顔の他に後部席2dの乗員P3の姿が画像に含まれていてもよい。ステレオカメラ14は、カメラ14a、14bにより撮像した画像を制御部16cに出力する。
【0021】
出力部15は、情報を出力する機器である。出力部15は、制御部16cに接続され、制御部16cによる制御に基づいて様々な情報を出力する。出力部15は、画像表示部としてのディスプレイ15aと、スピーカ15bと、スイッチイルミネーション部15cとを備える。ディスプレイ15aは、画像情報を表示する機器である。ディスプレイ15aは、例えば、LCD(液晶ディスプレイ;Liquid Crystal Display)、有機EL(Electro−Luminescence)等が用いられる。ディスプレイ15aは、運転席2b、補助席2c、及び、後部席2dから画像を視認可能にオーバーヘッドモジュール10に組み付けられる。ディスプレイ15aは、当該ディスプレイ15aの表示画面が運転席2b、補助席2c、及び、後部席2dの側に向けて配置される。ディスプレイ15aは、ルーフパネル2aに設けられているので、車両2の走行中において運転者P1の車両2前方に向ける視線の先(視界)には含まれにくい。ディスプレイ15aは、運転者P1が高さ方向上側に視線を向けると運転者P1の視界に含まれる。また、ディスプレイ15aは、補助席2cの乗員P2が高さ方向上側に視線を向けると補助席2cの乗員P2の視界に含まれる。また、ディスプレイ15aは、後部席2dの乗員P3が高さ方向上側に視線を向けると後部席2dの乗員P3の視界に含まれる。ディスプレイ15aは、表示制御部16dに接続され、当該表示制御部16dによる制御に基づいて、ステレオカメラ14により撮像された画像、後述するリアモジュール20のリアカメラ23により撮像された画像、又は、他機能の画像を表示する。
【0022】
スピーカ15bは、音声情報を出力する機器である。スピーカ15bは、運転席2b、補助席2c、及び、後部席2dから音声を聴くことができるようにオーバーヘッドモジュール10に組み付けられる。スピーカ15bは、監視制御部16eに接続され、当該監視制御部16eによる制御に基づいて音声を出力する。
【0023】
スイッチイルミネーション部15cは、スイッチ部12に設けられ発光する機器である。スイッチイルミネーション部15cは、例えば、LED等を含んで構成される。スイッチイルミネーション部15cは、監視制御部16eに接続され、当該監視制御部16eによる制御に基づいて点灯又は点滅する。
【0024】
制御ユニット16は、オーバーヘッドモジュール10の各機器を制御するものである。制御ユニット16は、CPU、記憶部を構成するROM、RAM及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御ユニット16は、照明制御部16aと、通信制御部16bと、制御部16cとを備える。
【0025】
照明制御部16aは、照明部13を制御する回路である。照明制御部16aは、照明スイッチ12a及び照明部13に接続され、照明スイッチ12aから出力される照明オン信号又は照明オフ信号に基づいて、照明部13の照明をオンオフ制御する。
【0026】
通信制御部16bは、車両センサ2e及び車両制御装置2fと通信を行う回路である。通信制御部16bは、車両センサ2eに接続され、当該車両センサ2eから車両2の車速等の検出結果が出力される。また、通信制御部16bは、後述する制御部16cにより運転者P1が居眠りを含めた運転に不適切な状況であると判定された場合、運転に不適切な状況であることを示す警告信号を車両制御装置2fに出力する。
【0027】
制御部16cは、出力部15を制御する回路である。制御部16cは、ステレオカメラ14、切替スイッチ12b、設定スイッチ12c、及び、出力部15に接続され、ステレオカメラ14、切替スイッチ12b、及び、設定スイッチ12cから出力される各種信号に基づいて出力部15を制御する。制御部16cは、表示制御部16d及び監視制御部16eを備える。表示制御部16dは、例えば、ステレオカメラ14から出力される3次元の画像生成のために取得した2次元の画像をディスプレイ15aに出力する。例えば、表示制御部16dは、ステレオカメラ14の各カメラ14a、14bのいずれか一方で撮像された画像を取得し、取得した画像を2次元の画像としてディスプレイ15aに出力する。表示制御部16dは、監視制御部16eとは独立して動作し、監視制御部16eの設定に関わらず画像をディスプレイ15aに表示する。
【0028】
監視制御部16eは、ステレオカメラ14から出力される画像に基づいて撮像対象を3次元で認識し、例えば、運転者P1の居眠りを含めた運転に不適切な状況を判定する。ここで、3次元の画像は、ステレオカメラ14の各カメラ14a、14bの両方で撮像された画像に基づく画像である。監視制御部16eは、例えば、運転席2bに着座した運転者P1の頭の位置、及び、当該運転者P1の顔の表情(目の開閉)等に基づき運転者P1の居眠りを判定する。監視制御部16eは、例えば、車両センサ2eから出力された車速が予め定められた基準車速以上であるときに、運転者P1の頭の位置が予め定められた基準位置よりも前後方向の前側に一定時間位置する場合、又は、運転者P1の目が一定時間閉じている場合、運転者P1が居眠りをしていると判定する。監視制御部16eは、この判定結果に基づき、スピーカ15b及びスイッチイルミネーション部15cを制御する。監視制御部16eは、例えば、運転者P1が居眠りをしていると判定した場合、スピーカ15bから警告を示す音声を出力し、さらに、スイッチイルミネーション部15cを点灯又は点滅させて警告する。監視制御部16eは、運転者P1が居眠りをしていないと判定した場合、スピーカ15b及びスイッチイルミネーション部15cから警告しない。監視制御部16eは、表示制御部16dとは独立して動作する。監視制御部16eは、IGN電源がオンされて車両ルーフ搭載システム1が動作状態である場合、表示制御部16dによりディスプレイ15aに表示される内容に関わらず監視処理を実行する。
【0029】
監視制御部16eは、設定スイッチ12cから出力される設定信号に基づいて上述の監視機能をオンオフする。監視制御部16eは、設定信号が監視機能のオンを示す場合には監視機能をオンし、設定信号が監視機能のオフを示す場合には監視機能をオフする。表示制御部16dは、切替スイッチ12bから出力される切替信号に基づいてディスプレイ15aに表示される画像を切り替える。表示制御部16dは、例えば、切替信号に基づいて、ステレオカメラ14により撮像された画像、リアモジュール20のリアカメラ23により撮像された画像、又は、ステレオカメラ14により撮像された画像やリアカメラ23により撮像された画像以外の画像である他機能の画像(例えば時計等の画像)をディスプレイ15aに表示する。表示制御部16dは、切替信号がステレオカメラ14の画像表示を示す場合、ステレオカメラ14により撮像された画像をディスプレイ15aに表示する。また、表示制御部16dは、切替信号がリアモジュール20のリアカメラ23の画像表示を示す場合、リアモジュール20のリアカメラ23により撮像された画像をディスプレイ15aに表示する。また、表示制御部16dは、切替信号が他機能の画像表示を示す場合、他機能の画像をディスプレイ15aに表示する。
【0030】
リアモジュール20は、後部席2dに着座した乗員P3の顔を含む画像を撮像する装置である。リアモジュール20は、車両2のルーフパネル2aの室内側に設けられる。リアモジュール20は、例えば、オーバーヘッドモジュール10よりも車両2の前後方向の後側且つ車幅方向の中央部に位置する。リアモジュール20は、筐体21と、照明装置22と、第2撮像部としてのリアカメラ23とを備える。筐体21は、合成樹脂等により形成され、内部空間部を有する。この内部空間部には、照明装置22及びリアカメラ23が収容される。照明装置22は、後部席2dに灯りを照らす装置であり、照明スイッチ22aと、照明制御部22bと、照明部22cとを有する。照明スイッチ22aは、照明部22cをオンオフするスイッチであり、例えば、後部席2dの乗員P3により操作される。照明スイッチ22aは、照明制御部22bに接続され、当該照明制御部22bに照明オン信号又は照明オフ信号を出力する。照明制御部22bは、照明部22cを制御する回路である。照明制御部22bは、照明スイッチ22a及び照明部22cに接続され、照明スイッチ22aから出力される照明オン信号又は照明オフ信号に基づいて、照明部22cの照明をオンオフ制御する。照明部22cは、車両2の後部席2dに灯りを照らす機器であり、例えば、LEDである。照明部22cは、照明制御部22bに接続され、当該照明制御部22bの制御に基づいて灯りを照らす。リアカメラ23は、例えば、単眼カメラであり、当該リアカメラ23のレンズが後部席2d側に向けて配置される。リアカメラ23は、例えば、その画角が後部席2dに着座した乗員P3の顔が画像に含まれる角度に設定される。リアカメラ23は、後部席2dに着座した乗員P3の顔を含む画像を撮像する。リアカメラ23は、撮像した画像を表示制御部16dに出力する。
【0031】
次に、
図4、
図5、
図6を参照して車両ルーフ搭載システム1の動作例について説明する。車両ルーフ搭載システム1は、IGN電源がオンされたか否かを判定する(ステップS1)。車両ルーフ搭載システム1は、IGN電源がオンされて動作状態となった場合(ステップS1;Yes)、ディスプレイ15aの表示内容として運転席、補助席の画像又は後部席の画像を表示するか、或いは、他機能の画像を表示するかを判定する(ステップS2)。例えば、表示制御部16dは、切替スイッチ12bから出力された切替信号がステレオカメラ14の画像表示を示す信号であるか又は当該切替信号がリアモジュール20のリアカメラ23の画像表示を示す信号であるか、或いは、当該切替信号がステレオカメラ14又はリアカメラ23以外の画像表示を示す信号であるかを判定する。車両ルーフ搭載システム1は、運転席、補助席の画像又は後部席の画像を表示する場合(ステップS2;Yes)、オーバーヘッドモジュール10のステレオカメラ画像が選択されたか否かを判定する(ステップS3)。例えば、表示制御部16dは、切替スイッチ12bから出力された切替信号がステレオカメラ14の画像表示を示す信号であるか、又は、当該切替信号がリアモジュール20のリアカメラ23の画像表示を示す信号であるかを判定する。車両ルーフ搭載システム1は、オーバーヘッドモジュール10のステレオカメラ画像が選択された場合(ステップS3;Yes)、
図4に示すように、ステレオカメラ14により撮像された運転席2b及び補助席2cの画像をディスプレイ15aに表示する(ステップS4)。例えば、表示制御部16dは、運転席2bに着座した運転者P1の顔及び補助席2cに着座した乗員P2の顔を含む画像をディスプレイ15aに表示する。このとき、後部席2dの乗員P3は、ディスプレイ15aに表示された運転者P1の顔及び補助席2cの乗員P2の顔を含む画像を視認しながら、運転者P1及び補助席2cの乗員P2とコミュニケーションをとることができる。一方、車両ルーフ搭載システム1は、オーバーヘッドモジュール10のステレオカメラ画像が選択されなかった場合、つまり、リアモジュール20のリアカメラ23が選択された場合(ステップS3;No)、
図5に示すように、リアモジュール20のリアカメラ23により撮像された後部席2dの画像をディスプレイ15aに表示する(ステップS5)。例えば、表示制御部16dは、後部席2dに着座した乗員P3の顔を含む画像をディスプレイ15aに表示する。このとき、運転者P1は、ディスプレイ15aに表示された後部席2dの乗員P3の顔を含む画像を視認しながら、後部席2dの乗員P3とコミュニケーションをとることができる。なお、上記ステップS2で、車両ルーフ搭載システム1は、運転席、補助席の画像又は後部席の画像を表示しない場合(ステップS2;No)、他機能の画像を表示する(ステップS6)。上記ステップS1で、車両ルーフ搭載システム1は、IGN電源がオフされた場合(ステップS1;No)、ディスプレイ15aの電源をオフする(ステップS7)。
【0032】
以上のように、実施形態に係る車両ルーフ搭載システム1は、ステレオカメラ14と、ディスプレイ15aと、表示制御部16dとを備える。ステレオカメラ14は、車両2に設けられ車両2の運転席2bに着座した運転者P1の顔を含む画像を撮像する。ディスプレイ15aは、車両2のルーフパネル2aに設けられ、運転席2bの車幅方向側に設けられる補助席2cと運転席2bとの間且つ車両2の前後方向の前側に位置する。そして、ディスプレイ15aは、ステレオカメラ14により撮像された画像を、車両2の前後方向の後側に設けられる後部席2d及び運転席2bから視認可能に表示する。表示制御部16dは、ディスプレイ15aを制御する。
【0033】
この構成により、車両ルーフ搭載システム1は、後部席2dに着座した乗員P3がディスプレイ15aに表示された運転者P1の顔を含む画像を視認できる。この構成により、車両ルーフ搭載システム1は、後部席2dに着座した乗員P3と運転者P1とが円滑にコミュニケーションをとることを支援できる。つまり、車両ルーフ搭載システム1は、後部席2dに着座した乗員P3が運転席2b側に前屈みになって覗き込む姿勢をとることなく運転者P1とコミュニケーションをとることを支援できる。この結果、車両ルーフ搭載システム1は、運転者P1と後部席2dの乗員P3とが適正にコミュニケーションをとることを支援できる。また、車両ルーフ搭載システム1は、ナビゲーション情報等を表示するセンターディスプレイ2gとは異なるディスプレイ15aに運転者P1や乗員P3等の画像を表示する。この表示により、車両ルーフ搭載システム1は、ナビゲーション情報等に邪魔されることなく継続して運転者P1や乗員P3等の画像をディスプレイ15aに表示することができる。また、車両ルーフ搭載システム1は、後部席2dの乗員P3が運転者P1の顔画像を視認することにより、運転者P1に眠気が生じていることを確認することができ、居眠り運転を抑制することを支援できる。
【0034】
上記車両ルーフ搭載システム1において、リアカメラ23と、切替スイッチ12bとを備える。リアカメラ23は、車両2に設けられ後部席2dに着座した乗員P3の顔を含む画像を撮像する。切替スイッチ12bは、ディスプレイ15aに表示される画像を切り替える。表示制御部16dは、切替スイッチ12bによる切り替えに応じて、ステレオカメラ14により撮像された画像又はリアカメラ23により撮像された画像のいずれか一方をディスプレイ15aに表示する。さらに、表示制御部16dは、切替スイッチ12bによる切り替えに応じて、ステレオカメラ14により撮像された画像やリアカメラ23により撮像された画像以外の画像である他機能の画像(例えば時計等の画像)をディスプレイ15aに表示する。
【0035】
この構成により、車両ルーフ搭載システム1は、運転者P1が、ディスプレイ15aに表示された後部席2dの乗員P3の顔を含む画像を視認することができる。この構成により、車両ルーフ搭載システム1は、運転者P1と後部席2dの乗員P3とが円滑にコミュニケーションをとることを支援できる。つまり、車両ルーフ搭載システム1は、運転者P1が後部席2d側に振り返ることなく後部席2dの乗員P3とコミュニケーションをとることを支援できる。また、車両ルーフ搭載システム1は、運転者P1が後部席2dの乗員P3の顔を含む画像を視認することにより、後部席2dの乗員P3の状態を監視することを支援できる。
【0036】
上記車両ルーフ搭載システム1において、ステレオカメラ14、ディスプレイ15a、及び、制御部16cを収容する筐体11を備える。この構成により、車両ルーフ搭載システム1は、ステレオカメラ14、ディスプレイ15a、及び、制御部16cを含む電子部品が集約されモジュール化されたオーバーヘッドモジュール10を提供することができる。この構成により、車両ルーフ搭載システム1は、オーバーヘッドモジュール10を車両2に組み付けることで各電子部品も同時に車両2に組み付けることができるので、組み付け工数を削減することができる。また、車両ルーフ搭載システム1は、各電子部品を接続するワイヤハーネスや接続部材を削減することができる。
【0037】
上記車両ルーフ搭載システム1において、制御部16cは、ステレオカメラ14により撮像された画像に基づいて運転者P1の状態を監視する監視機能を有する。監視機能は、車両ルーフ搭載システム1が動作状態である場合、ディスプレイ15aに表示される内容に関わらず実行される。この構成により、車両ルーフ搭載システム1は、動作状態である場合、運転者P1の状態を継続して監視することができる。
【0038】
〔変形例〕
次に、実施形態の変形例について説明する。ステレオカメラ14は、3次元の画像を撮像する機能を有するTOF(Time of Flight)カメラでもよい。
【0039】
また、車両ルーフ搭載システム1は、監視機能を異なる機器により実現してもよい。また、車両ルーフ搭載システム1は、監視機能を有していなくてもよい。この場合、車両ルーフ搭載システム1は、ステレオカメラ14の代わりに3次元の画像を撮像する機能を有さない単眼カメラであってもよい。
【0040】
また、ステレオカメラ14は、運転者P1の顔及び補助席2cの乗員P2の顔を撮像する例について説明したが、補助席2cの乗員P2の顔を撮像しなくてもよい。