IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デンソーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-03
(54)【発明の名称】乗員撮像装置
(51)【国際特許分類】
   B60R 11/02 20060101AFI20240827BHJP
【FI】
B60R11/02 C
B60R11/02 Z
【請求項の数】 6
(21)【出願番号】P 2023527572
(86)(22)【出願日】2022-05-09
(86)【国際出願番号】 JP2022019680
(87)【国際公開番号】W WO2022259794
(87)【国際公開日】2022-12-15
【審査請求日】2023-10-11
(31)【優先権主張番号】P 2021096648
(32)【優先日】2021-06-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000567
【氏名又は名称】弁理士法人サトー
(72)【発明者】
【氏名】石川 貴洋
(72)【発明者】
【氏名】永田 光俊
(72)【発明者】
【氏名】山下 智也
【審査官】久保田 信也
(56)【参考文献】
【文献】特開2020-199848(JP,A)
【文献】特開2017-114165(JP,A)
【文献】特開2019-159167(JP,A)
【文献】特開2013-086750(JP,A)
【文献】特表2019-505429(JP,A)
【文献】特開2012-230589(JP,A)
【文献】特開2017-118440(JP,A)
【文献】特開2016-13743(JP,A)
【文献】特開2012-216951(JP,A)
【文献】米国特許出願公開第2020/74897(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B60R 11/02
(57)【特許請求の範囲】
【請求項1】
左右方向に複数の表示エリア部を有する表示装置がドライバ席とパッセンジャ席との間の車両前方に配置されている車室内において乗員を撮像する乗員撮像装置(42)であって、
座席に着座している乗員の顔周辺に光を照射する照明部(52)と、
前記座席に着座している前記乗員の顔周辺を撮像する撮像部(51)と、を備え、
前記表示装置は、前記表示エリア部の少なくとも左右に外枠部(35)を有し、
前記照明部及び前記撮像部は、前記表示エリア部同士の結合部位に上下方向に並んで設けられ、
前記結合部に、前記照明部及び前記撮像部と共に上下方向に並んで設けられるインジケータ(53)を備え、
前記撮像部は、前記ドライバ席に着座しているドライバを少なくとも含む乗員の顔周辺を撮像し、
前記照明部の発光素子の発光強度が相対的に低く、前記インジケータの発光素子の発光強度が相対的に高い乗員撮像装置。
【請求項2】
前記照明部及び前記撮像部は、各光軸が前記ドライバ席に着座しているドライバの顔に向いて設けられている請求項1に記載した乗員撮像装置。
【請求項3】
前記表示装置は、前記表示エリア部の表示面に対して傾斜する傾斜面を有し、
前記照明部及び前記撮像部は、各光軸が前記傾斜面の法線方向に向いて設けられている請求項2に記載した乗員撮像装置。
【請求項4】
前記外枠部であって前記照明部の光が通過する第1開口部と前記インジケータの光が通過する第2開口部とが別々である請求項1から3の何れか一項に記載した乗員撮像装置。
【請求項5】
前記外枠部であって前記照明部の光が通過する第1開口部と前記インジケータの光が通過する第2開口部とが共通する請求項1から3の何れか一項に記載した乗員撮像装置。
【請求項6】
前記インジケータは、乗員状態監視システムの動作状態の有効又は無効を示す請求項1から5の何れか一項に記載した乗員撮像装置。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、2021年6月9日に出願された日本出願番号2021-096648号に基づくもので、ここにその記載内容を援用する。
【技術分野】
【0002】
本開示は、乗員撮像装置に関する。
【背景技術】
【0003】
例えば自動車等の車両において乗員の状態を監視する乗員状態監視システムが供されている。ドライバの状態を監視するドライバ状態監視システムは、ドライバ席のヘッドレスト周辺を撮像する撮像部と、ドライバ席のヘッドレスト周辺に光を照射する照明部とを備える。ドライバ状態監視システムは、ドライバがドライバ席に着座している状態で、光が照射されたドライバの顔周辺を撮像部により撮像し、その撮像した画像に含まれるドライバの顔画像を解析してドライバの状態を監視する。
【0004】
一方、車室内においてドライバ席とパッセンジャ席との間の前方に、例えばナビゲーション画面やオーディオ画面等の各種画面を表示する表示エリア部を有する表示装置が配置されている。表示装置に上記した撮像部と照明部が組み込まれている構成として、例えば特許文献1には、表示エリア部の周囲の外枠部を利用し、ドライバ席側外枠部に撮像部が配置され、パッセンジャ席側外枠部に照明部が配置される構成が開示されている。又、上側外枠部に撮像部と照明部が左右方向に並べて配置される構成も考えられる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2019-14359号公報
【発明の概要】
【0006】
特許文献1に開示されている構成では、撮像部と照明部が表示装置を挟んで離れているので、撮像部を実装する基板と照明部を実装する基板とが別々に必要となり、部品点数が増加して表示装置のサイズが大型化する問題がある。又、撮像部と照明部との間の配策が長くなる問題もある。更に、撮像部の光軸と照明部の光軸との間の角度差が大きくなると、光が照射されたドライバの顔に影が生じ、画像認識の検出精度が低下する問題もある。
【0007】
上側外枠部に撮像部と照明部が左右方向に並べて配置される構成では、表示装置の高さ寸法が大きくなり、ドライバの視界が妨げられる可能性がある。特に、天井にオーバヘッドコンソールが配置されていると、ドライバの視界がより大きく妨げられる可能性がある。
【0008】
本開示は、表示装置のサイズの大型化及び画像認識の検出精度の低下を未然に回避すると共に、撮像部と照明部との間の配策を短くし、更に、ドライバの視界を適切に確保することを目的とする。
【0011】
本開示の一態様によれば、乗員撮像装置は、左右方向に複数の表示エリア部を有する表示装置がドライバ席とパッセンジャ席との間の車両前方に配置されている車室内において乗員を撮像する。照明部は、座席に着座している乗員の顔周辺に光を照射する。撮像部は、座席に着座している乗員の顔周辺を撮像する。表示装置は、表示エリア部の少なくとも左右に外枠部を有する。照明部及び撮像部は、表示エリア部同士の結合部位に上下方向に並んで設けられている。撮像部は、ドライバ席に着座しているドライバを少なくとも含む乗員の顔周辺を撮像する。結合部に、照明部及び撮像部と共に上下方向に並んで設けられるインジケータを備える。照明部の発光素子の発光強度が相対的に低く、インジケータの発光素子の発光強度が相対的に高い
【0012】
照明部及び撮像部が表示エリア部同士の結合部位に上下方向に並んで設けられているので、撮像部を実装する基板と照明部を実装する基板とを共通化することができ、部品点数の増加を抑えて表示装置のサイズの大型化を未然に回避することができる。又、撮像部と照明部との間の配策を短くすることができる。又、撮像部の光軸と照明部の光軸との間の角度差を小さくすることができ、画像認識の検出精度の低下を未然に回避することができる。更に、表示装置を最小高のままとすることができ、ドライバの視界を適切に確保することができる。これにより、左右方向に複数の表示エリア部を有する表示装置に撮像部と照明部が組み込まれている構成においても、表示装置のサイズの大型化及び画像認識の検出精度の低下を未然に回避すると共に、撮像部と照明部との間の配策を短くし、更に、ドライバの視界を適切に確保することができる。
【図面の簡単な説明】
【0013】
本開示についての上記目的及びその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1図1は、第1実施形態を示し、車室内を示す図であり、
図2図2は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図3図3は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図4図4は、カメラの光軸の方向を説明する図であり、
図5図5は、カメラの光軸の方向を説明する図であり、
図6図6は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図7図7は、第2実施形態を示し、車室内を示す図であり、
図8図8は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図9図9は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図10図10は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図11図11は、第3実施形態を示し、車室内を示す図であり、
図12図12は、第4実施形態を示し、車室内を示す図であり、
図13図13は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図14図14は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図15図15は、第5実施形態を示し、車室内を示す図であり、
図16図16は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図17図17は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図18図18は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図19図19は、第6実施形態を示し、車室内を示す図であり、
図20図20は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図21図21は、照明部の照射範囲及びカメラの撮像範囲を模式的に示す図であり、
図22図22は、第7実施形態を示し、開口部と光軸の関係を模式的に示す図であり、
図23図23は、開口部と光軸の関係を模式的に示す図であり、
図24図24は、照明部とカメラの配置を模式的に示す図であり、
図25図25は、照明部とカメラの配置を模式的に示す図であり、
図26図26は、照明部とカメラの配置を模式的に示す図である。
【発明を実施するための形態】
【0014】
以下、幾つかの実施形態について図面を参照して説明する。以下に示す各実施形態において、先行する実施形態で説明した内容に対応する部分には同一の参照符号を付し、重複する説明を省略することがある。尚、左右方向とは車両の幅方向を意味し、前後方向とは車両の長さ方向を意味し、上下方向とは車両の高さ方向を意味する。又、車両前方に向かってドライバ席が右側に配置されている車両を対象として説明するが、車両前方に向かってドライバ席が左側に配置されている車両を対象とした場合にはドライバ席とパッセンジャ席との配置関係が入れ替わるのみであり、他は同様に適用することができる。
【0015】
(第1実施形態)
第1実施形態について図1から図7を参照して説明する。
車両には乗員の状態を監視する乗員状態監視システムとしてドライバステータスモニタ(登録商標)(以下、DSM(Driver Status Monitor)と称する)を含むドライバ状態監視システムが搭載されている。ドライバ状態監視システムは、ドライバ席のヘッドレスト周辺を撮像する撮像部と、ドライバ席のヘッドレスト周辺に光を照射する照明部とを備える。ドライバ状態監視システムは、ドライバがドライバ席に着座している状態で、光が照射されたドライバの顔周辺を撮像部により撮像し、その撮像した画像に含まれるドライバの顔画像を解析してドライバの状態を監視する。
【0016】
ドライバ状態監視システムは、顔画像から瞼の下がり度合、瞳孔の開き度合い、視線方向、視線の移動速度等に基づいて脇見、閉眼、眠気等を判定し、その判定結果によりドライバが運転に適する運転適状態であるか適さない運転不適状態であるかを判定する。ドライバ状態監視システムは、ドライバが運転不適状態であると特定すると、例えばドライバ異常時対応システム(EDSS:Emergency Driving Stop System)を発動したり自動運転レベル3を使用不可に設定したりする。
【0017】
車室1にはドライバ席2とパッセンジャ席3とが左右方向に並んで配置されている。ドライバ席2及びパッセンジャ席3の前方にはフロントウィンドウシールド4が配置されており、フロントウィンドウシールド4の下方において左右方向に延びるインストルメントパネル5が配置されている。インストルメントパネル5にあってドライバ席2の前方には開口部(図示せず)が形成され、その開口部にコラムシャフト(図示せず)が挿通されており、そのコラムシャフトにステアリングホイール6が回転可能に組み付けられている。インストルメントパネル5の左右方向の中央部、即ち、ドライバ席2とパッセンジャ席3との間の前方には開口部が形成され、その開口部に表示装置7が嵌め込まれる態様で組み付けられている。即ち、インストルメントパネル5の上面5aより下方に表示装置7が組み付けられている。
【0018】
表示装置7は、例えばナビゲーション画面やオーディオ画面等の各種画面を表示する表示エリア部8と、表示エリア部8の左右上下を囲む外枠部9とを有する。表示エリア部8は、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等の平板型のディスプレイを有し、その平板型のディスプレイの前面にタッチパネルが形成されている。表示装置7は、ドライバやパッセンジャからのタッチパネルに対するタッチ操作を検出すると、そのタッチ操作に応じて画面を切換えたり画面にアイコンを表示したりする等の画面制御を行う。
【0019】
外枠部9は、表示エリア部8の左右上下の外縁を保持すると共に、表示エリア部8の外周部を隠す化粧板としても機能する。外枠部9は、ドライバ席側の上下方向に延びるドライバ席側外枠部10と、パッセンジャ席側の上下方向に延びるパッセンジャ席側外枠部11と、上側の左右方向に延びる上側外枠部12と、下側の左右方向に延びる下側外枠部13とを含んで構成されている。
【0020】
ドライバ席側外枠部10には、ドライバ撮像装置14の構成要素である1個の照明部15と1個のカメラ16とが上下方向に並んで配置されている。照明部15が上側に配置され、カメラ16が下側に配置されている。ドライバ撮像装置14は乗員撮像装置に相当し、カメラ16は撮像部に相当する。照明部15は、例えばLEDや垂直共振器面発光型レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)等の発光素子を有する。
【0021】
照明部15は、撮像対象の乗員が着座するヘッドレスト周辺に向けて光を出射する。照明部15から出射される光は近赤外光である。尚、照明部15は、撮像環境の明るさに応じてカメラ16のシャッターの開放中に光を出射するように制御される。カメラ16は、撮像対象の乗員が着座するヘッドレスト周辺を撮像する。カメラ16は、カメラレンズと、カメラレンズにより結像した入射光を電気信号に変換するイメージセンサとを有する。イメージセンサは、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等である。
【0022】
照明部15及びカメラ16の前方には開口部(図示せず)が形成されており、その開口部には照明の波長を透過する透過特性を有する透過フィルム(図示せず)が配置されている。透過フィルムは、照明部15から出射された光を透過させつつ接触や汚れの付着等から照明部15の出射面やカメラレンズを保護する。尚、照明部15の前方の透過フィルムの透過率を、カメラ16の前方の透過フィルムの透過率より低く設定しても良い。又、照明部15とカメラ16との間には遮光部材(図示せず)が配置されており、照明部12から出射された光がカメラ16に直接入射されることを遮光部材により防いでいる。
【0023】
本実施形態のように照明部15とカメラ16が接近して並んでいる構成では、照明部15の光軸とカメラ16の光軸との間の角度差が殆どない。そのため、照明部15から出射された光がドライバの目の網膜においてカメラ16の方向に向かって反射され、網膜により反射された光がカメラ16に直接入射されるので、赤目現象が発生する可能性あるが、赤目現象が発生した場合であっても画像処理を行う段階で赤目現象の影響を排除することが可能である。
【0024】
次に、照明部15の照射範囲及びカメラ16の撮像範囲について説明する。カメラ16としては、撮像範囲が相対的に挟い挟角カメラ及び撮像範囲が相対的に広い広角カメラのうち何れかが用いられる。挟角カメラ及び広角カメラは、何れも水平方向の画角が180°を超えないカメラである。以下、カメラ16として挟角カメラ及び広角カメラのうち何れかが用いられる場合について説明する。
【0025】
(1)カメラ16が挟角カメラである場合
カメラ16が挟角カメラである場合には、撮像対象の乗員はドライバのみである。図2に示すように、照明部15及びカメラ16の各光軸は、ドライバ席のヘッドレスト周辺に向いて設定されている。即ち、ドライバがドライバ席に着座している状態で、照明部15から出射された光がドライバの顔周辺に照射されてカメラ16の方向に向かって反射され、ドライバの顔周辺がカメラ16により撮像される。図2では、カメラ16の光軸を「a12」で示し、カメラ16の撮像範囲を「A1,A2」で示している。
【0026】
図2では、光軸の方向とドライバ席側外枠部10の前面10aの法線方向との間で角度差があるが、図3に示すように、照明部15及びカメラ16が配置されているドライバ席側外枠部10の前面10aを傾斜面とし、光軸の方向とドライバ席側外枠部10の前面10aの法線方向とを略同じとする構成としても良い。即ち、図2に示した傾斜面としない構成では、光軸の方向とドライバ席側外枠部10の前面10aの法線方向とが大きく異なっているので、例えばカメラ16について説明すると、図4に示すように、カメラ16の前方の開口部を楕円形状とする必要がある。これに対し、図3に示した傾斜面とする構成では、光軸の方向とドライバ席側外枠部10の前面10aの法線方向とが略同じとなるので、図5に示すように、カメラ16の前方の開口部を楕円形状とする必要がなく、真円形状とすることができる。照明部15の前方の開口部についても同様である。
【0027】
(2)カメラ16が広角カメラである場合
カメラ16が広角カメラである場合には、撮像対象の乗員はドライバとパッセンジャの両方である。図6に示すように、照明部15及びカメラ16の各光軸は、ドライバ席のヘッドレストとパッセンジャ席のヘッドレストとの間に向いて設定されている。即ち、ドライバがドライバ席に着座しており、パッセンジャがパッセンジャ席に着座している状態で、照明部15から出射された光がドライバの顔とパッセンジャの顔の両方の顔周辺に照射されてカメラ16の方向に向かって反射され、ドライバの顔周辺とパッセンジャの顔周辺の両方がカメラ16により撮像される。図6では、カメラ16の光軸を「a34」で示し、カメラ16の撮像範囲を「A3,A4」で示している。
【0028】
上記した構成では、照明部15が上側に配置され、カメラ16が下側に配置されている構成を例示したが、照明部15とカメラ16との配置関係が入れ替わっても良く、カメラ16が上側に配置され、照明部15が下側に配置される構成でも良い。又、1個の照明部15を例示したが、照明部15の個数は2個以上でも良く、2個以上の照明部15の照明動作を同期制御しても良い。照明部15の個数を2個とする場合に、2個の照明部15の光軸を同じ向きとしなくても良く、一方の照明部15の光軸をドライバ向きとし、他方の照明部15の光軸をパッセンジャ向きとしても良い。1個のカメラ16を例示したが、カメラ16の個数は2個以上でも良く、2個以上のカメラ16の撮像動作を同期制御しても良い。即ち、照明部15及びカメラ16は、ドライバ席側外枠部10に上下方向に並んで配置される構成であれば、どのような個数や並び順序であっても良い。
【0029】
以上に説明したように第1実施形態によれば、次に示す作用効果を得ることができる。ドライバ撮像装置14において、照明部15及びカメラ16が表示装置7のドライバ席側外枠部10に上下方向に並んで配置されている構成とした。カメラ16を実装する基板と照明部15を実装する基板とを共通化することができ、部品点数の増加を抑えて表示装置8のサイズの大型化を未然に回避することができる。又、カメラ16と照明部15との間の配策を短くすることができる。又、カメラ16の光軸と照明部15の光軸との間の角度差を小さくすることができ、画像認識の検出精度の低下を未然に回避することができる。更に、表示装置8を最小高のままとすることができ、ドライバの視界を適切に確保することができる。これにより、表示装置8のサイズの大型化及び画像認識の検出精度の低下を未然に回避すると共に、カメラ16と照明部15との間の配策を短くし、更に、ドライバの視界を適切に確保することができる。
【0030】
(第2実施形態)
第2実施形態について図7から図10を参照して説明する。第2実施形態は、ドライバ席側外枠部10に照明部15とカメラ16とが上下方向に並んで配置されていることに加え、パッセンジャ席側外枠部11にも照明部17とカメラ18とが上下方向に並んで配置されている。照明部17及びカメラ18の前方にも開口部(図示せず)が形成されており、その開口部には照明の波長を透過する透過特性を有する透過フィルム(図示せず)が配置されている。照明部17及びカメラ18は、それぞれ第1実施形態で説明した照明部15及びカメラ16と同等である。即ち、照明部17及びカメラ18は、パッセンジャ席側外枠部11に上下方向に並んで配置される構成であれば、どのような個数や並び順序であっても良い。
【0031】
この場合も、カメラ16,18としては、挟角カメラ及び広角カメラのうち何れかが用いられる。以下、カメラ16,18として挟角カメラ及び広角カメラのうち何れかが用いられる場合について説明する。
【0032】
(1)カメラ16,18の両方が挟角カメラである場合
カメラ16,18の両方が挟角カメラである場合には、撮像対象の乗員はドライバとパッセンジャの両方である。図8に示すように、照明部15及びカメラ16の各光軸は、ドライバ席のヘッドレスト周辺に向いて設定されている。照明部17及びカメラ18の各光軸は、パッセンジャ席のヘッドレスト周辺に向いて設定されている。即ち、ドライバがドライバ席に着座している状態で、照明部15から出射された光がドライバの顔周辺に照射されてカメラ16の方向に向かって反射され、ドライバの顔周辺がカメラ16により撮像される。又、パッセンジャがパッセンジャ席に着座している状態で、照明部17から出射された光がパッセンジャの顔周辺に照射されてカメラ18の方向に向かって反射され、パッセンジャの顔周辺がカメラ18により撮像される。図8では、カメラ16の光軸を「a12」で示し、カメラ16の撮像範囲を「A1,A2」で示すと共に、カメラ18の光軸を「b12」で示し、カメラ18の撮像範囲を「B1,B2」で示している。尚、この場合、第1実施形態で説明した照明部15及びカメラ16が配置されているドライバ席側外枠部10の前面11aを傾斜面としたことと同様に、照明部17及びカメラ18が配置されているパッセンジャ席側外枠部11の前面11aを傾斜面とし、光軸の方向とパッセンジャ席側外枠部11の前面11aの法線方向とを略同じとする構成としても良い。
【0033】
(2)カメラ16が挟角カメラであり、カメラ18が広角カメラである場合
カメラ16が挟角カメラであり、カメラ18が広角カメラである場合には、撮像対象の乗員はドライバとパッセンジャの両方である。図9に示すように、照明部15及びカメラ16の各光軸は、ドライバ席のヘッドレスト周辺に向いて設定されている。照明部17及びカメラ18の各光軸は、ドライバ席のヘッドレストとパッセンジャ席のヘッドレストとの間に向いて設定されている。図8では、カメラ16の光軸を「a12」で示し、カメラ16の撮像範囲を「A1,A2」で示すと共に、カメラ18の光軸を「b34」で示し、カメラ18の撮像範囲を「B3,B4」で示している。尚、カメラ16の撮像動作とカメラ18の撮像動作とを同期制御しても良く、照明部17を2個配置し、一方の照明部17の光軸をドライバ向きとし、他方の照明部17の光軸をパッセンジャ向きとし、ドライバ向きの照明部17から出射された光と、照明部15から出射された光との両方がドライバに照射されても良い。このように構成すれば、照明部15の光量を減少させることができ、消費電力と発熱を削減させることができる。
【0034】
(3)カメラ16,18の両方が広角カメラである場合
カメラ16,18の両方が広角カメラである場合には、撮像対象の乗員はドライバとパッセンジャの両方である。図10に示すように、照明部15,17及びカメラ16,18の各光軸は、ドライバ席のヘッドレストとパッセンジャ席のヘッドレストとの間に向いて設定されている。図10では、カメラ16の光軸を「a34」で示し、カメラ16の撮像範囲を「A3,A4」で示すと共に、カメラ18の光軸を「b34」で示し、カメラ18の撮像範囲を「B3,B4」で示している。
【0035】
第2実施形態によれば、ドライバ撮像装置14において、照明部15及びカメラ16が表示装置7のドライバ席側外枠部10に上下方向に並んで配置されていることに加え、照明部17及びカメラ18が表示装置7のパッセンジャ席側外枠部11に上下方向に並んで配置されている構成とした。ドライバの状態を適切に監視することに加え、パッセンジャの状態も適切に監視することができる。
【0036】
(第3実施形態)
第3実施形態について図11を参照して説明する。第1実施形態及び第2実施形態は、インストルメントパネル5の上面5aより下方に表示装置7が組み付けられている構成であるが、第3実施形態は、インストルメントパネル5の上面5aより上方に表示装置21が立ち上がる態様で組み付けられている構成である。表示装置21は、第1実施形態で説明した表示装置7と配置箇所が異なるのみであり、表示装置7と同様に、表示エリア部8と、表示エリア部8の左右上下を囲む外枠部9とを有し、ドライバ席側外枠部10に照明部15とカメラ16とが上下方向に並んで配置されている。照明部15の照射範囲及びカメラ16の撮像範囲は、第1実施形態と同様である。又、ドライバ席側外枠部10に照明部15とカメラ16とが上下方向に並んで配置されていることに加え、パッセンジャ席側外枠部11にも照明部17とカメラ18とが上下方向に並んで配置されている場合には、照明部15,17の照射範囲及びカメラ16,18の撮像範囲は、第2実施形態と同様である。
【0037】
第3実施形態によれば、インストルメントパネル5の上面5aより上方に表示装置21が組み付けられている場合でも、ドライバ席側外枠部10に照明部15とカメラ16とが上下方向に並んで配置されている構成では、第1実施形態と同等の作用効果を得ることができる。又、ドライバ席側外枠部10に照明部15とカメラ16とが上下方向に並んで配置されていることに加え、パッセンジャ席側外枠部11にも照明部17とカメラ18とが上下方向に並んで配置されている構成では、第2実施形態と同等の作用効果を得ることができる。
【0038】
(第4実施形態)
第4実施形態について図12から図14を参照して説明する。第4実施形態は、第1実施形態とは表示装置の構成が異なる。表示装置31は、左右方向に並ぶ3個の表示エリア部32~34と、3個の表示エリア部32~34の左右上下を囲む外枠部35を有する。ドライバ席2の前方にはドライバ席側表示エリア部32が配置され、ドライバ席2とパッセンジャ席3との間の前方には中央表示エリア部33が配置され、パッセンジャ席3の前方にはパッセンジャ席側表示エリア部34が配置されている。尚、左右方向に並ぶ表示エリア部の個数は2個でも良いし、4個以上でも良い。
【0039】
外枠部35は、表示エリア部32~34の左右上下の外縁を保持すると共に、表示エリア部32~34の外周部を隠す化粧板としても機能する。外枠部35は、ドライバ席側の上下方向に延びるドライバ席側外枠部36と、パッセンジャ席側の上下方向に延びるパッセンジャ席側外枠部37と、上側の左右方向に延びる上側外枠部38と、下側の左右方向に延びる下側外枠部39とを含み、更に、ドライバ席側表示エリア部32と中央表示エリア部33とを結合する第1結合部40と、パッセンジャ席側表示エリア部34と中央表示エリア部33とを結合する第2結合部41とを含んで構成されている。
【0040】
第1結合部40には、ドライバ撮像装置42の構成要素である1個の照明部43と1個のカメラ44とが上下方向に並んで配置されている。照明部43及びカメラ44の前方にも開口部(図示せず)が形成されており、その開口部には照明の波長を透過する透過特性を有する透過フィルム(図示せず)が配置されている。照明部43及びカメラ44は、それぞれ第1実施形態で説明した照明部15及びカメラ16と同等である。即ち、照明部43及びカメラ44は、第1結合部40に上下方向に並んで配置される構成であれば、どのような個数や並び順序であっても良い。
【0041】
この場合も、カメラ44としては、挟角カメラ及び広角カメラのうち何れかが用いられる。以下、カメラ44として挟角カメラ及び広角カメラのうち何れかが用いられる場合について説明する。
【0042】
(1)カメラ44が挟角カメラである場合
カメラ44が挟角カメラである場合には、撮像対象の乗員はドライバのみである。図13に示すように、照明部43及びカメラ44の各光軸は、ドライバ席のヘッドレスト周辺に向いて設定されている。即ち、ドライバがドライバ席に着座している状態で、照明部43から出射された光がドライバの顔周辺に照射されてカメラ44の方向に向かって反射され、ドライバの顔周辺がカメラ44により撮像される。図13では、カメラ16の光軸を「c12」で示し、カメラ44の撮像範囲を「C1,C2」で示している。
【0043】
(2)カメラ44が広角カメラである場合
カメラ44が広角カメラである場合には、撮像対象の乗員はドライバとパッセンジャの両方である。図14に示すように、照明部43及びカメラ44の各光軸は、ドライバ席のヘッドレストとパッセンジャ席のヘッドレストとの間に向いて設定されている。即ち、ドライバがドライバ席に着座しており、パッセンジャがパッセンジャ席に着座している状態で、照明部43から出射された光がドライバとパッセンジャの両方の顔周辺に照射されてカメラ44の方向に向かって反射され、ドライバの顔周辺とパッセンジャの顔周辺の両方がカメラ44により撮像される。図14では、カメラ44の光軸を「c34」で示し、カメラ44の撮像範囲を「C3,C4」で示している。
【0044】
第4実施形態によれば、ドライバ撮像装置42において、照明部43及びカメラ44が表示装置31の第1結合部40に上下方向に並んで配置されている構成とした。カメラ44を実装する基板と照明部43を実装する基板とを共通化することができ、部品点数の増加を抑えて表示装置31のサイズの大型化を未然に回避することができる。又、カメラ44と照明部43との間の配策を短くすることができる。又、カメラ44の光軸と照明部43の光軸との間の角度差を小さくすることができ、画像認識の検出精度の低下を未然に回避することができる。更に、表示装置31を最小高のままとすることができ、ドライバの視界を適切に確保することができる。これにより、表示装置31のサイズの大型化及び画像認識の検出精度の低下を未然に回避すると共に、カメラ44と照明部43との間の配策を短くし、更に、ドライバの視界を適切に確保することができる。
【0045】
(第5実施形態)
第5実施形態について図15から図18を参照して説明する。第5実施形態は、第1結合部40に照明部43とカメラ44とが上下方向に並んで配置されていることに加え、第2結合部41にも照明部45とカメラ46とが上下方向に並んで配置されている。照明部45及びカメラ46の前方にも開口部(図示せず)が形成されており、その開口部には照明の波長を透過する透過特性を有する透過フィルム(図示せず)が配置されている。照明部45及びカメラ46は、それぞれ第1実施形態で説明した照明部15及びカメラ16と同等である。即ち、照明部45及びカメラ46は、第2結合部41に上下方向に並んで配置される構成であれば、どのような個数や並び順序であっても良い。
【0046】
この場合も、カメラ44,46としては、挟角カメラ及び広角カメラのうち何れかが用いられる。以下、カメラ44,46として挟角カメラ及び広角カメラのうち何れかが用いられる場合について説明する。
【0047】
(1)カメラ44,46の両方が挟角カメラである場合
カメラ44,46の両方が挟角カメラである場合には、撮像対象の乗員はドライバとパッセンジャの両方である。図16に示すように、照明部43及びカメラ44の各光軸は、ドライバ席のヘッドレスト周辺に向いて設定されている。照明部45及びカメラ46の各光軸は、パッセンジャ席のヘッドレスト周辺に向いて設定されている。図16では、カメラ44の光軸を「c12」で示し、カメラ44の撮像範囲を「C1,C2」で示すと共に、カメラ46の光軸を「d12」で示し、カメラ46の撮像範囲を「D1,D2」で示している。
【0048】
(2)カメラ44が挟角カメラであり、カメラ46が広角カメラである場合
カメラ44が挟角カメラであり、カメラ46が広角カメラである場合には、撮像対象の乗員はドライバとパッセンジャの両方である。図17に示すように、照明部43及びカメラ44の各光軸は、ドライバ席のヘッドレスト周辺に向いて設定されている。照明部45及びカメラ46の各光軸は、ドライバ席のヘッドレストとパッセンジャ席のヘッドレストとの間に向いて設定されている。図17では、カメラ44の光軸を「c12」で示し、カメラ44の撮像範囲を「C1,C2」で示すと共に、カメラ46の光軸を「d34」で示し、カメラ46の撮像範囲を「D3,D4」で示している。
【0049】
(3)カメラ44,46の両方が広角カメラである場合
カメラ44,46の両方が広角カメラである場合には、撮像対象の乗員はドライバとパッセンジャの両方である。図18に示すように、照明部43,45及びカメラ44,46の各光軸は、ドライバ席のヘッドレストとパッセンジャ席のヘッドレストとの間に向いて設定されている。図18では、カメラ44の光軸を「c34」で示し、カメラ44の撮像範囲を「C3,C4」で示すと共に、カメラ46の光軸を「d34」で示し、カメラ46の撮像範囲を「D3,D4」で示している。
【0050】
第5実施形態によれば、ドライバ撮像装置42において、照明部43及びカメラ44が表示装置31の第1結合部40に上下方向に並んで配置されていることに加え、照明部45及びカメラ46が表示装置31の第2結合部41に上下方向に並んで配置されている構成とした。ドライバの状態を適切に監視することに加え、パッセンジャの状態も適切に監視することができる。
【0051】
(第6実施形態)
第6実施形態について図19から図21を参照して説明する。第6実施形態は、第1結合部40に照明部43とカメラ44とが上下方向に並んで配置されていることに加え、ドライバ席側外枠部36にも照明部47とカメラ48とが上下方向に並んで配置されている。照明部47及びカメラ48の前方にも開口部(図示せず)が形成されており、その開口部には照明の波長を透過する透過特性を有する透過フィルム(図示せず)が配置されている。照明部47及びカメラ48は、それぞれ第1実施形態で説明した照明部15及びカメラ16と同等である。即ち、照明部47及びカメラ48は、ドライバ席側外枠部36に上下方向に並んで配置される構成であれば、どのような個数や並び順序であっても良い。
【0052】
この場合、カメラ44としては、挟角カメラ及び広角カメラのうち何れかが用いられ、カメラ48としては、挟角カメラが用いられる。以下、カメラ44として挟角カメラ及び広角カメラのうち何れかが用いられ、カメラ48として挟角カメラが用いられる場合について説明する。
【0053】
(1)カメラ44,48の両方が挟角カメラである場合
カメラ44,48の両方が挟角カメラである場合には、撮像対象の乗員はドライバのみである。図20に示すように、照明部43,47及びカメラ44,48の各光軸は、ドライバ席のヘッドレスト周辺に向いて設定されている。即ち、ドライバがドライバ席に着座している状態で、照明部43,47から出射された光がドライバの顔周辺に照射されてカメラ44,48の方向に向かって反射され、ドライバの顔周辺がカメラ44,48により撮像される。図20では、カメラ44の光軸を「c12」で示し、カメラ44の撮像範囲を「C1,C2」で示すと共に、カメラ48の光軸を「e12」で示し、カメラ48の撮像範囲を「E1,E2」で示している。
【0054】
(2)カメラ44が広角カメラであり、カメラ48が挟角カメラである場合
カメラ44が広角カメラであり、カメラ48が挟角カメラである場合には、撮像対象の乗員はドライバとパッセンジャの両方である。図21に示すように、照明部43及びカメラ44の各光軸は、ドライバ席のヘッドレストとパッセンジャ席のヘッドレストとの間に向いて設定されている。照明部47及びカメラ48の各光軸は、ドライバ席のヘッドレスト周辺に向いて設定されている。図21では、カメラ44の光軸を「c34」で示し、カメラ16の撮像範囲を「C3,C4」で示すと共に、カメラ48の光軸を「e12」で示し、カメラ18の撮像範囲を「E1,E2」で示している。
【0055】
第6実施形態によれば、ドライバ撮像装置42において、照明部43及びカメラ44が表示装置31の第1結合部40に上下方向に並んで配置されていることに加え、照明部47及びカメラ48が表示装置31のドライバ席側外枠部36に上下方向に並んで配置されている構成とした。ドライバの状態を適切に監視することに加え、パッセンジャの状態も適切に監視することができる。
【0056】
第4実施形態では第1結合部40のみに照明部43及びカメラ44が配置される構成、第5実施形態では第1結合部40に照明部43及びカメラ44が配置されると共に第2結合部41に照明部45及びカメラ46が配置される構成、第6実施形態では第1結合部40に照明部43及びカメラ44が配置されると共にドライバ席側外枠部36に照明部47及びカメラ48が配置される構成を説明したが、第1結合部40、第2結合部41及びドライバ席側外枠部36の少なくとも何れか一つに照明部及びカメラが配置されていれば、第1結合部40、第2結合部41、ドライバ席側外枠部36及びパッセンジャ席側外枠部37をどのように組み合わせて照明部及びカメラが配置される構成であれば良い。即ち、例えば第1結合部40、第2結合部41、ドライバ席側外枠部36及びパッセンジャ席側外枠部37の全てに照明部及びカメラが配置される構成でも良い。又、表示装置31と同等の構成の表示装置がインストルメントパネル5の上面5aより上方に立ち上がる態様で組み付けられている構成でも良い。
【0057】
(第7実施形態)
第7実施形態について図22から図23を参照して説明する。第7実施形態は、例えば表示装置7の外枠部9のドライバ席側外枠部10に、照明部とカメラに加え、インジケータが上下方向に並んで配置されている。インジケータは、ドライバ状態監視システムの動作状態の有効又は無効を示す。即ち、インジケータは、照明部が光を出射中であり、乗員の顔周辺をカメラにより撮像中であり、ドライバ状態監視システムが有効であるときに点灯する。一方、インジケータは、照明部が光を出射中でなく、乗員の顔周辺をカメラにより撮像中でなく、ドライバ状態監視システムが無効であるときに消灯する。尚、インジケータは、パイロットランプ又はテルテールと称される場合もある。
【0058】
例えば第1実施形態で説明した表示装置7のドライバ席側外枠部10について説明すると、図22及び図23に示すように、上から下に向かってカメラ51、照明部52、インジケータ53が上下方向に並んで配置されている。カメラ基板54にカメラ51のイメージセンサ55が実装されており、照明基板56に照明部52の発光素子57とインジケータ53の発光素子58とが上下方向に並んで実装されている。
【0059】
この場合、照明部52から出射された光が通過する開口部(第1開口部に相当する)とインジケータ53から出射された光が通過する開口部(第2開口部に相当する)とについて、別々に配置される場合と、共通して配置される場合とがある。以下、開口部が別々に配置される場合と、共通して配置される場合とについて説明する。
【0060】
(1)開口部が別々に配置される場合
図22に示すように、ドライバ席側外枠部10には、カメラ51のイメージセンサ55の前方にカメラ用開口部61が形成され、照明部52の発光素子57の前方に照明部用開口部62が形成され、インジケータ53の発光素子58の前方にインジケータ用開口部63が形成されている。各開口部61~63には照明の波長を透過する透過特性を有する透過フィルム(図示せず)が配置されている。カメラ51の光軸はカメラ用開口部61を通過し、照明部52の光軸は照明部用開口部62を通過し、インジケータ53の光軸はインジケータ用開口部63を通過する。
【0061】
ドライバ状態監視システムの動作状態が有効であるときには、照明部52の発光素子57とインジケータ53の発光素子58とが同時に点灯する。この場合、照明部52の発光素子57の発光強度が相対的に低く、インジケータ53の発光素子58の発光強度が相対的に高ければ、乗員は、照明部52の発光素子57から照射されて照明部用開口部62を通過する光よりも、インジケータ53の発光素子58から照射されてインジケータ用開口部63を通過する光を強く感じることになり、照明部52の発光素子57から照射された光を殆ど感じなくなる。即ち、照明部52の発光素子57から照射された近赤外光が乗員のストレスの要因となることを未然に回避することができる。
【0062】
(2)開口部が共通して配置される場合
図23に示すように、ドライバ席側外枠部10には、カメラ51のイメージセンサ55の前方にカメラ用開口部71が形成され、照明部52の発光素子57及びインジケータ53の発光素子58の前方に共通開口部72が形成されている。各開口部71,72には照明の波長を透過する透過特性を有する透過フィルム(図示せず)が配置されている。カメラ51の光軸はカメラ用開口部71を通過し、照明部52及びインジケータ53の光軸は共通開口部72を通過する。
【0063】
この場合、照明部52の発光素子57の発光強度が相対的に低く、インジケータ53の発光素子58の発光強度が相対的に高ければ、照明部52の発光素子57から照射された光がインジケータ53の発光素子58から照射された光に埋もれる態様になり、乗員は、照明部52の発光素子57から照射された光を殆ど感じなくなる。即ち、この場合も、照明部52の発光素子57から照射された近赤外光が乗員のストレスの要因となることを未然に回避することができる。
【0064】
尚、以上は、第1実施形態で説明した表示装置7のドライバ席側外枠部10にカメラ51と照明部52とインジケータ53が上下方向に並んで配置されている場合を例示したが、第2実施形態で説明した表示装置7のパッセンジャ席側外枠部11、第4実施形態で説明した表示装置31の第1結合部40、第5実施形態で説明した表示装置31の第2結合部40等にカメラ51と照明部52とインジケータ53とが上下方向に並んで配置されている場合も同様である。即ち、インジケータ53の配置箇所はドライバ席側外枠部10に限らない。又、照明部52の発光素子57及びインジケータ53の発光素子58の個数や配置はどのような態様であっても良い。
【0065】
(その他の実施形態)
本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
【0066】
図24に示すように、上側外枠部12の上下方向の寸法が照明部15を配置可能な寸法であれば、上側外枠部12であってドライバ席側外枠部10に近い部位に照明部15が配置され、ドライバ席側外枠部10の上端側、即ち、照明部15から近い部位にカメラ16が配置される構成であっても良い。又、照明部15とカメラ16とが入れ替わっても良く、上側外枠部12の上下方向の寸法がカメラ16を配置可能な寸法であれば、上側外枠部12であってドライバ席側外枠部10に近い部位にカメラ16が配置され、ドライバ席側外枠部10の上端側、即ち、カメラ16から近い部位に照明部15が配置される構成であっても良い。
【0067】
図25に示すように、下側外枠部13の上下方向の寸法が照明部15を配置可能な寸法であれば、下側外枠部13であってドライバ席側外枠部10に近い部位に照明部15が配置され、ドライバ席側外枠部10の下端側、即ち、照明部15から近い部位にカメラ16が配置される構成であっても良い。この場合も、照明部15とカメラ16とが入れ替わっても良く、下側外枠部13の上下方向の寸法がカメラ16を配置可能な寸法であれば、下側外枠部13であってドライバ席側外枠部10に近い部位にカメラ16が配置され、ドライバ席側外枠部10の下端側、即ち、カメラ16から近い部位に照明部15が配置される構成であっても良い。
【0068】
図24及び図25の構成では、照明部15及びカメラ16が上下方向に外れて配置されているが、照明部15及びカメラ16が近くに配置されているので、照明部15及びカメラ16が表示エリア部8を挟んで配置されている従来構成と比較すると、カメラ16の光軸と照明部15の光軸との間の左右方向の角度差を小さくすることができ、画像認識の検出精度の低下を未然に回避することができる。
【0069】
図26に示すように、上側外枠部12の上下方向の寸法が照明部15を配置可能な寸法であり、下側外枠部13の上下方向の寸法がカメラ16を配置可能な寸法であれば、上側外枠部12であってドライバ席側外枠部10に近い部位に照明部15が配置され、下側外枠部13であってドライバ席側外枠部10に近い部位にカメラ16が配置される構成であっても良い。この場合も、照明部15とカメラ16とが入れ替わっても良く、上側外枠部12の上下方向の寸法がカメラ16を配置可能な寸法であり、下側外枠部13の上下方向の寸法が照明部15を配置可能な寸法であれば、上側外枠部12であってドライバ席側外枠部10に近い部位にカメラ16が配置され、下側外枠部13であってドライバ席側外枠部10に近い部位に照明部15が配置される構成であっても良い。このような構成でも、カメラ16の光軸と照明部15の光軸との間の左右方向の角度差を小さくすることができ、画像認識の検出精度の低下を未然に回避することができる。
【0070】
撮像部として水平方向の画角が180°を超えない挟角カメラ及び広角カメラを例示したが、水平方向の画角が180°を超える魚眼カメラを用いても良い。又、撮像対象をドライバやパッセンジャとする構成を例示したが、撮像対象としてリア席の乗員を含めても良い。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26