(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-22
(45)【発行日】2024-10-30
(54)【発明の名称】車両用表示装置
(51)【国際特許分類】
B60K 35/234 20240101AFI20241023BHJP
G06T 7/00 20170101ALI20241023BHJP
G06T 7/62 20170101ALI20241023BHJP
G06T 7/70 20170101ALI20241023BHJP
G09G 5/00 20060101ALI20241023BHJP
G09G 5/10 20060101ALI20241023BHJP
G06F 3/0481 20220101ALI20241023BHJP
【FI】
B60K35/234
G06T7/00 660A
G06T7/62
G06T7/70 A
G09G5/00 510A
G09G5/00 550C
G09G5/10 B
G06F3/0481
(21)【出願番号】P 2022133869
(22)【出願日】2022-08-25
【審査請求日】2024-01-17
(73)【特許権者】
【識別番号】000006895
【氏名又は名称】矢崎総業株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】畠山 征也
【審査官】齊藤 彬
(56)【参考文献】
【文献】特開2018-138394(JP,A)
【文献】特開2022-028389(JP,A)
【文献】特開2019-169828(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60K 35/23 ー 35/235
35/40
G06T 7/00
G06T 7/62
G06T 7/70
G09G 5/00
G09G 5/10
G06F 3/0481
G08G 1/16
G01D 7/00
(57)【特許請求の範囲】
【請求項1】
表示画像を車両の被投影部材に投影し、前記被投影部材に投影された前記表示画像に対応する虚像を、前記車両の運転者に視認させる画像表示手段と、
前記運転者の顔を含む顔画像を取得する撮像手段と、
前記撮像手段により取得された前記顔画像に基づいて前記運転者の瞳孔を検出する瞳孔検出手段と、
前記瞳孔検出手段により検出された前記瞳孔の位置に基づいて、当該瞳孔の移動速度を算出する移動速度算出手段と、
前記瞳孔検出手段により検出された前記瞳孔に基づいて、当該瞳孔の瞳孔径を算出する瞳孔径算出手段と、
少なくとも前記瞳孔径に基づいて前記虚像の明るさを調整する調整手段と、を備え、
前記瞳孔径算出手段は、
前記移動速度算出手段により算出された前記移動速度と閾値との比較結果に基づいて、前記瞳孔径を前記調整手段に出力し、
前記移動速度が前記閾値以下の場合、前記瞳孔検出手段によって検出された今回の前記瞳孔に基づいて今回の前記瞳孔径を算出し、算出した当該今回の前記瞳孔径を前記調整手段に出力し、
前記移動速度が前記閾値を越えた場合、前回算出した前記瞳孔径を今回の前記瞳孔径として前記調整手段に出力する、
ことを特徴とする車両用表示装置。
【請求項2】
前記車両の照度を検出する照度検出手段をさらに備え、
前記調整手段は、
前記照度検出手段により検出された照度、及び、前記瞳孔径に基づいて、前記虚像の明るさを調整する、
請求項1に記載の車両用表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用表示装置に関する。
【背景技術】
【0002】
自動車等の車両に搭載されるヘッドアップディスプレイ(HUD)装置では、運転者の前方に表示される虚像の明るさに対して感じ方に個人差があることから、例えば、照度センサと運転者の瞳孔の瞳孔径を利用し、虚像の明るさを調整するものがある。
【0003】
ところで、運転者の瞳孔位置を検出する方法として、明瞳孔画像と暗瞳孔画像との差分画像に基づき瞳孔位置を特定するものがある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、車両の悪路走行などにより運転者が揺れると、当該運転者の瞳孔を正しく検出できず、瞳孔径を利用して虚像の明るさを精度よく調整し難いおそれがあり、この点で改善の余地がある。
【0006】
本発明は、表示する虚像の明るさを精度よく調整することができる車両用表示装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明に係る車両用表示装置は、表示画像を車両の被投影部材に投影し、前記被投影部材に投影された前記表示画像に対応する虚像を、前記車両の運転者に視認させる画像表示手段と、前記運転者の顔を含む顔画像を取得する撮像手段と、前記撮像手段により取得された前記顔画像に基づいて前記運転者の瞳孔を検出する瞳孔検出手段と、前記瞳孔検出手段により検出された前記瞳孔の位置に基づいて、当該瞳孔の移動速度を算出する移動速度算出手段と、前記瞳孔検出手段により検出された前記瞳孔に基づいて、当該瞳孔の瞳孔径を算出する瞳孔径算出手段と、少なくとも前記瞳孔径に基づいて前記虚像の明るさを調整する調整手段と、を備え、前記瞳孔径算出手段は、前記移動速度算出手段により算出された前記移動速度と閾値との比較結果に基づいて、前記瞳孔径を前記調整手段に出力し、前記移動速度が前記閾値以下の場合、前記瞳孔検出手段によって検出された今回の前記瞳孔に基づいて今回の前記瞳孔径を算出し、算出した当該今回の前記瞳孔径を前記調整手段に出力し、前記移動速度が前記閾値を越えた場合、前回算出した前記瞳孔径を今回の前記瞳孔径として前記調整手段に出力する、ことを特徴とする。
【発明の効果】
【0008】
本発明に係る車両用表示装置によれば、表示する虚像の明るさを精度よく調整することができる、という効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施形態に係る車両用表示装置の概略構成を示す模式図である。
【
図2】
図2は、実施形態に係る車両用表示装置の概略構成を示すブロック図である。
【
図3】
図3は、実施形態に係る車両用表示装置における虚像の明るさ調整の流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
以下に、本発明に係る車両用表示装置の実施形態について図面を参照しつつ詳細に説明する。なお、下記実施形態により本発明が限定されるものではない。すなわち、下記実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれ、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
【0011】
[実施形態]
本実施形態に係る車両用表示装置1は、
図1に示すように、例えば、自動車等の車両100に搭載されるヘッドアップディスプレイ(HUD:Head Up Display)である。車両用表示装置1は、表示デバイス6に表示される表示画像を、反射ミラー5を介して被投影部材であるウインドシールドWに投影することで、車両100の運転者Dに虚像Sとして視認させるものである。車両用表示装置1は、例えば、運転者D前方の実風景における車両や歩行者、信号機、標識、車線等に虚像Sを重畳して表示することができる。車両用表示装置1は、例えば、車室内のインストルメントパネル(不図示)の内側に配置される。
【0012】
ウインドシールドWは、入射する光の一部を反射し、他の一部を透過させる半透過性を有することから、車両の前景を透過させながら、車両用表示装置1から投影される表示画像を表示光Lとして運転者DのアイポイントEPに向けて反射する。アイポイントEPは、運転者Dの視点位置として予め想定される。運転者Dは、ウインドシールドWによって反射された表示画像を虚像Sとして認識する。虚像Sは、運転者Dにとって、ウインドシールドWよりも前方に認識される。
【0013】
車両用表示装置1は、照度センサ2と、運転者用カメラ3と、筐体4と、表示デバイス6と、3つの反射ミラー5A~5Cとを備える。
【0014】
照度センサ2は、照度検出手段の一例であり、車両100の照度を検出するものである。照度センサ2は、例えば車室内のインストルメントパネルやルームミラー(不図示)の裏側等に取付けられ、車両前方、例えば運転者Dの前方の照度を検出する。照度センサ2は、筐体4に収容された表示デバイス6に対して、例えば信号線Taにより接続されている。照度センサ2は、当該照度センサ2が検出した照度を、信号線Taを介して表示デバイス6に出力する。
【0015】
運転者用カメラ3は、撮像手段の一例であり、カメラレンズ(不図示)が運転者Dに向けて配置され、運転者Dの顔Fを含む顔画像を連続して取得するものである。運転者用カメラ3は、例えば車室内のステアリングコラム(不図示)の上部で、かつ運転者Dから見てステアリングホイール(不図示)の背後に配置される。運転者用カメラ3は、例えば運転者Dの顔Fを動画として撮像し、撮像した動画から得られる静止画(フレーム画)を顔画像として取得することができる。運転者用カメラ3は、表示デバイス6に対して、例えば信号線Tbにより接続されている。運転者用カメラ3は、取得した顔画像を、信号線Tbを介して表示デバイス6に出力する。
【0016】
運転者用カメラ3は、例えば、不図示の光源を有する。光源は、例えば、運転者Dに向けて近赤外光を出射するLED(Light Emitting Diode)である。光源は、不図示の制御部から入力された点灯信号に応じて点灯(赤外光を発光)し、消灯信号に応じて消灯する。運転者用カメラ3は、光源により運転者Dの顔Fに照射された光による反射光を受光して運転者Dの顔画像を撮像する。運転者用カメラ3は、車両100のACC(アクセサリ)電源またはIG(イグニッション)電源がONされた場合に起動し、これらに電源がOFFされるまで運転者Dの顔画像を撮像し続ける。
【0017】
筐体4は、例えば、合成樹脂等で成形され、車体(不図示)に固定される。筐体4は、
図1に示すように、反射ミラー5A~5C、表示デバイス6を内部に収容し、これらを支持している。
【0018】
反射ミラー5A~5Cは、表示デバイス6からウインドシールドWまでの表示光Lの光路上に配置され、表示デバイス6から出射された表示光LをウインドシールドWに向けて反射する。反射ミラー5A~5Cは、例えば、平面ミラーや凹面ミラー等で構成される。
【0019】
表示デバイス6は、画像表示手段の一例であり、車両100の運転者Dに虚像Sとして視認させる表示画像を表示光Lとして出射するものである。表示デバイス6は、例えば、背面側から前面側へと光が透過する光透過型の表示器である。光透過型の表示器としては、例えばTFT(Thin Film Transistor)液晶表示器が用いられる。本実施形態の表示デバイス6は、
図2に示すように、瞳孔径出力部7と、画像制御部8とを有する。
【0020】
瞳孔径出力部7は、運転者用カメラ3から入力された顔画像に基づいて瞳孔Eを検出し、検出した瞳孔Eの瞳孔径を算出して画像制御部8に出力するものである。また、瞳孔径出力部7は、例えば、公知の画像処理を用いて1フレームの顔画像から運転者Dの瞳孔Eの粗探索を行い、その結果に基づいて瞳孔Eの位置を検出する。また、瞳孔径出力部7は、複数フレームにわたる顔画像の瞳孔Eの位置から単位時間当たりの瞳孔Eの移動速度Mを算出する。瞳孔径出力部7は、車両用表示装置1において、装置を構成するコンピュータ(例えばマイクロコンピュータ)がプログラムを実行することにより、各種処理が実現される。各種処理には、公知の画像処理、瞳孔Eの位置検出処理、瞳孔Eの移動速度Mの算出処理等が含まれる。
【0021】
瞳孔径出力部7は、瞳孔検出部10と、移動速度算出部11と、瞳孔径算出部12とを有する。
【0022】
瞳孔検出部10は、瞳孔検出手段の一例であり、運転者用カメラ3により取得された顔画像に基づいて運転者Dの瞳孔Eを検出するものである。瞳孔検出部10は、例えば、公知の画像処理を用いて1フレームの顔画像から運転者Dの瞳孔Eの粗探索を行い、その結果に基づいて瞳孔Eの位置を検出する。公知の画像処理には、例えば、Viola-Jones法、眼球3Dモデルを用いるモデルベース手法、テンプレートマッチング手法、パーティクル手法等が含まれる。
【0023】
移動速度算出部11は、移動速度検出手段の一例であり、瞳孔検出部10により検出された瞳孔Eの位置に基づいて、当該瞳孔Eの移動速度Mを算出するものである。
【0024】
瞳孔径算出部12は、瞳孔径算出手段の一例であり、瞳孔検出部10により検出された瞳孔Eに基づいて、当該瞳孔Eの瞳孔径を算出するものである。また、瞳孔径算出部12は、移動速度算出部11により算出された瞳孔Eの移動速度Mと閾値との比較結果に基づいて、瞳孔径を明るさ調整部15に出力する。
【0025】
閾値は、例えば車両100が悪路を走行した場合における瞳孔検出率(瞳孔Eの位置が正しく検出された確率)に基づいて設定されたものである(例えば、特開2020-87166号公報参照)。この瞳孔検出率は、例えば、車両100の悪路走行時における被験者3名を、下記撮影環境で撮影して得られた顔画像に基づいて算出される。
<撮影環境>
センササイズ:VGA(640×480)
フレームレート:30[fps](0.0333[sec])
焦点距離:6.0[mm](水平画角:50°)
撮像水平範囲:約740[mm](0.74[m])
1ピクセルあたり:1.156[mm](0.001156[m])
【0026】
瞳孔位置の移動量が1フレーム当たり6ピクセル(Pixel)の場合、0.001156×6=0.006937[m]となり、瞳孔検出率が低下する。瞳孔位置の1フレーム当たりの移動量6ピクセルは、瞳孔Eの移動速度M=0.006937/0.0333=0.2083[m/s]に相当する。そこで、瞳孔検出率が低下したか否かを判定する基準として、瞳孔Eの移動速度の閾値を0.2[m/s]としている。
【0027】
瞳孔径算出部12は、移動速度算出部11により算出された瞳孔Eの移動速度Mと閾値とを比較し、瞳孔Eの移動速度Mが閾値以下の場合、瞳孔検出部10によって検出された今回の瞳孔Eに基づいて今回の瞳孔径を算出し、算出した当該今回の瞳孔径を明るさ調整部15に出力する。出力された瞳孔径の値は、瞳孔径出力部7に設けられた不揮発性メモリ等のアドレスに日時情報と共に保存される。
【0028】
一方、瞳孔径算出部12は、移動速度算出部11により算出された瞳孔Eの移動速度Mと閾値とを比較し、瞳孔Eの移動速度Mが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部15に出力する。つまり、瞳孔径出力部7は、瞳孔Eの移動速度Mと閾値とを比較した結果、瞳孔Eの移動速度Mが閾値を越えた場合、瞳孔径算出部12により運転者Dの瞳孔Eの瞳孔径を算出させることなく、前回算出して不揮発性メモリに保存されていた瞳孔径を、例えば日時情報を参照して読み出して明るさ調整部15に出力する。
【0029】
画像制御部8は、表示デバイス6に表示する表示画像の表示制御を行うものである。画像制御部8は、明るさ調整部15を有する。
【0030】
明るさ調整部15は、照度センサ2により検出結果、及び、運転者Dの瞳孔Eの瞳孔径に基づいて虚像Sの明るさ(輝度)を調整するものである。明るさ調整部15は、運転者Dの瞳孔Eの瞳孔径が一定の場合、照度センサ2により検出された照度が大きいときは、虚像Sの輝度を明るくなるように調整し、照度が小さいときは、虚像Sの輝度を暗くなるように調整する。一方、明るさ調整部15は、照度センサ2により検出された照度が一定の場合、運転者Dの瞳孔Eの瞳孔径が大きいときは、虚像Sの輝度の明るさを暗くし、瞳孔径が小さいときは、虚像Sの輝度を明るくする。
【0031】
次に、車両用表示装置1における虚像Sの明るさ調整制御の流れについて
図3に示すフローチャートを参照して説明する。車両用表示装置1は、車両100のACC(アクセサリ)電源またはIG(イグニッション)電源がONされた場合に起動し、これらの電源がOFFされるまで以下に説明する処理を繰り返す。
【0032】
ステップS1では、運転者用カメラ3は、顔画像を取得して、瞳孔径出力部7に出力する。
【0033】
次に、ステップS2では、瞳孔検出部10は、運転者用カメラ3から入力された顔画像に基づいて運転者Dの瞳孔Eを検出する。
【0034】
次に、ステップS3では、移動速度算出部11は、瞳孔検出部10により検出された運転者Dの瞳孔Eの位置に基づいて、瞳孔Eの移動速度を算出する。
【0035】
次に、ステップS4では、瞳孔径算出部12は、不揮発性メモリから閾値(例えば、0.2[m/s])を読み出して、移動速度算出部11により算出された瞳孔Eの移動速度と当該閾値とを比較する。
【0036】
次に、ステップS5では、瞳孔径算出部12は、瞳孔Eの移動速度Mと閾値とを比較し、瞳孔Eの移動速度Mが閾値を越えたか否かを判定する。この判定の結果、瞳孔Eの移動速度Mが閾値を越えた場合、ステップS8へ進む。一方、瞳孔Eの移動速度Mが閾値を越えていない場合、すなわち、瞳孔Eの移動速度Mが閾値以下の場合は、ステップS6へ進む。
【0037】
次に、ステップS6では、瞳孔径算出部12は、ステップS2で瞳孔検出部10により検出された瞳孔Eに基づいて当該瞳孔Eの瞳孔径を算出し、算出した瞳孔径を不揮発性メモリに一時保存する。
【0038】
次に、ステップS7では、瞳孔径算出部12は、ステップS6で算出した今回の瞳孔径を明るさ調整部15に出力して、ステップS10へ進む。
【0039】
一方、ステップS8では、瞳孔径算出部12は、不揮発性メモリに保存していた前回の瞳孔径を読み出す。
【0040】
次に、ステップS9では、瞳孔径算出部12は、読みだした瞳孔径を明るさ調整部15に出力して、ステップS10へ進む。
【0041】
ステップS10では、瞳孔径出力部7は、本処理を終了するか否かを判定する。本処理を終了しない場合は、ステップS1に戻る。
【0042】
上記処理により、明るさ調整部15は、瞳孔Eの移動速度Mが閾値以下の場合、今回の瞳孔Eに基づいて算出された今回の瞳孔径を用いて、虚像Sの明るさ調整を行う。一方、明るさ調整部15は、瞳孔Eの移動速度Mが閾値を越えた場合、今回の瞳孔Eに基づく今回の瞳孔径を用いることなく、前回の瞳孔径を用いて虚像Sの明るさ調整を行う。これにより、車両用表示装置1は、瞳孔Eの移動速度Mが閾値を越えて、瞳孔Eを正しく検出できていないと推定される場合には、移動速度Mが閾値を越えていないときの瞳孔径を用いて虚像Sの明るさ調整を行うことが可能となる。
【0043】
以上説明したように、本実施形態に係る車両用表示装置1は、瞳孔検出部10により検出された瞳孔Eの位置に基づいて、当該瞳孔Eの移動速度Mを算出する移動速度算出部11を備える。瞳孔径算出部12は、瞳孔Eの移動速度Mが閾値以下の場合、今回の瞳孔Eに基づいて今回の瞳孔径を算出し、算出した当該今回の瞳孔径を明るさ調整部15に出力する、一方、瞳孔Eの移動速度Mが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部15に出力する。
【0044】
上記構成により、車両用表示装置1は、車両100の悪路走行などにより運転者Dが揺れて当該運転者Dの瞳孔Eを正しく検出できないおそれがある場合、前回算出した瞳孔径を今回の瞳孔径として使用して虚像Sの明るさ調整が行われる。この結果、表示する虚像Sの明るさを精度よく調整することができ、運転者Dの虚像Sの視認性を向上させることができる。
【0045】
また、本実施形態に係る車両用表示装置1は、明るさ調整部15が、照度センサ2により検出された照度、及び、瞳孔径出力部7により出力された瞳孔径に基づいて、虚像Sの明るさを調整する。これにより、車両用表示装置1は、車両環境の明るさを考慮して虚像Sの明るさ調整を行うことができ、照度を検出しない場合と比べて、運転者Dの虚像Sの視認性を向上させることができる。
【0046】
なお、上記実施形態では、明るさ調整部15は、照度センサ2により検出された照度、及び、瞳孔径出力部7から出力された瞳孔径という2つのパラメータに基づいて虚像Sの明るさを調整しているが、これに限定されるものではない。例えば、明るさ調整部15は、瞳孔径出力部7から出力された瞳孔径のみに基づいて虚像Sの明るさを調整してもよい。または、明るさ調整部15は、必要に応じて照度センサ2により検出された照度のみに基づいて虚像Sの明るさを調整してもよい。
【0047】
また、上記実施形態では、瞳孔径出力部7は、移動速度Mが閾値を越えた場合、瞳孔Eの瞳孔径を算出することなく、前回算出して不揮発性メモリに保存されていた瞳孔径を明るさ調整部15に出力するが、これに限定されるものではない。例えば、瞳孔径出力部7は、移動速度Mが閾値を越えた場合、照度センサ2の検出結果に基づくマップ制御を行い、予め用意された瞳孔径を出力する構成であってもよい。この場合、瞳孔径出力部7は、各照度に対する運転者Dの瞳孔Eの瞳孔径をマップとして保持し、移動速度Mが閾値を越えた場合には、検出した照度に対応する瞳孔径をマップから読み出して出力する。
【0048】
また、上記実施形態では、車両用表示装置1は、上述したように、車両100のACC電源等がONされたときに起動し、これらの電源がOFFされるまで
図3に示す処理を繰り返し実行する。瞳孔径算出部12は、移動速度Mが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部15に出力しているが、初期状態では、移動速度Mが閾値を越えたとしても、前回算出した瞳孔径が存在しない場合がある。この場合、例えば、瞳孔径算出部12は、瞳孔径が適正に算出されるまで予め設定された固定値を使う構成であってもよい。または、明るさ調整部15が、瞳孔径が適正に算出されるまで虚像Sの明るさ調整を行わないように構成してもよい。
【0049】
また、上記実施形態では、照度センサ2は、車両用表示装置1専用に設けられたものであるが、これに限定されるものではなく、車両100の前照灯の自動点灯用に設けられたものを流用してもよい。
【0050】
また、上記実施形態では、運転者用カメラ3は、ステアリングコラムに設置されているが、これに限定されず、インストルメントパネル、ダッシュボード、ルームミラー等に設置されていてもよい。
【0051】
また、上記実施形態では、表示デバイス6は、3つの反射ミラー5A~5Cを有するが、この数に限定されるものではない。
【0052】
また、上記実施形態では、車両用表示装置1は、自動車等の車両100に適用されているが、これに限定されず、例えば車両以外の船舶や航空機等に適用してもよい。
【符号の説明】
【0053】
1 車両用表示装置
3 運転者用カメラ(撮像手段)
6 表示デバイス(画像表示手段)
7 瞳孔径出力部
10 瞳孔検出部(瞳孔検出手段)
11 移動速度算出部(移動速度算出手段)
12 瞳孔径算出部(瞳孔径算出部)
15 明るさ調整部(調整手段)
D 運転者
E 瞳孔
F 顔
M 移動速度
S 虚像
W ウインドシールド(被投影部材)