(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】ヘッドアップディスプレイシステム
(51)【国際特許分類】
G02B 27/01 20060101AFI20241126BHJP
G02B 30/26 20200101ALI20241126BHJP
B60K 35/23 20240101ALI20241126BHJP
H04N 13/128 20180101ALI20241126BHJP
H04N 13/346 20180101ALI20241126BHJP
H04N 13/363 20180101ALI20241126BHJP
H04N 13/383 20180101ALI20241126BHJP
【FI】
G02B27/01
G02B30/26
B60K35/23
H04N13/128
H04N13/346
H04N13/363
H04N13/383
(21)【出願番号】P 2022169695
(22)【出願日】2022-10-24
【審査請求日】2024-03-15
(73)【特許権者】
【識別番号】000006895
【氏名又は名称】矢崎総業株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】畠山 征也
(72)【発明者】
【氏名】小笠原 一賀
【審査官】近藤 幸浩
(56)【参考文献】
【文献】特開2022-083609(JP,A)
【文献】特開2017-226292(JP,A)
【文献】国際公開第2017/043108(WO,A1)
【文献】国際公開第2019/124323(WO,A1)
【文献】特開2015-069656(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 27/01
G02B 30/26
B60K 35/23
H04N 13/128
H04N 13/346
H04N 13/363
H04N 13/383
(57)【特許請求の範囲】
【請求項1】
車両に設けられ透過性を有する反射部材に向けて表示画像を含む表示光を照射して虚像を表示する表示部と、
前記車両の前方の風景に含まれる対象物を検出する対象物検出部と、
前記車両の運転者の視線を検出する視線検出部と、
前記対象物検出部により検出された前記対象物の中で前記視線検出部により検出された前記運転者の前記視線の先に位置し当該運転者の焦点が一致する特定対象物に対して、前記運転者のアイポイントからの実距離を測定する距離測定部と、
前記表示部を制御し、前記特定対象物に前記虚像を重ねて表示させる制御部と、を備え、
前記制御部は、前記表示部を制御し、前記運転者の前記アイポイントから前記虚像までの虚像表示距離を、前記距離測定部により測定された前記実距離に
一致させて輻輳による2重像を防止する2重像防止処理を実行することを特徴とするヘッドアップディスプレイシステム。
【請求項2】
前記表示画像は、前記運転者の左眼に視認させる左眼用画像と、前記運転者の右眼に視認させる右眼用画像とから成る3次元画像であり、
前記制御部は、前記表示部を制御し、前記左眼用画像と前記右眼用画像との視差を変更することで、前記虚像表示距離を前記実距離に合わせる前記2重像防止処理を実行する請求項1に記載のヘッドアップディスプレイシステム。
【請求項3】
前記表示画像は、前記運転者の左眼及び右眼に視認させる2次元画像であり、
前記制御部は、前記表示部を制御し、前記表示光の光路長を変更することで、前記虚像表示距離を前記実距離に合わせる前記2重像防止処理を実行する請求項1に記載のヘッドアップディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ヘッドアップディスプレイシステムに関する。
【背景技術】
【0002】
従来、ヘッドアップディスプレイシステムとして、例えば、特許文献1には、表示画像を示す表示光を車両上の透過反射部に照射して視認者に表示画像の虚像を視認させるヘッドアップディスプレイが記載されている。このヘッドアップディスプレイは、表示画像を表示する表示器と、車両が始動され走行を開始するまでの期間の少なくとも一定時間、車両の前方の風景に含まれる対象物に強調画像を重畳して表示するよう表示器を制御する。これにより、ヘッドアップディスプレイは、車両が走行を開始するまでに、強調画像の重畳表示をデモンストレーションすることにより、対象物に強調画像を重畳させて表示する機能の存在および意義を視認者に認知させることができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述の特許文献1に記載のヘッドアップディスプレイは、例えば、対象物に強調画像を重畳させて表示した際に、対象物に焦点を合わせると輻輳によって強調画像が2重像として視認されるおそれがある。
【0005】
そこで、本発明は、上記に鑑みてなされたものであって、重畳表示を適正に行うことができるヘッドアップディスプレイシステムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係るヘッドアップディスプレイシステムは、車両に設けられ透過性を有する反射部材に向けて表示画像を含む表示光を照射して虚像を表示する表示部と、前記車両の前方の風景に含まれる対象物を検出する対象物検出部と、前記車両の運転者の視線を検出する視線検出部と、前記対象物検出部により検出された前記対象物の中で前記視線検出部により検出された前記運転者の前記視線の先に位置し当該運転者の焦点が一致する特定対象物に対して、前記運転者のアイポイントからの実距離を測定する距離測定部と、前記表示部を制御し、前記特定対象物に前記虚像を重ねて表示させる制御部と、を備え、前記制御部は、前記表示部を制御し、前記運転者の前記アイポイントから前記虚像までの虚像表示距離を、前記距離測定部により測定された前記実距離に合わせる2重像防止処理を実行することを特徴とする。
【発明の効果】
【0007】
本発明に係るヘッドアップディスプレイシステムは、運転者が特定対象物に焦点を合わせた際に、輻輳によって虚像が2重像に見えることを防止することができる。この結果、ヘッドアップディスプレイシステムは、重畳表示を適正に行うことができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係るAR-HUDシステムの構成例を示す概略図である。
【
図2】
図2は、実施形態に係るAR-HUDシステムの構成例を示すブロック図である。
【
図3】
図3は、実施形態に係るディスプレイの構成例を示す概略図である。
【
図4】
図4は、実施形態に係るディスプレイの構成例を示す模式図である。
【
図5】
図5は、実施形態に係る左眼用画像及び右眼用画像の視差と虚像表示位置との関係(その1)を示す図である。
【
図6】
図6は、実施形態に係る左眼用画像及び右眼用画像の視差と虚像表示位置との関係(その2)を示す図である。
【
図7】
図7は、実施形態に係る左眼用画像及び右眼用画像の視差と虚像表示位置との関係(その3)を示す図である。
【
図8】
図8は、実施形態に係るAR-HUDシステムの動作例を示すフローチャートである。
【発明を実施するための形態】
【0009】
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。更に、以下に記載した構成は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。
【0010】
〔実施形態〕
図面を参照しながら実施形態に係るAR-HUDシステム1について説明する。AR-HUDシステム1は、ヘッドアップディスプレイシステムの一例であり、車両に設けられ、透過性を有する反射部材としてのウィンドシールドWに向けて表示画像Pを含む表示光を照射し、当該ウィンドシールドWでアイポイントEP側に向けて反射する虚像Sを、オブジェクトOJに重畳させて表示するものである。ここで、アイポイントEPは、運転者の眼の位置として予め想定された位置、または運転者の実際の眼の位置である。アイポイントEPは、例えば、運転者の実際の眼の位置とする場合、後述するドライバモニター20により運転者の眼の位置を検出する。
【0011】
AR-HUDシステム1は、
図1に示すように、オブジェクト検出センサー10と、ドライバモニター20と、距離出力装置30と、AR-HUD装置40とを備える。オブジェクト検出センサー10、ドライバモニター20、距離出力装置30、及び、AR-HUD装置40は、相互に通信可能に接続されている。
【0012】
オブジェクト検出センサー10は、車両に設けられ、車両の前方の風景に含まれるオブジェクトOJを検出するものである。ここでオブジェクトOJとは、例えば、人物、他車両、標識等の運転者に認知させる対象物である。オブジェクト検出センサー10は、例えば、ステレオカメラを含んで構成され、車両の前方の風景を撮像する。そして、オブジェクト検出センサー10は、撮像した画像をパターンマッチング法などの公知の画像処理方法により画像解析し、人物、他車両、標識等の複数のオブジェクトOJを検出する。さらに、オブジェクト検出センサー10は、検出した人物、他車両、標識等のオブジェクトOJに対して、運転者のアイポイントEPからの実距離D1を測定する。すなわち、オブジェクト検出センサー10は、運転者のアイポイントEPからオブジェクトOJまでの距離である実距離D1を測定する。オブジェクト検出センサー10は、検出したオブジェクトOJの位置(XY座標)、当該オブジェクトOJのサイズ、及び、運転者のアイポイントEPからオブジェクトOJまでの実距離D1を表すオブジェクト検出情報を距離出力装置30に出力する。
【0013】
次に、ドライバモニター20について説明する。ドライバモニター20は、車両に設けられ、運転者を監視するものであり、視線検出部21を含んで構成される。視線検出部21は、運転者の視線Enを検出するものである。視線検出部21は、例えば、カメラレンズが運転者を向いた状態で配置される。視線検出部21は、周知の視線検出方法により、運転者の視線Enを検出する。視線検出部21は、例えば、運転者の顔画像の眼球の瞳孔の位置に基づいて、運転者の視線Enを検出する。この場合、視線検出部21は、予め定められた眼の画像と運転者の顔画像とを比較し、当該運転者の顔画像の中から運転者の瞳孔の位置を検出する。視線検出部21は、検出した運転者の瞳孔の位置から運転者の視線Enを検出する。視線検出部21は、検出した視線Enを表す視線情報(XY座標)を距離出力装置30に出力する。
【0014】
次に、距離出力装置30について説明する。距離出力装置30は、アイポイントEPからオブジェクトOJまでの実距離D1を出力するものである。距離出力装置30は、オブジェクト検出センサー10から出力されたオブジェクト検出情報、及び、ドライバモニター20の視線検出部21から出力された運転者の視線情報に基づいて、アイポイントEPからオブジェクトOJまでの実距離D1を出力する。距離出力装置30は、例えば、運転者の視線Enを表す視線情報(XY座標)に基づいて、複数のオブジェクトOJの中から特定オブジェクトOJを検出する。具体的には、距離出力装置30は、複数のオブジェクトOJの中で、運転者の視線Enの先に位置し当該運転者の焦点が一致する特定オブジェクトOJを検出する。すなわち、距離出力装置30は、複数のオブジェクトOJの中で、運転者が実際に視認している特定オブジェクトOJを検出する。言い換えれば、距離出力装置30は、運転者の視線Enの位置(XY座標)と一致する位置(XY座標)の特定オブジェクトOJを検出する。そして、距離出力装置30は、特定オブジェクトOJの位置(XY座標)、及び、アイポイントEPから特定オブジェクトOJまでの実距離D1を表すオブジェクト情報をAR-HUD装置40に出力する。
【0015】
次に、AR-HUD装置40について説明する。AR-HUD装置40は、ウィンドシールドWに向けて表示画像Pを含む表示光を照射し、当該ウィンドシールドWでアイポイントEP側に向けて反射する虚像Sを、オブジェクトOJに重畳させて表示するものである。AR-HUD装置40は、反射部41と、表示部42と、制御部43とを備える。反射部41、表示部42、及び、制御部43は、相互に通信可能に接続されている。
【0016】
反射部41は、表示部42から照射される表示光をウィンドシールドWに向けて反射するものである。反射部41は、第1中間ミラー411と、第2中間ミラー412と、最終ミラー413とを含んで構成される。第1中間ミラー411は、表示部42から照射された表示光を第2中間ミラー412に向けて全反射する。第2中間ミラー412は、表示部42から照射され第1中間ミラー411で反射された表示光を最終ミラー413に向けて全反射する。最終ミラー413は、表示部42から照射され第1中間ミラー411、第2中間ミラー412で反射された表示光をウィンドシールドWに向けて全反射する。
【0017】
表示部42は、表示画像Pを含む表示光を照射するものであり、反射部41を介してウィンドシールドWに表示光を照射する。表示部42は、ディスプレイ421を含んで構成される。ディスプレイ421は、例えば、
図4に示すように、液晶パネル421aと、レンチキュラーレンズ421bとを含んで構成される。液晶パネル421aは、
図3に示すように、左眼用画像LPを表示するための画素列Laと、右眼用画像RPを表示するための画素列Raとを含んで構成される。画素列Laと画素列Raとは、1画素毎に交互に配置されている。液晶パネル421aは、レンチキュラーレンズ421bの背面に設けられ、左眼用画像LPと右眼用画像RPとが合成された表示画像Pをレンチキュラーレンズ421bに出射する。ここで、表示画像Pは、運転者の左眼LEに視認させる左眼用画像LPと、運転者の右眼REに視認させる右眼用画像RPとから成る3次元画像である。レンチキュラーレンズ421bは、
図4に示すように、表面に微細な細長いカマボコ状の凸レンズが無数に形成されたレンズである。レンチキュラーレンズ421bは、液晶パネル421aから表示画像Pが出射され、当該表示画像Pにおける左眼用画像LPの表示光を運転者の左眼LEに向けて屈折させて出射し、右眼用画像RPの表示光を運転者の右眼REに向けて屈折させて出射する。レンチキュラーレンズ421bから出射された左眼用画像LPを含む表示光は、反射部41、ウィンドシールドWを介して運転者の左眼LEに入射される。レンチキュラーレンズ421bから出射された右眼用画像RPを含む表示光は、反射部41、ウィンドシールドWを介して運転者の右眼REに入射される。運転者は、左眼用画像LPを含む表示光が左眼LEに入射され、かつ、右眼用画像RPを含む表示光が右眼REに入射されることにより、特定オブジェクトOJに重ねて表示される3次元の虚像Sを視認する。
【0018】
制御部43は、表示部42を制御し、特定オブジェクトOJに虚像Sを重ねて表示させるものである。このとき、制御部43は、距離出力装置30から出力されたオブジェクト情報に基づいて、アイポイントEPから虚像Sまでの虚像表示距離D2を、アイポイントEPから特定オブジェクトOJまでの実距離D1に合わせる2重像防止処理を実行する。典型的には、制御部43は、この2重像防止処理を実行する場合、アイポイントEPから虚像Sまでの虚像表示距離D2を、アイポイントEPから特定オブジェクトOJまでの実距離D1に一致させる。なお、制御部43は、輻輳による2重像を防止することができれば、アイポイントEPから虚像Sまでの虚像表示距離D2を、アイポイントEPから特定オブジェクトOJまでの実距離D1に一致させなくてもよく、多少、実距離D1と虚像表示距離D2とが異なっていてもよい。上述の虚像表示距離D2は、アイポイントEPから、虚像Sを表示する表示位置までの距離である。すなわち、虚像表示距離D2は、アイポイントEPと、虚像Sを表示する位置とを結ぶ直線距離である。言い換えれば、虚像表示距離D2は、アイポイントEPから、虚像Sが結像する結像位置までの距離である。
【0019】
制御部43は、表示部42を制御し、左眼用画像LPと右眼用画像RPとの視差を変更することで、虚像表示距離D2を実距離D1に合わせる2重像防止処理を実行する。制御部43は、2重像防止処理において、例えば、反射部41の各ミラーの反射面の傾き等を調整し、レンチキュラーレンズ421bから出射される左眼用画像LPを含む表示光の光路、及び、右眼用画像RPを含む表示光の光路を変更することで、左眼用画像LPと右眼用画像RPとの視差を変更する。制御部43は、例えば、
図5に示すように、左眼用画像LPと右眼用画像RPとの視差を相対的に大きくすることにより、虚像表示距離D2を相対的に長くすることができる。制御部43は、アイポイントEPから特定オブジェクトOJまでの実距離D1が相対的に長い場合、左眼用画像LPと右眼用画像RPとの視差を相対的に大きくして虚像表示距離D2を実距離D1に合わせ、特定オブジェクトOJに虚像Sを重ねて表示する。
【0020】
また、制御部43は、
図6に示すように、左眼用画像LPと右眼用画像RPとの視差を相対的に小さくすることにより、虚像表示距離D2を相対的に短くすることができる。制御部43は、アイポイントEPから特定オブジェクトOJまでの実距離D1が相対的に短い場合、左眼用画像LPと右眼用画像RPとの視差を相対的に小さくして、虚像表示距離D2を実距離D1に合わせ、特定オブジェクトOJに虚像Sを重ねて表示する。
【0021】
また、制御部43は、
図7に示すように、左眼用画像LPと右眼用画像RPとの視差を相対的にさらに小さくすることにより、虚像表示距離D2を相対的にさらに短くすることができる。制御部43は、アイポイントEPから特定オブジェクトOJまでの実距離D1が相対的にさらに短い場合、左眼用画像LPと右眼用画像RPとの視差を相対的にさらに小さくして、虚像表示距離D2を実距離D1に合わせ、特定オブジェクトOJに虚像Sを重ねて表示する。
【0022】
次に、
図8のフローチャートを参照して、AR-HUDシステム1の動作例について説明する。AR-HUDシステム1は、運転者の視線Enを検出する(ステップS1)。AR-HUDシステム1は、例えば、視線検出部21により、運転者の顔画像の眼球の瞳孔の位置に基づいて、運転者の視線Enを検出する。
【0023】
次に、AR-HUDシステム1は、検出された運転者の視線Enが表示範囲内であるか否かを判定する(ステップS2)。AR-HUDシステム1は、例えば、ドライバモニター20により、予め定められ虚像Sを表示する表示範囲内に運転者の視線Enが含まれるか否かを判定する。AR-HUDシステム1は、運転者の視線Enが表示範囲内である場合(ステップS2;Yes)、車両の前方の風景に含まれる複数のオブジェクトOJを検出する(ステップS3)。AR-HUDシステム1は、例えば、オブジェクト検出センサー10により、撮像した画像をパターンマッチング法などの公知の画像処理方法により画像解析し、人物、他車両、標識等の複数のオブジェクトOJを検出する。そして、オブジェクト検出センサー10は、検出した人物、他車両、標識等のオブジェクトOJに対して、運転者のアイポイントEPからの実距離D1を測定する。
【0024】
次に、AR-HUDシステム1は、運転者の視線EnとオブジェクトOJが一致するか否かを判定する(ステップS4)。AR-HUDシステム1は、例えば、距離出力装置30により、運転者の視線Enを表す視線情報(XY座標)に基づいて、複数のオブジェクトOJの中から特定オブジェクトOJを検出する。AR-HUDシステム1は、運転者の視線EnとオブジェクトOJが一致する場合(ステップS4;Yes)、運転者のアイポイントEPから、一致した特定オブジェクトOJまでの実距離D1を出力する(ステップS5)。
【0025】
次に、AR-HUDシステム1は、アイポイントEPから虚像Sまでの虚像表示距離D2を、アイポイントEPから特定オブジェクトOJまでの実距離D1に合わせ、特定オブジェクトOJに虚像Sを重ねて表示する(ステップS6)。AR-HUDシステム1は、例えば、制御部43により、表示部42を制御し、左眼用画像LPと右眼用画像RPとの視差を変更することで、虚像表示距離D2を実距離D1に合わせ、特定オブジェクトOJに虚像Sを重ねて表示する。
【0026】
なお、上述のステップS2で、AR-HUDシステム1は、検出された運転者の視線Enが表示範囲内でない場合(ステップS2;No)、処理を終了する。上述のステップS4で、AR-HUDシステム1は、運転者の視線EnとオブジェクトOJが一致しない場合(ステップS4;No)、処理を終了する。
【0027】
以上のように、実施形態に係るAR-HUDシステム1は、表示部42と、視線検出部21と、制御部43とを備える。表示部42は、車両に設けられ透過性を有するウィンドシールドWに向けて表示画像Pを含む表示光を照射して虚像Sを表示する。オブジェクト検出センサー10は、車両の前方の風景に含まれる複数のオブジェクトOJを検出する。視線検出部21は、車両の運転者の視線Enを検出する。距離出力装置30は、オブジェクト検出センサー10により検出された複数のオブジェクトOJの中で、視線検出部21により検出された運転者の視線Enの先に位置し当該運転者の焦点が一致する特定オブジェクトOJに対して、運転者のアイポイントEPからの実距離D1を特定(測定)する。制御部43は、表示部42を制御し、特定オブジェクトOJに虚像Sを重ねて表示させるものであって、運転者のアイポイントEPから虚像Sまでの虚像表示距離D2を、実距離D1に合わせる2重像防止処理を実行する。
【0028】
この構成により、AR-HUDシステム1は、運転者が特定オブジェクトOJに焦点を合わせた際に、輻輳によって虚像Sが2重像に見えることを防止することができる。AR-HUDシステム1は、特に、緊急情報を表す虚像Sを表示する際に、運転者に当該虚像Sを明瞭に視認させることができる。このように、AR-HUDシステム1は、虚像Sの重畳表示を適正に行うことができる。
【0029】
上記AR-HUDシステム1において、表示画像Pは、運転者の左眼LEに視認させる左眼用画像LPと、運転者の右眼REに視認させる右眼用画像RPとから成る3次元画像である。制御部43は、表示部42を制御し、左眼用画像LPと右眼用画像RPとの視差を変更することで、虚像表示距離D2を実距離D1に合わせる2重像防止処理を実行する。この構成により、AR-HUDシステム1は、運転者が特定オブジェクトOJに焦点を合わせた際に、輻輳によって3次元の虚像Sが2重像に見えることを防止することができる。この結果、AR-HUDシステム1は、3次元の虚像Sの重畳表示を適正に行うことができる。
【0030】
〔変形例〕
次に、実施形態の変形例について説明する。なお、変形例では、実施形態と同等の構成要素には同じ符号を付し、その詳細な説明を省略する。AR-HUDシステム1において、表示画像Pは、3次元画像である例について説明したが、これに限定されず、例えば、運転者の左眼LE及び右眼REに視認させる2次元画像であってもよい。この場合、制御部43は、表示部42を制御し、表示光の光路長を変更することで、虚像表示距離D2を実距離D1に合わせる2重像防止処理を実行する。例えば、表示部42は、複数の折返しミラーを含んで構成される光路長調整部を備える。光路長調整部は、実距離D1に基づいて、表示光を反射する折返しミラーを調整(選択)することで、ウィンドシールドWまでの表示光の光路長を変更し、2次元画像から成る虚像Sを表示する虚像表示距離D2を実距離D1に合わせる。これにより、変形例に係るAR-HUDシステム1は、運転者が特定オブジェクトOJに焦点を合わせた際に、輻輳によって2次元の虚像Sが2重像に見えることを防止することができる。この結果、変形例に係るAR-HUDシステム1は、2次元の虚像Sの重畳表示を適正に行うことができる。
【0031】
オブジェクト検出センサー10は、ステレオカメラを含んで構成される例について説明したが、これに限定されず、オブジェクトOJを検出して実距離D1を測定できるものであればよい。オブジェクト検出センサー10は、例えば、単眼カメラ、赤外線カメラ、レーザーレーダー、ミリ波レーダー、超音波センサーなどの公知のセンサーを含んで構成されてもよい。
【符号の説明】
【0032】
1 AR-HUDシステム(ヘッドアップディスプレイシステム)
10 オブジェク検出センサー(対象物検出部、距離測定部)
21 視線検出部
30 距離出力装置(距離測定部)
42 表示部
43 制御部
D1 実距離
D2 虚像表示距離
En 視線
EP アイポイント
P 表示画像
LE 左眼
RE 右眼
LP 左眼用画像
RP 右眼用画像
OJ オブジェクト(対象物)
S 虚像
W ウィンドシールド(反射部材)