(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-09
(45)【発行日】2024-12-17
(54)【発明の名称】表示制御装置、ヘッドアップディスプレイ装置、及びヘッドアップディスプレイ装置の表示制御方法
(51)【国際特許分類】
B60K 35/23 20240101AFI20241210BHJP
G09G 5/00 20060101ALI20241210BHJP
G09G 5/10 20060101ALI20241210BHJP
【FI】
B60K35/23
G09G5/00 510A
G09G5/00 550C
G09G5/00 530D
G09G5/10 Z
G09G5/00 550B
G09G5/00 530T
G09G5/00 530M
(21)【出願番号】P 2020149612
(22)【出願日】2020-09-07
【審査請求日】2023-07-20
(73)【特許権者】
【識別番号】000231512
【氏名又は名称】日本精機株式会社
(74)【代理人】
【識別番号】100067356
【氏名又は名称】下田 容一郎
(74)【代理人】
【識別番号】100160004
【氏名又は名称】下田 憲雅
(74)【代理人】
【識別番号】100120558
【氏名又は名称】住吉 勝彦
(74)【代理人】
【識別番号】100148909
【氏名又は名称】瀧澤 匡則
(74)【代理人】
【識別番号】100192533
【氏名又は名称】奈良 如紘
(72)【発明者】
【氏名】秦 誠
【審査官】吉村 俊厚
(56)【参考文献】
【文献】国際公開第2017/018122(WO,A1)
【文献】国際公開第2017/056157(WO,A1)
【文献】特開2020-086515(JP,A)
【文献】特開2011-070686(JP,A)
【文献】国際公開第2020/022239(WO,A1)
【文献】独国特許出願公開第102015215180(DE,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B60K 35/23
G09G 5/00
G09G 5/10
(57)【特許請求の範囲】
【請求項1】
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置における表示制御を実行する表示制御装置であって、
前記視認者の視点位置に基づいて前記虚像の表示態様を制御する制御部を有し、
前記制御部は、
前記HUD装置による表示領域に表示コンテンツの前記虚像を表示させているときに、前記視認者が前方視認状態から、一時的に前方非視認状態となった場合、又は、前記視認者の視点を一時的に喪失する視点ロストが生じた場合に、
少なくとも一部の前記表示コンテンツについては、前記虚像を非表示とする、
又は、
少なくとも一部の前記表示コンテンツについては、視認性を低下させる、あるいは、視認性を低下させて最終的には前記虚像を非表示とする、
又は、
前記表示コンテンツの数を低減する、
ことを含む第1の制御を実行し、
前記視認者が前方視認状態に復帰した場合、又は視点ロスト後に視点位置を再取得した場合に、
非表示とされていた表示コンテンツ、又は視認性が低下されていた表示コンテンツについて、視認性を時間に対して徐々に増大させ、又は、非表示状態あるいは視認性低下状態を維持する期間を設けた後、視認性を時間に対して徐々に、又はすみやかに増大させ、
又は、
コンテンツ数が低減されていた表示コンテンツについて、コンテンツ数を時間に対して徐々に増大させ、あるいは、コンテンツ数の低減状態の維持期間を設けた後、コンテンツ数を時間に対して徐々に、又はすみやかに増大させ、
これによって、前方視認状態に対応した虚像表示、又は視点位置検出状態に対応した虚像表示に復帰させる、ことを含む第2の制御を実行し、
前記制御部は、
前記第1の制御を実行する際、
前記視認者が前方の遠方を注視しているときの注視点又は消失点からの距離が小さく、前記視認者から見て遠方側に見える表示コンテンツを前記第1の制御の対象とし、前記注視点又は消失点からの距離が大きく、前記視認者から見て手前側に見える表示コンテンツを前記第1の制御の対象とはしない、
ことを特徴とする表示制御装置。
【請求項2】
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置における表示制御を実行する表示制御装置であって、
前記視認者の視点位置に基づいて前記虚像の表示態様を制御する制御部を有し、
前記制御部は、
前記HUD装置による表示領域に表示コンテンツの前記虚像を表示させているときに、前記視認者が前方視認状態から、一時的に前方非視認状態となった場合、又は、前記視認者の視点を一時的に喪失する視点ロストが生じた場合に、
少なくとも一部の前記表示コンテンツについては、前記虚像を非表示とする、
又は、
少なくとも一部の前記表示コンテンツについては、視認性を低下させる、あるいは、視認性を低下させて最終的には前記虚像を非表示とする、
又は、
前記表示コンテンツの数を低減する、
ことを含む第1の制御を実行し、
前記視認者が前方視認状態に復帰した場合、又は視点ロスト後に視点位置を再取得した場合に、
非表示とされていた表示コンテンツ、又は視認性が低下されていた表示コンテンツについて、視認性を時間に対して徐々に増大させ、又は、非表示状態あるいは視認性低下状態を維持する期間を設けた後、視認性を時間に対して徐々に、又はすみやかに増大させ、
又は、
コンテンツ数が低減されていた表示コンテンツについて、コンテンツ数を時間に対して徐々に増大させ、あるいは、コンテンツ数の低減状態の維持期間を設けた後、コンテンツ数を時間に対して徐々に、又はすみやかに増大させ、
これによって、前方視認状態に対応した虚像表示、又は視点位置検出状態に対応した虚像表示に復帰させる、ことを含む第2の制御を実行し、
前記制御部は、
前記第2の制御を実行して、複数の表示コンテンツについて、視認性を時間に対して徐々に変化させて線形に、又は非線形に増大させる場合に、
前記視認者が前方の遠方を注視しているときの注視点又は消失点からの距離が大きく、前記視認者から見て手前側に見える第1の表示コンテンツと、前記注視点又は消失点からの距離が小さく、前記視認者から見て遠方側に見える第2の表示コンテンツとを区別し、
前記第2の表示コンテンツの視認性の変化率を、前記第1の表示コンテンツの視認性の変化率よりも小さくする、
ことを特徴とする表示制御装置。
【請求項3】
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置における表示制御を実行する表示制御装置であって、
前記視認者の視点位置に基づいて前記虚像の表示態様を制御する制御部を有し、
前記制御部は、
前記HUD装置による表示領域に表示コンテンツの前記虚像を表示させているときに、前記視認者が前方視認状態から、一時的に前方非視認状態となった場合、又は、前記視認者の視点を一時的に喪失する視点ロストが生じた場合に、
少なくとも一部の前記表示コンテンツについては、前記虚像を非表示とする、
又は、
少なくとも一部の前記表示コンテンツについては、視認性を低下させる、あるいは、視認性を低下させて最終的には前記虚像を非表示とする、
又は、
前記表示コンテンツの数を低減する、
ことを含む第1の制御を実行し、
前記視認者が前方視認状態に復帰した場合、又は視点ロスト後に視点位置を再取得した場合に、
非表示とされていた表示コンテンツ、又は視認性が低下されていた表示コンテンツについて、視認性を時間に対して徐々に増大させ、又は、非表示状態あるいは視認性低下状態を維持する期間を設けた後、視認性を時間に対して徐々に、又はすみやかに増大させ、
又は、
コンテンツ数が低減されていた表示コンテンツについて、コンテンツ数を時間に対して徐々に増大させ、あるいは、コンテンツ数の低減状態の維持期間を設けた後、コンテンツ数を時間に対して徐々に、又はすみやかに増大させ、
これによって、前方視認状態に対応した虚像表示、又は視点位置検出状態に対応した虚像表示に復帰させる、ことを含む第2の制御を実行し、
前記制御部は、
前記第2の制御を実行して、複数の表示コンテンツについて、視認性を時間に対して徐々に変化させて線形に、又は非線形に増大させる場合に、
前記視認者が前方の遠方を注視しているときの注視点又は消失点からの距離が大きく、前記視認者から見て手前側に見える第1の表示コンテンツと、前記注視点又は消失点からの距離が小さく、前記視認者から見て遠方側に見える第2の表示コンテンツとを区別し、
前記第2の表示コンテンツについての、前記視認性の変化の終点における視認性の設定値を、前記第1の表示コンテンツについての視認性の変化の終点における視認性の設定値よりも小さく設定し、
かつ、視認性を変化させる期間の長さは、前記第1の表示コンテンツと前記第2表示コンテンツとの間で差を設けず、同じ長さとする、
ことを特徴とする表示制御装置。
【請求項4】
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置における表示制御を実行する表示制御装置であって、
前記視認者の視点位置に基づいて前記虚像の表示態様を制御する制御部を有し、
前記制御部は、
前記HUD装置による表示領域に表示コンテンツの前記虚像を表示させているときに、前記視認者が前方視認状態から、一時的に前方非視認状態となった場合、又は、前記視認者の視点を一時的に喪失する視点ロストが生じた場合に、
少なくとも一部の前記表示コンテンツについては、前記虚像を非表示とする、
又は、
少なくとも一部の前記表示コンテンツについては、視認性を低下させる、あるいは、視認性を低下させて最終的には前記虚像を非表示とする、
又は、
前記表示コンテンツの数を低減する、
ことを含む第1の制御を実行し、
前記視認者が前方視認状態に復帰した場合、又は視点ロスト後に視点位置を再取得した場合に、
非表示とされていた表示コンテンツ、又は視認性が低下されていた表示コンテンツについて、視認性を時間に対して徐々に増大させ、又は、非表示状態あるいは視認性低下状態を維持する期間を設けた後、視認性を時間に対して徐々に、又はすみやかに増大させ、
又は、
コンテンツ数が低減されていた表示コンテンツについて、コンテンツ数を時間に対して徐々に増大させ、あるいは、コンテンツ数の低減状態の維持期間を設けた後、コンテンツ数を時間に対して徐々に、又はすみやかに増大させ、
これによって、前方視認状態に対応した虚像表示、又は視点位置検出状態に対応した虚像表示に復帰させる、ことを含む第2の制御を実行し、
前記制御部は、
前記第2の制御を実行して、前記視認性が低下されていた、又は非表示とされていた表示コンテンツの輝度を、時間に対して徐々に増大させる場合において、
周囲の明るさを示す情報、又は明るさを推定可能な情報に基づき、周囲が暗いと判定される場合には、明るいと判定される場合に比べて、目標とする輝度まで増大させるのに要する時間を短くする、
ことを特徴とする表示制御装置。
【請求項5】
前記制御部は、
前記第1の制御を実行して、複数の表示コンテンツの虚像の視認性を低下させる際、急峻に低下させ、又は、時間に対して線形、又は非線形に徐々に低下させ、
かつ、前記複数の表示コンテンツ間で、視認性を低下させるときの変化率に差を設けず、同じ変化率とする、ことを特徴とする、請求項1乃至4の何れか1項に記載の表示制御装置。
【請求項6】
前記制御部は、
前記第1の制御を開始した後の所定時間の期間は、前記第1の制御を継続する期間とする、ことを特徴とする、請求項1乃至5の何れか1項に記載の表示制御装置。
【請求項7】
前記制御部は、
前記第1の制御を開始した後、前方視認状態への復帰、又は視点位置の再取得が検出されたが、所定閾値時間経過することなく、再び前方非視認状態、又は視点ロストの状態に戻ったときは、前記検出に関係なく前記第1の制御を続行する、ことを特徴とする、請求項1乃至6の何れか1項に記載の表示制御装置。
【請求項8】
前記制御部は、
前記第1の制御を実行している期間において、表示コンテンツの視認性を低下させ
ていることを報知する報知画像の虚像を表示させ、
かつ、前記報知画像の虚像は、視認性を低下させている表示コンテンツと同じ輝度、又はそれよりも高い輝度とする、
ことを特徴とする、請求項1乃至7の何れか1項に記載の表示制御装置。
【請求項9】
前記制御部は、
前記第2の制御を実行して、前記視認性が低下されていた、又は非表示とされていた表示コンテンツの輝度を、時間に対して徐々に増大させる場合において、
目標輝度に復帰した後、少なくとも一部の表示コンテンツの前記虚像については、その虚像を一時的に強調表示する、
ことを特徴とする、請求項1乃至8の何れか1項に記載の表示制御装置。
【請求項10】
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
前記画像を生成する画像生成部と、
前記画像を表示する表示部と、
前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、
請求項1乃至9の何れか1項に記載の表示制御装置と、
を有することを特徴とするヘッドアップディスプレイ装置。
【請求項11】
画像を被投影部材に投影することで、視認者に前記画像
の虚像を視認させるヘッドアップディスプレイ(HUD)装置の表示制御方法であって、
前記HUD装置による表示領域に表示コンテンツの前記虚像を表示させているときに、前記視認者が前方の視認状態から、一時的に前方の非視認状態となった場合、又は、前記視認者の視点位置を一時的に喪失する視点ロストが生じた場合に、
少なくとも一部の前記表示コンテンツについては、前記虚像を非表示とする、
又は、
少なくとも一部の前記表示コンテンツについては、視認性を低下させる、あるいは、視認性を低下させて最終的には前記虚像を非表示とする、
又は、
前記表示コンテンツの数を低減する、
ことを含む第1の制御を実行し、
前記視認者が前方視認状態に復帰した場合、又は視点ロスト後に視点位置を再取得した場合に、
非表示とされていた表示コンテンツ、又は視認性が低下されていた表示コンテンツについて、視認性を時間に対して線形、非線形に徐々に増大させ、又は、非表示状態あるいは視認性低下状態の維持期間を設けた後、視認性を増大させ、
又は、
コンテンツ数が低減されていた表示コンテンツについて、コンテンツ数を時間に対して徐々に増大させ、あるいは、コンテンツ数の低減状態の維持期間を設けた後、コンテンツ数を増大させ、
これによって、前方視認状態に対応した虚像表示、又は視点位置検出状態に対応した虚像表示に復帰させる、ことを含む第2の制御を実行し、
前記第2の制御を実行して、前記視認性が低下されていた、又は非表示とされていた表示コンテンツの輝度を、時間に対して徐々に増大させる場合において、
周囲の明るさを示す情報、又は明るさを推定可能な情報に基づき、周囲が暗いと判定される場合には、明るいと判定される場合に比べて、目標とする輝度まで増大させるのに要する時間を短くする、
ことを特徴とする、ヘッドアップディスプレイ装置の表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば自動車等の車両に搭載される表示制御装置、ヘッドアップディスプレイ(HUD)装置、及びヘッドアップディスプレイ装置の表示制御方法等に関する。
【背景技術】
【0002】
車両の運転中において、例えば前方に十字路やT字路がある場合、あるいは左折、右折を行う場合等では、運転者(視認者)は左右の確認のために顔を左や右に向け、このとき運転者の視線は左右に移動して前方視界から外れ、やがて元に戻り、視線は前方を向く。
【0003】
このような視線の移動に対応して、HUD装置による表示を変更することが、例えば、特許文献1に記載されている。特許文献1の
図9及び[0041]~[0043]には、車両の左折時において、車両の走行状態に応じたHUD装置の表示領域のサイズを変更することが記載されている。
【0004】
[0042]の記載によれば、車両が交差点の手前を走行している場合には、表示領域のサイズを縮小して、交差点までの距離情報や進行方向を示す直進の矢印を表示し、交差点に近づくと、表領域のサイズを左方向に拡大して左折位置を示す矢印を表示して行き先案内を行い、左折が完了した時点で表示領域のサイズを元の縮小サイズに戻して直進の矢印を表示す。[0043]には、「これにより、左折操作のために運転者に必要な情報を運転の妨げにならないようなサイズで表示することができる」と記載されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明者は、視認者の視線が左/右に移動して前方視界から外れ、やがて元に戻って、前方視界に復帰するような場合における、HUD装置の好ましい表示について検討し、以下の事項を認識した。
【0007】
運転者(視認者)が左右を確認した後に前方視認の状態に戻るときや、左折/右折が完了して前方視認の状態に戻る場合を想定する。このとき、運転者(視認者)は、安全の確認のため、道路の前方の実景を迅速に視認しようとする。特に、まっすぐ前を向いて、車両が進行している前方の、かなり遠くまでを見通すことで、前方の状況を確認したいと思うのが通常である。
【0008】
このとき、HUD装置による表示コンテンツ(例えば、ナビゲーション用の矢印等)が表示されていると、運転者(視認者)は、実景を迅速に視認したいのに、その画像(虚像)が視認の妨げとなり、前方の実景の視認性が低下する場合があり得る。
【0009】
上記の特許文献1では、この点については対策されていない。特許文献1では、車両の左折する前には、左折路が見え易くなるように、表示領域の左端を右側に寄せて表示サイズを縮小し、左折時には、ナビゲーション用矢印を大きく拡大して表示し、左折が完了するとすぐに(その直後から)、直進を促すナビゲーション用矢印を表示している(特許文献1の
図9(a)~(c)参照)。
【0010】
特許文献1の
図9(c)では、左折直後に、直進を促すナビゲーション用の矢印を表示している。このような表示制御では、「運転者(視認者)の視線が前方視認の状態に復帰したとき、実景を迅速に視認したいのに、その画像(虚像)が視認の妨げとなり、前方の実景の視認性が低下することがある」という課題を解決することはできない。
【0011】
また、特許文献1では、「左折時の左折路が見えにくくならないように表示領域を縮小する」のであり、本発明者が認識した課題のように、「視線が前方視認の状態に復帰した後に、実景の視認の妨げとならないようにHUD装置による表示を制御することの重要性」については、何ら言及されていない。
【0012】
なお、視認者の視点位置(視線方向)を検出して、その検出結果に基づいて表示の態様を制御する場合において、上記の「視認者の視線が前方視界から外れた状態」は、視認者の視点位置が一時的に喪失した「視点ロスト状態」となる場合が多いと想定される。よって、上述の説明は、視点ロスト状態となった場合にも適用され得る。
【0013】
本発明は、視認者の視線が前方視界から外れた後、前方視界に復帰する場合、又は、視点ロストが生じた後、視点位置が再検出される場合に、HUD装置による表示が実景の視認を妨げることを抑制することである。
【0014】
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【課題を解決するための手段】
【0015】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
【0016】
第1の態様において、表示制御装置は、
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置における表示制御を実行する表示制御装置であって、
視認者の視点位置に基づいて前記虚像の表示態様を制御する制御部を有し、
前記制御部は、
前記HUD装置による表示領域に表示コンテンツの虚像を表示させているときに、前記視認者が前方視認状態から、一時的に前方非視認状態となった場合、又は、前記視認者の視点を一時的に喪失する視点ロストが生じた場合に、
少なくとも一部の前記表示コンテンツについては、虚像を非表示とする、
又は、
少なくとも一部の前記表示コンテンツについては、視認性を低下させる、あるいは、視認性を低下させて最終的には虚像を非表示とする、
又は、
前記表示コンテンツの数を低減する、
ことを含む第1の制御を実行し、
視認者が前方視認状態に復帰した場合、又は視点ロスト後に視点位置を再取得した場合に、
非表示とされていた表示コンテンツ、又は視認性が低下されていた表示コンテンツについて、視認性を時間に対して線形、非線形に徐々に増大させ、又は、非表示状態あるいは視認性低下状態を維持する期間を設けた後、視認性を時間に対して徐々に、又はすみやかに増大させ、
又は、
コンテンツ数が低減されていた表示コンテンツについて、コンテンツ数を時間に対して徐々に増大させ、あるいは、コンテンツ数の低減状態の維持期間を設けた後、コンテンツ数を時間に対して徐々に、又はすみやかに増大させ、
これによって、前方視認状態に対応した虚像表示、又は視点位置検出状態に対応した虚像表示に復帰させる、ことを含む第2の制御を実行する。
【0017】
第1の態様では、前方非視認状態あるいは視点ロストが生じたとき、第1の制御を実行して、虚像を非表示としたり、視認性を低下させたり、コンテンツ数を低減したりして対応する。
【0018】
視認者(運転者等)の視線が、例えば一時的に前方視界外となり、再び前方視界に復帰した場合には、視認者(運転者等)は、前方の遠方まで見通して、実景を確認しようとする。このとき、虚像の表示がないことから、あるいは、虚像の視認性が低いことから、表示コンテンツの虚像が、視認者による実景の視認の妨げになることが抑制される。
【0019】
言い換えれば、復帰直後における視認者の視野を事前に確保しておき、視認者が、実景を迅速に視認することを可能とし、その後、例えば、徐々に視認性を上げる、又は、コンテンツ数を上げることで、虚像が前方視界を妨害することがない。よって、視認者の違和感が低減され、快適な車両の運転等を行える。この点は、安全運転等にも寄与する。
【0020】
視認性あるいはコンテンツ数を増大させる態様としては、大別して2つの態様がある。その1つは、上記のとおり、時間に対して徐々に増大させることで、視認者が、HUD装置の表示に妨げられずに前方を確認できる期間(例えば、視認性等が変化している期間の前半の期間)を確保する態様である。
【0021】
他の1つは、時間に対して徐々に増大させるか、すみやかに(急峻に)増大させるかに関係なく、非表示状態/視認性低下状態/コンテンツ数削減状態が所定時間、維持される維持期間を設け、その維持期間の経過後に、時間に対して徐々に増大させるか、すみやかに(急峻に)増大させる態様である。維持期間を強制的に設けることで、視認者が、HUD装置の表示に妨げられずに前方を確認できる期間を、確実に設けることができる。
【0022】
第1の態様に従属する第2の態様において、
前記一時的な視点ロストが生じる場合は、前記視認者が左又は右を見ることで、視線方向が前方視界外になることによって生じる場合を含み、
前記制御部は、
前記第1の制御を実行する際、
実景に重畳するように表示される重畳コンテンツを前記第1の制御の対象とし、非重畳コンテンツは前記第1の制御の対象とせず、
前記視認者が前方の遠方を注視しているときの注視点又は消失点からの距離が小さく、前記視認者から見て遠方側に見える表示コンテンツを前記第1の制御の対象とし、前記注視点又は消失点からの距離が大きく、前記視認者から見て手前側に見える表示コンテンツを前記第1の制御の対象とはしないようにしてもよい。
【0023】
第2の態様では、視認者が左右を見ることで視線方向が前方視界外になって視点ロストが生じ得ることを確認的に示している。
【0024】
また、第2の態様では、車速表示等の視認者の近傍に常時表示されるコンテンツ(例えば、近傍常時表示コンテンツ:実景に重畳されない、あるいはする必要のない非重畳コンテンツ)を第1の制御の対象から外すことで、運転操作に必要不可欠な車速表示等について表示態様の変化が生じて、情報の認識性が低下したり、視認者が違和感をおぼえたりすることがないようにしている。
【0025】
また、第2の態様では、第1の制御において、視認者が前方の遠方を注視している場合における注視点又は消失点からの距離が小さく、視認者から見て遠方側に見える表示コンテンツを第1の制御の対象とする。これにより、視認者が、前方をまっすぐ見て、遠方の実景を見通そうとするとき、視線が、表示されているコンテンツによって妨げられることが抑制される。
【0026】
なお、上記の「注視点」に代えて、「消失点(遠近法で本来平行である2つ以上の線を平行でなく描くときの、それが交わる地点)」を用いてもよい。なお、注視点と消失点とは異なる概念ではあるが、視認者(運転者等)が遠方を見通すように見ているときの視線方向を示すという点で、同様の意義をもつと考えられる。
【0027】
第1又は第2の態様に従属する第3の態様において、
前記制御部は、
前記第1の制御を実行して、複数の表示コンテンツの虚像の視認性を低下させる際、急峻に低下させ、又は、時間に対して線形、又は非線形に徐々に低下させ、
かつ、前記複数の表示コンテンツ間で、視認性を低下させるときの変化率に差を設けず、同じ変化率としてもよい。
【0028】
第3の態様では、前方非視認後、あるいは視点ロスト後以降、第1の制御による視認性低下の対象となるすべての表示コンテンツについて、同じように視認性を低下させる。これにより、例えば、視認者の周辺視で視認され得るコンテンツ毎の異なる変化が抑制され、違和感が低減される。
【0029】
第1乃至第3の態様の何れか1つに従属する第4の態様において、
前記制御部は、
前記第2の制御を実行して、複数の表示コンテンツについて、視認性を時間に対して徐々に変化させて線形に、又は非線形に増大させる場合に、
前記視認者が前方の遠方を注視しているときの注視点又は消失点からの距離が大きく、前記視認者から見て手前側に見える第1の表示コンテンツと、前記注視点又は消失点からの距離が小さく、前記視認者から見て遠方側に見える第2の表示コンテンツとを区別し、
前記第2の表示コンテンツの視認性の変化率を、前記第1の表示コンテンツの視認性の変化率よりも小さくしてもよい。
【0030】
第4の態様では、第2の制御によって、前方視認状態に対応した虚像表示、又は視点位置検出状態に対応した虚像表示に復帰させるとき、複数のコンテンツが存在する場合には、手前側コンテンツ(近方側コンテンツ、あるいは近傍コンテンツ:第1の表示コンテンツ)と、遠方側コンテンツ(第2の表示コンテンツ)とを区別し、視認性を上昇させるときの変化率を、遠方側コンテンツ(第2の表示コンテン)の方が、手前側(近方側)コンテンツ(第1の表示コンテンツ)よりも小さくなるようにする。言い換えれば、遠方側コンテンツ(第2の表示コンテンツ)の輝度上昇の速度は、手前側(近方側)コンテンツ(第1の表示コンテンツ)よりも遅く設定される。
【0031】
これにより、遠くを見通すように見ている視認者の注視点(あるいは消失点)に近い視野範囲で、輝度が立ち上がってくる遠方側コンテンツ(第2の表示コンテンツ)の虚像によって、実景の視認が妨げられることがない。言い換えれば、遠方の注視点(あるいは消失点)に近い視野領域で見通し性を確保し、遠視野での前方視界隠れを、手前側(近傍)の視野領域よりも抑える。したがって、視認者の違和感を低減できる。また、視認者は、遠くの実景を迅速に、はっきりと確認できるため、安全性等も向上する。
【0032】
第1乃至第3の態様の何れか1つに従属する第5の態様において、
前記制御部は、
前記第2の制御を実行して、複数の表示コンテンツについて、視認性を時間に対して徐々に変化させて線形に、又は非線形に増大させる場合に、
前記視認者が前方の遠方を注視しているときの注視点又は消失点からの距離が大きく、前記視認者から見て手前側に見える第1の表示コンテンツと、前記注視点又は消失点からの距離が小さく、前記視認者から見て遠方側に見える第2の表示コンテンツとを区別し、
前記第2の表示コンテンツについての、前記視認性の変化の終点における視認性の設定値を、前記第1の表示コンテンツについての視認性の変化の終点における視認性の設定値よりも小さく設定し、
かつ、視認性を変化させる期間の長さは、前記第1の表示コンテンツと前記第2表示コンテンツとの間で差を設けず、同じ長さとしてもよい。
【0033】
第5の態様では、第2の制御によって、複数のコンテンツの視認性を上昇させる場合に、第1の表示コンテンツ(手前側コンテンツ)と第2の表示コンテンツ(遠方側コンテンツ)との間で、視認性を変化させる期間(視認性の遷移期間)については差を設けず、同じ(略同じを含む)とする。
【0034】
第2の表示コンテンツ(遠方側コンテンツ)については、視認者の遠方の視界を妨げることを抑制するために、最終輝度値を比較的低く設定し、第1の表示コンテンツ(手前側コンテンツ)については、はっきりと視認できるように、最終輝度値を比較的高く設定する。第1、第2の各表示コンテンツにおいて、共通の視認性の遷移期間終了後には、設定した各最終輝度値に達するように、例えば、速度一定で視認性を変化させる。
【0035】
これによって、各表示コンテンツの視認性は、最終輝度に向かって各々の速度で上昇し、共通の視認性の遷移期間が終了すると、最終輝度値に達し、視認性変化が終了することになる。仮に、一方の表示コンテンツの視認性の変化が終了しているが、他方の表示コンテンツの視認性は徐々に上昇している、という状態となったときは、そのことが、視認者に不自然な視覚を与え、違和感を与える可能性がある。本態様では、視認性が変化する期間は共通であり、各表示コンテンツの視認性変化は、ほぼ同時に終了する。よって、そのような不都合が生じない。
【0036】
第1乃至第5の何れか1つの態様に従属する第6の態様において、
前記制御部は、
前記第1の制御を開始した後の所定時間の期間は、前記第1の制御を継続する期間としてもよい。
【0037】
第6の態様では、第1の制御を開始した後、例えば、視認者の視点が前方視界にすぐに復帰したとき、あるいは、すぐに視点位置を再検出したときであっても、所定時間(例えば、0.5秒~1秒)が経過した後でないと、第1の制御から、復帰に向けた第2の制御への切り替えを実施しないこととする。
【0038】
この期間では、HUD装置による虚像は非表示であるか、あるいは、かなり低い視認性に抑えられている。よって、視認者が、実景を確実に視認することができる。
【0039】
第6の態様に従属する第7の態様において、
前記制御部は、
前記第1の制御を継続する期間において、前方視認状態への復帰、又は視点位置の再取得が検出されたが、所定閾値時間経過することなく、再び前方非視認状態、又は視点ロストの状態に戻ったときは、前記検出に関係なく前記第1の制御を続行してもよい。
【0040】
第7の態様では、第6の態様における「第1の制御を継続する期間(所定時間の期間)」において、前方視認状態への復帰、又は視点位置の再取得が検出されたが、その検出時間は、所定閾値時間よりも短く、すぐに前方非視認状態、又は視点ロストの状態に戻ってしまったときは、その検出はノイズである可能性が高いため感応せず、第1の制御を続行する。これによって、表示コンテンツの虚像の見た目が瞬時的に変化する等の不都合が生じない。
【0041】
第1乃至第7の何れか1つの態様に従属する第8の態様において、
前記制御部は、
前記第1の制御を実行している期間において、表示コンテンツの視認性を低下させている、あるいは、非表示としていることを報知する報知画像の虚像を表示させ、
かつ、前記報知画像の虚像は、視認性を低下させている表示コンテンツと同じ輝度、又はそれよりも高い輝度としてもよい。
【0042】
第8の態様では、表示コンテンツの視認性を低下させる等の制御がなされていることを、報知画像により、視認者に報知する。これにより、視認者は、現状を確実に認識することができる。言い換えれば、表示コンテンツの視認性が低下等していることによって、視認者に不安感を与えるといった事態が生じない。
【0043】
第1乃至第7の何れか1つの態様に従属する第8の態様において、
前記制御部は、
前記第2の制御を実行して、前記視認性が低下されていた、又は非表示とされていた表示コンテンツの輝度を、時間に対して徐々に増大させる場合において、
周囲の明るさを示す情報、又は明るさを推定可能な情報に基づき、周囲が暗いと判定される場合には、明るいと判定される場合に比べて、目標とする輝度まで増大させるのに要する時間を短くしてもよい。
【0044】
第8の態様によれば、実景が見にくい暗い環境では、HUD装置による表示の復帰速度を速める。これによって、視認者は、暗い環境下で、HUD装置の表示を参考にしつつ、安全な運転をすることができる。
【0045】
第1乃至第9の何れか1つの態様に従属する第10の態様において、
前記制御部は、
前記第2の制御を実行して、前記視認性が低下されていた、又は非表示とされていた表示コンテンツの輝度を、時間に対して徐々に増大させる場合において、
目標輝度に復帰した後、少なくとも一部の表示コンテンツの虚像については、その虚像を一時的に強調表示してもよい。
【0046】
第10の態様では、HUD装置の表示(虚像)を復帰させたときに、その表示(虚像)を、強調表示(通常表示よりも誘目性を高めた表示)により表示する。強調表示としては、例えば、色を変えたり、陰影をつけたり、輪郭をはっきりさせたり、サイズを若干大きくしたり、点滅させたりすることが想定され得る。但し、これらは一例であり、これらに限定されるものではない。
【0047】
これにより、第1、第2の一連の制御が終了して、通常の表示制御に移行したことを、視認者(運転者等)に知らせることができる。よって、視認者に安心感を与えることができる。
【0048】
第11の態様において、ヘッドアップディスプレイ装置は、
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置であって、
前記画像を生成する画像生成部と、
前記画像を表示する表示部と、
前記画像の表示光を反射して、前記被投影部材に投影する光学部材を含む光学系と、
第1乃至第10の何れか1つの態様の表示制御装置と、
を有する。
【0049】
第11の態様によれば、実景の視認の妨げとならないように、HUD装置による表示の態様が運転状況によって変化し、適切な時期に元の表示に戻る、といった、従来にない高度な表示制御を行えるHUD装置を提供することができる。
【0050】
第12の態様において、ヘッドアップディスプレイ装置の表示制御方法は、
画像を被投影部材に投影することで、視認者に前記画像の虚像を視認させるヘッドアップディスプレイ(HUD)装置の表示制御方法であって、
前記HUD装置による表示領域に表示コンテンツの虚像を表示させているときに、前記視認者が前方の視認状態から、一時的に前方の非視認状態となった場合、又は、前記視認者の視点位置を一時的に喪失する視点ロストが生じた場合に、
少なくとも一部の前記表示コンテンツについては、虚像を非表示とする、
又は、
少なくとも一部の前記表示コンテンツについては、視認性を低下させる、あるいは、視認性を低下させて最終的には虚像を非表示とする、
又は、
前記表示コンテンツの数を低減する、
ことを含む第1の制御を実行し、
視認者が前方視認状態に復帰した場合、又は視点ロスト後に視点位置を再取得した場合に、
非表示とされていた表示コンテンツ、又は視認性が低下されていた表示コンテンツについて、視認性を時間に対して線形、非線形に徐々に増大させ、又は、非表示状態あるいは視認性低下状態の維持期間を設けた後、視認性を増大させ、
又は、
コンテンツ数が低減されていた表示コンテンツについて、コンテンツ数を時間に対して徐々に増大させ、あるいは、コンテンツ数の低減状態の維持期間を設けた後、コンテンツ数を増大させ、
これによって、前方視認状態に対応した虚像表示、又は視点位置検出状態に対応した虚像表示に復帰させる、ことを含む第2の制御を実行する。
【0051】
第12の態様によれば、実景の視認の妨げとならないように、HUD装置による表示の態様が運転状況によって変化し、適切な時期に元の表示に戻る、といった、従来にない高度な表示制御を実現することができる。
【0052】
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
【図面の簡単な説明】
【0053】
【
図1】視点位置の検出に基づく表示制御を実行するHUD装置の構成の一例を示す図である。
【
図2】
図2は、視認者の周囲の空間を、複数の視野範囲に区分した例を示す図である。
【
図3】
図3(A)、(B)は、前方非視認又は視点ロストに伴う表示態様の変更の一例を示す図である。
【
図4】
図4(A)、(B)は、前方非視認又は視点ロストに伴う表示態様の変更の他の例を示す図である。
【
図5】
図5(A)、(B)は、前方非視認又は視点ロストに伴う表示態様の変更の、さらに他の例を示す図である。
【
図6】
図6(A)、(B)は、前方非視認又は視点ロストに伴う表示態様の変更の、さらに他の例を示す図である。
【
図7】
図7(A)、(B)は、前方視認状態への復帰又は視点の再取得に伴う表示態様の変更の一例を示す図である。
【
図8】
図8(A)~(D)は、前方視認状態への復帰又は視点の再取得に伴う表示態様の変更の他の例(復帰後の強調表示を実施する例)を示す図である。
【
図9】
図9(A)~(H)は、左折時における、表示態様の変化の一例を示す図である。
【
図10】
図10(A)、(B)は、表示コンテンツの視認性(輝度値)の増大方法の一例を示す図である。
【
図11】
図11(A)、(B)は、表示コンテンツの視認性(輝度値)の増大方法の他の例を示す図である。
【
図12】
図12は、前方非視認又は視点ロスト後における視認性制御の一例を示す図である。
【
図13】
図13は、前方非視認又は視点ロスト後における視認性制御の他の例を示す図である。
【
図14】HUD装置のシステム構成の一例を示す図である。
【
図15】HUD装置を含むシステムの要部構成の一例を示す図である。
【
図16】表示制御装置による表示制御の手順例を示すフローチャートである。
【発明を実施するための形態】
【0054】
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【0055】
図1を参照する。
図1は、視点位置の検出に基づく表示制御を実行するHUD装置の構成の一例を示す図である。
図1において、X方向は、車両1の幅方向(左右方向)を示し、Y方向は、地面(路面)に垂直な方向であり、車両の高さ方向ということもできる。Z方向は、車両の前方向(あるいは前後方向)である。
【0056】
図1に示されるように、HUD装置100は、表示部(例えば、光透過型のスクリーンや液晶表示装置等)101(表示面102を備える)と、反射鏡103と、表示光を投影する光学部材としての曲面ミラー(例えば凹面鏡であり、反射面は自由曲面である場合もある)105と、を有する。表示部101(液晶パネル等)101の表示面102に表示された画像は、反射鏡103、曲面ミラー105を経て、被投影部材としてのウインドシールド2に投影される。
図1において、符号4は投影領域を示す。なお、HUD装置100は、曲面ミラーを複数設けてもよく、本実施形態のミラー(反射光学素子)に加えて、又は本実施形態のミラー(反射光学素子)の一部(又は全部)に代えて、レンズなどの屈折光学素子、回折光学素子などの機能性光学素子を含んでいてもよい。
【0057】
画像の表示光の一部は、ウインドシールド2で反射されて、予め設定されたアイボックスEB内(あるいはEB上)に位置する視認者(運転者、ユーザー等)の視点(目)Aに入射され、車両1の前方に結像することで、表示部101の表示面102に対応する仮想的な虚像表示面PSの表示領域(HUD表示領域)10において、虚像Vが表示される。
【0058】
なお、アイボックスEBは立体的なものであるが、
図1では、説明の便宜上、アイボックスEBは四角形として描いている。
【0059】
視点Aは、瞳撮像カメラ50によって、その位置が検出される。また、アイボックスEB内は、複数の視域(分割領域)J1~J9に分割されている。各視域J1~J9を単位として、視点位置(あるいは視線方向)を検出することが可能である。なお、各視域毎にワーピングパラメータを設定し、視点位置の移動に合わせて使用するワーピングパラメータを変更することで、視点位置追従ワーピングを実施することができる。
【0060】
図2を参照する。
図2は、視認者の周囲の空間を、複数の視野範囲に区分した例を示す図である。
図2では、視認者8はまっすぐ前を向いた状態である。また、
図2では、視認者8を、Y方向(高さ方向)から見た平面視で描いている。また、視点Aは、左右の各目の中間に位置するものとして描いている。なお、前方視野は、前方視界等という場合がある。
【0061】
図2において、Z1は、前方視野範囲を示し、Z2及びZ4は周辺視野範囲を示し、Z3及びZ5は視野外の範囲を示す。視認者8の視点Aを通って前方(Z方向)に延びる直線を基準として、θ1の角度をなす範囲が、前方視野Z1の左半分となる。また、θ2とθ1との差に相当する範囲が、周辺視野範囲Z2となる。
【0062】
視認者(ここでは運転者とする)8が、車両1を運転中に、十字路やT字路が前方に見えたことによって左右を確認する場合、あるいは左折/右折をする場合等には、顔の向きが変わり、視線(視点)は大きく移動する。例えば、左折の場合は、視点位置(視線方向)は、Z1からZ2、さらにZ3まで進み、左折が終わると、Z3からZ2、さらにZ1へと復帰する。言い換えれば、前方視認状態から前方非視認状態となり(あるいは、前方視界から周辺視界へと外れ)、その後、前方視認状態(あるいは前方視界)に復帰する。
【0063】
このような視点位置(視線方向)の移動があったときは、周辺視野範囲Z2、Z4、あるいは視野外の範囲Z3、Z5において、瞳撮像カメラ50による視点位置の検出ができず、一時的に視点(視点位置)を喪失する視点ロストが生じる場合が起こり易い。なお、視点ロストが生じても、HUD装置100は、例えば、ECUから得られる車両1の操舵角情報等に基づいて、車両1の左折や右折の状況を判定することは可能である。
【0064】
視点位置(視線方向)の前方視界からの逸脱(あるいは視点ロスト)が生じ、その後、視点(視線)が元の状態(元の位置)に復帰する場合には、視認者(運転者)は、復帰直後に、前方を、遠くまで見通して、実景を視認し、道路の状況等を確認しようとする。
【0065】
よって、視認者によるその実景の視認を、HUD装置の表示が妨げることのないように配慮する必要がある。また、復帰後の適切なタイミングにて、元の表示に戻して、視認者に、情報を適切なタイミングにて提供することも重要である。この点を考慮して、本発明では、従来にない高度な表示制御が実行される。
【0066】
言い換えれば、制御部(
図15の符号108)は、HUD装置100による表示領域10(
図1参照)に表示コンテンツの虚像Vを表示させているときに、視認者が前方視認状態から、一時的に前方非視認状態となった場合、又は、視認者の視点を一時的に喪失する視点ロストが生じた場合に、少なくとも一部の表示コンテンツについては、虚像を非表示とする、又は、少なくとも一部の前記表示コンテンツについては、視認性を低下させる、あるいは、視認性を低下させて最終的には虚像を非表示とする、又は、表示コンテンツの数を低減することを含む「第1の制御」を実行する。以下、具体的に説明する。
【0067】
図3を参照する。
図3(A)、(B)は、前方非視認又は視点ロストに伴う表示態様の変更の一例を示す図である。
【0068】
図3(A)の運転シーンでは、直線状の道路を進行している車両1の前方に十字路が見えており、運転者(視認者)は、左右を確認する必要がある。運転者(視認者)が左又は右を見ることで、視点位置(視線方向)が前方視界外になり、あるいは、一時的な視点ロストが生じる場合も想定され得る。
【0069】
制御部(
図15の符号108)は、上記の「第1の制御」を実行する際、実景に重畳するように表示される重畳コンテンツを前記第1の制御の対象とし、非重畳コンテンツは前記第1の制御の対象とせず、視認者が前方の遠方を注視しているときの注視点又は消失点からの距離が小さく、視認者から見て遠方側に見える表示コンテンツを第1の制御の対象とし、注視点又は消失点からの距離が大きく、視認者から見て手前側に見える表示コンテンツを前記第1の制御の対象とはしない。なお、距離の大小の判定に際しては、注視点等と表示が重畳される実景との距離を検出し、閾値を適用して判定してよい。また、簡易的に、液晶表示装置等の表示面の縦画角(実空間における路面に垂直な高さ方向に対応する縦方向の長さ)の半分を基準として、画像が上にあるか下にあるかによって、遠方側コンテンツであるか、手前側(近方側)コンテンツであるかを判定してもよい。これらは例示であり、これらに限定されるものではない。
【0070】
図3(A)に示すように、表示領域(HUD表示領域)10の手前側には、非重畳コンテンツである車速表示SPと、制限速度表示LMとが表示されている。遠方側には、歩行者に重畳される注意喚起表示CU1と、遠方の先行車両に重畳される注意喚起表示CU2と、進路を示すナビゲーション表示(複数の矢印状の表示要素で構成される)NVと、建物情報POIとが表示されている。
【0071】
図3(A)では、非重畳コンテンツである車速表示SP、手前側に見える制限速度表示LMは、第1の制御の対象から外される。遠方側に表示される、注意喚起表示CU1及びCU2、ナビゲーション表示NV、及び建物情報POIが第1の制御の対象となる。
図3(B)では、これら3つの表示は、いっせいに非表示状態となっている。この表示態様の変化は、
図4の例では、すみやかに(急峻)に行われる(時間に対して徐々に視認性が低下する例は
図5にて説明する)。
【0072】
次に、
図4を参照する。
図4(A)、(B)は、前方非視認又は視点ロストに伴う表示態様の変更の他の例を示す図である。
図4の運転シーンは、
図3と同じである。注意喚起表示CU1及びCU2、ナビゲーション表示NV、及び建物情報POIが第1の制御の対象となる点も共通する。
【0073】
但し、
図4では、ナビゲーション表示(複数の矢印状の表示要素で構成される)NVについては、表示コンテンツの数を減少させる、という方法が適用される。ここで、複数の矢印状の表示要素の各々が1つの表示コンテンツを構成する。
図4(A)の例では、ナビゲーション表示NVにおける遠方側の4つの表示要素は非表示となっている。これによって、表示コンテンツの数が低減されている。この低減に関しては、すみやかに(急峻に)低減してもよく、時間に対して徐々に低減してもよい。
図4(B)では、
図4(A)で残っていた3つの表示要素も非表示となる。この状態は
図3(B)の状態と同じである。
【0074】
次に、
図5を参照する。
図5(A)、(B)は、前方非視認又は視点ロストに伴う表示態様の変更の、さらに他の例を示す図である。
図5の運転シーンは
図3と同じであり、第1の制御の対象となる表示コンテンツも
図3と同じである。
【0075】
但し、
図5(A)では、遠方側に表示される、注意喚起表示CU1及びCU2、ナビゲーション表示NV、及び建物情報POIを非表示とする際、時間に対して徐々に視認性(具体的には輝度)を低下させている。
図5(A)において、各表示は、視認性(輝度)が低下した状態であることを明確化するために破線にて記載している。
図5(B)では、
図5(A)の視認性を低下させる制御の後、最終的に、各表示が非表示となる。
【0076】
第1の制御については、変形、応用が可能である。例えば、第1の制御を実行して、複数の表示コンテンツの虚像の視認性を低下させる際、急峻に低下させ、又は、時間に対して線形、又は非線形に徐々に低下させ、かつ、複数の表示コンテンツ間で、視認性を低下させるときの変化率に差を設けず、同じ変化率としてもよい。
【0077】
この場合には、前方非視認後、あるいは視点ロスト後以降、第1の制御による視認性低下の対象となるすべての表示コンテンツについて、同じように視認性を低下させる。これにより、例えば、視認者の周辺視で視認され得るコンテンツ毎の異なる変化が抑制され、違和感が低減される。
【0078】
次に、
図6を参照する。
図6(A)、(B)は、前方非視認又は視点ロストに伴う表示態様の変更の、さらに他の例を示す図である。
図6(A)、(B)では、第1の制御を実行している期間において、表示コンテンツの視認性を低下させている、あるいは、非表示としていることを報知する報知画像の虚像12、13(「低輝度表示中」、「非表示中」という表記)を表示している。
【0079】
報知画像の虚像12、13は、視認性を低下させている表示コンテンツ(
図6(A)のナビゲーション表示NV)と同じ輝度、又はそれよりも高い輝度としてもよい。
【0080】
図6の例表示コンテンツの視認性を低下させる等の制御がなされていることを、報知画像により、視認者に報知する。これにより、視認者は、現状を確実に認識することができる。言い換えれば、表示コンテンツの視認性が低下等していることによって、視認者に不安感を与えるといった事態が生じない。
【0081】
このように、前方非視認状態あるいは視点ロストが生じたとき、第1の制御を実行して、虚像を非表示としたり、視認性を低下させたり、コンテンツ数を低減したりして対応する。
【0082】
視認者(運転者等)の視線が、例えば一時的に前方視界外となり、再び前方視界に復帰した場合には、視認者(運転者等)は、前方の遠方まで見通して、実景を確認しようとする。このとき、虚像の表示がないことから、あるいは、虚像の視認性が低いことから、表示コンテンツの虚像が、視認者による実景の視認の妨げになることが抑制される。
【0083】
次に、「第2の制御」について説明する。第2の制御は、視認者が前方視認状態に復帰した場合、又は視点ロスト後に視点位置を再取得した場合に、非表示とされていた表示コンテンツ、又は視認性が低下されていた表示コンテンツについて、視認性を時間に対して線形、非線形に徐々に増大させ、又は、非表示状態あるいは視認性低下状態を維持する期間を設けた後、視認性を増大させ、又は、コンテンツ数が低減されていた表示コンテンツについて、コンテンツ数を時間に対して徐々に増大させ、あるいはコンテンツ数の低減状態の維持期間を設けた後にコンテンツ数を増大させ、これによって、前方視認状態に対応した虚像表示、又は視点位置検出状態に対応した虚像表示に復帰させることを含む制御である。
【0084】
第1の制御によって、復帰直後における視認者の視野(視界)は事前に確保されている。よって視認者が実景を迅速に視認することが可能である。その後、第2の制御を行って、例えば、徐々に視認性を上げる、又はコンテンツ数を上げることで、視認性が上昇してくる表示(虚像)が前方視界を妨害することが抑制される。よって、視認者の違和感が低減され、快適な車両の運転等を行える。この点は、安全運転等にも寄与する。以下、具体的に説明する。
【0085】
次に、
図7を参照する。
図7(A)、(B)は、前方視認状態への復帰又は視点の再取得に伴う表示態様の変更の一例を示す図である。
図7(A)、(B)は、先に示した
図3(B)、
図4(B)、
図5(B)あるいは
図6(B)の後の(それらに続く)表示制御の例を示している。
【0086】
図7の例では、視認者(運転者)が前方視認状態に復帰した場合、又は視点ロスト後に視点位置を再取得した場合に、非表示とされていた表示コンテンツ(又は視認性が低下されていた表示コンテンツ)について、視認性を時間に対して線形、非線形に徐々に増大させる制御が実行される。言い換えれば、
図7(A)では、
図3(B)、(
図4(B)、
図5(B)、
図6(B)にて非表示とされていた各表示コンテンツについて、視認性を徐々に増大させて元の表示に戻している。
図7(B)では、
図3(A)の表示に復帰している。視認性が徐々に戻ることから、戻っている期間の例えば前半では、視認者の前方の視認(特に遠方を見通すように見るときの遠景の視認)が妨げられない。
【0087】
なお、
図4(A)のような表示コンテンツの数が減少された状態が維持されているとき(
図4(B)のように最終的に非表示とならないとき)には、その表示コンテンツ数の低減によって非表示とされている表示コンテンツについて、上記と同様の制御を実行してもよい。
【0088】
以上の例は、表示コンテンツの視認性(又は表示コンテンツの数)を徐々に増大させる例であるが、これに限定されるものではない。時間に対して、すみやかに(急峻に)に視認性を上昇させる場合もあり得る。但し、前方視認への復帰の直後、あるいは視点再検出の直後に、元の視認性の表示に戻したのでは、結局、視認者(運転者)が前方を確認するときに表示が復活しており、前方の実景の視認が妨げられることになる。これでは第1の制御を実施する意味がない。
【0089】
また、表示コンテンツの視認性(又は表示コンテンツの数)を徐々に増大させる場合であっても、その変化がある程度、急であるときは、視認者が前方を確認できる期間は短くなってしまう。
【0090】
そこで、視認性(コンテンツ数)を時間に対して徐々に増大させるか、すみやかに(急峻に)増大させるかに関係なく、非表示状態/視認性低下状態/コンテンツ数削減状態が所定時間、維持される維持期間を設け、その維持期間の経過後に、時間に対して徐々に増大させるか、すみやかに(急峻に)増大させてもよい。この場合、維持期間が強制的に設定される。よって、視認者が、HUD装置の表示に妨げられずに前方を確認できる期間を確実に設けることができる。
【0091】
なお、上記の「維持期間」は、後述する
図12の例では、期間Tb(時刻t2~t3)に相当する。
図12の例では、時刻t2で前方視認(あるいは視点再検出)の状態となるが、視認性はすぐには元に戻らず、期間Tb(時刻t2~t3)の後に戻りが開始されることになる。
図12の例では、視認性は徐々に増大している(但し、急峻に戻す場合もあり得る)。
【0092】
第2の制御については、いくつかの変形、応用例(例えば、複数の表示コンテンツについて制御を実施する場合の取り扱い等)があるが、これについては後述する。
【0093】
次に、
図8を参照する。
図8(A)~(D)は、前方視認状態への復帰又は視点の再取得に伴う表示態様の変更の他の例(復帰後の強調表示を実施する例)を示す図である。なお、
図8(A)~(D)では、説明の便宜上、表示(虚像)の変化のみを示し、背景の実景は記載していない。
【0094】
図8の例では、第2の制御を実行して、視認性が低下されていた、又は非表示とされていた表示コンテンツの輝度を、時間に対して徐々に増大させる場合において、目標輝度に復帰した後、少なくとも一部の表示コンテンツの虚像については、その虚像を一時的に強調表示する。
【0095】
言い換えれば、HUD装置100の表示(虚像)を復帰させたときに、その表示(虚像)を、強調表示(通常表示よりも誘目性を高めた表示)により表示する。ここで、強調表示としては、例えば、色を変えたり、陰影をつけたり、輪郭をはっきりさせたり、サイズを若干大きくしたり、点滅させたりすることが想定され得る。但し、これらは一例であり、これらに限定されるものではない。
【0096】
これにより、第1、第2の一連の制御が終了して、通常の表示制御に移行したことを、視認者(運転者等)に知らせることができる。よって、視認者に安心感を与えることができる。
【0097】
図8(A)では、第1の制御の対象となっていた、注意喚起表示CU1及びCU2、ナビゲーション表示NV、及び建物情報POIの視認性が、時間に対して徐々に増加している。
図8(B)では元の表示の輝度に戻る。
【0098】
図8(C)では、注意喚起表示CU1及びCU2、ナビゲーション表示NV、及び建物情報POIの全部について強調表示(ここでは輪郭強調)がなされる。その後、
図8(B)に戻る。
【0099】
図8(D)では、ナビゲーション表示NVのみが強調表示の対象とされる。その後、
図8(B)に戻る。
【0100】
次に、
図9を参照する。
図9(A)~(H)は、左折時における、表示態様の変化の一例を示す図である。
図9(A)では、前方に、現在車両1が進行中の道路14を左右に横切る道路16が見えている。また、表示領域(HUD表示領域)10において、左折を案内する矢印のナビゲーション表示(以下、左折表示という)15が表示されている。
【0101】
図9(B)では、車両1が左折する道路16に近づいたことから、左折表示15の視認性を低下させる。
図9(C)では、車両1が左折中であり、この状態では、左折表示15は非表示である。
【0102】
図9(D)では、車両1は左折を終えた直後であり、前方に、直線状の道路16、及び建物17が見えている。この状態では、HUD装置100による表示は非表示状態を保っている(この点については、
図12を用いて後述する)。
【0103】
図9(E)では、ナビゲーション用矢印の表示15a、建物17の情報(POI情報)の表示(POI表示)18、及び目的地(あるいは景勝地等)を示す表示(POI表示)19が表示される。但し、視認者(運転者)の前方確認をさまたげないように、まず、視認性を低下させた状態で表示する。その後、時間に対して徐々に視認性(輝度)を上昇させていく、という制御が実行される。この間、視認者(運転者)は、視界を妨げられることなく、前方の実景等を確認できる。
【0104】
図9(F)では、元の表示(通常状態の表示)に戻る。
図9(G)では、全部の表示について強調表示がなされる。
図9(H)では、強調表示が解除され、
図9(F)と同様の通常状態の表示に戻る。
【0105】
次に、第2の制御の変形、応用例について説明する。
図10を参照する。
図10(A)、(B)は、表示コンテンツの視認性(輝度値)の増大方法の一例を示す図である。
【0106】
図10の例では、第2の制御を実行して、複数の表示コンテンツについて、視認性を時間に対して徐々に変化させて線形に、又は非線形に増大させる場合に、視認者が前方の遠方を注視しているときの注視点又は消失点からの距離が大きく、視認者から見て手前側に見える第1の表示コンテンツと、注視点又は消失点からの距離が小さく、視認者から見て遠方側に見える第2の表示コンテンツとを区別し、第2の表示コンテンツの視認性の変化率を、第1の表示コンテンツの視認性の変化率よりも小さくする。
【0107】
これにより、遠くを見通すように見ている視認者の注視点(あるいは消失点)に近い視野範囲で、輝度が立ち上がってくる遠方側コンテンツ(第2の表示コンテンツ)の虚像によって、実景の視認が妨げられることがない。言い換えれば、遠方の注視点(あるいは消失点)に近い視野領域で見通し性を確保し、遠視野での前方視界隠れを、手前側(近傍)の視野領域よりも抑える。したがって、視認者の違和感を低減できる。また、視認者は、遠くの実景を迅速に、はっきりと確認できるため、安全性等も向上する。
【0108】
例えば、前側(近方側)コンテンツ(第1の表示コンテンツ)については、
図10(A)の特性線Q1で示されるように視認性を変化させ、一方、遠方側コンテンツ(第2の表示コンテン)については、
図10(A)の特性線Q2のように視認性を変化させる。
【0109】
視認性の変化は、線形、非線形を問わない。
図10(B)の特性線Q10は、視認性の線形の変化の一例を示す。特性線Q20は非線形の変化の一例を示す。
【0110】
次に、
図11を参照する。
図11(A)、(B)は、表示コンテンツの視認性(輝度値)の増大方法の他の例を示す図である。
【0111】
図11の例では、第2の制御を実行して、複数の表示コンテンツについて、視認性を時間に対して徐々に変化させて線形に、又は非線形に増大させる場合に、
図10の例と同様に、視認者から見て手前側に見える第1の表示コンテンツと、視認者から見て遠方側に見える第2の表示コンテンツとを区別し、第2の表示コンテンツについての、視認性の変化の終点における視認性の設定値を、第1の表示コンテンツについての視認性の変化の終点における視認性の設定値よりも小さく設定し、かつ、視認性を変化させる期間の長さは、第1の表示コンテンツと第2表示コンテンツとの間で差を設けず、同じ長さとする。
【0112】
図11(A)の線形の変化例では、手前側の第1の表示コンテンツの視認性の変化が特性線Q3で示され、遠方側の第2の表示コンテンツの視認性の変化が特性線Q4で示されている。特性線Q3における視認性の変化の終点における設定値(輝度値)は、P1に設定され、特性線Q4における視認性の変化の終点における設定値(輝度値)は、P2(<P1)に設定されている。視認性が変化する期間は共にt0~t1の期間であり、長さ(時間)は同じ(略同じを含む)である。
【0113】
図11(B)の非線形の変化例では、手前側の第1の表示コンテンツの視認性の変化が特性線Q5で示され、遠方側の第2の表示コンテンツの視認性の変化が特性線Q6で示されている。特性線Q5における視認性の変化の終点における設定値(輝度値)は、P3に設定され、特性線Q6における視認性の変化の終点における設定値(輝度値)は、P4(<P3)に設定されている。視認性が変化する期間は共にt0~t1の期間であり、長さ(時間)は同じ(略同じを含む)である。
【0114】
第2の表示コンテンツ(遠方側コンテンツ)については、視認者の遠方の視界を妨げることを抑制するために、最終輝度値を比較的低く設定する。例えば
図10(A)、(B)のP2、P4に設定する。一方、第1の表示コンテンツ(手前側コンテンツ)については、はっきりと視認できるように、最終輝度値を比較的高く設定する。例えば、
図10(A)、(B)のP1、P3に設定する。第1、第2の各表示コンテンツにおいて、共通の視認性の遷移期間(時刻t0~t1の期間)の終了後には、設定した各最終輝度値(
図10(A)、(B)のP1~P4)に達するように、例えば、速度一定で視認性を変化させる。これによって、各表示コンテンツの視認性は、最終輝度に向かって各々の速度で上昇し、共通の視認性の遷移期間が終了すると、最終輝度値に達し、視認性変化が終了することになる。
【0115】
ここで、仮に、一方の表示コンテンツの視認性の変化が終了しているが、他方の表示コンテンツの視認性は徐々に上昇している、という状態となったときは、そのことが、視認者に不自然な視覚を与え、違和感を与える可能性がある。
図11の例では、視認性が変化する期間は共通であり、各表示コンテンツの視認性変化は、ほぼ同時に終了する。よって、そのような不都合が生じない。
【0116】
次に、
図12を参照する。
図12は、前方非視認又は視点ロスト後における視認性制御の一例を示す図である。
図12において、上側には、時間に対する、HUD装置100による表示の視認性の変化が示されている。下側には、時間軸上のある時点で、視点検出/前方視認の状態であるか、あるいは、視点ロスト/前方非視認の状態であるかが示されている。
【0117】
図12の例では、第1の制御を開始した後の所定時間の期間は、第1の制御を継続する期間(継続期間)とする。言い換えれば、第1の制御を開始した後、例えば、視認者の視点が前方視界にすぐに復帰したとき、あるいは、すぐに視点位置を再検出したときであっても、所定時間(例えば、0.5秒~1秒)が経過した後でないと、第1の制御から、復帰に向けた第2の制御への切り替えを実施しないこととする。これによって、視認者が、前方の実景や周囲の状況等を確認できる期間が確実に設けられる。
【0118】
図12において、時刻t1が第1の制御の開始時点である。時刻t1にHUD装置100による表示の視認性が零となる。言い換えれば、時刻t1にて表示が非表示とされる。
【0119】
時刻t1からt3までの期間が、非表示状態(あるいは低視認性状態)を継続する「継続期間」である。言い換えれば、
図12の期間Ta(時刻t1~t2)と、期間Tb(時刻t2~t3)を合わせた期間が「継続期間」であり、例えば、0.5秒~1秒に設定される。
【0120】
図12の例では、時刻t1~t2(期間Ta)では、視点ロスト/前方非視認の状態であるが、時刻t2に、視点検出/前方視認の状態へと状況が変化する。但し、時刻t2でただちに視認性を増大させる制御を開始せず、期間Tb(時刻t2~t3)の後に、開始する。
【0121】
先に説明したように、期間Tbは、非視認(又は低視認性状態)が維持される「維持期間」である。
図12の例は、この「維持期間」が、第1の制御の開始時点(時刻t1)後に設定される「継続期間」に含まれている例である。
【0122】
次に、
図13を参照する。
図13は、前方非視認又は視点ロスト後における視認性制御の他の例を示す図である。
図13の例では、第1の制御を開始した後、前方視認状態への復帰、又は視点位置の再取得が検出されたが(期間Tc)、所定閾値時間経過することなく、再び前方非視認状態、又は視点ロストの状態に戻っている。ここでは、所定閾値時間は、期間Taと同じ時間であるとする。
図13の例では、Tc<Taである。
【0123】
この場合、その検出はノイズである可能性が高いため感応せず、第1の制御を続行してもよい。よって、表示コンテンツの虚像の見た目が瞬時的に変化する等の不都合が生じず、視認者の違和感を抑制することができる。
【0124】
本発明は、さらに変形、応用が可能である。例えば、第2の制御を実行して、視認性が低下されていた、又は非表示とされていた表示コンテンツの輝度を、時間に対して徐々に増大させる場合等において、周囲の明るさを示す情報、又は明るさを推定可能な情報に基づき、周囲が暗いと判定される場合には、明るいと判定される場合に比べて、目標とする輝度まで増大させるのに要する時間を短くしてもよい。
【0125】
実景が見にくい暗い環境では、HUD装置100による表示の復帰速度を速める。これによって、視認者(運転者)は、暗い環境下で、HUD装置100の表示を参考にしつつ、安全な運転をすることができる。
【0126】
次に、
図14を参照する。
図14は、HUD装置のシステム構成の例を示す図である。HUD装置100は、I/Oインタフェース30と、プロセッサ(表示制御装置)160と、画像処理部210と、画像表示部(表示部)101と、記憶部300と、を有する。
【0127】
I/Oインタフェース30には、道路情報データベース403と、自車位置検出部405と、車外センサ407と、視線方向検出部409と、目位置検出部411と、携帯情報端末413と、車両ECU415と、が接続される。
【0128】
車両ECU415には、ピッチ角センサ417や舵角センサ419等から、適宜、必要な情報が提供される。また、I/Oインタフェース30は、社外通信接続機器420と接続される。
【0129】
また、記憶部300には、視認性/コンテンツ数の変更及び復帰の制御モジュール(コンピュータプログラム)326が記憶(搭載)されている。視認性/コンテンツ数の変更及び復帰の制御モジュール326は、第1の制御の実行部327と、第2の制御の実行部329とを有する。プロセッサ(表示制御装置)160が、視認性/コンテンツ数の変更及び復帰の制御モジュール(コンピュータプログラム)326に従って動作することで、機能ブロックとしての制御部(表示態様制御部:
図15の符号108)が構築される。
【0130】
次に、
図15を参照する。HUD装置を含むシステムの要部構成の一例を示す図である。車両1には、瞳撮像カメラ(顔撮像カメラ等の名称は問わない)50と、瞳撮像カメラ50からの撮像信号に基づいて、視認者(運転者)8の視線位置(視線方向)の情報(視線位置情報)を取得(検出)する視線位置取得部52と、視線がどの視野範囲にあるかの情報(視野範囲情報)を取得(検出)する視野範囲取得部94と、視線の移動方向の情報(視線移動方向情報)を取得(検出)する視線移動方向取得部96と、運転状況判定部98と、表示制御装置(プロセッサ)160と、HUD装置100の投光部200(光源202を備える)と、を有する。表示制御装置(プロセッサ)160は、制御部(表示態様制御部)108を有する。
【0131】
運転状況判定部98には、一例として、周囲撮像カメラ54の撮像信号が入力され、また、車両1を統括的に制御すると共に、各種の車両情報等を収集する車載ECU(車載電子制御ユニット)415からの各種の情報(例えば、操舵角情報、前照灯のオン/オフ等を示す照明情報等)が入力され、また、必要に応じて、生体情報検出部(例えば、運転者1の腕に取り付けられる脈拍計)からの生体情報が入力されてもよい。
【0132】
表示制御装置(プロセッサ)160における制御部(表示態様制御部)108は、例えば、液晶表示装置等の表示階調や、投光部200の光源202の発光輝度を制御等することで、HUD装置100による表示画像(虚像)の視認性を、例えば線形に、または非線形に制御する。但し段階的(ステップ的)な制御であってもよい。
【0133】
次に、
図16を参照する。
図16は、表示制御装置による表示制御の手順例を示すフローチャートである。
【0134】
まず、視線検出処理が実行される(ステップS1)。視線検出処理では、運転者の顔画像が入力され(ステップS11)、視認者(運転者等)の視線の向きが検出され(ステップS12)、続いて、視線の移動が検出される(ステップS13)。
【0135】
次に、視線の移動方向/視野範囲の検出処理が実行される(ステップS2)。視線の移動方向/視野範囲の検出処理では、視線の移動方向の推定(検出)が実行され(ステップS21)、視認者の視線が、どの視野範囲(
図2のZ1~Z5)にあるかが検出される。
【0136】
次に、表示制御処理を実行する(ステップS3)。表示制御処理では、表示コンテンツの画像(コンテンツ画像)が入力され(ステップS31)、続いて、視認性/コンテンツ数の変更制御が必要であるか否かが判定される(ステップS32)。Nのときは、ステップS36に移行し、Yのときは、ステップS33に移行する。
【0137】
ステップS33では、視認性/コンテンツ数変更処理が実行される。この処理には、第1の制御の実行(ステップS34)、及び第2の制御の実行(ステップS35)が含まれる。ステップS36では、例えば、コンテンツ画像の表示処理等が実行される(ステップS36)。
【0138】
本発明は、左右の各眼に同じ画像の表示光を入射させる単眼式、左右の各眼に、視差をもつ画像を入射させる視差式のいずれのHUD装置においても、また、3DHUD装置においても使用可能である。
【0139】
本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語(例えば標識等)についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、HUD装置には、シミュレータ(例えば、航空機のシミュレータ、ゲーム装置としてのシミュレータ等)として使用されるものも含まれるものとする。
【0140】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【符号の説明】
【0141】
1・・・車両(自車両)、2・・・被投影部材(反射透光部材、ウインドシールド等)、4・・・投影領域、10・・・表示領域(HUD表示領域)、30・・・I/Oインタフェース、50・・・瞳撮像カメラ、52・・・視線位置検出部、54・・・周辺撮像カメラ、58・・・生体情報検出部、94・・・視野範囲検出部、96・・・視線移動方向検出部、98・・・運転状況判定部、100・・・HUD装置、101・・・画像表示部(表示部)、102・・・表示面(画像表示面)、103・・・反射ミラー、105・・・曲面ミラー(凹面鏡等)、108・・・制御部(表示態様制御部)、160・・・表示制御装置(プロセッサ)、200・・・投光部、202・・・光源、210・・・画像処理部、300・・・記憶部(メモリ)、326・・・視認性/コンテンツ数の変更及び復帰の制御モジュール、326・・・第1の制御の実行部、329・・・第2の制御の実行部、415・・・車載ECU、420・・・車外通信接続機器。