特許 7151397 表示装置、表示方法、ヘッドアップディスプレイ及びウェアラブルデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-03

(45)【発行日】2022-10-12

(54)【発明の名称】表示装置、表示方法、ヘッドアップディスプレイ及びウェアラブルデバイス

(51)【国際特許分類】

   G02B 27/01 20060101AFI20221004BHJP

   B60K 35/00 20060101ALI20221004BHJP

   G01C 21/36 20060101ALI20221004BHJP

   G08G 1/16 20060101ALI20221004BHJP

   G02B 27/02 20060101ALI20221004BHJP

【ＦＩ】

G02B27/01

B60K35/00 A

G01C21/36

G08G1/16 F

G02B27/02 Z

【請求項の数】 22

(21)【出願番号】P 2018212037

(22)【出願日】2018-11-12

(65)【公開番号】P2020079827

(43)【公開日】2020-05-28

【審査請求日】2021-08-06

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(72)【発明者】

【氏名】市川 陽一

(72)【発明者】

【氏名】岸 由美子

【審査官】井亀 諭

(56)【参考文献】

【文献】国際公開第２０１７／１３４８７６（ＷＯ，Ａ１）

【文献】特開２００６－３３１０４０（ＪＰ，Ａ）

【文献】特開平０７－１９５９６１（ＪＰ，Ａ）

【文献】特開２０１７－１５６８６９（ＪＰ，Ａ）

【文献】特開２０１７－０１３７３６（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１５－０１３９２２９（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２７／０１－２７／０２

Ｂ６０Ｋ ３５／００

(57)【特許請求の範囲】

【請求項1】

ユーザに情報を提供する第１の像を表示エリアに表示する表示装置であって、
前記ユーザに提供する情報を含まない第２の像を前記表示エリアに表示する制御部を有し、
前記制御部は、前記表示エリアに前記第２の像を複数表示させ、
前記複数の第２の像の表示タイミングは時間的に重複しており、
前記ユーザの視線移動を検出する視線移動検出部をさらに有し、
前記複数の第２の像は、前記ユーザの視線移動を誘起するダミー刺激像と、前記ユーザの注意回復を促すメイン刺激像とを有し、
前記ダミー刺激像を表示した後に、前記視線移動検出部により前記ユーザの視線移動が検出された場合に、前記メイン刺激像が前記表示エリアに表示される、
ことを特徴とする表示装置。

【請求項2】

前記複数の第２の像は、前記表示エリアの中心又は前記表示エリアを観察する前記ユーザの視野中心の少なくとも一方を挟んで前記表示エリアに表示される、
ことを特徴とする請求項１に記載の表示装置。

【請求項3】

前記複数の第２の像は、前記表示エリアの中心又は前記表示エリアを観察する前記ユーザの視野中心の少なくとも一方に対して対称となるように、前記表示エリアに表示される、
ことを特徴とする請求項１又は請求項２に記載の表示装置。

【請求項4】

前記複数の第２の像は、輝度、色、及び大きさの少なくとも１つが変化を伴いながら、前記表示エリアに表示される、
ことを特徴とする請求項１から請求項３のいずれかに記載の表示装置。

【請求項5】

前記複数の第２の像の輝度を所定時間内において積分した積算強度は、ユーザの弁別閾値に基づいて設定される、
ことを特徴とする請求項１から請求項４のいずれかに記載の表示装置。

【請求項6】

前記複数の第２の像の輝度を所定時間内において積分した積算強度は、前記第１の像の輝度に基づいて設定される、
ことを特徴とする請求項１から請求項５のいずれかに記載の表示装置。

【請求項7】

前記複数の第２の像の表示タイミングは、ランダムである、
ことを特徴とする請求項１から請求項６のいずれかに記載の表示装置。

【請求項8】

前記複数の第２の像は、前記第１の像における特定像の表示と同時に又は所定の時間差を持って、前記表示エリアに表示される、
ことを特徴とする請求項１から請求項６のいずれかに記載の表示装置。

【請求項9】

前記複数の第２の像は、前記ユーザの前記表示エリアの連続観察時間が所定時間を超えた場合に、前記表示エリアに表示される、
ことを特徴とする請求項１から請求項８のいずれかに記載の表示装置。

【請求項10】

前記複数の第２の像は、前記ユーザの注意力の低下が検出されたタイミングで、前記表示エリアに表示される、
ことを特徴とする請求項１から請求項８のいずれかに記載の表示装置。

【請求項11】

前記複数の第２の像を前記表示エリアに表示するか否かを切り替える切替部をさらに有する、
ことを特徴とする請求項１から請求項１０のいずれかに記載の表示装置。

【請求項12】

前記複数の第２の像は、前記表示エリアにおける前記第１の像の表示範囲の外側に表示される、
ことを特徴とする請求項１から請求項１１のいずれかに記載の表示装置。

【請求項13】

前記表示エリアを観察する前記ユーザの視野を検出する視野検出部をさらに有し、
前記複数の第２の像は、前記視野検出部の検出結果に基づいて、前記表示エリアにおける前記ユーザの周辺視野に表示される、
ことを特徴とする請求項１から請求項１２のいずれかに記載の表示装置。

【請求項14】

前記表示エリアにおける前記ユーザの視野を検出する視野検出部をさらに有し、
前記複数の第２の像は、前記視野検出部の検出結果に基づいて、前記表示エリアにおける前記ユーザの視野中心を挟んで前記表示エリアに表示される、
ことを特徴とする請求項１から請求項１２のいずれかに記載の表示装置。

【請求項15】

前記第２の像とは別の視覚刺激を呈示する視覚刺激呈示部をさらに有し、
前記第２の像の表示タイミングと前記別の視覚刺激の呈示タイミングとが時間的に重複する、
ことを特徴とする請求項１から請求項１４のいずれかに記載の表示装置。

【請求項16】

前記第２の像とは別の複数の視覚刺激を呈示する視覚刺激呈示部をさらに有し、
前記別の複数の視覚刺激のそれぞれは重複したタイミングで呈示される、
ことを特徴とする請求項１から請求項１４のいずれかに記載の表示装置。

【請求項17】

周辺環境の明るさを検出する明るさ検出部をさらに有し、
前記明るさ検出部の検出結果に基づいて、前記複数の第２の像の輝度が変更される、
ことを特徴とする請求項１から請求項１６のいずれかに記載の表示装置。

【請求項18】

前記ダミー刺激像は、前記表示エリアにおける前記ユーザの周辺視野に表示され、前記メイン刺激像は、前記表示エリアにおける前記ユーザの視野中心に表示される、
ことを特徴とする請求項１から請求項１７のいずれかに記載の表示装置。

【請求項19】

請求項１から請求項１８のいずれかに記載の表示装置を有し、車両のフロントガラス又はコンバイナを前記表示エリアとする、
ことを特徴とするヘッドアップディスプレイ。

【請求項20】

車両内又は車両外のシステムから任意の交通情報を受け取った場合に、前記第２の像を表示する、
ことを特徴とする請求項１９に記載のヘッドアップディスプレイ。

【請求項21】

請求項１から請求項１８のいずれかに記載の表示装置を有し、ユーザの身体に装着して使用される、
ことを特徴とするウェアラブルデバイス。

【請求項22】

ユーザに情報を提供する第１の像を表示エリアに表示する表示方法であって、
前記ユーザに提供する情報を含まない第２の像を前記表示エリアに表示する制御ステップを有し、
前記制御ステップは、前記表示エリアに前記第２の像を複数表示させ、
前記複数の第２の像の表示タイミングは時間的に重複しており、
前記ユーザの視線移動を検出する視線移動検出ステップをさらに有し、
前記複数の第２の像は、前記ユーザの視線移動を誘起するダミー刺激像と、前記ユーザの注意回復を促すメイン刺激像とを有し、
前記ダミー刺激像を表示した後に、前記視線移動検出ステップにより前記ユーザの視線移動が検出された場合に、前記メイン刺激像が前記表示エリアに表示される、
ことを特徴とする表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置、表示方法、ヘッドアップディスプレイ及びウェアラブルデバイスに関する。

【背景技術】

【0002】

特許文献１、２には、例えば、車両のドライバ等のユーザに対して視覚刺激を与えることにより、当該ユーザの覚醒状態を維持するための覚醒維持装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１５６８６９号公報

【文献】特開２０１７－１７４０９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１、２に開示された視覚刺激の呈示はユーザの視線移動を伴うが、視覚刺激自体はユーザへの情報を提供するものではないためユーザが注視する必要はなく、表示装置の用途や表示装置が表示する内容によっては視覚刺激の呈示による覚醒状態の維持や注意力の回復を、視線移動を伴わず実施できることが望ましい。例えば、表示装置を車両の運転支援に用いる場合において、表示装置のユーザである運転手の覚醒状態の維持や注意力の回復を実施する際に、運転手の視線移動は極力避けることが望まれている。すなわち、特許文献１、２に開示された覚醒維持装置は、視覚を刺激する際に、ユーザの視線移動を極力行なわない、という観点において改善の余地がある。

【0005】

本発明は、以上に基づいてなされたものであり、ユーザの視線移動を誘起せずに、覚醒状態の維持や注意力を回復する表示装置、表示方法、ヘッドアップディスプレイ及びウェアラブルデバイスを提供することを目的とする。

【課題を解決するための手段】

【0006】

本実施形態の表示装置は、ユーザに情報を提供する第１の像を表示エリアに表示する表示装置であって、前記ユーザに提供する情報を含まない第２の像を前記表示エリアに表示する制御部を有し、前記制御部は、前記表示エリアに前記第２の像を複数表示させ、前記複数の第２の像の表示タイミングは時間的に重複しており、前記ユーザの視線移動を検出する視線移動検出部をさらに有し、前記複数の第２の像は、前記ユーザの視線移動を誘起するダミー刺激像と、前記ユーザの注意回復を促すメイン刺激像とを有し、前記ダミー刺激像を表示した後に、前記視線移動検出部により前記ユーザの視線移動が検出された場合に、前記メイン刺激像が前記表示エリアに表示される、ことを特徴としている。

【0007】

本実施形態の表示方法は、ユーザに情報を提供する第１の像を表示エリアに表示する表示方法であって、前記ユーザに提供する情報を含まない第２の像を前記表示エリアに表示する制御ステップを有し、前記制御ステップは、前記表示エリアに前記第２の像を複数表示させ、前記複数の第２の像の表示タイミングは時間的に重複しており、前記ユーザの視線移動を検出する視線移動検出ステップをさらに有し、前記複数の第２の像は、前記ユーザの視線移動を誘起するダミー刺激像と、前記ユーザの注意回復を促すメイン刺激像とを有し、前記ダミー刺激像を表示した後に、前記視線移動検出ステップにより前記ユーザの視線移動が検出された場合に、前記メイン刺激像が前記表示エリアに表示される、ことを特徴としている。

【0008】

本実施形態のヘッドアップディスプレイは、上述した表示装置を有し、車両のフロントガラス又はコンバイナを前記表示エリアとする、ことを特徴としている。

【0009】

本実施形態のウェアラブルデバイスは、上述した表示装置を有し、ユーザの身体に装着して使用される、ことを特徴としている。

【発明の効果】

【0010】

本発明によれば、ユーザの視線移動を誘起せずに、覚醒状態の維持や注意力を回復する表示装置、表示方法、ヘッドアップディスプレイ及びウェアラブルデバイスを提供することができる。

【図面の簡単な説明】

【0011】

【図1】車両用ＨＵＤ装置において、フロントガラス越しにユーザから見る自車両の前方風景に重ねて表示エリアに表示される虚像の一例を示す正面図である。

【図2】車両用ＨＵＤ装置を搭載した自動車の構成を模式的に示す一部破断の模式側面図である。

【図3】車両用ＨＵＤ装置の光学系の内部構成を模式的に示すブロック図である。

【図4】車両用ＨＵＤ装置の制御系の内部構成を示すブロック図である。

【図5】車両用ＨＵＤ装置及びその周辺装置の概略構成を示すブロック図である。

【図6】表示エリアに表示された表示像と複数の視覚刺激像の一例を示す図である。

【図7】複数の視覚刺激像を表示エリアにおけるユーザの視野中心を挟むように表示した場合の一例を示す第１の図である。

【図8】複数の視覚刺激像を表示エリアにおけるユーザの視野中心を挟むように表示した場合の一例を示す第２の図である。

【図9】複数の視覚刺激像を表示エリアにおけるユーザの視野中心を挟むように表示した場合の一例を示す第３の図である。

【図10】複数の視覚刺激像を表示エリアの表示像の表示範囲の外側となるように表示した場合の一例を示す図である。

【図11】複数の視覚刺激像を輝度と色と大きさの少なくとも１つを変化させながら表示した場合の一例を示す図である。

【図12】複数の視覚刺激像の所定時間内における積算強度を決定するための光学系と制御系の構成の一例を示すブロック図である。

【図13】複数の視覚刺激像の表示タイミングの一例を示すタイミングチャートである。

【図14】複数の視覚刺激像を表示するトリガ（タイミング）の条件（基準）の一例を示す第１のフローチャートである。

【図15】複数の視覚刺激像を表示するトリガ（タイミング）の条件（基準）の一例を示す第２のフローチャートである。

【図16】複数の視覚刺激像を表示するトリガ（タイミング）の条件（基準）の一例を示す第３のフローチャートである。

【図17】複数の視覚刺激像を表示するトリガ（タイミング）の条件（基準）の一例を示す第４のフローチャートである。

【図18】切替スイッチを有する車両用ＨＵＤ装置を示す図２に対応する一部破断の模式側面図である。

【図19】視野検出センサを有する車両用ＨＵＤ装置を示す図２に対応する一部破断の模式側面図である。

【図20】運転者の視野に基づいて複数の視覚刺激像を表示する場合の一例を示す第１の図である。

【図21】運転者の視野基づいて複数の視覚刺激像を表示する場合の一例を示す第２の図である。

【図22】運転者の視野に基づいて複数の視覚刺激像を表示する場合の一例を示す第３の図である。

【図23】視覚刺激呈示部を有する車両用ＨＵＤ装置を示す図２に対応する一部破断の模式側面図である。

【図24】表示エリアを介した複数の視覚刺激像をＨＵＤ表示範囲と運転者周辺視野の重畳領域に表示した場合の一例を示す図である。

【図25】表示エリアを介した視覚刺激像と視覚刺激呈示部を介した視覚刺激を運転者周辺視野に呈示した場合の一例を示す図である。

【図26】視覚刺激呈示部を介した複数の視覚刺激を運転者周辺視野に呈示した場合の一例を示す図である。

【図27】表示制御部と視覚刺激呈示部の連係部の一例を示すブロック図である。

【図28】メイン刺激像とダミー刺激像の表示位置の一例を示す図である。

【図29】ダミー刺激像の表示からメイン刺激像の表示への流れの一例を示す図である。

【図30】メイン刺激像とダミー刺激像を用いた動作の一例を示すフローチャートである。

【図31】周辺環境の明るさに基づいて複数の視覚刺激像の輝度を変更するための光学系と制御系の構成の一例を示すブロック図である。

【発明を実施するための形態】

【0012】

図１～図５を参照して、表示装置を適用した車両用ＨＵＤ装置の全体構成の一例について説明する。ここでは、表示装置１は、車両のフロントガラス又はコンバイナに各種の像（後述する表示像と視覚刺激像）を表示する車両用のヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）装置に適用されている。

【0013】

図１は、車両用ＨＵＤ装置１において、フロントガラス３０２越しに運転者（ユーザ）３００から見る自車両３０１の前方風景に重ねて表示エリアに表示される虚像の一例を示す正面図である。図２は、車両用ＨＵＤ装置１を搭載した自動車の構成を模式的に示す一部破断の模式側面図である。図３は、車両用ＨＵＤ装置１の光学系の内部構成を模式的に示すブロック図である。

【0014】

図２に示すように、車両用ＨＵＤ装置１は、例えば、移動体（走行体）である自動車（自車両３０１）のダッシュボード内に設置される。ダッシュボード内の車両用ＨＵＤ装置１から発せられる画像光である投射光Ｌが光透過部材としてのフロントガラス３０２で反射され、視認者である運転者３００に向かう。これにより、運転者３００は、後述するナビゲーション画像等のＨＵＤ表示画像（表示像と視覚刺激像）を虚像Ｇとして視認することができる。なお、フロントガラス３０２の内壁面に光透過部材としてのコンバイナを設置し、このコンバイナによって反射する投射光Ｌによって運転者に虚像を視認させるように構成してもよい。なお、本明細書における「表示像」は、虚像に限定されず、視認対象である像が直接的に結像したものであってもよい。すなわち、本明細書における「表示像」は、運転者が視覚を通じて認識できるものであればよい。

【0015】

フロントガラス３０２の車両内側上部に、車両用ＨＵＤ装置１の表示情報及びその背景（フロントガラス３０２越しの風景）を撮影する前方撮影用カメラ１１０、虚像Ｇ（ＨＵＤ表示画像）の周囲の環境光の明るさ及び色度を検出する環境光センサ（明るさ検出部）１５０が設けられる。ここでいう明るさには、輝度、照度、光度、全光束ならびにそれらの測定結果をもとに算出される値を含む。

【0016】

車両用ＨＵＤ装置１では、運転者３００から虚像Ｇまでの距離が４ｍ以上となるように、車両用ＨＵＤ装置１の光学系等が構成されている。従来の一般的な車両用ＨＵＤ装置は、運転者３００から虚像Ｇまでの距離が２ｍ程度であった。運転者３００は、通常、車両前方の無限遠点から数十ｍ先の先行車までを注視して運転している。このような遠方に焦点を合わせている運転者３００が２ｍ先の虚像Ｇを視認しようとする場合、焦点距離が大きく異なるので、眼球の水晶体を大きく動かす必要がある。そのため、虚像Ｇに焦点を合わせるまでの焦点調整時間が長くなり、虚像Ｇの内容を認識するまでに時間がかかるうえ、運転者３００の眼球が疲労しやすいという不具合が生じる。また、虚像Ｇの内容を運転者が把握し辛く、虚像Ｇによって情報を運転者へ適切に提供する、という観点で改善の余地がある。

【0017】

運転者３００から虚像Ｇまでの距離が４ｍ以上であれば、従来よりも、眼球の水晶体を動かす量が減り、虚像Ｇへの焦点調整時間を短縮して虚像Ｇの内容を早期に認識できるようになり、また運転者３００の眼球の疲労を軽減することができる。さらには、虚像Ｇの内容を運転者３００が把握しやすくなり、虚像Ｇによって情報を運転者３００へ適切に提供することが容易になる。運転者３００から虚像Ｇまでの距離が４ｍ以上であれば、眼球をほとんど輻輳運動させることなく虚像Ｇに焦点を合わせることができる。したがって、運動視差を利用して距離感（知覚距離の変化）や奥行き感（知覚距離の違い）を知覚させる効果が眼球の輻輳運動によって薄まってしまうことが抑制される。よって、画像の距離感や奥行き感を利用した運転者の情報知覚効果を有効に発揮させることができる。

【0018】

図３に示すように、車両用ＨＵＤ装置１は、光学系２３０内に、赤色、緑色、青色のレーザ光源２０１Ｒ、２０１Ｇ、２０１Ｂと、各レーザ光源に対して設けられるコリメータレンズ２０２、２０３、２０４と、２つのダイクロイックミラー２０５、２０６とを備える。車両用ＨＵＤ装置１はさらに、光量調整部２０７と、光走査手段としての光走査装置２０８と、自由曲面ミラー２０９と、光発散部材としてのマイクロレンズアレイ２１０と、光反射部材としての投射ミラー２１１とから構成されている。光源ユニット２２０は、レーザ光源２０１Ｒ、２０１Ｇ、２０１Ｂ、コリメータレンズ２０２、２０３、２０４、ダイクロイックミラー２０５、２０６が、光学ハウジングによってユニット化されて構成されている。

【0019】

レーザ光源２０１Ｒ、２０１Ｇ、２０１ＢとしてはＬＤ（半導体レーザ素子）を用いる。赤色レーザ光源２０１Ｒから射出される光束の波長は例えば６４０ｎｍであり、緑色レーザ光源２０１Ｇから射出される光束の波長は例えば５３０ｎｍであり、青色レーザ光源２０１Ｂから射出される光束の波長は例えば４４５ｎｍである。

【0020】

車両用ＨＵＤ装置１は、マイクロレンズアレイ２１０上に結像される中間像を自由曲面ミラー２０９を用いて自車両３０１のフロントガラス３０２に投射することで、その中間像の拡大画像を運転者３００に虚像Ｇとして視認させる。レーザ光源２０１Ｒ、２０１Ｇ、２０１Ｂから発せられる各色レーザ光は、それぞれ、コリメータレンズ２０２、２０３、２０４で略平行光とされ、２つのダイクロイックミラー２０５、２０６により合成される。合成されたレーザ光は、光量調整部２０７で光量が調整された後、光走査装置２０８のミラーによって二次元走査される。光走査装置２０８で二次元走査された走査光Ｌ’は、自由曲面ミラー２０９で反射されて歪みを補正された後、マイクロレンズアレイ２１０に集光され、中間像を描画する。

【0021】

ここでは、中間像の画素（中間像の一点）ごとの光束を個別に発散させて出射する光発散部材として、マイクロレンズアレイ２１０を用いているが、他の光発散部材を用いてもよい。また、中間像Ｇ’の形成方法としては、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）を利用した方式でもよい。ただし、大きな虚像Ｇを高い輝度で表示させるには、レーザ走査方式が好ましい。

【0022】

また、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、虚像Ｇが表示される表示領域内の非画像部分にも僅かながら光が照射され、これを完全に遮断することが難しい。そのため、当該非画像部分における自車両３０１の前方風景の視認性が低下するというデメリットがある。これに対して、レーザ走査方式によれば、虚像Ｇの表示領域内の非画像部分については、レーザ光源２０１Ｒ、２０１Ｇ、２０１Ｂを消灯させることにより当該非画像部分に光が照射されるのを完全に遮断することができる。よって、当該非画像部分における自車両３０１の前方風景の視認性が車両用ＨＵＤ装置１から照射される光によって低下する事態を回避でき、前方風景の視認性を良好に保てるというメリットがある。

【0023】

更に、運転者に警告等を行うための警告画像の輝度を段階的に高めることで警告の度合いを強めるような場合、表示エリア７００（図１）内に表示されている各種画像のうちの警告画像の輝度だけを段階的に高めるという表示制御が必要になる。このように表示エリア７００内の一部画像について部分的に輝度を高めるような表示制御を行う場合も、レーザ走査方式が好適である。液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、表示エリア７００における特定部分のみの輝度を変更することが困難であり、表示エリア７００内に表示されている警告画像以外の画像についても輝度が高まってしまう。そのため、警告画像とそれ以外の画像との間の輝度差を広げることができず、警告画像の輝度を段階的に高めることで警告の度合いを強めるという制御は難しい。

【0024】

光走査装置２０８は、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）等の公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜動作させ、ミラーに入射するレーザ光を二次元走査（ラスタスキャン）する。ミラーの駆動制御は、レーザ光源２０１Ｒ、２０１Ｇ、２０１Ｂの発光タイミングに同期して行われる。光走査装置２０８は、例えば、互いに直交する２つの軸回りをそれぞれ揺動あるいは回動する２つのミラーからなるミラー系で構成してもよい。

【0025】

図４は、車両用ＨＵＤ装置１の制御系２５０の内部構成を示すブロック図である。車両用ＨＵＤ装置１の制御系２５０は、ＦＰＧＡ２５１、ＣＰＵ２５２、ＲＯＭ２５３、ＲＡＭ２５４、インターフェイス（以下、Ｉ／Ｆという）２５５、バスライン２５６、ＬＤドライバ２５７、ＭＥＭＳコントローラ２５８を備えている。ＦＰＧＡ２５１は、ＬＤドライバ２５７により、光源ユニット２２０のレーザ光源２０１Ｒ、２０１Ｇ、２０１Ｂを動作制御し、ＭＥＭＳコントローラ２５８により、光走査装置２０８のＭＥＭＳ２０８ａを動作制御する。ＣＰＵ２５２は、車両用ＨＵＤ装置１の各機能を制御する。ＲＯＭ２５３は、ＣＰＵ２５２が車両用ＨＵＤ装置１の各機能を制御するために実行する画像処理用プログラム等の各種プログラムを記憶している。ＲＡＭ２５４はＣＰＵ２５２のワークエリアとして使用される。Ｉ／Ｆ２５５は、外部コントローラ等と通信するためのインターフェイスであり、例えば、自車両３０１のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、車両ナビゲーション装置４００や各種センサ装置５００（後述の図５を参照）に接続される。また、Ｉ／Ｆ２５５には、車両用ＨＵＤ装置１の表示情報及びその背景（フロントガラス３０２越しの風景）を撮影する前方撮影用カメラ１１０が接続される。また、Ｉ／Ｆ２５５には、環境光の明るさ及び色度を検出する環境光センサ１５０が接続される。

【0026】

図５は、車両用ＨＵＤ装置１及びその周辺装置の概略構成を示すブロック図である。虚像Ｇによって運転者へ提供する運転者提供情報を取得する情報取得手段として、車両ナビゲーション装置４００、センサ装置５００などが設けられている。車両用ＨＵＤ装置１は、主に、画像表示手段としての画像光投射手段を構成する光学系２３０と、表示制御手段としての制御系２５０とから構成される。

【0027】

車両ナビゲーション装置４００は、自動車等に搭載される公知の車両ナビゲーション装置を広く利用することができる。車両ナビゲーション装置４００からは、虚像Ｇに表示させるルートナビゲーション画像を生成するために必要な情報が出力され、この情報は制御系２５０に入力される。例えば、図１に示すように、自車両３０１が走行している道路の車線（走行レーン）の数、次に進路変更（右折、左折、分岐等）すべき地点までの距離、次に進路変更する方向などの情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置４００から制御系２５０に入力される。これにより、制御系２５０の制御の下、車両用ＨＵＤ装置１によって以下のように表示される。すなわち、走行レーン指示画像７１１、車間距離提示画像７１２、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３などのナビゲーション画像が表示エリア７００の上段表示領域Ａに表示される。

【0028】

また、図１に示した表示例では、表示エリア７００の下段表示領域Ｂに、道路の固有情報（道路名、制限速度等）を示す画像が表示される。この道路の固有情報も、車両ナビゲーション装置４００から制御系２５０に入力される。制御系２５０は、当該道路固有情報に対応する道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等を、車両用ＨＵＤ装置１によって表示エリア７００の下段表示領域Ｂに表示させる。

【0029】

センサ装置５００は、自車両３０１の挙動、自車両３０１の状態、自車両３０１の周囲の状況などを示す各種情報を検出するための１又は２以上のセンサで構成されている。センサ装置５００からは、虚像Ｇとして表示させる画像を生成するために必要なセンシング情報が出力され、このセンシング情報は制御系２５０に入力される。例えば、図１に示した画像例には、自車両３０１の車速を示す車速表示画像７０４（図１では「８３ｋｍ／ｈ」という文字の画像）を、表示エリア７００の下段表示領域Ｂに表示させる。そのため、自車両３０１のＣＡＮ情報に含まれる車速情報がセンサ装置５００から制御系２５０に入力され、制御系２５０の制御の下、車両用ＨＵＤ装置１によって当該車速を示す文字画像が表示エリア７００の下段表示領域Ｂに表示される。

【0030】

センサ装置５００は、自車両３０１の車速を検出するセンサ以外にも、例えば、（１）自車両３０１の周囲（前方、側方、後方）に存在する他車両、歩行者、建造物（ガードレールや電柱等）との距離を検出するレーザレーダ装置や撮像装置、自車両の外部環境情報（外気温、明るさ、天候等）を検出するためのセンサ、（２）運転者３００の運転動作（ブレーキ走査、アクセル開閉度等）を検出するためのセンサ、（３）自車両３０１の燃料タンク内の燃料残量を検出するためのセンサ、（４）エンジンやバッテリー等の各種車載機器の状態を検出するセンサなどが挙げられる。このような情報をセンサ装置５００で検出して制御系２５０へ送ることで、それらの情報を虚像Ｇとして車両用ＨＵＤ装置１により表示して運転者３００へ提供する。

【0031】

次に、車両用ＨＵＤ装置１によって表示される虚像Ｇについて説明する。車両用ＨＵＤ装置１において、虚像Ｇによって運転者３００へ提供する運転者提供情報は、運転者３００にとって有用な情報であればどのような情報であってもよい。以下では、一例として、運転者提供情報を受動情報と能動情報とに大別している。

【0032】

受動情報とは、所定の情報提供条件が満たされたタイミングで運転者３００によって受動的に認知される情報である。したがって、車両用ＨＵＤ装置１の設定タイミングで運転者３００へ提供される情報は受動情報に含まれ、また、情報が提供されるタイミングと情報の内容との間に一定の関係性をもつ情報が受動情報に含まれる。受動情報としては、例えば、運転時の安全性に関わる情報、ルートナビゲーション情報などが挙げられる。運転時の安全性に関わる情報として、自車両３０１と先行車両との車間距離情報（車間距離提示画像７１２）、運転に関わる緊急性のある情報（運転者に緊急操作を指示する緊急操作指示情報などの警告情報あるいは注意喚起情報等）などがある。また、ルートナビゲーション情報は、予め設定された目的地までの走行ルートを案内するための情報であり、公知の車両ナビゲーション装置によって運転者へ提供されるものである。ルートナビゲーション情報としては、直近の交差点で走行すべき走行レーンを指示する走行レーン指示情報（走行レーン指示画像７１１）や、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報などが挙げられる。進路変更操作指示情報として、交差点等においていずれの進路をとるべきかの進路指定を行う進路指定情報（進路指定画像７２１）、進路変更操作を行う交差点等までの残り距離情報（残り距離画像７２２）、交差点等の名称情報（交差点等名称画像７２３）がある。

【0033】

能動情報とは、運転者自らが決めるタイミングで運転者３００によって能動的に認知される情報である。能動情報は、運転者３００の希望するタイミングで運転者３００へ提供されれば十分な情報であり、例えば、情報が提供されるタイミングと情報の内容との間の関係性が低い又は関係性が無い情報は、能動情報に含まれる。能動情報は、運転者３００の希望するタイミングで運転者３００が取得する情報であることから、ある程度の長い期間あるいは常時、表示され続ける。例えば、自車両３０１が走行している道路の固有情報、自車両３０１の車速情報（車速表示画像７０４）、現在時刻情報などが挙げられる。道路の固有情報としては、例えば、その道路名情報（道路名表示画像７０１）、その道路の制限速度等の規制内容情報（制限速度表示画像７０２、追い越し禁止表示画像７０３）、その他当該道路に関わる情報として運転者３００にとって有用なものが挙げられる。

【0034】

このようにして大別される受動情報と能動情報を、虚像Ｇを表示可能な表示エリア７００内のそれぞれ対応する表示領域に表示させる。具体的には、表示エリア７００を上下方向に２つの表示領域に区分し、そのうちの上段表示領域Ａには主に受動情報に対応する受動情報画像を表示し、下段表示領域Ｂには主に能動情報に対応する能動情報画像を表示する。なお、能動情報画像の一部を上段表示領域Ａに表示させる場合には、上段表示領域Ａに表示される受動情報画像の視認性を優先するように能動情報画像を表示する。

【0035】

また、表示エリア７００に表示される虚像Ｇとして、立体視を用いて表現された立体視画像を用いている。具体的には、表示エリア７００の上段表示領域Ａに表示される車間距離提示画像７１２及び走行レーン指示画像７１１として、遠近法により表現される遠近法画像を用いている。

【0036】

詳しくは、車間距離提示画像７１２を構成する５本の横線の長さを上側に向かうほど短くなるようにして、車間距離提示画像７１２を１つの消失点に向かうように透視図法により作図された遠近法画像としている。特に、その消失点が運転者３００の注視点近傍に定まるように車間距離提示画像７１２が表示されることから、運転中の運転者３００に車間距離提示画像７１２の奥行き感を知覚させやすい。更に、横線の太さを上側に向かうほど細く、また横線の輝度を上側に向かうほど低くした遠近法画像としている。これによって、運転中の運転者３００には、車間距離提示画像７１２の奥行き感を更に知覚させやすくなる。

【0037】

表示エリア７００の上段表示領域Ａと下段表示領域Ｂに表示される受動情報と能動情報は、運転者（ユーザ）３００に情報を提供する「表示像（第１の像）」として表示される。本実施形態では、表示エリア７００を介して、上記の「表示像（第１の像）」とは別に、例えば、運転中における運転者の覚醒状態を維持するとともに、当該覚醒状態の維持が危うくなった場合に運転者に注意喚起を促して当該覚醒状態に復帰させる（注意力を回復させる）ための視覚刺激を「視覚刺激像（第２の像）」として運転者（ユーザ）３００に表示する。

【0038】

この視覚刺激像は、例えば、運転者に対する覚醒維持又は注意喚起を目的とした所定の視覚情報であり、運転者に対する運転に関連する情報（運転者に提供する情報）を含まない所謂ダミー画像である。視覚刺激像は、例えば、所定の形状（例えば丸、三角、四角等）、所定の色味（例えば、赤、青、黄色）を有する。視覚刺激像は、表示像と同様に、車両用ＨＵＤ装置１の光学系２３０を介した虚像Ｇとして運転者に提供される。視覚刺激像の表示態様は、車両用ＨＵＤ装置１の制御系（制御部）２５０により制御される。

【0039】

本発明者は、ユーザに対する視覚刺激の呈示について鋭意研究を重ねた結果、視覚刺激自体はユーザへの情報を提供するものではないためユーザが注視する必要はなく、表示装置の用途や表示装置が表示する内容によってはユーザの視線移動を極力避けながら、ユーザに対して視覚刺激を呈示することが、極めて有用であることを見出した。ユーザの一例である運転者に対して視覚刺激を呈示する場合を考えると、運転中は環境の変化が著しく、運転者の視線は車両の進行方向に向けられるべきであり、運転者の視線移動を誘起することなく、運転者に対して視覚刺激を与えることが好ましい。人の視線移動の速度は、注意力が低下している低覚醒の状態において低下することが知られており、また、車両が高速移動している際の運転中においても注意力低下が起こりやすい環境が考えられる。例えば、高速道路の走行中など、景色の変化や運転動作が少ない状況で長時間運転するような場合は、運転者の注意力の低下が起こりやすい。そして、高速で移動している車両を運転している運転者の注意力が低下している場合において、該運転者の注意力回復のために視覚刺激を呈示することで該運転者の視線移動を誘起することは、注意力が低下している人の視線移動の速度が低下していることを鑑みると好ましくない。

【0040】

従来、ユーザの注意力の低下を防止するための手段として、音声や専用の表示器による警告等が用いられてきたが、音声の場合は周辺環境（例えば騒音）により十分な効果が得られないことが懸念され、表示器の場合は過度な注意となり却って悪影響を及ぼすことが懸念される。

【0041】

以下、ユーザの一例である運転者の視線移動を誘起することなく（運転方向に保持したままで）視覚刺激像を与えるための実施形態について、図面を参照して、詳細に説明する。

【0042】

≪第１実施形態≫
表示像（例えば上段表示領域Ａと下段表示領域Ｂに表示される受動情報と能動情報）と視覚刺激像とは、表示エリア７００に表示される。車両用ＨＵＤ装置１の制御系２５０は、表示エリア７００に視覚刺激像（第２の像）を複数表示させ、該複数の視覚刺激像の表示タイミングを時間的に重複させる「制御部」として機能する。複数の視覚刺激像の表示態様の調整は、例えば、車両用ＨＵＤ装置１の光学系２３０において、レーザ光源２０１Ｒ、２０１Ｇ、２０１Ｂの点灯時間や点灯輝度を変動させることや光走査装置２０８のミラーの回転位置を変動させることによって実現される。

【0043】

図６は、表示エリア７００に表示された表示像と複数の視覚刺激像の一例を示す図である。図６では、共に同一サイズの四角形状を有する第１の視覚刺激像１０と第２の視覚刺激像２０が表示されている。第１の視覚刺激像１０は、表示エリア７００の上段表示領域Ａの内部において、左右方向の左端部かつ上下方向の中間部よりやや下方に表示されている。第２の視覚刺激像２０は、表示エリア７００の上段表示領域Ａの外部において、左右方向の右端部の上方（直上）に表示されている。

【0044】

第１の視覚刺激像１０と第２の視覚刺激像２０を時間的に重複して（同時に）表示することにより、第１の視覚刺激像１０と第２の視覚刺激像２０のいずれかに視線を引っ張られることなく、運転方向に視線を保持したままで、第１の視覚刺激像１０と第２の視覚刺激像２０を運転者に呈示することができる。その結果、運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復することが可能になる。

【0045】

ここで、「表示タイミングを時間的に重複させる」及び「時間的に重複して（同時に）表示する」とは、例えば、表示のフレーム間隔における同一フレームだけでなく、ヒトの眼の時間分解能で分離できないフレーム間隔、すなわち、ヒトの眼の時間分解能に対してフレームレートが十分に高速である場合であれば、別フレームで表示されたものであってもよい。別言すると、運転者の視覚を通じた認識において、第１の視覚刺激像１０と第２の視覚刺激像２０とを一瞬でも同時に把握することができる場合において、「表示タイミングを時間的に重複させる」及び「時間的に重複して（同時に）表示する」ことに該当する。第１の視覚刺激像１０と第２の視覚刺激像２０は、表示開始タイミングと表示終了タイミングが完全に一致していてもよいし、表示開始タイミングと表示終了タイミングの少なくとも一方がずれていてもよい。また、第１の視覚刺激像１０と第２の視覚刺激像２０の一方が常時点灯しており、他方が時間を空けて点灯（点滅）していてもよい。

【0046】

また、図６に示すように、第１の視覚刺激像１０と第２の視覚刺激像２０は、制御系２５０により、表示エリア７００の中心を挟んで、表示エリア７００に表示される。あるいは、第１の視覚刺激像１０と第２の視覚刺激像２０は、制御系２５０により、表示エリア７００の中心に対して対称となるように、表示エリア７００に表示される。これにより、第１の視覚刺激像１０と第２の視覚刺激像２０のいずれかに視線を引っ張られることなく、運転方向に視線を保持したままで、第１の視覚刺激像１０と第２の視覚刺激像２０を運転者に呈示することができる。その結果、運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復することが可能になる。

【0047】

また、図７～図９に示すように、第１の視覚刺激像１０と第２の視覚刺激像２０は、制御系２５０により、表示エリア７００を観察するユーザの視野中心を挟んで、表示エリア７００に表示される。これにより、第１の視覚刺激像１０と第２の視覚刺激像２０のいずれかに視線を引っ張られることなく、運転方向に視線を保持したままで、第１の視覚刺激像１０と第２の視覚刺激像２０を運転者に呈示することができる。その結果、運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復することが可能になる。

【0048】

図７の例では、第１の視覚刺激像１０と第２の視覚刺激像２０が、表示エリア７００における運転者視野の領域内部で、運転者視野中心に対して点対称となるように表示されている。これにより、上下方向と左右方向のいずれにおいても、運転者視野中心を挟むようにして、第１の視覚刺激像１０と第２の視覚刺激像２０が配置されることになる。

【0049】

図８の例では、第１の視覚刺激像１０と第２の視覚刺激像２０が、表示エリア７００における運転者視野の領域内部で、運転者視野中心を通って上下方向に延びる対称軸に対して、線対称となるように表示されている。車両運転中における上下方向の視線移動は進行方向から視線を外すことにはならないので、第１の視覚刺激像１０と第２の視覚刺激像２０を上下方向の対称軸に対して線対称に配置することは有効である。

【0050】

図９の例では、第１の視覚刺激像１０と第２の視覚刺激像２０が、表示エリア７００の表示像の表示範囲で、当該表示範囲の中心を通って上下方向に延びる対称軸に対して、線対称となるように表示されている（第１の視覚刺激像１０と第２の視覚刺激像２０とが左下端部と右下端部にそれぞれ配置されている）。一般的に、車両用ＨＵＤの表示範囲は、運転者の視野中心を通る上下方向の直線に対して線対称であるため、第１の視覚刺激像１０と第２の視覚刺激像２０は、車両用ＨＵＤの表示範囲の中心に対して対称性を持つことが好ましい。

【0051】

図１０に示すように、第１の視覚刺激像１０と第２の視覚刺激像２０は、表示エリア７００における表示像が表示される範囲の外側となるように、表示エリア７００に表示してもよい。図１０の例では、第１の視覚刺激像１０と第２の視覚刺激像２０が、表示エリア７００における表示像が表示される表示範囲の外側の左右に離間して、当該表示範囲を左右から挟むようにして配置されている。このように、表示像と視覚刺激像とを、両者の表示領域の重なりがないように区画して表示（配置）することにより、車両用ＨＵＤのユーザである運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復することが可能になる。また、表示像の表示範囲を、画角の制約（制限）や光学的な歪み等の影響による表示品質を考慮して、表示エリアとして描画可能な範囲よりも狭く設定している場合がある。このような場合に、表示像の表示範囲の外側となるように視覚刺激像の表示位置を設定すれば、表示エリアとして描画可能な範囲を有効に活用することが可能になる。

【0052】

第１の視覚刺激像１０や第２の視覚刺激像２０のような視覚刺激像の輝度（強度）を所定時間内において積分したものを積算強度と表現する。また、視覚刺激像がユーザに与える影響度合いについて、視覚刺激像の強度と表現する。図１１Ａ～図１１Ｃに示すように、第１の視覚刺激像１０と第２の視覚刺激像２０とは、制御系２５０により、輝度、色、及び大きさの少なくとも１つが時間経過とともに変化しながら、表示エリア７００に表示される。図１１Ａ～図１１Ｃにおいて、横軸は時間を示しており、縦軸は視覚刺激像の輝度（強度）を示している。図１１Ａの例では、時間経過に伴って、視覚刺激像の輝度（強度）が異なっている。図１１Ｂの例では、時間経過に伴って、視覚刺激像の色と輝度（強度）が異なっている。図１１Ｃの例では、時間経過に伴って、視覚刺激像の大きさと輝度（強度）が異なっている。図１１Ｃ中の“１”と“４”の数字は、視覚刺激像の面積（大きさ）を示す指標として使用している。このように、輝度と色と大きさの少なくとも１つを変化させながら視覚刺激像を表示させることで、運転者の慣れを回避した視覚刺激像の表示が可能になる。

【0053】

第１の視覚刺激像１０と第２の視覚刺激像２０の所定時間内における積算強度は、運転者（ユーザ）の弁別閾値に基づいて設定される。視覚刺激が弱すぎると運転者が該運転者の覚醒状態の維持や注意力を回復するという視覚刺激の効果を享受することが難しくなり、視覚刺激が強すぎると運転者が認識するべき情報（運転に関連する各種情報）に対する注意力が緩慢になるおそれがある。このため、運転者が認識するべき情報（運転に関連する各種情報）に対する注意力を好適に維持しつつ、運転者が、該運転者の覚醒状態の維持や注意力を回復するという視覚刺激の効果を享受できるような弁別閾値を設定し、当該弁別閾又はその近傍に、第１の視覚刺激像１０と第２の視覚刺激像２０の所定時間内における積算輝度を設定する。ここで、弁別閾値は、周囲環境（例えば明るさ）や運転者の特性等によって異なるので、ある程度の自由度を持って設定することが好ましい。

【0054】

例えば、視覚刺激像の表示期間における視覚刺激像の発光時間が人の眼の時間分解能に対して十分短い場合、ユーザに認知される視覚刺激の強度は、表示期間における積算強度で決まる。視覚刺激の呈示により過度に運転者の注意を引いてしまうと本来の目的を超えて本末転倒な結果となるので、この運転者に提示する視覚刺激の強度は運転者の注意を引き過ぎないように設定する必要がある。この注意を引きすぎない指標として、運転者の弁別閾値を視覚刺激の強度として設定する。運転者の弁別閾値は、車両用ＨＵＤ表示の背景輝度（自車両３０１の前方風景の明るさ）、つまり運転者の向いている車両の前方方向においてＨＵＤ表示と重畳する領域の輝度とその周辺の輝度によって変化する。このため、背景輝度は、予めテスト走行などで取得した走行環境での背景輝度からの分布から、任意の固定値を定義してもよいし、テスト走行などで取得した走行環境での背景輝度からの分布とその背景輝度に対して官能評価などにより用意したルックアップテーブル（ＬＵＴ）に基づいて決定してもよい。

【0055】

第１の視覚刺激像１０と第２の視覚刺激像２０の所定時間内における積算強度は、表示エリア７００における表示像の強度（輝度）に基づいて設定することができる。表示エリア７００における表示像の強度（輝度）は、例えば、環境光センサ（明るさ検出部）１５０が検出した周辺環境の明るさに基づいて設定することができる。表示エリア７００における表示像の強度（輝度）に応じて、視覚刺激像の強度（輝度）をリアルタイムに変更することにより、運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復することが可能になる。また、表示像の種類によっては、注意・警告など特に運転者が確実に認知すべき表示が存在するため、表示像の認知を阻害しないために、視覚刺激像の強度（輝度）をＨＵＤ表示画像の輝度に対する相対値で決めることも考えられる。

【0056】

図１２は、第１の視覚刺激像１０と第２の視覚刺激像２０の所定時間内における積算強度を決定するための光学系２３０と制御系２５０の構成の一例を示す図である。図１２に示すように、制御系２５０は、表示像の強度（輝度）と、第１の視覚刺激像１０と第２の視覚刺激像２０の所定時間内における積算強度（積算輝度）との対応関係を示すルックアップテーブル（ＬＵＴ）２５０Ａを記憶した記憶部２５０Ｂを有している。例えば、ルックアップテーブルには、表示像の強度（輝度）に対して、それよりも若干量だけ積算強度（積算輝度）が上回る第１の視覚刺激像１０の強度（輝度）と第２の視覚刺激像２０の強度（輝度）とが設定されている。

【0057】

第１の視覚刺激像１０と第２の視覚刺激像２０は、制御系２５０により、任意のタイミングで、表示エリア７００に表示される。例えば、第１の視覚刺激像１０と第２の視覚刺激像２０は、時間的にランダムに、表示エリア７００に表示される。例えば、図１３に示すように、視覚刺激像表示期間であるＯＮ期間と視覚刺激像非表示期間であるＯＦＦ期間を区画するとともに、ＯＮ期間において、所定時間間隔毎に視覚刺激像の表示と非表示を繰り返すように制御してもよい。このように、複数の視覚刺激像を時間的にランダムに表示することにより、運転者の慣れを回避した視覚刺激像の表示が可能になる。

【0058】

また、第１の視覚刺激像１０と第２の視覚刺激像２０は、制御系２５０により、運転者による表示エリア７００の連続観察時間（表示像の連続観察時間）が所定時間を超えた場合に、表示エリア７００に表示される。例えば、図１４に示すように、表示像の表示が開始された後に、連続観察時間が所定時間を超えたか否かを判定し（ステップＳＴ１Ａ）、連続観察時間が所定時間を超えた場合（ステップＳＴ１Ａ：Ｙｅｓ）に視覚刺激像の表示を開始し、連続観察時間が所定時間を超えない場合（ステップＳＴ１Ａ：Ｎｏ）に連続観察時間が所定時間を超えるのを待つようにしてもよい。連続観察時間が所定時間を超えると、運転者の注意力が低下するおそれが高まるので、そのタイミングで視覚刺激像を表示することにより、運転者の慣れを回避した視覚刺激の呈示が可能になる。また、視覚刺激像の過剰な表示によるデバイスの負担（負荷）を軽減することが可能になる。

【0059】

また、第１の視覚刺激像１０と第２の視覚刺激像２０は、制御系２５０により、表示エリア７００における特定像の表示と同時に又は所定の時間差を持って、表示エリア７００に表示される。ここで、特定像は、例えば、運転者に対する注意喚起や警告を目的とした表示像（例えば車両ナビゲーション装置４００による渋滞情報画像や交通規制情報画像）が挙げられる。例えば、図１５に示すように、表示像の表示が開始された後に、表示像に特定像（例えば警告像）が含まれるか否かを判定し（ステップＳＴ１Ｂ）、表示像に特定像（例えば警告像）が含まれる場合（ステップＳＴ１Ｂ：Ｙｅｓ）に視覚刺激像の表示を開始し、表示像に特定像（例えば警告像）が含まれない場合（ステップＳＴ１Ｂ：Ｎｏ）に表示像に特定像（例えば警告像）が含まれるのを待つようにしてもよい。運転者に対する注意喚起や警告を目的とした特定像が表示される場合には、運転者の注意が特定像に奪われるので、当該特定像の表示タイミング又はその前後のタイミングをトリガとして、視覚刺激像を表示することが有効である。

【0060】

また、第１の視覚刺激像１０と第２の視覚刺激像２０は、制御系２５０により、運転者の注意力の低下が検出されたタイミングで、表示エリア７００に表示される。ここで、運転者の注意力の低下は、例えば、車体のぶれ情報、座席の座り直し情報、運転者の姿勢情報、極端又は不自然なアクセル操作やブレーキ操作に関する情報の少なくとも１つを含むことができる。例えば、図１６に示すように、表示像の表示が開始された後に、運転者の注意力の低下が検出されたか否かを判定し（ステップＳＴ１Ｃ）、運転者の注意力の低下が出された場合（ステップＳＴ１Ｃ：Ｙｅｓ）に視覚刺激像の表示を開始し、運転者の注意力の低下が検出されない場合（ステップＳＴ１Ｃ：Ｎｏ）に運転者の注意力の低下が検出されるのを待つようにしてもよい。このように、運転者の注意力の低下を直接的に検出して、その検出結果に応じて視覚刺激像の表示を制御することで、視覚刺激像の実効性（覚醒維持機能、注意喚起機能）をより高めることが可能になる。

【0061】

また、第１の視覚刺激像１０と第２の視覚刺激像２０は、制御系２５０により、車両内又は車両外のシステムから任意の交通情報を受け取った場合に、表示エリア７００に表示される。例えば、市街地の運転中は運転者の視野中の車両の進行方向の景色の変化が大きいために注意力の低下は起きにくいが、高速道路の運転中は運転者の視野中の車両の進行方向の景色の変化が小さいために注意力の低下が起きやすい。そこで、図１７に示すように、表示像の表示が開始された後に、車両内又は車両外のシステムから受け取った交通情報に基づいて車両が高速道路走行中であるか否かを判定し（ステップＳＴ１Ｄ）、車両が高速道路走行中である場合（ステップＳＴ１Ｄ：Ｙｅｓ）に視覚刺激像の表示を開始し、車両が高速道路走行中でない場合（ステップＳＴ１Ｄ：Ｎｏ）に視覚刺激像の表示を開始しないようにしてもよい。なお、車両が高速道路走行中であるか否かの判定は、例えば、車両の走行速度が所定時間安定して所定速度を上回っていること等の基準に基づいて行ってもよい。

【0062】

図１４～図１７のフローチャートを参照して説明したように、複数の視覚刺激像を表示するトリガを様々な条件（基準）に基づいて設定することにより、状況に応じた最適なタイミングで複数の視覚刺激像を表示して、ユーザに対して効率的な視覚刺激の呈示が可能になる。

【0063】

一方、運転者が疲労を感じた等の主観的な判断に基づいて、第１の視覚刺激像１０と第２の視覚刺激像２０の表示の実行を切り替える態様もある。例えば、図１８に示すように、車両のハンドルの一部に、第１の視覚刺激像１０と第２の視覚刺激像２０を表示エリア７００に表示するか否かを切り替えるための切替スイッチ（切替部）３０を設けてもよい。運転者が切替スイッチ３０を操作すると、第１の視覚刺激像１０と第２の視覚刺激像２０の表示実行可否に関する制御信号が受信部３１に伝送される。制御系２５０は、受信部３１が受信した制御信号に基づいて、第１の視覚刺激像１０と第２の視覚刺激像２０の表示制御を行う。

【0064】

≪第２実施形態≫
図１９に示すように、第２実施形態の車両用ＨＵＤ装置１は、表示エリア７００を観察する運転者の視野を検出する視野検出センサ（視野検出部）４０を有している。視野検出センサ４０は、例えば、運転者の眼の動きを少なくとも捉えることができるカメラにより構成することができる。視野検出センサ４０の具体的態様には自由度があり、例えば、眼球運動、運転者の姿勢、運転者の体重移動などの各種情報を総合的に解析して、運転者の視野を推定するものであってもよい。視野検出センサ４０が検出した運転者の視野は、制御系２５０に出力される。制御系２５０は、視野検出センサ４０が検出した運転者の視野に基づいて、第１の視覚刺激像１０と第２の視覚刺激像２０の表示態様を制御する。

【0065】

図２０に示すように、第１の視覚刺激像１０と第２の視覚刺激像２０は、視野検出センサ４０が検出した運転者の視野に基づく制御系２５０により、表示エリア７００における運転者の周辺視野に位置するように、表示エリア７００に表示される。具体的に、第１の視覚刺激像１０と第２の視覚刺激像２０は、運転者の周辺視野に重畳されるとともに、ＨＵＤ表示範囲の左下端部と右下端部にそれぞれ表示されている。ＨＵＤ表示範囲に運転者の周辺視野と重畳可能な領域がある場合は、当該重畳可能領域に視覚刺激像を表示することが好ましい。２つの視覚刺激像をＨＵＤ表示範囲と運転者周辺視野の重畳領域に表示することにより、運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復することが可能になる。

【0066】

図２１に示すように、第１の視覚刺激像１０と第２の視覚刺激像２０の一方が表示エリア７００における運転者の中心視野（ＨＵＤ表示範囲の右下端部）に表示される一方、第１の視覚刺激像１０と第２の視覚刺激像２０の他方が表示エリア７００における運転者の周辺視野（ＨＵＤ表示範囲の左下端部）に表示されてもよい。少なくとも１つの視覚刺激像をＨＵＤ表示範囲と運転者周辺視野の重畳領域に表示することにより、運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復することが可能になる。また、少なくとも１つの視覚刺激像を運転者の中心視野に表示せざるを得ない場合であっても、当該視覚刺激像をできる限り運転者視野中心から外れた位置（運転者周辺視野に少しでも近い位置）に表示することが好ましい。

【0067】

図２２に示すように、第１の視覚刺激像１０と第２の視覚刺激像２０は、視野検出センサ４０が検出した運転者の視野に基づく制御系２５０により、表示エリア７００における運転者の視野中心に対して対称となるように、表示エリア７００に表示される。具体的に、第１の視覚刺激像１０と第２の視覚刺激像２０は、表示エリア７００における運転者視野の領域内部で、運転者視野中心を通って上下方向に延びる対称軸に対して、線対称となるように表示されている。このように、ＨＵＤの表示範囲の中心ではなく、運転者の視野中心に対して対称となるように、複数の視覚刺激像を表示することで、運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復することが可能になる。

【0068】

運転者に視覚刺激像を表示する際、運転者の中心視野内に視覚刺激像を表示すると運転者が過剰に認知してしまい、却って煩わしさを感じさせるおそれがある。このため、第２実施形態では、時々刻々と移り変わる運転者の視野をリアルタイムに検出して、当該視野に基づく運転者の周辺視野に視覚刺激像を表示することで、運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復させている。

【0069】

≪第３実施形態≫
図２３に示すように、第３実施形態の車両用ＨＵＤ装置１は、表示エリア７００を介した視覚刺激像（例えば第１の視覚刺激像１０と第２の視覚刺激像２０）とは別の視覚刺激を呈示する視覚刺激呈示部５０を有している。上述した通り、運転者の注意力が低下してくると、運転というメインのタスクにより車両の進行方向にトラップされた視線が他の刺激により移動しやすくなる。この場合、視線移動を起こさないように、注意回復を行うためには、運転者の視野中（好ましくは周辺視野中）の１点ではなく、複数の位置（好ましくは周辺視野中の互いに対称な複数の位置）に、視覚刺激を呈示することが望まれる。ＨＵＤ装置のスペック（機能性）が高くＨＵＤ表示範囲が十分に広角で表示エリア７００の表示範囲の制約が小さい（無い）場合は、図２４に示すように、表示エリア７００を介した複数の視覚刺激像（ここでは２つの視覚刺激像）を、ＨＵＤ表示範囲と運転者周辺視野の重畳領域に表示する。

【0070】

これに対して、ＨＵＤ装置のスペック（機能性）が低く、ＨＵＤ表示範囲の画角が狭いために表示エリア７００の表示範囲の制約が大きい場合は、表示エリア７００を介した視覚刺激像に代えて、若しくは表示エリア７００を介した視覚刺激像に加えて、視覚刺激呈示部５０による視覚刺激を用いることにより、ＨＵＤ装置のスペック（機能性）やＨＵＤ表示範囲の影響を受けることなく、運転者の視線移動を誘起せずに、該運転者の覚醒状態の維持や注意力を回復することが可能になる。

【0071】

図２５は、表示エリア７００を介した視覚刺激像と視覚刺激呈示部５０を介した視覚刺激を併用した場合の一例を示している。図２５では、表示エリア７００を介した視覚刺激像がＨＵＤ表示範囲と運転者周辺視野の重畳領域に表示され、視覚刺激呈示部５０を介した視覚刺激が運転者周辺視野に呈示されている。具体的に、上下に配置された表示エリア７００を介した視覚刺激像と視覚刺激呈示部５０を介した視覚刺激が、運転者中心視野を上下から挟み込んでいる。そして、表示エリア７００を介した視覚刺激像の表示タイミングと、視覚刺激呈示部５０を介した視覚刺激（別の視覚刺激）の呈示タイミングとが、時間的に重複する。

【0072】

図２６は、表示エリア７００を介した視覚刺激像を使用せずに、視覚刺激呈示部５０を介した複数の視覚刺激を使用する場合の一例を示している。図２６では、視覚刺激呈示部５０を介した複数の視覚刺激が運転者周辺視野に呈示されている。具体的に、上下に配置された視覚刺激呈示部５０を介した２つの視覚刺激が、運転者中心視野を上下から挟み込んでいる。そして、視覚刺激呈示部５０を介した２つの視覚刺激のそれぞれが、時間的に重複したタイミングで呈示される。

【0073】

図２７は、表示制御部２４０と視覚刺激呈示部５０の連係部の一例を示すブロック図である。図２７では、光学系２３０と制御系２５０を含んだブロックを表示制御部２４０として示している。視覚刺激呈示部５０は、例えば、ＬＥＤ等の光源を含んだ光学系５０Ａと、この光学系５０Ａを制御する制御系５０Ｂとを有している。例えば、表示制御部２４０の光学系２３０の光源と視覚刺激呈示部５０の光学系５０Ａの光源の動作原理やフレームレートが異なる場合に、表示制御部２４０の制御系２５０と視覚刺激呈示部５０の制御系５０Ｂが連携することで、動作安定性を維持するとともに、制御デバイスの負担軽減や低コスト化を図ることができる。

【0074】

≪第４実施形態≫
第４実施形態の車両用ＨＵＤ装置１は、第２実施形態の車両用ＨＵＤ装置１と同様に、表示エリア７００における運転者の視野を検出する視野検出センサ（視野検出部）４０を有している（図１９を参照）。第４実施形態では、視野検出センサ４０が、運転者の視線移動を検出する「視線移動検出部」として機能する。

【0075】

第４実施形態の車両用ＨＵＤ装置１は、制御系２５０により、例えば、上述した第１の視覚刺激像１０と第２の視覚刺激像２０をメイン刺激像（第２の像）として、当該メイン刺激像とは別のダミー刺激像（第２の像）を、表示エリア７００に表示する。

【0076】

図２８は、メイン刺激像としての第１の視覚刺激像１０と第２の視覚刺激像２０、及び２つのダミー刺激像６０の表示位置の一例を示している。第１の視覚刺激像１０と第２の視覚刺激像２０（メイン刺激像）、及び２つのダミー刺激像６０は、それぞれ、運転者視野の領域内部で、運転者視野中心を通って上下方向に延びる対称軸に対して、線対称となるように表示される。第１の視覚刺激像１０と第２の視覚刺激像２０（メイン刺激像）は、ＨＵＤ表示範囲と運転者中心視野の重畳領域に表示される。２つのダミー刺激像６０は、ＨＵＤ表示範囲と運転者周辺視野の重畳領域に表示される。

【0077】

２つのダミー刺激像６０は、運転者の視線移動を誘起するための機能を持つ。第１の視覚刺激像１０と第２の視覚刺激像２０（メイン刺激像）は、ユーザの覚醒状態の維持や注意力の回復を促すための機能を持つ。２つのダミー刺激像６０は、例えば、運転者の運転中に、表示エリア７００の運転者周辺視野に表示される。そして、２つのダミー刺激像６０を表示した後に、視野検出センサ４０により運転者の視線移動が検出された場合に、第１の視覚刺激像１０と第２の視覚刺激像２０（メイン刺激像）が表示エリア７００に表示される。さらに、表示エリア７００に表示される２つのダミー刺激像６０に代えて、視覚刺激呈示部５０により呈示される２つのダミー刺激を利用する態様も可能である。

【0078】

図２９Ａ～図２９Ｃは、ダミー刺激像の表示からメイン刺激像の表示への流れの一例を示す図である。図２９Ａでは、２つのダミー刺激像が、ＨＵＤ表示範囲と運転者周辺視野の重畳領域に表示される。図２９Ｂでは、図２９Ａの２つのダミー刺激像の表示によって、運転者の視線移動が誘起される結果、２つのダミー刺激像が、ＨＵＤ表示範囲と運転者中心視野の重畳領域に表示される。図２９Ｃでは、２つのダミー刺激像の表示が中止されて、２つのメイン刺激像が、ＨＵＤ表示範囲と運転者周辺視野の重畳領域に表示される。

【0079】

運転者の注意力が低下してくると、運転というメインのタスクにより車両の進行方向にトラップされた視線が、他の刺激によって移動しやすくなる。つまり、ダミー刺激像を表示（又はダミー刺激を呈示）した場合において、車両の進行方向に向くべき視線がダミー刺激像（又はダミー刺激）側へ動いたときは、運転者の注意力が低下していると推測される。ダミー刺激像を表示（又はダミー刺激を呈示）した際の運転者の視線移動を取得し、ダミー刺激像の表示（又はダミー刺激の呈示）により運転者の視線移動が検出された場合にメイン刺激像の表示を行なうことで、車両内の他のシステム（例えばドライバモニタ）から情報を取得することなく、メイン刺激像とダミー刺激像（又はダミー刺激）を組み合わせた視覚刺激像の提供が可能になる。

【0080】

図３０は、メイン刺激像とダミー刺激像を用いた動作の一例を示すフローチャートである。ダミー刺激像の表示が開始された後に、視野検出センサ４０が検出した運転者の視野に基づいて、ダミー刺激像による運転者の視線移動が誘起されたことが検出されたか否かが判定される（ステップＳＴ１Ｅ）。ダミー刺激像による運転者の視線移動が誘起されたことが検出された場合（ステップＳＴ１Ｅ：Ｙｅｓ）、メイン刺激像の表示を開始する。ダミー刺激像による運転者の視線移動が誘起されたことが検出されない場合（ステップＳＴ１Ｅ：Ｎｏ）、メイン刺激像の表示を開始することなく、ダミー刺激像による運転者の視線移動が誘起されるのを待つ。

【0081】

この第４実施形態では、ダミー刺激像の表示する数（又はダミー刺激を呈示する数）を２つとして説明した。これは、運転者の注意力が低下していて運転者の視線がダミー刺激像（又はダミー刺激）へ動く場合においても、運転者の視野が車両の進行方向から大きく逸れないようにするためである。ただし、既述したようにダミー刺激像は運転者の注意力が低下しているかどうかを検出するためのものであり、運転者の注意力が低下していない場合は、運転者の視線がダミー刺激像（又はダミー刺激）へ動くことはないため、運転者の注意力が低下しているかどうかを検出するという観点では、ダミー刺激像の表示する数（又はダミー刺激を呈示する数）は２つに限定される必要はなく、ダミー刺激像の表示する位置（（又はダミー刺激を呈示する位置）を運転者の視野が車両の進行方向から大きく逸れない位置とするよう工夫することで、ダミー刺激像の表示する数（又はダミー刺激を呈示する数）は１つであってもよい。

【0082】

≪第５実施形態≫
第５実施形態の車両用ＨＵＤ装置１は、周辺環境の明るさを検出する環境光センサ（明るさ検出部）１５０（図２、図５、図１８、図１９、図２３）の検出結果に基づいて、第１の視覚刺激像１０と第２の視覚刺激像２０の輝度（例えば所定時間内における積算強度）を変更する。ここで、周辺環境の明るさは、例えば、輝度、照度、光度、全光束、並びにそれらの測定結果に基づいて算出される値を含む。

【0083】

走行中の車両の周辺環境の明るさは、例えば、時間や天候、トンネル通過などの種々の要因によって時々刻々と移り変わる。このため、仮に、第１の視覚刺激像１０と第２の視覚刺激像２０を常に同じ強度（輝度）で表示すると、ある状況では視覚刺激像の強度が強すぎて運転への集中が妨げられ、別の状況では視覚刺激像の強度が弱すぎて視覚刺激像の表示による効果（運転者の覚醒状態の維持や注意力の回復）が不十分となるおそれがある。

【0084】

そこで、環境光センサ（明るさ検出部）１５０によって周辺環境の明るさをリアルタイムで検出し、その検出結果に基づくフィードバック制御を実行することで、運転者の覚醒状態の維持や注意力の回復に適切な強度で視覚刺激を呈示することができる。

【0085】

その場合、視覚刺激像の強度（輝度）は、例えば、検出した周辺環境の明るさを若干量だけ上回る値、又は運転者の弁別閾値を若干量だけ上回る値の少なくとも一方を満足する値に設定する。上述したように、運転者の弁別閾値は、ＨＵＤ表示の背景輝度（自車両３０１の前方風景の明るさ）、つまり運転者の向いている車両の前方方向においてＨＵＤ表示と重畳する領域の輝度とその周辺の輝度によって変化する。このため、背景輝度は、予めテスト走行などで取得した走行環境での背景輝度からの分布から、任意の固定値を定義してもよいし、テスト走行などで取得した走行環境での背景輝度からの分布とその背景輝度に対して官能評価などにより用意したルックアップテーブル（ＬＵＴ）に基づいて決定してもよい。すなわち、図１２に示すように、制御系２５０の記憶部２５０Ｂが記憶したルックアップテーブル（ＬＵＴ）２５０Ａに基づいて、視覚刺激像の強度を決定してもよい。あるいは、図３１に示すように、環境光センサ１５０の検出結果に基づいて視覚刺激像の強度を計算する視覚刺激像強度計算部２５０Ｃを制御系２５０に設けてもよい。

【0086】

なお、周辺環境の明るさは、環境光センサ１５０により検出する場合の他、前方撮影用カメラ１１０の撮影画像に基づいて検出してもよい。前方撮影用カメラ１１０の設置位置は車内でも車外でも可能であるが、車内に設置する場合は、フロントガラスによる影響（例えば屈折や回折）を考慮することが好ましい。

【0087】

以上の実施形態では、表示装置１を車両用ＨＵＤ装置に適用した場合を例示して説明したが、表示装置１の適用対象には自由度があり、種々の設計変更が可能である。例えば、表示装置１を運転者（ユーザ）の身体に装着して使用されるウェアラブルデバイス（例えばヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ））に適用することも可能である。

【0088】

以上の実施形態では、複数の視覚刺激として主に２つの視覚刺激像を適用する場合を例示して説明したが、複数の視覚刺激像の数は２つに限定されるものではなく、ユーザの視線移動を誘起しなければ、３つ以上の数の視覚刺激像を適用することも可能である。

【符号の説明】

【0089】

１ 表示装置（車両用ＨＵＤ装置）
１０ 第１の視覚刺激像（複数の視覚刺激像、メイン刺激像、第２の像）
２０ 第２の視覚刺激像（複数の視覚刺激像、メイン刺激像、第２の像）
３０ 切替スイッチ（切替部）
４０ 視野検出センサ（視野検出部、視線移動検出部）
５０ 視覚刺激呈示部
６０ ダミー刺激像（第２の像）
１５０ 環境光センサ（明るさ検出部）
２５０ 制御系（制御部）
７００ 表示エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】