特許 6443677 ヘッドマウントディスプレイ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6443677

(24)【登録日】2018年12月7日

(45)【発行日】2018年12月26日

(54)【発明の名称】ヘッドマウントディスプレイ装置

(51)【国際特許分類】

   H04N 5/64 20060101AFI20181217BHJP

   G09G 5/00 20060101ALI20181217BHJP

   G09G 5/10 20060101ALI20181217BHJP

   B60K 35/00 20060101ALI20181217BHJP

   B60K 37/06 20060101ALI20181217BHJP

【ＦＩ】

   H04N5/64 511A

   G09G5/00 550C

   G09G5/00 510D

   G09G5/00 555D

   G09G5/00 550X

   G09G5/00 550H

   G09G5/10 B

   B60K35/00 A

   B60K37/06

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2015-57277(P2015-57277)

(22)【出願日】2015年3月20日

(65)【公開番号】特開2016-171550(P2016-171550A)

(43)【公開日】2016年9月23日

【審査請求日】2018年1月24日

(31)【優先権主張番号】特願2015-49921(P2015-49921)

(32)【優先日】2015年3月12日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000231512

【氏名又は名称】日本精機株式会社

(72)【発明者】

【氏名】石川 輝子

(72)【発明者】

【氏名】笹島 郁代

(72)【発明者】

【氏名】▲高▼橋 悠樹

(72)【発明者】

【氏名】牧野 忠慈

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１４−２２５７２７（ＪＰ，Ａ）

【文献】 特開２０１４−０６６９２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／６４

Ｇ０２Ｂ ２７／０１

Ｇ０２Ｂ ２７／０２

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／１０

Ｂ６０Ｋ ３５／００

Ｂ６０Ｋ ３７／０６

(57)【特許請求の範囲】

【請求項1】

使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、
使用者の注視位置を検出する注視位置検出部と、
表示画像を示す表示光を出射する表示器と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者が注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とするヘッドマウントディスプレイ装置。

【請求項2】

前記複数の表示ゾーンとして、第１の表示ゾーンとこの第１の表示ゾーンよりも奥行き側に位置する第２の表示ゾーンが設定され、
前記外部サーバにおいて、前記第１の表示ゾーンに関連付けられて使用者及び／あるいは使用者と共に移動する移動体に関する第１の情報が記憶されており、前記第２の表示ゾーンに関連付けられて風景に重畳する第２の情報が記憶されている、ことを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。

【請求項3】

前記複数の表示ゾーンとして、さらに前記第１の表示ゾーンよりも手前側に位置する第３の表示ゾーンが設定され、
前記外部サーバにおいて、前記第３の表示ゾーンに関連付けられて警告状態に関する第３の情報が記憶されている、ことを特徴とする請求項２に記載のヘッドマウントディスプレイ装置。

【請求項4】

前記制御部は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、前記注視位置情報に係わらず前記表示画像の虚像の結像位置を前記第３の表示ゾーンの奥行き位置に一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから前記第３の情報を示す画像情報を取得して、前記表示器に取得した前記第３の情報を示す画像情報に応じた前記表示画像を表示させる、ことを特徴とする請求項３に記載のヘッドマウントディスプレイ装置。

【請求項5】

前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記第３の情報が前記情報よりも強調されるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項４に記載のヘッドマウントディスプレイ装置。

【請求項6】

前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記情報が前記第３の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項４に記載のヘッドマウントディスプレイ装置。

【請求項7】

前記制御部は、取得した前記画像情報に応じた前記表示画像を前記表示器に表示させる際に、前記注視位置情報に基づいて前記表示画像に含まれる前記情報のうちその虚像が前記使用者の注視位置近傍に位置する情報をその虚像が前記使用者の注視位置近傍よりも外側に位置する情報に対して強調されるように前記表示器に前記表示画像を表示させる、ことを特徴とする請求項１または請求項２に記載のヘッドマウントディスプレイ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視認者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ（Head Mounted Display；ＨＭＤ）装置に関する。

【背景技術】

【0002】

従来より、視認者に風景と重ねて虚像を視認させる透過型のＨＭＤ装置が知られている（例えば特許文献１参照）。ＨＭＤ装置は、頭部に装着する表示装置であり、表示器からの表示光を投射光学系や導光体などを用いて使用者に投射し、使用者に表示光が示す表示画像の虚像を視認させるものである。使用者は、ＨＭＤ装置による虚像を前方の実風景を重ねて視認することができる。また、ＨＭＤ装置は、拡張現実（Augmented Reality；ＡＲ）と称される技術を適用することができる。すなわち、表示画像として実風景に関連するＡＲ画像を表示することで、実風景に情報を付加することができる。

【0003】

また、ＨＭＤ装置として、使用者が視認する虚像の結像位置を変更可能な技術が特許文献２及び３に開示されている。特許文献２に開示される技術は、虚像距離制御手段によって表示パネルと拡大光学部材の間隔を機械的に切り換えることで虚像の結像位置を変更するものである。また、特許文献３に開示される技術は、一対の表示駆動部からの表示光により形成される像の射出領域を移動させることで画像処理によって虚像の結像位置を変更するものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−１１９７８６号公報

【特許文献2】特開平１０−２６２１６５号公報

【特許文献3】特開２０１５−３２１３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

前述したように、透過型のＨＭＤ装置は、虚像によって実風景と重ねて情報を提供することができるものであるが、使用者の視界に常時虚像が視認されるため、視認される情報が多くなると使用者にとって煩わしく、使用者が情報を整理できずに各情報の認識性が低下するという問題点があった。

【0006】

本発明は、上記の問題点に鑑みてなされたものであり、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なＨＭＤ装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のヘッドマウントディスプレイ装置は、前述の課題を解決するために、使用者に風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、
表示画像を示す表示光を出射する表示器と、
使用者の注視位置を検出する注視位置検出部と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した画像情報に応じた表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報に基づいて使用者の注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように前記結像位置調整部を駆動させ、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、前記表示器に取得した前記画像情報に応じた前記表示画像を表示させる、ことを特徴とする。

【発明の効果】

【0008】

本発明は、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の第一の実施形態であるヘッドマウントディスプレイ装置の概観を示す図である。

【図2】同上ヘッドマウントディスプレイ装置の電気的構成を示すブロック図である。

【図3】同上ヘッドマウントディスプレイ装置を装着した使用者が車両に搭乗した状態を示す図である。

【図4】同上ヘッドマウントディスプレイ装置において仮想的に設定される表示ゾーンと表示ゾーンに関連付けられた情報の一例を示す図である。

【図5】同上ヘッドマウントディスプレイ装置における表示処理を示すフローチャート図である。

【図6】同上ヘッドマウントディスプレイ装置の表示例を示す図である。

【図7】同上ヘッドマウントディスプレイ装置の他の表示例を示す図である。

【図8】同上ヘッドマウントディスプレイ装置における警告表示処理を示すフローチャート図である。

【図9】同上ヘッドマウントディスプレイ装置の警告表示処理による表示例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。

【0011】

図１は、本発明の第一の実施形態に係るヘッドマウントディスプレイ装置（以下、ＨＭＤ装置ともいう）１００の概観を示す図であり、図２はＨＭＤ装置１００の電気的構成を示す図である。
ＨＭＤ装置１００は、制御部１０と、注視位置検出部２０と、撮像部３０と、位置情報取得部４０と、状態情報取得部５０と、通信部６０と、表示器７０と、結像位置調整部８０と、を備える。
ＨＭＤ装置１００は、使用者Ｕの頭部に装着される眼鏡型の表示装置である。ＨＭＤ装置１００は、クラウドサーバ（外部サーバ）２００と無線通信で接続され、ＨＭＤ装置１００とクラウドサーバ２００とからなる表示システムを構成している。クラウドサーバ２００には、使用者Ｕの個人情報や身体情報などの生体情報や、地図情報、後述する第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３にそれぞれ関連付けられた各種情報を示す画像情報がネットワーク通信によって蓄積されている。ＨＭＤ装置１００は、後述する表示処理によって、クラウドサーバ２００から任意の画像情報を受信して各種情報を示す表示画像を表示し、表示画像を示す表示光を図示しないレンズや光学部材などを介して使用者Ｕの眼に入射させ、使用者Ｕに前方の風景と重ねて表示画像の虚像を視認させる。

【0012】

制御部１０は、例えばマイクロコンピュータからなり、制御部１０が実行する処理（ＨＭＤ装置１００全体の制御など）を実際に行うＣＰＵ（Central Processing Unit）と、ＣＰＵのメインメモリとして機能するＲＡＭ（Random Access Memory）と、制御部１０に後述の処理などを実行させる各種プログラムを記憶するＲＯＭ（Read Only Memory）と、制御部１０に入出力される情報（信号）をＣＰＵ用にデジタル変換したり出力用にアナログ変換したりする各種変換器と、を備える。制御部１０は、ＣＰＵに加えて、制御部１０が行う処理の一部をＣＰＵに代わって実行するための各種専用回路（例えば、画像処理回路など）を備えても良い。

【0013】

制御部１０は、図１に示すように、使用者Ｕの前方に奥行き方向の異なる第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３を仮想的に設定している。
第１の表示ゾーンＺ１は、第２の表示ゾーンＺ２と第３の表示ゾーンＺ３との間に位置する表示ゾーンである。第２の表示ゾーンＺ２は、第１の表示ゾーンＺ１よりも奥行き側（最も奥行き側）に位置する表示ゾーンである。第３の表示ゾーンＺ３は、第１の表示ゾーンＺ１よりも使用者Ｕ側（最も手前側）に位置する表示ゾーンである。
各表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置は、任意に設定されるものであるが、図３に示すように、使用者Ｕが車両Ｃの運転席に座って車両Ｃ前方を見た状態を例に挙げると以下のように設定することができる。すなわち、第３の表示ゾーンＺ３は、使用者Ｕ（運転者）とインパネＣ２との間に位置するステアリングＣ１付近を奥行き位置とする。第１の表示ゾーンＺ１は、ステアリングＣ１よりも奥行き側のインパネＣ２付近を奥行き位置とする。第２の表示ゾーンＺ２は、インパネＣ２よりも奥行き側の、フロントガラスから視認できる使用者Ｕから１５ｍ先の風景付近を奥行き位置とする。なお、以上の説明は、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置の例を説明したものであって、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３は、車両の各部と重なる部分にのみ設定されるものではなく、使用者Ｕの顔が向いている先に設定される。

【0014】

前述のように、クラウドサーバ２００には、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３に関連付けられた情報を示す画像情報が記憶されている。図４は表示ゾーンＺ１、Ｚ２、Ｚ３に関連付けられた情報の一例を示すものである。第１の表示ゾーンＺ１、第２の表示ゾーンＺ２、第３の表示ゾーンＺ３は、第３の表示ゾーンＺ３、第１の表示ゾーンＺ１、第２の表示ゾーンＺ２の順に優先度が高い情報が関連付けられている。すなわち、第１の表示ゾーンＺ１を基準として、より優先度の低い情報が第２の表示ゾーンＺ２に関連付けられており、より優先度が高い情報が第３の表示ゾーンＺ３に関連付けられている。第１の表示ゾーンＺ１には、２番目に優先度の高い（優先度「中」）、例えば使用者Ｕの状態（心拍数、脈拍、脳波など）や使用者Ｕが搭乗する車両Ｃ（使用者Ｕと共に移動する移動体の一例）の状態（走行速度、エンジン回転数、残燃料など）といった使用者Ｕ及び使用者と共に移動する移動体に関する情報（第１の情報）が関連付けられている。第２の表示ゾーンＺ２には、最も優先度の低い（優先度「低」）、例えば周辺の店舗情報や経路案内情報、ヒヤリハット情報といった風景に重畳して情報を付加するＡＲ情報（第２の情報）が関連付けられている。第３の表示ゾーンＺ３には、最も優先度の高い（優先度「高」）、例えば使用者Ｕの体調不良や車両Ｃの故障などの警告情報といった緊急度の高い警告状態に関する情報（第３の情報）が関連付けられている。

【0015】

注視位置検出部２０は、視線検出や眼軸測定により使用者Ｕの注視位置を検出するものである。視線検出の場合は、ＣＣＤカメラなどで使用者Ｕの眼を撮像し、画像処理技術のパターンマッチング処理によって注視位置として使用者Ｕの視線方向を検出する。眼軸測定の場合は、使用者Ｕの眼球に超音波を照射し、眼の水晶体前面、後面、網膜前面までの距離をエコーの伝搬時間から算出することによって、眼軸長（角膜、前房、水晶体、硝子体の組織の軸長を含んだ眼の角膜前面から網膜前面までの長さ）及び水晶体厚を測定し、その測定結果から注視位置として使用者Ｕの焦点位置を検出する。注視位置検出部２０は、使用者Ｕの注視位置情報を制御部１０に送信する。

【0016】

撮像部３０は、例えばＣＣＤカメラなどからなり、使用者Ｕ前方の風景画像を撮像するものである。撮像部３０は、使用者Ｕ前方の風景画像を撮像した撮像情報を制御部１０に送信する。

【0017】

位置情報取得部４０は、例えばＧＰＳアンテナを含み、使用者Ｕの現在位置を取得するものである。位置情報取得部４０は、使用者Ｕの現在位置を示す位置情報を制御部１０に送信する。

【0018】

状態情報取得部５０は、使用者Ｕの状態を検出する各種センサや使用者Ｕと共に移動する移動体（車両Ｃ）と接続され、使用者Ｕの状態を示す使用者状態情報や移動体の状態示す移動体状態情報を取得し、制御部１０に送信する。なお、使用者Ｕの状態としては、例えば心拍数、脈拍、脳波などが挙げられる。また、移動体が車両Ｃである場合、移動体の状態としては、走行速度、エンジン回転数、残燃料、走行距離などが挙げられる。

【0019】

通信部６０は、クラウドサーバ２００との間で無線通信を行う送信部及び受信部からなり、制御部１０からの注視位置情報、後述する特定表示ゾーン情報、撮像情報、位置情報、状態情報等の各種情報をクラウドサーバ２００に送信し、クラウドサーバ２００から画像情報を受信し、制御部１０に送信する。

【0020】

表示器７０は、例えばＴＦＴ型の液晶表示器や有機ＥＬ表示器からなり、所定の表示画像を表示して、表示画像を表す表示光を出射するものである。

【0021】

結像位置調整部８０は、使用者Ｕに視認される表示画像の虚像の結像位置を変更可能とするものである。具体的には、一例として、表示器７０から使用者Ｕまでの表示光の光路長を変更するべく、表示器７０を移動させて表示器７０と図示しないレンズとの間の距離を変更可能とするモータなどから構成される。また、表示器７０とレンズとの間に光学部材が設けられる場合は、この光学部材の位置を変更するものであってもよい。さらに、結像位置の調整として、画像処理を行うものであってもよく、左右の視差によって結像位置を変更するために左右の眼に入射させる画像の位置を調整するものや、任意の焦点距離で画像が鮮明に視認されるように画像をぼかして表示するものであってもよい。この場合、制御部１０が結像位置調整部８０を兼ねても良い。したがって、結像位置の調整、変更には使用者Ｕの錯覚による場合も含む。

【0022】

次に、図５を用いてＨＭＤ装置１００の注視位置に基づく通常表示処理について説明する。

【0023】

まず、ステップＳ１０１において、制御部１０は、注視位置検出部２０から使用者Ｕの注視位置を示す注視位置情報を取得する。なお、情報の取得には、受信する場合のほか受信した情報に基づいて算出する場合を含む。

【0024】

次に、ステップＳ１０２において、制御部１０は、注視位置情報に基づいて第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３のうちから、使用者Ｕが注視している表示ゾーン（以下、注視表示ゾーンともいう）を特定する。具体的に、制御部１０は、奥行き位置が最も注視位置に近い表示ゾーンを注視表示ゾーンに特定する。なお、注視位置情報に基づいて、注視表示ゾーンがないと判断する場合を含んでもよい。

【0025】

また、ステップＳ１０３において、制御部１０は、撮像部３０から使用者Ｕ前方の風景画像を撮像した撮像情報を取得する。

【0026】

また、ステップＳ１０４において、制御部１０は、位置情報取得部４０から使用者Ｕの現在位置を示す位置情報を取得する。

【0027】

また、ステップＳ１０５において、制御部１０は、状態情報取得部５０から使用者Ｕ及び使用者Ｕと共に移動する移動体の状態を示す使用者状態情報及び移動体状態情報（以下、まとめて状態情報ともいう）を取得する。

【0028】

次に、ステップＳ１０６において、制御部１０は、ステップＳ１０１、Ｓ１０３〜Ｓ１０５で取得した注視位置情報、撮像情報、状態情報に基づいて、新たに警告状態が発生したか否かを判定する。なお、本実施形態における警告状態とは、第３の表示ゾーンＺ３に表示する、緊急度の高い情報が示す内容が発生した状態を意味している。制御部１０は、上述の情報の他にも外部から警告状態の発生を示す情報を受信して、新たに警告状態が発生したか否かを判定してもよい。ステップＳ１０６において新たに警告状態が発生していないと判定されると（ステップＳ１０６；Ｎｏ）、制御部１０はステップＳ１０７以降の処理を実行し、新たに警告状態が発生したと判定されると（ステップＳ１０６；Ｙｅｓ）、制御部はステップＳ１１１の警告表示処理を実行する。警告表示処理については後で詳述する。

【0029】

ステップＳ１０７において、制御部１０は、ステップＳ１０２で決定した注視表示ゾーンを示す注視位置表示ゾーン情報、ステップＳ１０１、Ｓ１０３〜Ｓ１０５で取得した注視位置情報、撮像情報、状態情報を通信部６０を介してクラウドサーバ２００に送信する。
ＨＭＤ装置１００（の通信部６０）からこれらの情報を受信したクラウドサーバ２００は、受信した注視表示ゾーン情報及び各種情報に基づいて、自身に蓄積される画像情報から特定された表示ゾーンに関連付けられた情報を示す画像情報を抽出する。具体的に、注視表示ゾーンが第１の表示ゾーンＺ１である場合、クラウドサーバ２００は、抽出する情報の種別を第１の表示ゾーンＺ１に関連付けられた「使用者Ｕ及び移動体に関する情報」とし、さらに、状態情報に基づいて表示するべき画像情報（例えば状態情報の値や程度を表す数字、文字、図柄など）を抽出する。また、注視表示ゾーンが第２の表示ゾーンＺ２である場合、クラウドサーバ２００は、抽出する情報の種別を第２の表示ゾーンＺ２に関連付けられた「風景に重畳するＡＲ情報」とし、さらに、注視位置情報、撮像情報及び位置情報に基づいて表示するべき画像情報（例えば、使用者Ｕの注視位置周辺の店舗情報、道路に重畳する経路案内マーク、現在位置周辺のヒヤリハット情報）を抽出する。また、注視表示ゾーンが第３の表示ゾーンＺ３である場合、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報（例えば使用者Ｕの体調不良や移動体の故障、不調を報知する文字、図柄など）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。

【0030】

次に、ステップＳ１０８において、制御部１０は、通信部６０を介してクラウドサーバ２００が抽出した画像情報を受信する。なお、ＨＭＤ装置１００は、クラウドサーバ２００から各表示ゾーンＺ１〜Ｚ３に関連付けられた情報を示す画像情報の一部を予め受信して内部の記憶部（図示しない）に記憶しておき、ステップＳ１０２で決定した注視表示ゾーンを示す注視位置表示ゾーン情報、ステップＳ１０１、Ｓ１０３〜Ｓ１０５で取得した注視位置情報、撮像情報、状態情報に基づいて記憶部から注視表示ゾーンに関連付けられた情報のうち表示するべき画像情報を読み出してもよい。

【0031】

次に、ステップＳ１０９において、制御部１０は、ステップＳ１０２で特定した注視表示ゾーンの奥行き位置と表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させる。

【0032】

次に、ステップＳ１１０において、制御部１０は、表示器７０にステップＳ１０７でクラウドサーバ２００から受信した画像情報に応じた表示画像を表示させる（表示画像を更新させる）。

【0033】

以上の処理を繰り返し実行することによって、ＨＭＤ装置１００は、使用者Ｕの注視位置に応じて、注視位置に関連する情報を虚像として使用者Ｕに視認させることができる。これにより、使用者Ｕが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。

【0034】

図６は、使用者Ｕが車両Ｃを運転している場合のＨＭＤ装置１００の表示例を示すものである。なお、図６では使用者Ｕに視認される表示画像の虚像を示している。図６（ａ）は、注視表示ゾーンが第１の表示ゾーンＺ１である場合の例を示す。図６（ａ）に示す例では、使用者Ｕ及び移動体に関する情報として、車両Ｃの走行速度（６０Ｋｍ／ｈ）と使用者Ｕの脈拍（８０ｂｐｍ）を示す表示画像が表示器７０に表示され、その表示画像の虚像Ｖ１が使用者Ｕに視認される。図６（ｂ）は、注視表示ゾーンが第２の表示ゾーンＺ２である場合の例を示す。図６（ｂ）に示す例では、風景に重畳するＡＲ情報として、経路案内マーク（矢印マーク）と駐車場マーク（「Ｐ」を含むアイコン）を示す表示画像が表示器７０に表示され、その表示画像の虚像Ｖ２が使用者Ｕに視認される。図６（ｃ）は、注視表示ゾーンが第３の表示ゾーンＺ３である場合の例を示す。図６（ｃ）に示す例では、緊急度の高い警告状態に関する情報として、残燃料の減少（警告状態）を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字）を示す表示画像が表示器７０に表示され、その表示画像の虚像Ｖ３が使用者Ｕに視認される。

【0035】

図７は、使用者Ｕが車両Ｃを運転している場合のＨＵＤ装置１００の他の表示例を示すものである。他の表示例では、ステップＳ１０１で取得した注視位置情報に基づいて、表示画像に含まれる情報のうちその虚像が注視位置Ｐ近傍に位置する情報をその虚像が使用者Ｕの注視位置Ｐ近傍よりも外側に位置する情報に対して強調されるように表示器７０に表示画像が表示される。本実施形態においては、制御部１０は、注視位置情報と表示器７０に表示される表示画像における情報の位置とから、その虚像の少なくとも一部が使用者Ｕの注視位置Ｐを含む注視領域Ｅの内側に位置すると判断される場合に使用者Ｕの注視位置Ｐ近傍に位置すると判断し、その虚像が注視領域Ｅの外側に位置すると判断される場合に使用者Ｕの注視位置Ｐ近傍の外側に位置すると判断する。なお、注視領域Ｅは注視位置Ｐを中心として車両Ｃの水平方向（使用者Ｕの前後方向に対して垂直な方向）に広がる円状の範囲である。なお、図７では使用者Ｕに視認される表示画像の虚像を示している。図７は、注視表示ゾーンが第２の表示ゾーンＺ２である場合の例を示す。図７に示す例では、風景に重畳するＡＲ情報として、経路案内マーク（矢印マーク）と駐車場マーク（「Ｐ」を含むアイコン）を含む表示画像が表示器７０に表示され、その表示画像の虚像Ｖ２２が使用者Ｕに視認される。さらに、表示画像に含まれるＡＲ情報のうち、経路案内マークはその虚像の一部が注視領域Ｅの内側に位置し、駐車場マークはその虚像が注視領域Ｅの外側に位置しており、経路案内マークが駐車場マークよりも強調されている表示画像が表示器７０に表示される。ここで、特定の情報を他の情報よりも強調するとは、特定の情報が他の情報よりも鮮明に使用者Ｕに視認されることを意味し、その具体的な方法としては、特定の情報の表示輝度を他の情報よりも高くする、表示色を異ならせるなどのほか、他の情報の表示輝度を下げる、他の情報の表示色をカラーからモノクロ（白黒）とする、他の情報をぼかして表示する（ピントをずらす）など他の情報の視認性を強調する特定の情報よりも低下させて相対的に強調する方法がある。なお、かかる他の表示例では、注視表示ゾーンが第１、第３の表示ゾーンＺ１、Ｚ３である場合も同様に、ステップＳ１０１で取得した注視位置情報に基づいて、表示画像に含まれる情報のうちその虚像の少なくとも一部が使用者Ｕの注視位置Ｐを含む注視領域Ｅの内側、すなわち注視位置Ｐ近傍に位置する情報をその虚像が使用者Ｕの注視領域Ｅよりも外側に位置する情報に対して強調されるように表示器７０に表示画像が表示され、その虚像が使用者Ｕに視認される。

【0036】

次に、ステップＳ１１１における警告表示処理について図８を用いて説明する。
まず、ステップＳ１２１において、制御部１０は、警告状態の発生を示す警告状態発生情報、ステップＳ１０１、Ｓ１０３〜Ｓ１０５で取得した注視位置情報、撮像情報、状態情報を通信部６０を介してクラウドサーバ２００に送信する。
ＨＭＤ装置１００（の通信部６０）からこれらの情報を受信したクラウドサーバ２００は、受信した警告状態発生情報及び各種情報に基づいて、自身に蓄積される画像情報から第３の表示ゾーンＺ３に関連付けられた情報を示す画像情報を抽出する。具体的に、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、状態情報などに基づいて表示するべき画像情報（新たに発生した警告状態に関する画像情報）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。

【0037】

次に、ステップＳ１２２において、制御部１０は、通信部６０を介してクラウドサーバ２００が抽出した画像情報を受信する。このとき、クラウドサーバ２００から受信する画像情報は、第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報となる。

【0038】

次に、ステップＳ１２３において、制御部１０は、第３の表示ゾーンＺ３の奥行き位置と表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させる。

【0039】

次に、ステップＳ１２４において、制御部１０は、表示器７０にステップＳ１０７でクラウドサーバ２００から受信した、第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報に応じた表示画像を表示させる（表示画像を更新させる）。

【0040】

以上の処理を実行することによって、ＨＭＤ装置１００は、警告状態が新たに発生した場合には、使用者Ｕの注視位置に係わらず、優先順位の高い情報を虚像として使用者Ｕに視認させることができる。これにより、新たに発生した優先順位の高い情報が使用者Ｕに近い結像位置で自動的に表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。なお、警告状態が継続する場合、制御部１０は、ステップＳ１０１からの処理を繰り返し実行することで、再び使用者Ｕの注視表示ゾーンに関連付けられた情報を示す表示画像の表示を行う。すなわち、使用者Ｕの注視位置が第３の表示ゾーンＺ３に維持されない場合は、虚像の結像位置が他の表示ゾーンに移動し、また、視認される虚像はその表示内容が緊急度の高い警告状態に関する情報から使用者Ｕの注視表示ゾーンに関連付けられた情報に切り替わることとなる。

【0041】

図９は、使用者Ｕが車両Ｃを運転している場合のＨＭＤ装置１００の警告表示処理による表示例を示すものである。なお、図８においては使用者Ｕに視認される表示画像の虚像を示している。図９（ａ）に示す第１の例では、警告表示処理により、使用者Ｕの注視位置に応じた情報の表示に替えて、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））のみを含む表示画像が表示器７０に表示され、その表示画像の虚像Ｖ４が使用者Ｕに視認される。図９（ｂ）に示す第２の例では、警告表示処理により、使用者Ｕの注視表示ゾーンに関連付けられた情報の表示（風景に重畳するＡＲ情報（経路案内マーク（矢印マーク）及び駐車場マーク（「Ｐ」を含むアイコン））に、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））が使用者Ｕ側となるように重なり、かつ緊急度の高い警告状態に関する情報が使用者Ｕの注視表示ゾーンに関連付けられた情報よりも強調されている表示画像が表示器７０に表示され、その表示画像の虚像Ｖ５が使用者Ｕに視認される。情報を強調する具体的な方法としては、その表示輝度を他の情報よりも高くする、表示色を異ならせるなど前述の方法が用いられる。図９（ｃ）に示す第３の例では、警告表示処理により、使用者Ｕの注視表示ゾーンに関連付けられた情報の表示（風景に重畳するＡＲ情報（経路案内マーク（矢印マーク）及び駐車場マーク（「Ｐ」を含むアイコン））に、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））が使用者Ｕ側となるように重なり、かつ、使用者Ｕの注視表示ゾーンに関連付けられた情報が緊急度の高い警告状態に関する情報よりも視認性を下げられた表示画像が表示器７０に表示され、その表示画像の虚像Ｖ６が使用者Ｕに視認される。情報の視認性を下げる具体的な方法としては、その表示輝度を他の情報よりも低くする、彩度及び／あるいは明度を下げる、表示をぼかす（ピントをずらす）、一部（例えば緊急度の高い警告状態に関する情報と重なる部分及び周辺部分）を非表示とする、大きさを縮小するなどの方法がある。さらに、図９（ｄ）に示す例の表示画像の虚像Ｖ７のように、情報の視認性を下げる方法として、使用者Ｕの注視表示ゾーンに関連付けられた情報を緊急度の高い警告状態に関する情報と重ならない表示位置に移動させてもよい。

【0042】

本実施形態におけるＨＭＤ装置１００は、使用者Ｕに風景と重ねて虚像を視認させるヘッドマウントディスプレイ装置であって、使用者Ｕの注視位置を検出する注視位置検出部２０と、表示画像を示す表示光を出射する表示器７０と、クラウドサーバ２００と通信可能な通信部６０と、通信部６０を介してクラウドサーバ２００から取得した画像情報に応じた表示画像を表示器７０に表示させる制御部１０と、前記表示光によって使用者Ｕに視認される前記表示画像の虚像の結像位置を調整可能な結像位置調整部８０と、を備え、
制御部１０は、使用者Ｕ前方に奥行き方向の位置が異なる複数の表示ゾーンＺ１、Ｚ２、Ｚ３を仮想的に設定し、注視位置検出部２０からの注視位置情報に基づいて使用者Ｕが注視している表示ゾーンを特定し、特定した前記表示ゾーンの奥行き位置と前記表示画像の虚像の結像位置とが一致するように結像位置調整部８０を駆動させ、通信部６０を介してクラウドサーバ２００から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、表示器７０に取得した前記画像情報に応じた前記表示画像を表示させる。

【0043】

これによれば、使用者Ｕが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の認識性を向上することができる。

【0044】

また、ＨＭＤ装置１００は、複数の表示ゾーンとして、第１の表示ゾーンＺ１とこの第１の表示ゾーンＺ１よりも奥行き側に位置する第２の表示ゾーンＺ２が設定され、
クラウドサーバ２００において、第１の表示ゾーンＺ１に関連付けられて使用者Ｕ及び／あるいは使用者Ｕと共に移動する移動体（車両Ｃ）に関する第１の情報が記憶されており、第２の表示ゾーンＺ２に関連付けられて風景に重畳する第２の情報が記憶されている。
またさらに、ＨＭＤ装置１００は、複数の表示ゾーンとして、さらに第１の表示ゾーンＺ１よりも手前側に位置する第３の表示ゾーンＺ３が設定され、
クラウドサーバ２００において、第３の表示ゾーンＺ３に関連付けられて警告状態に関する第３の情報が記憶されている。
これによれば、使用者Ｕが注視する位置に応じて優先度の異なる情報が自動的に切り換えて表示されるため、使用者Ｕが虚像によって付加される情報を容易に整理でき、情報の視認性を向上することができる。

【0045】

また、ＨＭＤ装置１００において、制御部１０は、取得した前記画像情報に応じた前記表示画像を表示器７０に表示させる際に、前記注視位置情報に基づいて前記表示画像に含まれる前記情報のうちその虚像が使用者Ｕの注視位置Ｐ近傍に位置する情報をその虚像が使用者Ｕの注視位置Ｐ近傍よりも外側に位置する情報に対して強調されるように表示器７０に前記表示画像を表示させる。
これによれば、使用者Ｕが虚像によって付加される情報のうち、より注視位置に近い情報を瞬時に認識することができ、情報の視認性を向上することができる。

【0046】

また、ＨＭＤ装置１００において、制御部１０は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、前記注視位置情報に係わらず前記表示画像の虚像の結像位置を第３の表示ゾーンＺ３の奥行き位置に一致するように結像位置調整部８０を駆動させ、通信部６０を介してクラウドサーバ２００から前記第３の情報を示す画像情報を取得して、表示器７０に取得した前記第３の情報を示す画像情報に応じた前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示でき、状況に応じた最適な情報を提供することができる。

【0047】

また、ＨＭＤ装置１００において、制御部１０は、前記警告状態が発生したと判定し、表示器７０に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視位置情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記第３の情報が前記情報よりも強調されるように前記表示器に前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。

【0048】

また、ＨＭＤ装置１００において、制御部１０は、前記警告状態が発生したと判定し、表示器７０に前記第３の情報を示す画像情報に応じた前記表示画像を表示させる際に、前記注視情報に基づいて特定していた前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記情報が前記第３の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。

【産業上の利用可能性】

【0049】

本発明は、視認者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ装置に好適である。

【符号の説明】

【0050】

１００ ヘッドマウントディスプレイ装置（ＨＭＤ装置）
１０ 制御部
２０ 注視位置検出部
３０ 撮像部
４０ 位置情報取得部
５０ 状態情報取得部
６０ 通信部
７０ 表示器
８０ 結像位置調整部
Ｃ 車両
Ｕ 使用者
Ｖ１〜Ｖ７、Ｖ２２ 表示画像の虚像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】