特開 2023-172025 ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイの表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172025

(43)【公開日】2023-12-06

(54)【発明の名称】ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイの表示方法

(51)【国際特許分類】

   G02B 27/02 20060101AFI20231129BHJP

   H04N 5/64 20060101ALI20231129BHJP

【ＦＩ】

G02B27/02 Z

H04N5/64 511A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022083570

(22)【出願日】2022-05-23

(71)【出願人】

【識別番号】723005698

【氏名又は名称】船井電機株式会社

(74)【代理人】

【識別番号】100104433

【弁理士】

【氏名又は名称】宮園 博一

(72)【発明者】

【氏名】竹本 誠二

【テーマコード（参考）】

2H199

【Ｆターム（参考）】

2H199CA05

2H199CA23

2H199CA25

2H199CA42

2H199CA69

2H199CA74

2H199CA92

2H199CA94

(57)【要約】

【課題】ユーザの注視対象が視野内の対象物から表示画像の虚像に変更されたとき、ユーザの焦点を調整する時間を短縮することが可能なヘッドマウントディスプレイ装置を提供する。
【解決手段】このＨＭＤ装置１００は、画像を表示する表示部１４と、ユーザ４０の視野の一部に重なるように画像の虚像６０を投影するレンズ３５を含む投影部１６と、ユーザ４０の目２４を撮像する赤外ＣＣＤ１２と、目２４からユーザ４０が視認する虚像６０までの距離である投影距離Ｄ１を調整する投影距離調整部１５と、赤外ＣＣＤ１２により撮像された目２４のＭＲＤ－２値Ｄ４を取得し、取得したＭＲＤ－２値Ｄ４に応じた投影距離Ｄ１となるように投影距離調整部１５を制御する制御部１１と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像を表示する表示部と、
ユーザの視野の一部に重なるように前記画像の虚像を投影するレンズを含む投影部と、
前記ユーザの目を撮像する撮像部と、
前記目から前記ユーザが視認する前記虚像までの距離である投影距離を調整する投影距離調整部と、
前記撮像部により撮像された前記目の瞳孔と下瞼との間の第１距離を取得し、取得した前記第１距離に応じた前記投影距離となるように前記投影距離調整部を制御する制御部と、を備える、ヘッドマウントディスプレイ装置。

【請求項2】

前記制御部は、前記第１距離が大きいほど、前記虚像の前記投影距離を大きくするように前記投影距離調整部を制御するように構成されている、請求項１に記載のヘッドマウントディスプレイ装置。

【請求項3】

前記制御部は、前記第１距離に基づいて、前記目から前記ユーザが視認する対象までの距離である第２距離を取得し、前記第２距離と前記投影距離とが略一致するように、前記投影距離を調整するように前記投影距離調整部を制御するように構成されている、請求項２に記載のヘッドマウントディスプレイ装置。

【請求項4】

前記制御部は、
前記第１距離が所定距離より小さいときは、前記第２距離と前記投影距離とが略一致するように、前記投影距離を調整するように前記投影距離調整部を制御するように構成され、
前記第１距離が前記所定距離より大きいときは、前記投影距離を無限遠に調整する、または、前記投影距離を所定の上限距離に固定するように前記投影距離調整部を制御するように構成されている、請求項３に記載のヘッドマウントディスプレイ装置。

【請求項5】

前記表示部は、移動体による移動に伴う前記移動体の移動経路の情報を含むナビゲーション情報画像を表示するように構成されている、請求項１に記載のヘッドマウントディスプレイ装置。

【請求項6】

前記制御部は、前記撮像部により撮像された前記瞳孔の大きさと虹彩の大きさとの両方に基づいて、前記表示部の表示輝度を調整する制御を行うように構成されている、請求項１に記載のヘッドマウントディスプレイ装置。

【請求項7】

前記投影距離調整部は、前記表示部または前記レンズを移動させることにより、前記虚像の前記投影距離を調整する、請求項１に記載のヘッドマウントディスプレイ装置。

【請求項8】

表示部により、画像を表示する工程と、
投影部により、ユーザの視野の一部に重なるように前記画像を投影する工程と、
前記ユーザの目を撮像することにより、瞳孔と下瞼との間の距離を取得し、取得した前記距離に応じた投影距離となるように調整する工程と、を含む、ヘッドマウントディスプレイの表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ヘッドマウントディスプレイ装置に関し、特に、移動体による移動時に使用者の頭部に装着され、筐体と表示部と制御部とを備えるヘッドマウントディスプレイ装置およびヘッドマウントディスプレイの表示方法に関する。

【背景技術】

【0002】

従来、移動体による移動時に使用者の頭部に装着され、筐体と表示部と制御部とを備えるヘッドマウントディスプレイ装置が知られている（例えば、特許文献１参照）。

【0003】

上記特許文献１に記載された頭部装着型表示装置は、表示素子と、使用者の目の前方に配置され、表示素子に表示される画像と使用者の視野の景色とを重ねて使用者の目に導く光学系とを備える、シースルー型ヘッドマウントディスプレイ装置である。このヘッドマウントディスプレイ装置は、自動二輪車などの運転時に使用される。このヘッドマウントディスプレイ装置の表示素子には、二輪車の走行速度などの情報や、ナビゲーションシステムからの道路の形状、種別、走行車両の現在位置などの情報を示す画像が表示される。このヘッドマウントディスプレイ装置では、表示素子から出射されてプリズム内に入射した光束は、ハーフミラーへと導かれ、ハーフミラーで反射されて表示画像の虚像として使用者の目に達する。使用者の前方から入射する外界の光は、ハーフミラー、プリズムを透過し、表示素子からの表示光とともに使用者の目に達する。また、プリズムとハーフミラーとは、運転者の前方から入射する外界の光を十分に透過させることができるとともに、表示画像の虚像を運転者の目から所定位置だけ離れた位置にあるように設定することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－９２８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１に記載された表示素子に表示される画像と使用者の視野の景色との両方が視認可能なヘッドマウントディスプレイ装置では、目からユーザが視認する対象までの距離（以下、「注視距離」という）に関わらず、表示画像の虚像の位置は目から所定距離だけ離れた位置にあるように設定されている。人間の目は、注視距離が大きく異なる対象物を視認するとき（近い位置から遠い位置を見るとき、遠い位置から近い位置を見るとき）、対象物に焦点を合わせるのに時間がかかる。そのため、視野内の対象物から表示画像の虚像に注視対象を変更したときに、注視距離が大きく変化すると、ユーザの焦点を調整するための時間が必要になるという問題点がある。

【0006】

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、ユーザの注視対象が視野内の対象物から表示画像の虚像に変更されたとき、ユーザの焦点を調整する時間を短縮することが可能なヘッドマウントディスプレイ装置およびヘッドマウントディスプレイの表示方法を提供することである。

【課題を解決するための手段】

【0007】

上記目的を達成するために、この発明の第１の局面によるヘッドマウントディスプレイ装置では、画像を表示する表示部と、ユーザの視野の一部に重なるように画像の虚像を投影するレンズを含む投影部と、ユーザの目を撮像する撮像部と、目からユーザが視認する虚像までの距離である投影距離を調整する投影距離調整部と、撮像部により撮像された目の瞳孔と下瞼との間の第１距離を取得し、取得した第１距離に応じた投影距離となるように投影距離調整部を制御する制御部と、を備える。

【0008】

この発明の第１の局面によるヘッドマウントディスプレイ装置では、上記のように、ユーザの目を撮像する撮像部を設けるとともに、撮像部により撮像された目の瞳孔と下瞼との間の第１距離を取得し、取得した第１距離に応じた投影距離となるように投影距離調整部を制御するように構成されている。これにより、撮像した目の画像から、ユーザの瞳孔と下瞼との間の距離を取得することによって、ユーザの瞳孔の上下方向の位置が分かるため、ユーザがどこを見ているのかを推測できる。また、制御部は、ユーザが視認する対象までの距離である注視距離に、表示画像の虚像の投影距離を調整する。これにより、ユーザの注視距離に表示画像の虚像が投影されることになる。そのため、ユーザの注視対象が大きく変更されても、表示画像の虚像の位置もユーザの注視対象の変更に基づいて、表示画像の虚像の位置はユーザの注視距離に調整される。したがって、ユーザの注視対象が表示画像の虚像に変更されたとき、ユーザの焦点を調整する時間を短縮することが可能なヘッドマウントディスプレイ装置を提供できる。

【0009】

上記第１の局面によるヘッドマウントディスプレイ装置において、好ましくは、制御部は、第１距離が大きいほど、虚像の投影距離を大きくするように投影距離調整部を制御するように構成されている。このように構成すれば、ユーザの瞳孔と下瞼の距離である第１距離が大きいときは、ユーザの注視距離が遠方にあると推測できるので、表示画像の虚像の投影距離を大きくすることにより、ユーザの注視対象が表示画像の虚像に変更されたとしても、ユーザの焦点を調整する時間を短縮することができる。

【0010】

この場合、好ましくは、制御部は、第１距離に基づいて、目からユーザが視認する対象までの距離である第２距離を取得し、第２距離と投影距離とが略一致するように、投影距離を調整するように投影距離調整部を制御するように構成されている。このように構成すれば、ユーザの瞳孔と下瞼との間の距離を取得することによって、ユーザの瞳孔の位置が分かるため、ユーザがどこを見ているのかを推測できる。これより、制御部がユーザの目からユーザが視認する対象までの距離であるユーザの注視距離を取得し、投影距離調整部の投影距離を調整し、ユーザの注視距離と虚像との投影距離とを略一致させる制御を行うことができる。したがって、ユーザの注視距離と表示画像の虚像とが略一致していることにより、ユーザの焦点を調整する必要がなくなるので、ユーザが焦点を調整する時間がかからなくなるようにすることができる。

【0011】

上記第１距離に基づいて、取得した第２距離と投影距離とが略一致するように投影距離を調整する構成において、好ましくは、制御部は、第１距離が所定距離より小さいときは、第２距離と投影距離とが略一致するように、投影距離を調整するように投影距離調整部を制御するように構成され、第１距離が所定距離より大きいときは、投影距離を無限遠に調整する、または、投影距離を所定の上限距離に固定するように投影距離調整部を制御するように構成されている。このように構成すれば、ユーザの注視距離が所定距離より小さいときは、ユーザの注視距離に虚像の位置を略一致するように投影距離が変更される。したがって、所定距離までは表示画像の虚像の位置をユーザの注視距離に合わせることにより、ユーザの注視対象が投影された表示画像の虚像に変更されたとしても、ユーザの焦点を調整する時間をかからなくすることができる。また、第１距離が所定距離より大きいときは、注視距離に関係なく、無限遠または、上限距離に投影距離を調整することにより、表示画像の虚像に対してユーザの焦点を調整する時間を短縮することができる。

【0012】

上記第１の局面によるヘッドマウントディスプレイ装置において、好ましくは、表示部は、移動体による移動に伴う移動体の移動経路の情報を含むナビゲーション情報画像を表示するように構成されている。このように構成すれば、ユーザがヘッドマウントディスプレイ装置を装着した状態において、自動車や自動二輪車などを運転しているときに、ユーザの注視距離に投影されたナビゲーション情報画像に対してユーザの焦点を調整する時間を短縮することができる。

【0013】

上記第１の局面によるヘッドマウントディスプレイ装置において、好ましくは、制御部は、撮像部により撮像された瞳孔の大きさと虹彩の大きさとの両方に基づいて、表示部の表示輝度を調整する制御を行うように構成されている。このように構成すれば、瞳孔の大きさからユーザが感じる周囲の明るさである周辺輝度を推測することができる。したがって、周辺輝度が変化した場合、ユーザの注視距離に投影された虚像の輝度を調整することができるので、ユーザの注視距離に投影された虚像をユーザが視認しやすい明るさで確認することができる。

【0014】

上記第１の局面によるヘッドマウントディスプレイ装置において、好ましくは、投影距離調整部は、表示部またはレンズを移動させることにより、虚像の投影距離を調整するように構成されている。このように構成すれば、投影距離調整部は、表示部またはレンズを移動させることによって、虚像の投影距離とユーザの注視距離とが略一致させる制御を行うことができる。したがって、ユーザの注視対象が表示画像の虚像に変更されたとき、ユーザの焦点を調整する時間を短縮することができる。

【0015】

この発明の第２の局面によるヘッドマウントディスプレイの表示方法は、表示部により、画像を表示する工程と、投影部により、ユーザの視野の一部に重なるように画像を投影する工程と、ユーザの目を撮像することにより、瞳孔と下瞼との間の距離を取得し、取得した距離に応じた投影距離となるように投影距離を調整する工程と、を含む。

【0016】

この第２の局面によるヘッドマウントディスプレイの表示方法では、上記のように、ユーザの目を撮像することによって、瞳孔と下瞼との間の距離を取得し、取得した距離に応じた投影距離となるように投影距離を調整する工程を設ける。これにより、上記第１の局面と同様に、ユーザの注視対象が表示画像の虚像に変更されたとき、ユーザの焦点を調整する時間を短縮することができる。

【発明の効果】

【0017】

本発明によれば、ユーザの注視対象が視野内の対象物から表示画像の虚像に変更されたとき、ユーザの焦点を調整する時間を短縮することが可能なヘッドマウントディスプレイ装置およびヘッドマウントディスプレイの表示方法を提供することができる。

【図面の簡単な説明】

【0018】

【図1】本実施形態によるヘッドマウントディスプレイ装置の全体構成を示したブロック図である。

【図2】本実施形態によるヘッドマウントディスプレイ装置の使用態様および表示態様を示した模式図である。

【図3】本実施形態によるＨＭＤレンズの簡略図である。

【図4】本実施形態による赤外ＣＣＤの簡略図である。

【図5】本実施形態によるユーザの注視距離と虚像の投影距離とを示した図である。

【図6】本実施形態による投影距離調整部の側面図である。

【図7】レンズ駆動量に対する虚像の投影距離を示すグラフである。

【図8】ＭＲＤ－２値を示す目の図である。

【図9】視線の角度に対するＭＲＤ－２値を示すグラフである。

【図10】ＭＲＤ－２値に対する虚像の投影距離を示すグラフである。

【図11】表示距離に対する焦点調整時間を示すグラフである。

【図12】各アイポイントにおけるＭＲＤ－２値に対する虚像の投影距離を示すグラフである。

【図13】瞳孔の大きさと虹彩の大きさとを示す目の図である。

【図14】ディスプレイ輝度に対する瞳孔径を示すグラフである。

【図15】ヘッドマウントディスプレイの表示方法を示すフローチャートである。

【図16】ＭＲＤ－２値に対する虚像の投影距離の変形例を示すグラフである。

【図17】ＭＲＤ－２値に対する虚像の投影距離の変形例を示すグラフである。

【発明を実施するための形態】

【0019】

以下、本発明を具体化した実施形態を図面に基づいて説明する。

【0020】

（本実施形態）
図１～図１４を参照して、本実施形態によるヘッドマウントディスプレイ装置（以下、「ＨＭＤ装置」という）１００の構成について説明する。

【0021】

（ＨＭＤ装置）
図１に示すように、ＨＭＤ装置１００は、筐体１８（図２参照）と、表示部１４と、通信部１３と、制御部１１と、記憶部１７と、投影距離調整部１５と、ＨＭＤレンズ１６と、赤外ＣＣＤ（Ｃｈａｒｇｅ Ｃоｕｐｌｅｄ Ｄｅｖｉｃｅ）１２とを含む。表示部１４は、画像を表示するように構成されている。表示部１４は、たとえば、液晶パネルおよび有機エレクトロルミネッセンスパネルなどである。通信部１３は、携帯端末などと通信可能に構成されている。通信部１３は、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信により、携帯端末などと無線通信を行うように構成されている。なお、赤外ＣＣＤ１２は、本発明の「撮像部」の一例であり、ＨＭＤレンズ１６は、本発明の「投影部」の一例である。なお、制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、および、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含む。

【0022】

（画像情報）
図２に示すように、ＨＭＤ装置１００は、ユーザ４０が装着するヘルメット４１に取り付けられて固定されている。ユーザ４０がＨＭＤ装置１００を装着した場合、ユーザ４０は、視界において風景５０を視認可能であるとともに、風景５０の一部に表示された虚像６０を視認可能である。図２に示す例では、虚像６０は風景５０の右上に表示されている。また、表示部１４は、移動体による移動に伴う移動体の移動経路の情報を含むナビゲーション情報画像６３（図２参照）を表示するように構成されている。また、ナビゲーション情報画像６３として、たとえば、進行方向６３ｂを変更する次の分岐点までの距離６３ａ、および、分岐点での進行方向６３ｂを表示する。

【0023】

図３に示すように、ＨＭＤレンズ１６は、レンズ３５、レンズ３７、レンズ３８およびダイクロイックミラー２１を含んで構成され、所定の位置に虚像６０を結像させるように設計されている。詳細には、ＨＭＤレンズ１６は、表示部１４に表示された画像を、ユーザ４０の視野の一部に重なるように、虚像６０（図２参照）として投影するレンズ３５を含む。

【0024】

図４に示すように、赤外ＣＣＤ１２は、ＣＣＤレンズ１９を介して、ユーザ４０の目２４を撮像するように設計されている。ＣＣＤレンズ１９は、集光レンズ３９、レンズ３７およびダイクロイックミラー２１を含んで構成されている。レンズ３７とダイクロイックミラー２１とは、ＨＭＤレンズ１６とＣＣＤレンズ１９との両方の要素を兼ねている。

【0025】

投影距離調整部１５は、目２４からユーザ４０が視認する虚像６０までの距離である投影距離Ｄ１（図５参照）を調整するように構成されている。また、図５に示すように、注視距離Ｄ２は、目２４からユーザ４０が視認するまでの距離のことである。なお、注視距離Ｄ２は本発明の「第２距離」の一例である。

【0026】

図６に示すように、投影距離調整部１５は、表示部１４またはレンズ３５を移動させることにより、虚像６０の投影距離Ｄ１を調整する。本実施形態では、投影距離調整部１５が、レンズ３５を移動させる構成について説明する。投影距離調整部１５は、ステッピングモーター３６と、ステッピングモーター３６に連結されたボールねじ３３とを含む。ボールねじ３３は、軸受３１と軸受３２とに支持されている。また、図３に示したレンズ３５は、移動枠３０に設置されている。移動枠３０は、ボールねじ３３が挿通され、２本のガイドシャフト３４によって支持されている。これにより、ステッピングモーター３６により、ボールねじ３３が回転し、移動枠３０がＺ軸方向に移動する。この移動枠３０の移動により、レンズ３５がＺ軸方向に移動する。図３に示すように、Ｚ軸方向は、表示部１４とユーザ４０の目２４との間の光軸方向である。

【0027】

図１に示すように、制御部１１は、投影距離調整部１５を制御するように構成されている。具体的には、制御部１１は、ＭＲＤ（Ｍａｒｇｉｎ Ｒｅｆｌｅｘ Ｄｉｓｔａｎｃｅ）－２値Ｄ４に応じた投影距離Ｄ１となるように投影距離調整部１５を制御する。レンズ３５の駆動量と虚像６０の投影距離Ｄ１の関係は、図７に示す。なお、ＭＲＤ－２値Ｄ４は本発明の「第１距離」の一例である。

【0028】

制御部１１は、赤外ＣＣＤ１２により撮像された目２４の画像情報からＭＲＤ－２値Ｄ４をエッジ検出で取得する。図８に示すように、目２４は、瞳孔２２、虹彩２５、上瞼２６および下瞼２３を含む。これより、赤外ＣＣＤ１２により撮像された目２４の瞳孔２２と下瞼２３との間の第１距離であるＭＲＤ－２値Ｄ４を取得する。また、記憶部１７には、ＭＲＤ－２値Ｄ４に基づく、虚像６０の投影距離Ｄ１（図５参照）がテーブルとして記憶されている。そのため、ユーザ４０の注視距離Ｄ２が変更された場合、制御部１１は、ＭＲＤ－２値Ｄ４と虚像６０の投影距離Ｄ１とのテーブルに基づいて、短時間で虚像６０の投影距離Ｄ１を変更することができる。

【0029】

図８を参照して、ＭＲＤ－２値Ｄ４について説明する。ＭＲＤ－２値Ｄ４は、瞳孔２２の中心２２ａと下瞼２３との距離のことである。つまり、ＭＲＤ－２値Ｄ４は、瞳孔２２が中心２２ａにある場合は、図４に示すように、瞳孔２２の中心２２ａから下瞼２３に対して鉛直下向きに直線を引き、瞳孔２２の中心２２ａから下瞼２３の縁の点２３ａまでの距離のことである。また、瞳孔２２の位置が右や左にずれている場合は、瞳孔２２の中心２２ａから鉛直下向きに直線を引き、瞳孔２２が中心２２ａにあるときの下瞼２３の縁のところから水平に直線を引く。そして、瞳孔２２の中心２２ａから鉛直下向き方向の直線と水平な直線との交点を結ぶ。瞳孔２２の位置が右や左にずれている場合は、この交点から瞳孔２２の中心２２ａまでの距離が、ＭＲＤ－２値Ｄ４に相当する。このＭＲＤ－２値Ｄ４は、人による個人差が小さい。また、ＭＲＤ－２値Ｄ４は、ユーザ４０が真正面を見ている場合、平均５ｍｍ程度である。これより、ＭＲＤ－２値Ｄ４が５ｍｍの位置を水平視線０°とする。図９は、目２４の上下方向の視線の角度に伴うＭＲＤ－２値Ｄ４を示す。図９より、視線が上方に上がるほど、ＭＲＤ－２値Ｄ４が大きくなり、視線が下方に下がるほど、ＭＲＤ－２値Ｄ４が小さくなる。

【0030】

また、記憶部１７には、瞳孔径に基づいて、ユーザ４０にとって見やすい虚像６０の輝度の設定値がテーブルとして記憶されている。そのため、制御部１１は、周辺輝度の変更に基づいて、虚像６０の輝度を変更することができる。

【0031】

（投影距離の調整）
制御部１１は、取得したＭＲＤ－２値Ｄ４に応じた投影距離Ｄ１となるように投影距離調整部１５を制御する。なお、投影距離調整部１５は、ＭＲＤ－２値Ｄ４が大きいほど、虚像６０の投影距離Ｄ１を大きくするように構成されている。

【0032】

制御部１１は、ＭＲＤ－２値Ｄ４に基づいて、目２４からユーザ４０が視認する対象までの距離である注視距離Ｄ２を取得し、注視距離Ｄ２と投影距離Ｄ１とが略一致するように、投影距離Ｄ１を調整するように構成されている。図１０に示すように、制御部１１は、ＭＲＤ－２値Ｄ４が所定距離より小さいときは、注視距離Ｄ２と投影距離Ｄ１とが略一致するように、投影距離Ｄ１を調整するように構成され、ＭＲＤ－２値Ｄ４が所定距離付近のときは、投影距離Ｄ１を無限遠に調整する。また、制御部１１は、ＭＲＤ－２値Ｄ４が５ｍｍを超えるまでは、ＭＲＤ－２値Ｄ４に応じて、投影距離Ｄ１を大きくする。制御部１１は、ＭＲＤ－２値Ｄ４が５ｍｍを超えた場合は、ＭＲＤ－２値Ｄ４に基づいて、投影距離Ｄ１が無限遠に調整するように構成されている。

【0033】

図１２は、虚像６０の投影距離Ｄ１に対して、背景距離がずれている場合、注視距離Ｄ２を合わすまでの焦点調整時間を示している。図１１より、近視点から遠視点および遠視点から近視点に注視距離Ｄ２を変更したときは、焦点調整時間が掛かる。しかし、遠視点から遠視点での変更および近視点から近視点での変更では、焦点調整時間はほとんど掛からない。したがって、注視距離Ｄ２と虚像６０の投影距離Ｄ１とを合わせることで、焦点調整時間が掛からないようにできる。

【0034】

ユーザ４０の注視距離Ｄ２と虚像６０の位置関係は、ユーザ４０がどのような移動体に乗っているか、および、個人によるアイポイントＤ３（図５参照）の差が大きい。アイポイントＤ３は、地面から移動体に乗っているユーザ４０の目２４の高さまでの距離のことである。

【0035】

図１２は、アイポイントＤ３の変化による、ＭＲＤ－２値Ｄ４の変化に基づく虚像６０の投影距離Ｄ１を示している。同じＭＲＤ－２値Ｄ４の場合、アイポイントＤ３の値が大きくなるほど、虚像６０の投影距離Ｄ１が遠方に投影される。また、上記したように、アイポイントＤ３は、移動体のサイズや個人による差がある。したがって、ＨＭＤ装置１００の通信部１３（図１参照）を介して、携帯端末などからアイポイントＤ３の初期設定ができるように構成されている。これにより、予め、ユーザ４０が、アイポイントＤ３を１．２ｍに設定すると、ＭＲＤ－２値Ｄ４が４．５ｍｍのとき、虚像６０の投影距離Ｄ１は２０ｍに設定される。
（輝度の調整）

【0036】

制御部１１は、瞳孔２２の大きさＤ５と虹彩２５の大きさＤ６（図１３参照）とをエッジ検出で取得する。虹彩２５の大きさは、個人差がほとんどないため定数値とみなすことができ、目２４の画像から瞳孔２２の実際の大きさを求めるときの基準となる。したがって、目２４の画像の拡大率に関わらず、瞳孔２２の大きさＤ５（ｐｉｘｅｌ）と虹彩２５の大きさＤ６（ｐｉｘｅｌ）との比から、瞳孔径の実寸（ｍｍ）が取得できる。

【0037】

制御部１１は、赤外ＣＣＤ１２により撮像された瞳孔２２の大きさＤ５と虹彩２５の大きさＤ６（図１３参照）との両方に基づいて、表示部１４の表示輝度を調整する制御を行うように構成されている。瞳孔２２の大きさＤ５は、周辺輝度によって、変化するが、虹彩２５の大きさＤ６は周辺輝度による変化がない。したがって、制御部１１は、ユーザ４０の瞳孔径から、背景輝度を推測できる。これより、制御部１１は、図１４の瞳孔径と背景輝度との関係を示すテーブルに基づいて、虚像６０の輝度を変化させる。したがって、周辺輝度に対して、虚像６０の輝度を、適切に選択することができるため、虚像６０が暗くて見えない、または、明るすぎて見えづらいということを緩和することができる。

【0038】

（ヘッドマウントディスプレイの表示方法）
次に、図１５を参照して、ヘッドマウントディスプレイの制御部１１が実行する虚像６０を表示する処理について説明する。

【0039】

ステップＳ１において、ユーザ４０が、ヘッドマウントディスプレイの電源をＯＮにする。

【0040】

ステップＳ２において、赤外ＣＣＤ１２が瞳孔２２の撮影を開始する。

【0041】

ステップＳ３において、制御部１１がステップＳ２で撮影された瞳孔２２の情報から図１０の虚像６０の投影距離Ｄ１が適切かどうかを判断する。適切かどうかの判断は、図１０に示すデータに基づき、ＭＲＤ－２値Ｄ４から取得される投影距離Ｄ１と、現在の投影距離Ｄ１（レンズ駆動量）とが略一致しているかどうかにより判断する。

【0042】

ステップＳ３において、制御部１１が、虚像６０の投影距離Ｄ１が適切でないと判断した場合、ステップＳ４において、制御部１１が投影距離調整部１５を制御して、虚像６０の投影距離Ｄ１を変更する。その後、ステップＳ２に戻り、再度、目２４を撮像し、ステップＳ３にもどる。

【0043】

ステップＳ３において、制御部１１が、虚像６０の投影距離Ｄ１が適切であると判断した場合、ステップＳ５に進む。

【0044】

ステップＳ５において、制御部１１がステップＳ２で撮像された目２４の瞳孔２２の情報から表示部１４の輝度が適切かどうかを判断する。適切かどうかの判断は、図１４の瞳孔径に応じた輝度値と、現在の輝度値とが一致しているかどうかにより判断する。

【0045】

ステップＳ５において、制御部１１が、虚像輝度が適切でないと判断した場合、ステップＳ６において、制御部１１が、表示部１４の輝度設定を変更する。その後、ステップＳ２に戻り、再度、目２４を撮像し、ステップＳ３にもどり、ステップＳ５まで繰り返す。

【0046】

ステップＳ５において、制御部１１が、表示部１４の輝度が適切であると判断した場合、ステップＳ７に進む。

【0047】

ステップＳ７において、制御部１１が表示部１４をＯＮの状態にする。

【0048】

ステップＳ１において、ＨＭＤ装置１００の電源をＯＮにすると、ステップＳ８において、電源をＯＦＦにするまで、ステップＳ２からステップＳ８までを随時繰り返す。また、ステップＳ７において、表示部１４が既にＯＮの状態にある場合、ステップＳ７はスキップされる。これにより、ユーザ４０の注視距離Ｄ２が変更された場合に、虚像６０の投影距離Ｄ１をユーザ４０の注視距離Ｄ２に投影することができる。

【0049】

ステップＳ８において、電源をＯＦＦにしたとき、ＨＭＤ装置１００の電源が切れる。

【0050】

（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

【0051】

本実施形態では、上記のように、画像を表示する表示部１４と、ユーザ４０の視野の一部に重なるように画像の虚像６０を投影するレンズ３５を含むＨＭＤレンズ１６と、ユーザ４０の目２４を撮像する赤外ＣＣＤ１２と、目２４からユーザ４０が視認する虚像６０までの距離である投影距離Ｄ１を調整する投影距離調整部１５と、赤外ＣＣＤ１２により撮像された目２４の瞳孔２２と下瞼２３との間のＭＲＤ－２値Ｄ４を取得し、取得したＭＲＤ－２値Ｄ４に応じた投影距離Ｄ１となるように投影距離調整部１５を制御するように構成されている。これにより、撮像した目２４の画像から、ユーザ４０の瞳孔２２と下瞼２３との間の距離を取得することによって、ユーザ４０の瞳孔２２の上下方向の位置が分かるため、ユーザ４０がどこを見ているのかを推測できる。また、制御部１１は、ユーザ４０が視認する対象までの距離である注視距離Ｄ２に、表示画像の虚像６０の投影距離Ｄ１を調整する。これにより、ユーザ４０の注視距離Ｄ２に表示画像の虚像６０が投影されることになる。そのため、ユーザ４０の注視対象が大きく変更されても、表示画像の虚像６０の位置もユーザ４０の注視対象の変更に基づいて、表示画像の虚像６０の位置はユーザ４０の注視距離Ｄ２に調整される。したがって、ユーザ４０の注視対象が表示画像の虚像６０に変更されたとき、ユーザ４０の焦点を調整する時間を短縮することが可能なＨＭＤ装置１００を提供できる。

【0052】

本実施形態では、上記のように、制御部１１は、ＭＲＤ－２値Ｄ４が大きいほど、虚像６０の投影距離Ｄ１を大きくするように投影距離調整部１５を制御するように構成されている。これにより、ユーザ４０のＭＲＤ－２値Ｄ４が大きいときは、ユーザ４０の注視距離Ｄ２が遠方にあると推測できるので、表示画像の虚像６０の投影距離Ｄ１を大きくすることにより、ユーザ４０の注視対象が表示画像の虚像６０に変更されたとしても、ユーザ４０の焦点を調整する時間を短縮することができる。

【0053】

本実施形態では、上記のように、制御部１１は、ＭＲＤ－２値Ｄ４に基づいて、目２４からユーザ４０が視認する対象までの距離である注視距離Ｄ２を取得し、注視距離Ｄ２と投影距離Ｄ１とが略一致するように、投影距離Ｄ１を調整するように投影距離調整部１５を制御するように構成されている。これにより、ユーザ４０の瞳孔２２と下瞼２３との間の距離を取得することによって、ユーザ４０の瞳孔２２の位置が分かるため、ユーザ４０がどこを見ているのかを推測できる。これより、制御部１１がユーザ４０の目２４からユーザ４０が視認する対象までの距離であるユーザ４０の注視距離Ｄ２を取得し、投影距離調整部１５の投影距離Ｄ１を調整し、ユーザ４０の注視距離Ｄ２と虚像６０の投影距離Ｄ１とを略一致させる制御を行うことができる。したがって、ユーザ４０の注視距離Ｄ２が表示画像の虚像６０とが略一致していることにより、ユーザ４０の焦点を調整する必要がなくなるので、ユーザが焦点を調整する時間がかからなくなるようにすることができる。

【0054】

本実施形態では、上記のように、制御部１１は、ＭＲＤ－２値Ｄ４が所定距離より小さいときは、注視距離Ｄ２と投影距離Ｄ１とが略一致するように、投影距離Ｄ１を調整するように投影距離調整部１５を制御するように構成され、ＭＲＤ－２値Ｄ４が所定距離より大きいときは、投影距離Ｄ１を無限遠に調整する、または、投影距離Ｄ１を所定の上限距離に固定するように投影距離調整部１５を制御するように構成されている。これにより、ユーザ４０の注視距離Ｄ２が所定距離より小さいときは、ユーザ４０の注視距離Ｄ２に虚像６０の位置を略一致するように投影距離Ｄ１が変更される。したがって、所定距離までは表示画像の虚像６０の位置をユーザ４０の注視距離Ｄ２に合わせることにより、ユーザ４０の注視対象が投影された表示画像の虚像６０に変更されたとしても、ユーザ４０の焦点を調整する時間をかからなくすることができる。また、ＭＲＤ－２値Ｄ４が所定距離より大きいときは、注視距離Ｄ２に関係なく、無限遠または、上限距離に投影距離Ｄ１を調整することにより、表示画像の虚像６０に対してユーザ４０の焦点を調整する時間を短縮することができる。

【0055】

本実施形態では、上記のように、表示部１４は、移動体による移動に伴う移動体の移動経路の情報を含むナビゲーション情報画像６３を表示するように構成されている。これにより、ユーザ４０がＨＭＤ装置１００を装着した状態において、自動車や自動二輪車などを運転しているときに、ユーザ４０の注視距離Ｄ２に投影されたナビゲーション情報画像６３に対してユーザ４０の焦点を調整する時間を短縮することができる。

【0056】

本実施形態では、上記のように、制御部１１は、赤外ＣＣＤ１２により撮像された瞳孔２２の大きさＤ５と虹彩２５の大きさＤ６との両方に基づいて、表示部１４の表示輝度を調整する制御を行うように構成されている。これにより、瞳孔２２の大きさＤ５からユーザ４０が感じる周囲の明るさである周辺輝度を推測することができる。したがって、周辺輝度が変化した場合、ユーザ４０の注視距離Ｄ２に投影された虚像６０の輝度を調整することができるので、ユーザ４０の注視距離Ｄ２に投影された虚像６０をユーザ４０が視認しやすい明るさで確認することができる。

【0057】

本実施形態では、上記のように、投影距離調整部１５は、表示部１４またはレンズ３５を移動させることにより、虚像６０の投影距離Ｄ１を調整するように構成されている。これにより、投影距離調整部１５は、表示部１４またはレンズ３５を移動させることによって、虚像６０の投影距離Ｄ１とユーザ４０の注視距離Ｄ２とが略一致させる制御を行うことができる。したがって、ユーザ４０の注視対象が表示画像の虚像６０に変更されたとき、ユーザ４０の焦点を調整する時間を短縮することができる。

【0058】

本実施形態のヘッドマウントディスプレイの表示方法では、上記のように、表示部１４により、画像を表示する工程と、ＨＭＤレンズ１６により、ユーザ４０の視野の一部に重なるように画像を投影する工程と、ユーザ４０の目２４を撮像することによって、瞳孔２２と下瞼２３との間の距離を取得し、取得した距離に応じた投影距離Ｄ１となるように投影距離Ｄ１を調整する工程を設ける。これにより、ユーザ４０の注視対象が表示画像の虚像６０に変更されたとき、ユーザ４０の焦点を調整する時間を短縮することができる。

【0059】

（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

【0060】

上記本実施形態では、本発明のＨＭＤ装置１００として、レンズ３５を移動させる駆動方法を用いる例を示したが、本発明はこれに限らない。本発明では、図４に示すように、投影距離調整部１５ａを使用して、移動させる対象として表示部１４を移動させてもよい。

【0061】

上記本実施形態では、本発明のＨＭＤ装置１００として、レンズ３５を移動させる駆動方法にステッピングモーター３６を用いる例を示したが、本発明はこれに限らない。本発明では、レンズ３５を移動させる駆動方法としてステッピングモーター３６以外を用いてもよい。たとえば、圧電素子や磁石などを使って、駆動させてもよい。

【0062】

上記本実施形態では、本発明のＨＭＤ装置１００として、ＭＲＤ－２値Ｄ４が所定距離より大きいときは、投影距離Ｄ１を無限遠に調整する例を示したが、本発明はこれに限らない。本発明では、図１６に示すように、ＭＲＤ－２値Ｄ４が所定距離より大きいときは、ユーザ４０の注視点が高いところにある近いところを見ているとし、投影距離Ｄ１を近づけてもよい。

【0063】

上記本実施形態では、本発明のＨＭＤ装置１００として、ＭＲＤ－２値Ｄ４が所定距離より大きいときは、投影距離Ｄ１を無限遠に調整する例を示したが、本発明はこれに限らない。本発明では、図１７に示すように、投影距離Ｄ１を所定の上限距離に固定するようにしてもよい。

【0064】

上記本実施形態では、本発明のＨＭＤ装置１００として、右目にＨＭＤ装置１００を設置する例を示したが、本発明はこれに限らない。本発明では、左目にＨＭＤ装置１００を設置してもよい。

【0065】

上記本実施形態では、本発明のＨＭＤ装置１００として、右上に虚像６０が表示される例を示したが、本発明はこれに限らない。本発明では、虚像６０を右下などの他の位置に表示されてもよい。

【0066】

上記本実施形態では、本発明のＨＭＤ装置１００として、ＭＲＤ－２値Ｄ４が瞳孔２２の中心２２ａから下瞼２３までの距離である例を示したが、本発明はこれに限らない。本発明では、ＭＲＤ－２値Ｄ４が瞳孔２２の下部から下瞼２３までの距離でもよい。

【符号の説明】

【0067】

１１ 制御部
１２ 赤外ＣＣＤ（撮像部）
１４ 表示部
１５ 投影距離調整部
１６ ＨＭＤレンズ（投影部）
２２ 瞳孔
２３ 下瞼
２４ 目
３５ レンズ
４０ ユーザ
６０ 虚像
６３ ナビゲーション情報画像
１００ ヘッドマウントディスプレイ装置
Ｄ１ 投影距離
Ｄ２ 注視距離（第２距離）
Ｄ３ アイポイント
Ｄ４ ＭＲＤ－２値（第１距離）
Ｄ５ 瞳孔の大きさ
Ｄ６ 虹彩の大きさ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】