IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パイオニア株式会社の特許一覧

特開2024-32929表示装置及びヘッドマウントディスプレイ
<>
  • 特開-表示装置及びヘッドマウントディスプレイ 図1
  • 特開-表示装置及びヘッドマウントディスプレイ 図2
  • 特開-表示装置及びヘッドマウントディスプレイ 図3
  • 特開-表示装置及びヘッドマウントディスプレイ 図4
  • 特開-表示装置及びヘッドマウントディスプレイ 図5
  • 特開-表示装置及びヘッドマウントディスプレイ 図6
  • 特開-表示装置及びヘッドマウントディスプレイ 図7
  • 特開-表示装置及びヘッドマウントディスプレイ 図8
  • 特開-表示装置及びヘッドマウントディスプレイ 図9
  • 特開-表示装置及びヘッドマウントディスプレイ 図10
  • 特開-表示装置及びヘッドマウントディスプレイ 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024032929
(43)【公開日】2024-03-12
(54)【発明の名称】表示装置及びヘッドマウントディスプレイ
(51)【国際特許分類】
   G06F 3/01 20060101AFI20240305BHJP
   G06F 3/16 20060101ALI20240305BHJP
【FI】
G06F3/01 510
G06F3/16 620
G06F3/16 660
G06F3/16 690
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2024013842
(22)【出願日】2024-02-01
(62)【分割の表示】P 2022038015の分割
【原出願日】2012-05-30
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(72)【発明者】
【氏名】後藤田 明
(57)【要約】
【課題】視線誘導を行うことでユーザに情報を適切に視認させることが可能な表示装置及びヘッドマウントディスプレイを提供する。
【解決手段】表示装置は、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させることで、画像を視認させる。つまり、表示装置は、視線方向依存型の表示装置である。また、表示装置は、ユーザが視認する現実環境に対して情報を付加提示するARを実現可能に構成されている。表示装置の視線誘導手段は、ユーザの視線を向けさせるべき位置である誘導ポイントにユーザの視線を誘導するための情報を出力する。誘導ポイントは、現実環境に存在する対象物の位置、又は現実環境に存在する対象物に対して表示された情報の位置である。
【選択図】図1
【特許請求の範囲】
【請求項1】
表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置であって、
前記現実環境に存在する対象物を検出する検出手段と、
音声を出力する音声出力部と、
検出された前記対象物の位置又は前記対象物に対して表示された情報の位置である誘導ポイントに、前記ユーザの視線を誘導するための音声を前記音声出力部に出力させる視線誘導手段と、を備えることを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザが視線を向けた方向の画像のみを視認させる表示装置の技術分野に関する。
【背景技術】
【0002】
この種の技術が例えば特許文献1に記載されている。特許文献1には、表示すべき画像に対応する光の集光点を眼球の略中心に設定することで、ユーザが視線を向けた方向にのみ画像を表示することが可能な表示装置(以下では「視線方向依存型の表示装置」と呼ぶ。)が記載されている。視線方向依存型の表示装置では、集光点を眼球の略中心に設定することで、視線方向の光線のみが瞳孔を通過するため、視線方向の画像のみが視認されることとなる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002-90688号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記したような視線方向依存型の表示装置では、視線方向の画像は見えるが、視線方向以外の画像は見えない。そのため、当該表示装置にて提示した情報を、ユーザに適切に提供することができない場合があった。
【0005】
本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、視線誘導を行うことでユーザに情報を適切に視認させることが可能な表示装置及びヘッドマウントディスプレイを提供することを課題とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置であって、前記現実環境に存在する対象物を検出する検出手段と、音声を出力する音声出力部と、検出された前記対象物の位置又は前記対象物に対して表示された情報の位置である誘導ポイントに、前記ユーザの視線を誘導するための音声を前記音声出力部に出力させる視線誘導手段と、を備える。
【0007】
請求項2に記載の発明では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置であって、前記現実環境に存在する対象物を検出する検出手段と、前記ユーザの視線を検出する視線検出手段と、検出された前記対象物の位置又は前記対象物に対して表示された情報の位置である誘導ポイントに、前記ユーザの視線を誘導するための情報を報知する視線誘導手段と、を備え、前記視線誘導手段は、前記視線検出手段によって検出された前記視線が前記誘導ポイントに向いた際に、前記報知を終了する。
【0008】
請求項3に記載の発明では、画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させる表示装置であって、前記ユーザの視線を検出する視線検出手段と、前記表示装置により前記ユーザの視線方向に応じた視認エリアの外に表示されるべき画像に対応する位置である誘導ポイントに、前記ユーザの視線を誘導するための情報を報知する視線誘導手段を備え、前記視線誘導手段は、前記視線検出手段によって検出された前記視線が前記誘導ポイントに向いた際に、前記報知を終了する。
【0009】
請求項4に記載の発明では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置であって、前記現実環境に存在する対象物を検出する検出手段と、前記ユーザの頭部の動きを検出する動き検出手段と、検出された前記対象物の位置又は前記対象物に対して表示された情報の位置である誘導ポイントに、前記ユーザの視線を誘導するための情報を報知する視線誘導手段と、を備え、前記視線誘導手段は、前記動き検出手段によって前記誘導ポイントに向かう前記頭部の動きが検出されてから所定時間が経過した際に、前記報知を終了する。
【0010】
請求項16に記載の発明では、ヘッドアップディスプレイは、ユーザの視線方向に応じた視認エリアの外に表示されるべき画像に対応する位置である誘導ポイントに、前記ユーザの視線を誘導するための情報を報知する視線誘導手段を備えることを特徴とする。
【図面の簡単な説明】
【0011】
図1】ヘッドマウントディスプレイ(HMD)の概略構成を示す。
図2】制御部の構成を示すブロック図である。
図3】従来の視線方向依存型の表示装置の問題点を説明するための図を示す。
図4】誘導画像の第1の表示例を示す図である。
図5】誘導画像の第2の表示例を示す図である。
図6】誘導画像の第3の表示例を示す図である。
図7】誘導画像の第4の表示例を示す図である。
図8】視線誘導の終了に関する第1の例を示す図である。
図9】視線誘導の終了に関する第2の例を示す図である。
図10】ARシステムによる表示を説明するための図を示す。
図11】エリア別の視線誘導の具体例を示す。
【発明を実施するための形態】
【0012】
本発明の1つの観点では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置は、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備える。
【0013】
上記の表示装置は、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置(例えば眼球の略中心)に集光させることで、画像を視認させる。つまり、表示装置は、視線方向依存型の表示装置である。また、表示装置は、ユーザが視認する現実環境に対して情報を付加提示するAR(Augment Reality)を実現可能に構成されている。このような視線方向依存型の表示装置では、視線方向以外の画像がユーザには見えないため、当該装置によって提示された情報をユーザが見逃しやすいといった課題がある。そのため、視線誘導手段は、ユーザの視線を向けさせるべき位置である誘導ポイントにユーザの視線を誘導するための誘導画像を表示させる。誘導ポイントは、現実環境に存在する対象物の位置、又は現実環境に存在する対象物に対して表示された情報の位置である。上記の表示装置によれば、ユーザの視線を誘導することで、現実環境に存在する対象物や対象物に対して表示された情報を、ユーザに適切に視認させることが可能となる。
【0014】
上記の表示装置の一態様では、前記視線誘導手段は、前記誘導画像として、時間の経過に伴って前記誘導ポイントに向かってサイズが縮小してく画像を表示させる。これにより、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。
【0015】
上記の表示装置において好適には、前記視線誘導手段は、前記誘導ポイントと、前記表示装置の表示エリアにおいて前記誘導ポイントから最も離れた端の位置との距離に応じたサイズを、前記誘導画像の初期サイズとし、当該初期サイズから前記誘導画像のサイズを縮小していく。これにより、視線誘導効果が得られない視線方向を無くすことができると共に、視線誘導効果の時間効率の悪化を抑制することができる。
【0016】
上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導画像として、前記誘導ポイントまでの距離に応じた空間的な変化を有する画像を表示させる。これによっても、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。
【0017】
好適な例では、前記空間的な変化は、前記誘導ポイントまでの距離に応じた明るさの変化である。好適な他の例では、前記空間的な変化は、前記誘導ポイントまでの距離に応じた色の変化である。また、好適な他の例では、前記空間的な変化は、前記誘導ポイントまでの距離に応じた画像の密度の変化である。例えば、画像の密度の変化は、線分や点の密度の変化である。
【0018】
上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導画像として、前記誘導ポイントの方向を指し示す画像を表示させる。これによっても、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。
【0019】
上記の表示装置の他の一態様では、前記ユーザの視線を検出する視線検出手段を更に有し、前記視線誘導手段は、前記視線方向検出手段によって検出された前記視線に応じたエリアにのみ、前記誘導画像を表示させる。これにより、視線方向を中心にユーザが視認しやすい誘導画像を表示させることができる。
【0020】
上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導ポイントに視線を向けた際の視認エリアに応じた第1エリアに、前記誘導画像を表示させない。これにより、ユーザが誘導ポイントに視線を移動させると、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
【0021】
好適には、前記視線誘導手段は、前記ユーザの瞳孔の大きさ又は前記ユーザの周囲の明るさに応じて、前記第1エリアのサイズを変化させる。こうするのは、ユーザの周囲の明るさ(環境光の明るさ)により瞳孔径が変化し、第1エリアを規定する視認エリアの大きさが変化するからである。
【0022】
上記の表示装置の他の一態様では、前記視線誘導手段は、前記第1エリアを取り囲む周囲の第2エリアでは、前記第1エリアに近づくほど、前記誘導画像による視線の誘導効果が低下するような画像を表示させる。例えば、前記視線誘導手段は、前記第2エリアでは、前記第1エリアに近づくほど、前記誘導画像の明るさを低下させる。これにより、環境光の明るさに起因する瞳孔径の変化による視認エリアの変動に対して、適切に対処することができる。
【0023】
上記の表示装置の他の一態様では、前記ユーザの頭部の動きを検出する動き検出手段を更に有し、前記視線誘導手段は、前記動き検出手段によって前記誘導ポイントに向かう前記頭部の動きが検出されてから所定時間が経過した際に、前記誘導画像の表示を停止させる。これにより、ユーザが誘導ポイントの方向に顔を向けた際に、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
【0024】
上記の表示装置の他の一態様では、記ユーザの視線を検出する視線検出手段を更に有し、前記視線誘導手段は、前記視線検出手段によって検出された前記視線が前記誘導ポイントに向いた際に、前記誘導画像の表示を停止させる。これにより、ユーザが誘導ポイントに視線を向けた際に、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
【0025】
上記の表示装置の他の一態様では、前記視線誘導手段は、前記誘導ポイントが前記ユーザの顔の正面に位置した際に、前記誘導画像の表示を停止させる。これにより、誘導ポイントに対応する対象物の方向にユーザが顔を向けた際に、誘導画像が視認されなくなるため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
【0026】
上記の表示装置の他の一態様では、前記視線誘導手段は、前記表示装置の表示エリアの全体に、前記誘導画像を表示させることができる。これにより、表示エリアにおいて視線誘導効果が得られない視線方向を無くすことができる。
【0027】
上記の表示装置の他の一態様では、前記視線誘導手段は、前記表示装置の表示エリアの一部のエリアに、前記誘導画像を表示させる。これにより、例えばユーザの興味がない情報についての誘導画像を視認させないことができる。よって、ユーザへの不要な情報の提供を抑制することができる。
【0028】
好適には、前記一部のエリアは、前記現実環境の特定エリアと対応している。
【0029】
好適には、前記視線誘導手段は、異なる場所に位置する複数の前記誘導ポイントを用いて、前記複数の誘導ポイントごとに前記誘導画像を表示させる。これにより、分類された空間ごとに注目して欲しい情報に、ユーザの視線を適切に誘導することができる。
【0030】
本発明の他の観点では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示するヘッドマウントディスプレイは、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段を備える。
【0031】
本発明の更に他の観点では、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示方法は、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導工程を備える。
【0032】
本発明の更に他の観点では、コンピュータを有すると共に、表示すべき画像に対応する光を、ユーザの瞳孔と網膜との間の位置に集光させ、前記ユーザが視認する現実環境に対して情報を付加提示する表示装置によって実行される表示プログラムは、前記現実環境に存在する対象物の位置、又は前記現実環境に存在する対象物に対して表示された情報の位置を誘導ポイントとして、前記ユーザの視線を前記誘導ポイントに誘導するための誘導画像を表示させる視線誘導手段、として前記コンピュータを機能させる。
【0033】
上記の表示プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。
【実施例0034】
以下、図面を参照して本発明の好適な実施例について説明する。
【0035】
(1)第1実施例
まず、第1実施例について説明する。
【0036】
(1-1)装置構成
図1は、第1実施例に係るヘッドマウントディスプレイ(以下、適宜「HMD」と表記する。)10の概略構成を示す。HMD10は、主に、表示部1と、マスク2と、球面鏡3と、ハーフミラー4と、制御部5とを有する。HMD10は、球面鏡3を用いることで、眼のレンズ機能を利用せずに直接網膜上に画像を表示可能に構成されている。例えば、HMD10は、眼鏡型に構成されており、ユーザの頭部に装着して使用される。なお、HMD10は、本発明における「表示装置」の一例である。
【0037】
表示部1は、LCD(Liquid Crystal Display)や、DLP(Digital Light Processing)や、有機ELなどで構成され、表示すべき画像に対応する光を出射する。なお、レーザ光源からの光をミラーでスキャンするような構成を、表示部1に適用しても良い。
【0038】
表示部1から出射された光はマスク2でマスクされ、マスク2を通過した光は球面鏡3及びハーフミラー4で反射されて眼球に到達する。この場合、マスク2以降の拡散した光は、眼球の略中心の位置に集光する。本実施例に係るHMD10は、表示すべき画像に対応する光が眼球の略中心の位置に集光するように光学系が設計されている。これにより、視線方向の光のみが瞳孔を通過するため、視線方向の画像(詳しくは虚像である。以下同様とする。)のみがユーザに視認されることとなる。即ち、HMD10は、視線方向依存型の表示装置として機能する。なお、視線方向依存型の表示装置の機能や作用の詳細については、例えば特許文献1に記載されている。
【0039】
制御部5は、図示しないCPUやRAMやROMなどを有し、HMD10の全体的な制御を行う。詳細は後述するが、制御部5は、本発明における「視線誘導手段」の一例である。
【0040】
なお、眼球の略中心の位置に、表示すべき画像に対応する光を集光させることに限定はされない。眼球の略中心の位置でなくても、瞳孔と網膜との間の位置に光を集光すれば、上記した視線方向依存型の表示装置を実現することができる。
【0041】
また、図1では、視線方向依存型の表示装置として、球面鏡3を利用した装置を例示したが、本発明は、球面鏡3の代わりにレンズを利用した装置や、球面鏡3の代わりにホログラム素子の反射特性を利用した装置など、種々の装置に適用することができる。
【0042】
次に、図2を参照して、第1実施例に係る制御部5の具体的な構成について説明する。図2は、第1実施例に係る制御部5の構成を示すブロック図である。図2に示すように、制御部5は、誘導ポイント指定部5aと、誘導画像生成部5bと、表示画像生成部5cと、表示合成部5dとを有する。本実施例では、制御部5は、ユーザの視線を向けさせるべき位置である誘導ポイントに、ユーザの視線を誘導するための誘導画像を表示させる制御を行う。
【0043】
誘導ポイント指定部5aは、ユーザの視線を誘導したいポイント(誘導ポイント)を指定する。例えば、誘導ポイント指定部5aは、HMD10によってユーザに提示すべき画像に対応する位置を、誘導ポイントとして指定する。
【0044】
誘導画像生成部5bは、ユーザの視線を誘導ポイントに誘導するための誘導画像を生成する。誘導画像の具体例については後述する。
【0045】
表示画像生成部5cは、HMD10によってユーザに提示すべき画像(誘導画像とは別の画像)を生成する。例えば、表示画像生成部5cは、CG(Computer Graphics)や文字などの画像を生成する。
【0046】
表示合成部5dは、誘導画像生成部5bによって生成された誘導画像と表示画像生成部5cによって生成された画像とを合成した画像のデータを、表示部1に出力する。
【0047】
(1-2)従来技術の問題点
ここで、図3を参照して、従来の視線方向依存型の表示装置(例えば特許文献1に記載された装置など)の問題点について説明する。図3(a)、(b)で示す矩形エリアは、視線方向依存型の表示装置による表示エリアを示している(以下で示す図面についても同様とする)。ここでは、表示エリアの中央にメールの着信通知(符号21参照)が表示され、表示エリアの右上側に時刻(符号22参照)が表示された場合を例示している。また、符号20a、20bは、ユーザの視線方向に応じた視界に相当する視認エリアを示している。
【0048】
図3(a)に示すように、ユーザが中央に視線を向けている場合には、ユーザはメールの着信通知に気付く。しかしながら、図3(b)に示すように、ユーザが時刻を見るために右上に視線を向けている場合には、ユーザは中央のメールの着信通知に気付かない。このとき、たとえメールの着信通知を点滅等して強調表示を行ったとしても、その強調表示がユーザの視界には入らないため、ユーザはメールの着信通知に気付かない。
【0049】
以上のように、従来の視線方向依存型の表示装置では、視線方向以外の画像がユーザには見えないため、当該装置によって提示された情報をユーザが見逃しやすいといった問題点があった。したがって、第1実施例では、HMD10によってユーザに提示すべき画像に対応する位置などを誘導ポイントとして用いて、当該誘導ポイントにユーザの視線を誘導するための誘導画像を表示させる。
【0050】
(1-3)表示例
次に、第1実施例に係る誘導画像の具体例について示す。なお、誘導画像は、制御部5の誘導画像生成部5bによって生成される。
【0051】
(1-3-1)第1の表示例
図4を参照して、誘導画像の第1の表示例について説明する。図4(a)~(d)では、星23は誘導ポイントを示しており、太線24(24a~24d)は誘導画像を示しており、複数の細線は誘導画像24の軌道を示している。具体的には、図4(a)~(d)は、誘導画像24の時間変化を示している。この場合、図4(a)→図4(b)→図4(c)→図4(d)の順に時間が経過したものとする。
【0052】
なお、図4において、誘導ポイント23を示す星は説明の便宜上の観点から示したものであり、実際には表示されない(実際には、表示画像生成部5cによって生成された画像が表示される)。また、誘導画像24の軌道を示す複数の細線も説明の便宜上の観点から示したものであり、実際には表示されない。星及び細線については、以下で示す図面についてもこれと同様とする。
【0053】
第1の表示例では、図4(a)~(d)に示すように、HMD10は、誘導画像24として、時間の経過に伴って誘導ポイント23に向かってサイズが縮小してく円の画像(詳しくは円を構成する曲線(円周、円弧)を示す画像であり、以下では「縮小円」と呼ぶ。)を表示させる。つまり、HMD10は、誘導ポイント23を収束点として、時間と共にサイズが縮小していく縮小円を表示させる。このような縮小円を表示させることで、表示エリアにおいてユーザが見えているエリアによらず、ユーザの視線を適切に誘導することができる。よって、ユーザに対して意図的な情報提示および視線誘導が可能となる。
【0054】
また、第1の表示例では、HMD10は、表示エリアの端の位置から、縮小円を表示し始める。具体的には、HMD10は、誘導ポイント23と、表示エリアにおいて誘導ポイント23から最も離れた端の位置(図4に示す例では概ね左下の位置)との距離を、縮小円の初期半径として、当該初期半径から半径を徐々に小さくしていった縮小円を表示させる。こうしているのは、例えば、図4(b)に示すような縮小円の半径を初期半径とすると、左下の端に縮小円が表示されないため、ユーザの視線が当該端にある場合には、視線誘導効果が得られないからである。また、初期半径が大きすぎると、縮小円が表示されない時間が発生してしまい、視線誘導効果の時間効率が悪いと言えるからである。そのため、HMD10は、誘導ポイント23から最も離れた端の位置と誘導ポイント23との距離を縮小円の初期半径にする。これにより、視線誘導効果が得られない視線方向を無くすことができると共に、視線誘導効果の時間効率の悪化を抑制することができる。
【0055】
また、縮小円の縮小スピードを「δr/δt」と定義すると(r:縮小円の半径、t:時間)、1つの例では、HMD10は、縮小スピードを概ね一定にする。こうすることで、表示エリア全体で同じ視線誘導効果を生じさせることができる。また、縮小スピードが速すぎるとユーザが縮小円を眼で追うことができず、縮小スピードが遅すぎると視線誘導に時間がかかり過ぎるため、これらを考慮して縮小スピードを設定することが好ましい。具体的には、ユーザが縮小円を眼で追うことができ、且つ視線誘導効果の時間効率が確保されるような縮小スピードに設定することが好ましい。他の例では、HMD10は、視線誘導効果が必要ないエリアでは、縮小円の縮小スピードを速くすることができる。こうすることで、視線誘導効果の時間効率を良くすることができる。
【0056】
更に、HMD10は、縮小円の表示を繰り返し行うことができる。具体的には、HMD10は、縮小円を収束させ終わった後に(この際に縮小円は一旦消滅する)、初期半径を有する縮小円を再度表示させて縮小させていくといった表示を、繰り返し行うことができる。これにより、瞬き等でユーザが縮小円を見ていない時間があっても、視線を誘導ポイント23に適切に誘導することが可能となる。
【0057】
なお、上記では、誘導画像の第1の表示例として、円の画像(縮小円)を縮小する例を示したが、縮小する画像の形状は円に限定はされない。例えば、四角や星やキャラクタなどの種々の形状の画像を、誘導ポイント23に向かって縮小させることができる。そのような場合にも、縮小円で述べた縮小スピードを同様に適用することができる。例えば、縮小スピードは、縮小させる画像に外接する円の半径の変化速度と定義することができる。
【0058】
(1-3-2)第2の表示例
第1の表示例では、表示エリアにおいて時間的に変化させた画像を誘導画像として表示させていたが、第2の表示例では、表示エリアにおいて空間的な変化を有する画像を誘導画像として表示させる。具体的には、第2の表示例では、誘導ポイント23までの距離に応じた空間的な変化を有する画像を、誘導画像として表示させる。
【0059】
図5は、誘導画像の第2の表示例を示す図である。図5に示すように、第2の表示例では、HMD10は、誘導ポイント23に向かって明るさが変化する画像を誘導画像として表示させる。この画像は、誘導ポイント23に近くなるほど明るくなり、誘導ポイント23から離れるほど暗くなるように構成されている。
【0060】
なお、誘導ポイント23に向かって明るさが変化する画像を誘導画像として表示させることに限定はされず、この代わりに、誘導ポイント23に向かって色が変化する画像を誘導画像として表示させても良い。例えば、誘導ポイント23に近くなるほど黄色の度合いが大きくなり、誘導ポイント23から離れるほど青色の度合いが大きくなるような画像を表示させることができる。
【0061】
(1-3-3)第3の表示例
第3の表示例でも、第2の表示例と同様に、表示エリアにおいて空間的な変化を有する画像を誘導画像として表示させる。しかしながら、第2の表示例では、誘導ポイント23に向かって明るさや色が変化する画像を誘導画像として表示させていたが、第3の表示例では、誘導ポイント23に向かって線分の密度が変化するような画像を誘導画像として表示させる。
【0062】
図6は、誘導画像の第3の表示例を示す図である。図6に示すように、第3の表示例では、HMD10は、誘導ポイント23に向かって線分の密度が変化する画像を誘導画像として表示させる。この画像は、誘導ポイント23から放射状に延びる線分によって構成されている。当該画像では、誘導ポイント23に近くなるほど線分の密度が大きくなり、誘導ポイント23から離れるほど線分の密度が小さくなる。
【0063】
なお、図6では、説明の便宜上の観点から誘導画像を構成する線分の一部のみを示しており、実際にはもっと多くの線分が表示される。誘導画像を構成する線分の数は、例えば、どの視線方向においても少なくとも1本以上の線分が見えるように決められる。
【0064】
また、誘導ポイント23に向かって線分の密度が変化するような画像を誘導画像として表示させることに限定はされず、この代わりに、誘導ポイント23に向かって点の密度が変化するような画像を誘導画像として表示させても良い。例えば、誘導ポイント23に近くなるほど点の密度が大きくなり、誘導ポイント23から離れるほど点の密度が小さくなるような画像を表示させることができる(誘導ポイント23からの距離と点の密度との関係は、これの逆にしても良い)。
【0065】
(1-3-4)第4の表示例
第4の表示例では、誘導ポイント23の方向を指し示すような画像を誘導画像として表示させる点で、第1乃至第3の表示例と異なる。具体的には、第4の表示例では、誘導ポイント23の方向を指し示す矢印画像を誘導画像として表示させる。
【0066】
図7は、誘導画像の第4の表示例を示す図である。図7に示すように、第4の表示例では、HMD10は、各々が誘導ポイント23の方向を指している複数の矢印画像を、誘導画像として表示させる。複数の矢印画像は、誘導ポイント23から放射状に延びている。
【0067】
なお、図7では、説明の便宜上の観点から誘導画像を構成する矢印画像の一部のみを示しており、実際にはもっと多くの矢印画像が表示される。誘導画像としての矢印画像の数は、例えば、どの視線方向においても少なくとも1つ以上の矢印画像が見えるように決められる。
【0068】
(1-3-5)第5の表示例
第1の表示例では、表示エリアにおいて時間的に変化させた画像を誘導画像として表示させ、第2乃至第4の表示例では、表示エリアにおいて空間的な変化を有する画像を誘導画像として表示させていた。第5の表示例では、第1の表示例と第2乃至第4の表示例とを組み合わせたような画像、つまり表示エリアにおいて時間的な変化及び空間的な変化を有する画像を、誘導画像として表示させる。
【0069】
(1-3-6)他の表示例
上記した表示例では、一つの誘導ポイントを用いて誘導画像を表示させていたが、複数の誘導ポイントを用いて、複数の誘導ポイントに対応する誘導画像を表示させても良い。つまり、上記した表示例は、複数箇所への誘導を行う場合にも適用することができる。1つの例では、複数の誘導ポイントのそれぞれに向かってサイズが縮小していくような円の画像(縮小円)を、同時に表示させる。他の例では、一定時間や一周期毎などで誘導ポイントを変更し、その時点での誘導ポイントに応じた誘導画像を表示させる、つまり時分割表示を行う。更に他の例では、表示エリアを左右や上下に分割したエリアのそれぞれに誘導画像を表示させる、つまり空間分割表示を行う。
【0070】
(1-4)誘導画像の表示エリアの限定
上記した全ての誘導画像は、表示エリア全体ではなく、ユーザの視線方向に応じた視認エリアにのみ表示させても良い。具体的には、公知の手法を用いてユーザの視線を検出すれば、検出された視線に応じた視認エリアにのみ誘導画像を表示させることができる。こうすることで、視線方向を中心にユーザが視認しやすい誘導画像の表示が可能となる。例えば、第4の表示例で示した矢印画像を、ユーザの視線方向を中心に表示することで、矢印画像が指している方向を容易に視認させることが可能となる。
【0071】
(1-5)視線誘導の終了
上記したような誘導画像は、基本的には、ユーザの視線が誘導ポイント23に向いた後は不要なものとなる。また、視線が誘導ポイント23に向いた後も誘導画像を表示させると、ユーザが不快感を覚えたりする可能性もある。したがって、ユーザの視線が誘導ポイント23に向いた後は、誘導画像の表示を終了する(つまり視線誘導を終了する)ことが好ましいと言える。以下に、視線誘導の終了に関する具体例を示す。
【0072】
なお、以下で示す視線誘導の終了に関する具体例は、上記した第1乃至第4の表示例で示したような誘導画像に対して適用されるものである。
【0073】
(1-5-1)第1の例
図8を参照して、視線誘導の終了に関する第1の例について説明する。図8において、表示エリア内のエリア25aは誘導画像を表示させないエリアであり、表示エリア内のエリア26aは誘導画像を表示させるエリアである。エリア25aは、誘導ポイント23に視線を向けた際の視認エリアに相当する。なお、エリア25aは、本発明における「第1エリア」の一例である。
【0074】
図8に示すように、第1の例では、HMD10は、ユーザの視線が誘導ポイント23にあるときの視認エリアに相当するエリア25a内には視線画像を表示させない。これにより、ユーザが誘導ポイント23に視線を移動させると、誘導画像が視認されなくなるため、つまり誘導画像の表示が終了するため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。他方で、ユーザの視線が誘導ポイント23と異なる際には、ユーザに誘導画像を視認させることで視線を適切に誘導することができる。
【0075】
なお、誘導画像を表示させないエリア25aのサイズを、ユーザの瞳孔径に応じて変えても良い。こうするのは、エリア25aを規定する視認エリアの大きさは、瞳孔径によって変わるからである。例えば、HMD10は、公知の手法によってユーザの瞳孔径を検出し、検出した瞳孔径に基づいて視認エリアを推定し、推定した視認エリアに応じてエリア25aのサイズを設定することができる。
【0076】
また、瞳孔径は環境光の明るさ(ユーザの周囲の明るさ)によって変化するため、上記のように瞳孔径を直接的に用いる代わりに、環境光の明るさに応じて、誘導画像を表示させないエリア25aのサイズを変えても良い。例えば、HMD10は、環境光の明るさを検出し、検出した明るさに基づいて瞳孔径に相当する視認エリアを推定し、推定した視認エリアに応じてエリア25aのサイズを設定することができる。
【0077】
(1-5-2)第2の例
第2の例は、環境光の明るさ等に起因する瞳孔径の変化による視認エリアの変動を考慮して、誘導画像を表示させないエリアを取り囲む周囲のエリア(以下では「緩衝エリア」と呼ぶ。)では、視線誘導効果が徐々に低下するような誘導画像を表示させる点で、第1の例と異なる。つまり、第1の例では、誘導画像を表示させないエリア25aと誘導画像を表示させるエリア26aとを用いることで、誘導画像の表示のオンとオフとを切り替えていたが、第2の例では、誘導画像を表示させないエリアと誘導画像を表示させるエリアとの間に設けられた緩衝エリアを用いることで、誘導画像の表示のオンの状態から誘導画像の表示のオフの状態に徐々に移行させる。
【0078】
図9は、視線誘導の終了に関する第2の例を示す図である。図9において、表示エリア内のエリア25bは誘導画像を表示させないエリアであり、表示エリア内のエリア26bは誘導画像を表示させるエリアであり、表示エリア内のエリア26cは上記した緩衝エリアである。詳しくは、エリア26bでは、通常の視線誘導効果を有する誘導画像が表示され、緩衝エリア26cでは、エリア26bよりも視線誘導効果を低下させた誘導画像が表示される。緩衝エリア26cは、本発明における「第2エリア」の一例であり、環境光の明るさ等に起因する瞳孔径の変化による視認エリアの変動幅に応じてサイズが設定される。
【0079】
第2の例では、HMD10は、ユーザの視線が緩衝エリア26cにある場合には、視線が誘導画像を表示させないエリア25bに近付くほど、視線誘導効果が徐々に低下するような誘導画像を表示させる。例えば、HMD10は、緩衝エリア26cでは、エリア26bよりも、誘導画像の明るさを下げたり、誘導画像を構成する線分を細線化したり、誘導画像を縮小させるスピードを速くしたりする。
【0080】
(1-5-3)第3の例
第3の例では、HMD10は、誘導画像を表示してから所定時間経過した際に誘導画像の表示を終了する。このような第3の例は、上記した第1の例及び第2の例の代わりに実施することとしても良いし、第1の例又は第2の例と組み合わせて実施しても良い。
【0081】
(1-5-4)第4の例
第4の例では、HMD10は、誘導ポイント23に向かうユーザの頭部の動きが生じてから所定時間経過した際に誘導画像の表示を終了する。具体的には、第4の例では、HMD10は、カメラや加速度センサやジャイロセンサなどのセンサの出力に基づいて、ユーザの頭部の動きを検出する。そして、HMD10は、誘導ポイント23に向かう頭部の動きが検出された場合に、その検出後に所定時間経過した際に誘導画像の表示を終了する。
【0082】
なお、第4の例は、上記した第1乃至第3の例の代わりに実施することとしても良いし、第1乃至第3の例と適宜組み合わせて実施しても良い。
【0083】
(1-5-5)第5の例
第5の例では、HMD10は、ユーザの視線が誘導ポイント23に向いた際に誘導画像の表示を終了する。具体的には、第5の例では、HMD10は、公知の手法を用いてユーザの視線を検出し、検出された視線が誘導ポイント23に向いた際に誘導画像の表示を終了する。
【0084】
なお、第5の例は、上記した第1乃至第4の例の代わりに実施することとしても良いし、第1乃至第4の例と適宜組み合わせて実施しても良い。
【0085】
(2)第2実施例
次に、第2実施例について説明する。第2実施例は、第1実施例で示したような、ユーザの視線を誘導ポイント23に誘導するための構成を、現実環境に対してCGや文字等の付加情報を提示するAR(Augment Reality)の構成に適用するものである。以下では、ARを実現可能な構成を適宜「ARシステム」と呼ぶ。
【0086】
図1に示したような視線方向依存型の表示装置(HMD10)によれば、ハーフミラー4により、前方の現実環境と表示画像とを同時に視認可能である。そのため、現実環境に実際に存在する対象物等を検出する手段(例えばカメラなど)を設けることで、当該対象物に合わせた画像を表示させることが可能である。つまり、ARシステムを実現することができる。
【0087】
図10を参照して、ARシステムによる表示について具体例を挙げて説明する。図10(a)は、HMD10の表示部1によって表示された画像30a~30cを示しており、図10(b)は、画像30a~30cを表示させた場合において、視認エリア31において視認される像を示している。この場合には、画像30bのみが視認される。他方で、図10(c)は、現実環境に存在する対象物32a~32cを示しており、図10(d)は、ARシステムによって視認される像を示している。具体的には、図10(d)は、図10(c)に示すような現実環境において図10(a)に示すような画像30a~30cを表示させた場合に、図10(b)に示すような視認エリア31において視認される像を示している。図10(d)に示すように、ARシステムによれば、現実環境に存在する対象物32bに合わせた画像30bを表示させることが可能である。
【0088】
ここで、上記のARシステムにおいては、視線方向依存型の表示装置(HMD10)を頭部に装着した場合、頭部などの動きによって表示上での誘導ポイント23の位置が変化する。以下では、ARシステムにおける視線誘導に関する具体例を示す。
【0089】
(2-1)ARシステムにおける視線誘導
視線方向依存型の表示装置でのARシステムでは、現実環境に存在する対象物と情報(画像)とを、位置を合わせて表示することが可能である。また、誘導ポイント23を、現実環境に存在する対象物の位置に合わせることも可能である。したがって、第1実施例で示したような構成(具体的には誘導ポイント23に視線を誘導するための誘導画像を表示させる構成)をARシステムに適用すると、現実環境に存在する対象物の位置や現実環境に存在する対象物に付随した表示情報(画像)の位置を誘導ポイント23として、そのような誘導ポイント23に視線を誘導するための誘導画像を表示させることができる。例えば、第1実施例の第1乃至第4の表示例で示したような誘導画像を、同様にして表示させることができる。
【0090】
(2-2)ARシステムにおける視線誘導の終了
ARシステムにおいても、ユーザの視線が誘導ポイント23に向いた後は誘導画像は不要なものとなる。また、視線が誘導ポイント23に向いた後も誘導画像を表示させると、ユーザが不快感を覚えたりする可能性がある。したがって、ARシステムにおいても、ユーザの視線が誘導ポイント23に向いた後は、誘導画像の表示を終了することが好ましいと言える。
【0091】
上記したように、視線方向依存型の表示装置でのARシステムでは、現実環境に存在する対象物の位置や現実環境に存在する対象物に付随した表示情報(画像)の位置を誘導ポイント23として、そのような誘導ポイント23に視線を誘導するための誘導画像を表示させる。ここで、ユーザが現実環境に存在する任意の対象物に注目した場合、ユーザは当該対象物の方向に顔を向ける傾向にある。したがって、視線方向依存型の表示装置でのARシステムでは、現実環境に存在する対象物の位置と連動した誘導ポイント23がユーザの顔の正面付近に移動した際に、ユーザの視線が誘導ポイント23に向いたものと判断して、誘導画像の表示を終了する。これにより、適切な視線誘導と、ユーザの不快感等の抑制とを両立することが可能となる。1つの例では、ユーザの前方の現実環境を撮影するカメラの撮影画像などに基づいて、対象物の位置と連動した誘導ポイント23が顔の正面付近に移動したか否かを判定することができる。
【0092】
なお、視線方向依存型の表示装置でのARシステムに対して、「(1-5)視線誘導の終了」のセクションで述べたような種々の視線誘導の終了方法を適用しても良い。
【0093】
(2-3)エリア別の視線誘導
現実環境の特定のエリアに応じて表示エリア内に複数のエリアを設けて、各エリアごとに誘導画像を表示させると、ユーザにとって不要な情報への視線誘導を抑制することができる。これにより、効率的な視線誘導と、ユーザへの不要な情報の提供の抑制とを両立することが可能となる。
【0094】
図11は、エリア別の視線誘導の具体例を示している。図11は、2つの誘導ポイント23a、23bに応じた2つのエリア40a、40bを表示エリア内に設けた場合を例示している。エリア40a、40bでは、それぞれ、第1実施例の第1の表示例で示した誘導画像24と同様の誘導画像42a、42bが表示される。具体的には、エリア40a、40bでは、それぞれ、時間の経過に伴って誘導ポイント23a、23bに向かってサイズが縮小してく円の画像(縮小円)が、誘導画像42a、42bとして表示される。なお、誘導画像42a、42bは、それぞれエリア40a、40b内でのみ表示され、重なって表示されることはない。
【0095】
例えば、図11に示すような誘導画像42a、42bは、モールやスーパーなど物が種類で分けられている空間において、ユーザに見てもらいたい対象物や情報がある場合に適用すると、効果的である。1つの例では、時計屋と洋服屋とが並んでいるモールにおいて、エリア40aを時計屋に対して用いることとし、誘導ポイント23aを時計屋でユーザに見てもらいたい商品の位置とすることができ、また、エリア40bを洋服屋に対して用いることとし、誘導ポイント23bを洋服屋でユーザに見てもらいたい商品の位置とすることができる。こうした場合、ユーザが時計に興味があり、時計屋に視線を向けると、視認エリア43が時計屋用のエリア40a内に入ることで、時計屋用の誘導画像42aが視認されることとなる。これにより、ユーザの視線が時計屋用の誘導ポイント23aに誘導されることで、ユーザは誘導ポイント23aにある商品に注目することとなる。この場合、ユーザには洋服屋用の誘導画像42bは見えないので、ユーザの視線は洋服屋用の誘導ポイント23bへは誘導されない。
【0096】
以上のように、エリア40a、40bごとに誘導画像42a、42bを表示させることで、視線などを検出することなく、分類された空間ごとに注目して欲しい対象物や情報にユーザの視線を適切に誘導することができる。また、ユーザが興味のない対象物や情報への誘導画像はユーザには見えないため、ユーザが不快感などを覚えてしまうことを適切に抑制することができる。
【0097】
なお、図11に示すような表示は、「3次元の現実環境の情報」と「画像と現実環境との位置姿勢関係を検出する手段」などによって実現することができる。「3次元の現実環境の情報」としては、時計屋や洋服屋の3次元のエリア情報や、誘導ポイントの3次元位置や、表示情報などである。「画像と現実環境との位置姿勢関係を検出する手段」は、例えばユーザの前方の現実環境を撮影するカメラの撮影画像を用いて実現できる。このような「画像と現実環境との位置姿勢関係を検出する手段」を利用して、「3次元の現実環境の情報」を各エリアに対応付けて表示すれば良い。
【0098】
なお、図11では、表示エリア内に2つのエリア40a、40bを設けて2つの誘導画像42a、42bを表示させる例を示したが、表示エリア内に3つ以上のエリアを設けて3つ以上の誘導画像を表示させても良い。また、表示エリア内に複数のエリアを設けて複数の誘導画像を表示させることに限定はされず、表示エリア内に1つのエリア(表示エリアの一部分のエリア)のみを設けて、そのエリアにのみ誘導画像を表示させても良い。
【0099】
(3)変形例
上記では、誘導画像を用いてユーザの視線を誘導する実施例を示したが、誘導画像を用いることに限定はされない。他の例では、誘導画像の代わりに、LEDなどの点滅や、振動や、音声などを用いて、ユーザの視線を誘導することができる。例えば、表示装置に複数のLEDを設けて、視線を誘導すべき方向に対応する場所に位置するLEDを点滅させたり、視線を誘導すべき方向に対応する表示装置の箇所を振動させたり、視線を誘導すべき方向に対応する表示装置の箇所から音声を発生させたりすることができる。
【0100】
本発明は、HMD10への適用に限定はされない。本発明は、ヘッドアップディスプレイ(HUD)などの表示装置にも適用することができる。
【産業上の利用可能性】
【0101】
本発明は、ヘッドマウントディスプレイやヘッドアップディスプレイなどの表示装置に利用することができる。
【符号の説明】
【0102】
1 表示部
2 マスク
3 球面鏡
4 ハーフミラー
5 制御部
5a 誘導ポイント指定部
5b 誘導画像生成部
5c 表示画像生成部
5d 表示合成部
10 ヘッドマウントディスプレイ(HMD)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11