(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】映像表示装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20241107BHJP
G06F 3/0482 20130101ALI20241107BHJP
G06F 3/038 20130101ALI20241107BHJP
G06F 3/0346 20130101ALI20241107BHJP
G06F 3/16 20060101ALI20241107BHJP
【ＦＩ】
G06F3/01 510
G06F3/0482
G06F3/01 570
G06F3/038 310A
G06F3/0346 423
G06F3/16 630
【請求項の数】
10
(21)【出願番号】P 2023173414
(22)【出願日】2023-10-05
(62)【分割の表示】P 2022080185の分割
【原出願日】2018-11-29
(65)【公開番号】P2023168575
(43)【公開日】2023-11-24
【審査請求日】2023-10-05
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】中出 眞弓
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】伊藤 保
(72)【発明者】
【氏名】吉澤 和彦
【審査官】伊藤 昭治
(56)【参考文献】
【文献】特開２０１７－１８２４１３（ＪＰ，Ａ）
【文献】国際公開第２０１８／１６７９６６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３４６
Ｇ０６Ｆ ３／０３８
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ｇ０６Ｆ ３／１６
(57)【特許請求の範囲】
【請求項1】
映像表示装置であって、表示部と、
制御部と、
視線検出部と、を備え、
前記表示部は、生成画像を複数表示し、
前記制御部は、前記生成画像に対するユーザの操作を支援するための選択領域を設定し、
前記視線検出部は、前記ユーザの視線方向を検出し、
前記制御部は、前記視線検出部が検出した前記視線方向に応じた視線領域を設定し、
複数表示された前記生成画像を前記ユーザが視認することに対応して、前記視線領域内に前記生成画像が該当する場合、
前記制御部は、前記選択領域に、前記視線領域内に該当する前記生成画像と関連した選択用画像を表示するように制御し、前記選択用画像に対する前記ユーザの選択操作を受けた場合に、前記選択用画像に関連する前記生成画像に関連付けられた所定の処理を実行する、
映像表示装置。
【請求項2】
請求項１記載の映像表示装置であって、前記選択用画像は、前記生成画像の縮小画像であることを特徴とする、
映像表示装置。
【請求項3】
請求項１記載の映像表示装置であって、前記選択用画像は、前記生成画像の一部画像であることを特徴とする、
映像表示装置。
【請求項4】
請求項１記載の映像表示装置であって、前記生成画像に対するユーザの操作を支援するための識別情報を含むＩＤ画像を構成し、
前記視線領域内に前記生成画像が該当する場合、前記視線領域内の生成画像と前記選択領域内の選択用画像に前記ＩＤ画像を対応付けて表示することを特徴とする、
映像表示装置。
【請求項5】
請求項１記載の映像表示装置であって、前記ユーザの操作に応じて、前記視線領域を拡大または縮小する、
映像表示装置。
【請求項6】
請求項５記載の映像表示装置であって、前記視線領域内に同時表示可能な前記生成画像の最大数が設定され、
前記最大数に応じて、前記視線領域を拡大または縮小する、
映像表示装置。
【請求項7】
請求項１記載の映像表示装置であって、前記選択領域は、表示面の上辺、下辺、右辺、または左辺に設けられていることを特徴とする、
映像表示装置。
【請求項8】
請求項４記載の映像表示装置であって、前記選択領域の前記ＩＤ画像と前記選択用画像を前記生成画像の表示位置に対応させた位置に表示するように制御する、
映像表示装置。
【請求項9】
請求項８記載の映像表示装置であって、前記生成画像が表示された位置と離れた位置に前記選択領域を設定し、前記生成画像と前記選択用画像との対応関係を示す線を表示するように制御する、
映像表示装置。
【請求項10】
請求項８記載の映像表示装置であって、表示面の左右方向、または上下方向で前記生成画像の位置と対応させた位置に、前記ＩＤ画像と前記選択用画像を表示するように制御する、
映像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像表示装置の技術に関し、現実空間の映像（実像と記載する場合がある）に対し、コンピュータによる生成画像（虚像と記載する場合もある）を表示する技術に関する。
【背景技術】
【0002】
実像の物体等に対し、拡張現実（ＡＲ：Augmented Reality）、仮想現実（ＶＲ：Virtual Reality）、混合現実（ＭＲ：Mixed Reality）等の生成画像を表示する技術の開発が進んでいる。生成画像は、静止画または動画を含む。生成画像を表示可能である映像表示装置として、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ，頭部装着型表示装置）やヘッドアップディスプレイ（Head Up Display：ＨＵＤ）等が挙げられる。例えば、ＡＲ機能を持つＨＭＤは、透過型または非透過型の表示面において、実像上に生成画像であるＡＲ画像（ＡＲオブジェクト等と記載する場合がある）を重畳させて表示する。ユーザは、表示面の複数のＡＲ画像から目的のＡＲ画像を選択操作する。ＨＭＤは、選択されたＡＲ画像に対応付けられる所定の処理を実行する。
【0003】
上記映像表示装置に係わる先行技術例として、特開２０１６－２１８８６８号公報（特許文献１）が挙げられる。特許文献１には、表示制御方法等において、表示されたオブジェクトデータの選択性を向上する旨が記載されている。特許文献１には、ＨＭＤが、ディスプレイの表示範囲に含まれる選択可能なオブジェクトデータの数に応じた数の識別情報を生成し、表示範囲に含まれるオブジェクトデータの各々に、生成した識別情報の各々を対応付けて表示する旨が記載されている。すなわち、特許文献１には、図２等に示されるように、ＡＲ画像に対し、識別情報（ＩＤと記載する場合がある）の画像（ＩＤ画像と記載する場合がある）を付与して表示する旨が記載されている。このＩＤ画像もＡＲ画像の一種であるといえる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－２１８８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来技術例のＨＭＤ等の映像表示装置は、例えば表示面内に多数の物体および多数のＡＲ画像が存在する場合に、ユーザが所望のＡＲ画像を選択操作することが難しい。また、従来技術例におけるＡＲ画像の選択操作の方式は、例えばカメラを用いて手指のジェスチャーを検出する方式である。このジェスチャーは、例えば目的のＡＲ画像を手指で仮想的にタッチする操作やつまむ操作が挙げられる。しかし、この方式は、ＡＲ画像の選択操作の検出が難しい場合がある。
【0006】
従来技術例の映像表示装置は、ＡＲ等の生成画像に関するユーザの操作性や使い勝手に関して、改善余地がある。本発明の目的は、映像表示装置の技術に関して、ＡＲ等の生成画像に関するユーザの操作性や使い勝手を高めることができる技術を提供することである。上記以外の課題、構成、効果等については、発明を実施するための形態で説明される。
【課題を解決するための手段】
【0007】
本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の映像表示装置は、実像上に生成画像を重畳して表示する映像表示装置であって、表示面に前記生成画像を表示し、前記生成画像に対するユーザの操作を支援するための識別情報を含むＩＤ画像を構成し、前記ユーザの視線方向を検出して前記視線方向に応じた視線領域を設定し、前記視線領域内に前記生成画像が該当する場合、前記生成画像に前記ＩＤ画像を対応付けて表示し、前記ＩＤ画像に対する前記ユーザの選択操作を受け付け、前記ＩＤ画像の前記選択操作を受けた場合に、前記ＩＤ画像に対応付けられた前記生成画像を選択し、前記生成画像に対応付けられた所定の処理を実行する。
【発明の効果】
【0008】
本発明のうち代表的な実施の形態によれば、映像表示装置の技術に関して、ＡＲ等の生成画像に関するユーザの操作性や使い勝手を高めることができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施の形態１の映像表示装置であるＨＭＤの外観を示す図である。
【図2】実施の形態１の映像表示装置の機能ブロック構成を示す図である。
【図3】実施の形態１の映像表示装置で、主な処理フローを示す図である。
【図4】実施の形態１の映像表示装置で、ＩＤ画像に関する処理フローを示す図である。
【図5】実施の形態１の映像表示装置で、ソフトウェア構成例を示す図である。
【図6】実施の形態１の映像表示装置で、ＩＤ画像表示の基本を示す図である。
【図7】実施の形態１の映像表示装置で、視線領域の構成例を示す図である。
【図8】実施の形態１の映像表示装置で、管理テーブルの構成例を示す図である。
【図9】実施の形態１の映像表示装置で、音声入力のコマンド表を示す図である。
【図10】実施の形態１の映像表示装置で、実像、ＡＲ画像およびＩＤ画像の第１例を示す図である。
【図11】実施の形態１の映像表示装置で、実像、ＡＲ画像およびＩＤ画像の第２例を示す図である。
【図12】実施の形態１の映像表示装置で、ＩＤ画像の第１例を示す図である。
【図13】実施の形態１の映像表示装置で、ＩＤ画像の第２例を示す図である。
【図14】実施の形態１の映像表示装置で、映像の第１状態を示す図である。
【図15】実施の形態１の映像表示装置で、映像の第２状態を示す図である。
【図16】実施の形態１の映像表示装置で、映像の例を示す図である。
【図17】実施の形態１の映像表示装置で、ＩＤ画像選択時の例を示す図である。
【図18】実施の形態１の映像表示装置で、視線領域の拡大／縮小の第１例を示す図である。
【図19】実施の形態１の映像表示装置で、視線領域の拡大／縮小の第２例を示す図である。
【図20】実施の形態１の映像表示装置で、視線領域の固定の例を示す図である。
【図21】実施の形態１の映像表示装置で、視線領域の逸脱の例を示す図である。
【図22】本発明の実施の形態２の映像表示装置における映像の例を示す図である。
【図23】実施の形態２の映像表示装置で、選択領域の第１例を示す図である。
【図24】実施の形態２の映像表示装置で、選択領域の第２例を示す図である。
【図25】実施の形態２の映像表示装置で、選択領域の第３例を示す図である。
【図26】実施の形態２の映像表示装置で、選択領域の第４例を示す図である。
【図27】本発明の実施の形態３の映像表示装置における処理フローを示す図である。
【図28】本発明の実施の形態４の映像表示装置における映像の例を示す図である。
【図29】本発明の実施の形態５の映像表示装置における視線深度を示す図である。
【図30】本発明の実施の形態６の映像表示装置における映像の例を示す図である。
【図31】本発明の実施の形態７の映像表示装置における映像の例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、繰り返しの説明は省略する。
【0011】
（実施の形態１）
図１～図２１を用いて、本発明の実施の形態１の映像表示装置について説明する。実施の形態１の映像表示装置は、ＨＭＤに適用した場合を示す。ＨＭＤの方式として透過型ＨＭＤである場合を示すが、非透過型ＨＭＤ等の他の方式の場合にも、同様に適用可能である。
図１～図２１を用いて、本発明の実施の形態１の映像表示装置について説明する。実施の形態１の映像表示装置は、ＨＭＤに適用した場合を示す。ＨＭＤの方式として透過型ＨＭＤである場合を示すが、非透過型ＨＭＤ等の他の方式の場合にも、同様に適用可能である。
【0012】
［ＨＭＤ（１）］
図１は、実施の形態１の映像表示装置であるＨＭＤ１の外観を示す。ＨＭＤ１は、頭部装着型の筐体に、表示面２、スピーカ３、視線検出部４、カメラ５、および図示しないマイク等を備えている。ＨＭＤ１の筐体には、制御部や表示部が内蔵されている。制御部は、集積回路等で構成され、表示部を含め、ＨＭＤ１の全体を制御する。表示部は、表示面２を含み、表示面２に映像を表示する。表示面２は、ユーザが映像を視認できる領域である。表示面２は、例えばユーザの両目の前に配置される眼鏡形状の表示素子であり、例えば透過型の表示面である。すなわち、ＨＭＤ１は、透過型ＨＭＤである。制御部は、表示面２に対するＡＲ画像を含む映像の表示を制御する。表示部は、例えば投射型表示装置で構成され、光源、レンズ等の光学系、駆動回路等を含む。透過型ＨＭＤの場合、ユーザの目から見た表示面２において、前方の実像が透過され、その実像上に、ＡＲ画像等の生成画像が重畳表示される。他の実施の形態で非透過型ＨＭＤを用いる場合、表示面２を含む表示部は例えば液晶表示素子で構成される。この場合、表示面２には、カメラ５で撮影した前方の映像に対し生成画像を合成した映像が表示される。表示面２への映像表示方式は、例えば投射型表示方式が適用可能であるが、特に限定しない。
図１は、実施の形態１の映像表示装置であるＨＭＤ１の外観を示す。ＨＭＤ１は、頭部装着型の筐体に、表示面２、スピーカ３、視線検出部４、カメラ５、および図示しないマイク等を備えている。ＨＭＤ１の筐体には、制御部や表示部が内蔵されている。制御部は、集積回路等で構成され、表示部を含め、ＨＭＤ１の全体を制御する。表示部は、表示面２を含み、表示面２に映像を表示する。表示面２は、ユーザが映像を視認できる領域である。表示面２は、例えばユーザの両目の前に配置される眼鏡形状の表示素子であり、例えば透過型の表示面である。すなわち、ＨＭＤ１は、透過型ＨＭＤである。制御部は、表示面２に対するＡＲ画像を含む映像の表示を制御する。表示部は、例えば投射型表示装置で構成され、光源、レンズ等の光学系、駆動回路等を含む。透過型ＨＭＤの場合、ユーザの目から見た表示面２において、前方の実像が透過され、その実像上に、ＡＲ画像等の生成画像が重畳表示される。他の実施の形態で非透過型ＨＭＤを用いる場合、表示面２を含む表示部は例えば液晶表示素子で構成される。この場合、表示面２には、カメラ５で撮影した前方の映像に対し生成画像を合成した映像が表示される。表示面２への映像表示方式は、例えば投射型表示方式が適用可能であるが、特に限定しない。
【0013】
スピーカ３は、制御部からの制御に従い、音声を発する。マイクは、ユーザの音声を入力し、制御部へ送る。制御部は、マイクの入力音声から音声認識処理を行って、予め規定された所定のコマンド等を検出する。制御部は、検出したコマンドに応じて、予め規定されている所定の処理を実行する。これにより、ＡＲ制御を含め、各種の機能が実現できる。予め、ＨＭＤ１のメモリには、音声コマンドの辞書（後述のコマンド表）を備え、各種のコマンドが登録されている。実施の形態１のＨＭＤ１は、音声コマンドを用いて、ＡＲ画像のＩＤ画像の選択操作や、視線領域の操作が可能である。
【0014】
視線検出部４は、ユーザの両目の視線の状態、少なくとも視線方向を検出する。視線検出部４は、その他、目のまばたき等の状態を検出してもよい。制御部は、視線検出部４と連携して、常時にユーザの視線方向を把握する。カメラ５は、ＨＭＤ１の前方を撮影して画像を得る。カメラ５は、ステレオカメラ等でもよい。制御部は、カメラ５の画像を処理して、例えば物体の検出を行う。
【0015】
ＨＭＤ１の筐体には、ＧＰＳ受信器、電子コンパス、ジャイロセンサ、加速度センサ等のセンサ類を備えている。ＨＭＤ１は、それらのセンサを用いて、ＨＭＤ１の位置、向き、加速度等を検出する。
【0016】
図１のＨＭＤ１、言い換えると映像表示装置の本体装置には、無線通信インタフェースまたは有線通信インタフェースを通じて、操作器（言い換えるとリモコン）が接続されてもよい。制御部は、操作器と連携し、操作器からの操作入力を受け付ける。この場合、ユーザは、操作器のボタン等を手指で操作することで、本体装置に指令できる。操作器は、専用装置に限らず、ユーザのスマートフォン等の汎用的な携帯情報端末装置を適用してもよい。この場合、ユーザは、スマートフォン等からＨＭＤ１を操作できる。例えば、ユーザのスマートフォン内に、ＡＲのアプリやデータがあってもよい。その場合、ＨＭＤ１の制御部は、通信で、スマートフォン内のＡＲのアプリやデータと連携する。
【0017】
［ＨＭＤ（２）］
図２は、ＨＭＤ１の機能ブロック構成を示す。ＨＭＤ１は、主制御部１００、記憶部１１０、映像処理部１２０、音声処理部１３０、通信処理部１４０、センサ部１５０、操作入力部１６０、バッテリ１７０、システムバス１８０等を有する。各部は、システムバス１８０を介して、コマンドやデータの送受信を行う。主制御部２は、ＭＰＵ等で構成されるプロセッサであり、記憶部１２０のプログラム１１１に従って、ＨＭＤ１全体を制御する。プロセッサは、記憶装置のプログラムのデータを処理用のメモリ上に読み出し、プログラムに従った処理を実行することにより、所定の機能等を実現する。
図２は、ＨＭＤ１の機能ブロック構成を示す。ＨＭＤ１は、主制御部１００、記憶部１１０、映像処理部１２０、音声処理部１３０、通信処理部１４０、センサ部１５０、操作入力部１６０、バッテリ１７０、システムバス１８０等を有する。各部は、システムバス１８０を介して、コマンドやデータの送受信を行う。主制御部２は、ＭＰＵ等で構成されるプロセッサであり、記憶部１２０のプログラム１１１に従って、ＨＭＤ１全体を制御する。プロセッサは、記憶装置のプログラムのデータを処理用のメモリ上に読み出し、プログラムに従った処理を実行することにより、所定の機能等を実現する。
【0018】
記憶部１２０は、例えばフラッシュＲＯＭやＳＳＤ等の不揮発性記憶装置で構成される。記憶部１２０は、動作制御用のプログラム１１１、ＤＢ１１２や設定情報１１３等のデータや情報が格納されている。プログラム１１１は、ＨＭＤ１のＯＳを実現するプログラム、ＡＲ機能を実現するプログラム、支援機能を実現するプログラム等を含む。
【0019】
ＤＢ１１２は、ＡＲ画像等のコンテンツデータや、支援のためのＩＤ画像等のデータ、および管理情報等の各種のデータを格納するデータベースであり、ファイル、テーブルまたはリスト等のデータ構造によるデータを含む。設定情報１１３は、システム設定情報やユーザ設定情報を含む。記憶部１２０は、処理用のワークエリアを含む。また、記憶部１２０には、通信網や外部装置から取得された、例えばＡＲプログラム、例えば映像や音声のコンテンツデータ、その他の各種の情報も記憶される。各種の情報は、例えば地図上の物体に関する検索情報が挙げられる。また、記憶部１２０には、カメラ５を用いて撮影された映像データ等が記憶される。これに限らず、ＨＭＤ１に連携する外部のサーバ装置等に、各種のデータやプログラムが格納されてもよい。
【0020】
センサ部１５０は、ＨＭＤ１や付近の状態を検出するための各種のセンサを含む。センサ部１５０は、例えばＧＰＳ受信器、地磁気センサ（電子コンパス）、加速度センサ、ジャイロセンサ、距離センサ等を含む。ＨＭＤ１は、これらのセンサによって、ＨＭＤ１の位置（例えば緯度、経度、標高）、向き（例えば方位角や仰角）、傾き、加速度等の動き、対象物との距離、等を検出可能である。センサ部１５０は、照度センサ、近接センサ、気圧センサ等の他のセンサを備えてもよい。
【0021】
通信処理部１４０は、ＩＣチップ等で構成され、通信処理回路やアンテナ等を含む。通信処理部１４０は、ＬＡＮ通信部１４１、電話網通信部１４２等を含む。ＬＡＮ通信部１４１は、アクセスポイントを介して、Ｗｉ－Ｆｉ（登録商標）等の方式で、ＬＡＮとのデータ通信処理等を行う。電話網通信部１４２は、例えばＷ－ＣＤＭＡ（登録商標）、ＧＳＭ、ＬＴＥ等の方式で、移動体電話通信網の基地局との無線通信処理を行うことにより、電話やデータ通信を可能とする。通信処理部１４０は、その他、ＢｌｕｅＴｏｏｔｈ（登録商標）や赤外線等の方式の通信部を備えてもよい。
【0022】
映像処理部１２０は、ＩＣチップ等で構成され、撮影部１２１、視線検出部４、表示部１２３等を含む。撮影部１２１はカメラ５を含む。表示部１２３は表示面２を含む。撮影部１２１のカメラ５は、レンズから入力した光を、ＣＣＤやＣＭＯＳ等の素子を用いて電気信号に変換することにより、画像データを得る。視線検出部４の視線検出方式は、公知の方式を適用できる。その方式は、例えば、可視カメラで目頭と虹彩を撮影して視線を検出する方式、赤外線ＬＥＤと赤外線カメラによる角膜反射法を用いて視線を検出する方式等がある。表示部１２３は、映像処理回路やビデオＲＡＭ等を含み、ビデオＲＡＭに入力された映像データに基づいて、表示面２に、ＡＲ画像を重畳表示する。なお、表示部１２３に、さらに、タッチパネル等を適用してもよい。
【0023】
音声処理部１３０は、ＩＣチップ等で構成され、音声入力部１３１、音声認識部１３２、音声出力部１３３を含む。音声入力部１３１は、マイクを含み、入力音声を音声データに変換する。音声出力部１３３は、スピーカ３を含み、音声データから音声に変換して出力する。音声認識部１３２は、入力音声データを解析し、コマンド等を検出する。音声認識部１３２は、専用のＩＣで構成されてもよいし、主制御部１００によるプログラム処理で構成されてもよい。
【0024】
操作入力部１６０は、ＨＭＤ１に対する基本的な操作入力（例えば電源オン／オフ、音量調整等）を受け付ける部分であり、例えばハードウェアボタンやタッチセンサ等を含む。ＨＭＤ１は、バッテリ１８０の電力を用いて、外部から電源供給されていない状態でも動作する。
【0025】
【0026】
ステップＳ１で、ＨＭＤ１は、ＨＭＤ１の位置および向きを検出する。ＨＭＤ１の位置は、例えば地理上の３次元空間内の位置であり、ＧＰＳ受信器等を用いて、座標（緯度、経度、標高）として得られる。ＨＭＤ１の向きは、図１の表示面２の前方を見る方向（Ｚ方向）に対応し、電子コンパスを用いて、方位角や仰角として得られる。その他、ＨＭＤ１は、センサ部１５０を用いて、現在の状態を検出する。
【0027】
ステップＳ２で、ＨＭＤ１（例えばＡＲプログラム）は、所定の方式で、ＡＲ画像を生成し、表示する。例えば、ＨＭＤ１は、表示面２の実像内から、ＡＲの対象となる所定の物体を検出する。例えば、ＨＭＤ１は、カメラ５等を用いて、その物体の３次元位置やＨＭＤ１との距離を検出し、表示面２内でのその物体の２次元位置や画像領域を検出する。ＨＭＤ１は、検出した物体に関して、物体情報を取得する。例えば、ＨＭＤ１は、地図データやインターネットから、その物体の位置に対応する物体情報を検索してもよい。あるいは、ＨＭＤ１は、ＨＭＤ１の現在の位置に基づいて、地図データから、現在の位置の付近に存在する物体の情報を取得してもよい。ＨＭＤ１は、例えば、Google Street View等のサービスを利用して、地図上の店舗等の物体の情報を取得してもよい。
【0028】
ＨＭＤ１は、取得した物体情報に基づいて、ＡＲ画像を生成し、表示面２内に表示する。例えば、ＨＭＤ１のＡＲプログラムは、表示面２での物体の位置、画像領域に対応付けるようにして、ＡＲ画像を表示する。
【0029】
ＨＭＤ１は、上記ＡＲプログラムによって生成、表示されたＡＲ画像を検出し、ＡＲ画像に関する情報を取得する。ＨＭＤ１は、ＤＢ１１２（後述の管理テーブル）に格納されているＡＲオブジェクトの情報を参照してもよいし、インターネットからＡＲオブジェクトの情報を取得してもよい。
【0030】
ステップＳ３で、ＨＭＤ１は、視線検出部４を用いて、リアルタイムで、例えば図１の視線方向ＥＤのような、ユーザの視線方向を検出する。ＨＭＤ１は、表示面２に、検出した視線方向に応じた視線領域（後述の図６）を設定する。視線領域は、例えば、視線方向と表示面２とが交わる点を中心点として、所定の半径を持つ円形領域として設定される。実施の形態１のＨＭＤ１は、基本設定では視線領域を表示面２に表示しない構成であるが、基本設定で視線領域を表示面２に表示する構成としてもよい。また、実施の形態１のＨＭＤ１は、ユーザの操作（後述のコマンド）に応じて、視線領域の表示と非表示とを切り替えることもできる。視線領域の位置等は、制御上の各タイミングで更新される。視線の動きが小さい場合には、前回と同じ視線領域が使用される。
【0031】
また、ＨＭＤ１は、ステップＳ３の処理内で、視線領域が表示面２から逸脱したかどうかも判断する。ＨＭＤ１は、視線領域の逸脱時には、所定の処理を実行する。この処理は、例えば、視線領域内のＩＤ画像に関する再構成の処理が挙げられる。また、ＨＭＤ１の使用開始時には、初期設定の視線領域が使用される。
【0032】
ステップＳ４で、ＨＭＤ１は、ステップＳ２のＡＲ画像とステップＳ３の視線領域とで、表示面２内における該当の判断を行う。すなわち、ＨＭＤ１は、その時の視線領域内にＡＲ画像の位置または領域が入っているか否か、重なっているか否か等を判断する。例えば、ＨＭＤ１は、後述の管理テーブル（図８）における「ＡＲ画像」の「表示位置」が、その時の視線領域の範囲内にあるかを判断する。
【0033】
ステップＳ５で、ＨＭＤ１は、視線領域内の該当するＡＲ画像に対して関連付けて付与するＩＤ画像を生成し、表示面２内においてＡＲ画像と対応付けた位置にそのＩＤ画像を表示する。このＩＤ画像は、対応するＡＲ画像が選択操作可能であることを表している。この際、ＨＭＤ１は、視線領域内に１つ以上のＡＲ画像がある場合、それらに対し、ＩＤの番号を例えば１から順に付与する。そして、ＨＭＤ１は、そのＩＤを持つＩＤ画像を生成し、ＡＲ画像の近くの位置に表示する。
【0034】
実施の形態１のＨＭＤ１は、このように、視線領域内に入っているＡＲ画像に関して限定的にＩＤ画像を表示し、視線領域外にあるＡＲ画像に関してはＩＤ画像を表示しない。なお、ＨＭＤ１は、視線領域外にあるＡＲ画像について、内部処理的にＩＤおよびＩＤ画像を準備しておいてもよいが、表示はしない。選択操作可能なＡＲ画像は、視線領域内にあるＩＤ画像が付与されているＡＲ画像である。上記のように、表示面２内に表示されるＩＤ画像の数を減らし、情報量を減らすことができるので、ユーザはＩＤ画像（対応するＡＲ画像）を選択しやすい。
【0035】
ステップＳ６で、ＨＭＤ１は、ユーザの操作入力を受け付ける。ＨＭＤ１は、特に、ＩＤ画像に関する選択操作の入力を受け付ける。実施の形態１のＨＭＤ１は、少なくとも、音声認識のコマンド入力によるＩＤ画像選択操作を受け付ける。
【0036】
ステップＳ７で、ＨＭＤ１は、ステップＳ６のＩＤ画像選択操作入力があったかどうかを確認し、ＩＤ画像選択操作入力があった場合（Ｙ）にはステップＳ８へ進み、無かった場合（Ｎ）にはステップＳ９へ進む。
【0037】
ステップＳ８で、ＨＭＤ１は、選択操作されたＩＤ画像のＩＤで指し示されるＡＲ画像を選択し（言い換えると選択状態にし）、そのＡＲ画像に対応付けられた所定の処理を、対応するＡＲプログラムによって実行させる。
【0038】
ステップＳ９で、ＨＭＤ１は、ＡＲ機能および支援機能に係わる所定の終了操作がされたかどうかを確認し、終了操作がされた場合（Ｙ）にはフローを終了し、終了操作がされていない場合（Ｎ）には最初のステップＳ１に戻って同様の処理を繰り返す。
【0039】
なお、上記フローのループの繰り返しにおいて、ステップＳ１では、ＨＭＤ１は、ＨＭＤ１の位置や向き等の変化が所定の度合い以上であるかを判定し、所定の度合い以上である場合に、以降の更新処理（例えば視線領域やＩＤ画像の更新）を実行するようにしてもよい。同様に、ステップＳ３では、ＨＭＤ１は、視線方向の変化が所定の度合い以上であるかを判定し、所定の度合い以上である場合に、以降の更新処理を実行するようにしてもよい。また、ＨＭＤ１は、上記視線領域の変化等を判断する際には、設定された閾値を用いてもよい。例えば、ＨＭＤ１は、視線方向を表す角度が、設定された角度閾値（例えば１０度）以上である場合には、視線方向の変化と判定し、更新処理を行う。あるいは、ＨＭＤ１は、視線方向を表す角度が、所定の時間閾値（例えば１秒）以上で継続的に変化した場合に、視線方向の変化と判定してもよい。また、例えば、ＨＭＤ１は、時点間のＨＭＤ１の位置の差分が、設定された距離閾値（例えば０．１ｍ）以上である場合には、ＨＭＤ１の位置の変化と判定し、更新処理を行う。ＨＭＤ１は、視線領域等に変化が無いまたは小さい場合には、前回設定済みの視線領域等を継続使用する。
【0040】
［処理フロー（２）］
図４は、ステップＳ６～Ｓ８のＩＤ画像の処理に関する詳細処理例のフローを示す。図４は、ステップＳ２１～Ｓ２７を有する。ステップＳ２１で、ＨＭＤ１は、音声認識に基づいて所定のコマンドを検出する。ＨＭＤ１は、後述のコマンド表（図９）に従って処理を行う。ステップＳ２２で、ＨＭＤ１は、検出したコマンドに対応した所定の機能の処理を実行する。コマンドは、視線領域の操作に関するコマンドや、ＩＤ画像の操作に関するコマンド等があり、各コマンドには、対応する処理が規定されている。
図４は、ステップＳ６～Ｓ８のＩＤ画像の処理に関する詳細処理例のフローを示す。図４は、ステップＳ２１～Ｓ２７を有する。ステップＳ２１で、ＨＭＤ１は、音声認識に基づいて所定のコマンドを検出する。ＨＭＤ１は、後述のコマンド表（図９）に従って処理を行う。ステップＳ２２で、ＨＭＤ１は、検出したコマンドに対応した所定の機能の処理を実行する。コマンドは、視線領域の操作に関するコマンドや、ＩＤ画像の操作に関するコマンド等があり、各コマンドには、対応する処理が規定されている。
【0041】
ステップＳ２３で、ＨＭＤ１は、ＩＤ画像が選択されたかどうかを確認し、選択されていない場合（Ｎ）にはフローを終了し、選択された場合（Ｙ）にはステップＳ２４へ進む。ステップＳ２４で、ＨＭＤ１は、選択されたＩＤ画像について、表示面２での表示状態を、表示差別化する。すなわち、ＨＭＤ１は、表示面２で、そのＩＤ画像を所定の表示効果（例えば点滅表示、高輝度表示、特定色表示等）で表示する。これにより、どのＩＤ画像が選択された状態であるか等が、ユーザに対して伝えられる。
【0042】
ステップＳ２５で、ＨＭＤ１は、選択されたＩＤ画像に関連付けられるＡＲ画像を選択する。例えば、ＨＭＤ１は、選択されたＡＲ画像に関連付けられるＡＲプログラムに、選択通知を送信する（後述の図５）。これにより、その選択通知を受けたＡＲプログラムは、そのＡＲ画像を選択状態にし、ＡＲ画像の選択に対応した所定の処理を実行する。一例として、地図上の店舗等の情報を提供するＡＲアプリの場合、そのＡＲアプリは、選択されたＡＲ画像に対応する店舗の詳細情報を取得し、その詳細情報を表示するＡＲ画像を生成して表示する。他の一例としては、ユーザが実像内に任意にＡＲ画像を配置できるＡＲアプリの場合、そのＡＲアプリは、ＡＲ画像を選択状態として、ユーザの操作に応じて、そのＡＲ画像の移動や消去、そのＡＲ画像に対する指令等を行う。
【0043】
実施の形態１では、操作入力方式として、さらに、ジェスチャー方式を併用できる。図４のフローは、この方式を併用する場合のフローを示しており、対応するステップＳ２６，Ｓ２７を有する。ステップＳ２６で、ＨＭＤ１は、カメラ５を用いて前方を撮影した画像を取得し、その画像から、画像認識処理によって、所定のジェスチャーを判定し検出する。検出対象のジェスチャーは、例えば、表示面２に対応する領域内において、ユーザが手指をＩＤ画像の位置に所定時間以上置いて静止した状態にするタッチジェスチャーである。あるいは、他の検出対象のジェスチャーは、ユーザが手指でＩＤ画像を仮想的につまむジェスチャーである。
【0044】
ステップＳ２７で、ＨＭＤ１は、検出したジェスチャーに応じて予め規定されている所定の機能の処理を実行する。この処理は、少なくとも、所定のジェスチャーに応じたＩＤ画像選択操作処理を有する。ステップＳ２７の後、ステップＳ２３に進み、同様に、ＩＤ画像が選択されたかどうかが確認される。
【0045】
［ソフトウェア構成例］
図５は、実施の形態１のＨＭＤ１のソフトウェアの構成例を示す。図５では、ＨＭＤ１のＯＳやミドルウェアのレベルにおいて、支援機能を実装した例を示している。ＨＭＤ１は、ＯＳ５００、ＡＲプログラム５０１、ＡＲアプリ５０２、プログラム５１０を有する。ＯＳ５００はミドルウェア等を含む。ＡＲプログラム５０１は、ＯＳ５００に含まれている、ＡＲ画像の生成、表示を行う機能を持つプログラムである。ＡＲプログラム５０１は、例えば、ＨＭＤ１の時刻、バッテリ状態、通信状態等の情報、各種の機能のアイコン等を、ＡＲ画像として表示面２に表示するプログラムである。本例では、ＡＲプログラム５０１がＡＲ画像Ａｘを生成し表示面２に表示している場合を示す。
図５は、実施の形態１のＨＭＤ１のソフトウェアの構成例を示す。図５では、ＨＭＤ１のＯＳやミドルウェアのレベルにおいて、支援機能を実装した例を示している。ＨＭＤ１は、ＯＳ５００、ＡＲプログラム５０１、ＡＲアプリ５０２、プログラム５１０を有する。ＯＳ５００はミドルウェア等を含む。ＡＲプログラム５０１は、ＯＳ５００に含まれている、ＡＲ画像の生成、表示を行う機能を持つプログラムである。ＡＲプログラム５０１は、例えば、ＨＭＤ１の時刻、バッテリ状態、通信状態等の情報、各種の機能のアイコン等を、ＡＲ画像として表示面２に表示するプログラムである。本例では、ＡＲプログラム５０１がＡＲ画像Ａｘを生成し表示面２に表示している場合を示す。
【0046】
ＡＲアプリ５０２は、ＯＳ５００上で稼動している、ＡＲ画像の生成、表示を行う機能を持つ、各種のアプリケーションプログラムである。ＡＲアプリ５０２は、例えば、複数のＡＲアプリとして、ＡＲアプリＰ１～Ｐｍを有する。本例では、各ＡＲアプリ５０２（Ｐ１～Ｐｍ）が各ＡＲ画像Ａ１～Ａｍを生成し表示面２に表示している場合を示す。
【0047】
本例のように、前提として、ＨＭＤ１は、ＯＳ５００のＡＲプログラム５０１や各ＡＲアプリ５０２によって、それぞれ表示面２にＡＲ画像を表示している。ＡＲプログラム５０１や各ＡＲアプリ５０２は、それぞれ、ＡＲ画像に対応付けられた所定の処理を実行する機能を有する。
【0048】
そして、実施の形態１のＨＭＤ１は、支援機能が実装されたプログラム５１０を有する。プログラム５１０は、ＯＳ５００の一部として実装されてもよいし、１つのアプリケーションのレベルで実装されてもよい。主制御部１００は、ＯＳ５００上でプログラム５１０に従った処理を実行することで、支援機能を実現する。この支援機能は、ＡＲ画像操作支援機能である。この支援機能は、ＡＲプログラム５０１や各ＡＲアプリ５０２による複数のＡＲ画像について、選択操作等がしやすいように、ＩＤ画像を用いて支援する機能である。この支援機能は、視線領域に応じて、ＡＲ画像に対し、ＩＤ画像の付与、表示を行う機能である。この支援機能は、ＩＤ画像の選択操作によってＡＲ画像の選択操作を可能とする機能である。
【0049】
プログラム５１０は、ＡＲプログラム５０１や各ＡＲアプリ５０２と連携する。プログラム５１０は、表示面２に表示されるＡＲ画像５０４に対し、ＩＤ画像５０４を生成し、関連付けて表示する。例えば、ＡＲ画像Ａ１～ＡｍおよびＡＲ画像Ａｘに対し、ＩＤ画像Ｂ１～ＢｍおよびＩＤ画像Ｂｘがそれぞれ関連付けて表示される場合を示す。
【0050】
プログラム５１０は、ユーザによるＩＤ画像５０４の選択操作の入力（例えばＩＤを指定する音声コマンド）を受け付ける。プログラム５１０は、その選択操作の入力を、ＩＤ画像およびＡＲ画像の選択として解釈する。プログラム５１０は、選択されたＩＤ画像５０４に関連付けられたＡＲ画像５０３が選択された場合、選択通知を、対応するプログラム（ＡＲプログラム５０１またはＡＲアプリ５０２）に送信する。その選択通知を受けたプログラムは、対象のＡＲ画像を選択状態にし、そのＡＲ画像に対応付けられた所定の処理を実行する。
【0051】
他の実施の形態としては、特定のアプリのみに、プログラム５１０の支援機能が実装されてもよい。この場合、その特定のアプリは、自身が制御する特定のＡＲ画像のみを対象として、ＩＤ画像の表示等を行うことで、選択操作に係わる支援を行う。
【0052】
［ＩＤ画像表示］
図６は、表示面２のＡＲ画像を含む映像に対するＩＤ画像の付与、表示についての基本を示す。図６で、矩形の枠は、表示面２を概略的に示している。なお、表示面２の２次元の座標系を（ｘ，ｙ）で示す。ｘ方向は横方向、面内水平方向とし、ｙ方向は縦方向、面内垂直方向とする。表示面２内には、図示しない物体や地理的位置に応じて、あるいは、物体とは独立で、１つ以上のＡＲ画像３０が表示される場合がある。本例では、ＡＲ画像３０は、ハート形状のマークのＡＲ画像ａ１や、スター形状のマークのＡＲ画像ａ２を有する。ＡＲ画像ａ１は、表示面２内の位置ｐ２（ｘ２，ｙ２）に表示されている。
図６は、表示面２のＡＲ画像を含む映像に対するＩＤ画像の付与、表示についての基本を示す。図６で、矩形の枠は、表示面２を概略的に示している。なお、表示面２の２次元の座標系を（ｘ，ｙ）で示す。ｘ方向は横方向、面内水平方向とし、ｙ方向は縦方向、面内垂直方向とする。表示面２内には、図示しない物体や地理的位置に応じて、あるいは、物体とは独立で、１つ以上のＡＲ画像３０が表示される場合がある。本例では、ＡＲ画像３０は、ハート形状のマークのＡＲ画像ａ１や、スター形状のマークのＡＲ画像ａ２を有する。ＡＲ画像ａ１は、表示面２内の位置ｐ２（ｘ２，ｙ２）に表示されている。
【0053】
一方、表示面２において、ユーザの視線方向に応じて、視線領域２０が設定される。視線領域２０は、視線方向の変化に応じて動的に設定される。ユーザの視線方向と表示面２とが交わる点が、例えば位置ｐ１（ｘ１，ｙ１）であるとする。この場合に、位置ｐ１を中心点として、所定の半径ｒ１を持つ円領域が、視線領域２０として設定されている。視線領域２０は、基本設定では表示されないが、破線で図示している。
【0054】
視線領域２０内に例えばＡＲ画像３０（ａ１）が入っている。この場合、ＨＭＤ１は、そのＡＲ画像３０（ａ１）に対し、ＩＤ画像４０（ｂ１）を生成し、関連付けて表示する。本例では、ＩＤ画像４０は、ＩＤの番号として「１」を持つ矩形のＩＤ画像ｂ１を有する。ＩＤ画像ｂ１は、例えば矩形の枠内に数字「１」が配置された画像である。ＩＤ画像ｂ１の枠内は例えば透過領域であるが、非透過領域としてもよい。本例では、ＩＤ画像ｂ１は、ＡＲ画像ａ１の位置ｐ２に対し、近くの位置ｐ３（ｘ３，ｙ３）、例えばＡＲ画像ａ１の上側の位置に表示されている。ＡＲ画像ａ２は、視線領域２０内に入っていないので、ＩＤ画像４０は表示されない。ＡＲ画像３０の位置に対しＩＤ画像４０を表示する位置は、上側の位置に限らず可能であり、例えばその時の表示面２内のＡＲ画像３０およびＩＤ画像４０の表示状態に応じて、空いている好適な位置が選択される。
【0055】
［視線領域］
図７は、視線領域２０の構成例を示す。図７では、視線領域２０の例として、視線領域２０ａ，２０ｂ，２０ｃを示す。視線領域２０ａは、図６と同様に円形を持つ例である。視線領域２０の形状は、これに限らず、各種の形状が設定可能である。視線領域２０ｂは、横長の楕円形状を持つ例である。視線領域２０ｃは、横長の矩形を持つ例である。また、視線領域２０の半径等のサイズについては、予め設定された固定のサイズとしてもよいし、ユーザ設定で変更可能としてもよい。例えば、視線領域２０の縦および横の幅をユーザ設定可能としてもよい。また、後述するが、ＨＭＤ１の使用時、ユーザによる所定の操作入力に応じて、視線領域２０のサイズ等の変更が可能である。
図７は、視線領域２０の構成例を示す。図７では、視線領域２０の例として、視線領域２０ａ，２０ｂ，２０ｃを示す。視線領域２０ａは、図６と同様に円形を持つ例である。視線領域２０の形状は、これに限らず、各種の形状が設定可能である。視線領域２０ｂは、横長の楕円形状を持つ例である。視線領域２０ｃは、横長の矩形を持つ例である。また、視線領域２０の半径等のサイズについては、予め設定された固定のサイズとしてもよいし、ユーザ設定で変更可能としてもよい。例えば、視線領域２０の縦および横の幅をユーザ設定可能としてもよい。また、後述するが、ＨＭＤ１の使用時、ユーザによる所定の操作入力に応じて、視線領域２０のサイズ等の変更が可能である。
【0056】
また、視線領域２０ａは、表示面２の中心の位置ｐｃ（ｘｃ，ｙｃ）に設定されている場合を示す。実施の形態１では、ユーザの視線方向に応じて、視線領域２０の位置は変動する。例えば、視線方向の先の位置が、位置ｐｃから位置ｐｄ（ｘｄ，ｙｄ）に変化した場合、視線領域２０ａは視線領域２０ｄへ移動する。
【0057】
変形例のＨＭＤ１としては、ユーザの視線方向に依存せずに、予め設定された、表示面２内で固定の位置、例えば中心の位置ｐｃ（ｘｃ，ｙｃ）に、視線領域２０を固定的に設定してもよい。位置ｐｃを通る縦横の破線は、表示面２の縦横の幅の二等分線である。この変形例は、ユーザの視線方向をＨＭＤ１の向きと概略同じとみなして視線領域２０を制御する形態に相当する。この変形例の場合、ハードウェアおよびソフトウェアの構成をより簡略にできる。ユーザは、頭部を動かすことでＨＭＤ１の向きを変更する。これにより、空間に対する視線領域が変動する。
【0058】
また、後述するが、ユーザによる所定の操作入力に応じて、表示面２での視線領域２０の位置を固定することや固定解除することが可能である。これにより、ユーザがある視線方向を注目している状態で、視線領域２０内のＩＤ画像の表示を固定させること等が可能である。
【0059】
また、後述するが、ユーザによる所定の操作入力に応じて、視線領域２０を表す画像（視線領域境界線）をＡＲ画像の一種として表示面２内に表示させることや、それを非表示に切り替えることが可能である。視線領域２０を表す画像は、例えば境界線であり、図示するような破線等の画像としてもよい。例えば、視線領域２０ａを表示させる場合、図示する破線の円形が、境界線として表示される。
【0060】
［管理テーブル］
図８は、ＡＲ画像およびＩＤ画像に関する制御のための管理テーブルの構成例を示す。この管理テーブルは、すべてのＡＲ画像およびＩＤ画像に関するリストを持つ。ＨＭＤ１は、この管理テーブルに、すべてのＡＲ画像およびＩＤ画像の情報を読み書きする。ＨＭＤ１のプロセッサは、メモリ上、ＤＢ１１２の一部として、管理テーブルを作成し、保持する。ＨＭＤ１は、この管理テーブルを参照することで、その時点のＡＲ画像やＩＤ画像の状態を把握できる。
図８は、ＡＲ画像およびＩＤ画像に関する制御のための管理テーブルの構成例を示す。この管理テーブルは、すべてのＡＲ画像およびＩＤ画像に関するリストを持つ。ＨＭＤ１は、この管理テーブルに、すべてのＡＲ画像およびＩＤ画像の情報を読み書きする。ＨＭＤ１のプロセッサは、メモリ上、ＤＢ１１２の一部として、管理テーブルを作成し、保持する。ＨＭＤ１は、この管理テーブルを参照することで、その時点のＡＲ画像やＩＤ画像の状態を把握できる。
【0061】
図８の管理テーブルは、項目として、管理ＩＤ、ＡＲオブジェクト、表示位置、ベース位置、識別情報を有する。「管理ＩＤ」は、管理用の識別情報であり、アドレスまたは行番号等である。「ＡＲオブジェクト」は、ＡＲ画像であり、対応する画像データファイル等を有する。「表示位置」は、表示面２にＡＲ画像を表示する際の基準位置となる２次元座標（ｘ，ｙ）である。「ベース位置」は、ＡＲ画像の生成のベースとなる３次元位置座標（Ｘ，Ｙ，Ｚ）である。「ベース位置」は、例えば地図上や現実空間内の位置に対応している。なお、現実の物体とは独立して生成されるＡＲ画像の場合、「ベース位置」を持たない場合もある。「識別情報」は、ＩＤとＩＤ画像とを含む。ＩＤは、ＡＲ画像を識別し選択するための番号等の情報である。ＩＤ画像は、そのＩＤを含んだ表示用の画像であり、対応する画像データファイルを有する。ＩＤの番号は、例えば、１，２，３，……と順に生成される。なお、ＡＲ画像にＩＤ画像を付与していない状態の場合、「識別情報」項目に、ＩＤ画像無しを示す値（０）が設定される。他のデータ項目としては、ＩＤ画像の選択可否を表すフラグ等を設けてもよい。
【0062】
［コマンド表］
図９は、実施の形態１における音声認識方式に対応した、コマンド表の構成例を示す。このコマンド表には、予め、使用できるコマンドが設定されている。このコマンド表は、項目として、コマンドＩＤ、対象（種別）、コマンド、音声、備考を有する。表の行毎にコマンドが設定されている。ＨＭＤ１は、入力音声から、コマンド表にある「コマンド」を検出する。「コマンドＩＤ」は、「コマンド」の識別子を示す。「対象（種別）」は、その「コマンド」の対象、種別を示す。「音声」は、その「コマンド」の入力時の音声の例を示す。「音声」は、例示する音声に限定されず、各コマンドを一意に区別できる音声であればよく、様々に設定可能である。「備考」は、処理内容等の説明を示す。
図９は、実施の形態１における音声認識方式に対応した、コマンド表の構成例を示す。このコマンド表には、予め、使用できるコマンドが設定されている。このコマンド表は、項目として、コマンドＩＤ、対象（種別）、コマンド、音声、備考を有する。表の行毎にコマンドが設定されている。ＨＭＤ１は、入力音声から、コマンド表にある「コマンド」を検出する。「コマンドＩＤ」は、「コマンド」の識別子を示す。「対象（種別）」は、その「コマンド」の対象、種別を示す。「音声」は、その「コマンド」の入力時の音声の例を示す。「音声」は、例示する音声に限定されず、各コマンドを一意に区別できる音声であればよく、様々に設定可能である。「備考」は、処理内容等の説明を示す。
【0063】
コマンドＩＤ＝Ｃ０１～Ｃ０６は、「対象（種別）」が「視線」であり、視線領域の制御に関するコマンド群である。コマンドＩＤ＝Ｃ１１～Ｃ４２は、「対象（種別）」が「ＩＤ」であり、ＩＤ画像の制御に関するコマンド群である。
【0064】
コマンドＩＤ＝Ｃ０１の「視線領域表示オン」コマンドは、図６等の視線領域２０を表す画像（例えば境界線）を表示面２内に表示する状態に切り替えるコマンドであり、音声は例えば「シセンオン」である。コマンドＩＤ＝Ｃ０２の「視線領域表示オフ」コマンドは、視線領域２０を表す画像を表示面２内に表示しない状態に切り替えるコマンドであり、音声は例えば「シセンオフ」である。
【0065】
コマンドＩＤ＝Ｃ０３の「視線領域固定」コマンドは、表示面２内の視線領域２０の位置を固定する状態に切り替えるコマンドであり、音声は例えば「シセンコテイ」「フリーズ」等である。コマンドＩＤ＝Ｃ０４の「視線領域固定解除」コマンドは、視線領域２０の位置の固定を解除して自由な状態に切り替えるコマンドであり、音声は例えば「シセンカイジョ」等である。
【0066】
コマンドＩＤ＝Ｃ０５の「視線領域拡大」コマンドは、表示面２内の視線領域２０のサイズを拡大させるコマンドであり、音声は例えば「シセンカクダイ」「オオキク」等である。コマンドＩＤ＝Ｃ０６の「視線領域縮小」コマンドは、視線領域２０のサイズを縮小させるコマンドであり、音声は例えば「シセンシュクショウ」「チイサク」等である。
【0067】
コマンドＩＤ＝Ｃ１１の「ＩＤ表示オン」コマンドは、表示面２内にＩＤ画像を表示する状態に切り替えるコマンドであり、音声は例えば「シキベツオン」「アイディーオン」等である。コマンドＩＤ＝Ｃ１２の「ＩＤ表示オフ」コマンドは、表示面２内にＩＤ画像を表示しない状態に切り替えるコマンドであり、音声は例えば「シキベツオフ」「アイディーオフ」等である。
【0068】
コマンドＩＤ＝Ｃ２１の「ＩＤ１選択」コマンドから、コマンドＩＤ＝Ｃ２９の「ＩＤ９選択」コマンドまでは、例えばＩＤ「１」からＩＤ「９」までの９個のＩＤの各ＩＤを個別に選択するためのコマンドである。例えば、「ＩＤ１選択」コマンドは、ＩＤの番号として「１」を持つＩＤ画像「１」（例えば図６のＩＤ画像ｂ１）を選択するコマンドであり、音声は例えば「イチバン」「バンゴウイチ」「アイディーイチ」等である。なお、本例は、ＩＤとして「１」～「９」の９個を使用しているが、１０個以上のＩＤを使用してもよく、「１０」以上の番号に対応する各コマンドが用意されてもよい。
【0069】
ユーザの入力音声から音声認識で検出した音声が、例えば「イチバン」に該当する場合、「ＩＤ１選択」コマンドであると解釈され、ＩＤ画像「１」の選択操作であると解釈される。そして、このＩＤ画像「１」の選択操作は、その時にそのＩＤ画像「１」に関連付けられているＡＲ画像の選択操作であると解釈される。これにより、そのＡＲ画像が選択され、そのＡＲ画像に対応付けられた所定の処理が実行される。
【0070】
コマンドＩＤ＝Ｃ３０の「全ＩＤ選択」コマンドは、視線領域内の全てのＩＤ画像を選択するコマンドであり、音声は例えば「ゼンブ」である。コマンドＩＤ＝Ｃ３１の「１ＩＤ選択」コマンドは、視線領域内のいずれか１つのＩＤ画像を所定の規則で選択するコマンドであり、音声は例えば「センタク」である。このコマンドは、特に視線領域内に複数のＩＤ画像が入っている場合には、例えば視線領域の中心点（すなわち視線方向）に最も近い１つのＩＤ画像を選択するコマンドである。
【0071】
コマンドＩＤ＝Ｃ３２の「全ＩＤ選択解除」コマンドは、視線領域内の全てのＩＤ画像について、選択状態のＩＤ画像がある場合にその選択状態を解除して非選択状態に戻すコマンドである。対応する音声は例えば「ゼンブカイジョ」である。また、コマンドＩＤ＝Ｃ３３の「１ＩＤ選択解除」コマンドは、視線領域内のいずれか１つのＩＤ画像の選択状態を解除して非選択状態に戻すコマンドである。Ｃ３２およびＣ３３のコマンドは、ＩＤ画像および対応するＡＲ画像に関して、制御上、選択状態と非選択状態とを区別して持つ場合に適用できる。
【0072】
コマンドＩＤ＝Ｃ３４の「ＩＤ実行」コマンドは、選択状態のＩＤ画像がある場合に、そのＩＤ画像に関連付けられたＡＲ画像の処理を実行させるコマンドである。音声入力は例えば「ジッコウ」である。Ｃ３４のコマンドは、ＡＲ画像に関して、制御上、選択と実行とが分かれている場合に適用できる。ＡＲ画像に関して、制御上、選択と実行とが分かれていない場合には、選択操作がそのまま処理実行指示に相当する。
【0073】
コマンドＩＤ＝Ｃ４１の「ＡＲ情報表示」コマンドは、視線領域内のＩＤ画像、または選択状態のＩＤ画像に関連付けられるＡＲ画像に関する情報を表示させるコマンドである。音声は例えば「ジョウホウオン」である。Ｃ４２の「ＡＲ情報非表示」コマンドは、Ｃ４１のコマンドによるＡＲ情報を非表示状態に切り替えるコマンドであり、音声は例えば「ジョウホウオフ」である。ＡＲ画像に関する情報とは、例えば、そのＡＲ画像を生成しているＡＲプログラム等の名称や機能等の情報である。この情報を見ることで、ユーザは、そのＡＲ画像の機能や意味等を確認できる。なお、このコマンドは、ＡＲプログラムによるＡＲ画像の処理実行の一例としてのデータ出力とは別のものである。あるＡＲプログラムは、ＡＲ画像が選択された場合に、所定の処理の一例として、データ出力を行う。例えば、地図上の店舗の情報を提供するＡＲアプリの場合、このデータ出力は、店舗の情報をＡＲ画像として表示することである。
【0074】
なお、ＨＭＤ１は、上記例とは別に、ＯＳ等による各種の機能の操作のための音声コマンドを設けていてもよい。また、ＡＲアプリと支援機能とが一体で実装されている形態の場合、音声コマンドの例として、ＡＲアプリによるＡＲ画像処理実行に対応するコマンドを設けてもよい。例えばＡＲ画像に対応したデータを表示させる「データオン」コマンド等が挙げられる。例えば、店舗の情報を提供するＡＲアプリは、「データオン」コマンドが入力された場合、選択状態のＡＲ画像に関し、店舗の情報を含むＡＲ画像を表示する。
【0075】
図２の音声処理部１３０は、音声合成機能を備えてもよい。ＨＭＤ１は、音声合成機能を用いて、ユーザに対し、適宜に音声応答を出力してもよい。例えば、ＨＭＤ１は、ユーザが、所定の音声コマンドを入力した場合に、対応する音声応答を出力してもよい。音声応答の例は、入力コマンド確認の音声や、質問の音声等が挙げられる。
【0076】
［ＡＲ画像およびＩＤ画像］
図１０および図１１は、表示面２におけるＡＲ画像およびＩＤ画像の表示例を示す。図１０の例は、室外でＨＭＤ１を利用している場合の映像の例として、道路付近で店舗等の建物が見える実像を含む場合を模式的に示す。図１１の例は、室内でＨＭＤ１を利用している場合の映像の例として、テーブルや壁等が見える実像を含む場合を模式的に示す。まず、既存のＡＲプログラムによって表示可能であるＡＲ画像の表示例については以下の通りである。ＡＲ画像を生成し表示する方式については、公知技術を適用可能であり、特に限定しない。各種のＡＲ方式が混在してもよい。例えば図５の各ＡＲアプリ５０３のＡＲ方式は異なってもよい。
図１０および図１１は、表示面２におけるＡＲ画像およびＩＤ画像の表示例を示す。図１０の例は、室外でＨＭＤ１を利用している場合の映像の例として、道路付近で店舗等の建物が見える実像を含む場合を模式的に示す。図１１の例は、室内でＨＭＤ１を利用している場合の映像の例として、テーブルや壁等が見える実像を含む場合を模式的に示す。まず、既存のＡＲプログラムによって表示可能であるＡＲ画像の表示例については以下の通りである。ＡＲ画像を生成し表示する方式については、公知技術を適用可能であり、特に限定しない。各種のＡＲ方式が混在してもよい。例えば図５の各ＡＲアプリ５０３のＡＲ方式は異なってもよい。
【0077】
図１０の映像で、ＡＲ画像（＝ＡＲオブジェクト）の例として、ＡＲ画像Ａ１～Ａ１３を示す。ＡＲ画像Ａ１やＡＲ画像Ａ２は、ユーザが癒し等のために実像内に任意に配置したＡＲ画像の例である。このＡＲ画像は、例えば鳥や猫等の動物または仮想的なキャラクター等のＡＲ画像であり、例えばアニメーション画像等で構成される。ユーザは、所定の操作によって、表示面２内に、選択した所望のＡＲ画像を配置する。このＡＲ画像は、例えば表示面２内の指定された固定の位置に表示される。あるいは、このＡＲ画像は、プログラムに従って自律的に表示面２内を動くものでもよい。例えば鳥のＡＲ画像Ａ１は、表示面２内を飛ぶような動きをする。また、このＡＲ画像は、ユーザおよびＨＭＤ１の位置に依らずに常時に表示面２内に表示されるものでもよい。
【0078】
ＡＲ画像Ａ３，Ａ４は、店舗の情報を表示するＡＲ画像の例であり、例えば矩形領域に店舗の名前等の文字が表示された画像である。例えば、あるＡＲアプリは、店舗等の情報を、ＡＲ画像を用いてガイドする。そのＡＲアプリは、地図データから、ＨＭＤ１の現在の位置や向きに合わせて付近の店舗等を検索する。ＡＲアプリは、検索した情報を用いて、ＡＲ画像Ａ３等を生成し、その店舗等の地理的位置に対応付けた表示面２内の位置に表示する。あるいは、あるＡＲアプリは、カメラ５の画像から、店舗等の建物や看板の物体を検出し、その物体の情報を取得し、その情報を用いたＡＲ画像を生成し表示する。物体の情報は、名称、種類、住所、状態等、設定された任意の情報が適用可能である。
【0079】
ＡＲ画像Ａ５，Ａ６は、ユーザの移動のナビゲーションのための矢印や吹き出し等の情報を表示する画像の例である。例えば、あるＡＲアプリは、ルート検索を含むナビゲーション機能を持ち、ユーザが入力した目的地に応じて、現在位置から目的地までのルートのナビゲーションのためのＡＲ画像を生成する。例えば、ＡＲ画像Ａ５は、次の交差点を右に曲がることや、その３０ｍ先に目的地があることを表す画像である。ＡＲ画像Ａ６は、矢印の方向に駅があることを表す画像である。
【0080】
ＡＲ画像Ａ７は、検出された人の顔に対し枠画像を表示する例である。例えば、あるＡＲアプリは、予めユーザの知り合い等の人の情報が登録される。そのＡＲアプリは、カメラ５の画像に基づいて、知り合い等の人の顔を検出する。そのＡＲアプリは、検出した顔の領域に対し、枠画像やその人の情報を、ＡＲ画像Ａ７として付与して表示する。これにより、ユーザは、知り合い等の人の発見や、その人の情報の確認ができる。
【0081】
ＡＲ画像Ａ８，Ａ８１，Ａ８２，Ａ８３は、ＡＲ画像Ａ４で示されるある店舗が料理店である場合に、その店舗が提供している本日のおすすめの料理の情報を表示する、複数のＡＲ画像のグループの例を示す。ＡＲ画像Ａ８は、「本日のおすすめ」の文字画像である。ＡＲ画像Ａ８１，Ａ８２，Ａ８３は、ＡＲ画像Ａ８に関連付けられた、複数の各々の料理の画像である。例えば、あるＡＲアプリは、店舗の情報として、このような詳細情報をプッシュ情報として自動的に表示する。
【0082】
図１１の映像で、ＡＲ画像Ａ２１～Ａ２８を示す。ＡＲ画像Ａ２１は、ユーザが配置した複数の鳥等のＡＲ画像であり、自律的に動いている。ＡＲ画像Ａ２２は、ユーザが配置した猫等のＡＲ画像であり、例えば静止している。ＡＲ画像Ａ２３，Ａ２４は、実像のテーブル上にユーザが配置した、花瓶や食べ物等のＡＲ画像である。ＡＲ画像Ａ２５，Ａ２６，Ａ２７は、実像の壁に対しユーザが配置した、カレンダーや絵画や時計等のＡＲ画像である。例えば、あるＡＲアプリは、室内の所望の位置に各種のＡＲオブジェクトを配置することができるアプリである。ＡＲ画像Ａ２８は、表示面２内の所定の位置に対してユーザが配置した、複数の書類等のアイコンのＡＲ画像である。対応するプログラムは、ＡＲ画像Ａ２８が選択された場合に、書類等の内容を表示面２内に表示する。
【0083】
上記例のように、ＡＲ画像の表示上の態様は、アイコン、マーク、文字、図形、アニメーション、３次元モデル等の画像を含め、各種の態様が可能であり、特に限定されない。また、上記例のように、ＡＲ画像は、現実の物体に対応付けて表示されるタイプのＡＲ画像もあるし、物体とは独立に表示されるタイプのＡＲ画像もある。また、ＡＲ画像には、音声出力（例えば、効果音、動物の鳴き声等）が伴ってもよい。
【0084】
後者のタイプの他の例は、ＨＭＤ１のＯＳ等のプログラムが制御用のＡＲ画像を表示する場合が挙げられる。このＡＲ画像の例としては、各種の機能やアプリのアイコンのＡＲ画像、日時、バッテリ、通信等の状態を表すＡＲ画像、メール通知等を表すＡＲ画像、等が挙げられる。このタイプのＡＲ画像は、例えば、現実の物体の位置とは関係無く、一定時間、表示面２内に表示される。
【0085】
ＡＲ等の方式は、上記例に限らず、公知の各種の方式を適用可能である。一例としてＡＲマーカ方式を適用してもよい。この方式では、ＨＭＤ１は、カメラ５の画像の認識によって、実像内から所定のマーカ（例えば２次元コード）を検出し、そのマーカの位置に対応付けて所定のＡＲ画像を生成し表示する。他の方式としては、ユーザの視線方向を用いて、その視線方向にある物体または地点を検出し、その物体や地点に対応付けてＡＲ画像を生成し表示する方式を用いてもよい。
【0086】
上記ＡＲ画像に対するＩＤ画像の表示例については以下の通りである。図１０で、視線領域２０の例として、表示面２内のやや右上の位置に視線領域２０がある。この視線領域２０内に、ＡＲ画像Ａ１，ＡＲ画像Ａ４，ＡＲ画像Ａ６，ＡＲ画像Ａ８，Ａ８１，Ａ８２，Ａ８３の計７個が入っている。ＨＭＤ１は、視線領域２０内の複数のＡＲ画像に対し、中心点に近い順に、ＩＤの番号を付与して、ＩＤ画像を表示する。本例では、視線領域２０の中心点から近い順に、ＩＤ画像「１」～「７」の７個のＩＤ画像が生成、表示されている。例えば、ＡＲ画像Ａ８１にはＩＤ画像「１」が付与されている。ＡＲ画像Ａ８２にはＩＤ画像「２」が付与されている。ＡＲ画像Ａ８３にはＩＤ画像「３」が付与されている。ＡＲ画像Ａ８にはＩＤ画像「４」が付与されている。ＡＲ画像Ａ１にはＩＤ画像「５」が付与されている。ＡＲ画像Ａ４にはＩＤ画像「６」が付与されている。ＡＲ画像Ａ６にはＩＤ画像「７」が付与されている。本例は、視線領域２０内の全てのＡＲ画像にＩＤ画像を付与、表示する例である。
【0087】
図１１で、視線領域２０の例として、表示面２内のやや上寄りの位置に視線領域２０がある。この視線領域２０内に、３個のＡＲ画像Ａ２１，ＡＲ画像Ａ２３，Ａ２４，ＡＲ画像Ａ２５，Ａ２６の計７個が入っている。本例では、視線領域２０の中心点から近い順に、ＩＤ画像「１」～「７」の７個のＩＤ画像が生成、表示されている。例えば、３個のＡＲ画像Ａ２１にはＩＤ画像「１」～「３」が付与されている。ＡＲ画像Ａ２３にはＩＤ画像「４」が付与されている。ＡＲ画像Ａ２５にはＩＤ画像「５」が付与されている。ＡＲ画像Ａ２４にはＩＤ画像「６」が付与されている。ＡＲ画像Ａ２６にはＩＤ画像「７」が付与されている。
【0088】
［ＩＤ画像］
上記例では、ＩＤ画像のＩＤとしては「１」「２」等の番号を用いている。ＩＤ画像のＩＤは、使用できる範囲が設定されてもよい。例えば、ＨＭＤ１は、デフォルト設定では、ＩＤの範囲が「１」～「９」と設定される。また、表示面２内に同時に表示できるＩＤ画像の数、または視線領域２０内に同時に表示できるＩＤ画像の数についても、設定可能である。例えば、ＨＭＤ１は、デフォルト設定では、視線領域２０内のＩＤ画像の最大数が５個と設定される。これらの制限によって、表示面２内の情報量を抑制し、見やすくすることができる。
上記例では、ＩＤ画像のＩＤとしては「１」「２」等の番号を用いている。ＩＤ画像のＩＤは、使用できる範囲が設定されてもよい。例えば、ＨＭＤ１は、デフォルト設定では、ＩＤの範囲が「１」～「９」と設定される。また、表示面２内に同時に表示できるＩＤ画像の数、または視線領域２０内に同時に表示できるＩＤ画像の数についても、設定可能である。例えば、ＨＭＤ１は、デフォルト設定では、視線領域２０内のＩＤ画像の最大数が５個と設定される。これらの制限によって、表示面２内の情報量を抑制し、見やすくすることができる。
【0089】
ＩＤ画像のＩＤ番号の採番は、所定の規則で行われる。例えば、視線領域内の中心点に近い順に、「１」から順に番号が付与される。また、ＩＤ番号の採番は、状況に応じて動的になされる。ある同じＡＲ画像についても、状況に応じて異なるＩＤが付与され得る。また、後述の第１制御例では、ＨＭＤ１は、時系列上、ある同じＡＲ画像に対し、なるべく同じＩＤのＩＤ画像が維持されるように制御する。例えば、あるＡＲ画像に対し、一旦あるＩＤが付与された後、少なくとも一定時間、同じＩＤが維持されるようにしてもよい。また、後述の第２制御例では、ＨＭＤ１は、制御の時点毎に、視線領域内のＡＲ画像に対し、所定の規則でＩＤ画像を付与しなおす。
【0090】
また、ＨＭＤ１は、特定のＡＲアプリのＡＲ画像については、ＩＤ画像を付与表示し、他の特定のＡＲアプリのＡＲ画像については、ＩＤ画像を付与表示しない、といったように、制御対象に関するユーザ設定を可能とする。
【0091】
図１２は、ＩＤ画像の各種の表示上の態様の例を示し、いずれも適用可能である。（Ａ）の例で、ＡＲ画像ａ１は、左側の位置に、枠無しでＩＤ「１」を持つＩＤ画像ｂ１が表示されている。（Ｂ）の例で、ＡＲ画像ａ１は、同じ位置に重畳するように、ＩＤ「１」のＩＤ画像ｂ１が表示されている。（Ｃ）の例で、ＡＲ画像ａ１は、上側の位置に、円形の枠にＩＤ「Ａ」を持つＩＤ画像ｂ１が表示されている。このＩＤは、英字「Ａ」を用いる例である。ＩＤは、数字に限らず、各種の文字が適用可能である。
【0092】
（Ｄ）の例は、ＡＲ画像ａ１の位置に対し、少し離れた位置に、ＩＤ「１」を持つＩＤ画像ｂ１を配置する例である。また、ＡＲ画像ａ１とＩＤ画像ｂ１とが、関連付けを表すために、接続線の表示で結ばれている。例えば、ＡＲ画像ａ１の近くに空きが無い場合には、このような表示を適用してもよい。
【0093】
（Ｅ）の例は、実像の店舗ｊ１の位置に対し、少し離れた位置に、関連付けの接続線を通じて、その店舗ｊ１の情報を表示するためのＡＲ画像ａ１０１を有する。ＡＲ画像ａ１０１は、矩形領域内に、店舗ｊ１の名前等の文字が表示されている。そして、そのＡＲ画像ａ１０１に対し、上側の位置に、ＩＤ「１」を持つＩＤ画像ｂ１が表示されている。
【0094】
（Ｆ）の例は、表示面２内で動くＡＲ画像Ａ１に対し、ＩＤ「１」を持つＩＤ画像ｂ１が表示されている。このＩＤ画像ｂ１は、基本として、ＡＲ画像Ａ１の動きに追随した位置に表示される。変形例として、このＩＤ画像ｂ１は、ＡＲ画像Ａ１の動きに追随した位置ではなく、一定の位置に表示される。あるいは、このＩＤ画像ｂ１は、ＡＲ画像Ａ１の動きよりも遅い速度で動くように表示されてもよい。
【0095】
（Ｇ）の例は、矢印等のＡＲ画像Ａ５に対し、ユーザ設定に応じて、視線領域内であってもＩＤ画像を付与、表示しない場合を示す。ある種のＡＲ画像に対し、ＩＤ画像を表示するとわかりにくい場合には、このように表示しないようにできる。また、例えば、元々番号等の文字や形状を持つＡＲ画像の場合に、ＩＤ画像を表示しないようにできる。
【0096】
他のＩＤの例としては、色や形状の違いによって識別されるものとしてもよい。例えば、円、三角、四角、等の形状が適用できる。あるいは、例えば、赤、青、黄等の色が適用できる。
【0097】
図１３の（Ａ）の例は、複数、例えば３個のＡＲ画像ａ１，ａ２，ａ３が、近い位置に密集して配置されている。ＨＭＤ１は、基本としては、各ＡＲ画像の近くの位置に各ＩＤ画像を表示する。その際、例えば、各ＡＲ画像の上側にＩＤ画像を表示する場合、（Ａ）のような状態になる。ＩＤ「１」～「３」の３個のＩＤ画像ｂ１，ｂ２，ｂ３が密集して表示されている。この場合、ユーザにとって、情報がやや見え難い。これに対し、改善の例を（Ｂ）等に示す。（Ｂ）の例は、同じ３個のＡＲ画像ａ１～ａ３に対し、それぞれ異なる位置、例えば外側へ広がる位置に、ＩＤ画像が表示されている。これにより、複数のＩＤ画像ｂ１～ｂ３は重ならず、見やすくなっている。（Ｃ）の例は、同じ３個のＡＲ画像ａ１～ａ３に対し、３個のＩＤ画像ｂ１～ｂ３を、吹き出し画像内に整理して表示している。吹き出し画像内で、まず各ＡＲ画像（縮小画像としてもよい）が縦に並べて表示されている。そして、吹き出し画像内で、各ＡＲ画像の傍に、対応する各ＩＤ画像が表示されている。
【0098】
さらに、（Ｄ）の例は、複数のＡＲ画像（例えばＡＲ画像ａ１～ａ３）を１つのグループとして１つのＩＤ画像ｂ１０１を付与、表示する例を示す。ＩＤ画像ｂ１０１は例えばＩＤ＝グループＩＤ＝「Ａ」を持つ画像である。例えば、ＡＲ画像ａ１～ａ３の近くの位置、または吹き出し画像の近くの位置に、グループＩＤ「Ａ」のＩＤ画像ｂ１０１が表示される。この場合、グループ単位のＩＤ画像ｂ１０１の選択操作に応じて、グループの複数のＡＲ画像ａ１～ａ３をまとめて選択することが可能である。変形例として、ＨＭＤ１は、最初、密集した複数のＡＲ画像ａ１～ａ３の近くの位置に、グループ単位のＩＤ画像ｂ１０１のみを表示する。ＨＭＤ１は、ユーザがＩＤ画像ｂ１０１を選択操作した場合、そのグループに含まれる複数のＡＲ画像ａ１～ａ３およびＩＤ画像ｂ１～ｂ３の情報を、吹き出し画像等で表示し、個別に選択操作可能とする。
【0099】
（Ｅ）は、図１０のＡＲ画像Ａ８，Ａ８１～Ａ８３のように、元々グループとして関連している複数のＡＲ画像がある場合に、同様にグループ単位のＩＤ画像ｂ１０１を付与、表示する例を示す。ＨＭＤ１は、グループとするＡＲ画像Ａ８，Ａ８１～Ａ８３を、例えば枠で囲み、その枠を含むＩＤ画像ｂ１０１を付与、表示する。（Ｆ）は、図１１の３個のＡＲ画像Ａ２１の例で、同様に、グループ単位のＩＤ画像ｂ１０１を付与、表示する例を示す。
【0100】
［表示制御例（１）］
実施の形態１における、より詳しいＩＤ画像の表示制御例について以下に説明する。ＨＭＤ１は、視線領域２０の変化に応じたＡＲ画像の変化に応じて、ＩＤ画像を付与、表示する制御を行う。
実施の形態１における、より詳しいＩＤ画像の表示制御例について以下に説明する。ＨＭＤ１は、視線領域２０の変化に応じたＡＲ画像の変化に応じて、ＩＤ画像を付与、表示する制御を行う。
【0101】
図１４等は、第１制御例を示す。第１制御例は、あるＡＲ画像に対してなるべく同じＩＤのＩＤ画像を維持する。例えば、ある第１ＡＲ画像が視線領域内に入った場合、ＩＤ「１」のＩＤ画像が付与、表示される。その後、第１ＡＲ画像が視線領域から出た場合、内部処理的にはＩＤ「１」の付与が維持され、ＩＤ画像は非表示にされる。その後、第１ＡＲ画像が再び視線領域内に入った場合、再び同じＩＤ「１」のＩＤ画像が表示される。一方、第２制御例は、あるＡＲ画像に対してなるべく同じＩＤのＩＤ画像を維持するのではなく、その時の視線領域内の状態に応じて、都度、ＩＤを付与し直す。
【0102】
図１４は、表示面２の映像の第１状態を示す。本例では、実像は、道路付近で、３つの店舗の建物が見えている。第１状態で表示されているＡＲ画像の例として、ＡＲ画像ａ１，ａ２，ａ３，ａ４，ａ５，ａ１１，ａ１２，ａ１３がある。ＡＲ画像ａ１～ａ５は、各形状のマークの例であり、ＡＲ画像ａ１１，ａ１２，ａ１３は、店舗の情報を表示する矩形画像の例である。視線領域２０は、第１状態では視線領域Ｅ１であり、中心の位置ｐ１（ｘ１，ｙ１）、半径ｒ１を有する。第１状態では、視線領域Ｅ１内に、ＡＲ画像ａ１，ａ２，ａ３が入っている。ＡＲ画像ａ４，ａ５，ａ１１，ａ１２，ａ１３は、視線領域Ｅ１外にある。なお、本例では、視線領域内にＡＲ画像が入っているか否かの判断は、ＡＲ画像の「表示位置」（図８）が視線領域内に入っているか否かの判断とするが、これに限らず可能である。他の方式として、ＡＲ画像の領域一部が視線領域内に入っているか否かの判断としてもよい。
【0103】
ＨＭＤ１は、例えば、視線領域Ｅ１の中心の位置ｐ１に近いＡＲ画像から順に、ＩＤを付与する。本例では、位置ｐ１に近い順に、ＡＲ画像ａ１，ａ２，ａ３である。そのため、ＨＭＤ１は、３個のＡＲ画像ａ１，ａ２，ａ３に対し、３個のＩＤ画像「１」「２」「３」を付与、表示している。
【0104】
ＩＤ番号付与方式は、本例に限らず各種の方式が適用可能である。他の方式の例として、視線領域内にＡＲ画像が入った順序で採番する方式がある。また、他の方式の例として、視線領域内を所定の順序で走査（例えば左上から右下へ線順次走査）して該当する順序で採番する方式がある。
【0105】
上記例のように、実施の形態１のＨＭＤ１は、表示面２内に複数のＡＲ画像がある場合に、視線領域内に限定してＩＤ画像を表示する。よって、ユーザにとっては、情報量が抑制されているので、ＡＲ画像の操作がしやすい。ユーザは、視線方向の付近で注目するＡＲ画像に関して、ＩＤ画像を選択操作することで、ＡＲ画像を操作することができる。なお、ＨＭＤ１は、視線領域内のＡＲ画像にＩＤ画像を表示した後、一定時間経過後に消去するようにしてもよい。ＩＤ画像は、半透過画像としてもよい。
【0106】
図１５は、表示面２の映像の第２状態を示す。第１状態の視線領域Ｅ１から、ＨＭＤ１の向きおよび視線が少し左に移動して、第２状態の視線領域Ｅ２になったとする。第２状態で、視線領域Ｅ２内には、ＡＲ画像ａ１が入ったままであり、新たにＡＲ画像ａ１１が入ってきて、ＡＲ画像ａ２，ａ３が外に出ている。ＡＲ画像ａ１１は、店舗の情報（「店舗ＡＡＡ」）を表示する矩形画像の例である。
【0107】
ＨＭＤ１は、ＡＲ画像ａ１については、ＩＤ画像「１」の表示を維持する。ＨＭＤ１は、ＡＲ画像ａ２，ａ３については、ＩＤ画像「２」「３」を非表示にする。ＨＭＤ１は、ＡＲ画像ａ１１については、ＩＤ画像「４」を付与、表示する。第１制御例では、ＡＲ画像ａ２，ａ３のＩＤ画像「２」「３」については、非表示にしても、付与番号を維持しておき、ＡＲ画像ａ１１については、「３」の次の番号「４」が付与される。第２状態では、視線領域Ｅ２内に、ＩＤ画像「１」「４」の２つが表示されている。
【0108】
第２制御例を用いる場合、以下のようになる。ＨＭＤ１は、視線領域Ｅ２内から出ているＡＲ画像ａ２，ａ３については、ＩＤ画像「２」「３」の付与を取り消す。ＨＭＤ１は、新たに入ってきたＡＲ画像ａ１１については、ＩＤ画像「１」の次の番号を持つＩＤ画像「２」を付与、表示する。この状態で、視線領域Ｅ２内には、ＩＤ画像「１」「２」が表示される。
【0109】
また、例えば、第２状態の視線領域Ｅ２から再び第１状態の視線領域Ｅ１に戻った場合、第１制御例では、以下のようになる。ＨＭＤ１は、視線領域Ｅ１内に入ったＡＲ画像ａ２，ａ３に対し、再び、先と同じＩＤ画像「２」「３」を表示し、視線領域Ｅ１から出たＡＲ画像ａ１１についてはＩＤ画像「４」を非表示にする。
【0110】
［表示制御例（２）］
図１６は、表示面２の映像の例を示す。図１４の第１状態の視線領域Ｅ１から、ユーザの視線が少し右に移動して、図１６の視線領域Ｅ３の状態になったとする。視線領域Ｅ３内には、ＡＲ画像ａ１，ａ２，ａ３が入ったままであり、新たに、ＡＲ画像ａ４，ａ５が入っている。ここで、ユーザ設定の状態として、ＩＤの範囲が「１」～「９」であり、視線領域内のＩＤ画像の同時表示の最大数が３個であるとする。視線領域Ｅ３内には５個のＡＲ画像の位置が入っているが、ＨＭＤ１は、最大数＝３個に限定してＩＤ画像を表示する。
図１６は、表示面２の映像の例を示す。図１４の第１状態の視線領域Ｅ１から、ユーザの視線が少し右に移動して、図１６の視線領域Ｅ３の状態になったとする。視線領域Ｅ３内には、ＡＲ画像ａ１，ａ２，ａ３が入ったままであり、新たに、ＡＲ画像ａ４，ａ５が入っている。ここで、ユーザ設定の状態として、ＩＤの範囲が「１」～「９」であり、視線領域内のＩＤ画像の同時表示の最大数が３個であるとする。視線領域Ｅ３内には５個のＡＲ画像の位置が入っているが、ＨＭＤ１は、最大数＝３個に限定してＩＤ画像を表示する。
【0111】
第１制御例では、以下のようになる。ＨＭＤ１は、まず、最初に入ってきたＡＲ画像ａ４に対し、ＩＤ画像「４」を付与、表示し、ＡＲ画像ａ１についてはＩＤ画像「１」を非表示にする。この時点で、最大数＝３個のＩＤ画像「２」「３」「４」が表示されている。ＨＭＤ１は、次に入ってきたＡＲ画像ａ５に対し、ＩＤ画像「５」を付与、表示し、ＡＲ画像ａ２についてはＩＤ画像「２」を非表示にする。この時点で、最大数＝３個のＩＤ画像「３」「４」「５」が表示されている。このように、ＨＭＤ１は、新たに入ってきたＡＲ画像にＩＤ画像を表示すると共に、最大数に抑えるように、古いＩＤ（または視線領域の移動の後ろ側にあるＩＤ等）を順に非表示にする。また、ＨＭＤ１は、同様にして、範囲の最後のＩＤ＝「９」まで使用した場合、その後には、範囲の最初のＩＤ＝「１」に戻って循環的に使用する。
【0112】
同様の状況に関して、第２制御例では、以下のようになる。同様に、ＩＤの範囲が「１」～「３」であり、最大数＝３個であるとする。ＨＭＤ１は、まず、最初に入ってきたＡＲ画像ａ４に対し、ＩＤ画像「１」を付与、表示し、ＡＲ画像ａ１についてはＩＤ画像「１」の付与を取り消して消去する。この時点で、最大数＝３個のＩＤ画像「１」「２」「３」が表示されている。ＨＭＤ１は、次に入ってきたＡＲ画像ａ５に対し、ＩＤ画像「２」を付与、表示し、ＡＲ画像ａ２についてはＩＤ画像「２」を消去する。この時点で、最大数＝３個のＩＤ画像「１」「２」「３」が表示されている。このように、ＨＭＤ１は、所定の範囲のＩＤ画像「１」「２」「３」を常に使用するように、新たに入ってきたＡＲ画像にＩＤ画像を付与、表示すると共に、いずれかのＡＲ画像のＩＤ画像の付与を取り消して消去する。
【0113】
上記のように、実施の形態１のＨＭＤ１は、予め、視線領域内に表示できるＩＤ画像の最大数を設定でき、表示されるＩＤ画像の数を抑制することができる。また、例えば、視線領域内に複数のＡＲ画像が密集していて最大数を越えてしまい、それらの全てのＡＲ画像に関する複数のＩＤ画像を表示できない場合がある。ＨＭＤ１は、視線領域における複数のＡＲ画像の密度の状態に応じて、視線領域の拡大または縮小を自動的に制御してもよい。例えば、ＨＭＤ１は、複数のＡＲ画像が密に配置されている場合に、視線領域を縮小してサイズを小さくしてもよい。例えば、ＨＭＤ１は、複数のＡＲ画像が疎に配置されている場合に、視線領域を拡大してサイズを大きくしてもよい。例えば、ＨＭＤ１は、同時表示の最大数に合わせるように、視線領域のサイズを調整してもよい。表示面２に表示されるＩＤ画像の数を概略一定数にすることで、ユーザは選択操作がしやすい。また、同時表示の最大数を１個に設定することも可能である。この場合、表示面２および視線領域２０内には最大１個のＩＤ画像のみが表示されるので、選択操作が容易である。
【0114】
［ＩＤ画像の選択、ＡＲ画像の処理実行］
図１７は、図１５の映像の例と同様の実像の例で、ユーザが視線領域Ｅ２内のＡＲ画像ａ１１を、対応するＩＤ画像ｂ１１（＝ＩＤ画像「４」）によって選択操作する場合の表示例を示す。視線領域Ｅ２内には、ＡＲ画像ａ１，ａ１１が入っており、ＩＤ画像「１」「４」が表示されている。あるＡＲアプリは、店舗の情報を持つＡＲ画像ａ１１を表示している。このＡＲアプリは、さらに、このＡＲ画像ａ１１の選択操作に応じて、所定の処理として、その店舗に関する詳細情報を、さらなるＡＲ画像として提供する。
図１７は、図１５の映像の例と同様の実像の例で、ユーザが視線領域Ｅ２内のＡＲ画像ａ１１を、対応するＩＤ画像ｂ１１（＝ＩＤ画像「４」）によって選択操作する場合の表示例を示す。視線領域Ｅ２内には、ＡＲ画像ａ１，ａ１１が入っており、ＩＤ画像「１」「４」が表示されている。あるＡＲアプリは、店舗の情報を持つＡＲ画像ａ１１を表示している。このＡＲアプリは、さらに、このＡＲ画像ａ１１の選択操作に応じて、所定の処理として、その店舗に関する詳細情報を、さらなるＡＲ画像として提供する。
【0115】
ユーザは、ＡＲ画像ａ１１で示す店舗に関する詳細情報を見たいとする。この場合、ユーザは、基本としては、ＡＲ画像ａ１１を選択操作する。その際、ユーザは、ＡＲ画像ａ１１の代わりに、支援のために表示されているＩＤ画像ｂ１１を利用できる。本例では、ユーザは、ＩＤ画像ｂ１１を選択操作する。音声コマンドを用いる場合、ユーザは、ＩＤ画像ｂ１１で示されているＩＤ番号「４」（対応する「ＩＤ４選択」コマンド）を、音声入力する。例えば、ユーザは、音声「ヨンバン」等を入力する。ＨＭＤ１は、その音声を認識し、「ＩＤ４選択」コマンドとして検出する。ＨＭＤ１は、そのコマンドから、ＩＤ「４」を持つＩＤ画像ｂ１１の選択操作として解釈し、その時にそのＩＤ画像ｂ１１に関連付けられているＡＲ画像ａ１１の選択操作として解釈する。
【0116】
ＨＭＤ１は、ＩＤ画像ｂ１１の選択操作に応じて、そのＩＤ画像ｂ１１の表示差別化（図４、ステップＳ２４）を行う。なお、対応して、対象のＡＲ画像ａ１１についても表示差別化を行うようにしてもよい。また、ＨＭＤ１は、そのＡＲ画像ａ１１の選択を、対応するＡＲアプリに通知する（図５）。これにより、そのＡＲアプリは、ＡＲ画像ａ１１を選択状態とし、その選択操作に対応させて規定されている所定の処理、本例では店舗詳細情報表示を行う。
【0117】
そのＡＲアプリは、その店舗に関する詳細情報を含むＡＲ画像ａ１１ｂを構成し、ＡＲ画像ａ１１の位置または付近の位置に表示する。本例では、ＡＲ画像ａ１１ｂの詳細情報は、「店舗ＡＡＡ」の種類や営業時間等の情報が含まれている。なお、ＡＲアプリにおいて、あるＡＲ画像は、複数のＡＲ画像（例えば複数の階層や複数のページ等）から構成されていてもよい。ＨＭＤ１は、それらの複数のＡＲ画像に対し、それぞれのＩＤ画像を付与、表示してもよい。ＡＲアプリによるデータ出力は、音声出力でもよい。また、例えば、ＡＲアプリは、ＡＲ画像ａ１１またはＡＲ画像ａ１１ｂに対するユーザの所定の操作（例えば２回目の選択操作）を受けた場合、ＡＲ画像ａ１１ｂを消去する。
【0118】
［ＩＤ画像の消去］
ＩＤ画像の消去の制御例について説明する。ＨＭＤ１は、ユーザの所定の操作に応じて、視線領域内のＩＤ画像を消去、言い換えると非表示に切り替える。図１４の映像の例を用いて説明する。視線領域Ｅ１内には、ＡＲ画像ａ１～ａ３に対応して、３個のＩＤ画像「１」～「３」が表示されている。ユーザは、この状態で、視線領域Ｅ１内のＩＤ画像を消去したい場合、例えば図９のＣ１２の「ＩＤ表示オフ」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ１内のＩＤ画像「１」～「３」を非表示状態に切り替える。ＨＭＤ１は、ＩＤ画像の非表示状態では、そのＩＤ画像の選択操作を無効とする。ＩＤ画像が消去された状態では、対応するＡＲ画像は表示されているが、選択操作はできない。例えば、この状態でユーザが「ＩＤ１選択」コマンドを入力しても、ＩＤ画像「１」およびＡＲ画像ａ１の選択はできない。
ＩＤ画像の消去の制御例について説明する。ＨＭＤ１は、ユーザの所定の操作に応じて、視線領域内のＩＤ画像を消去、言い換えると非表示に切り替える。図１４の映像の例を用いて説明する。視線領域Ｅ１内には、ＡＲ画像ａ１～ａ３に対応して、３個のＩＤ画像「１」～「３」が表示されている。ユーザは、この状態で、視線領域Ｅ１内のＩＤ画像を消去したい場合、例えば図９のＣ１２の「ＩＤ表示オフ」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ１内のＩＤ画像「１」～「３」を非表示状態に切り替える。ＨＭＤ１は、ＩＤ画像の非表示状態では、そのＩＤ画像の選択操作を無効とする。ＩＤ画像が消去された状態では、対応するＡＲ画像は表示されているが、選択操作はできない。例えば、この状態でユーザが「ＩＤ１選択」コマンドを入力しても、ＩＤ画像「１」およびＡＲ画像ａ１の選択はできない。
【0119】
また、ユーザは、再度、ＩＤ画像を表示したい場合には、例えば図９のＣ１１の「ＩＤ表示オン」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ１内のＩＤ画像「１」～「３」を表示状態に切り替える。
【0120】
変形例としては、所定のコマンドに応じて、ＩＤ画像と共に対応するＡＲ画像を同時に消去させるようにしてもよい。
【0121】
［複数のＩＤ画像の選択］
視線領域内の複数のＩＤ画像から１つまたは複数のＩＤ画像を選択する場合の制御例を説明する。まず、図１４の映像の例で、ユーザは、視線領域Ｅ１内のＩＤ画像「１」～「３」について、個別のコマンド（図９、Ｃ２１～Ｃ２９）を用いて、個別のＡＲ画像を指定して選択可能である。また、ユーザは、一定時間内に複数のＩＤ画像を連続的に指定する操作によって、複数のＡＲ画像をまとめて選択することもできる。例えば、音声方式を用いる場合、ユーザは、一定時間内で、連続的に、複数のＩＤ番号を発声する。ＨＭＤ１は、音声認識処理の際、一定時間内での複数のワード（対応する音声単位）を検出し、複数のワードのつながりによるコマンドとして解釈する。入力音声は、例えば「イチ、サン、ゴ」等である。これにより、ＩＤ画像「１」「３」「５」をまとめて選択できる。また、例えば、番号が連続するＩＤ画像「２」「３」「４」「５」の範囲を選択したい場合、ユーザは、その範囲を発声する。入力音声は例えば「ニ、カラ、ゴ」（２～５の意味）である。これによってその範囲がまとめて選択可能である。
視線領域内の複数のＩＤ画像から１つまたは複数のＩＤ画像を選択する場合の制御例を説明する。まず、図１４の映像の例で、ユーザは、視線領域Ｅ１内のＩＤ画像「１」～「３」について、個別のコマンド（図９、Ｃ２１～Ｃ２９）を用いて、個別のＡＲ画像を指定して選択可能である。また、ユーザは、一定時間内に複数のＩＤ画像を連続的に指定する操作によって、複数のＡＲ画像をまとめて選択することもできる。例えば、音声方式を用いる場合、ユーザは、一定時間内で、連続的に、複数のＩＤ番号を発声する。ＨＭＤ１は、音声認識処理の際、一定時間内での複数のワード（対応する音声単位）を検出し、複数のワードのつながりによるコマンドとして解釈する。入力音声は、例えば「イチ、サン、ゴ」等である。これにより、ＩＤ画像「１」「３」「５」をまとめて選択できる。また、例えば、番号が連続するＩＤ画像「２」「３」「４」「５」の範囲を選択したい場合、ユーザは、その範囲を発声する。入力音声は例えば「ニ、カラ、ゴ」（２～５の意味）である。これによってその範囲がまとめて選択可能である。
【0122】
他の方式として、ユーザは、視線領域Ｅ１内の全ＩＤ画像「１」～「３」を選択操作したい場合、例えば図９のＣ３０の「全ＩＤ選択」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ１内の全ＩＤ画像「１」～「３」を選択する。これにより、対応する３個のＡＲ画像ａ１～ａ３を全て選択できる。
【0123】
他の方式として、ユーザは、視線領域Ｅ１内の視線中心に一番近い１つのＩＤ画像を選択することもできる。この場合、ユーザは、例えば図９のＣ３１の「１ＩＤ選択」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ１内の中心に一番近いＩＤ画像、例えばＩＤ画像「１」を選択する。これにより、対応する１個のＡＲ画像ａ１のみが選択できる。
【0124】
［視線領域の拡大／縮小］
図１８は、ユーザの所定の操作に応じて視線領域を拡大または縮小する場合の制御例を示す。図１８の映像の例は図１４と同様である。最初、視線領域Ｅ１の状態であるとする。ユーザは、視線領域を拡大したい場合、例えば、図９のＣ０５の「視線領域拡大」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ１を拡大して表示する。拡大後の視線領域Ｅ１１を示す。視線領域Ｅ１１は、元よりも大きい半径ｒ１１を持つ（ｒ１１＞ｒ１）。また、ユーザは、視線領域を縮小したい場合、例えば、図９のＣ０６の「視線領域縮小」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ１を縮小して表示する。縮小後の視線領域Ｅ１２を示す。視線領域Ｅ１２は、元よりも小さい半径ｒ１２を持つ（ｒ１２＜ｒ１）。
図１８は、ユーザの所定の操作に応じて視線領域を拡大または縮小する場合の制御例を示す。図１８の映像の例は図１４と同様である。最初、視線領域Ｅ１の状態であるとする。ユーザは、視線領域を拡大したい場合、例えば、図９のＣ０５の「視線領域拡大」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ１を拡大して表示する。拡大後の視線領域Ｅ１１を示す。視線領域Ｅ１１は、元よりも大きい半径ｒ１１を持つ（ｒ１１＞ｒ１）。また、ユーザは、視線領域を縮小したい場合、例えば、図９のＣ０６の「視線領域縮小」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ１を縮小して表示する。縮小後の視線領域Ｅ１２を示す。視線領域Ｅ１２は、元よりも小さい半径ｒ１２を持つ（ｒ１２＜ｒ１）。
【0125】
拡大後の視線領域Ｅ１１の場合、新たにＡＲ画像ａ４，ａ１１が入っている。これに応じて、例えば、ＨＭＤ１は、最大数（例えば５個）の条件内で、ＡＲ画像ａ４，ａ１１に対し、ＩＤ画像「４」「５」を付与、表示する。なお、最大数が例えば３個である場合、ＡＲ画像ａ４，ａ１１に対し、ＩＤ画像「４」「５」は付与、表示されない。縮小後の視線領域Ｅ１２の場合、ＡＲ画像ａ２，ａ３が外に出て、ＡＲ画像ａ１のみが入ったままとなっている。これに応じて、ＨＭＤ１は、ＡＲ画像ａ２，ａ３のＩＤ画像「２」「３」を非表示に切り替える。このように、視線領域の拡大／縮小の操作によって、表示面２に表示されるＩＤ画像の数を変えることができる。ユーザから見た状態に応じて、ＩＤ画像の数を変えることができるので、ユーザはＩＤ画像の選択操作がしやすい。
【0126】
変形例のＨＭＤ１は、視線領域の拡大／縮小に関する他の制御例として以下を用いてもよい。この制御例では、ＨＭＤ１は、図１８のようにユーザの操作を契機として視線領域を拡大／縮小するのではなく、自動的な判断に基づいて視線領域を拡大／縮小する。予め、ユーザ設定に基づいて、視線領域内に同時表示可能なＩＤ画像の最大数が例えば３個と設定されているとする。なお、この最大数を設定変更するためのコマンドを設けてもよい。音声の例は「サイダイ、サン」等である。
【0127】
図１９の（Ａ）の例は、表示面２内で複数のＡＲ画像（例えばＡＲ画像ａ１，ａ２，ａ３）が、比較的密度小さく、広い間隔で配置されている。この場合に、ＨＭＤ１は、視線の中心の位置ｐ１を基準として、その位置ｐ１から、距離が近い順に、最大数＝３個までのＡＲ画像を検出する。例えば、近い順に、ＡＲ画像ａ１，ａ２，ａ３である。ＨＭＤ１は、この３個のＡＲ画像の配置状態に合わせたサイズで、視線領域２０を構成する。本例では、３個のＡＲ画像ａ１～ａ３を包含できる半径ｒ１ａをとり、その半径ｒ１ａを持つ視線領域Ｅ１ａが構成されている。そして、ＨＭＤ１は、この視線領域Ｅ１ａ内のＡＲ画像ａ１～ａ３に対し、各ＩＤ画像「１」～「３」を付与、表示する。
【0128】
図１９の（Ｂ）の例は、表示面２内で複数のＡＲ画像（例えばＡＲ画像ａ１，ａ２，ａ３）が、比較的密度大きく、狭い間隔で配置されている。例えば、（Ａ）の状態から（Ｂ）の状態へ、ＡＲ画像の状態が変動したとする。この場合に、ＨＭＤ１は、同様に、視線の中心の位置ｐ１から、距離が近い順に、最大数＝３個までのＡＲ画像を検出する。ＨＭＤ１は、この３個のＡＲ画像の配置状態に合わせたサイズで、視線領域２０を構成する。本例では、３個のＡＲ画像ａ１～ａ３を包含できる半径ｒ１ｂをとり、その半径ｒ１ｂを持つ視線領域Ｅ１ｂが構成されている。そして、ＨＭＤ１は、この視線領域Ｅ１ｂ内のＡＲ画像ａ１～ａ３に対し、各ＩＤ画像「１」～「３」を付与、表示する。
【0129】
このように、この変形例では、表示面２内のＡＲ画像の配置の状況に応じて、自動的に視線領域が調整される。この変形例は、特に、視線領域を表す画像を表示する場合等に有効である。
【0130】
他の制御例として、所定のコマンドを用いて、視線領域の形状を変形できるようにしてもよい。例えば、上下拡大、上下縮小、左右拡大、左右縮小等の各コマンドを設けてもよい。ユーザは、予め、ＨＭＤ１が提供するユーザ設定画面に対応する表示において、視線領域のサイズや形状等を選択できる。
【0131】
［視線領域の固定］
図２０は、視線領域の固定、および視線領域内のＩＤ画像の固定に関する制御例を示す。ユーザは、所定の操作に応じて、一時的に視線領域を固定することや、その固定を解除することができる。視線領域の固定によって、視線領域内のＩＤ画像の表示が固定され、視線が移動した場合でもそのＩＤ画像の表示を維持することができる。
図２０は、視線領域の固定、および視線領域内のＩＤ画像の固定に関する制御例を示す。ユーザは、所定の操作に応じて、一時的に視線領域を固定することや、その固定を解除することができる。視線領域の固定によって、視線領域内のＩＤ画像の表示が固定され、視線が移動した場合でもそのＩＤ画像の表示を維持することができる。
【0132】
図２０の映像の例で、最初、視線領域Ｅ２１の状態であるとする。位置ｐ２１を中心とする視線領域Ｅ２１内に、ＡＲ画像ａ１，ａ１１が入っており、対応するＩＤ画像「１」「２」が表示されている。ユーザは、この視線領域Ｅ２１のＩＤ画像「１」「２」の状態を固定したい場合、例えば図９のＣ０３の「視線領域固定」コマンドを入力する。この操作を受けた場合、ＨＭＤ１は、その時の視線領域Ｅ２１の位置やサイズを含む状態を固定する。この固定と共に、その視線領域Ｅ２１内に表示されているＩＤ画像「１」「２」の状態についても固定される。
【0133】
上記固定後、例えばユーザが視線を右へ移動させ、視線方向の先が、位置ｐ２１から位置ｐ２２へ、位置ｐ２２から位置ｐ２３へと移動したとする。この際、仮に、固定をしていない場合では、視線領域Ｅ２１が、視線領域Ｅ２２，Ｅ２３のように変動する。視線領域Ｅ２３内には新たにＡＲ画像ａ１３が入り、ＩＤ画像が付与、表示される。一方、本制御例のように固定をしている場合、視線領域Ｅ２１のまま変化しない。よって、ＡＲ画像ａ１，ａ１１のＩＤ画像「１」「２」は表示されたままとなり、ＡＲ画像ａ１３についてもＩＤ画像は付与、表示されない。ユーザの視線が位置ｐ２３等にある状態でも、ユーザは、ＩＤ画像「１」や「２」を選択操作することができる。
【0134】
また、ユーザは、視線領域２０の固定を解除したい場合、所定の操作として、例えば図９のＣ０４の「視線領域固定解除」コマンドを入力する。これを受けて、ＨＭＤ１は、視線領域Ｅ２１の固定の状態を解除する。ＨＭＤ１は、解除時に存在する視線の位置に合わせて、新たな視線領域を再設定する。例えば、解除時、視線が位置ｐ２３にある場合、視線領域Ｅ２３が構成される。これにより、視線領域Ｅ２３内にあるＡＲ画像ａ１３に対し例えばＩＤ画像「１」が付与、表示され、視線領域Ｅ２３外にあるＡＲ画像ａ１等についてはＩＤ画像「１」等が消去される。
【0135】
［視線領域の逸脱］
図２１は、視線領域の逸脱の場合に関する制御例を示す。ＨＭＤ１は、前述の図３のステップＳ３で、視線領域を設定する際には、視線領域が表示面２から逸脱するかどうかを判断する。ＨＭＤ１は、視線領域の逸脱と判定した場合、それに合わせて、視線領域を再設定する。最初、図２１の（Ａ）の状態であるとする。この状態では、視線領域Ｅ１内にＡＲ画像ａ１～ａ３が入っており、ＩＤ画像「１」～「３」が表示されている。また、表示面２内には、店舗等に対応するＡＲ画像ａ１１が表示されている。なお、ＡＲ画像ａ１１で示す建物の左隣りにも建物があるが、情報が取得できなかったので、対応するＡＲ画像が生成されていない。この状態で、視線領域Ｅ１は、表示面２から逸脱していない。
図２１は、視線領域の逸脱の場合に関する制御例を示す。ＨＭＤ１は、前述の図３のステップＳ３で、視線領域を設定する際には、視線領域が表示面２から逸脱するかどうかを判断する。ＨＭＤ１は、視線領域の逸脱と判定した場合、それに合わせて、視線領域を再設定する。最初、図２１の（Ａ）の状態であるとする。この状態では、視線領域Ｅ１内にＡＲ画像ａ１～ａ３が入っており、ＩＤ画像「１」～「３」が表示されている。また、表示面２内には、店舗等に対応するＡＲ画像ａ１１が表示されている。なお、ＡＲ画像ａ１１で示す建物の左隣りにも建物があるが、情報が取得できなかったので、対応するＡＲ画像が生成されていない。この状態で、視線領域Ｅ１は、表示面２から逸脱していない。
【0136】
次に、例えばユーザの頭部の動作によってＨＭＤ１の向きが変動し、（Ｂ）の状態になったとする。視線は、同じ位置ｐ１を見ているとする。この状態では、視線領域Ｅ１は、表示面２の領域から外側に半分程度が出ており、表示面２内には半円程度の部分が残っている。ＨＭＤ１は、例えば、視線の中心の位置ｐ１が、表示面２の領域から外側に出た場合、この状態を、視線領域の「逸脱」と判定する。なお、（Ｂ）では、説明上、わかりやすいように、表示面２の外にも、（Ａ）と対応するＡＲ画像を図示している。本例は、ＨＭＤ１の向きの変化によって視線領域が逸脱した場合であるが、ユーザの視線の移動によって視線領域が逸脱する場合もある。
【0137】
位置ｐ１が表示面２内にある場合、例えば半円程度の部分の視線領域であっても有効なままとする。その視線領域内にあるＡＲ画像ａ１については、ＩＤ画像「１」の表示が維持される。一方、表示面２の外側に出ている半円程度の部分内にあったＡＲ画像ａ２，ａ３については、対応するＩＤ画像「２」「３」と共に、当然ながら表示されない。位置ｐ１が表示面２外に出た場合、ＨＭＤ１は、視線領域Ｅ１を逸脱の状態と判断し、その視線領域内にあったＩＤ画像については、再設定を行う。例えば、ＨＭＤ１は、ＡＲ画像ａ２，ａ３については、ＩＤ画像「２」「３」の付与を取り消す。
【0138】
また、ＨＭＤ１は、ユーザの視線の位置が、表示面２内に戻った場合、その位置に応じて、視線領域を設定する。例えば、視線の先が、（Ｂ）の位置ｐ１から、位置ｐ５に移動した場合、その位置ｐ５に対応させて、視線領域Ｅ５が構成される。この場合、視線領域Ｅ５内に新たにＡＲ画像ａ１１が入ったことに対応して、そのＡＲ画像ａ１１に例えばＩＤ画像「２」が付与、表示される。
【0139】
変形例として、ＨＭＤ１は、視線領域２０の全画像領域が表示面２から外に完全に逸脱したかどうかを判定してもよい。
【0140】
［効果等（１）］
上記のように、実施の形態１の映像表示装置によれば、ユーザが注目する視線方向に応じて視線領域を設定し、視線領域内にＩＤ画像を表示することで、ＡＲ画像に関するユーザの操作性や使い勝手を高めることができる。特に、実施の形態１によれば、視線領域内にＩＤ画像表示を限定するので、ユーザから見て表示面２の情報量が抑制され、ＩＤを用いたＡＲ画像の選択操作を容易に行うことができる。ユーザは、少ない数のＩＤから選択すればよいので、操作がしやすい。
上記のように、実施の形態１の映像表示装置によれば、ユーザが注目する視線方向に応じて視線領域を設定し、視線領域内にＩＤ画像を表示することで、ＡＲ画像に関するユーザの操作性や使い勝手を高めることができる。特に、実施の形態１によれば、視線領域内にＩＤ画像表示を限定するので、ユーザから見て表示面２の情報量が抑制され、ＩＤを用いたＡＲ画像の選択操作を容易に行うことができる。ユーザは、少ない数のＩＤから選択すればよいので、操作がしやすい。
【0141】
また、実施の形態１では、図３のように、ＡＲ画像の検出（ステップＳ２）の後に、視線領域を設定し（ステップＳ３）、ＩＤ画像を表示（ステップＳ５）している。ユーザは、表示面２内のＡＲ画像を見て確認しながら視線領域を設定でき、その視線領域内のＩＤ画像を選択操作できる。よって、表示面２内のＡＲ画像の見逃しが低減できる。
【0142】
［比較例］
実施の形態１に対する比較例の映像表示装置であるＨＭＤとして、特許文献１に記載の構成例を用いて、比較説明する。比較例のＨＭＤは、例えば、表示面内に表示されるＡＲ画像（＝ＡＲオブジェクト）の一覧から１つのＡＲ画像を取得し、そのＡＲ画像が選択可能なＡＲ画像である場合には、ＩＤの番号を採番する。そして、ＨＭＤは、採番したＩＤの画像を、ＡＲ画像の付近に表示する。比較例では、ユーザの視線方向に関係無く、ＡＲ画像に対しＩＤ画像が付与、表示される。そのため、表示面では、ＡＲ画像および対応するＩＤ画像（対応する番号）が多数になる場合や、複数のＩＤ画像が密集する場合がある。その場合、ユーザがＩＤ画像を選択操作しにくい可能性がある。
実施の形態１に対する比較例の映像表示装置であるＨＭＤとして、特許文献１に記載の構成例を用いて、比較説明する。比較例のＨＭＤは、例えば、表示面内に表示されるＡＲ画像（＝ＡＲオブジェクト）の一覧から１つのＡＲ画像を取得し、そのＡＲ画像が選択可能なＡＲ画像である場合には、ＩＤの番号を採番する。そして、ＨＭＤは、採番したＩＤの画像を、ＡＲ画像の付近に表示する。比較例では、ユーザの視線方向に関係無く、ＡＲ画像に対しＩＤ画像が付与、表示される。そのため、表示面では、ＡＲ画像および対応するＩＤ画像（対応する番号）が多数になる場合や、複数のＩＤ画像が密集する場合がある。その場合、ユーザがＩＤ画像を選択操作しにくい可能性がある。
【0143】
一方、実施の形態１のＨＭＤ１は、表示面２内に多数のＡＲ画像がある場合でも、基本的に視線領域内に限定してＩＤ画像を表示する。また、実施の形態１のＨＭＤ１は、複数のＩＤ画像がなるべく見やすくなるように表示する。よって、ユーザは、所望のＡＲ画像に対応付けられたＩＤ画像の選択操作がしやすい。また、実施の形態１のＨＭＤ１は、音声を用いた視線領域の操作も可能であり、これにより、ＩＤ画像の操作性を高めている。
【0144】
［変形例（１）］
実施の形態１のＨＭＤ１に関する変形例として以下も可能である。実施の形態１で、ＩＤ画像の選択は、基本的な概念として、ＡＲ画像の選択と、ＡＲ画像に対応付けられた処理の実行とを含むものとした。すなわち、ユーザが、あるＩＤ画像を選択操作した場合、そのＩＤ画像に対応付けられたＡＲ画像に関する所定の処理が、対応するプログラムによって自動的に実行される。変形例のＨＭＤでは、ＩＤ画像の選択は、ＡＲ画像選択とＡＲ画像処理実行とを分けた概念としてもよい。この場合、ユーザが、あるＩＤ画像を選択操作した場合、そのＩＤ画像に対応付けられたＡＲ画像が、対応するプログラムによって、選択された状態になる。そして、ユーザが、その選択状態のＡＲ画像に対し、所定の操作をした場合に、そのＡＲ画像に関する所定の処理が、対応するプログラムによって実行される。また、上記ＩＤ画像選択概念に関しては、混在してもよく、ＡＲアプリや特定のＡＲ画像に応じて、ＩＤ画像の選択操作時に異なる動作を行うように設定されてもよい。
実施の形態１のＨＭＤ１に関する変形例として以下も可能である。実施の形態１で、ＩＤ画像の選択は、基本的な概念として、ＡＲ画像の選択と、ＡＲ画像に対応付けられた処理の実行とを含むものとした。すなわち、ユーザが、あるＩＤ画像を選択操作した場合、そのＩＤ画像に対応付けられたＡＲ画像に関する所定の処理が、対応するプログラムによって自動的に実行される。変形例のＨＭＤでは、ＩＤ画像の選択は、ＡＲ画像選択とＡＲ画像処理実行とを分けた概念としてもよい。この場合、ユーザが、あるＩＤ画像を選択操作した場合、そのＩＤ画像に対応付けられたＡＲ画像が、対応するプログラムによって、選択された状態になる。そして、ユーザが、その選択状態のＡＲ画像に対し、所定の操作をした場合に、そのＡＲ画像に関する所定の処理が、対応するプログラムによって実行される。また、上記ＩＤ画像選択概念に関しては、混在してもよく、ＡＲアプリや特定のＡＲ画像に応じて、ＩＤ画像の選択操作時に異なる動作を行うように設定されてもよい。
【0145】
［変形例（２）］
変形例のＨＭＤは、複数のＩＤ画像を１つのグループとして選択操作できる機能を有する。例えば、ユーザが、表示面２内の所望の複数のＡＲ画像を、１つのグループとして選択したい場合、言い換えると、複数のＡＲ画像をまとめて選択したい場合がある。まず、前述の図１３で示したグループＩＤを用いて、グループＩＤを指定する操作によって、グループの選択操作が可能である。また、前述の「全ＩＤ選択」コマンドを用いることで、視線領域内の全ＩＤ画像をまとめて選択できる。
変形例のＨＭＤは、複数のＩＤ画像を１つのグループとして選択操作できる機能を有する。例えば、ユーザが、表示面２内の所望の複数のＡＲ画像を、１つのグループとして選択したい場合、言い換えると、複数のＡＲ画像をまとめて選択したい場合がある。まず、前述の図１３で示したグループＩＤを用いて、グループＩＤを指定する操作によって、グループの選択操作が可能である。また、前述の「全ＩＤ選択」コマンドを用いることで、視線領域内の全ＩＤ画像をまとめて選択できる。
【0146】
他の方式として、ユーザは、例えば、所定の「グループ選択」コマンドを入力してから、続けて、個別のＩＤ画像を順に指定する。例えば、視線領域内のＩＤ画像「１」「３」「５」を選択する場合、入力音声は例えば「センタク、イチ、サン、ゴ」等となる。また、ＡＲ画像選択とＡＲ画像処理実行とが別の場合には、所望のＡＲ画像を選択状態としてから、所定の「実行」コマンドの入力によって、ＡＲ画像の処理を実行させることができる。
【0147】
（実施の形態２）
図２２～図２６を用いて、本発明の実施の形態２の映像表示装置について説明する。実施の形態２等の基本的な構成は実施の形態１と同様であり、以下では実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態２のＨＭＤは、表示面内に、ＩＤ画像の選択操作用の領域（「選択領域」または「識別情報領域」等と記載する場合がある）を設ける。ユーザは、表示面内の選択領域以外の領域に表示されているＩＤ画像だけでなく、選択領域内に表示されているＩＤ画像を選択操作することができる。
図２２～図２６を用いて、本発明の実施の形態２の映像表示装置について説明する。実施の形態２等の基本的な構成は実施の形態１と同様であり、以下では実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態２のＨＭＤは、表示面内に、ＩＤ画像の選択操作用の領域（「選択領域」または「識別情報領域」等と記載する場合がある）を設ける。ユーザは、表示面内の選択領域以外の領域に表示されているＩＤ画像だけでなく、選択領域内に表示されているＩＤ画像を選択操作することができる。
【0148】
実施の形態２の場合、前述の図４のフローで、ステップＳ２３の確認は、選択領域内のＩＤ画像が選択されたかどうかの確認を含む。また、ステップＳ２６，Ｓ２７のジェスチャーの判定は、選択領域内のＩＤ画像に対するジェスチャーの判定を含む。
【0149】
［選択領域（１）］
図２２は、実施の形態２のＨＭＤ１における表示面２の映像の例を示す。表示面２内に、ＩＤ画像に関する選択領域６０が設けられている。この選択領域６０は、本例では、表示面２の領域の下辺の付近の横長の矩形領域として設けられ、例えば透過領域である。この選択領域６０は、ユーザから見えないようにしてもよいし、選択領域境界線の表示等によってユーザから見えるようにしてもよい。
図２２は、実施の形態２のＨＭＤ１における表示面２の映像の例を示す。表示面２内に、ＩＤ画像に関する選択領域６０が設けられている。この選択領域６０は、本例では、表示面２の領域の下辺の付近の横長の矩形領域として設けられ、例えば透過領域である。この選択領域６０は、ユーザから見えないようにしてもよいし、選択領域境界線の表示等によってユーザから見えるようにしてもよい。
【0150】
視線領域２０内には、前述（図１１）と同様に、３個のＡＲ画像Ａ２１，ＡＲ画像Ａ２３，Ａ２４，Ａ２５，Ａ２６の計７個のＡＲ画像が入っている。これらのＡＲ画像は、比較的近くに配置されているので、そのままでは選択操作がしにくい。実施の形態１の制御を用いる場合、７個のＡＲ画像に対し、ＩＤ画像「１」～「７」が付与、表示される。これらのＩＤ画像「１」～「７」も、比較的近くに配置されているので、そのままでは選択操作がしにくい可能性がある。
【0151】
そこで、実施の形態２のＨＭＤ１は、視線領域２０内の７個のＡＲ画像に関して、対応するＩＤ画像を、選択領域６０内に表示する。ＨＭＤ１は、選択領域６０内に、複数のＩＤ画像を、所定の規則で整理して配置する。本例では、選択領域６０内に、７個のＩＤ画像「１」～「７」が、均等な間隔で、左から右へ順に番号が昇順で並ぶようにして配置されている。例えば、選択領域６０の左側から順に、ＩＤ画像ｃ１，ｃ２，ｃ３，……，ｃ７がある。また、本例では、選択領域６０内で、複数のＩＤ画像が、視線領域２０内のＩＤ画像よりも大きいサイズで表示されている。このＩＤ画像は、ＩＤ選択ボタンのような機能を果たす。
【0152】
ユーザは、選択領域６０内の各ＩＤ画像を選択操作できる。その際、操作入力方式としては、前述の音声方式に限らず、ジェスチャー方式を用いることもできる。例えば、ユーザは、ＩＤ画像ｃ３＝ＩＤ画像「３」を選択したいとする。音声方式の場合では、前述の「ＩＤ３選択」コマンドを入力することで、ＩＤ画像ｃ３を選択でき、対応する１つのＡＲ画像Ａ２１が選択できる。ジェスチャー方式を用いる場合では、ユーザは、ＩＤ画像ｃ３の位置に対し、手指によって仮想的なタッチのジェスチャーを行う。このジェスチャーは、例えば、ユーザから見て指先をＩＤ画像「３」の矩形領域に重なる位置へ移動させてその位置に指先を所定時間以上置いた状態にするものである。このジェスチャーの際、ユーザの手指は、ＨＭＤ１の表示面２の前方の外側にあり、表示面２およびＩＤ画像を透過して見えている。そのため、ユーザおよびカメラ５は、その手指の状態を把握できる。
【0153】
ＨＭＤ１は、そのジェスチャーを、カメラ５の画像の認識に基づいて検出し、ＩＤ画像ｃ３の選択操作として解釈する。このジェスチャーによるＩＤ画像選択操作の検出は、従来技術例のＨＭＤで表示面内の様々な位置のＡＲ画像やＩＤ画像に対するジェスチャーを検出する場合に比べて、容易であり、検出精度が高い。実施の形態２では、予め定めた選択領域６０内のＩＤ画像の位置に対するジェスチャーを判定すればよいので、検出が容易である。表示面２内でＡＲ画像やＩＤ画像が動く場合でも、選択領域６０内の固定の位置にＩＤ画像が表示されるので、検出が容易である。
【0154】
なお、図２２の制御例では、視線領域２０内と選択領域６０内との両方に、それぞれのＩＤ画像が表示されている。例えば、ＡＲ画像Ａ２１について、ＩＤ画像「１」が、視線領域２０内と選択領域６０内とで二重に表示されている。これに限らず、変形例としては、選択領域６０内のみにＩＤ画像を表示するようにしてもよい。ただし、その場合、ＡＲ画像とＩＤ画像との対応関係がわかるようにする必要がある。例えば、ＩＤ画像と共にＡＲ画像の縮小画像を表示することや、ＡＲ画像とＩＤ画像とを接続線で結んで表示することにより、対応関係がわかる。
【0155】
他の操作入力方式として、ＨＭＤ１の操作入力部１６０を用いてもよい。例えば、ユーザが、本体装置または操作器に備える所定のハードウェアボタンを押すことで、選択領域６０のＩＤ画像の選択操作ができる。
【0156】
［選択領域（２）］
実施の形態２の変形例として、選択領域６０内には、ＩＤ画像と共に、対応するＡＲ画像の縮小画像等を組として対応付けて表示してもよい。
実施の形態２の変形例として、選択領域６０内には、ＩＤ画像と共に、対応するＡＲ画像の縮小画像等を組として対応付けて表示してもよい。
【0157】
図２３は、変形例での表示例を示す。視線領域２０内にはＡＲ画像ａ１，ａ２，ａ１１が入っている。ＨＭＤ１は、視線領域２０内のＡＲ画像ａ１，ａ２，ａ１１に対応付けられたＩＤ画像「１」「２」「３」を、選択領域６０内に、均等な間隔ｋ１で分散して整列した位置（左、中央、右）に配置する。さらに、ＨＭＤ１は、各ＡＲ画像ａ１～ａ３の縮小画像を、各ＩＤ画像と組にして配置する。選択領域６０内で、例えば左側の位置には、ＡＲ画像ａ１のＩＤ画像「１」と、ＡＲ画像ａ１の縮小画像を含んだ矩形画像とが、１組として表示されている。例えば中央の位置には、ＡＲ画像ａ１１のＩＤ画像「２」と、ＡＲ画像ａ１１の縮小画像を含んだ矩形画像とが、１組として表示されている。選択領域６０には、ＡＲ画像の縮小画像に限らず、ＡＲ画像のうちの一部を切り取った部分画像や、一部の文字等を拡大した画像等を表示してもよい。
【0158】
ＡＲ画像の縮小画像は、元のＡＲ画像との対応関係がわかりやすい図像であるため、ユーザは、元のＡＲ画像を直接操作することに近い感覚で、容易にＩＤ画像の選択操作が可能である。
【0159】
この選択領域６０内の複数のＩＤ画像は、位置（例えば左、中央、右）によっても識別できる。実施の形態２のＨＭＤ１は、位置指定の方式のコマンドを用いることでも、選択領域６０内のＩＤ画像の選択操作が可能である。音声コマンドの例は、「左ＩＤ選択」コマンド、「右ＩＤ選択」コマンド、「中央ＩＤ選択」コマンド等が挙げられる。「左ＩＤ選択」コマンドは、選択領域６０のＩＤ画像のうち、左側に配置されているＩＤ画像を選択するコマンドであり、音声は例えば「ヒダリ」である。「右ＩＤ選択」コマンドは、選択領域６０のうち右側に配置されているＩＤ画像を選択するコマンドであり、音声は例えば「ミギ」である。「中央ＩＤ選択」は、選択領域６０のうち中央に配置されているＩＤ画像を選択するコマンドであり、音声は例えば「チュウオウ」である。
【0160】
選択領域６０内の他の配置例として、１個のＩＤ画像の場合には、選択領域６０の中央の位置に１個のＩＤ画像が表示され、２個のＩＤ画像の配置の場合には、選択領域６０内の左右の位置に２個のＩＤ画像が表示される。これらの場合でも、同様に、所定のコマンドを用いて個別のＩＤ画像の選択操作が可能である。なお、本例は、選択領域６０内で左側から順に番号を昇順で配置する例であるが、これに限らず可能である。
【0161】
変形例として、選択領域６０におけるＩＤ画像や、ＡＲ画像の縮小画像を含む矩形画像は、識別のために色や形状を異ならせてもよい。この場合、ユーザは、位置指定、色指定、形状指定等の方式のコマンドを用いて、各ＩＤ画像またはＡＲ画像を区別して選択操作可能である。色や形状の区別を設ける場合、ＡＲ画像とＩＤ画像との一方でも両方でもよい。例えば、選択領域６０内の位置（例えば左、中央、右）毎に、表示するＩＤ画像（またはＡＲ画像の縮小画像）に、異なる色が設定される。例えば、選択領域６０内の左側の位置が赤色、中央位置が青色、右側の位置が黄色といったように設定される。ユーザは、例えば「赤ＩＤ選択」コマンド（例えば音声「アカ」）を入力することで、左側の位置のＩＤ画像を選択できる。
【0162】
また、例えば、選択領域６０内の位置毎に、異なる形状が設定される。例えば、選択領域６０内の左側の位置が円、中央位置が四角、右側の位置が三角、といったように設定される。ユーザは、例えば「三角ＩＤ選択」コマンド（例えば音声「サンカク」）を入力することで、右側の位置のＩＤ画像を選択操作できる。
【0163】
変形例として、選択領域６０内のＩＤ画像の表示を省略し、ＡＲ画像の縮小画像のみを表示してもよい。
【0164】
変形例として、選択領域６０には、複数のＩＤ画像が、左、中央、または右のいずれの位置に集中して配置されてもよい。
【0165】
変形例として、ＩＤ画像のＩＤ構成において、番号以外の態様、例えば色、形状等を適用することも可能である。ＩＤ画像は、ユーザが区別して指定できるものであればよいので、番号の態様に限定されない。番号以外のＩＤ画像の場合、ユーザは、位置指定、色指定、形状指定等の方式による所定のコマンドを用いて、ＩＤ画像の選択操作ができる。
【0166】
変形例として、ＡＲ画像の生成の元となっている実像の物体がある場合に、その物体の画像、その物体画像の縮小画像、その物体画像の一部画像等を、ＩＤ画像として使用、または併用してもよい。
【0167】
［選択領域（３）］
実施の形態２の変形例として、選択領域６０内に、ＩＤ画像を配置、表示する際に、対応するＡＲ画像の位置となるべく合わせた位置に配置して表示してもよい。
実施の形態２の変形例として、選択領域６０内に、ＩＤ画像を配置、表示する際に、対応するＡＲ画像の位置となるべく合わせた位置に配置して表示してもよい。
【0168】
図２４は、この変形例での表示例として、２通りの表示例を示す。ＨＭＤ１は、視線領域２０内のＡＲ画像ａ１，ａ２，ａ１１に関するＩＤ画像「１」～「３」を、下辺の選択領域６０内に表示する際に、表示面２のｘ方向（横方向）で、ＡＲ画像の位置となるべく対応させた位置に、対応するＩＤ画像を配置する。本例では、選択領域６０内で、左から順に、ＡＲ画像ａ１１のＩＤ画像「２」、ＡＲ画像ａ１のＩＤ画像「１」、ＡＲ画像ａ２のＩＤ画像「３」が配置されている。この場合、ＩＤ番号は順には並んでいないが、ｘ方向位置がＡＲ画像との対応関係を示しているので、ユーザは選択操作がしやすい。
【0169】
別の表示例として、ＨＭＤ１は、表示面２内の他の位置に選択領域６０を設けてもよい。選択領域６０ｂは、表示面２内の右辺の付近に設けた例である。ＨＭＤ１は、視線領域２０内のＡＲ画像ａ１，ａ２，ａ１１に関するＩＤ画像「１」～「３」を、右辺の選択領域６０ｂ内に表示する際に、表示面２のｙ方向（縦方向）で、ＡＲ画像の位置となるべく対応させた位置に、対応するＩＤ画像を配置する。なお、さらに、ＡＲ画像とＩＤ画像との対応関係をわかりやすくしたい場合、破線矢印で示すような接続線を表示するようにしてもよい。同様に、表示面２内の上辺や左辺に選択領域６０を設けてもよい。また、表示面２内で選択領域６０を設ける位置については、ユーザの視線の位置や動きに応じて可変的な位置として決定してもよい。
【0170】
［効果等（２）］
上記のように、実施の形態２の映像表示装置によれば、選択領域６０を用いることで、ＡＲ画像に関するユーザの操作性や使い勝手を高めることができる。特に、実施の形態２によれば、選択領域６０内にＩＤ画像を表示するので、ＩＤ画像の選択操作がしやすい。また、ジェスチャー方式を用いる場合でも、従来技術例よりも検出精度を高め、ＩＤ画像の選択操作がしやすい。また、表示面２内に表示される複数のＡＲ画像は、様々なものが混在する可能性がある。各ＡＲ画像は、様々なサイズや形状を持つかもしれない。実施の形態２では、様々なＡＲ画像がある場合でも、ＩＤ番号を付与し、一定のサイズに揃えて、選択領域６０内に整理して情報を表示する。よって、ユーザは、ＩＤ画像の選択操作がしやすい。
上記のように、実施の形態２の映像表示装置によれば、選択領域６０を用いることで、ＡＲ画像に関するユーザの操作性や使い勝手を高めることができる。特に、実施の形態２によれば、選択領域６０内にＩＤ画像を表示するので、ＩＤ画像の選択操作がしやすい。また、ジェスチャー方式を用いる場合でも、従来技術例よりも検出精度を高め、ＩＤ画像の選択操作がしやすい。また、表示面２内に表示される複数のＡＲ画像は、様々なものが混在する可能性がある。各ＡＲ画像は、様々なサイズや形状を持つかもしれない。実施の形態２では、様々なＡＲ画像がある場合でも、ＩＤ番号を付与し、一定のサイズに揃えて、選択領域６０内に整理して情報を表示する。よって、ユーザは、ＩＤ画像の選択操作がしやすい。
【0171】
［変形例（１）］
実施の形態２に関する変形例として以下も可能である。変形例のＨＭＤ１による、選択領域６０を用いた制御例を以下に説明する。この制御例では、ＨＭＤ１は、視線領域２０から外に出たＡＲ画像についてのＩＤ画像を、選択領域６０内に所定の規則で配置して表示する。
実施の形態２に関する変形例として以下も可能である。変形例のＨＭＤ１による、選択領域６０を用いた制御例を以下に説明する。この制御例では、ＨＭＤ１は、視線領域２０から外に出たＡＲ画像についてのＩＤ画像を、選択領域６０内に所定の規則で配置して表示する。
【0172】
図２５は、この制御例での表示例を示す。本例では、使用するＩＤの範囲を「１」～「９」とし、視線領域２０内の同時表示の最大数を５個とする。最初、ユーザの視線は、視線領域Ｅ２１の状態であるとする。視線領域Ｅ２１内には、ＡＲ画像ａ４，ａ５、ＡＲ画像ａ１２，ａ１３が入っており、対応して例えばＩＤ画像「１」～「４」が表示されている。次に、視線が例えば左に移動し、視線領域Ｅ２２の状態になったとする。視線領域Ｅ２２内には、ＡＲ画像ａ１，ａ２，ａ３，ａ４が入っており、対応して例えばＩＤ画像「４」～「７」が表示される。視線領域Ｅ２２外に出たＡＲ画像ａ５，ａ１２，ａ１３については、実施の形態１の制御を用いる場合、ＩＤ画像「１」～「３」が非表示にされる。
【0173】
この変形例のＨＭＤ１は、視線領域Ｅ２２外に出たＡＲ画像ａ５，ａ１２，ａ１３について、対応するＩＤ画像「１」～「３」を、非表示にすると共に、選択領域６０内に、対応するＩＤ画像ｃ１～ｃ３（ＩＤ画像「１」～「３」）として表示する。ＨＭＤ１は、選択領域６０内に、３個のＩＤ画像ｃ１～ｃ３を、均等な間隔ｋ１で分散して整列した位置（右、中央、左）に配置する。
【0174】
ユーザは、この状態で、選択領域６０内の各ＩＤ画像ｃ１～ｃ３を選択操作できる。これにより、ユーザは、視線領域Ｅ２２外にあるＡＲ画像ａ５等についても選択できる。例えば、ユーザが、選択領域６０内のＩＤ画像ｃ１＝ＩＤ画像「１」を選択操作した場合、それに対応するＡＲ画像ａ５が選択できる。
【0175】
さらに、視線が左に移動し、視線領域Ｅ２３の状態になったとする。視線領域Ｅ２３内には、ＡＲ画像ａ１，ａ１１が入っており、対応して、ＡＲ画像ａ１，ａ１１に対し、例えばＩＤ画像「７」「８」が表示される。この変形例では、ＨＭＤ１は、視線領域Ｅ２３の外に出たＡＲ画像ａ２，ａ３，ａ４については、対応するＩＤ画像「５」「６」「４」を非表示にすると共に、選択領域６０内に、対応するＩＤ画像「５」「６」「４」を追加表示する。すなわち、選択領域６０内には、ＩＤ画像「１」～「６」が、図２２の例と同様に規則的な配置で表示される。同様に、この状態で、ユーザは、選択領域６０内の各ＩＤ画像を選択操作できる。なお、選択領域６０内に表示するＩＤ画像の数についても、最大数が設定されてもよい。例えば、その最大数が３個の場合、選択領域６０内には、ＩＤ画像「１」～「６」ではなく、ＩＤ画像「４」～「６」が表示される。
【0176】
変形例として、ＨＭＤ１は、視線領域２０から外に出たＡＲ画像に関して、時系列上、外に出た順序に従って、対応するＩＤ画像を、選択領域６０内に履歴のように表示してもよい。この選択領域６０内には、所定数までの複数のＩＤ画像が隣接して表示され、所定数を超える場合には、古いＩＤ画像から順に消去される。図２５の例で、視線領域から外に出たＡＲ画像の順序が、ＡＲ画像ａ１３，ａ１２，ａ５，ａ４，ａ３，ａ２である場合、選択領域６０内には、順にＩＤ画像「３」「２」「１」「４」「６」「５」と表示される。
【0177】
［変形例（２）］
変形例のＨＭＤ１として、前述の図２１の例のように表示面２から視線領域が逸脱した場合に、逸脱した視線領域内にあったＩＤ画像を、選択領域６０内に表示するようにしてもよい。図２６は、逸脱時の表示例を示す。ＨＭＤ１は、視線領域Ｅ１が表示面２から逸脱したと判定した場合、その視線領域Ｅ１内に入っていたが見えなくなったＡＲ画像のＩＤ画像について、選択領域６０内に表示する。例えば、視線領域Ｅ１内にあったＡＲ画像ａ２のＩＤ画像「２」およびＡＲ画像ａ３のＩＤ画像「３」が、選択領域６０の右側の付近に配置されている。本例では、表示面２の右辺側で逸脱が発生したので、選択領域６０内の右側に寄せた位置にＩＤ画像を表示している。この際に表示するＩＤ画像は、前述と同様に、ＡＲ画像の縮小画像等を用いてもよい。この変形例は、表示面２から外に出たＩＤ画像についても有効活用できる。
変形例のＨＭＤ１として、前述の図２１の例のように表示面２から視線領域が逸脱した場合に、逸脱した視線領域内にあったＩＤ画像を、選択領域６０内に表示するようにしてもよい。図２６は、逸脱時の表示例を示す。ＨＭＤ１は、視線領域Ｅ１が表示面２から逸脱したと判定した場合、その視線領域Ｅ１内に入っていたが見えなくなったＡＲ画像のＩＤ画像について、選択領域６０内に表示する。例えば、視線領域Ｅ１内にあったＡＲ画像ａ２のＩＤ画像「２」およびＡＲ画像ａ３のＩＤ画像「３」が、選択領域６０の右側の付近に配置されている。本例では、表示面２の右辺側で逸脱が発生したので、選択領域６０内の右側に寄せた位置にＩＤ画像を表示している。この際に表示するＩＤ画像は、前述と同様に、ＡＲ画像の縮小画像等を用いてもよい。この変形例は、表示面２から外に出たＩＤ画像についても有効活用できる。
【0178】
（実施の形態３）
図２７を用いて、本発明の実施の形態３の映像表示装置について説明する。実施の形態３のＨＭＤは、図３のフローに関して、処理の順序が異なり、主な変更点としては、ステップＳ２とステップＳ３とが逆になる。実施の形態３のＨＭＤは、視線領域を設定した後に、視線領域内のＡＲ画像を抽出して表示し、ＩＤ画像を付与、表示する。
図２７を用いて、本発明の実施の形態３の映像表示装置について説明する。実施の形態３のＨＭＤは、図３のフローに関して、処理の順序が異なり、主な変更点としては、ステップＳ２とステップＳ３とが逆になる。実施の形態３のＨＭＤは、視線領域を設定した後に、視線領域内のＡＲ画像を抽出して表示し、ＩＤ画像を付与、表示する。
【0179】
図２７は、実施の形態３でのフローを示す。ステップＳ１で、ＨＭＤ１は、ＨＭＤ１の位置等を検出する。ステップＳ２ｂで、ＨＭＤ１は、視線方向を検出し、視線領域を設定する。ステップＳ３ｂで、ＨＭＤ１は、ＡＲ画像を生成し、視線領域内に該当する場合に視線領域内にそのＡＲ画像を表示する。ステップＳ４ｂで、ＨＭＤ１は、視線領域内に該当するＡＲ画像を検出する。ステップＳ５で、ＨＭＤ１は、視線領域内のＡＲ画像に対し、ＩＤ画像を付与し、表示する。実施の形態３では、このようなフロー構成によって、視線領域内に限定してＡＲ画像およびＩＤ画像を表示する。
【0180】
［表示例］
実施の形態３のＨＭＤ１における映像の表示例は以下の通りである。前述の図１４の例を用いる。図１４では、視線領域Ｅ１の外にもＡＲ画像が表示されていたが、実施の形態３の場合には、視線領域Ｅ１内のみにＡＲ画像およびＩＤ画像が表示される。例えば、ＡＲ画像ａ１，ａ２，ａ３は、表示位置が視線領域Ｅ１内に該当するので表示され、ＩＤ画像「１」「２」「３」が表示される。ＡＲ画像ａ４，ａ５，ａ１１，ａ１２，ａ１３は、表示位置が視線領域Ｅ１外にあるので、表示されず、ＩＤ画像も表示されない。なお、視線領域Ｅ１が移動して、表示位置が該当する状態になれば、そのＡＲ画像およびＩＤ画像が表示される。
実施の形態３のＨＭＤ１における映像の表示例は以下の通りである。前述の図１４の例を用いる。図１４では、視線領域Ｅ１の外にもＡＲ画像が表示されていたが、実施の形態３の場合には、視線領域Ｅ１内のみにＡＲ画像およびＩＤ画像が表示される。例えば、ＡＲ画像ａ１，ａ２，ａ３は、表示位置が視線領域Ｅ１内に該当するので表示され、ＩＤ画像「１」「２」「３」が表示される。ＡＲ画像ａ４，ａ５，ａ１１，ａ１２，ａ１３は、表示位置が視線領域Ｅ１外にあるので、表示されず、ＩＤ画像も表示されない。なお、視線領域Ｅ１が移動して、表示位置が該当する状態になれば、そのＡＲ画像およびＩＤ画像が表示される。
【0181】
［効果等（３）］
実施の形態３によれば、視線に合わせて、表示面２に表示されるＡＲ画像およびＩＤ画像の数が抑制されるので、ユーザは、視線領域内のＡＲ画像およびＩＤ画像に注目して操作すればよく、選択操作がしやすい。実施の形態３では、表示面２内の全てのＡＲ画像を表示する必要は無く、処理効率化等の利点もある。
実施の形態３によれば、視線に合わせて、表示面２に表示されるＡＲ画像およびＩＤ画像の数が抑制されるので、ユーザは、視線領域内のＡＲ画像およびＩＤ画像に注目して操作すればよく、選択操作がしやすい。実施の形態３では、表示面２内の全てのＡＲ画像を表示する必要は無く、処理効率化等の利点もある。
【0182】
（実施の形態４）
図２８を用いて、本発明の実施の形態４の映像表示装置について説明する。実施の形態４のＨＭＤは、視線領域内のＡＲ画像が動いて外に出た場合に、ＩＤ画像の表示を継続する。
図２８を用いて、本発明の実施の形態４の映像表示装置について説明する。実施の形態４のＨＭＤは、視線領域内のＡＲ画像が動いて外に出た場合に、ＩＤ画像の表示を継続する。
【0183】
［表示例］
図２８は、実施の形態４における映像の例を示す。（Ａ）は第１状態、（Ｂ）は第２状態を示す。図２８の実像は、交差点付近の例である。本例では、ＡＲ画像を表示する対象として、人を扱う。あるＡＲアプリは、人の顔を検出し、その人の情報をＡＲ画像として提供する。（Ａ）の映像の表示面２内には、例えば人Ａ、人Ｂ、人Ｃのように三人がいる。人Ａおよび人Ｃは、ユーザが知らない一般人であり、人Ｂは、ユーザの知り合いの人であるとする。ＡＲアプリには、予め、人Ｂを含む、ユーザの知り合いの人の顔および情報が登録されている。
図２８は、実施の形態４における映像の例を示す。（Ａ）は第１状態、（Ｂ）は第２状態を示す。図２８の実像は、交差点付近の例である。本例では、ＡＲ画像を表示する対象として、人を扱う。あるＡＲアプリは、人の顔を検出し、その人の情報をＡＲ画像として提供する。（Ａ）の映像の表示面２内には、例えば人Ａ、人Ｂ、人Ｃのように三人がいる。人Ａおよび人Ｃは、ユーザが知らない一般人であり、人Ｂは、ユーザの知り合いの人であるとする。ＡＲアプリには、予め、人Ｂを含む、ユーザの知り合いの人の顔および情報が登録されている。
【0184】
ＡＲアプリは、カメラ５の画像から、公知の画像処理によって、人の顔の領域を抽出する。例えば、人Ａ、人Ｂ、人Ｃの顔領域がそれぞれ抽出される。ＡＲアプリは、特徴識別等の画像処理に基づいて、特定の人（例えば人Ｂ）の顔を認識、判定する。言い換えると、ＡＲアプリは、個人認識処理を行う。なお、その際には、例えば人Ｂの顔画像の登録情報が用いられる。ＡＲアプリは、例えば人Ｂの顔を検出した場合、その人Ｂの顔領域に対し、ＡＲ画像を表示する。このＡＲ画像は、ユーザの知り合い等の特定の人（例えば人Ｂ）であることを表す画像である。本例では、このＡＲ画像は、ＡＲ画像ａ４１のように、顔領域を取り囲む枠画像である。このＡＲ画像は、これに限らず、身体を囲む枠画像、吹き出し画像、人に応じたマーク、等としてもよい。
【0185】
図２８では、説明のために、人Ｂの顔付近を拡大して図示している。この拡大図において、人Ｂの顔の周りに、ＡＲ画像ａ４１として枠画像がある。また、このＡＲ画像ａ４１は、人Ｂの名前等の情報の文字画像を伴ってもよい。また、ＡＲアプリは、このＡＲ画像ａ４１が選択および実行された場合に、登録されている人Ｂの情報を表示するようにしてもよい。また、ＡＲアプリは、このＡＲ画像ａ４１が選択および実行された場合に、吹き出し画像等を用いて、人Ｂの情報を大きく表示してもよい。
【0186】
また、本例では、図２８の映像には、他のＡＲアプリによるＡＲ画像の例として、ＡＲ画像ａ４２が表示されている。ＡＲ画像ａ４２は、ルート案内等のナビゲーションのための矢印画像である。このＡＲ画像ａ４２は、ユーザが進行すべき方向を表している。
【0187】
実施の形態３のＨＭＤ１は、視線領域Ｅ４１内に入っているＡＲ画像ａ４１やＡＲ画像ａ４２に対し、対応付けてＩＤ画像ｂ４１やＩＤ画像ｂ４２を付与、表示する。例えば、ＩＤ画像ｂ４１はＩＤ「１」、ＩＤ画像ｂ４２はＩＤ「２」を持つ。
【0188】
（Ａ）の第１状態から、時間が経過し、例えば人Ｂが移動して、（Ｂ）の第２状態になったとする。視線領域Ｅ４１は、殆ど同じ位置にあるとする。仮に、実施の形態１の基本的な制御を適用する場合、以下のようになる。（Ｂ）の第２状態では、視線領域Ｅ４１の外にＡＲ画像ａ４１が出ているので、ＩＤ画像ｂ４１の「１」は非表示になる。この場合、ＩＤ画像ｂ４１の選択操作はできない。ユーザは、例えば人ＢのＡＲ画像ａ４１を追跡する場合、視線を動かして視線領域を移動させ、動いている人のＡＲ画像ａ４１を捉える。この場合、人ＢのＡＲ画像ａ４１のＩＤ画像ｂ４１も表示されるので、ＩＤ画像ｂ４１の選択操作が可能である。しかしながら、例えば、視線領域内に複数の物体やＡＲ画像が存在し、それぞれが動く場合や、一部のＡＲ画像に注目した場合、人Ｂのように一部のＡＲ画像が動いて視線領域の外に出てしまい、ユーザが追跡できない場合がある。
【0189】
それに対し、実施の形態４のＨＭＤ１は、この第２状態で、視線領域Ｅ４１の外に出たＡＲ画像ａ４１についても、ＩＤ画像ｂ４１のＩＤ「１」を継続して表示したままとする。この場合、ユーザが視線を動かさなくても、人ＢのＡＲ画像ａ４１およびＩＤ画像ｂ４１の表示が継続される。表示面２内に人Ｂが存在する限り、ユーザは、ＡＲ画像ａ４１およびＩＤ画像ｂ４１を追跡でき、ＩＤ画像ｂ４１の選択操作が可能である。
【0190】
なお、実施の形態４の制御は、例えば、予めユーザ設定で、特定のＡＲアプリや特定のタイプのＡＲ画像の場合に適用するように設定できる。あるいは、ユーザが所定の操作（例えば「ＩＤ追跡」コマンド）をした場合に、この制御を適用状態に切り替えるようにしてもよい。また、実施の形態２と組み合わせた形態とし、選択領域内に、追跡対象のＡＲ画像のＩＤ画像を表示するようにしてもよい。
【0191】
他の例として、矢印のＡＲ画像ａ４２については以下のようになる。あるＡＲアプリは、目的地へのナビゲーションのために、ＡＲ画像ａ４２およびＡＲ画像ａ４３等の複数のＡＲ画像を順次に表示する。例えば、最初のある時点でＡＲ画像ａ４２が表示され、次のある時点でＡＲ画像ａ４３が表示される。自動的に順次に複数のＡＲ画像が表示される方式でもよいし、ユーザが最初のＡＲ画像ａ４２を選択すると次のＡＲ画像ａ４３が表示される方式でもよい。このように、関連する複数のＡＲ画像が、異なる位置に表示される場合がある。その場合に、少なくとも一部のＡＲ画像が視線領域２０から外に出る場合がある。例えば、ＡＲ画像ａ４３は、視線領域Ｅ４１の外に出ている。
【0192】
このような場合に、ＨＭＤ１は、関連する複数のＡＲ画像について、視線領域の外に出るものについても、ＩＤ画像を表示する。例えば、ＡＲ画像ａ４２にはＩＤ画像ｂ４２が表示され、ＡＲ画像ａ４３にはＩＤ画像ｂ４３が表示される。本例では、ＩＤ画像ｂ４３のＩＤは、ＩＤ画像ｂ４２のＩＤと同じ「２」とされている。３個以上の関連するＡＲ画像がある場合にも同様である。
【0193】
［効果等（４）］
実施の形態４によれば、物体、ＡＲ画像およびＩＤ画像の動きに合わせて、ＩＤ画像の表示を継続できるので、ユーザは、視線領域外に出たＡＲ画像についても追跡して操作が可能である。なお、実施の形態４の制御は、物体が移動する場合に限らず適用可能である。例えば、物体およびＡＲ画像が静止していて視線領域の方が移動する場合にも適用可能である。
実施の形態４によれば、物体、ＡＲ画像およびＩＤ画像の動きに合わせて、ＩＤ画像の表示を継続できるので、ユーザは、視線領域外に出たＡＲ画像についても追跡して操作が可能である。なお、実施の形態４の制御は、物体が移動する場合に限らず適用可能である。例えば、物体およびＡＲ画像が静止していて視線領域の方が移動する場合にも適用可能である。
【0194】
（実施の形態５）
図２９を用いて、本発明の実施の形態５の映像表示装置について説明する。実施の形態５のＨＭＤは、ユーザの視線の視線深度を用いて、ＩＤ画像の制御を実現する。
図２９を用いて、本発明の実施の形態５の映像表示装置について説明する。実施の形態５のＨＭＤは、ユーザの視線の視線深度を用いて、ＩＤ画像の制御を実現する。
【0195】
［視線深度］
図２９は、実施の形態５における、視線深度の概念等を模式的に示す。（Ａ）は、実像における物体（例えば人）の位置に応じた大きさの例を示す。（Ｂ）は、ユーザの目の位置（＝視点位置）から奥行き方向における物体の位置に応じた視線深度範囲を示す。実施の形態５のＨＭＤ１の視線検出部４は、視線深度を検出する機能を備える。視線検出部４は、ユーザの両眼の視線方向として、左眼の視線方向と右眼の視線方向とのそれぞれを検出する。視線検出部４は、左眼の視線方向と右眼の視線方向とが交差する点から、視線深度を検出できる。
図２９は、実施の形態５における、視線深度の概念等を模式的に示す。（Ａ）は、実像における物体（例えば人）の位置に応じた大きさの例を示す。（Ｂ）は、ユーザの目の位置（＝視点位置）から奥行き方向における物体の位置に応じた視線深度範囲を示す。実施の形態５のＨＭＤ１の視線検出部４は、視線深度を検出する機能を備える。視線検出部４は、ユーザの両眼の視線方向として、左眼の視線方向と右眼の視線方向とのそれぞれを検出する。視線検出部４は、左眼の視線方向と右眼の視線方向とが交差する点から、視線深度を検出できる。
【0196】
前述の図２８の例のように、ユーザから見て奥行き方向において異なる位置にそれぞれの物体が存在する場合、図２９の（Ａ）の映像の例のように、それぞれの物体の大きさが異なる。（Ａ）の映像で、三人の人（人Ａ、人Ｂ、人Ｃ）において、人Ａは、ＨＭＤ１からの距離が相対的に近く、視線深度が浅い。人Ｃは、ＨＭＤ１からの距離が相対的に遠く、視線深度が深い、人Ｂは、人Ａと人Ｃとの中間程度の距離であり、視線深度がそれらの中間程度である。
【0197】
（Ｂ）で、ユーザの左眼と右眼からのそれぞれの視線方向を破線で示す。２つの視線方向が交差する点が、視線深度に対応する。視線深度範囲とは、有効となる視線深度の範囲である。（Ｂ）で、縦軸は、ＨＭＤ１と対象の人との距離を示し、人Ａとの距離ＺＡ、人Ｂとの距離ＺＢ、人Ｃとの距離ＺＣを有する。距離に応じた視線深度範囲として、視線深度範囲ＨＡ，ＨＢ，ＨＣを示す。ＨＭＤ１は、検出した視線方向および視線深度範囲に対応させて、視線領域２０を設定する。例えば、検出した視線深度範囲が視線深度範囲ＨＢである場合、（Ａ）の映像で、視線領域Ｅ６０が設定される。この場合、例えば人Ｂに対応したＡＲ画像のＩＤ画像の選択操作が容易にできる。
【0198】
［制御例］
実施の形態５における制御例として、さらに、ＨＭＤ１は、視線深度に応じて、視線領域の大きさ等を自動的に調整してもよい。図２９の視線深度範囲の左側には、この制御例における視線領域の大きさの制御例を示している。ＨＭＤ１は、例えば、視線深度の大中小の３つのレベルの判断に応じて、視線領域の大きさ（例えば半径）を大中小の３つのレベルから選択したレベルに設定する。この制御例では、ユーザの視線方向および視線深度の状態に応じて、好適な大きさの視線領域が設定される。その視線領域の大きさに応じて、視線領域内のＡＲ画像およびＩＤ画像が決定される。ユーザの視線方向が同じでも、視線深度の違いに応じて、異なる大きさの視線領域が設定される。その結果、選択候補となるＩＤ画像が異なってくる。例えば、図１４の映像で、ＡＲ画像ａ１に対し、ＡＲ画像ａ２やＡＲ画像ａ４は、ベース位置が奥方向の位置にあるとする。ユーザがＡＲ画像ａ１を注目する場合に対し、ＡＲ画像ａ２等を注目する場合には、視線深度がより深くなる。これに対応して、ＨＭＤ１は、より小さなサイズの視線領域２０を設定する。これにより、視線領域２０内に入るＡＲ画像がより絞り込まれる。その結果、表示されるＩＤ画像の数は少なくなり、より絞り込まれた状態でＩＤ画像の選択操作が可能である。
実施の形態５における制御例として、さらに、ＨＭＤ１は、視線深度に応じて、視線領域の大きさ等を自動的に調整してもよい。図２９の視線深度範囲の左側には、この制御例における視線領域の大きさの制御例を示している。ＨＭＤ１は、例えば、視線深度の大中小の３つのレベルの判断に応じて、視線領域の大きさ（例えば半径）を大中小の３つのレベルから選択したレベルに設定する。この制御例では、ユーザの視線方向および視線深度の状態に応じて、好適な大きさの視線領域が設定される。その視線領域の大きさに応じて、視線領域内のＡＲ画像およびＩＤ画像が決定される。ユーザの視線方向が同じでも、視線深度の違いに応じて、異なる大きさの視線領域が設定される。その結果、選択候補となるＩＤ画像が異なってくる。例えば、図１４の映像で、ＡＲ画像ａ１に対し、ＡＲ画像ａ２やＡＲ画像ａ４は、ベース位置が奥方向の位置にあるとする。ユーザがＡＲ画像ａ１を注目する場合に対し、ＡＲ画像ａ２等を注目する場合には、視線深度がより深くなる。これに対応して、ＨＭＤ１は、より小さなサイズの視線領域２０を設定する。これにより、視線領域２０内に入るＡＲ画像がより絞り込まれる。その結果、表示されるＩＤ画像の数は少なくなり、より絞り込まれた状態でＩＤ画像の選択操作が可能である。
【0199】
［効果等（５）］
実施の形態５によれば、視線深度として３次元空間内の奥行き方向の視線状態を加味するので、より詳細に視線領域やＩＤ画像を制御することができる。例えば、ユーザは、視線の注目に応じて、選択対象のＩＤ画像を絞り込みやすい。
実施の形態５によれば、視線深度として３次元空間内の奥行き方向の視線状態を加味するので、より詳細に視線領域やＩＤ画像を制御することができる。例えば、ユーザは、視線の注目に応じて、選択対象のＩＤ画像を絞り込みやすい。
【0200】
（実施の形態６）
図３０を用いて、本発明の実施の形態６の映像表示装置について説明する。実施の形態６のＨＭＤは、特定のＡＲアプリに関する制御例として、物体に対応付けられた複数のＡＲ画像を、複数のＩＤ画像によって選択操作し、所定の機能を実現する。
図３０を用いて、本発明の実施の形態６の映像表示装置について説明する。実施の形態６のＨＭＤは、特定のＡＲアプリに関する制御例として、物体に対応付けられた複数のＡＲ画像を、複数のＩＤ画像によって選択操作し、所定の機能を実現する。
【0201】
［表示例（１）］
図３０の（Ａ）は、実施の形態６における映像の例を示す。この実像は、室内で、角隅に、物体１５１として、三角テーブルがある。実施の形態５のＨＭＤ１は、センサ部１５０を用いて、室内におけるＨＭＤ１の位置を把握する。ＨＭＤ１は、例えば、カメラ５や、センサ部１５０の距離センサを用いて、ＨＭＤ１と壁や床との距離や、ＨＭＤ１と物体１５１との距離を計測する。ＨＭＤ１は、室内の各種の物体に関して、３次元空間内の位置を把握し、ＨＭＤ１との位置関係を把握する。なお、距離センサとしては、例えばＴＯＦ（Time Of Flight）方式や、レーザを用いたパターン照射方式や、複数のカメラを用いて計算する方式、等の公知の方式が適用できる。
図３０の（Ａ）は、実施の形態６における映像の例を示す。この実像は、室内で、角隅に、物体１５１として、三角テーブルがある。実施の形態５のＨＭＤ１は、センサ部１５０を用いて、室内におけるＨＭＤ１の位置を把握する。ＨＭＤ１は、例えば、カメラ５や、センサ部１５０の距離センサを用いて、ＨＭＤ１と壁や床との距離や、ＨＭＤ１と物体１５１との距離を計測する。ＨＭＤ１は、室内の各種の物体に関して、３次元空間内の位置を把握し、ＨＭＤ１との位置関係を把握する。なお、距離センサとしては、例えばＴＯＦ（Time Of Flight）方式や、レーザを用いたパターン照射方式や、複数のカメラを用いて計算する方式、等の公知の方式が適用できる。
【0202】
実施の形態５のＨＭＤ１、例えばあるＡＲアプリは、カメラ５を用いて室内等の空間を撮影し、その撮影映像を用いて、ＡＲ画像を生成する。このＡＲアプリは、例えばユーザの操作に応じて室内に仮想的に物体（対応するＡＲオブジェクト）を配置する機能を有するアプリであり、例えばインテリアのレイアウトのシミュレーション等に利用できる。
【0203】
ＨＭＤ１は、例えば、視線領域２０内にある三角テーブルの物体１５１上に、ユーザが指定したＡＲオブジェクト１５２を配置して表示する。ＡＲオブジェクト１５２は、例えば、円柱形状の物体を表すＡＲ画像である。このＡＲオブジェクト１５２は、ＡＲアプリやユーザの指定に応じて、例えば花瓶や模型等、様々な画像とすることができる。ＨＭＤ１は、そのＡＲオブジェクト１５２に対し、視線領域２０内に該当する場合、ＩＤ画像１５３を付与、表示する。
【0204】
また、ＡＲアプリは、ユーザの所定の操作（例えばジェスチャー）に応じて、ＡＲオブジェクト１５２を動かして表示する。すなわち、ユーザは、ＡＲオブジェクト１５２を所望の位置に配置することができる。ＨＭＤ１は、ＡＲオブジェクト１５２の移動に応じて、対応するＩＤ画像１５３も移動させる。他の例として、ＡＲオブジェクト１５４は、壁に対し、絵画や窓等を表す矩形画像を配置する例である。
【0205】
ＨＭＤ１は、例えばＡＲオブジェクト１５２のＩＤ画像１５３が選択操作された場合、ＡＲオブジェクト１５２に対応付けられた所定の処理を実行する。この処理は、例えば、ＡＲオブジェクト１５２を選択状態にすること、ＡＲオブジェクト１５２の表示のオン／オフ等、様々な処理が可能である。例えば、直接的なタッチやスライド等のジェスチャーによるＡＲオブジェクト１５２の移動の操作がしにくい場合がある。この場合に、ユーザは、音声入力でＩＤ画像１５３を選択して、ＡＲオブジェクト１５２を選択状態にする。そして、ユーザは、ＡＲアプリが提供する所定のコマンド（例えば「右移動」「左移動」等のコマンド）を用いて、ＡＲオブジェクト１５２を移動させることができる。
【0206】
［表示例（２）］
図３０の（Ｂ）は、他の映像の例を示す。ＨＭＤ１のＡＲアプリは、１個の三角テーブル等の物体１５１について、複数のＡＲオブジェクトを付加し表示することができる。あるＡＲアプリは、例えば物体の長さ等を測定する機能を有する。ＨＭＤ１は、カメラ５の画像認識に基づいて、物体１５１のエッジ、特徴点を検出する。これにより、例えば、物体１５１の上面の左角の点ｐ５１、右角の点ｐ５２、奥の点ｐ５３等が検出できる。ＨＭＤ１は、例えば、左右の２つの角の点ｐ５１，ｐ５２に対し、ＡＲオブジェクトａ５１，ａ５２を表示する。ＡＲオブジェクトａ５１は左角点を表す矢印画像、ＡＲオブジェクトａ５２は右角点を表す矢印画像である。そして、ＨＭＤ１は、各ＡＲオブジェクトａ５１，ａ５２に対し、それぞれ、ＩＤ画像を付与、表示する。例えば、ＡＲオブジェクトａ５１にはＩＤ画像ｂ５１としてＩＤ画像「２」、ＡＲオブジェクトａ５２にはＩＤ画像ｂ５２としてＩＤ画像「３」が表示されている。
図３０の（Ｂ）は、他の映像の例を示す。ＨＭＤ１のＡＲアプリは、１個の三角テーブル等の物体１５１について、複数のＡＲオブジェクトを付加し表示することができる。あるＡＲアプリは、例えば物体の長さ等を測定する機能を有する。ＨＭＤ１は、カメラ５の画像認識に基づいて、物体１５１のエッジ、特徴点を検出する。これにより、例えば、物体１５１の上面の左角の点ｐ５１、右角の点ｐ５２、奥の点ｐ５３等が検出できる。ＨＭＤ１は、例えば、左右の２つの角の点ｐ５１，ｐ５２に対し、ＡＲオブジェクトａ５１，ａ５２を表示する。ＡＲオブジェクトａ５１は左角点を表す矢印画像、ＡＲオブジェクトａ５２は右角点を表す矢印画像である。そして、ＨＭＤ１は、各ＡＲオブジェクトａ５１，ａ５２に対し、それぞれ、ＩＤ画像を付与、表示する。例えば、ＡＲオブジェクトａ５１にはＩＤ画像ｂ５１としてＩＤ画像「２」、ＡＲオブジェクトａ５２にはＩＤ画像ｂ５２としてＩＤ画像「３」が表示されている。
【0207】
ユーザは、視線領域２０内のＩＤ画像の選択操作によって、複数のＡＲオブジェクトを選択することができる。本例では、ユーザは、このＡＲアプリの測定機能を用いて、物体１５１の２点間の長さを測定する。ユーザは、そのために、２点に対応する２個のＩＤ画像ｂ５１，ｂ５２を選択操作する。操作は、例えば「ＩＤ２選択」コマンドおよび「ＩＤ３選択」コマンドの入力である。これにより、２個のＩＤ画像ｂ５１，ｂ５２を選択状態にできる。ＡＲアプリは、複数のＡＲ画像が選択状態になった場合、それらのＡＲ画像間の関係を把握し、その関係に基づいて、複数のＡＲ画像に対する所定の処理を実行する。本例では、ＡＲアプリは、選択状態の点ｐ５１と点ｐ５２との間の距離（２点間の直線の長さ）を計算する。ＡＲアプリは、２点間の直線のＡＲ画像を表示してもよい。ＡＲアプリは、計算した距離の情報を、例えばＡＲ画像１５５として表示する。同様に、ＡＲアプリは、物体の３点の指定に応じて、３点間の領域の面積を測定することもできる。
【0208】
［効果等（６）］
実施の形態６によれば、上記例のように複数のＡＲ画像を扱うＡＲアプリの操作入力を効果的に支援することができる。ＡＲ画像が小さい場合や、細かい操作を要求される場合等にも、ＩＤ画像を用いた操作が可能である。
実施の形態６によれば、上記例のように複数のＡＲ画像を扱うＡＲアプリの操作入力を効果的に支援することができる。ＡＲ画像が小さい場合や、細かい操作を要求される場合等にも、ＩＤ画像を用いた操作が可能である。
【0209】
（実施の形態７）
図３１を用いて、本発明の実施の形態７の映像表示装置について説明する。実施の形態７では、特定のＡＲアプリにおいて、実像の物体に対し、直接的にＩＤ画像を付与、表示し、その物体の仮想的な操作を可能とする。
図３１を用いて、本発明の実施の形態７の映像表示装置について説明する。実施の形態７では、特定のＡＲアプリにおいて、実像の物体に対し、直接的にＩＤ画像を付与、表示し、その物体の仮想的な操作を可能とする。
【0210】
図３１は、実施の形態７における映像の例を示す。この実像は、室内であり、例えば椅子や台等、複数（例えば２個）の物体ＯＢ１，ＯＢ２が存在する。ＨＭＤ１は、カメラ５の画像の認識に基づいて、表示面２内の複数の物体ＯＢ１，ＯＢ２の画像領域Ｒ１，Ｒ２を区別して検出する。ＨＭＤ１は、視線領域２０内に含まれる物体画像領域を判別し、視線領域２０内に含まれている物体画像領域に、ＩＤ画像を付与し表示する。例えば、物体ＯＢ１の領域Ｒ１に対し、ＩＤ画像「１」が付与、表示されている。
【0211】
ユーザは、所望の物体に対応する所望のＩＤ画像を選択操作する。例えば、物体ＯＢ１に対応付けられたＩＤ画像「１」を選択するためのコマンドが音声入力される。ＨＭＤ１は、選択されたＩＤ画像に対応付けられる物体の物体画像領域を、選択状態とする。対応するＡＲアプリは、選択状態の物体の物体画像領域に関する所定の処理を実行する。ＡＲアプリの処理例は以下の通りである。
【0212】
第１例のＡＲアプリは、選択された物体画像領域から、その物体に関する情報を、例えばインターネットから検索して取得する。そのＡＲアプリは、その取得した情報を、表示面２内にＡＲ画像として表示する。例えば、物体が商品である場合、その商品の情報が表示できる。
【0213】
第２例のＡＲアプリは、実施の形態５と同様に、室内のレイアウトをシミュレーションするアプリの別の例である。このＡＲアプリは、選択された物体画像領域を、ユーザの所定の操作に応じて、仮想的に移動させる。所定の操作は、例えば、手指のスライドのジェスチャーでもよいし、物体の移動を指示する音声コマンドでもよい。この移動の際、プログラムは、実像の物体画像領域に対し、塗り潰し等の画像を重畳表示することで、見えないようにするか、または、移動元の物体であることがわかる表現で表示する。ＡＲアプリは、その物体画像領域を移動させながら表示する。これにより、ユーザには、仮想的に、物体が移動されたように見える。よって、ユーザは、物体の配置のシミュレーション等が可能である。
【0214】
図３１の（Ａ）は、物体ＯＢ１の仮想的な移動前の状態を示し、（Ｂ）は、物体ＯＢ１の仮想的な移動後の状態を示す。ユーザは、（Ａ）の物体ＯＢ１の物体画像領域を右に移動させている。視線領域も右に移動している。移動前の状態で、ＡＲアプリは、視線領域Ｅ７１内の物体ＯＢ１に対し、ＩＤ画像「１」を付与、表示している。ＡＲアプリは、領域Ｒ１を表す枠画像をＡＲ画像として表示してもよい。ユーザは、物体ＯＢ１に対応付けられたＩＤ画像「１」を選択操作し、所定の操作で、物体ＯＢ１を仮想的に右へ移動させる。ＨＭＤ１は、移動前の物体ＯＢ１の領域Ｒ１に対し、移動後、物体ＯＢ１が無いように見せるための塗り潰し画像ｇ１を表示する。なお、塗り潰し画像ｇ１に関しては、周囲画像を用いて、仮想的に背景に見せるための画像加工を行うと、より好ましい。ＨＭＤ１は、移動後の領域Ｒ１ｂには、物体ＯＢ１を表す画像ｇ２を表示する。画像ｇ２は、ＡＲ画像の一種であり、物体の画像領域に対応させたＡＲ画像である。ＨＭＤ１は、画像ｇ２に対し、ＩＤ画像「１」の表示を維持する。なお、移動後の領域Ｒ１ｂの画像ｇ２は、移動前の物体ＯＢ１の画像と同じとしてもよいし、画像加工処理によって物体の向きやサイズ等を調整した画像とすると、より好ましい。
【0215】
［効果等（７）］
実施の形態７によれば、実像の物体に対し、ＩＤ画像を用いて、仮想的に操作を行うことができる。
実施の形態７によれば、実像の物体に対し、ＩＤ画像を用いて、仮想的に操作を行うことができる。
【0216】
［付記］
（１） 映像表示装置は、視線領域内の生成画像の数または密度に応じて、視線領域を自動的に拡大または縮小する。
（２） 映像表示装置は、時系列上、同じ生成画像にはなるべく同じ識別情報を含むＩＤ画像を維持する。
（３） 映像表示装置は、時点毎に、視線領域内の生成画像に対し、所定の規則で識別情報を含むＩＤ画像を付与し直す。
（４） 映像表示装置は、生成画像として複数の生成画像が密集している場合に、ＩＤ画像を密集していない状態で表示する。
（５） 映像表示装置は、生成画像として複数の生成画像がグループを構成している場合に、グループの単位でＩＤ画像を付与して表示し、グループのＩＤ画像の選択操作に応じて、グループの複数の生成画像を選択する。
（１） 映像表示装置は、視線領域内の生成画像の数または密度に応じて、視線領域を自動的に拡大または縮小する。
（２） 映像表示装置は、時系列上、同じ生成画像にはなるべく同じ識別情報を含むＩＤ画像を維持する。
（３） 映像表示装置は、時点毎に、視線領域内の生成画像に対し、所定の規則で識別情報を含むＩＤ画像を付与し直す。
（４） 映像表示装置は、生成画像として複数の生成画像が密集している場合に、ＩＤ画像を密集していない状態で表示する。
（５） 映像表示装置は、生成画像として複数の生成画像がグループを構成している場合に、グループの単位でＩＤ画像を付与して表示し、グループのＩＤ画像の選択操作に応じて、グループの複数の生成画像を選択する。
【0217】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態の組合せの構成や、実施の形態の構成要素を追加、削除、置換等した構成も可能である。実施の形態の映像表示装置は、ＨＭＤに適用した場合を示したが、これに限らず、実像に対し生成画像を重畳表示する機能を有する装置であればよく、ＨＵＤ装置等にも適用可能である。実施の形態で説明したプログラム処理や情報処理については、汎用的なソフトウェアプログラム処理による実装としてもよいし、ＦＰＧＡやＡＳＩＣ等の専用のハードウェア回路等による実装としてもよい。プログラムのデータは、ディスクやメモリカード等のコンピュータ読み取り可能な記憶媒体等に記憶されてもよい。プログラムは、製品出荷時に格納されていてもよいし、通信網上のサーバやＤＢ等に格納されていてもよい。データ構造は、テーブル構造に限らず適用可能である。前述の識別情報（ＩＤ）については、識別子等の類似の表現に置換可能である。
【符号の説明】
【0218】
１…ＨＭＤ、２…表示面、３…スピーカ、４…視線検出部、５…カメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】