特許 6822473 表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6822473

(24)【登録日】2021年1月12日

(45)【発行日】2021年1月27日

(54)【発明の名称】表示装置

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20210114BHJP

   G06F 3/01 20060101ALI20210114BHJP

【ＦＩ】

   G06F3/0484 150

   G06F3/01 570

【請求項の数】7

【全頁数】71

(21)【出願番号】特願2018-525215(P2018-525215)

(86)(22)【出願日】2017年6月28日

(86)【国際出願番号】JP2017023760

(87)【国際公開番号】WO2018003860

(87)【国際公開日】20180104

【審査請求日】2018年12月28日

(31)【優先権主張番号】特願2016-128210(P2016-128210)

(32)【優先日】2016年6月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100146709

【弁理士】

【氏名又は名称】白石 直正

(72)【発明者】

【氏名】栗林 英範

【審査官】 原 秀人

(56)【参考文献】

【文献】 特開２００９−０８６３９５（ＪＰ，Ａ）

【文献】 特開２０１０−０１５５５３（ＪＰ，Ａ）

【文献】 特開２００６−２９３８７８（ＪＰ，Ａ）

【文献】 特開２０１４−０７１６７２（ＪＰ，Ａ）

【文献】 特開２０１３−０１６０６０（ＪＰ，Ａ）

【文献】 特開２０１５−０９７０４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

表示装置から所定距離離れた位置に前記表示装置で表示された第１表示像を表示する第１表示部と、
前記第１表示像とは異なる位置に第２表示装置で表示された第２表示像を表示する第２表示部と、
前記第１表示像に対する使用者の操作を検出する操作検出部と、
前記第１表示像の近傍に検出基準を設定し、前記検出基準と使用者の操作との位置関係を取得する取得部と、
前記取得部により取得された位置関係に基づいて、前記第１表示部で表示される前記第１表示像に対する前記第２表示部で表示される前記第２表示像の表示形態を異ならせる表示制御を行う制御部と、を備え、
前記第２表示装置は、前記第１表示像の表示面と並行に配置される表示装置。

【請求項2】

請求項１に記載の表示装置において、
前記制御部は、前記取得部により取得された位置関係に基づいて、前記第１表示像に対する前記第２表示像の表示位置を異ならせる表示制御を行う表示装置。

【請求項3】

請求項１に記載の表示装置において、
前記第２表示部は、前記第１表示部が表示する第１表示像の空中位置に基づいて、前記第２表示像の表示位置を異ならせる表示制御を行う表示装置。

【請求項4】

請求項１に記載の表示装置において、
前記第２表示部は、前記第１表示部が表示する第１表示像の空中位置に基づいて、前記第２表示像の表示輝度または表示濃度を異ならせる表示制御を行う表示装置。

【請求項5】

請求項１に記載の表示装置において、
前記第２表示装置で表示される前記第２表示像は、前記第１表示像の影画像である表示装置。

【請求項6】

請求項１に記載の表示装置において、
前記第２表示装置は、前記第１表示像の表示面と所定角度を持って配置される表示装置。

【請求項7】

請求項１に記載の表示装置において、
前記第２表示装置は、前記表示装置と前記第１表示像の表示面との間に配置される表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置に関する。

【背景技術】

【0002】

指とタッチパネルとの間の距離を算出する静電容量式のタッチセンサにより、空中に表示された３次元オブジェクトに対する操作を検出する電子機器が開示されている（特許文献１）。しかし、特許文献１には、３次元オブジェクト（対象）に対して行う操作を検出することは記載されているものの、オブジェクトに対する操作の際の操作性についてはまだ不十分である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】日本国特開２０１２−２０３７３７号公報

【発明の概要】

【0004】

第１の態様によれば、表示装置は、表示装置から所定距離離れた位置に前記表示装置で表示された第１表示像を表示する第１表示部と、前記第１表示像とは異なる位置に第２表示装置で表示された第２表示像を表示する第２表示部と、前記第１表示像に対する使用者の操作を検出する操作検出部と、前記第１表示像の近傍に検出基準を設定し、前記検出基準と使用者の操作との位置関係を取得する取得部と、前記取得部により取得された位置関係に基づいて、前記第１表示部で表示される前記第１表示像に対する前記第２表示部で表示される前記第２表示像の表示形態を異ならせる表示制御を行う制御部と、を備え、前記第２表示装置は、前記第１表示像の表示面と並行に配置される。

【図面の簡単な説明】

【0005】

【図1】第１の実施の形態に係る表示装置の構成を説明する図であり、（ａ）は斜視図、（ｂ）は断面図、（ｃ）は結像光学系の構成を示す断面図である。

【図2】第１の実施の形態に係る表示装置の主要部構成を説明するブロック図である。

【図3】（ａ）は第１の実施の形態において表示される空中像を模式的に示す図であり、（ｂ）、（ｃ）、（ｄ）は、操作検出器と空中像と検出基準との関係を示す断面図である。

【図4】第１の実施の形態において表示されるキャリブレーション処理用の空中像を模式的に示し、補助画像の表示位置の変更と知覚される奥行との関係を説明する図である。

【図5】第１の実施の形態におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）、（ｃ）、（ｄ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。

【図6】キャリブレーション処理の後に表示される空中像操作モードにおける空中像を模式的に示す図である。

【図7】第１の実施の形態における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。

【図8】第１の実施の形態における第２のキャリブレーション処理モードにおける空中像と検出基準と指の到達位置との位置関係を示す図である。

【図9】第１の実施の形態における第２のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。

【図10】第１の実施の形態の変形例１におけるアイコンと補助画像の表示態様との関係を模式的に示す図である。

【図11】第１の実施の形態の変形例１におけるアイコンと補助画像の表示態様との関係の別の例を模式的に示す図である。

【図12】第１の実施の形態の変形例１の別の例における表示装置の主要部構成を説明するブロック図である。

【図13】第１の実施の形態の変形例１におけるアイコンと補助画像の表示態様との関係の別の例を模式的に示す図である。

【図14】第１の実施の形態の変形例１におけるアイコンと補助画像の表示態様との関係の別の例を模式的に示す図である。

【図15】第１の実施の形態の変形例１におけるアイコンと補助画像の表示態様との関係の別の例を模式的に示す図である。

【図16】第１の実施の形態の変形例１におけるアイコンと補助画像の表示態様との関係の別の例を模式的に示す図である。

【図17】第１の実施の形態の変形例２における表示装置の主要部構成を説明するブロック図である。

【図18】第１の実施の形態の変形例２におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。

【図19】第１の実施の形態の変形例２における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。

【図20】第１の実施の形態の変形例４において第１のキャリブレーション処理モード表示される空中像を模式的に示す図である。

【図21】第１の実施の形態の変形例４におけるキャリブレーション処理を説明する図であり、（ａ）、（ｂ）は、操作検出器と空中像と検出基準と指の位置との関係を示す断面図である。

【図22】第１の実施の形態の変形例４における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。

【図23】第１の実施の形態の変形例７における表示装置の主要部構成を説明するブロック図である。

【図24】第１の実施の形態の変形例８における表示装置を説明する図であり、（ａ）は表示装置の外観斜視図であり、（ｂ）は表示装置の主要部構成を説明するブロック図である。

【図25】第１の実施の形態の変形例８に係る表示装置の内部構成を示す断面図である。

【図26】第２の実施の形態の表示装置の構成を説明する図であり、（ａ）は斜視図、（ｂ）は主要部構成を説明するブロック図である。

【図27】第２の実施の形態における空中像と枠との表示位置を模式的に示す図である。

【図28】第２の実施の形態における第１のキャリブレーション処理モードによるキャリブレーション処理を説明するフローチャートである。

【図29】第２の実施の形態の変形例１における空中像の表示位置と枠との位置関係を模式的に示す図である。

【図30】第２の実施の形態の変形例３に係る表示装置の構成を説明する図であり、（ａ）は斜視図、（ｂ）は主要部構成を説明するブロック図である。

【図31】第２の実施の形態の変形例３における空中像の表示位置と点灯中のＬＥＤとの位置関係を模式的に示す図である。

【図32】第２の実施の形態の変形例３の別の例における空中像の表示位置と点灯中のＬＥＤとの位置関係を模式的に示す図である。

【図33】（ａ）は第３の実施の形態に係る表示装置の断面図であり、（ｂ）は表示器と結像光学系との構成を説明する断面図であり、（ｃ）は第３の実施の形態に係る表示装置の主要部構成を説明するブロック図である。

【図34】（ａ）は第３の実施の形態の変形例１に係る表示装置の断面図であり、（ｂ）は第３の実施の形態の変形例１に係る表示装置の主要部構成を説明するブロック図であり、（ｃ）は第３の実施の形態の変形例１の別の例に係る表示装置の断面図である。

【図35】第３の実施の形態の変形例２に係る表示装置の断面図である。

【図36】第４の実施の形態に係る表示装置の構成を模式的に説明する図であり、（ａ）は外観斜視図、（ｂ）は内部断面図、（ｃ）は主要部構成を説明するブロック図である。

【図37】第４の実施の形態における空中像の表示例を模式的に示す図である。

【図38】第４の実施の形態の別の例における表示装置の主要部構成を説明するブロック図である。

【図39】第４の実施の形態の別の例における空中像の表示例を模式的に示す図である。

【図40】第４の実施の形態の変形例１における空中像の表示例を模式的に示す図である。

【発明を実施するための形態】

【0006】

−第１の実施の形態−
図面を参照しながら、第１の実施の形態による表示装置について説明する。第１の実施の形態においては、本実施の形態の表示装置が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置は、操作パネルに限らず、携帯電話、テレビ、タブレット端末、腕時計型端末等の携帯型情報端末装置、パーソナルコンピュータ、音楽プレイヤ、固定電話機、ウエアラブル装置等の電子機器に組み込むことが可能である。また、本実施の形態の表示装置は、デジタルサイネージ（電子看板）等の電子機器にも組み込むことができる。デジタルサイネージとしては、たとえば自動販売機等に内蔵される小型のディスプレイであっても良いし、たとえば建築物の壁面等に設けられるような一般的な成人の大きさよりも大きなディスプレイであっても良い。また、本実施の形態の表示装置は、例えば現金自動預払機（ＡＴＭ装置）においてユーザが暗証番号や金額等を入力するためのパネルや、鉄道やバスの乗車券・定期券等の自動券売機や、図書館や美術館等の各種の情報検索端末装置等のパネルに組み込むことが可能である。また、本実施の形態の表示装置は、各種のロボット（たとえば自走可能なロボットや、自走式の掃除機のような電子機器）に搭載しても良い。

【0007】

図１（ａ）は表示装置１の斜視図であり、図１（ｂ）は表示装置１の一部を拡大して示す断面図であり、図１（ｃ）は表示装置１の一部を拡大して表示する側面図である。なお、説明の都合上、表示装置１について、Ｘ軸、Ｙ軸およびＺ軸からなる座標系を図示の通りに設定する。なお、座標系はＸ軸、Ｙ軸およびＺ軸からなる直交座標系に限らず、極座標系や円筒座標系を採用してもよい。即ち、Ｘ軸は、表示装置１の矩形表示面の短辺方向に設定され、Ｙ軸は、表示装置１の矩形表示面の長辺方向に設定され、Ｚ軸は、表示面に垂直な方向に設定されている。

【0008】

表示装置１は、制御部２０を内蔵する本体１０と、結像光学系９と、表示器１１と、操作検出器１３と、ステージ１４と、プロジェクタ１５とを備える。結像光学系９と、表示器１１と、操作検出器１３と、ステージ１４と、プロジェクタ１５とは、本体１０内に配置されている。表示器１１は、たとえば、液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配列された複数の表示画素配列を有する。表示器１１は、制御部２０により制御されて、表示用画像データに対応する画像を表示する。

【0009】

図１（ｃ）に示すように、結像光学系９は、内部に複数の微細なミラー素子９０が二次元状に配置され、ＺＸ平面に対して所定の角度、たとえば４５°傾斜して配置される。結像光学系９は、表示器１１に表示される表示画像からのＹ方向＋方向への光を反射して、ステージ１４の上方空間に、表示画像の実像を空中像３０として形成する。このとき、空中像３０は、結像光学系９に関して表示器１１の表示面と対称な位置に形成される。即ち、表示器１１の表示面と結像光学系９との距離ｄと、結像光学系９と空中像３０との距離ｄが等しくなる。こうして、表示装置１の使用者（以下、ユーザ１２という）は、表示器１１の表示面に表示された表示画像を、ステージ１４の上方の空中に浮いた空中像３０として観察することができる。なお、このような結像光学系９の具体的な構成は、例えば、特開２０１６−１４７７７号公報に記載されている。また、上記で説明した結像光学系９に限らず、たとえば凸レンズであってもよい。なお、凸レンズの場合、焦点距離によっては、光軸方向に厚みをもってしまうため、フレネルレンズのような構成であってもよい。このように状況に基づいて、表示装置１に使用する結像光学系９を適宜選択してよい。
また、表示装置１は、後述する第３の実施の形態にて説明するように公知のライトフィールド方式を用いて空中像３０を表示させてもよい。

【0010】

また、表示器１１と結像光学系９との間のＹ方向の距離ｄを可変にすることにより、空中像３０が表示される位置をＺ方向に沿って移動させることができる。たとえば表示器１１と結像光学系９との間の距離を小さくすると、即ち、表示器１１を結像光学系９に近づく方向に移動すると、空中像３０はユーザ１２から遠ざかる方向（Ｚ方向−側）に移動して表示される。逆に、表示器１１と結像光学系９との間の距離を大きくすると、即ち、表示器１１を結像光学系９から遠ざかる方向に移動すると、空中像３０はユーザ１２に接近する方向（Ｚ方向＋側）に移動して表示される。表示器１１のＹ方向の移動は、不図示のモータやその他のアクチュエータなどの駆動装置により行うことができる。
なお、結像光学系９の種類によっては、上記と逆になる場合がある。すなわち、表示器１１を結像光学系９に近づく方向に移動すると、空中像３０はユーザ１２に近づく方向（Ｚ方向＋側）に移動して表示される。逆に、表示器１１と結像光学系９との間の距離を大きくすると、すなわち表示器１１を結像光学系９から遠ざかる方向に移動すると、空中像３０はユーザ１２から遠ざかって（Ｚ方向−側）に移動して表示される。したがって、結像光学系９の種類によって、適宜表示器１１を移動させる方向を変更して使用するのがよい。

【0011】

空中像３０は、表示装置１の各種設定や各種機能の実行を指示するための操作ボタンに対応する複数のアイコン３０Ａ（操作ボタン）を含む。本実施の形態にあっては、アイコン３０Ａは、例えば１行×３列に配列されている。

【0012】

操作検出器１３は、後述するステージ１４に対してＺ方向−側にＸＹ平面に平行に設けられ、たとえば、公知の透明静電容量式パネル（以下、静電容量パネルと記載）によって構成される。静電容量パネルからなる操作検出器１３は、実質的に透明な部材からなる電極によって電界を形成する。操作検出器１３は、ユーザ１２が空中像３０の表示位置を操作するために指またはスタイラスを空中像３０の方に移動させた場合に、その指またはスタイラスの位置を静電容量の値として検出する。例えば、操作検出器１３は、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて、ユーザ１２の指のＸ軸、Ｚ軸上での位置を検出する。
なお、操作検出器１３は、ステージ１４上にＺＸ平面に平行に設けても良い。

【0013】

また、操作検出器１３は、後に詳述するように自身の表面からＺ方向の所定範囲に静電容量の検出範囲を有する。操作検出器１３は、この所定の検出範囲内の指またはスタイラスと操作検出器１３との間の間隔（Ｙ軸上での位置）を、例えば、透明静電容量パネルの四隅で検出された静電容量の値を比較し、四隅で検出した静電容量の値に基づいて検出する。勿論、空中像３０は、操作検出器１３の所定の検出範囲内に位置するように、好ましくは所定の検出範囲のＺ方向の中頃に位置するように、結像光学系９によって結像される。このように、操作検出器１３は、ユーザ１２が空中像３０の表示位置を指またはスタイラスで操作することを検出するので、ユーザ１２は、操作検出器１３に直接に触れることなく、空中像３０に対する操作を実行することができる。なお、以下の説明では、指でもって空中像３０の表示位置を操作する例を説明するが、スタイラスなどにより操作する場合も同様である。

【0014】

ステージ１４は、ＺＸ平面に平行な面として設けられ、このステージ１４の上方に空中像３０が表示される。以下の説明では、ステージ１４が矩形形状であるものとするが、矩形に限定されず、円形形状や多角形形状等、種々の形状を適用できる。
プロジェクタ１５は、ステージ１４の上方（Ｙ方向＋側）に設けられ、制御部２０による制御に従って、表示素子上に形成された画像データをＹ方向−側に向けて投影することにより、ステージ１４上に投影画像を投影する。プロジェクタ１５は、空中像３０の位置に対して所定の位置に投影画像を投影する。

【0015】

図２は、表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて表示装置１の表示器１１及び操作検出器１３を含む種々の構成要素を制御したり、各種のデータ処理を実行したりする演算回路を含む。制御部２０は、画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と、プロジェクタ制御部２００とを備える。記憶部２０５は、制御プログラムを格納する不揮発性メモリと、表示器１１に表示される画像データなどを記憶する記憶媒体などとを含むものである。なお、操作検出器１３の表面から指先までの距離と、操作検出器１３がその指先を検出したときの静電容量との間の対応関係は、予め記憶部２０５に記憶させておく。従って、操作検出器１３は、指先が操作検出器１３の所定の検出範囲内に位置すると、指先における静電容量を検出し、この検出した静電容量と記憶部２０５に記憶された上記の対応関係とから、Ｚ方向における指先の位置を検出することができる。

【0016】

画像生成部２０１は、記憶媒体に記憶されている画像データに基づいて、表示器１１に表示するための表示画像に対応する表示用画像データを生成する。表示制御部２０２は、画像生成部２０１により生成された表示用画像データに対応する画像を表示器１１に表示させる。また、表示制御部２０２は、ユーザ１２が空中像３０のアイコン３０Ａの表示位置に操作を行うと、その操作されたアイコン３０Ａの種類に基づいて表示器１１の表示画像の切り替え制御を行う。なお、ユーザ１２が空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１の表示画像の切り替え制御を行うことに限られない。例えば、表示器１１は表示画像として動画像を表示し、ユーザ１２が空中像３０のアイコン３０Ａの表示位置に操作を行った場合、表示制御部２０２は表示器１１によって表示されている動画像を再生する制御、または動画像を停止する制御を行っても良い。

【0017】

キャリブレーション部２０３は、後に詳述する第１、第２のキャリブレーション処理モードのキャリブレーション処理を実行する。検出基準制御部２０４は、検出面、即ち検出基準を、ステージ１４の上方空間に設定する。具体的には、検出基準制御部２０４は、操作検出器１３の所定の検出範囲内であって空中像３０の位置（または所定範囲）に検出基準を設定する。検出基準制御部２０４は、更に、ユーザ１２の指が検出基準に達したことを操作検出器１３によって検出された静電容量の値に基づき判定する。即ち、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置（Ｘ軸、Ｙ軸、Ｚ軸の各軸での位置）が設定された検出基準の位置と一致した時に、ユーザ１２がアイコン３０Ａの表示位置を操作したと判定する。検出基準制御部２０４は、検出基準を予め定められた所定の初期位置に設定する。この検出基準の初期位置は、予め記憶部２０５に記憶されている。なお、検出基準の初期位置は、例えば、全てのユーザ１２に対して共通の位置であってもよいし、ユーザ１２による表示装置１の使用履歴などに基づき、ユーザ１２毎に異なる位置を設定してもよい。なお、検出基準制御部２０４は、後述のキャリブレーション処理の結果に基づき、検出基準の位置を変更、または修正してもよい。
また、検出基準の位置（初期位置や、変更または修正された位置）は、操作検出器１３のステージ１４の平面上（Ｘ軸、Ｙ軸上）全体に設定されていてもよいし、平面上の一部に設定されてもよい。更には、検出基準の初期位置は、前回の表示装置１の使用時に設定された検出基準を記憶部２０５に記憶しておき、それを読み出して使用してもよい。なお、検出基準制御部２０４は、操作検出器１３によって検出された静電容量の値に対応する指位置が検出基準の位置に一致した場合に限らず、指位置が検出基準の位置に略一致した場合にユーザ１２がアイコン３０Ａの表示位置を操作したと判定してもよい。この略一致したと判定する範囲は、予め設定してもよい。

【0018】

プロジェクタ制御部２００は、プロジェクタ１５を制御して、表示された空中像３０のＸ方向の位置とＺ方向の位置をユーザ１２が把握するための補助画像をステージ１４上に投影させる。この補助画像については、詳細な説明を後述する。

【0019】

図３（ａ）は、表示装置１によって表示される空中像３０の一例を示し、図３（ｂ）、（ｃ）は、本体１０または操作検出器１３と空中像３０と検出基準４０との位置関係を模式的に示す。図３（ｂ）は、空中像３０と検出基準４０との位置関係をＹＺ平面に平行な面による断面を示し、図３（ｃ）は、空中像３０と検出基準４０との位置関係をＺＸ平面に平行な面による断面を示す。

【0020】

図３（ａ）において、第１の像（第１表示像）である空中像３０は、上述のように１行×３列に配列された３個のアイコン３０Ａを含む。アイコン３０Ａはユーザ１２によって操作される空中像３０の第１部分である。アイコン３０Ａの下方（Ｙ方向−側）のステージ１４上には、プロジェクタ１５により投影された第２の像（第２表示像）である補助画像３１が投影される。空中像３０の第１部分であるアイコン３０Ａとは異なる第２部分である補助画像３１は、ユーザ１２がアイコン３０ＡのＺ方向の位置関係を知覚するための手がかりとなる画像である。なお、補助画像３１の詳細については、説明を後述する。図３（ｂ）、（ｃ）において、検出基準４０は、検出基準制御部２０４によって、空中像３０の位置近傍に、具体的には図示例では空中像３０よりも僅かにユーザ１２側（Ｚ方向＋側）の位置に設定される。図３（ｂ）では、空中像３０内のアイコンは、太い点線３０Ａで示されている。なお、アイコン３０Ａは、空中像３０の一部であるので空中像３０の位置と同一位置に位置しているが、図３（ｂ）、（ｃ）においては、アイコン３０Ａを表す太い点線を、空中像３０を表す実線と区別するために、太い点線の位置を実線位置からずらして描いている。

【0021】

図３（ｂ）、（ｃ）において、操作検出器１３は、ステージ１４の上方（Ｙ方向＋側）に静電容量の検出範囲１３Ａを有する。図３（ｂ）、（ｃ）では、操作検出器１３の前方（Ｚ方向＋側）のＺ方向に沿った静電容量の検出限界が破線１３ａで示され、この静電容量の検出限界１３ａと操作検出器１３との間隔が静電容量検出範囲１３Ａとして示されている。

【0022】

図３（ｂ）の例では、検出限界１３ａがステージ１４のＺ方向＋側の端部の上方に設定された場合を示す。すなわち、静電容量検出範囲１３Ａがステージ１４のＺ方向の長さＨｚと等しい。この場合、ＺＸ平面上におけるステージ１４と静電容量検出範囲とが一致しているので、ステージ１４の上方の空間で行われるユーザ１２の操作が操作検出器１３にて検出される。なお、ＺＸ平面上におけるステージ１４の大きさと静電容量検出範囲とが一致せず、ステージ１４よりも狭い静電容量検出範囲が設定されてもよいし、ステージ１４よりも広い静電容量検出範囲が設定されてもよい。

【0023】

空中像３０は、ステージ１４の上方に、操作検出器１３からＺ方向＋側に距離Ｈ１だけ離れた位置に形成される。検出基準４０は、ステージ１４の上方に、操作検出器１３からＺ方向＋側に距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定されている。空中像３０と検出基準４０は、静電容量の検出範囲１３Ａ内に位置するように設定されている。なお、検出基準４０は、図３（ｂ）、（ｃ）では空中像３０よりもＺ方向＋側に設定されているが、操作検出器１３の静電容量検出範囲１３Ａ内であれば、空中像３０よりもＺ方向−側でも、または空中像３０の位置に一致させてもよい。ここで、静電容量検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲を検出基準外４１とする。

【0024】

なお、検出基準制御部２０４は、上述した検出基準４０の位置を、検出範囲１３Ａ内においてＺ方向に移動させて変更してもよい。たとえば、後述するキャリブレーション処理の結果に基づいて、検出基準制御部２０４は、図３（ｂ）、（ｃ）のように設定された検出基準４０をＺ方向＋方向または−方向に移動させてよい。図３（ｂ）、（ｃ）においては、空中像３０と検出基準４０は、ＸＹ平面に平行な平面として表されているが、これらは共に平面に限定されずに、例えば共に曲面により構成されていてもよい。また、図３（ｄ）に示したように、検出基準４０は、平面ではなくアイコン３０Ａ毎に段差を持つようにしてよい。換言すると、或るアイコン３０Ａとそのアイコンに対する検出基準４０との間隔が、別のアイコン３０Ａとその別のアイコンに対する検出基準４０との間隔と異なっていてもよい。このように、検出基準４０に段差を設けることは、空中像３０が立体像であって、複数のアイコン３０Ａの位置がＺ方向に互いにずれている場合に特に有効である。例えば、立体の空中像３０の複数のアイコン３０ＡのＺ方向のずれに基づいて、各アイコン３０Ａに対応する検出基準４０のＺ方向の位置をずらすことによって、アイコン３０Ａと対応する検出基準４０との間の距離を、一定にすることもできる。また、検出基準４０は、図３（ｄ）に示す複数のアイコン３０Ａのそれぞれに設定された検出基準４０を、独立して移動させることにより検出基準４０の位置を変更してよい。すなわち、図３（ｄ）の紙面左端のアイコン３０Ａに対する操作に基づいてキャリブレーション処理が行われた場合、検出基準制御部２０４は、紙面左端のアイコン３０Ａに対応して設定された検出基準４０の位置をＺ方向に移動させてよい。このとき、検出基準制御部２０４は、他のアイコン３０Ａ（図３（ｄ）の紙面中央部および右端のアイコン３０Ａ）に対応して設定された検出基準４０のＺ方向の位置は移動させない。

【0025】

操作検出器１３は、ユーザ１２の指先が操作検出器１３から距離Ｈ２に達した時に、距離Ｈ２に対応した検出出力を出力する。検出基準制御部２０４は、操作検出器１３による検出出力に基づいて、ユーザ１２の指先が検出基準４０に一致したと判定し、指先がアイコン３０Ａの表示位置を操作したと判定する。このようにして、表示装置１は、ユーザ１２が空中像３０のアイコン３０Ａの表示位置を操作したことを検出し、その操作されたアイコン３０Ａに対応した機能を実行する。例えば、表示器１１の表示画像の切り替えなどを行う。

【0026】

アイコン３０Ａは、操作検出器１３から距離Ｈ１の位置に位置している。このアイコン３０Ａは空中像３０として表示されるので、或るユーザ１２と別のユーザ１２とでは、空中像３０のアイコン３０Ａの表示位置、即ち距離Ｈ１を、視覚的に異なって感じることがある。また、同一のユーザ１２でも、この表示装置１を操作する環境によっては、アイコン３０Ａの表示位置を異なって感じることがある。例えば、検出基準４０が空中像３０の位置に一致するように設定された場合に、或るユーザ１２が、アイコン３０Ａの表示位置への操作のために、指を空中像３０のアイコン３０Ａの方に移動したとする。そのユーザ１２は未だ指がアイコン３０Ａの手前（Ｚ方向＋側）にあると感じているのに、実際には指がアイコン３０Ａ、即ち検出基準４０に達していた場合には、ユーザ１２の意思に反してアイコン操作が実行されてしまう。逆に、別のユーザ１２が、アイコン操作のために、指を空中像３０のアイコン３０Ａの方に移動したとする。そのユーザ１２は指がアイコン３０Ａに到達してアイコン３０Ａの表示位置を操作していると思っているのに、実際には指がアイコン３０Ａ、即ち検出基準４０よりもＺ方向＋側に位置していた場合には、ユーザ１２の意思に反してアイコン操作が実行されない。いずれの場合にも、ユーザ１２は、アイコン操作に違和感を覚えることになる。

【0027】

本実施の形態の表示装置１は、上述した空中像３０に対する操作を行う空中像操作モードに加えて、上記のアイコン操作の違和感を軽減するためのキャリブレーション処理モードを備える。キャリブレーション処理モードでは、表示装置１は、空中像３０と検出基準４０との位置関係を変更することなく、ステージ１４上の補助画像３１の表示位置を変更することにより、あたかも空中像３０の表示位置がＺ方向（奥行方向）に移動したようにユーザ１２に知覚させるものである。これにより、表示装置１は、ユーザ１２によるアイコン操作の奥行方向における位置を変更させて、ユーザ１２のアイコン操作が検出基準４０の位置にて検出されるようにする。以下、キャリブレーション処理モードについて詳細な説明を行う。
なお、キャリブレーション処理モードにおいて、表示装置１は、空中像３０と検出基準４０との位置関係を変更せずに補助画像３１の表示位置を変更するものに限定されず、空中像３０と検出基準４０との位置関係を変更しつつ、補助画像３１の表示位置を変更してもよい。

【0028】

本実施の形態の表示装置１は、上述したように第１、及び第２のキャリブレーション処理モードを有する。第１のキャリブレーション処理モードは、空中像操作モードとは別に、即ち、空中像操作モードが実行されていない時にキャリブレーション処理が実行されるものである。第２のキャリブレーション処理モードは、表示装置１の起動後に空中像操作モードが実行された際にその空中像操作モードの実行中にキャリブレーション処理が実行されるものである。これらの第１〜第２のキャリブレーション処理モードは、図２に示したキャリブレーション部２０３によって実行される。

【0029】

第１〜第２のキャリブレーション処理モードのいずれを実行するかは、図示を省略した表示装置１に設けたキャリブレーション処理モード選択用の操作ボタンをユーザ１２が操作して、選択してもよい。キャリブレーション処理モード選択用の操作ボタンにより第１〜第２のキャリブレーション処理モードのいずれも選択されていない場合には、制御部２０は、空中像操作モードを選択して実行してもよい。また、表示装置１は、キャリブレーション処理モード選択用の操作ボタンを備えておらず、常時第２のキャリブレーション処置モードを行ってもよい。以下に、第１〜第２のキャリブレーション処理モードを順次説明する。なお、第１〜第２のキャリブレーション処理モードの選択は、操作ボタンの他に、空中像のアイコンを操作することにより行われてもよい。

【0030】

最初に第１のキャリブレーション処理モードを説明する。表示装置１が起動され、ユーザ１２がキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択する。ユーザ１２による操作により第１のキャリブレーション処理モードが選択されると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション処理に用いる表示画像を表示する。画像生成部２０１は、補助画像用データを生成し、この補助画像用データに基づき、プロジェクタ１５は、補助画像３１をステージ１４上に投影する。

【0031】

図４（ａ）は、このキャリブレーション処理が行われる前の初期表示の空中像３００と補助画像３１との一例を模式的に示す。空中像３００は、キャリブレーション用アイコン３００Ａを含む。画像生成部２０１は、キャリブレーション用アイコン３００Ａに、メッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」を重畳表示させる。なお、画像生成部２０１は、上述のメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」を、キャリブレーション処理の際に必ずしも表示させなくてもよい。例えば、キャリブレーション処理モードを選択したユーザ１２が、キャリブレーション処理モードにおいて何を操作するべきかを予め認識している場合などには、画像生成部２０１は上述のメッセージの表示を行わない。

【0032】

本実施の形態では、補助画像３１としてアイコン３００Ａの影を表示させる例を挙げる。すなわち、たとえばアイコン３００Ａを実際に空中に存在する物体と見なしたときに、その物体を上方（Ｙ方向＋側）から照明した場合に形成される影に相当する画像（以下、影画像と呼ぶ）が表示される場合を例に挙げる。影画像は、アイコン３００Ａの奥行き位置の手がかりとなる画像と言うことができる。すなわち、影画像は、アイコン３００Ａの奥行手がかりと見なすことができる。この場合、画像生成部２０１は、アイコン３００ＡのＺ方向の位置、すなわち操作検出器１３から距離Ｈ１の位置を中心に、アイコン３００Ａの形状に応じた影の領域（以下、影領域とよぶ）が形成された状態を表す補助画像データを生成する。たとえば角柱のような形状を有するアイコン３００Ａを表示する場合には、画像生成部２０１は矩形形状に影領域を設定する。また、たとえば円柱のような形状を有するアイコン３００Ａを表示する場合には、画像生成部２０１は円形に影領域を設定する。また、たとえば平面状のアイコン３００Ａを表示する場合には、画像生成部２０１は、線状の影領域を設定する。

【0033】

プロジェクタ１５は、プロジェクタ制御部２００により制御され、画像生成部２０１により生成された補助画像データに対応して、影領域以外の領域が明るくなるように投影光をステージ１４に向けて投影する。これにより、図４（ａ）、（ｂ）に示すように、アイコン３００Ａの下方（Ｙ方向−側）のステージ１４上に影領域に対応した影画像が補助画像３１として表示される。上述したように、補助画像データ上では、影領域は操作検出器１３から距離Ｈ１の位置にその中心位置が形成されるので、補助画像３１は、操作検出器１３からＺ方向＋側に距離Ｈ１の位置に投影される。空中像３００を視認するユーザ１２は、操作検出器１３から共に距離Ｈ１の位置に表示された空中像３００および補助画像３１の相対的な位置関係から、空中像３０のアイコン３００ＡのＺ方向における位置を認識する。これにより、ユーザ１２は、アイコン３００Ａが操作検出器１３から距離Ｈ１の位置に表示されていると視認する。すなわち、表示装置１は、第１の表示である空中像３００の奥行方向の位置、換言すると検出基準４０の位置を、第２の表示である補助画像３１の表示位置によってユーザ１２に認識させる。
なお、プロジェクタ１５の内部にプロジェクタ１５の動作を制御する制御部と、補助画像データを生成する生成部とを有しても良い。この場合、生成部は、上述した画像生成部２０１と同様にして、操作検出器１３から距離Ｈ１の位置を中心に、アイコン３００Ａの形状に応じた影領域が形成された状態を表す補助画像データを生成してもよい。また、プロジェクタ１５の動作を制御する制御部は、制御部２０のプロジェクタ制御部２００から入力した制御信号に基づいて、プロジェクタ１５の動作を制御して、補助画像３１を投影してもよい。

【0034】

図４（ｃ）、図４（ｄ）は、図４（ａ）、図４（ｂ）に示す初期表示の場合と比べて、空中像３００およびアイコン３００Ａの表示位置は変わらないが、補助画像３１の投影される位置がＺ方向−側に変更された例を示す。すなわち、画像生成部２０１が影領域をＺ方向−側に変更した補助画像データを生成し、プロジェクタ１５がこの補助画像データに基づいて、投影光を投影する領域を変更した場合を示す。空中像３００は透過性を有して表示されるため、ユーザ１２は空中像３００の位置を安定的に視認できない。すなわち、空中像３００の表示位置はＺ方向において不安定なものとしてユーザ１２に視認される。そのため、表示装置１は、空中像３００の表示位置を示すために、空中像３００の近傍に影に相当する補助画像３１を表示することにより、Ｚ方向における空中像３００の表示位置が補助画像３１の位置にあるようにユーザ１２に知覚させる。ユーザ１２は空中像３００およびアイコン３００Ａと補助画像３１との相対的位置関係から、アイコン３００ＡのＺ方向の位置が補助画像３１のＺ方向位置又はその近傍位置にあるものとして認識する。すなわち、図４（ｃ）、（ｄ）に示すように、ユーザ１２側から見て、補助画像３１を、空中像３００およびアイコン３００Ａの表示位置よりも遠方に投影すると、ユーザ１２は、図４（ｃ）に示すアイコン３００Ａを、初期表示の状態よりもＺ方向−側に位置するものとして認識する。

【0035】

図４（ｅ）、図４（ｆ）は、初期表示の場合と比べて、空中像３００およびアイコン３００Ａの表示位置は変わらないが、補助画像３１の投影される位置がＺ方向＋側に変更された例を示す。すなわち、画像生成部２０１が影領域をＺ方向＋側に変更した補助画像データを生成し、プロジェクタ１５がこの補助画像データに基づいて、投影光を投影する領域を変更した場合を示す。この場合も、ユーザ１２は空中像３００およびアイコン３００Ａと補助画像３１との相対的位置関係から、アイコン３００ＡのＺ方向の位置が補助画像３１のＺ方向位置又はその近傍位置にあるものとして認識する。すなわち、図４（ｅ）、（ｆ）に示すように、ユーザ１２側から見て、補助画像３１を、空中像３００およびアイコン３００Ａの表示位置よりも前方に投影すると、ユーザ１２は、図４（ｅ）に示すアイコン３００Ａを、初期表示の状態よりもＺ方向＋側に位置するものとして認識する。
なお、以上の説明では、プロジェクタ１５が影領域の位置が変更された補助画像データを投影することにより補助画像３１のステージ１４上でのＺ方向の位置を移動させる例を挙げたが、これに限定されない。たとえば、プロジェクタ１５は、Ｚ方向に沿って移動可能に配置され、プロジェクタ１５の表示画素上では、予め低輝度の投影光を投影するための領域と高輝度の投影光を投影するための領域が定められている。プロジェクタ１５が、後述するようにして算出された補助画像３１の移動量に従ってＺ方向に移動することにより、補助画像３１の位置を移動してもよい。なお、上記の低輝度は、輝度がゼロ、すなわち真っ暗な場合も含む。

【0036】

図５を参照して、キャリブレーション処理時の空中像３００に対するユーザ１２の指の位置と、補助画像３１の表示とについて説明を行う。図５（ａ）は、操作検出器１３と空中像３００と検出基準４０と指Ｆの位置との関係を模式的に示す断面図である。
検出基準制御部２０４は、図５（ａ）に示すように、検出基準４０を空中像３００の近傍位置、例えば、空中像３００よりも僅かにＺ方向＋側の位置に設定する。勿論、検出基準制御部２０４は、検出基準４０を、空中像３００に一致させてもよいし、空中像３００よりも僅かにＺ方向−側の位置に設定してもよい。この場合、表示制御部２０２は、たとえば図４（ａ）に示す空中像３００を表示させる。

【0037】

図５（ａ）において、ユーザ１２が、空中像３００のアイコン３００Ａに重畳表示されたメッセージに従いアイコン３００Ａの表示位置を操作するために、指先Ｆをアイコン３００Ａの方に移動する。指先ＦがＺ方向−側に移動して、図２の操作検出器１３の静電容量の検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ａへのユーザ１２の指先Ｆの接近移動、即ちＺ方向−側への移動を静電容量の変化として検出する。このとき、制御部２０は、検出基準外４１で操作検出器１３によって検出されたユーザ操作が行われている位置を取得する。

【0038】

図５（ｂ）は、指先ＦがＺ方向−側へ移動して検出基準４０よりも僅かにＺ方向＋側の点線位置５０に達した場合を示す。このとき、ユーザ１２は、指先Ｆがアイコン３００Ａの表示位置に到達してアイコン３００Ａを押下する操作を実行したと感じて、指先Ｆを所定距離だけＺ方向＋側に移動させたものとする。操作検出器１３は、指先Ｆの上記のＺ方向−側への移動、即ち押し込みとそれに引き続く所定距離の戻し移動とを、静電容量の変化として検出する。検出基準制御部２０４は、操作検出器１３が指先Ｆの上記の押し込みとそれに引き続く所定距離の戻し移動とを検出すると、アイコン３００Ａの表示位置に操作が行われたと判定する。なお、ユーザ１２の指先Ｆがアイコン３００Ａの表示位置への操作のために押し込みを行った後に所定距離の戻し移動をした場合に、検出基準制御部２０４は、最も押し込まれた位置を到達位置とする。即ち、点線位置５０を到達位置と称する。

【0039】

到達位置５０が、図５（ｂ）に示すように検出基準４０に対してユーザ１２側（Ｚ方向＋側）に位置する場合、操作検出器１３は、検出基準４０でユーザ１２の指先Ｆを検出することができない。この場合、ユーザ１２の指先Ｆが検出基準４０で検出されるためには、図５（ｂ）に示す場合と比較して、到達位置５０が空中像３００側、すなわちＺ方向−側に近づく必要がある。本実施の形態では、補助画像３１の表示を変更することにより、到達位置５０であるユーザ１２の指先Ｆを図５（ｂ）に示す場合よりもＺ方向−側に移動させるように導くものである。すなわち、ユーザ１２に、図５（ｂ）にて二点鎖線に示す位置に空中像３００’とアイコン３００Ａ’とが位置していると知覚させるために、ステージ１４上に破線で示す補助画像３１’を表示させて、ユーザ１２の指先Ｆを図示する位置よりもＺ方向−側に移動させる。画像生成部２０１は、図４（ａ）に示すように表示されたアイコン３００Ａの下方に投影された補助画像３１の投影位置を、図４（ｃ）に示す投影位置に変更する。画像生成部２０１は、影領域をＺ方向−側へ移動した補助画像データを生成し、この補助画像データに基づいてプロジェクタ１５は投影光を投影する領域を変更する。すなわち、画像生成部２０１は、ユーザ１２による操作が検出された位置と検出基準４０との位置関係に基づいて、補助画像３１の移動する方向を制御する。換言すると、画像生成部２０１は、操作検出器１３により取得された位置関係に基づいて、第１表示像であるアイコン３００に対する第２表示像である補助画像３１の表示態様を異ならせる表示制御を行う。
このようにして、画像生成部２０１は、ユーザ１２がアイコン３００Ａを押下する操作に基づく方向にアイコン３００Ａの表示位置が変更したとユーザ１２に知覚されるように、補助画像３１の投影位置を変更する。なお、ユーザ１２が押下する操作は厳密にＺ方向に沿った方向に移動した場合に限られない。ユーザ１２が押下する操作がＺ軸に対して傾きを有して行われた場合であっても、すなわちユーザの押下する操作の移動方向にＺ方向成分が含まれている場合に、制御部２０はユーザ１２によって押下する操作が行われたと判断してもよい。そして、画像生成部２０１は、アイコン３００Ａの表示位置が押下する操作に基づく方向であるＺ方向に変更したとユーザに知覚されるように、補助画像３１の表示位置を変更してもよい。
なお、画像生成部２０１は、ユーザ１２の押下する操作に基づいて、押下する操作に基づく方向である、ユーザ１２による押下する操作と同じ方向にアイコン３００Ａの表示位置が変更したとユーザ１２に知覚されるように、補助画像３１の投影位置を変更してもよい。

【0040】

画像生成部２０１は、影領域の移動量を、検出基準４０と到達位置５０との間のずれ量、すなわちＺ方向の距離に基づいて決定する。この場合、検出基準４０と到達位置５０との間の距離と、影領域の移動量とが予め試験等の結果に基づいて決定され、関連付けされた関連データとして記憶部２０５に記憶されている。画像生成部２０１は、この関連データを参照して影領域の移動量を決定する。決定された影領域の移動量は記憶部２０５に記憶される。
なお、上述した影領域の移動量は、到達位置５０と検出基準４０との距離の増減に基づいて、増減するように決定される。影領域の移動とは、到達位置５０と検出基準４０との距離の増減に基づいて線形的に増減するように決定されてもよいし、到達位置５０と検出基準４０との距離が所定量の増減をするごとに段階的に増減するように決定されてもよい。また、到達位置５０と検出基準４０との距離に関わらず、影領域の移動とが所定の固定値だけ変更するように決定されてもよい。この場合、所定量はユーザ１２により設定可能に構成されてもよい。

【0041】

上記のようにして補助画像３１のステージ１４上での投影位置が図４（ｃ）に示すように変更されると、ユーザ１２は、アイコン３００ＡがあたかもＺ方向−側、すなわちユーザ１２から離れる方向に移動したように知覚する。すなわち、ユーザ１２は、空中像３００とアイコン３００Ａとは実際にＺ方向には移動していないにもかかわらず、図５（ｂ）の二点鎖線で示す位置に移動したように知覚する。ユーザ１２は、自身から更に離れた位置にアイコン３００Ａが表示されたように知覚しているので、アイコン３００Ａに対して操作を行う際に、ユーザ１２により指先Ｆを更にＺ方向−側に位置させる操作が行われることが期待される。これにより、ユーザ１２の指先Ｆの到達位置５０が図５（ｂ）に示す場合よりもＺ方向−側に位置することになり、図５（ｃ）に示すように到達位置５０が検出基準４０に位置する。したがって、操作検出器１３は検出基準４０でユーザ１２の指先Ｆを検出可能となり、制御部２０は、検出基準４０で検出されたユーザ操作の位置を取得できる。

【0042】

以上では、指の到達位置５０が検出基準４０よりも手前（Ｚ方向＋側）に位置することにより、ユーザ操作が検出基準４０で検出されない場合を説明した。到達位置５０が検出基準４０よりも奥側（Ｚ方向−側）に位置することにより、ユーザ操作が検出基準４０で検出されない場合も、検出基準制御部２０４は上述と同様に到達位置５０を判定し、その到達位置５０に基づき画像生成部２０１は影領域の位置を変更する。この場合、図５（ｄ）に到達位置５０と検出基準４０との位置関係を示す。この場合、ユーザ１２の指先Ｆが検出基準４０で検出されるためには、図５（ｄ）に示す場合と比較して、到達位置５０がユーザ１２側、すなわちＺ方向＋側に位置する必要がある。すなわち、ユーザに、図５（ｄ）にて二点鎖線に示す位置に空中像３００’とアイコン３００Ａ’とが位置していると知覚させるために、ステージ１４上に破線で示す補助画像３１’を表示させて、ユーザの指先Ｆを図示する位置よりもＺ方向＋側に移動させる。画像生成部２０１は、図４（ａ）に示すように投影された補助画像３１の投影位置を、図４（ｅ）に示す補助画像３１の投影位置となるように変更する。画像生成部２０１は、影領域の位置をＺ方向＋側へ移動した補助画像データを生成し、この補助画像データに基づいてプロジェクタ１５は投影光を投影する領域を変更する。すなわち、画像生成部２０１は、ユーザ１２による操作が検出された位置と検出基準４０との位置関係に基づいて、補助画像３１の移動する方向を制御する。

【0043】

この場合も、画像生成部２０１は、影領域の移動量を、検出基準４０と到達位置５０との間のずれ量、すなわちＺ方向の距離に基づいて決定する。決定された影領域の移動量は記憶部２０５に記憶される。図４（ｅ）に示すように補助画像３１の投影位置が変更されることによって、表示装置１は、アイコン３００ＡがあたかもＺ方向＋側、すなわちユーザ１２に接近する方向に移動したようにユーザ１２に知覚させる。ユーザ１２は、自身から更に接近した位置にアイコン３００Ａが表示されたように知覚しているので、アイコン３００Ａに対して操作を行う際に、ユーザ１２により指先Ｆを更にＺ方向＋側に位置させる操作が行われることが期待される。これにより、ユーザ１２の指先Ｆの到達位置５０が図５（ｄ）に示す場合よりもＺ方向＋側に位置することになり、図５（ｃ）に示すように、到達位置５０が検出基準４０に位置するようになる。したがって、操作検出器１３は検出基準４０でユーザ１２の指先Ｆを検出可能となる。

【0044】

このようにして、画像生成部２０１は、ユーザ１２がアイコン３００Ａを押下する操作に基づく方向とは反対の方向にアイコン３００Ａの表示位置が変更したとユーザ１２に知覚されるように、補助画像３１の投影位置を変更する。なお、ユーザ１２が押下する操作が厳密にＺ方向に沿った方向に移動した場合に限られない。ユーザ１２が押下する操作がＺ軸に対して傾きを有して行われた場合であっても、すなわちユーザ１２の押下する操作の移動方向にＺ方向成分が含まれている場合に、制御部２０はユーザによって押下する操作が行われたと判断する。そして、画像生成部２０１は、アイコン３００Ａの表示位置が押下する操作に基づく方向であるＺ方向に変更されたとユーザ１２によって知覚されるように、補助画像３１の投影位置を変更してよい。
なお、画像生成部２０１は、ユーザ１２の押下する操作に基づいて、押下する操作に基づく方向である、ユーザ１２による押下する操作とは反対の方向にアイコン３００Ａの表示位置が変更したとユーザ１２に知覚されるように、補助画像３１の投影位置を変更してよい。
なお、到達位置５０が検出基準４０に一致する場合にも検出基準制御部２０４は上述と同様に到達位置５０を判定する。しかし、到達位置５０が検出基準４０に一致しているので、画像生成部２０１は、ユーザ１２がアイコン３００Ａの奥行位置が変更したと知覚するような、影領域の投影位置の変更を行わない。

【0045】

また、到達位置５０が検出基準４０よりも奥側（Ｚ方向−側）に位置する場合には、指先Ｆは、到達位置５０に到達する前に、検出基準４０を通過する。検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が検出基準４０に達したことを判定する。しかし、第１のキャリブレーション処理モードでは、画像生成部２０１は表示器１１の表示の切り替えを行わない。到達位置５０が検出基準４０に一致する場合も同様に、画像生成部２０１は表示器１１の表示の切り替えを行わない。勿論、指先Ｆが検出基準４０に達した時に、例えば、画像生成部２０１は、アイコン３００Ａを点滅させるなどのハイライト表示をして、指先Ｆが検出基準４０に到達したことをユーザ１２に告知してもよい。

【0046】

以上の説明では、アイコン３００Ａの表示位置への操作の例としてユーザ１２によるアイコン３００Ａを押し込む操作を例に挙げたがこれに限られない。ユーザ１２によるアイコン３００Ａに対する所定の非接触操作が操作検出器１３によって検出された場合、所定の非接触操作が行われた場所、すなわち操作検出器１３によって所定の非接触操作が検出された位置に基づいて、画像生成部２０１は影領域の位置を変更してもよい。所定の非接触操作とは、例えば、アイコン３００Ａをタッチするようなジェスチャー操作である。アイコン３００Ａをタッチするような操作を行った位置に基づいて、画像生成部２０１は影領域の位置を変更してもよい。タッチするような操作とは、例えば、アイコン３００Ａをユーザ１２の手で振り払うようなジェスチャーなどが挙げられる。また、タッチするような操作を行った位置として、ユーザ１２の手で振り払うようなジェスチャーが終了し、ユーザ１２の手が停止したと判定された位置やユーザ１２の手で振り払うようなジェスチャーが開始された位置に基づいて決定してもよい。
また、所定の非接触操作として、ユーザ１２が指Ｆを距離Ｌ１だけＺ方向−側（奥側）へ移動した後にＵターンして、距離Ｌ１だけＺ方向＋側（手前側）に移動する操作である。即ち、この所定の非接触操作は、奥側への移動距離と手前側への移動距離とが等しいＵターン軌跡である。また、この所定の非接触操作は、Ｕターン、即ちＵ字の軌跡ではなく、Ｖ字の軌跡を描くものでも良く、また、指Ｆが距離Ｌ１だけ奥側へ移動した後にその奥側への移動軌跡に沿って距離Ｌ１だけ手前側に移動する操作であってもよい。更には、この所定の非接触操作は、奥側への移動距離Ｌ１と手前側への移動距離Ｌ１とが等しくなく異なっていても良い。すなわち、所定の非接触操作とは、指の奥側への移動に引き続き指の手前側への移動がなされる操作であれば良い。
また、所定の非接触操作として、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後、所定時間指Ｆを停止する操作でもよいし、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後、指Ｆを横方向に少なくとも所定距離Ｌ２移動させる操作でもよい。
所定の非接触操作は、上述した種々の指Ｆの移動軌跡で表されるものに限られず、その移動軌跡（指Ｆや手の移動軌跡）が操作検出器１３で検出できるものであれば、その他の移動軌跡を描くものであってよい。なお、操作検出器１３によって所定の非接触操作が検出された位置は、それぞれの操作によって適宜設定してもよい。たとえば、上記した所定の非接触操作として、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後にＵターンして、距離Ｌ１だけ手前側に移動する操作の場合、Ｕターンを行った最もＺ方向−側の位置を非接触操作が検出された位置としてもよい。この所定の非接触操作が検出された位置の別の例としては、距離Ｌ１の半分の位置を非接触操作が検出された位置としてよい。

【0047】

なお、検出基準制御部２０４が到達位置５０を判定する方法は、上述の押し込み移動から所定距離の戻し移動への変化に基づき判定する方法に限られず、以下に述べるようにその他の種々の方法によっても、判定することができる。例えば、ユーザ１２は、指先Ｆがアイコン３００Ａの表示位置に到達してアイコン３００Ａへの押し込み操作を実行したと感じて、指のＺ方向−側への移動、即ち押し込みを停止する。検出基準制御部２０４は、操作検出器１３が検出する静電容量の値が殆ど変化しなくなったことをもって、指の押し込みの停止を判定し、この押し込みの停止位置を到達位置５０と判定、即ち決定する。なお、Ｚ方向−側への移動の停止は、操作検出器１３が検出する静電容量の値が短時間、例えば０．１秒〜１秒程度の間、変化しないことをもって、判定される。更に別の方法としては、検出基準制御部２０４は、ユーザ１２の指の移動の速度ベクトル、即ち、指の移動速度と移動方向とを、静電容量の変化から検出する。検出基準制御部２０４は、静電容量の変化から、指の速度ベクトルの向きがＺ軸−方向からＺ軸＋方向に変化したこと及びＺ軸＋方向の速度ベクトルが所定の大きさになったことに基づき、Ｚ軸＋方向の所定の大きさの速度ベクトルを検出した時の指の位置を到達位置５０と判定してもよい。この方法の場合には、上記の速度ベクトルの所定の大きさを略ゼロに設定すると、速度ベクトルの向きがＺ軸−方向からＺ軸＋方向に変化する時点の指の位置、即ち最も指が押し込まれた位置が到達位置として判定される。所定の大きさをゼロ以外の値に設定すると、指が上述の最も押し込まれた位置から所定距離だけ戻された位置が、到達位置５０として判定される。以上のように、到達位置５０は、検出基準制御部２０４によって指がアイコンの表示位置を操作したと判定された時の指先Ｆの最も押し込まれた位置またはその近傍の位置に決定される。

【0048】

また、上述の例では、検出基準制御部２０４は、指やスタイラスのうち、空中像３００のアイコン３００Ａに接触する部分、即ち指先部分の位置やスタイラスの端部の位置を基準として、到達位置を決定した。その代わりに、検出基準制御部２０４は、ユーザ１２の指の爪先の位置や、指の第１関節の位置を基準にして到達位置を決定してもよい。更には、検出基準制御部２０４は、ユーザ１２の指に限らず、ユーザ１２の足や肘などでアイコンを操作する場合には、足や肘などを基準にして到達位置を決定してもよい。スタイラスを使用する場合には、スタイラスの所定の位置にマークを付け、検出基準制御部２０４は、そのマークの位置を基準に到達位置を決定してもよい。なお、指の第１関節やスタイラスのマークなどを使用して到達位置を決定する場合には、操作検出器１３として、静電容量式パネルを用いる代わりに、後述の第１の実施の形態の変形例８において説明する撮像装置などを使用することが望ましい。

【0049】

また、上述した説明では、検出基準４０を単一の平面または段差を有する平面としたが、これに限定されず、検出基準４０が前面（Ｚ方向＋側）と後面（Ｚ方向−側）とに挟まれた所定の厚みを持った領域であってもよい。この場合、検出基準４０は、後面が空中像３０よりも手前（Ｚ方向＋側）に設定されてもよいし、前面が空中像３０よりも奥（Ｚ方向−側）に設定されてもよいし、前面と後面との間に空中像３０が位置するように設定されてもよい。このため、検出基準制御部２０４は、より確実に表示位置への操作を判定することができる。例えば、指が、たまたまアイコン３０Ａに対してＺ軸にほぼ沿って移動されずに、斜め方向から移動された場合を仮定する。この場合、検出基準４０が図３に示したように平面であると、アイコン３０Ａの位置に対応した部分の検出基準４０を通過せず、その横の部分を通過してしまい、検出基準制御部２０４が指のアイコン３０Ａの表示位置への操作を判定することができないことが起こり得る。しかし、検出基準４０が所定の厚さを有しているので、指が斜め方向から移動された場合にも、検出基準制御部２０４は、指が検出基準４０に入ったことを確実に検出することができる。更には、指が空中像３０に並行に移動して、アイコン３０Ａの表示位置を操作した場合にも、検出基準４０が所定の厚さを有しているので、検出基準制御部２０４は、指が検出基準４０内に入ったことを確実に検出することができる。

【0050】

なお、上述したように、検出基準４０が厚みを有する場合には、検出基準４０の内部で上述した所定の非接触操作が行われない場合には、検出基準制御部２０４は、所定の非接触操作が行われていないと判定する。たとえば、所定の非接触操作が、ユーザ１２が指Ｆを距離Ｌ１だけ奥側へ移動した後にＵターンして、距離Ｌ１だけ手前側に移動する操作であるとする。このとき、ユーザ１２が検出基準４０内で指Ｆを距離Ｌ１だけ奥側へ移動した後、指Ｆを手前側に距離Ｌ１になるまで移動させなかったとする。この場合には、検出基準制御部２０４は、ユーザ１２により所定の非接触操作が行われていないと判定する。

【0051】

以上のようにして第１のキャリブレーション処理モードが行われると、そのキャリブレーション処理の結果に基づいて、図３（ａ）に示す空中像操作モードにおける補助画像３１の表示位置が変更される。
図６に、上述した第１のキャリブレーション処理モードによるキャリブレーション処理の結果が反映された空中像操作モードにおける空中像３０と補助画像３１とを示す。図６（ａ）は、図３（ａ）と同様に、初期表示の空中像３０と補助画像３１とを示す。図６（ａ）では、１行×３列に配列されたアイコン３０Ａに対して、紙面に向かって左側から符号３０Ａａ、３０Ａｂ、３０Ａｃを付与する。また、アイコン３０Ａａ、３０Ａｂ、３０Ａｃのそれぞれに対応する補助画像３１に対して、符号３１ａ、３１ｂ、３１ｃを付与する。

【0052】

図６（ｂ）は、到達位置５０が検出基準４０の手前に位置した場合（図５（ｂ）参照）に行われたキャリブレーション処理の結果が反映された空中像３０と補助画像３１とを示す。すなわち、図６（ｂ）は、アイコン３０Ａがあたかもユーザ１２から離れる方向に移動したように知覚されるように、補助画像３１ａ〜３１ｃの表示位置がＺ方向−側に変更された場合を示す。これにより、ユーザ１２は、第１のキャリブレーション処理モードのときよりもＺ方向−側に到達位置５０が位置するように操作を行うことが期待される。

【0053】

図６（ｃ）は、到達位置５０が検出基準４０の奥側に位置した場合（図５（ｄ）参照）に行われたキャリブレーション処理の結果が反映された空中像３０と補助画像３１とを示す。すなわち、図６（ｃ）は、アイコン３０Ａがあたかもユーザ１２に接近する方向に移動したように知覚されるように、補助画像３１ａ〜３１ｃの表示位置が変更された場合を示す。これにより、ユーザ１２は、第１のキャリブレーション処理モードのときよりもＺ方向＋側に到達位置５０が位置するように操作を行うことが期待される。
以上のようにして、第１キャリブレーション処理モードにて検出されたユーザ１２の操作位置と検出基準４０との間の距離に基づいて、空中像操作モードにおいてアイコン３０Ａの下方に投影される位置が変更された補助画像３１が投影される。すなわち、表示装置１は、空中像３０の表示位置、すなわち検出基準４０と補助画像３１との位置関係を、補助画像３１の位置を制御することにより変更する。
なお、図６に示す例では、画像生成部２０１は、複数のアイコン３０Ａａ、３０Ａｂ、３０Ａｃの全てに対して、キャリブレーション処理の結果に基づいて、その補助画像３１ａ、３１ｂ、３１ｃの表示位置を変更したが、これに限定されない。画像生成部２０１は、複数のアイコン３０Ａａ〜３０Ａｃに対応する補助画像３１ａ〜３１ｃのうちの少なくとも１つの補助画像３１の表示位置を変更してもよい。または、画像生成部２０１は、各アイコン３０Ａａ、３０Ａｂ、３０Ａｃのそれぞれに対して、個別にキャリブレーション処理の結果を反映させて補助画像３１ａ、３１ｂ、３１ｃの表示位置を変更してもよい。

【0054】

上記説明の第１のキャリブレーション処理モードと空中像操作モードとの関係について、図７に示すフローチャートを参照して説明する。図７のフローチャートに示す各処理は、表示装置１が起動された後、制御部２０によってプログラムを実行して行われる。このプログラムは、記憶部２０５に記憶されている。
ステップＳ１において、ユーザ１２によりキャリブレーション処理モード選択用の操作ボタンによって第１のキャリブレーション処理モードが選択されていることを認識すると、ステップＳ２に進む。ステップＳ２において、図２に示したキャリブレーション部２０３が第１のキャリブレーション処理モードを開始して、ステップＳ３に進む。ステップＳ３では、画像生成部２０１がキャリブレーション用の表示用画像データを生成し、表示制御部２０２は、表示用画像データに基づくキャリブレーション用の画像を表示器１１に表示させると共に、検出基準制御部２０４は、検出基準４０を所定の初期位置に設定する。同時に、画像生成部２０１が補助画像３１用の画像データを生成し、プロジェクタ１５が図４（ａ）に示したように、補助画像３１をその第１範囲３１１がアイコン３００Ａの下に位置するように、投影領域１４０に投影する。表示器１１の表示画像は、結像光学系９によって生成される図４（ａ）に示すキャリブレーション用の空中像３００である。また、空中像３００は、アイコン３００Ａとメッセージ「キャリブレーションを行います。このアイコンにタッチして下さい」を含む。ステップＳ４において、操作検出器１３は、ユーザ１２の指先ＦのＺ方向−側への移動を検出し、ステップＳ５に進む。

【0055】

ステップＳ５において、図２に示された検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指が到達位置５０に達したか否かを判定する。ステップＳ５において肯定判定された場合、即ち、指が到達位置５０に達したと判定された場合、ステップＳ６に進む。ステップＳ５において否定判定された場合、即ち、指は停止していないと判定された場合、肯定判定されるまで待機する。ステップＳ６において、画像生成部２０１は、到達位置５０と検出基準４０との間の距離に基づき、影領域の位置を変更して補助画像データを生成する。また、画像生成部２０１は、このときの影領域の移動量を示すデータを図２に示した記憶部２０５に記憶して、ステップＳ７に進む。

【0056】

ステップＳ７において、第１のキャリブレーション処理モードを終了して、ステップＳ８に進む。ステップＳ８では、空中像操作モードを開始し、ステップＳ９に進む。ステップＳ９において、図８に示された空中像操作モード用のアイコン３０Ａを含む空中像３０が表示される。このとき、画像生成部２０１は、ステップＳ６において記憶部２０５に記憶した影領域の移動量を示すデータを記憶部２０５から読み出す。画像生成部２０１は、読み出したデータに基づき空中像操作モード用の補助画像データを生成し、プロジェクタ１５は、補助画像データに基づいて補助画像３１をステージ１４上に投影する。このようにして、この空中像操作モードでは、第１のキャリブレーション処理モードにおいて、ユーザ１２の操作特性に適したアイコン３０Ａと補助画像３１との位置関係が設定された状態で空中像３０が表示される。

【0057】

ユーザ１２がアイコン３０Ａの表示位置を操作するために、指を空中像３０に向けてＺ方向に移動させると、ステップＳ１０において、図２に示した操作検出器１３がユーザ１２の指の奥行方向への移動を検出し、ステップＳ１１に進む。ステップＳ１１において、検出基準制御部２０４が、操作検出器１３の検出出力に基づき指が検出基準４０に達したかどうか判定する。ステップＳ１１において肯定判定された場合、即ち、指が検出基準４０に達したと判定された場合、ステップＳ１２に進む。ステップＳ１１において否定判定された場合、即ち、指が検出基準４０に達していないと判定された場合、肯定判定されるまで待機する。ステップＳ１２において、表示制御部２０２は表示器１１の表示画像を、操作されたアイコン３０Ａに応じた表示画像に切り替え、ステップＳ１３に進む。ステップＳ１３において、表示装置１の停止操作が行われたかどうか判定する。ステップＳ１３において、肯定判定された場合、即ち、表示装置１の停止操作が行われた場合、表示装置１は停止する。ステップＳ１３において否定判定された場合、ステップＳ１０に戻る。

【0058】

以上の説明では、第１のキャリブレーション処理モードは、表示装置１が起動された後、空中像操作モードに先立って、実行されるものであったが、第１のキャリブレーション処理モードは、空中像操作モードの後に実行することもできる。例えば、ユーザ１２は、空中像操作モードの実行中に、例えばアイコン３０Ａの表示位置への操作に違和感を覚えたときに、表示装置１のキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択する。この場合には、第１のキャリブレーション処理モードは、実行中の空中像操作モードを中断して、実行され、この第１のキャリブレーション処理モードの終了後に、空中像操作モードが再開される。なお、上述したユーザ１２による操作ボタンの操作に従って表示装置１が第１のキャリブレーション処理モードを選択するものに代えて、キャリブレーション部２０３は、アイコン３０Ａの表示位置への操作に対する違和感からユーザ１２が不快感を抱いている様子を検出したときに、第１のキャリブレーション処理モードを実行しても良い。表示装置１は、たとえばユーザ１２の脈拍数（生体情報）を検出し、検出した脈拍数が所定値を超える場合に、ユーザ１２が不快感を抱いている様子を検出することができる。

【0059】

次に、第２のキャリブレーション処理モードを図８及び図９を参照して説明する。なお、以下で説明する第２のキャリブレーション処理モードについては、上述の第１のキャリブレーション処理モードで説明した処理を適宜適用してよい。
図８は空中像操作モード用の空中像３０と検出基準４０と指先Ｆの到達位置５０とを示した図である。図９は、第２のキャリブレーション処理モードの動作を表したフローチャートである。図９のフローチャートに示す各処理は、表示装置１の起動後、制御部２０によってプログラムを実行して行われる。

【0060】

ステップＳ２１において、第２のキャリブレーション処理モードが選択されていることを認識し、ステップＳ２２に進む。ステップＳ２２において、空中像操作モードと第２のキャリブレーション処理モードとが共に開始され、ステップＳ２３に進む。ステップＳ２３において、図３に示されたアイコン３０Ａを含む空中像３０が表示されると共に、図２に示した検出基準制御部２０４が、検出基準４０を予め定められた初期位置、例えば、空中像３０の位置または空中像３０の位置よりも僅かにＺ方向＋側の位置に設定し、ステップＳ２４に進む。このとき、プロジェクタ１５は、アイコン３０Ａの初期位置に応じた位置、すなわち操作検出器１３からＺ方向＋側に距離Ｈ１の位置に補助画像３１を投影する。この時、空中像３０には、メッセージ「アイコンの操作中にキャリブレーションが行われます」が短時間だけ表示される。なお、このメッセージは表示されなくてもよい。

【0061】

ステップＳ２４において、ユーザ１２がアイコン３０Ａの表示位置への操作のために、指をＺ方向−側に移動させると、操作検出器１３が指の移動の検出を開始し、ステップＳ２５に進む。ステップＳ２５において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指がＺ方向−側への移動中に検出基準４０を通過したかを判定する。ステップＳ２５において肯定判断された場合、即ち、指がＺ方向−側へ移動中に検出基準４０を通過して、更にＺ方向−側へ移動した場合、ステップＳ２６に進む。図８の指Ｆ１は、Ｚ方向−側への移動中に検出基準４０を通過した指を示す。ステップＳ２６では、検出基準制御部２０４は指Ｆ１が検出基準４０に達したこと、即ち検出基準４０を通過したことを判定して、アイコン表示の切り替えを行い、即ち、空中像３０が操作されたアイコン３０Ａに基づいて替わり、ステップＳ２７に進む。ステップＳ２７では、検出基準制御部２０４は、指Ｆ１が到達位置５０に達したかを判定し、肯定判定の場合にはステップＳ２８に進み、否定判定の場合には、肯定判定されるまで維持する。ステップＳ２８では、画像生成部２０１は、到達位置５０と検出基準４０との間の距離に基づき、影領域の位置を変更してステップＳ３３へ進む。具体的には、画像生成部２０１は、図４（ｄ）に示すように影領域に対応する補助画像３１がＺ方向＋側（ユーザ１２側）に位置するように、影領域の位置を変更した補助画像データを生成する。プロジェクタ１５は、生成された補助画像データに基づいて補助画像３１をステージ１４上に投影する。
なお、ステップＳ２８においては、検出基準制御部２０４が到達位置５０と検出基準４０と位置関係を比較して、到達位置５０が検出基準４０から所定の範囲よりもＺ方向−側に位置しないことを検出した場合、画像生成部２０１は補助画像３１の投影位置を変更しなくてもよい。または、画像生成部２０１は、補助画像３１の投影位置の変更量（補助画像３１の移動量）をゼロに設定してもよい（すなわち、実質的に補助画像３１の投影位置を変更しない）。

【0062】

前述のステップＳ２５で否定判定された場合、即ち、指がＺ方向−側へ移動中に検出基準４０を通過していない場合には、ステップＳ２９に進む。ステップＳ２９では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指先Ｆが到達位置５０に達しているかを判定し、肯定判定の場合にはステップＳ３０に進む。否定判定の場合には、肯定判定されるまで維持する。図８の指Ｆ２は、到達位置５０が検出基準４０に一致したことを示している。ステップＳ３０では、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、到達位置５０が検出基準４０に一致するかを判定し、肯定判定の場合にステップＳ３１に進み、否定判定の場合にステップＳ３２に進む。ステップＳ３１では、到達位置５０が検出基準４０に一致しているので、アイコン表示の切り替えを行うが、影領域の変更を行わずにステップＳ３３へ進む。
なお、検出基準制御部２０４は、到達位置５０と検出基準４０とが完全に一致しない場合、たとえば検出基準４０から所定の範囲内に到達位置５０を検出した場合であっても、到達位置５０が検出基準４０に一致したと判定してもよい。この場合、図９のステップＳ２５においては、検出基準制御部２０４は、到達位置５０が検出基準４０から所定の範囲よりも下方に位置しているか否かを判定してよい。到達位置５０が検出基準４０から所定の範囲よりも下方に位置する場合には、ステップＳ２５が肯定判定されてステップＳ２６へ進む。また、ステップＳ３０では、検出基準制御部２０４は、到達位置５０が検出基準４０から所定の範囲内に位置するか否かを判定してよい。到達位置５０が検出基準４０から所定の範囲内に位置する場合には、ステップＳ３０が肯定判定されてステップＳ３１へ進む。

【0063】

ステップＳ３２では、図８の指Ｆ３に示したように到達位置５０が検出基準４０のＺ方向＋側に位置しており、画像生成部２０１は、到達位置５０と検出基準４０との間の距離に基づき影領域の位置を変更する。具体的には、画像生成部２０１は、図４（ｃ）に示すように影領域に対応する補助画像３１がＺ方向−側（ユーザ１２側とは反対側）に位置するように、影領域の位置を変更した補助画像データを生成する。プロジェクタ１５は、生成された補助画像データに対応する補助画像３１をステージ１４上に投影する。ステップＳ３３では、第２のキャリブレーション処理モードの終了操作が行われたかを判定し、肯定判定の場合には第２のキャリブレーション処理モードを終了し、否定判定の場合にステップＳ２４に戻る。

【0064】

以上のように、第２のキャリブレーション処理モードは、空中像操作モードを実行中に並行して行われるため、キャリブレーション処理の実行を意識することなく、ユーザ１２に適した検出基準４０で空中像３０の表示位置に対する操作を実行することができる。なお、第１〜２のキャリブレーション処理モードは必ずしもユーザ１２が選択しなくてもよい。表示装置１が自動的に第１〜２のキャリブレーション処理モードのうちのいずれか一つを選択するようにしてもよい。また、第１〜２のキャリブレーション処理モードの全てを備えるのではなく、そのうちの一つを備えるものであってもよい。
また、第１の実施の形態では、Ｚ軸方向に沿ってアイコン３０Ａの表示位置が変更したとユーザ１２に知覚させるように、画像生成部２０１は、補助画像３１の位置を変更したが、これに限定されない。たとえば、画像生成部２０１は、アイコン３０Ａの表示位置の移動方向として知覚される方向が結像光学系９の光軸方向に移動したと知覚されるように、補助画像３１の位置を変更してよい。すなわち、本実施の形態では、画像生成部２０１は、補助画像３１が結像光学系９の光軸と直交する方向以外の方向に移動したとユーザ１２に知覚されるように、補助画像３１の位置を変更してよい。したがって、画像生成部２０１は、補助画像３１の移動方向に結像光学系９の光軸に沿った成分が含まれるように移動させてよい。

【0065】

なお、上述した第１の実施の形態の表示装置１において、表示装置１の周囲の輝度に基づいて、プロジェクタ制御部２００は、プロジェクタ１５が投影する補助画像３１の輝度を制御してもよい。この場合、表示装置１の本体１０には、周囲の明るさを検出する照度センサ等が設けられる。なお、照度センサとして、カメラの測光機能を用いても良い。表示装置１が日光や照明等により照射されることにより表示装置１の周囲が明るい場合には、プロジェクタ１５により投影された補助画像３１の第１範囲３１１がユーザ１２に視認されにくくなる。そこで、表示装置１の周囲が明るい場合には、プロジェクタ１５から投影される第２範囲３１２の輝度を高くすることにより、ユーザ１２により暗い第１範囲３１１を視認させる。

【0066】

この場合、照度センサで検出した周囲輝度の増減に基づいて、プロジェクタ制御部２００は、第２範囲３１２に対応する範囲の投影光の輝度を増減させる。プロジェクタ制御部２００は、投影光が周囲輝度の増減に基づいて線形的に増減するように制御してもよいし、周囲輝度が所定量の増減をするごとに段階的に増減するように制御してもよい。また、周囲輝度が所定値を超える場合に、プロジェクタ制御部２００が第２範囲３１２に対応する範囲の投影光の輝度を制御してもよい。
なお、プロジェクタ１５の投影光の輝度が周囲輝度に基づいて制御されるものに限定されない。たとえば、ユーザ１２の操作によりプロジェクタ１５の投影光の輝度が設定され、この設定に従って、プロジェクタ制御部２００が投影光の輝度を制御してもよい。この場合、ユーザ１２は、表示装置１の本体１０に設けられた操作ボタンを操作してプロジェクタ１５の投影光の輝度を設定できる。なお、表示装置１は、この操作ボタンを空中像として表示してもよい。

【0067】

また、プロジェクタ１５からの投影光が高輝度で投影される場合、明るい投影光によって、ユーザ１２は、空中像３０、３００を視認しにくくなる場合がある。この場合、表示制御部２０２は、プロジェクタ１５の投影光の輝度の増減に基づいて、表示器１１に表示される表示画像の輝度を増減させる。表示制御部２０２は、表示画像の輝度が投影光の増減に基づいて線形的に増減するように制御してもよいし、投影光の輝度が所定量の増減をするごとに段階的に増減するように制御してもよい。また、投影光の輝度が所定値を超える場合に、表示制御部２０２が表示器１１に表示される表示画像の輝度を制御してもよい。
なお、上述したようにプロジェクタ１５の投影光の輝度がユーザ１２の操作に基づいて設定された場合も、表示制御部２０２は、設定された輝度に基づいて、表示器１１の表示画像の輝度を制御できる。

【0068】

なお、表示制御部２０２による表示画像の輝度の制御は、投影光の輝度に基づいて行うものに限定されず、表示装置１の周囲輝度に基づいて行われてもよい。すなわち、周囲輝度の増減に基づいて、表示制御部２０２が表示器１１の表示画像の輝度の制御を行ってもよい。

【0069】

なお、また、上述した第１の実施の形態においては、補助画像３１として影画像を例に挙げたが、補助画像３１として影画像以外を適用することができる。たとえば、補助画像３１として、空中像３０の位置を示し、物を載置するような台、テーブル、机等を表示させてもよい。上記のような補助画像３１を空中像３０の下に表示することにより、空中像３０が補助画像３１に載置されているようにユーザ１２に知覚される場合がある。そのため、補助画像３１の位置を移動したとしても、空中像３０が補助画像３１の位置にあるように、ユーザ１２に知覚される。
なお、後述する第４の実施の形態に記載されているように、補助画像３１は、空中像３０に関連性が高い物を表示した方が、ユーザ１２は、補助画像３１の位置に空中像３０が表示されていると知覚する可能性が高くなる。後に詳しく説明するが、補助画像３１と空中像３０との間の関連性が高いものとは、補助画像３１と空中像３０とを表示させる対象同士が、現実世界で近くにあるもの、接して設置されるもの、対象同士が一体的になって構成されているもの等である。なお、第１の実施の形態で説明した、補助画像３１に空中像３０の影を示す画像を表示する例については、補助画像３１と空中像３０との関連性が深い例である。

【0070】

第１の実施の形態では、画像生成部２０１は、操作検出器１３で検出した操作により、第２の像である補助画像３１の表示形態を変更する。具体的には、画像生成部２０１は、空中像３０、３００に対するユーザ１２の操作を検出する検出基準４０と、空中像３０、３００の表示位置と異なる位置に位置する補助画像３１の位置関係を、補助画像３１を制御し変更する。これにより、位置が変更された補助画像３１に基づいて、ユーザ操作の位置が変更され、ユーザ１２の操作を検出基準４０で検出することが可能になる。

【0071】

また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作に基づいて、補助画像３１を制御する。これにより、補助画像３１にユーザ１２の操作が反映されるので、キャリブレーション処理の精度を向上できる。

【0072】

また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作の到達位置５０と検出基準４０との位置関係に基づいて、補助画像３１が移動する方向を決定する。これにより、キャリブレーション処理により、ユーザ１２の操作の到達位置５０を検出基準４０に到達させることができる。

【0073】

また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作に基づく方向、またはユーザ１２の操作に基づく方向とは反対の方向に補助画像３１を移動させる。したがって、ユーザ１２に、Ｚ方向に沿って操作を行う位置を変更させて、ユーザ操作を検出基準４０で検出可能にすることができる。
なお、ユーザ１２が押下する操作を行う場合には、画像生成部２０１は、ユーザ１２が押下する操作に基づく方向または押下する操作に基づく方向とは反対の方向に補助画像３１を移動させる。これにより、ユーザ１２は、押下する操作の位置を変更させて、ユーザ操作を検出基準４０で検出可能にすることができる。

【0074】

また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作が検出基準４０に到達しない場合（図５（ｂ）参照）、ユーザ１２の操作に基づく方向に補助画像３１の表示の位置を移動する。すなわち、ユーザ１２は、あたかもアイコン３０Ａ、３００Ａの位置がユーザ１２から離れる方向に変更されたように知覚する。これにより、ユーザ１２にさらにＺ方向−方向へ操作させて、検出基準４０に到達させることができる。

【0075】

また、第１の実施の形態では、画像生成部２０１は、ユーザ１２の操作が検出基準に到達する場合（図５（ｄ）参照）、ユーザ１２の操作に基づく方向とは反対方向に補助画像３１の表示の位置を移動する。すなわち、ユーザ１２は、あたかもアイコン３０Ａ、３００Ａの位置がユーザ１２に接近する方向に変更されたように知覚する。これにより、ユーザ１２に、操作をよりユーザ１２に近い側の位置で行わせ、ユーザ１２の操作を検出基準４０に位置させることができる。

【0076】

また、第１の実施の形態では、画像生成部２０１は、アイコン３０Ａ、３００Ａに基づいて補助画像３１を制御する。これにより、ユーザ１２はアイコン３０Ａ、３００Ａと補助画像３１との間に関連があるものとして認識し、補助画像３１を手掛かりとしてアイコン３０Ａ、３００Ａの位置を知覚することができる。

【0077】

また、第１の実施の形態では、画像生成部２０１は、補助画像３１はアイコン３０Ａ、３００Ａよりも暗い画像（影や陰影に相当する画像）を生成する。これにより、ユーザ１２による、補助画像３１を手掛かりとしたアイコン３０Ａ、３００Ａの位置の把握が容易になる。

【0078】

また、第１の実施の形態では、画像生成部２０１は、補助画像３１をアイコン３０Ａ、３００Ａの下方（Ｙ方向−側）に表示する。これにより、ユーザ１２による、補助画像３１を手掛かりとしたアイコン３０Ａ、３００Ａの位置の把握が容易になる。

【0079】

（第１の実施の形態の変形例１）
第１の実施の形態においては、補助画像３１として影画像を例にあげ、キャリブレーション処理の結果に基づいてステージ１４上で投影される位置が変更される場合を説明した。変形例１においては、補助画像３１として影画像を適用する場合に、補助画像３１の表示態様として適用可能な例について説明する。

【0080】

＜１．補助画像３１の大きさを変更＞
画像生成部２０１は、アイコン３０Ａの大きさに基づいて補助画像３１の大きさ、すなわち影画像の大きさを異ならせてよい。たとえば、図１０（ａ）に示すように、空中像操作モードに対応する空中像３０として２つのアイコン３０Ａ１、３０Ａ２が表示されるものとする。図１０（ａ）では、アイコン３０Ａ１と比較して、アイコン３０Ａ２の大きさが大きい。この場合、画像生成部２０１は、アイコン３０Ａ１に対応する補助画像３１Ａ１よりもアイコン３０Ａ２に対応する補助画像３１Ａ２の方が大きい、すなわち面積が大きくなるように、影領域を設定して補助画像データを生成する。

【0081】

また、図１０（ｂ）に示すように初期表示されていたアイコン３０Ａと補助画像３１とに対して、アイコン３０Ａの大きさを異ならせた表示に切り替えた場合に、画像生成部２０１は、アイコン３０Ａの大きさの変更に基づいて補助画像３１の大きさを変更してもよい。たとえば、図１０（ｃ）に示すように、アイコン３０Ａの大きさが拡大された場合、画像生成部２０１は、アイコン３０Ａの拡大率に基づいて、影領域の大きさを拡大した補助画像データを生成する。プロジェクタ１５が補助画像データに対応する補助画像３１を投影することにより、図１０（ｃ）に示すように、初期表示における補助画像３１よりも面積の大きい補助画像３１をアイコン３０Ａの下方に投影する。
なお、画像生成部２０１は、上述した補助画像３１の大きさの変更と、第１の実施の形態にて説明した補助画像３１との表示位置の移動とを組み合わせて表示用画像データを生成してよい。

【0082】

第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａの大きさに基づいて、補助画像３１の大きさを変更する。これにより、ユーザ１２はアイコン３０Ａと補助画像３１との間に関連があるものとして認識し、補助画像３１を手掛かりとしてアイコン３０Ａの位置を知覚することができる。

【0083】

＜２．補助画像３１の明るさを調節＞
画像生成部２０１は、アイコン３０ＡのＹ方向の表示位置に基づいて、補助画像３１の明るさが異なるように補助画像データを生成してよい。一般に、実物とその影ができる面との鉛直方向の距離が大きいほど影は薄く、近づくほど影は濃くなる。このような現象を、画像生成部２０１は、影領域の濃さ、すなわち明るさを制御することにより空中像３０と補助画像３１との間で再現する。

【0084】

図１１（ａ）は、初期表示されたアイコン３０Ａと補助画像３１とを示す図である。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ１とする。この場合、画像生成部２０１は、影領域の輝度を、影領域以外の領域の輝度に対して、たとえば５０パーセントに設定して鮮鋭度を変更することにより補助画像データを生成する。図１１（ｂ）は、アイコン３０Ａの表示位置が初期表示の場合と比べてＹ方向−側に変更された場合を示す。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ２（＜Ｈｙ１）とする。画像生成部２０１は、初期表示の場合のアイコン３０Ａとステージ１４との距離Ｈｙ１との差分（Ｈｙ１−Ｈｙ２）に基づいて、影領域の輝度を初期表示の場合の輝度よりも低い値に設定して鮮鋭度を変更することにより補助画像データを生成する。これにより、プロジェクタ１５によって、初期表示の場合よりも暗い補助画像３１がアイコン３０Ａの下方に投影されることになる。なお、図１１（ｂ）においては、図示の都合上、補助画像３１に付したドットを図１１（ａ）の場合よりも密にして描くことにより、補助画像３１の輝度を低い値に設定したことを示す。

【0085】

図１１（ｃ）は、アイコン３０Ａの表示位置が初期表示の場合と比べてＹ方向＋側に変更された場合を示す。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ３（＞Ｈｙ１）とする。画像生成部２０１は、初期表示の場合のアイコン３０Ａとステージ１４との距離Ｈｙ１との差分（Ｈｙ３−Ｈｙ１）に基づいて、影領域の輝度を初期表示の場合の輝度よりも高い値に設定して補助画像データを生成する。これにより、プロジェクタ１５によって、初期表示の場合よりも明るい補助画像３１がアイコン３０Ａの下方に投影されることになる。なお、図１１（ｂ）においては、図示の都合上、補助画像３１に付したドットを図１１（ａ）の場合よりも粗くして描くことにより、補助画像３１の輝度を低い値に設定したことを示す。
なお、以上の説明では、画像生成部２０１は、補助画像３１の明るさを変更する例について説明した。画像生成部２０１は、補助画像３１の明るさの変更と、上述した補助画像３１の大きさの変更と、第１の実施の形態にて説明した補助画像３１との表示位置の移動とを適宜組み合わせて表示用画像データを生成してよい。

【0086】

第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａの表示の位置に基づいて、補助画像３１に表示態様を制御する。たとえば、画像生成部２０１は、アイコン３０ＡのＹ方向の位置に基づいて、補助画像３１の表示態様を制御する。これにより、ユーザ１２は、アイコン３０Ａと補助画像３１との間の関連性を認識することができる。

【0087】

また、第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａの位置が変更された場合、補助画像３１の輝度を制御する。すなわち、実際の存在する物体と、その物体により形成される影との間の関係を、補助画像３１を用いて再現するので、ユーザ１２は、アイコン３０Ａと補助画像３１との間の関連性を認識することができる。

【0088】

また、第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａと補助画像３１との間の距離が、より長い距離に変更された場合、補助画像３１を明るく表示させる。すなわち、実際の存在する物体と影の形成される面との距離が離れる程、影が薄くなる現象を、補助画像３１を用いて再現するので、ユーザ１２は、アイコン３０Ａと補助画像３１との間の関連性を認識することができる。

【0089】

＜３．補助画像３１が空中像３０の表示位置の移動に追従して移動＞
アイコン３０Ａの表示位置が移動する場合に、画像生成部２０１は、アイコン３０Ａの移動に追従して補助画像３１もステージ１４上を移動するように補助画像データを生成してもよい。この場合、表示装置１は、ユーザ１２が所定のジェスチャーを行った場合、そのジェスチャーに従って空中像３０（アイコン３０Ａ）を移動させる。この場合、表示装置１は、図１２の主要部構成のブロック図に示す構成を有する。即ち、表示装置１は、制御部２０と、制御部２０によって制御される撮像装置１８と、表示器１１と、結像光学系９と、操作検出器１３と、プロジェクタ１５とを有している。撮像装置１８は、詳細を後述する第１の実施の形態の変形例８の表示装置１が備える撮像装置と同様の構成が適用できる。制御部２０は、図２に示す第１の実施の形態の表示装置１の制御部２０が有する構成に加えて、検出部２１２と決定部２１３とを備える。検出部２１２は、撮像装置１８により生成された複数の撮像データを用いて、ユーザ１２により行われたジェスチャーを検出する。決定部２１３は、検出されたジェスチャーに基づいて、空中像３０の移動方向や移動量を決定する。

【0090】

表示装置１により形成された空中像３０を視認しているユーザ１２が、空中像３０の位置を移動させたい場合には、予め決められた特定のジェスチャーを行う。予め決められた特定のジャスチャーとして、例えば、ユーザ１２が視認している空中像３０の位置を右側（例えばＸ方向＋側）に移動させたい場合に、ユーザ１２が手や腕を右方向（例えばＸ方向＋側）に振る動作や、ユーザ１２が表示装置１の方向に向けて指や手を押し込んでから一定方向（Ｘ方向＋側）にはじくように移動するフリック動作や、指や手を一定方向（Ｘ方向＋側）になぞるように移動するスワイプ動作等がある。また、ユーザ１２が視認している空中像３０を手前側（たとえばＺ方向＋側）に移動させたい場合に、ユーザ１２が前に突き出した腕を手前に引くような動作や、手招きするような動作等がある。

【0091】

検出部２１２は、撮像装置１８により撮像された撮像データを用いて、撮像データ上でユーザ１２が上記のジェスチャーを行ったか否かを検出する。検出部２１２によりジェスチャーが行われたことが検出されると、決定部２１３は、空中像３０を移動させる方向と移動量を決定する。この場合、決定部２１３は、ユーザ１２が手や腕を右方向（Ｘ方向＋側）に振るジェスチャーをした場合に、ユーザ１２の手や腕が移動したＸ方向＋側を、空中像３０を移動させる方向として決定する。決定部２１３は、空中像３０の移動量をジェスチャーの際に手や腕が移動した量に従って決定する。即ち、決定部２１３は、ユーザ１２が手や腕を振ったときの手や腕の移動量が小さい場合は空中像３０の移動量を小さくし、手や腕の移動量が大きい場合には空中像３０の移動量を大きくする。または、決定部２１３は、空中像３０が形成されている位置から予め決められた移動量だけ離れた位置に移動させても良い。即ち、ユーザ１２が行ったジェスチャーの大きさに拘わらず、空中像３０は一定の移動量で移動する。この場合、ユーザ１２の所望する位置まで空中像３０が移動されない場合には、空中像３０が所望の位置に移動するまで、ユーザ１２が同様のジャスチャーを繰り返し行う。

【0092】

画像生成部２０１は、決定部２１３によって決定された空中像３０の移動方向と移動量とに基づいて、表示用画像データを生成するとともに、影領域の位置を上記の移動方向と移動量とに基づいて変更して補助画像データを生成する。この結果、空中像３０は、ユーザ１２が行うジェスチャーに基づいてＸＹ平面上を移動し、補助画像３１は空中像３０の移動に伴って、空中像３０の下方のステージ１４上を移動するようにプロジェクタ１５によって投影される。すなわち、空中像３０の移動に追従して、空中像３０の下方で補助画像３１である影画像がステージ１４上を移動する。
なお、以上の説明では、画像生成部２０１は、空中像３０の移動に追従して補助画像３１を移動する例について説明した。画像生成部２０１は、補助画像３１の移動に加えて、上述した補助画像３１の明るさの変更と、上述した補助画像３１の大きさの変更と、第１の実施の形態にて説明した補助画像３１との表示位置の移動とを適宜組み合わせて表示用画像データを生成してよい。

【0093】

第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａの位置が変更された場合、アイコン３０Ａの位置に追従して補助画像３１の位置を変更する。これにより、ユーザ１２は、アイコン３０Ａが移動した場合であっても、アイコン３０ＡのＺ方向の位置を知覚することができる。

【0094】

＜４．空中像３０のＹ方向に沿った移動に基づいて補助画像３１の形状が変更＞
画像生成部２０１は、アイコン３０ＡのＹ方向の表示位置に基づいて、補助画像３１の大きさや形状が異なるように補助画像データを生成してよい。一般に、実物とその影ができる面との鉛直方向の距離が大きいほど影は大きくなり、エッジはぼけ（形状が変わり）、鉛直方向の距離が小さいほど影は小さくなり、エッジは明瞭（形状が変わる）になる。このような現象を、画像生成部２０１は、影領域の大きさとボケ量を制御することにより空中像３０と補助画像３１との間で再現する。

【0095】

図１３（ａ）は、上述した図１１（ａ）と同様に、初期表示されたアイコン３０Ａと補助画像３１とを示す図であり、アイコン３０Ａとステージ１４との間のＹ方向の距離がＨｙ１としたものである。この場合、画像生成部２０１は、影領域の大きさを距離Ｈｙ１に基づいて拡大し、影領域のエッジ部近傍のボケ量を所定の初期値に設定した補助画像データを生成する。

【0096】

図１３（ｂ）は、アイコン３０Ａの表示位置が初期表示の場合と比べてＹ方向−側に変更された場合を示す。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ２（＜Ｈｙ１）とする。画像生成部２０１は、初期表示の場合のアイコン３０Ａとステージ１４との距離Ｈｙ１との差分（Ｈｙ１−Ｈｙ２）に基づいて、影領域の大きさを初期表示の場合の大きさよりも縮小し、ボケ量を初期値よりも低い値に設定して補助画像データを生成する。これにより、プロジェクタ１５によって、初期表示の場合よりも小さくエッジが明瞭となった補助画像３１がアイコン３０Ａの下方に投影されることになる。なお、図１３（ｂ）では、初期表示のときの補助画像３１を破線で示しているが、実際にはこの補助画像３１は投影されなくてもよいし、低輝度で投影されてもよい。

【0097】

図１３（ｃ）は、アイコン３０Ａの表示位置が初期表示の場合と比べてＹ方向＋側に変更された場合を示す。この場合のアイコン３０Ａとステージ１４との間のＹ方向の距離をＨｙ３（＞Ｈｙ１）とする。画像生成部２０１は、初期表示の場合のアイコン３０Ａとステージ１４との距離Ｈｙ１との差分（Ｈｙ３−Ｈｙ１）に基づいて、影領域の大きさを初期表示の場合の大きさよりも拡大し、ボケ量を初期値よりも高い値に設定して（鮮鋭度を変更して）補助画像データを生成する。これにより、プロジェクタ１５によって、初期表示の場合より大きくエッジがボケた補助画像３１がアイコン３０Ａの下方に投影されることになる。なお、図１３（ｃ）では、初期表示のときの補助画像３１を破線で示しているが、実際にはこの補助画像３１は投影されなくてもよいし、低輝度で投影されてもよい。
なお、上述した説明では、画像生成部２０１は、影領域の大きさとエッジ部のボケ量とをアイコン３０ＡのＹ方向の位置に基づいて変更したが、影領域の大きさとエッジ部のボケ量の何れか一方を変更するものでもよい。
また、画像生成部２０１は、影領域の大きさとエッジ部のボケ量とを変更する際に、上述した補助画像３１の移動と、上述した補助画像３１の明るさの変更と、上述した補助画像３１の大きさの変更と、第１の実施の形態にて説明した補助画像３１との表示位置の移動とを適宜組み合わせて表示用画像データを生成してよい。

【0098】

第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａの位置の変更がＹ方向の場合、補助画像３１の大きさまたは形状を制御する。これにより、実際の物体と影との関係性が補助画像３１を用いて再現され、ユーザ１２はアイコン３０Ａと補助画像３１との関係を把握しやすくなる。

【0099】

また、第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａと補助画像３１との間の距離が離れる程、補助画像３１の大きさを大きくする。すなわち、実際の存在する物体と影の形成される面との距離が離れる程、影が大きくなる現象を、補助画像３１を用いて再現するので、ユーザ１２は、アイコン３０Ａと補助画像３１との間の関連性を認識することができる。

【0100】

なお、画像生成部２０１は、上記のようにアイコン３０ＡのＹ方向の表示位置に基づいて、補助画像３１の大きさや形状を制御して、アイコン３０Ａの位置が移動したようにユーザ１２に知覚させてもよい。
この場合、表示装置１は、後述する第３の実施の形態とその変形例（図３３〜図３５参照）や第４の実施の形態（図３６、図３８参照）に示すような表示器１１と結像光学系９とを有する。

【0101】

検出基準制御部２０４は、ステージ１４の上方（Ｙ方向＋側）の操作検出器１３の検出範囲１３Ａ内にＺＸ平面に平行に検出基準４０を設定する。この場合、ユーザ１２は、指をＹ方向＋側から−側へ移動させる押下する操作を行い、再びＹ方向＋側へ戻すように移動させる。すなわち、操作検出器１３は、空中像３０に対して行われたユーザ１２の押下する操作の結像光学系９の光軸方向の到達位置を検出する。プロジェクタ１５は、空中像３０のアイコンの下方（Ｙ方向−側）に配置されたステージ１４上に、第１の実施の形態と同様にして補助画像３１を投影する。なお、プロジェクタ１５からの投影光により、ステージ１４上にユーザ１２が操作する指等が影として映らないように、投影方向が調整されている。

【0102】

図１４（ａ）〜（ｃ）にこの場合に表示される空中像３０と補助画像３１とを模式的に示す。図１４（ａ）はアイコン３０Ａと補助画像３１とが初期表示された場合を示す。この場合、画像生成部２０１は、補助画像３１の大きさを、アイコン３０Ａの大きさに対して距離Ｈｙ１に基づいて拡大し、補助画像３１のボケ量が所定の初期状態となるように補助画像データを生成する。

【0103】

図１４（ａ）に示す初期表示の状態から、アイコン３０Ａが結像光学系９の光軸方向に対してユーザ１２から離れる方向に移動したと知覚させる場合について説明する。ユーザ１２の指を押下する操作の到達位置が検出基準４０よりも上方（Ｙ方向＋側）の場合に、画像生成部２０１は、補助画像３１の表示態様を変更する。図１４（ｂ）に示すように、画像生成部２０１は、補助画像３１の大きさが、破線で示す初期表示の補助画像３１よりも小さくなり、濃度の濃い影に相当する画像となるように補助画像データを生成する。この場合、ユーザ１２は、補助画像３１の表示態様を視認して、あたかもアイコン３０ＡがＹ方向−側に移動したと知覚する。これにより、ユーザ１２が、到達位置や指定位置をよりＹ方向−側で行うようになることが期待される。

【0104】

図１４（ａ）に示す初期表示の状態から、アイコン３０Ａが結像光学系９の光軸方向に対してユーザ１２に接近する方向に移動したと知覚させる場合について説明する。ユーザ１２の指を押下する操作の到達位置が検出基準４０よりも下方（Ｙ方向−側）の場合に、画像生成部２０１は、補助画像３１の表示態様を変更する。図１４（ｃ）に示すように、画像生成部２０１は、補助画像３１の大きさが、破線で示す初期表示の補助画像３１よりも大きくなり、濃度の薄い影に相当する画像となるように補助画像データを生成する。この場合、ユーザ１２は、補助画像３１の表示態様を視認して、あたかもアイコン３０ＡがＹ方向＋側に移動したと知覚する。これにより、ユーザ１２が、到達位置や指定位置をよりＹ方向＋側で行うようになることが期待される。

【0105】

＜５．空中像３０のピッチ方向の移動に応じた変更＞
空中像３０がＸＹ平面に平行な面内に表示されない場合、すなわち空中像３０がＺＸ平面に対して所定の傾き角度θ０（＜９０°）となるように傾斜して表示させるような場合、すなわち垂直方向（Ｙ方向）よりも傾いて表示させる場合におけるアイコン３０Ａの影画像としての補助画像３１について説明する。
図１５に、この場合のアイコン３０Ａと、補助画像３１とを模式的に示す。図１５（ａ）は初期表示を示し、図１５（ｂ）は、アイコン３０Ａがユーザ１２から離れる場合の表示を示し、図１５（ｃ）は、アイコン３０Ａがユーザ１２に接近する場合の表示を示す。

【0106】

このような空中像３０において、画像生成部２０１は、アイコン３０Ａを、ＺＸ平面と所定の傾きを有する平面に対して直交する方向、すなわち矢印ＡＲ１に沿って移動するようにユーザ１２に知覚されるように補助画像データを生成する。なお、矢印ＡＲ１の方向は、ＺＸ平面と所定の傾きを有する平面に対して直交する方向に限定されるものではなく、ＺＸ平面と所定の傾きを有する平面に対して交わる方向であればよい。
上述したように、一般に、実物とその影ができる面との鉛直方向の距離が大きいほど影は大きくなりエッジはぼけ、近づくほど影は小さくなりエッジは明瞭になる。また、実物の移動が鉛直方向ではない場合には、形成される影の形状は歪み、鉛直方向の距離が大きくなるほど歪みの程度が大きくなる。

【0107】

図１５に示す例では、画像生成部２０１は、上記の現象を補助画像３１にて表す。図１５に示す例では、アイコン３０Ａの下辺（Ｙ方向−側の辺）からステージ１４までの距離は、アイコン３０Ａの上辺（Ｙ方向＋側の辺）からステージ１４までの距離よりも短い。すなわち、アイコン３０Ａの下辺の影は、アイコン３０Ａの上辺の影よりも短くなる。このため、図１５に示す例では、アイコン３０Ａがステージ１４上に形成する影の形状は、すなわち画像生成部２０１により生成される影領域の形状は、上底よりも下底の方が短い台形形状となる。

【0108】

図１５（ａ）に示す初期表示の状態から、アイコン３０Ａがユーザ１２から離れるように矢印ＡＲ１に沿って移動したと知覚させる場合について説明する。この場合、図１５（ｂ）に示すように、画像生成部２０１は、影領域の大きさを、破線で示す初期表示の補助画像よりも小さくし、形状を、初期表示の台形形状から歪ませた補助画像データを生成する。図１５（ａ）に示す初期表示の状態から、アイコン３０Ａがユーザ１２に近づくように移動したと知覚させる場合について説明する。この場合、図１５（ｃ）に示すように、画像生成部２０１は、影領域の大きさを、破線で示す初期表示の補助画像よりも大きくし、形状を、初期表示の台形形状から歪ませた補助画像データを生成する。
また、画像生成部２０１は、影領域の形状を歪ませる際に、上述した影領域の輝度の変更も行ってよい。
また、以上の説明では、画像生成部２０１は、影領域の形状を歪ませる場合に、上述した補助画像３１の空中像３０に追従した移動と、補助画像３１の明るさの変更と、上述した補助画像３１の大きさの変更と、第１の実施の形態にて説明した補助画像３１との表示位置の移動とを適宜組み合わせて表示用画像データを生成してよい。

【0109】

第１の実施の形態の変形例１では、画像生成部２０１は、アイコン３０Ａが垂直方向（Ｙ方向）よりも傾いて表示される場合、補助画像３１の形状を制御する。これにより、実際の物体と影との関係性が補助画像３１を用いて再現され、ユーザ１２はアイコン３０Ａと補助画像３１との関係を把握しやすくなる。

【0110】

なお、画像生成部２０１は、第１の実施の形態において補助画像３１を表示させる際に、上述した変形例１の各種の表示態様の変更を個別に付加してもよいし、複数の表示態様の変更を組み合わせて付加してもよい。
また、上述した第１の実施の形態と変形例１の各例においては、補助画像３１として影画像を例に挙げたが、補助画像３１として影画像以外を適用することができる。たとえば、画像生成部２０１は、図１６（ａ）に示すように、アイコン３０Ａの下方の補助画像３１を明るくし、他の領域を暗くするような補助画像データを生成してよい。

【0111】

この場合、画像生成部２０１は、アイコン３０Ａがあたかも下方から照明されているような表示用画像データを生成してもよい。たとえば、暗い場所で指向性のある光を照明した場合に光の筋（光芒）のように観察されるような現象を画像生成部２０１が再現してもよい。
図１６（ｂ）にこの場合の空中像３０と補助画像３１とを模式的に示す。画像生成部２０１は、アイコン３０Ａを含んだＹ方向に延びる領域Ｒに白色等を重畳して表示用画像データを生成する。これにより、ユーザ１２には、空中像３０において、アイコン３０Ａをステージ１４から照明する光がＹ方向＋側に向けて伸びる光の筋のように視認される。
なお、図１６に示す例においては、プロジェクタ１５をステージ１４の下部（Ｙ方向−側）に配置して、Ｙ方向＋側に向けて投影光を投影してもよい。この場合、ステージ１４は透明な材料を用いて製造されるとよい。

【0112】

（第１の実施の形態の変形例２）
上述した第１の実施の形態とその変形例１の表示装置１は、ユーザ１２の指先がアイコンの表示位置への操作のために奥側（Ｚ方向−側）へ向けて操作を行った後に所定距離手前（Ｚ方向＋側）に移動した場合に、最も奥側に移動した位置を到達位置とした。そして、表示装置１は、到達位置と検出基準との間の距離に基づいて、補助画像の表示位置を変更した。これに対して、変形例２の表示装置１は、操作検出器１３の検出出力に基づき、ユーザ１２の指先Ｆの速度あるいは加速度を算出し、算出した速度または加速度に基づき指先Ｆの到達位置を予測してもよい。そして、表示装置１は、その予測到達位置と検出基準との間の距離に基づいて補助画像の表示位置を変更するものであってもよい。図１７は、本変形例３の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。

【0113】

変形例２の表示装置１のうち、第１の実施の形態の表示装置に対して相違している構成について説明する。図１７において、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出する。到達位置予測部２０７は、速度・加速度検出部２０６から出力される指の移動速度または加速度に基づき指の到達位置を予測する。到達位置予測部２０７は、例えば、指の移動が加速している状態または略一定速度状態から、減速状態に移行したことを検出し、その減速具合から指の到達位置を予測することができる。画像生成部２０１は、到達位置予測部２０７によって予測された到達位置に基づき、補助画像３１の表示位置を変更する。

【0114】

次に、変形例２の表示装置１による第１のキャリブレーション処理モードを図１８及び図１９を参照して説明する。図１９のフローチャートにおいて、ステップＳ１０４からステップＳ１０７以外は、図７のフローチャートと同一であるので、説明を省略する。図１８（ａ）に示したように、指先Ｆが操作検出器１３の所定の検出範囲１３Ａ内に入ると、ステップＳ１０４において操作検出器１３が指先Ｆの移動を静電容量値の変化として検出する。ステップＳ１０５では、速度・加速度検出部２０６が操作検出器１３の検出出力に基づき指先Ｆの移動速度または加速度を算出する。ステップＳ１０６で、到達位置予測部２０７が速度・加速度検出部２０６が算出した移動速度または加速度に基づき指先Ｆの到達位置を算出する。図１８（ｂ）において、到達位置予測部２０７が算出した、即ち予測した指の到達位置を点線６０で示す。ステップＳ１０７において、画像生成部２０１は、図１８（ｂ）に示したように予測到達位置６０に基づき補助画像３１の表示位置を変更すると、画像生成部２０１は、補助画像３１の表示位置の移動量を示すデータを記憶部２０５に記憶する。その後のステップＳ１１０において、この記憶されたデータに基づいて、画像生成部２０１は、補助画像３１の表示位置を変更した表示用画像データを生成し、プロジェクタ１５が空中像操作モードの補助画像３１として投影する。なお、指の到達位置を予測するためには、指の移動速度と加速度との両方を使用してもよいし、いずれか一方を使用してもよい。

【0115】

なお、上述の説明では、速度・加速度検出部２０６は、操作検出器１３によって検出される静電容量値を所定の時間毎に読み出し、所定の時間当たりの静電容量値の変化から指の移動速度を算出すると共に、算出した速度から指の移動加速度を算出した。しかし、この方法に限られず、速度・加速度検出部２０６として撮像装置を用いてもよい。また、上述の説明では、速度・加速度検出部２０６はユーザ１２の指の移動速度または加速度を算出したが、そのほかに、ユーザ１２の足や肘、ユーザ１２が所持しているスタイラスペンであってもよい。

【0116】

なお、算出したユーザ１２の指の移動速度または加速度に基づき、到達位置予測部２０７はユーザ１２の指の予測到達位置６０を算出し、画像生成部２０１はユーザ１２の指の予測到達位置６０に基づいて補助画像３１の表示位置を変更していた。しかし、到達位置予測部２０７は、操作毎にユーザ１２の指の予測到達位置６０を決定する必要はない。ユーザ１２が操作を行う前に意図せず動いてしまった場合、その動きに基づいて到達位置予測部２０７が予測到達位置６０を算出してしまうと、補助画像３１の表示位置が頻繁に変更されるなど、適切な位置にユーザ１２の指先Ｆを導くことができなくなってしまう。上述のような場合を防ぐため、速度・加速度検出部２０６が所定の閾値以上のユーザ１２の指の移動速度及び加速度を検出した場合のみ、到達位置予測部２０７は予測到達位置６０を算出し、画像生成部２０１は、予測到達位置６０に基づいて補助画像３１の表示態様を変更してもよい。

【0117】

変形例２では、指の到達位置５０が、指の移動の速度や加速度に基づいて予測される。これにより、キャリブレーション処理を迅速に行うことができる。

【0118】

上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードにも適用できる。この場合、第１の実施の形態にて説明した図９に示すフローチャートにおいて、ステップＳ２４の後に、図１９に示すフローチャートのステップＳ１０５〜ステップＳ１０６を行う。その後、図９のステップＳ２７およびステップＳ２９を行うことなく、ステップＳ２８およびステップＳ３２にて、算出された予測到達位置６０に基づいて、補助画像３１の位置を変更する。
本変形例３を第２のキャリブレーション処理モードに適用した場合、空中像操作中のユーザ１２の指先Ｆが検出基準４０に達する前に指先Ｆの到達位置を事前に予測し、予測した到達位置に基づいて空中像３０の表示態様を変更することが可能になる。そのため、ユーザ１２の指先Ｆが検出基準４０に達せずアイコン表示の切り替えが生じなかったなどの誤操作を未然に防ぎ、ユーザ１２に快適な操作を行わせることができる。

【0119】

（第１の実施の形態の変形例３）
第１の実施の形態及び変形例１、２に係る表示装置１は、一回のキャリブレーション処理において、到達位置を検出、または予測し、その到達位置５０と検出基準４０との間の距離に基づき画像生成部２０１は補助画像３１の表示位置を変更するものであった。これに代えて、変形例３に係る表示装置１は、複数回のキャリブレーション処理においてそれぞれ検出された到達位置と検出基準との間の距離に基づいて、画像生成部２０１は、空中像操作モードにおける補助画像３１の表示位置を変更するものである。

【0120】

第一回目のキャリブレーション処理において検出基準制御部２０４は、操作検出器１３の検出出力に基づき指の到達位置５０を判定する。画像生成部２０１は、この到達位置５０に基づき、補助画像３１の表示位置の移動量を算出する。画像生成部２０１は、この算出した移動量を示すデータを記憶部２０５に記憶する。引き続き第２回目のキャリブレーション処理を行い、同様に移動量を示すデータを記憶部２０５に記憶する。更に、引き続き第三回のキャリブレーション処理を行ってもよい。このようにして連続的に行われた複数回のキャリブレーション処理によって、記憶部２０５に記憶された複数の移動量を示すデータから、画像生成部２０１は空中像操作モードにおける補助画像３１の一つの移動量を決定する。

【0121】

これら複数の移動量を示すデータを用いて一つの補助画像３１の表示位置を決定するには、様々な手順が考えられる。例えば、画像生成部２０１は、補助画像３１の移動量を相加平均して、補助画像３１用に一つの移動量を算出してもよいし、相乗平均して一つの移動量を算出してもよい。また、画像生成部２０１は、複数の移動量のそれぞれに適当な重み付けを行って新たな移動量を決定してもよい。例えば、画像生成部２０１は、Ｎ回目の操作から求めた移動量Ｈ_Ｎと、Ｎ＋１回目の操作から求めた移動量Ｈ_Ｎ＋１について、３：７の割合で重み付けを行って補助画像３１用の移動量を算出してもよい。具体的には、画像生成部２０１は、Ｈ_ＮとＨ_Ｎ＋１を用いて（Ｈ_Ｎ×３＋Ｈ_Ｎ＋１×７）／１０の計算を行い、その結果に基づいて補助画像３１用の移動量を算出する。重み付けは３：７に限られず、また、操作回数も２回に限られない。勿論、複数回のキャリブレーション処理毎に指の到達位置に基づき移動量を算出し、それぞれ記憶部２０５に記憶するのではなく、複数回のキャリブレーション処理毎に検出した指の到達位置をそれぞれ記憶部２０５に記憶して、その記憶された複数の到達位置に基づき、補助画像３１用の一つの移動量を算出してもよい。

【0122】

また、キャリブレーション処理は、到達位置５０と検出基準４０との間隔が所定値以下である場合、即ち、到達位置５０が検出基準４０の近傍である場合には、画像生成部２０１は補助画像３１の表示位置の変更をおこなわなくでもよい。
更に、キャリブレーション処理において、キャリブレーション処理毎に、画像生成部２０１は補助画像３１の表示位置の変更を行わなくてもよい。複数回のキャリブレーション処理において、到達位置５０を判定した回数と、実際に到達位置５０が検出基準４０に達したことを判定した回数と、から、制御部２０は、アイコンの表示位置への操作が失敗した回数を算出する。所定の回数以上、失敗したと判定された時に、画像生成部２０１は、補助画像３１の表示位置を変更するようにしてもよい。

【0123】

上記の通り、本変形例におけるキャリブレーション処理について、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明したが、第２のキャリブレーション処理モードや上述した各変形例１、２にも適用できる。

【0124】

変形例３では、上述したキャリブレーション処理において、制御部２０は、ユーザ１２が空中像３０のアイコン３０Ａの表示位置を操作する際に通常行う自然な操作動作を検出し、到達位置５０を判定する。即ち制御部２０は、指でアイコンを奥側へ押し込んでから指を手前に戻す方向に移動する動作や、指がアイコンに接触するとそれを奥側へ押し込んで短時間停止させる動作などを検出して到達位置５０を判定している。これにより、ユーザ１２は、キャリブレーション処理において到達位置５０の検出・判定が行われていることに気付かず、従ってユーザ１２はキャリブレーション処理を意識することなく実行することができる。

【0125】

（第１の実施の形態の変形例４）
第１の実施の形態においては、操作検出器１３は、ユーザ１２の指の空中像３０の表示位置に対する操作を検出して到達位置５０を判定し、画像生成部２０１は、到達位置５０に基づいて補助画像３１の表示位置の変更を行った。しかし、ユーザ１２は、空中像のアイコンの表示位置を操作したと感じた指の位置を指定して、その指定位置を検出基準制御部２０４が判定し、指定位置に基づいて画像生成部２０１が補助画像３１の表示位置を変更してもよい。以下に、ユーザ１２が空中像３０の表示位置を操作する位置を指定位置として指定する変形例を説明する。なお、以下の説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜４にも適用できる。

【0126】

以下に変形例４の表示装置を説明する。表示装置１が起動され、ユーザ１２がキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。図２０は、このキャリブレーション用の表示画像の空中像３００を示す。空中像３００は、キャリブレーション用アイコン３００Ｂを含み、このキャリブレーション用アイコン３００Ｂは、メッセージ「キャリブレーションを行います。このアイコンの位置を指で指し示し、その状態で指を横方向に移動させて下さい」が重畳表示されている。また、検出基準制御部２０４は、図２１（ａ）に示したように、検出基準４０を空中像３００の近傍の初期位置に設定する。

【0127】

図２１（ａ）において、ユーザ１２がアイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置を操作するために、指先Ｆをアイコン３００Ｂの方にＺ方向−側へ押し込む方向に移動させ、指先Ｆが図２の操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｂへのユーザ１２の指Ｆの接近移動、即ちＺ方向−側への移動を静電容量の変化として検出する。

【0128】

ユーザ１２は、指ＦをさらにＺ方向−側へ押し込む方向に移動させ、指先Ｆが空中像３００のアイコン３００Ｂの表示位置に達したと感じた時に、指Ｆを空中像３００の表示面に沿って横方向、すなわちＸＹ平面上で移動させる。操作検出器１３は、この指Ｆの押し込む方向への移動及び横方向の移動を検出する。検出基準制御部２０４は、指の押し込む方向への移動を検出していた操作検出器１３が指Ｆの横方向の移動を検出したことを判定して、押し込む方向への移動から横方向移動へ変化したときの指ＦのＺ方向の位置を指定位置５０Ａと判定する。画像生成部２０１は、この指定位置５０Ａに基づき、補助画像３１の表示位置を変更、すなわち補助画像３１の表示位置の移動量を算出する。この変更された移動量を示すデータは記憶部２０５に記憶され。なお、指定位置５０Ａは、図２１（ｂ）では、空中像３００のＺ方向の位置として例示されているが、指定位置５０Ａは、指先Ｆが空中像３００のアイコン３００Ｂに達したとユーザ１２が感じた時の位置であるから、空中像３００に一致した位置に指定されることもあるし、または、空中像３００よりもＺ方向−側の位置に指定されることもある。

【0129】

なお、検出基準制御部２０４は、以上の説明では指Ｆが押し込む方向への移動から横方向の移動に変化した時の指のＺ方向の位置を指定位置５０Ａと判定したが、これに限られない。検出基準制御部２０４は、例えば指Ｆが押し込む方向への移動から横方向の移動に変化し、その横方向移動が終了した時の指ＦのＺ方向の位置を指定位置５０Ａとして判定してもよい。また、検出基準制御部２０４は、指Ｆの横方向の移動開始から横方向の移動終了までの指ＦのＺ方向の位置の平均値や中央値などを指定位置５０Ａとしてもよい。このように、操作が検出された位置である指定位置５０Ａが検出基準制御部２０４によって検出される。

【0130】

上記説明の変形例４のキャリブレーション処理について、図２２に示すフローチャートを参照して説明する。なお、図２２のフローチャートはステップＳ１２１〜ステップＳ１２９を示し、それ以降のステップは省略した。ステップＳ１２９以降の処理は、図１９に示すフローチャートのステップＳ１０９以降の処理と同様である。

【0131】

ステップＳ１２１〜ステップＳ１２４の各処理は、図７に示したフローチャートにおけるステップＳ１〜ステップＳ４の各処理と同様である。ステップＳ１２６において、操作検出器１３は、ユーザ１２の指の横方向移動を検出する。ステップＳ１２７において、検出基準制御部２０４は、操作検出器１３の検出出力に基づき、指Ｆが押し込む方向への移動から横方向移動に変化したことを判定して、その変化時の指Ｆの位置を指定位置５０Ａと判定する。画像生成部２０１は、指定位置５０Ａに基づき、補助画像３１の表示位置を変更し、表示位置の移動量を示すデータを記憶部２０５に記憶して、ステップＳ１２８に進む。ステップＳ１２８において、第１のキャリブレーション処理モードを終了して、ステップＳ１２９に進む。ステップＳ１２９では、空中像操作モードを開始する。この空中像操作モードでは、記憶部２０５から読み出された移動量を示すデータに基づき、画像生成部２０１は、補助画像３１の表示位置を変更する。
なお、以上の説明では第１のキャリブレーション処理モードにおける処理を説明したが、第２のキャリブレーション処理モードの場合には、第１の実施の形態において説明した図９に示すフローチャートの処理を行う。ただし、図９のフローチャートにおいてステップＳ２４においてユーザ１２のアイコン３０Ａに対する操作を検出し、検出基準制御部２０４が、指Ｆが押し込む方向への移動から横方向移動に変化したことを検出した場合に、ステップＳ２７およびステップＳ２９において到達位置の判定に代えて、指定位置５０Ａを判定する。ステップＳ２９にて指定位置５０Ａが判定された場合には、ステップＳ２９にて検出基準制御部２０４は指定位置５０Ａが検出基準４０と一致するか否かを判定する。

【0132】

変形例４では、ユーザ１２は、キャリブレーション処理において指Ｆが空中像３００の表示位置を操作したと感じる位置を、指Ｆを押し込む方向への移動から横方向移動に変化させることによって指定している。このように、アイコン３００Ｂの表示位置を操作したと知覚する位置が、ユーザ１２によって指定位置として指定されることにより、表示装置１はキャリブレーション処理を行うため、正確にキャリブレーション処理を行うことができる。また、指定位置を指Ｆの押し込む方向への移動から横方向移動への変化によって指定することは、操作性がよく、迅速にキャリブレーション処理を行うことができる。

【0133】

（第１の実施の形態の変形例５）
変形例４の表示装置１においては、ユーザ１２は、指先でアイコンの表示位置を操作したと思った位置を指定位置として、指のＺ方向−側へ押し込む方向への移動から横方向への移動に変化させることによって指定した。変形例５の表示装置１は、ユーザ１２が、指先でアイコンの表示位置を操作したと思った位置を別のアイコンを操作することによって、指定するものである。このキャリブレーション処理について次に説明する。なお、説明は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜５にも適用できる。

【0134】

表示装置１が起動され、ユーザ１２がキャリブレーション処理モード選択用の操作ボタンを操作して、第１のキャリブレーション処理モードを選択すると、図２のキャリブレーション部２０３が第１のキャリブレーション処理モードを起動する。画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。この場合、空中像３００は、第１の実施の形態の変形例４の図２０に示すキャリブレーション用アイコン３００Ｂとアイコン３００Ｂの近傍（たとえばＸ方向−側）に表示される別のアイコンとを含む。キャリブレーション用アイコン３００Ｂには、図２０に示すメッセージに代えて、たとえば「キャリブレーションを行います。右手の指でこのアイコンの位置を指し示して下さい。右手の指で指し示した状態で、左手の指で左側のアイコンにタッチして下さい」が重畳表示される。

【0135】

ユーザ１２がアイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置を操作するために、右手の指先Ｆをアイコン３００Ｂの方に移動させる。ユーザ１２の指先が操作検出器１３の静電容量検出範囲１３Ａに達すると、操作検出器１３は、このアイコン３００Ｂの表示位置へのユーザ１２の指の接近移動、即ちＺ方向−側への移動を静電容量の変化として検出する。ユーザ１２は指をさらにＺ方向−側へ移動させ、指先Ｆが空中像３００のアイコン３００Ｂの表示位置を操作していると感じた時点で、メッセージに従い、左手の指先Ｆで別のアイコンの表示位置への操作をしようとして、左手の指先を別のアイコンの方に移動させる。操作検出器１３は別のアイコンに向けた指先Ｆの移動を検出する。検出基準制御部２０４は、ユーザ１２の指が別のアイコンの上に位置することを操作検出器１３が検出したことをもって、その時点における右手の指先Ｆの位置を指定位置５０Ａと判定する。画像生成部２０１は、指定位置５０Ａに基づき、第１の実施の形態の場合と同様にして、補助画像３１の表示位置の移動量を算出する。画像生成部２０１は、算出した補助画像３１の表示位置の移動量を示すデータを記憶部２０５に記憶する。

【0136】

なお、アイコン３００Ｂの表示位置を操作する右手の指は、その操作したと感じた時の位置が指定位置と判定されるので、空中像３００に接近するＺ方向−側への移動が必要である。しかしながら、左側の別のアイコンの表示位置への操作をする左側の指は、指を別のアイコンのＺ方向＋側または−側に位置付ければよいので、ユーザ１２は必ずしも左手の指をＺ方向−側へ移動させる必要はない。左手の指は、例えば空中像３００の平面に平行な方向、即ち横方向に移動して別のアイコンのＺ方向＋側または−側の位置まで横方向移動してもよい。

【0137】

また、ユーザ１２は必ずしも左手の指と右手の指とを用いる必要はなく、キャリブレーション用空中像３００のアイコン３００Ｂ上と別のアイコン上との両方において上記の動作が検出されるように操作すればよい。例えば、ユーザ１２は一方の手の２本の指を用いてもよい。また、この変形例５では、ユーザ１２が別のアイコンの表示位置への操作をする代わりに、表示装置１に設けた不図示の決定ボタンを押すように構成することもできる。

【0138】

さらに、検出基準制御部２０４は、ユーザ１２が別のアイコンの表示位置への操作をしたり、不図示の決定ボタンを押したりした時点における右手の指先の位置を指定位置と判定するものに代えて、ユーザ１２がたとえば左手で所定のジェスチャーを行ったことを検出したときにおける右手の指先の位置を指定位置と判定しても良い。この場合、表示装置１は、後述する変形例８の撮像装置１８（図２４、２５参照）を備え、この撮像装置１８により取得された画像を用いてユーザ１２のジェスチャー（たとえば手をグーからパーに変える）が行われたことを検出する。

【0139】

上記説明のキャリブレーション処理について、第１の実施の形態の変形例４の図２２に示すフローチャートを参照して説明する。以下では、主な変更のみ説明し、同様の処理を行うステップについては、説明を省略する。この場合、図２２のステップＳ１２３において、アイコン３００Ｂと別のアイコンとを表示し、ステップＳ１２４では、操作検出器１３は、ユーザ１２の右手の指先のＺ方向−側への移動の検出を開始する。ユーザ１２は指をさらにＺ方向−側へ移動させて、指先が空中像３００のアイコン３００Ｂの表示位置を操作していると感じた時点で、左手の指先で別のアイコンの表示位置への操作をする。ステップＳ１２７においては、左手が別のアイコンの表示位置への操作をした時点における右手の指先の位置を指定位置５０Ａとし、画像生成部２０１は、指定位置５０Ａに基づき、補助画像３１の表示位置を変更し、その変更された補助画像３１の移動量のデータを記憶部２０５に記憶する。
なお、以上の説明では第１のキャリブレーション処理モードにおける処理を説明したが、第２のキャリブレーション処理モードの場合には、第１の実施の形態において説明した図９に示すフローチャートの処理を行う。ただし、図９のフローチャートにおいてステップＳ２４において、検出基準制御部２０４は、ユーザ１２の右手によるアイコン３０Ａに対する操作を検出している状態で、検出基準制御部２０４が、左手による別のアイコンの表示位置への操作を検出したとする。この場合に、検出基準制御部２０４は、ステップＳ２７およびステップＳ２９において到達位置の判定に代えて、ユーザ１２の右手の指先の位置を指定位置５０Ａと判定する。ステップＳ３０では、ステップＳ２９で判定された指定位置５０Ａが検出基準４０と一致するか否かを判定する。

【0140】

変形例５では、ユーザ１２は、キャリブレーション処理において指がアイコンを操作する位置を指定する指定位置を、別のアイコン、または表示装置１の決定ボタンを操作することによって指定している。このようにユーザ１２がアイコン３００Ｂを知覚する位置をユーザ１２に指定させるため、表示装置１は、正確にキャリブレーション処理を行うことができる。また、このような指定位置を、別のアイコンまたは表示装置のボタンの操作によって指定することは、迅速にキャリブレーション処理を行うことができる。

【0141】

（第１の実施の形態の変形例６）
変形例６の表示装置は、ユーザ１２が指先でアイコンの表示位置を操作したと思ったら、ユーザ１２が指を所定時間停止させることにより指定位置を指定するものである。なお、この本変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜５にも適用できる。

【0142】

この場合には、キャリブレーション用の空中像に含まれるアイコンに、メッセージ「キャリブレーションを行います。このアイコンの位置を指し示して下さい。指し示した状態をしばらくキープして下さい。」が重畳表示される。ユーザ１２がアイコンの表示位置を操作したと感じて、しばらくの間、指の移動を停止すると、操作検出器１３は指の下降移動が所定時間停止したことを検出する。検出基準制御部２０４は、このときの操作検出器１３の検出出力に基づき、指の停止位置を指定位置として判定する。

【0143】

この指定位置の判定は、次のように行われる。即ち、Ｚ方向−側に移動している指先Ｆが停止してＺ方向の比較的小さい所定の停止範囲内に所定の時間以上、滞在したことをもって、アイコン３００Ａの表示位置への操作が行われたと判定する。このように、指先Ｆが所定の時間以上、所定の停止範囲内に留まることをもって、指先Ｆのアイコン３００Ａの表示位置への操作と判定する理由は、次の通りである。すなわち、ユーザ１２による操作が空中像３００のアイコン３００Ａの表示位置への操作であるため、タッチパネルへの操作とは異なり、指先Ｆがアイコン３００Ａの表示位置で完全には停止しない可能性があるからである。なお、指定位置判定のための所定の停止範囲は、操作検出器１３の静電容量の検出範囲１３Ａに比べて十分に小さい値、例えば５ｍｍに設定され、また、所定の時間は、例えば２秒程度に設定される。

【0144】

変形例６では、ユーザ１２は、キャリブレーション処理において指がアイコンを操作する位置を指定する指定位置を、指先Ｆを停止させることによって指定している。このようにユーザ１２がアイコン３００Ａを知覚する位置をユーザ１２に指定させるため、表示装置１は、正確にキャリブレーション処理を行うことができる。

【0145】

（第１の実施の形態の変形例７）
変形例７の表示装置は、ユーザ１２が、指先でアイコンの表示位置を操作したと思った指定位置を発声によって指定するものである。なお、この変形例は、第１の実施の形態における第１のキャリブレーション処理モードに適用した場合について説明するが、第２のキャリブレーション処理モードや上述した変形例１〜６にも適用できる。

【0146】

図２３は、本変形例の表示装置１の構成のうち、制御部２０と、制御部２０によって制御される表示器１１及び操作検出器１３とを示したブロック図である。この表示装置１には、集音器１９を含み、制御部２０には音声検出部２０８が備えられる。集音器１９は、表示装置１の周囲の音を集音し、音声データとして音声検出部２０８に出力する。集音器１９としては市販のマイクロフォンを用いることができる。音声検出部２０８は、集音器１９からの音声データを識別し、その音声データが「ハイ」に相当するか否かを判別する。

【0147】

図２３において、キャリブレーション部２０３が第１のキャリブレーション処理モードを起動すると、画像生成部２０１は、表示用画像データを生成し、この表示用画像データに基づき表示器１１は、キャリブレーション用の表示画像を表示する。この場合、空中像３００は、第１の実施の形態の変形例４の図２０に示すキャリブレーション用アイコン３００Ｂを含む。このキャリブレーション用アイコン３００Ｂには、図２０に示すメッセージに代えて、「キャリブレーションを行います。このアイコンにタッチしたところで「ハイ」と声を出して下さい」が重畳表示される。

【0148】

ユーザ１２は、アイコン３００Ｂに重畳表示されたメッセージに従いアイコン３００Ｂの表示位置への操作をするために、指先をアイコン３００Ｂの方に向けて移動する。ユーザ１２は、指先がアイコン３００Ｂにタッチしたと思ったところで、メッセージに従い「ハイ」と声を出す。操作検出器１３は、指先のＺ方向−側への移動を検出する。集音器１９は、この声を集音し、音声データとして音声検出部２０８に出力する。音声検出部２０８が、音声データが「ハイ」に対応することを判定すると、検出基準制御部２０４が、その時点における操作検出器１３によって検出される指先の位置を指定位置５０Ａと判定する。画像生成部２０１は、判定された指定位置５０Ａに基づいて、第１の実施の形態の場合と同様にして、補助画像３１の表示位置の移動量を算出して、表示位置を変更する。画像生成部２０１は、算出した移動量を示すデータを記憶部２０５に記憶する。

【0149】

上記説明のキャリブレーション処理について、第１の実施の形態の変形例４の図２２に示すフローチャートを参照して説明する。変更点は図２２のステップＳ１２６であるため、図２２のステップＳ１２６を重点的に説明し、他のステップの説明は省略する。図２２のステップＳ１２６では、音声検出部２０８は、集音器１９からの出力に基づいて、ユーザ１２が「ハイ」を発声したかどうか判定する。ステップＳ１２６において肯定判定された場合、即ち、ユーザ１２がアイコン３００Ｂをタッチしたと思って「ハイ」という声を出したと判定した場合、検出基準制御部２０４が、音声検出部２０８が音声「ハイ」を判定した時点における指先の位置を指定位置５０Ａと決定、即ち判定する。
なお、以上の説明では第１のキャリブレーション処理モードにおける処理を説明したが、第２のキャリブレーション処理モードの場合には、第１の実施の形態において説明した図９に示すフローチャートの処理を行う。ただし、図９のフローチャートにおいてステップＳ２４においてユーザ１２のアイコン３０Ａに対する操作を検出し、音声検出部２０８が音声「ハイ」を判定した場合に、検出基準制御部２０４はステップＳ２７およびステップＳ２９において到達位置の判定に代えて、指定位置５０Ａと判定する。ステップＳ３０では、ステップＳ２９で判定された指定位置５０Ａが検出基準４０と一致するか否かを判定する。

【0150】

変形例７では、ユーザ１２は、アイコンの表示位置を操作したと思った指の位置、即ち指定位置を、発声によって指定するものである。ユーザ１２が到達位置を発声によって指定することにより、表示装置１は迅速にキャリブレーション処理を行うことができる。
なお、表示装置１が集音器１９を備えず、外部の集音装置によって取得された音声データを無線や有線を介して入力し、外部の集音装置から入力した音声データを用いて音声検出部２０８が音声検出をしても良い。

【0151】

（第１の実施の形態の変形例８）
上記説明において、ユーザ１２の指先の下方への移動を、静電容量パネルにより構成される操作検出器１３によって検出したが、撮像装置によりユーザ１２の指先の位置を検出してもよい。変形例８の表示装置１は、図２４（ａ）に示すように、操作検出器として撮像装置（例えばデジタルカメラ）１８を備え、この撮像装置１８は表示装置１の上面に配置される。このような表示装置１のブロック図を図２４（ｂ）に示す。

【0152】

図２４（ｂ）にブロック図を示した表示装置１は、制御部２０には、画像解析部２０９を備えている。撮像装置１８は、表示器１１の上方に位置する物体、即ちユーザ１２の指を撮像し、撮像された撮像画像は、画像解析部２０９に入力される。画像解析部２０９は、撮像装置１８から入力された撮像画像を解析してユーザ１２の指先の位置を求める。即ち、画像解析部２０９は、撮像画像内における指の像の位置から、ユーザ１２の指先が複数のアイコンのうちのどのアイコンを操作しているのか判定する。更に、画像解析部２０９は、撮像画像内における指の像の大きさを、基準の指の大きさ、具体的には事前に撮像した所定高さ位置の指の大きさと比較することによって指の高さ位置、即ち指の降下位置を判定する。これにより、ユーザ１２の指先の３次元空間における位置が求められる。このような構成によって、変形例８の表示装置１は、静電容量パネルを用いた操作検出器１３により求めた指先の位置に関する情報と同様の情報を、撮像装置１８による撮像画像の解析により得ることができる。従って、変形例８の表示装置は、上述した第１実施の形態および種々の変形例１〜７で説明した静電容量パネルの代わりに撮像装置１８を使用して、上述した実施の形態および変形例と同様の処理を行うことができる。

【0153】

変形例８の表示装置１は、画像解析部２０９が、撮像画像における指の大きさから指の高さ位置を算出したが、その代わりに、撮像装置１８が、デジタルカメラに搭載されている位相差式焦点検出装置と画像認識装置によって、指の高さ位置を検出することもできる。具体的には、画像認識装置が指を認識し、位相差式焦点検出装置が画像認識装置によって認識された指についてデフォーカス量を検出し、このデフォーカス量から指の高さ位置を算出することができる。また、位相差式焦点検出装置の代わりにデジタルカメラに搭載されているコントラスト検出式焦点検出装置を使用しても同様に指の高さ位置を検出することができる。

【0154】

撮像装置１８としては、位相差式焦点検出装置やコントラスト検出式焦点検出装置の代わりに、ＴＯＦ（Time of Flight）装置を搭載したカメラを好適に用いることができる。ＴＯＦカメラは、カメラ本体から赤外線を出射し、対象物に反射してＴＯＦカメラに入射する赤外線を受光して、出射光と受光光の位相変化に基づいて、ＴＯＦカメラから対象物までに距離を算出する。従って、測定対象物をユーザ１２の指先として、ＴＯＦカメラからユーザ１２の指先に向けて赤外光を出射し、指先からの反射光を受光することで、ＴＯＦカメラからユーザ１２の指先までの距離を求めることができる。なお、撮像装置１８は、その撮像レンズとしては、空中像３０の全体をカバーするために広角レンズであることが好ましく、魚眼レンズであってもよい。また、複数（たとえば、２個）の撮像装置を搭載し、それらの撮像画像によりユーザ１２の指先の位置をより検出してもよい。

【0155】

ＴＯＦカメラを表示装置１に装備した例を図２５に示す。図２５は、表示装置１の内部構成のみを表しており、表示装置の本体は省略している。図２５において、本体１０の表面に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されている。ＴＯＦカメラ１１８’は赤外線を所定範囲にスキャンすることで、ユーザ１２の指先に赤外線を照射し、その反射光の位相変化により、ＴＯＦカメラ１１８’からユーザ１２の指先までの距離を測定する。この距離と赤外線の出射方向に基づいて、ＴＯＦカメラ１１８’に対するユーザ１２の指先の３次元空間における位置を求めることができる。即ち、指先の位置が空中像面内のいずれの位置に相当するか、また、指先の位置が表示装置１の表面からどれほど離れているか、が求まる。これにより、静電容量パネルによる指先の位置の検出情報と同様の情報を、ＴＯＦカメラ１１８’による測距結果から得ることができる。なお、上記の説明として、表示装置１の表面に、ＴＯＦカメラ１１８’を配置するための空間が設けられており、その空間にＴＯＦカメラ１１８’が配置されているような構成で説明したが、これに限らず、ＴＯＦカメラ１１８’を表示器１１の外部に設置するような構成であってもよい。

【0156】

変形例８の表示装置１においても、図２５に示すように、空中像３０が表示装置１のステージ１４のＺ方向−側の端部１４ｚから距離Ｈ１だけ離れた位置に形成され、検出基準４０は、ステージ１４のＺ方向−側の端部１４ｚから距離Ｈ２（Ｈ１＜Ｈ２）だけ離れた位置に設定される。ＴＯＦカメラ１１８’は、ステージ１４の上方（Ｙ方向＋側）においてＺ方向にユーザ１２の指先の位置を検出するための検出範囲１３Ａを有する。図２５では、ＴＯＦカメラ１１８’のＺ方向＋側に撮像可能な範囲の限界を破線１３ａで示し、この検出限界１３ａとステージ１４の端部１４ｚとの間隔が検出範囲１３Ａとして示される。変形例８においても、上記の第１の実施の形態や変形例１〜８の場合と同様に、空中像３０と検出基準４０とが検出範囲１３Ａ内に位置するように設定される。なお、検出基準４０は、図２５では空中像３０よりもＺ方向＋側に設定されているが、検出範囲１３Ａ内であれば、空中像３０よりもＺ方向−側でも、または空中像３０の位置に一致させてもよい。また、変形例８においても、検出範囲１３Ａ内のうち検出基準４０に設定された領域以外の範囲は検出基準外４１である。なお、検出範囲１３Ａは、ＴＯＦカメラ１１８’の撮像可能な範囲の限界として設定されるものに限定されず、撮像可能な範囲のうち一部の範囲（たとえば図２５中の左右方向の端部の所定範囲）を除いた範囲として設定されてもよい。

【0157】

上記説明では、本変形例８の表示装置１は、操作検出器１３としての静電容量パネルに代えて撮像装置１８を備えるものであった。しかし、表示装置１は、操作検出器１３と撮像装置１８とを共に備えるものであってもよい。この場合には、例えば、図３（ｃ）に示された操作検出器１３の検出範囲１３ＡをＺ方向＋側と−側にて二つに分割して、Ｚ方向−側の検出範囲（ステージ１４の端部１４ｚに近い方の検出範囲）とＺ方向＋側の検出範囲（ステージ１４の端部１４ｚから遠い方の検出範囲）とを形成する。Ｚ方向−側の検出範囲を静電容量パネルの検出範囲とし、Ｚ方向＋側の検出範囲を撮像装置１８の検出範囲とすることができる。このような構成によって、ユーザ１２が表示位置への操作のために指をＺ方向＋側から移動させた時には、撮像装置１８がその指の移動の前半部分を検出し、静電容量パネルが指の移動の後半部分を検出する。一般に、静電容量パネルは、ステージ１４の端部１４ｚの近傍範囲を高精度に検出することができ、逆に、撮像装置１８は、ステージ１４の端部１４ｚの近傍範囲を撮像することが難しい場合がある。このため、静電容量パネルの検出範囲と撮像装置１８の検出範囲とを上述のように分担させることは、好ましいことである。なお、検出範囲１３Ａの２分割は、検出範囲１３ＡをＺ方向に二等分する場合に限らず、不等分に分割してもよい。また、操作検出器１３は、静電容量パネルや撮像装置１８に限らず、他の近接センサなどを使用することができる。従って、検出範囲１３Ａを分割した場合には、種々の操作検出器１３が分割された検出範囲を分担することを可能である。

【0158】

図１７に示した速度・加速度検出部２０６は、図２５のＴＯＦカメラ１１８’の撮像画像に基づき指の移動速度や加速度を算出することもできる。従って、検出範囲１３Ａを分割した場合には、上方及び下方の検出範囲毎に、指の移動速度や加速度を算出し、到達位置予測部２０７が指の到達位置を予測することもできる。

【0159】

また、第１の実施の形態とその変形例１〜８において説明した結像光学系９に代えて、ハーフミラーと、再帰性反射部材とにより構成してもよい。再帰性反射部材は、たとえば複数の直角三角錐体の立体プリズムを配置し、入射した光を再び同一光路に向けて反射する反射材により製造される。このような構成を用いる場合、表示器１１からの光は、ハーフミラーで反射され（またはハーフミラーを透過して）、再帰性反射部材に入射して、同一光路に向けて反射される。再帰性反射部材からの光は、同一光路を進みながら結像する。再帰性反射部材からの光は、再びハーフミラーに入射し、ハーフミラーを透過して（またはハーフミラーで反射され）、表示器１１と共役な位置に結像することにより空中像を形成する。

【0160】

なお、上述の第１の実施の形態とその変形例１〜８では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第１の実施の形態、または変形例１〜８に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第１の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第１の実施の形態、または変形例１〜８に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。

【0161】

−第２の実施の形態−
図面を参照しながら、第２の実施の形態に係る表示装置１について説明する。第２の実施の形態においては、本実施の形態の表示装置１が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置１は、操作パネルに限らず、上述の第１の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
上述した第１の実施の形態とその変形例の表示装置１は、第１の表示であるアイコンのＺ方向の位置をユーザ１２に知覚させるための第２の表示を行うものであった。第２の実施の形態の表示装置は、アイコンのＺ方向の位置をユーザ１２に知覚させるために、実際の物体を用いるものである。以下、詳細に説明する。

【0162】

図２６（ａ）は、第２の実施の形態の表示装置１の外観斜視図であり、図２６（ｂ）は、表示装置１の主要部構成を説明するブロック図である。表示装置１は、第１の実施の形態の表示装置１が有する構成に加えて、実際の物体として枠１０１と、枠１０１をＺ方向に沿って駆動させるための駆動装置１７をさらに備える。制御部２０は、図２に示す第１の実施の形態の構成に加えて、駆動装置１７の動作を制御する駆動制御部２１０を有する。ただし、プロジェクタ１５およびプロジェクタ制御部２００を備えていなくてよい。
なお、図２４、図２５に示す第１の実施の形態の変形例８の表示装置１のように、撮像装置１８を備えていても良い。また、第２の実施の形態の表示装置１が行う到達位置や指定位置の検出には、第１の実施の形態や第１の実施の形態の各変形例で説明した種々の方法を適用することができる。

【0163】

枠１０１は、ステージ１４上にＸＹ平面に平行に設けられ、Ｚ方向に沿ってステージ１４上を移動可能に配置される。枠１０１は中央部に開口部１０１ＯＰを有し、この開口部１０１ＯＰに空中像３０が表示される。駆動装置１７は、枠１０１を駆動させるためのＺ方向に沿って設けられたガイドレールや、枠１０１をガイドレールに沿って駆動させるモータやアクチュエータ等を有する。
なお、図２６（ａ）に示す例では、枠１０１は空中像３０の外周の全域を囲む形状を示しているが、これに限定されず、空中像３０の外周の一部（たとえばＸ方向＋側、Ｘ方向−側、Ｙ方向＋側およびＹ方向−側の少なくとも一部）を囲う形状であってもよい。すなわち、空中像３０を囲む枠の形状とは、枠１０１の形状の一部に隙間があってもよい。

【0164】

なお、表示装置１が実物として枠１０１を備えるものに限定されない。表示装置１は、たとえば、実物として机や椅子や台等がＺ方向に沿って移動可能となるように備えているものでもよい。実物として机や椅子や台等を用いる場合には、机や椅子や台等の上面に空中像３０が表示される。なお、実物として用いるものは、表示される空中像３０と関連があるものが好ましい。たとえば、表示装置１が空中像３０として絵画を表示させる場合には、実物として額縁を用いることができる。また、たとえば、表示装置１が空中像３０として飲料水の瓶等を表示する場合には、実物として机を用いることができる。また、たとえば、表示装置１が空中像３０として楽譜を表示する場合には、実物として譜面台を用いてもよいし、空中像３０として目覚まし時計を表示する場合には、実物としてベッドを用いることができる。

【0165】

以下の説明では、キャリブレーション処理として第１のキャリブレーション処理モードの場合を例に挙げるが、第２のキャリブレーション処理モードの場合にも適用することができる。なお、以下の説明では、ユーザ１２の操作が検出された位置を第１の実施の形態で説明した到達位置５０を例に挙げて説明するが、第１の実施の形態とその変形例で説明した到達位置や指定位置を適用できる。
図２７は、第２の実施の形態の表示装置１により表示される空中像３００を模式的に示す図である。空中像３００は、第１の実施の形態（図４（ａ）参照）の場合と同様に、キャリブレーション用アイコン３００Ａを含む。図２７（ａ）は、アイコン３００Ａが初期表示された場合を示す。ユーザ１２は、枠１０１とのＺ方向の位置関係からアイコン３００ＡのＺ方向における表示位置を知覚する。

【0166】

初期表示されたアイコン３００Ａに対するユーザ１２の操作による到達位置５０が検出基準４０の手前（Ｚ方向＋側）の場合（図５（ｂ）に示す場合）、制御部２０は、初期表示の場合と比べてアイコン３００Ａが奥行側、すなわちＺ方向−側に位置するようにユーザ１２に知覚させる。この場合、駆動制御部２１０は、到達位置５０と検出基準４０との間のＺ方向の距離に基づいて、枠１０１のＺ方向−側への駆動量ΔＺ１を算出し、駆動装置１７に駆動信号として出力する。駆動装置１７は、駆動信号を入力すると、枠１０１をＺ方向−側に駆動させる。

【0167】

図２７（ｂ）は、上記のように枠１０１がＺ方向−側に駆動された場合の、アイコン３００Ａと枠１０１との位置関係を模式的に示す図である。枠１０１が奥側、すなわちＺ方向−側に移動量ΔＺ１にて駆動されたことにより、枠１０１を基準として空中像３０のＺ方向の表示位置を知覚していたユーザ１２は、空中像３０がＺ方向−側に表示されているものとして知覚する。これにより、ユーザ１２の空中像３０に対する操作が、よりＺ方向−側で行われることが期待される。

【0168】

初期表示されたアイコン３００Ａに対してユーザ１２が操作を行い、ユーザ１２の操作による到達位置５０が、検出基準４０の奥側（Ｚ方向−側）の場合（図５（ｄ）に示す場合）、制御部２０は、初期表示の場合と比べてアイコン３００Ａが手前側、すなわちＺ方向＋側に位置するようにユーザ１２に知覚させる。この場合、駆動制御部２１０は、到達位置５０と検出基準４０との間のＺ方向の距離に基づいて、枠１０１のＺ方向＋側への駆動量ΔＺ２を算出し、駆動装置１７に駆動信号として出力する。駆動装置１７は、駆動信号を入力すると、枠１０１をＺ方向＋側に駆動させる。

【0169】

図２７（ｃ）は、上記のように枠１０１がＺ方向＋側に駆動された場合の、アイコン３００Ａと枠１０１との位置関係を模式的に示す図である。枠１０１がユーザ１２側、すなわちＺ方向＋側に駆動されたことにより、枠１０１を基準として空中像３０のＺ方向の表示位置を知覚していたユーザ１２は、空中像３０がＺ方向＋側に表示されているものとして知覚する。これにより、ユーザ１２の空中像３０に対する操作が、よりＺ方向＋側で行われることが期待される。
なお、到達位置５０と検出基準４０との間のＺ方向の距離と、枠１０１のＺ方向の駆動量と駆動方向とは、試験等の結果に基づいて、予め関連付けされた関連データとして記憶部２０５に記憶される。駆動制御部２１０は、この関連データを参照して、枠１０１の駆動量を算出する。

【0170】

図２８のフローチャートを参照して、第２の実施の形態の表示装置１の第１のキャリブレーション処理モードにおける処理を説明する。
ステップＳ８０１〜ステップＳ８０５の各処理は、第１の実施の形態において図７に示すフローチャートのステップＳ１〜Ｓ６の各処理と同様である。ステップＳ８０６では、駆動制御部２１０は、到達位置や指定位置と検出基準４０との間の距離に基づいて、枠１０１の駆動量と駆動方向を算出してステップＳ８０７へ進む。ステップＳ８０７〜ステップＳ８１３までの各処理は、第１の実施の形態において図７に示すフローチャートのステップＳ７〜ステップＳ１３までの各処理と同様である。ただし、ステップＳ８０９においては、空中像３０を表示するとともに、駆動制御部２１０は、駆動装置１７を制御して、枠１０１をステップＳ８０７にて算出された駆動量と駆動方向にて駆動させる。
なお、第２のキャリブレーション処理モードの場合には、第１の実施の形態において示した図９のフローチャートの処理を行う。ただし、図９におけるステップＳ２８およびステップＳ３２の処理に代えて、図２８におけるステップＳ８０６と同様に枠１０１の駆動量と駆動方向とを算出し、ステップＳ８０９と同様に枠１０１を算出した駆動量と駆動方向に従って駆動させる。

【0171】

第２の実施の形態では、駆動制御部２１０は、空中像３００の位置と異なる位置に位置する実際の物体（枠１０１）との位置関係を、物体を制御し変更する。これにより、ユーザ１２に、物体の位置に空中像３０があると知覚させ、ユーザ１２の操作を検出基準４０で検出することができる。

【0172】

また、第２の実施の形態では、駆動制御部２１０は、ユーザ１２の操作の到達位置５０が検出基準４０に到達したか否かに基づいて、枠１０１が移動する方向を決定する。これにより、キャリブレーション処理により、ユーザ１２の操作の到達位置５０を検出基準４０に到達させることができる。

【0173】

また、第２の実施の形態では、駆動制御部２１０は、ユーザ１２の操作に基づく方向、またはユーザ１２の操作に基づく方向とは反対の方向に枠１０１を移動させる。したがって、ユーザ１２に、Ｚ方向に沿って操作を行う位置を変更させて、ユーザ操作を検出基準４０で検出可能にすることができる。

【0174】

また、第２の実施の形態では、駆動制御部２１０は、ユーザ１２の操作が検出基準４０に到達しない場合（図５（ｂ）参照）、ユーザ１２の操作に基づく方向に枠１０１の位置を移動する。すなわち、ユーザ１２は、あたかもアイコン３００Ａの位置がユーザ１２から離れる方向に変更されたように知覚する。これにより、ユーザ１２にさらにＺ方向−方向へ操作させて、検出基準４０に到達させることができる。

【0175】

また、第２の実施の形態では、駆動制御部２１０は、ユーザ１２の操作が検出基準に到達する場合（図５（ｄ）参照）、ユーザ１２の操作に基づく方向とは反対方向に枠１０１の位置を移動する。すなわち、ユーザ１２は、あたかもアイコン３００Ａの位置がユーザ１２に接近する方向に変更されたように知覚する。これにより、ユーザ１２に、操作をよりユーザ１２に近い側の位置で行わせ、ユーザ１２の操作を検出基準４０に位置させることができる。

【0176】

また、第２の実施の形態では、駆動制御部２１０は、物体である枠１０１の位置を制御し、検出基準４０と枠１０１の位置関係を変更する。これにより、ユーザ１２に、物体である枠１０１の位置に空中像３００があると知覚させ、ユーザ１２の操作を検出基準４０で検出することができる。

【0177】

また、第２の実施の形態では、駆動制御部２１０は駆動装置１７を制御して、枠１０１の位置を移動する。これにより、ユーザ１２に、枠１０１の位置の移動によって、空中像３００も移動したと知覚させ、操作を行う位置を検出基準４０に変更することができる。

【0178】

（第２の実施の形態の変形例１）
第２の実施の形態では、実物としての枠１０１がＺ方向に沿って移動する場合を例に挙げて説明したが、枠１０１の移動はこの例に限定されない。図２９は、この場合の空中像３００と枠１０１との位置関係を模式的に示す図である。枠１０１は、枠１０１の下辺１０１ａにてステージ１４上に配置され、この下辺１０１ａを軸に回動可能に設けられる。駆動装置１７は、枠１０１を下辺１０１ａを軸に回動させるためのアクチュエータである。すなわち、枠１０１は、図２９の矢印ＡＲ２に沿って回動する。

【0179】

図２９（ａ）は、空中像３００が初期表示された場合を示す。この場合、枠１０１は、駆動装置１７によりＺＸ平面に対する傾き角が９０°の位置に駆動される。キャリブレーション処理の結果、到達位置や指定位置が検出基準４０よりもユーザ１２側（Ｚ方向＋側）の場合（図５（ｂ）参照）、駆動装置１７は、枠１０１とＺＸ平面に対する傾き角が、Ｘ方向＋側から見た時に反時計回りに９０°よりも小さいθ１となる位置に枠１０１を駆動させる。この場合、駆動制御部２１０は、ユーザ１２の操作による到達位置や指定位置と検出基準４０との間の距離に基づいて、傾き角θ１を算出する。

【0180】

図２９（ｂ）は、傾き角がθ１に変更された場合の、空中像３００と枠１０１との位置関係を模式的に示す図である。傾き角がθ１（＜９０°）に変更されることにより、枠１０１がユーザから離れる側に向けて回動する。これにより、ユーザ１２は、枠１０１の位置に空中像３００の表示位置を知覚しているので、枠１０１の位置がＺ方向−側に位置することにより、空中像３００の表示位置がＺ方向−側に移動したように知覚する。

【0181】

キャリブレーション処理の結果、到達位置や指定位置が検出基準４０よりも奥側（Ｚ方向−側）の場合（図５（ｄ）参照）、駆動装置１７は、枠１０１とＺＸ平面との傾き角が９０°よりも大きいθ２となる位置に枠１０１を駆動させる。この場合、駆動制御部２１０は、ユーザ１２の操作による到達位置や指定位置と検出基準４０との間の距離に基づいて、傾き角θ２を算出する。

【0182】

図２９（ｃ）は、傾き角がθ２に変更された場合の、空中像３００と枠１０１との位置関係を模式的に示す図である。傾き角が、Ｘ方向＋側から見た時に反時計回りにθ２（＞９０°）に変更されることにより、枠１０１がユーザに接近する方向に向けて回動する。これにより、ユーザ１２は、枠１０１の位置に空中像３００の表示位置を知覚しているので枠１０１の位置がＺ方向＋側に位置することにより、空中像３００の表示位置がＺ方向＋側に移動したように知覚する。
なお、到達位置５０と検出基準４０との間のＺ方向の距離と、枠１０１がＸＹ平面となす傾き角とは、試験等の結果に基づいて、予め関連付けされた関連データとして記憶部２０５に記憶される。駆動制御部２１０は、この関連データを参照して、枠１０１の傾き角を算出する。

【0183】

第２の実施の形態の変形例１の表示装置１のキャリブレーション処理について、第１のキャリブレーション処理モードを例に説明する。この場合、図２８に示す第２の実施の形態のフローチャートにおけるステップＳ８０６の処理の際、駆動制御部２１０は、枠１０１の駆動量と駆動方向とを算出する代わりに、傾き角を算出する。
なお、第２のキャリブレーション処理モードの場合には、第１の実施の形態において示した図９のフローチャートの処理を行う。ただし、図９におけるステップＳ２８およびステップＳ３２の処理に代えて、駆動制御部２１０は枠１０１の傾き角を算出し、算出した傾き角に基づいて、枠１０１を駆動させる。

【0184】

第２の実施の形態の変形例１では、駆動装置１７は、枠１０１を軸周りに回転させて枠１０１の位置を移動させる。これにより、空中像３０がＺＸ平面に対して所定の角度を有して表示される場合であっても、ユーザ１２は空中像３０の空中での位置を知覚することができる。
また、駆動装置１７は、枠１０１を軸周りに回動させるだけであるため、簡単な構成で装置を製造することができる。

【0185】

（第２の実施の形態の変形例２）
上述した第２の実施の形態やその変形例１では、空中像に対して実物を移動させることにより、相対的に空中像の空中での位置がＺ方向に変更されたようにユーザ１２に知覚させるものであった。本変形例２では、複数のＬＥＤがＺ方向に沿って配置され、複数のＬＥＤのうち点灯しているＬＥＤのＺ方向における位置が空中像のＺ方向の位置であるようにユーザ１２に知覚させる。そして、点灯しているＬＥＤのＺ方向における位置を変更することによって、ユーザ１２が知覚する空中像のＺ方向の位置を変更させ、ユーザ１２に適切な位置で操作を行わせることができるようになる。以下詳細に説明する。

【0186】

図３０（ａ）は、変形例２における表示装置１の外観斜視図であり、図３０（ｂ）は変形例３における表示装置１の主要部構成を示すブロック図である。図３０（ａ）に示すように、ステージ１４のＸ方向−側には、Ｚ方向に沿って５個のＬＥＤ１０３ａ〜１０３ｅ（総称する場合には、符号１０３を用いる）が配置される。なお、ＬＥＤ１０３の個数は、上記の５個に限定されるものではない。また、ＬＥＤ１０３はステージ１４のＸ方向＋側に配置されてもよい。また、ＬＥＤ１０３はステージ１４上にＺ方向に沿って配置され、下方（Ｙ方向−側）から空中像３０に向けて点灯してもよい。

【0187】

図３０（ｂ）は、制御部２０と、制御部２０により制御される表示器１１と操作検出器１３とＬＥＤ１０３とを示す。制御部２０は、ＬＥＤ１０３の点灯を制御する点灯制御部２１１を備える。点灯制御部２１１は、複数のＬＥＤ１０３のうちいずれのＬＥＤ１０３を点灯させるかを決定し、決定したＬＥＤ１０３を点灯する。制御部２０の他の構成については、第１の実施の形態とその変形例や第２の実施の形態とその変形例における画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを適用することができる。

【0188】

図３１は、第２の実施の形態の変形例２の表示装置１により表示される空中像３００を模式的に示す図である。なお、図３１では、点灯しているＬＥＤ１０３にドットを付して示す。空中像３００は、第１の実施の形態（図４（ａ）参照）の場合と同様に、キャリブレーション用アイコン３００Ａを含む。図３１（ａ）は、アイコン３００Ａが初期表示された場合を示す。点灯制御部２１１は、ＬＥＤ１０３ｃを点灯させる。ユーザ１２は、点灯しているＬＥＤ１０３ｃとのＺ方向の位置関係からアイコン３００ＡのＺ方向における表示位置を知覚する。

【0189】

初期表示されたアイコン３００Ａに対するユーザ１２の操作による到達位置５０が検出基準４０の手前（Ｚ方向＋側）の場合（図５（ｂ）に示す場合）、制御部２０は、初期表示の場合と比べてアイコン３００Ａが奥行側、すなわちＺ方向−側に位置するようにユーザ１２に知覚させる。この場合、点灯制御部２１１は、点灯中のＬＥＤ１０３ｃよりもＺ方向−側に配置されたＬＥＤ１０３ａ、１０３ｂの中から、到達位置５０と検出基準４０との間のＺ方向の距離に基づいて、何れかを選択する。すなわち、到達位置５０と検出基準４０との間の距離が所定値を超える場合には、点灯制御部２１１はＬＥＤ１０３ａを選択し、到達位置５０と検出基準４０との間の距離が所定値以下の場合には、点灯制御部２１１はＬＥＤ１０３ｂを選択する。

【0190】

図３１（ｂ）に示す例では、点灯制御部２１１がＬＥＤ１０３ｂを選択した場合を示す。点灯するＬＥＤ１０３が、ユーザ１２側のＬＥＤ１０３ｃからＬＥＤ１０３ｂに変更されたことにより、点灯していたＬＥＤ１０３ｃを基準としてアイコン３００ＡのＺ方向の表示位置を知覚していたユーザ１２は、アイコン３００ＡがＺ方向−側に表示されているものとして知覚する。これにより、ユーザ１２の空中像３００に対する操作が、よりＺ方向−側で行われることが期待される。

【0191】

初期表示されたアイコン３００Ａに対するユーザ１２の操作による到達位置５０が検出基準４０の奥側（Ｚ方向−側）の場合（図５（ｄ）に示す場合）、制御部２０は、初期表示の場合と比べてアイコン３００Ａが手前側、すなわちＺ方向＋側に位置するようにユーザ１２に知覚させる。この場合、点灯制御部２１１は、点灯中のＬＥＤ１０３ｃよりもＺ方向＋側に配置されたＬＥＤ１０３ｄ、１０３ｅの中から、到達位置５０と検出基準４０との間のＺ方向の距離に基づいて、何れかを選択する。すなわち、到達位置５０と検出基準４０との間の距離が所定値を超える場合には、点灯制御部２１１はＬＥＤ１０３ｅを選択し、到達位置５０と検出基準４０との間の距離が所定値以下の場合には、点灯制御部２１１はＬＥＤ１０３ｄを選択する。

【0192】

図３１（ｃ）に示す例では、点灯制御部２１１がＬＥＤ１０３ｄを選択した場合を示す。点灯するＬＥＤ１０３が、ＬＥＤ１０３ｃからユーザ１２側のＬＥＤ１０３ｄに変更されたことにより、点灯していたＬＥＤ１０３ｃを基準としてアイコン３００ＡのＺ方向の表示位置を知覚していたユーザ１２は、アイコン３００ＡがＺ方向＋側に表示されているものとして知覚する。これにより、ユーザ１２の空中像３０に対する操作が、よりＺ方向＋側で行われることが期待される。

【0193】

第２の実施の形態の変形例２の表示装置１のキャリブレーション処理について、第１のキャリブレーション処理モードを例に説明する。この場合、図２８に示す第２の実施の形態のフローチャートにおけるステップＳ８０６の処理の際、点灯制御部２１１が、点灯するＬＥＤを選択する。ステップＳ８０９の処理の際、点灯制御部２１１は、ステップＳ８０６で選択したＬＥＤ１０３を点灯させる。
なお、第２のキャリブレーション処理モードの場合には、第１の実施の形態において示した図９のフローチャートの処理を行う。ただし、図９におけるステップＳ２８およびステップＳ３２の処理に代えて、点灯制御部２１１が、ＬＥＤ１０３を選択して、選択したＬＥＤ１０３を点灯させる。

【0194】

なお、ＬＥＤ１０３が点灯していることをユーザ１２が明確に認識できるような表示を、空中像３００に加えてもよい。たとえば、画像生成部２０１は、Ｘ方向−側からＬＥＤ１０３により出射した光を、図１６で示したような光の筋（光芒）を用いて表した表示用画像データを生成する。

【0195】

図３２は、このような表示用画像データを空中像３００として表示した場合を模式的に示す図である。図３２（ａ）は、光の筋３１０がアイコン３００Ａの前面をＸ方向に沿って横切って進む空中像３００である。この場合、ユーザ１２は、アイコン３００ＡがＬＥＤ１０３ｃよりもやや後方（Ｚ方向−側）に位置していると知覚することもできる。図３２（ｂ）は、光の筋３１０がアイコン３００Ａの後方をＸ方向に沿って進む空中像３００である。この場合、ユーザ１２は、アイコン３００ＡがＬＥＤ１０３ｃよりもやや前方（Ｚ方向＋側）に位置していると知覚することもできる。

【0196】

第２の実施の形態の変形例２では、点灯制御部２１１は、複数のＬＥＤ１０３のうち点灯させるＬＥＤ１０３を制御し、検出基準４０と点灯したＬＥＤ１０３との位置関係を制御する。これにより、ユーザ１２は、点灯中のＬＥＤ１０３を基準として、空中像３００のＺ方向の位置を知覚し、ユーザ１２の操作を検出基準４０で検出することができる。

【0197】

また、第２の実施の形態の変形例２では、画像生成部２０１は、点灯したＬＥＤ１０３の光線を示す表示を空中像３００に行う。これにより、ユーザ１２は、ＬＥＤ１０３の点灯を視認することができる。これにより、ユーザ１２は、点灯中のＬＥＤ１０３を基準として、空中像３００のＺ方向の位置を知覚し、ユーザ１２に検出基準４０で操作を行わせることができる。

【0198】

なお、上述の第２の実施の形態とその変形例１〜４では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第２の実施の形態、または変形例１〜４に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第２の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第２の実施の形態、または変形例１〜４に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。

【0199】

−第３の実施の形態−
図面を参照しながら、第３の実施の形態に係る表示装置１について説明する。第３の実施の形態においては、本実施の形態の表示装置１が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置１は、操作パネルに限らず、上述の第１の実施の形態とその変形例や第２の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
第３の実施の形態の表示装置１は、第１の実施の形態の表示装置１と同様に、アイコンの空中像の下方に影画像を表示するものであるが、表示装置１の装置構成が第１の実施の形態の表示装置１とは異なる。したがって、第１の実施の形態に係る表示装置１の代わりに第３の実施の形態の係る表示装置１を、第１の実施の形態に提供してもよい。以下、詳細に説明する。

【0200】

図３３（ａ）に、第３の実施の形態の表示装置１のＹＺ平面による断面を模式的に示す。表示装置１は、本体１０の内部に、結像光学系９と、表示器１１と、操作検出器１３と、制御部２０とを有する。結像光学系９と、操作検出器１３とは上述した第１の実施の形態とその変形例や、第２の実施の形態とその変形例の構成が適用される。なお、図２４、２５に示す第１の実施の形態の変形例８の表示装置１のように、撮像装置１８を備えていても良い。
第３の実施の形態においては、表示器１１に国際公開公報２０１１／１５８９１１に記載の技術を適用させて良い。すなわち、表示器１１が三次元の立体像を表示させるライトフィールド表示が可能な構成を有し、表示器１１に二次元表示用の画像を表示させることにより、Ｚ方向に沿った異なる位置に空中像３０を形成させる。

【0201】

図３３（ｂ）は、第３の実施の形態による表示装置１の表示器１１と結像光学系９を模式的に示すＹＺ平面における断面図である。図示の通り、表示器１１の表示面には、二次元状に配列された複数のマイクロレンズ１１１により構成されるマイクロレンズアレイ１１２が配置される。１つのマイクロレンズ１１１は、表示器１１の複数の表示画素Ｐごとに設けられる。表示器１１とマイクロレンズアレイ１１２とは、ＺＸ平面に対して所定の傾き角−θを有して配置される。なお、図３３（ｂ）に示す例では、図示の都合上、５×５の表示画素Ｐに対して１個のマイクロレンズ１１１が設けられた例を示しているが、実際の表示画素Ｐの個数よりも少なく描いている。マイクロレンズアレイ１１２は、表示器１１の表示面からマイクロレンズ１１１の焦点距離ｆだけ光軸方向に沿って離れた位置に配置される。各マイクロレンズ１１１は、表示された画像に基づいて表示画素Ｐからの光を所定の像面に投影する。なお、マイクロレンズ１１１に代えて、レンチキュラーレンズを配置しても良い。

【0202】

結像光学系９は、マイクロレンズアレイ１１２の上方に、マイクロレンズアレイ１１２から所定の間隔を設け、ＺＸ平面に平行に配置される。結像光学系９は、第１の実施の形態において、図１（ｃ）に示した構造が適用される。結像光学系９内に配置された複数のミラー素子９０は、それぞれ、表示画素Ｐから出射された光を反射し、収束してＺＸ平面と角度θをなす実像を結像する（図３３（ａ）参照）。この実像は、倍率が等倍、すなわち大きさが表示画素Ｐと同一である。すなわち、複数のミラー素子９０は、表示器１１から出射された光を反射して、ステージ１４上の空中の結像位置に結像させる。

【0203】

この表示器１１では、空中像３０を構成する各光点ＬＰが空中に形成されるためには、それぞれの光点ＬＰを形成する光は、異なる複数のマイクロレンズ１１１のそれぞれに被覆される一部の表示画素Ｐから出射される。なお、光点ＬＰは、表示器１１とマイクロレンズ１１１とによって空中に表示された像であるため、空中像である。図３３（ｂ）に示す例では、斜線を付して示す表示画素Ｐから出射された光がマイクロレンズ１１１により投影されて光点ＬＰを形成する。この場合、１つのマイクロレンズ１１１によって被覆される表示画素Ｐの個数（図３３（ｂ）の例では５×５個）が異なる複数のマイクロレンズ１１１に分散して割り当てられる。この割り当て方に基づいて、空中に形成される光点ＬＰのマイクロレンズ１１１の光軸方向に対する位置を異ならせることができる。空中像３０は、このようにして形成された光点Ｐが結像光学系９によってＹ方向に結像されることにより形成される。以上により、空中像３０のＹ方向に対する位置は、表示器１１に表示する画像を変更することによって変更される。

【0204】

図３３（ｃ）は、第３の実施の形態による表示装置１の主要部構成を示すブロック図である。図３３（ｃ）は、制御部２０と、制御部２０によって制御される表示器１１と、操作検出器１３とを示す。制御部２０が備える構成として、図２に示す第１の実施の形態の画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と同様の構成を適用することができる。また、第３の実施の形態の表示装置１が行う到達位置や指定位置の検出や、補助画像３１の表示態様には、第１の実施の形態や第１の実施の形態の各変形例で説明した種々の方法を適用することができる。
第３の実施の形態では、画像生成部２０１が影画像である補助画像３１を表示するための補助画像データを生成し、表示制御部２０２が生成された補助画像データを表示器１１に表示させる。これにより、影画像である補助画像３１、すなわち第２の表示の基礎となる第２画像が表示器１１に表示され、補助画像３１が表示器１１によって第４の表示として図３３（ａ）の領域Ｒ１に表示される。領域Ｒ１の第４の表示は、結像光学系９により、第２の表示である補助画像３１として空中に表示される。なお、画像生成部２０１は、第１の実施の形態の変形例１で示した各種の態様の影画像（図１０、図１１、図１３、図１４、図１５）に対応する補助画像データを生成してよい。

【0205】

補助画像３１は、第１の表示であるアイコン３０Ａの影を表すので、アイコン３０Ａの下方（Ｙ方向−側）に表示されるのがよい。このため、表示制御部２０２は、補助画像データが図３３の領域Ｒ１にて光点を形成するように、補助画像データを表示器１１の表示画素Ｐに表示させる。すなわち、表示制御部２０２は、領域Ｒ１が結像光学系９の下部（Ｙ方向−側）の近傍に形成されるように、補助画像データを表示画素Ｐに割り当てる。領域Ｒ１で結像した光は、結像光学系９によって、図３３（ａ）に示すように、結像光学系９の上部（Ｙ方向＋側）の近傍の位置、すなわち、表示器１１とアイコン３０Ａとの間に補助画像３１として表示される。

【0206】

表示制御部２０２は、アイコン３０Ａを表示させるための表示用画像データ、すなわち第１の表示の基礎となる第１画像を表示画素Ｐに表示させる。アイコン３０Ａは、補助画像３１よりも上方（Ｙ方向＋側）に表示されるのがよい。このため、表示制御部２０２は、表示用画像データが、領域Ｒ１よりも下方（Ｙ方向−側）、すなわち表示器１１に近い側の領域Ｒ２にて光点を形成するように、表示用画像データを表示画素Ｐに割り当てる。
ただし、補助画像データを表示するべき表示画素Ｐと表示用画像データを表示するべき表示画素Ｐとが同一の表示画素Ｐの場合、補助画像データと表示用画像データとを同時に表示させることができなくなる。このため、表示器１１によりアイコン３０Ａと補助画像３１との表示を行う場合、表示制御部２０２は、表示画素Ｐによる補助画像データの表示と、表示画素Ｐによる表示用画像データの表示とを、所定の周期ごとに切り替えて行う。これにより、ユーザ１２は、アイコン３０Ａとその下方の補助画像３１とを空中像として視認する。

【0207】

キャリブレーション処理を行う場合には、第１の実施の形態とその変形例にて説明したように、到達位置や指定位置と検出基準４０との間の距離に基づいて、補助画像３１が表示される位置を変更する。この場合、画像生成部２０１が、第１の実施の形態とその変形例の場合と同様にして補助画像データを生成し、表示制御部２０２は補助画像データを表示画素Ｐに表示させる。すなわち、第１の実施の形態において、図７のフローチャートにおけるステップＳ９や、図９のフローチャートにおけるステップＳ２８やＳ３２において、表示制御部２０２が補助画像データを表示画素Ｐに表示させる。

【0208】

なお、第３の実施の形態の表示装置１は、キャリブレーション処理を実行しなくてもよい。すなわち、第３の実施の形態の表示装置１は、ユーザ１２の操作に基づいて所定の動作を行うものではなく、単にある画像の空中像３０と、その影である補助画像３１とを表示するための装置であってもよい。

【0209】

また、上記の説明では、補助画像３１として影画像を表示させる場合を例に挙げたが、図１６に示す第１の実施の形態の変形例１のように、補助画像３１が照明光源のような明るい画像であってもよい。
また、第１の実施の形態のように、補助画像３１として、空中像３０の位置を示し、物を載置するような台、テーブル、机等を表示させてもよい。また、表示装置１によって立体的な補助画像３１を表示させてもよい。すなわち、補助画像３１として表示させる、台、テーブル、机等の載置する物を立体的に表示させてもよい。また、立体的に補助画像３１を表示させる場合は、空中像３０を支持するような棒を表示させてもよい。棒の先端部分を空中像３０に接続するように表示し、あたかも補助画像３１の棒によって空中像３０が支持されているように表示してもよい。なお、第１の実施の形態や後述する第４の実施の形態に記載しているように、補助画像３１は空中像３０と関連性が深いものを表示させた方がよい。
また、第３の実施の形態の表示装置１が結像光学系９を備えていなくてもよい。この場合、図３３（ａ）の断面図で結像光学系９が配置された位置に、光を透過可能な光透過板を設けてもよい。表示装置１は、補助画像３１をこの光透過板の近傍に空中像として表示させ、アイコン３０Ａを表示させる光は光透過板を通過して、補助画像３１の上方（Ｙ方向＋側）の空中に表示させる。これにより、補助画像３１が実物である表示装置１の本体１０の表面近傍に表示されるので、ユーザ１２は、補助画像３１を介して本体１０を基準として空中像３０の位置を知覚することができる。

【0210】

第３の実施の形態では、表示器１１は補助画像データを表示し、結像光学系９は補助画像データを補助画像３１として表示する。これにより、補助画像３１を空中像として表示させてユーザ１２にアイコン３０Ａの位置を知覚させ、操作を検出基準４０で行わせることができる。

【0211】

また、第３の実施の形態では、結像光学系９は、補助画像３１を空中像３０とは異なる位置に表示させる。これにより、ユーザ１２は、補助画像３１との相対的な位置関係かアイコン３０Ａの位置を知覚することができる。

【0212】

また、第３の実施の形態では、表示器１１は、空中像３０の表示用画像データと、補助画像データとを交互に表示する。これにより、単一の表示器１１により空中像３０と補助画像３１とを表示できる。
また、表示装置１の装置を小型化できる。

【0213】

また、第３の実施の形態では、結像光学系９は、空中像３０を補助画像３１よりも表示器１１からの距離が遠い位置に表示する。これにより、ユーザ１２は、空中像３０の下方に表示された補助画像３１を基準として空中像３０のアイコン３０Ａの位置を知覚することができる。
また、結像光学系９は、空中像３０を補助画像３１よりも表示器１１からの距離が遠い位置に表示するため、表示器１１からの光が直接ユーザ１２に眼に入りづらくなり、空中像３０が見やすくなる。表示器１１からの光がユーザ１２の眼に入る場合、表示器１１にユーザ１２の眼のピントが合ってしまい、空中像３０の浮遊感が失われてしまう場合があるが、上記のような構成にすることによって、このような問題を低減することができる。

【0214】

なお、表示制御部２０２が、上記のように補助画像データの表示画素Ｐによる表示と、表示用画像データの表示画素Ｐによる表示とを、所定の周期ごとに切り替えるものに限定されない。表示制御部２０２が、補助画像データの表示画素Ｐによる表示と、表示用画像データの表示画素Ｐによる表示とを同時に行ってもよい。この場合、補助画像データを表示する表示画素Ｐと、表示用画像データを表示する表示画素Ｐとが同一の表示画素Ｐとはならない場合には、表示制御部２０２は、補助画像データの表示と表示用画像データの表示とを同時に行う。

【0215】

補助画像データを表示するべき表示画素Ｐと、表示用画像データを表示するべき表示画素Ｐとが同一の表示画素Ｐ（以下、同一表示画素Ｐと呼ぶ）となる場合には、表示制御部２０２は、補助画像データと表示用画像データとの何れか一方を同一表示画素Ｐに表示させる。このような場合のために、表示器１１に設けられた複数の表示画素Ｐは、補助画像データの表示を優先する表示画素Ｐ１（以後、第１表示画素と呼ぶ）と、表示用画像データの表示を優先する表示画素Ｐ２（以後、第２表示画素と呼ぶ）とに分類される。第１表示画素Ｐ１と第２表示画素Ｐ２とは、表示器１１の表面で、たとえば千鳥状に配置される。

【0216】

表示制御部２０２は、同一表示画像Ｐが第１表示画素Ｐ１の場合には、その同一表示画素Ｐに補助画像データを表示させる。表示制御部２０２は、同一表示画像Ｐが第２表示画素Ｐ２の場合には、その同一表示画素Ｐに表示用画像データを表示させる。これにより、所定の周期ごとに表示画素Ｐによる補助画像データと表示用画像データとを切り替えることなく、アイコン３０Ａと補助画像３１とを表示できる。

【0217】

表示器１１は、表示用画像データと補助画像データとを同時に表示する。これにより、表示用画像データと補助画像データとを表示させるための制御の処理負荷を低減できる。

【0218】

上述した説明では、表示装置１は、単一の表示器１１と結像光学系９とにより空中像３０と補助画像３１とを表示させる例を説明したが、これに限定されない。たとえば、表示装置１は、空中像３０を表示させるための表示器および結像光学系と、補助画像３１を表示させるための表示器および結像光学系とを、別体で備える表示システムであってもよい。すなわち、表示用画像データを表示させるための表示器と結像光学系とを、第１の実施の形態とその変形例にて説明した構成を適用して配置する。

【0219】

（第３の実施の形態の変形例１）
第３の実施の形態の変形例１による表示装置１は、第３の実施の形態の表示装置１とは異なる構成を有し、補助画像３１を空中像とは異なる方法にて表示する。本変形例１の表示装置１では、液晶表示器を用いて補助画像３１を表示する。以下、詳細に説明する。

【0220】

図３４（ａ）は、本変形例１の表示装置１のＹＺ平面による断面を模式的に示す図である。表示装置１は、本体１０の内部に、結像光学系９と、表示器１１と、操作検出器１３と、制御部２０と、第２表示器９１とを有する。表示器１１と、結像光学系９と、操作検出器１３とは、第１の実施の形態と同様の構成が適用され、図３３（ａ）に示す場合と同様にして本体１０内に配置される。第２表示器９１は、液晶モニタであり、ＺＸ平面と平行に配置される。図３４（ａ）に示す例では、第２表示器９１が、結像光学系９に対してＺ方向＋側であり、結像光学系９の脇に配置される。なお、第２表示器９１が結像光学系９に対してＺ方向−側に配置されてもよい。また、第２表示器９１が結像光学系９の脇に配置されるものに限定されない。たとえば、結像光学系９のうち一部を切り欠いた領域を設け、その切り欠いた領域に第２表示器９１を配置してもよい。
また、第２表示器９１は、液晶モニタ以外でもよく、たとえば有機ＥＬディスプレイでもよい。

【0221】

図３４（ｂ）は、変形例１における表示装置１の主要部構成を示すブロック図である。図３４（ｂ）は、制御部２０と、制御部２０によって制御される表示器１１と、操作検出器１３と、第２表示器９１とを示す。制御部２０が備える構成として、図３３（ｃ）に示す画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５と同様の構成を適用することができる。ただし、表示制御部２０２は、表示器１１に加えて、第２表示器９１の表示も制御する。なお、第２表示器９１が制御部を備える場合には、表示制御部２０２からの制御信号に基づいて、第２表示器９１の制御部が第２表示器９１の表示を制御してもよい。

【0222】

表示制御部２０２は、画像生成部２０１が生成した表示用画像データを表示器１１に表示させ、補助画像データを第２表示器９１に表示させる。すなわち、第２表示器９１は、影画像である補助画像３１を表示するための専用の表示器である。なお、画像生成部２０１は、第１の実施の形態の変形例１で示した各種の態様の影画像（図１０、図１１、図１３、図１４、図１５）に対応する補助画像データを生成してよい。これにより、空中に表示されたアイコン３０Ａの下方（Ｙ方向−側）に、影画像として補助画像３１が第２表示器９１により表示される。なお、第２表示器９１が画像を生成する生成部を備える場合には、第２表示器９１の生成部は、上述した画像生成部２０１と同様にして補助画像データを生成して、第２表示器９１に補助画像３１を表示させてもよい。

【0223】

なお、結像光学系９と第２表示器９１との配置位置の関係は、図３４（ａ）に示す例に限定されず、たとえば以下のような位置関係にて配置されてよい。
図３４（ｃ）に別の例の表示装置１のＹＺ平面に平行な面での断面を模式的に示す。第２表示器９１は、結像光学系９の上方（Ｙ方向＋側）に配置される。この場合、第２表示器９１の下面と結像光学系９の上面とが接するように配置されてもよいし、間隔を有して配置されてもよい。第２表示器９１は、光を透過する光透過可能な材料を用いて製造された液晶モニタである。

【0224】

図３４（ｃ）に示すように結像光学系９と第２表示器９１とを配置した場合、第２表示器９１に影画像として補助画像３１が表示されていると、補助画像３１が表示された領域によって表示器１１からの光の通過が妨げられ、空中像３０の視認性が低下する。このような事態を防ぐため、表示制御部２０２は、表示器１１による表示用画像の表示、すなわち、空中像３０を空中に表示させるため、表示器１１からの光を通過させるための表示（第３の表示）と、第２表示器９１による補助画像３１の表示とを、所定の周期ごとに切り替えて行わせる。従って、表示器１１に表示画像が表示されているときには、第２表示器９１には補助画像が表示されないので、表示器１１からの光は第２表示器９１と通過して空中像３０を形成する。すなわち、表示器１１に表示画像が表示されている場合には、第２表示器９１は、補助画像を表示しているときと比べて表示器１１からの光が通過する量が大きい状態となる。

【0225】

なお、表示制御部２０２が表示器１１の表示と第２表示器９１の表示とを所定の周期ごとに切り替えて行わせるものに限定されない。たとえば、第２表示器９１が有する複数の画素は、補助画像３１を表示させるための画素（以下、第１画素と呼ぶ）と、表示器１１からの光を通過させるための画素、すなわち補助画像３１が表示されない画素（以下、第２画素と呼ぶ）とに分類されてもよい。第１画素と第２画素とは、表示器１１の表面で、たとえば千鳥状に配置される。または、第１画素が配置された画素行と第２画素が配列された画素行とが、交互に、または所定の複数行ごとにインターレスに配置される。

【0226】

キャリブレーション処理を行う場合には、第１の実施の形態とその変形例にて説明したように、到達位置や指定位置と検出基準４０との間の距離に基づいて、補助画像３１が表示される位置を変更する。この場合、画像生成部２０１が、第１の実施の形態とその変形例の場合と同様にして表示画像用データと補助画像データとを生成し、表示制御部２０２は表示用画像データの表示用画像を表示器１１に表示させ、補助画像データの補助画像３１を第２表示器９１に表示させる。すなわち、第１の実施の形態において、図７のフローチャートにおけるステップＳ９や、図９のフローチャートにおけるステップＳ２８やＳ３２において、表示制御部２０２が表示用画像を表示器１１に表示させ、補助画像３１を第２表示器に表示させる。

【0227】

第３の実施の形態の変形例１では、第２表示器９１は、補助画像３１を表示し、空中像３０の表示の下方に配置される。これにより、補助画像３１が空中像３０の下方に表示されるので、ユーザ１２は、補助画像３１の表示に基づいて、空中像３０の位置を知覚することができる。

【0228】

また、第３の実施の形態の変形例１では、第２表示器９１は、空中像３０を表示する結像光学系９とは異なる位置に配置される。これにより、補助画像３１を空中像３０に対して適切な位置に表示させることができる。

【0229】

また、第３の実施の形態の変形例１では、表示器１１は、空中像３０の表示用画像データと、補助画像データとを交互に表示する。これにより、単一の表示器１１により空中像３０と補助画像３１とを表示できる。
また、表示装置１の小型化が可能になる。

【0230】

（第３の実施の形態の変形例２）
第３の実施の形態の変形例２による表示装置１は、第３の実施の形態とその変形例１の表示装置１とは異なる構成を有し、補助画像３１を空中像とは異なる方法にて表示する。本変形例２の表示装置１では、プロジェクタを用いて補助画像３１を拡散板等に投影する。以下、詳細に説明する。

【0231】

図３５（ａ）は、本変形例２の表示装置１のＹＺ平面による断面を模式的に示す図である。表示装置１は、本体１０の内部に、結像光学系９と、表示器１１と、操作検出器１３と、プロジェクタ１５と、制御部２０と、拡散板９２とを有する。表示器１１と、結像光学系９と、操作検出器１３と、プロジェクタ１５とは、第１の実施の形態と同様の構成が適用さる。表示器１１と、結像光学系９と、操作検出器１３とは、図３３（ａ）に示す場合と同様にして本体１０内に配置される。プロジェクタ１５は、図１（ｂ）に示す第１の実施の形態と同様に本体１０の上方に配置され、Ｙ方向＋側から拡散板９２へ投影光を投影する。また、第３の実施の形態の変形例２の表示装置１においては、制御部２０は、図２に示す第１の実施の形態の表示装置１と同様の構成を適用できる。

【0232】

拡散板９２は、たとえばすりガラス等であり、図３５（ａ）に示す例では、結像光学系９に対してＺ方向＋側であって結像光学系９の脇に配置される。なお、拡散板９２が結像光学系９に対してＺ方向−側に配置されてもよい。プロジェクタ１５は、第１の実施の形態の場合と同様に、画像生成部２０１により生成された補助画像データに基づいて、補助画像３１を投影する。本変形例２では、プロジェクタ１５は、上方（Ｙ方向＋側）から拡散板９２に向けて補助画像３１を投影するように、その投影方向が定められて配置される。プロジェクタ１５から投影された補助画像３１は、拡散板９２により拡散されることにより、ユーザ１２に視認される。これにより、空中像３０のアイコン３０Ａの下方（Ｙ方向−側）に影画像である補助画像３１が投影される。なお、画像生成部２０１は、第１の実施の形態の変形例１で示した各種の態様の影画像（図１０、図１１、図１３、図１４、図１５）に対応する補助画像データを生成してよい。
また、図３５（ｂ）に示すように、拡散板９２を結像光学系９の上方（Ｙ方向＋側）に配置してもよい。この場合、拡散板９２には、プロジェクタ１５からの投影光を拡散させる第１領域と、表示器１１からの光を通過させる第２領域とが、たとえば千鳥状に配置される。表示器１１からの光は第２領域を通過して空中像３０を表示し、プロジェクタ１５からの投影光は第１領域で拡散されて、ユーザ１２に補助画像３１として視認される。なお、拡散板９２の上方（Ｙ方向＋側）に結像光学系９を配置してもよい。この場合は、プロジェクタ１５は表示器１１の近傍に配置され、拡散板９２の下方から投影光を拡散板９２に向けて投影するように、その投影方向が定められている。すなわち、プロジェクタ１５は、拡散板９２と表示器１１との間に設置され、プロジェクタ１５は、Ｙ方向＋側にある拡散板９２に向けて投影光を投影する。この場合、プロジェクタ１５として、たとえば近距離に画像を投影する超単焦点プロジェクタを適用することができる。

【0233】

上記の構成により、ユーザ１２は、影画像である補助画像３１を、空中像３０のアイコン３０Ａの下方（Ｙ方向−側）に視認することができる。
キャリブレーション処理を行う場合には、第１の実施の形態とその変形例にて説明したように、到達位置や指定位置と検出基準４０との間の距離に基づいて、補助画像３１が表示される位置を変更する。この場合、画像生成部２０１が、第１の実施の形態とその変形例の場合と同様にして表示画像用データと補助画像データとを生成する。表示制御部２０２は表示用画像データの表示用画像を表示器１１に表示させ、プロジェクタ制御部２００がプロジェクタ１５に補助画像データに対応する投影光を拡散板９２に投影させて、補助画像３１を投影させる。すなわち、第１の実施の形態において、図７のフローチャートにおける各処理や、図９のフローチャートにおける各処理と同様の処理を行う。

【0234】

第３の実施の形態の変形例２では、プロジェクタ１５は、補助画像３１を投影する。これにより、ユーザ１２は、投影された補助画像３１の表示に基づいて、空中像３０の位置を知覚することができる。

【0235】

また、第３の実施の形態の変形例２では、拡散板９２が結像光学系９とは異なる位置に配置され、拡散板９２によってプロジェクタ１５から出射された光が拡散される。これにより、ユーザ１２は補助画像３１を空中像３０の下方に視認して、空中像３０の位置を知覚することができる。

【0236】

なお、表示装置１は、上述した拡散板９２に代えて、ホログラムを表示器１１の上方に配置してもよい。このホログラムには、予め拡散板９２の映像が記憶されている。プロジェクタ１５は、このホログラムに向けて、記憶時の参照光と同じ光を投影する。プロジェクタ１５からの投影光は、ホログラムに拡散板９２の映像が記憶されているため、ホログラムにより回折された光は、あたかも拡散板９２により拡散されたように拡散する。これのようなホログラムに、プロジェクタ１５が補助画像データに対応する投影光を投影することにより、補助画像３１がユーザ１２に視認される。
この場合、プロジェクタ１５の投影光の各色成分（Ｒ成分、Ｇ成分、Ｂ成分）の周波数帯と、表示器１１が出射する光の各色成分（Ｒ’成分、Ｇ’成分、Ｂ’成分）の周波数帯とを異ならせる。これにより、表示器１１からの光がホログラムにより回折されず、透過して、空中像３０を形成する。これにより、ユーザ１２は、空中像３０の下方に補助画像３１を視認することができる。
なお、プロジェクタ１５の投影光の各色成分（Ｒ成分、Ｇ成分、Ｂ成分）の周波数帯と、表示器１１が出射する光の各色成分（Ｒ’成分、Ｇ’成分、Ｂ’成分）の周波数帯とを異ならせるものに限定されない。たとえば、プロジェクタ１５からの投影光がホログラムに入射する際の入射角と、表示器１１からの光がホログラムに入射する際の入射角とが異なるように、プロジェクタ１５および表示器１１を配置してもよい。この場合、表示器１１からの光がホログラムに入射する角度が、ホログラムに記憶する際の参照光の入射角と異なる入射角となるように配置してよい。これにより、表示器１１からの光がホログラムにより回折される効率が低下することになり、表示器１１の光はホログラムを通過して空中像３０を形成できる。そのため、プロジェクタ１５からの投影光のみがホログラムによって回折され、表示器１１からの光はホログラムによって回折されず、好適に空中像３０を表示することができる。

【0237】

なお、上述の第３の実施の形態とその変形例１〜２では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第３の実施の形態、または変形例１〜２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第３の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第３の実施の形態、または変形例１〜２に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。

【0238】

−第４の実施の形態−
図面を参照しながら、第４の実施の形態に係る表示装置１について説明する。第４の実施の形態においては、本実施の形態の表示装置１が操作パネルに組み込まれた場合を一例に挙げて説明を行う。なお、本実施の形態の表示装置１は、操作パネルに限らず、上述の第１の実施の形態とその変形例で説明した各電子機器に組み込むことが可能である。
第１の実施の形態とその変形例や第３の実施の形態では、表示装置１は、第１の表示である空中像３０と第２の表示である補助画像３１とにより、空中像３０のＺ方向の表示位置をユーザ１２に知覚させるものであった。すなわち、補助画像３１の位置が空中像３０の表示位置を示す位置として用いられるものであった。第４の実施の形態では、表示装置１は、空中像のうちユーザ１２による操作の対象となる空中像の第１部分をＺ方向の表示位置を変更せず、ユーザ１２による操作の対象ではない空中像の第２部分をＺ方向の表示位置を変更させることにより、空中像３０の第１部分のＺ方向の位置をユーザ１２に知覚させるものである。以下、詳細に説明する。

【0239】

図３６（ａ）は第４の実施の形態の表示装置１を模式的に示す外観斜視図であり、図３６（ｂ）は表示装置１の内部構成を模式的に示す断面図であり、図３６（ｃ）は表示装置１の主要部構成を示すブロック図である。第４の実施の形態の表示装置１は、第１の実施の形態の表示装置１が有する結像光学系９と、操作検出器１３と、制御部２０とを有する。表示器１１は、第３の実施の形態の図３３（ｂ）に示す表示器１１と同様の構成を有する。すなわち、第４の実施の形態においては、第３の実施の形態の場合と同様に、表示器１１は三次元の立体像を表示させるライトフィールド表示が可能な構成を有している。
図３６（ｃ）に示すように、第４の実施の形態の制御部２０は、図２に示す第１の実施の形態の制御部２０が有する画像生成部２０１と、表示制御部２０２と、キャリブレーション部２０３と、検出基準制御部２０４と、記憶部２０５とを備える構成が適用される。
なお、第４の実施の形態の表示装置１が第１の実施の形態の変形例８に示す撮像装置１８（図２４、２５参照）を備えても良い。

【0240】

図３７に第４の実施の形態の表示装置１によりキャリブレーション処理の際に表示される空中像３００を模式的に示す。図３７では、空中像３００は第１の表示としての第１アイコン３００Ａ１と第２の表示としての第２アイコン３００Ａ２とを含む。すなわち、第１アイコン３００Ａ１は空中像３００の第１部分であり、第２アイコン３００Ａ２は空中像３００の第２部分である。第１アイコン３００Ａ１は、キャリブレーション処理の際にユーザ１２に操作させるためのアイコンである。第２アイコン３００Ａ２は、ユーザ１２に第１アイコン３００Ａ１のＺ方向における表示位置を知覚させるための画像である。

【0241】

図３７（ａ）は初期表示における第１アイコン３００Ａ１と第２アイコン３００Ａ２との表示の例を示す。初期表示においては、第１アイコン３００Ａ１と第２アイコン３００Ａ２とは、Ｚ方向において同一座標、すなわち操作検出器１３からＺ方向＋側に距離Ｈ１の位置に表示される。

【0242】

この初期表示された空中像３００に対して行われたユーザ１２の操作の到達位置５０が第１アイコン３００Ａ１の手前（Ｚ方向＋側）の場合、すなわち図５（ｂ）に示す状態の場合を説明する。この場合、表示制御部２０２は、第１アイコン３００Ａ１が図３７（ａ）に示す場合よりもＺ方向−側に表示されているようにユーザ１２に知覚させる。本実施の形態では、表示制御部２０２は、到達位置５０と検出基準４０との間の距離に基づいて、第２アイコン３００Ａ２をＺ方向＋側に位置するように表示器１１を制御する。すなわち、表示制御部２０２は、第２アイコン３００Ａ２の表示位置を制御することにより、第１アイコン３００Ａ１の表示位置と異なる表示位置に表示する第２アイコン３００Ａ２との位置関係を変更する。表示制御部２０２は、第２アイコン３００Ａ２に対応する表示用画像データを表示させる表示画素Ｐを変更する。この結果、図３７（ｂ）に示すように、第２アイコン３００Ａ２が到達位置５０と検出基準４０との間の距離に基づいて距離ΔＺ１だけＺ方向＋側に表示される。すなわち、表示制御部２０２は、検出基準４０と第２表示である第２アイコン３００Ａ２の位置を制御する。この空中像３００を視認するユーザ１２は、第２アイコン３００Ａ２を基準として相対的に第１アイコン３００Ａ１がＺ方向−側に位置するように知覚する。

【0243】

図３７（ａ）に示す初期表示の第１アイコン３００Ａ１に対して行われたユーザ１２の操作の到達位置５０が第１アイコン３００Ａ１よりも奥（Ｚ方向−側）の場合、すなわち図５（ｄ）に示す場合を説明する。この場合、表示制御部２０２は、第１アイコン３００Ａ１が図３７（ａ）に示す場合よりもＺ方向＋側に表示されているようにユーザ１２に知覚させる。本実施の形態では、表示制御部２０２は、到達位置５０と検出基準４０との間の距離に基づいて、第２アイコン３００Ａ２をＺ方向−側に位置するように表示器１１を制御する。表示制御部２０２は、第２アイコン３００Ａ２に対応する表示用画像データを割り当てる表示画素Ｐを変更する。この結果、図３７（ｃ）に示すように、第２アイコン３００Ａ２が到達位置５０と検出基準４０との間の距離に基づいて距離ΔＺ２だけＺ方向−側に表示される。すなわち、表示制御部２０２は、検出基準４０と第２表示である第２アイコン３００Ａ２の位置を制御する。この空中像３００を視認するユーザ１２は、第２アイコン３００Ａ２を基準として相対的に第１アイコン３００Ａ１がＺ方向＋側に位置するように知覚する。

【0244】

本実施の形態の表示装置１によるキャリブレーション処理について、第１のキャリブレーション処理モードを例に挙げて説明するが、第２のキャリブレーション処理モードに適用してもよい。この場合、第１の実施の形態の図７にフローチャートにおいて、ステップＳ６にて、表示制御部２０２が、到達位置５０と検出基準４０との間の距離に基づいて、第２アイコン３００Ａ２に対応する表示用画像データを表示させる表示画素Ｐを変更すればよい。また、第２のキャリブレーション処理モードに適用する場合には、第１の実施の形態の図９に示すフローチャートにおいて、ステップＳ２８およびステップＳ３２において、表示制御部２０２が、到達位置５０と検出基準４０との間の距離に基づいて、第２アイコンに対応する表示用画像データを表示させる表示画素Ｐを変更すればよい。

【0245】

なお、上述した第４の実施の形態では、表示装置１がライトフィールド表示を行う場合を例に挙げたが、この例に限定されない。たとえば、表示装置１が視差画像を表示可能な構成を有し、第１アイコン３００Ａ１に対して第２アイコン３００Ａ２の表示位置がＺ方向に移動するように視差量を制御してもよい。また、たとえば、表示装置１は、図３６（ｂ）に示すライトフィールド表示が可能な表示器１１に代えて、第１の実施の形態にて説明した表示器１１を複数個備え、それぞれの表示器１１をＹ方向に沿って駆動させることにより、アイコンの表示位置をＺ方向に異ならせるものである。たとえば表示器１１は、図３８（ａ）に示すように３行×３列の９個の表示器１１−１〜１１-９からなるものとする。

【0246】

図３８（ｂ）は、本変形例２における表示装置１の主要部構成を示すブロック図である。表示装置１は、第１の実施の形態の表示装置１が有する構成に加えて、図３８（ａ）に示す各表示器１１−１〜１１−９を駆動させるための表示器駆動装置１６をさらに備える。制御部２０は、表示器駆動装置１６の動作を制御する表示器駆動制御部２１４を有する。他の構成については、図３６に示す第４の実施の形態の構成を適用することができる。

【0247】

表示器１１−１〜１１−９は、ＺＸ平面に平行に設けられ、Ｙ方向に沿って移動可能に配置される。表示器駆動装置１６は、各表示器１１−１〜１１−９ごとに設けられ、表示器１１−１〜１１−９を駆動させるためにＹ方向に沿って設けられたガイドレールや、表示器１１−１〜１１−９をガイドレールに沿って駆動させるモータやアクチュエータ等を有する。表示器駆動制御部２１４は、表示器１１−１〜１１−９をＹ方向の位置を決定し、表示器駆動装置１６を制御して、表示器１１−１〜１１−９をＹ方向の決定された位置へ駆動させる。表示器駆動制御部２１４と表示器駆動装置１６とにより、表示器１１−１〜１１−９のＹ方向の位置が変更される、すなわち結像光学系９と表示器１１−１〜１１−９との間の距離が変更されると、空中像３０が表示される位置がＺ方向において変化する。

【0248】

図３７に示すように第１アイコン３００Ａ１と第２アイコン３００Ａ２とを空中像３００として表示する場合、表示制御部２０２は、たとえば、表示器１１−４に第１アイコン３００Ａ１に対応する表示用画像データを表示させ、表示器１１−６に第２アイコン３００Ａ２に対応する表示用画像データを表示させる。

【0249】

図３７（ａ）に示す初期表示を行う場合には、表示器駆動装置１６は、表示器１１−４と表示器１１−６とをＹ方向に沿って同一、すなわち第１アイコン３００Ａ１と第２アイコン３００Ａ２とが操作検出器１３からＺ方向＋側に距離Ｈ１の位置に表示されるための位置に駆動する。キャリブレーション処理において、初期表示された第１アイコン３００Ａ１に対するユーザ１２の操作の到達位置５０が第１アイコン３００Ａ１の手前（Ｚ方向＋側）の場合、すなわち図５（ｂ）に示す状態の場合を説明する。この場合、表示器駆動制御部２１４は、第２アイコン３００Ａ２を図３７（ｂ）に示すように表示させるために、表示器１１−５のＹ方向の位置を決定する。表示器駆動制御部２１４は、到達位置５０と検出基準４０との間の距離に基づいて、表示器１１−５のＹ方向−側への移動量を算出する。表示器駆動制御部２１４は、この移動量を駆動信号として表示器駆動装置１６に出力し、表示器駆動装置１６は、この移動量に従って、表示器１１−５をＹ方向−側に駆動させる。すなわち、表示器駆動制御部２１４は、検出基準４０と第２表示である第２アイコン３００Ａ２の位置を制御する。これにより、この空中像３００を視認するユーザ１２は、第２アイコン３００Ａ２を基準として相対的に第１アイコン３００Ａ１がＺ方向−側に位置するように知覚する。

【0250】

キャリブレーション処理において、初期表示された第１アイコン３００Ａ１に対するユーザ１２の操作の到達位置５０が第１アイコン３００Ａ１の奥（Ｚ方向−側）の場合、すなわち図５（ｄ）に示す状態の場合を説明する。この場合、表示器駆動制御部２１４は、第２アイコン３００Ａ２を図３７（ｂ）に示すように表示させるために、表示器１１−５のＹ方向の位置を決定する。表示器駆動制御部２１４は、到達位置５０と検出基準４０との間の距離に基づいて、表示器１１−５のＹ方向＋側への移動量を算出する。表示器駆動制御部２１４は、この移動量を駆動信号として表示器駆動装置１６に出力し、表示器駆動装置１６は、この移動量に従って、表示器１１−５をＹ方向＋側に駆動させる。すなわち、表示器駆動制御部２１４は、検出基準４０と第２表示である第２アイコン３００Ａ２の位置を制御する。これにより、この空中像３００を視認するユーザ１２は、第２アイコン３００Ａ２を基準として相対的に第１アイコン３００Ａ１がＺ方向−側に位置するように知覚する。
なお、到達位置５０と検出基準４０との間のＺ方向の距離と、表示器１１−１〜１１−９のＹ方向の移動量と移動方向とは、試験等の結果に基づいて、予め関連付けされた関連データとして記憶部２０５に記憶される。表示器駆動制御部２１４は、この関連データを参照して、表示器１１−１〜１１−９の移動量を算出する。

【0251】

第４の実施の形態の表示装置１によるキャリブレーション処理について、第１のキャリブレーション処理モードを例に挙げて説明する。この場合、第１の実施の形態の図７に示すフローチャートにおいて、ステップＳ６にて、表示器駆動制御部２１４が、到達位置５０と検出基準４０との間の距離に基づいて、第２アイコン３００Ａ２を表示する表示器１１−５のＹ方向の移動量を算出すればよい。
なお、第４の実施の形態の表示装置１によるキャリブレーション処理は、第２のキャリブレーション処理モードにも適用できる。この場合、第１の実施の形態の図９に示すフローチャートにおいて、ステップＳ２８およびステップＳ３２において、表示器駆動制御部２１４が、到達位置５０と検出基準４０との間の距離に基づいて、第２アイコンを表示する表示器のＹ方向の移動量を算出し、表示器を移動させればよい。

【0252】

第４の実施の形態では、表示制御部２０２や表示器駆動制御部２１４は、検出基準４０と、空中に表示された第２の表示である第２アイコン３００Ａ２との位置を制御する。これにより、ユーザ１２は、第２の表示の位置に基づいて、空中像のＺ方向の位置を知覚することができる。

【0253】

また、第４の実施の形態では、表示制御部２０２や表示器駆動制御部２１４は、検出基準４０と、ユーザ１２が操作する第１アイコン３００Ａ１とは異なる第２アイコン３００Ａ２との位置関係を、第２アイコン３００Ａ２を制御し変更する。これにより、ユーザ１２は、第２アイコン３００Ａ２に対する相対的な位置関係から第１アイコン３００Ａ１の位置を知覚して、検出基準４０で操作を行うことができる。
また、第４の実施の形態では、表示制御部２０２や表示器駆動制御部２１４は、第２アイコン３００Ａ２の表示位置を制御して、第１アイコン３００Ａ１の表示位置とは異なる表示位置に位置する第２アイコン３００Ａ２との位置関係を変更する。これにより、ユーザ１２は、第２アイコン３００Ａ２を基準として、第１アイコン３００Ａ１の表示位置を知覚することができる。

【0254】

なお、上記の説明では、画像生成部２０１は、第２の表示として第２アイコン３００Ａ２を表示する場合を例に挙げたが、第２表示をアイコンとして表示するものに限定されない。たとえば、図３９に示すように、画像生成部２０１は、第２の表示として、たとえば空中像３００を囲う枠を表す空中像３０１を表示してもよい。図３９（ａ）は初期表示を示し、図３９（ｂ）は、空中像３０１が初期表示の場合よりもＺ方向＋側に位置する例を示し、図３９（ｃ）は、空中像３０１が初期表示の場合よりもＺ方向−側に位置する例を示す。図３９（ｂ）に示すように空中像３００が表示されることにより、ユーザ１２は、第１アイコン３００Ａ１が空中像３０１を基準として相対的にＺ方向−側に位置するように知覚する。また、図３９（ｃ）に示すように空中像３００が表示されることにより、ユーザ１２は、第１アイコン３００Ａ１が空中像３０１を基準として相対的にＺ方向＋側に位置するように知覚する。空中像３０１の表示位置を変更する方法は、ライトフィールド方式を用いてもよいし、複数の表示器１１の一部の表示器１１（図３８参照）に空中像３０１に対応する表示用画像データを表示させてもよい。

【0255】

なお、上述の第４の実施の形態では、ユーザ１２による操作の対象ではない空中像の第２の表示をＺ方向の表示位置を変更させることにより空中像３００の第１の表示のＺ方向の位置が、第２の表示が移動した方向とは逆に移動したようにユーザ１２に知覚させるものであった。しかし、ユーザ１２によっては、第２の表示として表示された空中像３０１の位置を第１の表示の第１アイコン３００Ａ１の位置として知覚する場合があり、第１の表示のＺ方向の位置が、第２の表示が移動した方向とは逆に移動したようにユーザ１２に知覚されない場合がある。第２の表示の空中像３０１の位置が、第１アイコン３００Ａ１の位置にあるように知覚するか否かはユーザ１２に依存するが、第２の表示である空中像３０１と第１アイコン３００Ａ１との間の関連性が高い場合、ユーザ１２は、空中像３０１の位置を第１アイコン３００Ａ１の位置として知覚しやすくなる。ここで、第２の表示である空中像３０１と第１アイコン３００Ａ１との間の関連性が高いものとは、第１の表示、第２の表示として表示させる対象同士が、現実世界で近くにあるもの、接して設置されるもの、対象同士が一体的になって構成されるもの等である。
上述で説明したアイコンに限られない例を一つ挙げると、表示装置１が、第１の表示として絵画を表示し、第２の表示として額縁を表示する場合がある。実物の絵画は額縁に収納されるため、一般的に実物の場合は、額縁の位置と絵画の位置とは同じ位置に存在する。そのため、空中像で表示された、第１の表示の絵画と第２の表示の額縁との位置がＺ方向にずれていたとしても、ユーザ１２は、空中像として表示された、第２の表示の額縁の位置に第１の表示の絵画があるように感じる場合がある。同様に、第１の実施の形態や第３の実施の形態等で説明した、補助画像である第２の表示に第１の表示の影を表示した例も、第１の表示と第２の表示との関連性が深い例である。逆に、このような現象は、第１の表示と第２の表示との間の関連性が低い場合は起こりづらい。たとえば、第２の表示が音楽のアイコンの空中像であり、第１の表示がペットボトルを示す空中像である場合、ユーザ１２は、上記のように第１の表示が第２の表示の位置にあるように知覚しづらくなる。これは、第１の表示であるペットボトルと、第２の表示である音楽のアイコンとは関連性が低く、現実世界で音楽のアイコンの近くにペットボトルがあることが少なく、また音楽のアイコンとペットボトルとが一体的に構成されていることがほとんどないからである。
図３９に示す例は、第２の表示として、枠の空中像３０１を表示している。現実世界で、枠の位置に第１アイコン３００Ａ１のような画像が表示されていることが多いため、図３９に示す例では、ユーザ１２が第２の表示の位置に、第１の表示があるように知覚しやすくなる。さらに言えば、第１アイコン３００Ａ１として絵画のような画像を表示し、第２の表示の枠を、表示された絵画に適した額縁にすることによって、ユーザ１２は、より第２の表示の位置に第１の表示があるように知覚しやすくなる。
上記で説明した、ユーザ１２が、第２の表示の位置に第１の表示があるように知覚する場合、上述した第４の実施の形態で説明した方向とは異なる方向に第１の表示が移動したとユーザ１２が知覚する。具体的には、図３９（ｂ）に示すように空中像３０１がＺ方向＋側に移動すると、ユーザ１２によっては、第１アイコン３００Ａ１もＺ方向＋側に移動したものと知覚する可能性がある。また、図３９（ｃ）に示すように、空中像３０１がＺ方向−側に移動すると、ユーザ１２によっては、第１アイコン３００Ａ１もＺ方向−側に移動したものと知覚する可能性がある。つまり、ユーザ１２が知覚する第１の表示の移動方向は、上述した第１の実施の形態と同様の方向になる。このように、第１の表示が第２の表示の位置にあるとユーザ１２が知覚するか否かによって、第１の表示が移動したとユーザ１２が知覚する方向が異なる。
なお、その他に関連性の高い具体的な例を以下に挙げる。表示装置１が、第１の表示として飲料水の瓶等を表示し、第２の表示として机を表示する場合がある。また、表示装置１が、第１の表示として楽譜を表示し、第２の表示として譜面台を表示する場合などがある。このような場合、ユーザ１２は、第１の表示が第２の表示の位置にあると知覚しやすくなる。
なお、上述した第２の実施の形態とその変形例においては、ユーザ１２が実際の物体の位置を空中像３０の位置として知覚するものとして説明した。しかし、実際の物体（たとえば枠１０１）と空中像３０との間の関連性によっては、第２の実施の形態にて説明したように、ユーザ１２によっては、枠１０１の位置を基準として、相対的な位置を空中像３０の位置として知覚する可能性もある。すなわち、ユーザ１２によっては、枠１０１がＺ方向−側に移動した場合に、空中像３０がＺ方向＋側に移動したように知覚し、枠１０１がＺ方向＋側に移動した場合に、空中像３０がＺ方向−側に移動したように知覚する可能性がある。

【0256】

（第４の実施の形態の変形例１）
第４の実施の形態の表示装置１は、空中像のうちユーザ１２による操作の対象となる空中像の第１部分をＺ方向の表示位置を変更せず、ユーザ１２による操作の対象ではない空中像の第２部分をＺ方向の表示位置を変更させることにより、空中像３０の第１部分のＺ方向の位置をユーザ１２に知覚させるものであった。
上述したように、空中像は透過性を有するものであるため、同一のユーザ１２であっても空中像の表示位置が異なって感じることがある。このため、ユーザ１２が空中像の位置を正しく知覚できず、ユーザ１２の操作が検出基準で検出されない虞がある。すなわち、ユーザ１２は空中像の位置を不安定なものとして知覚する虞がある。
第４の実施の形態の変形例１の表示装置１は、上記の空中像の位置の不安定さを低減して、ユーザ１２が空中像であるアイコンの表示位置を実際の物体を基準としてより正しく知覚できるように、画像生成部２０１は、第１の表示であるアイコンとは異なる第２の表示である空中像を実際の物体に重なる（接続する）ように表示する。すなわち、ユーザ１２が第２の表示である空中像を介して実際の物体を基準とすることにより、アイコンの表示位置を知覚できるようにするものである。以下、詳細に説明する。

【0257】

図４０にこの場合に表示装置１により表示される空中像３０と、ステージ１４とを模式的に示す。ステージ１４の表面（Ｙ方向＋側の面）には、縞の模様が付されているものとする。図４０（ａ）では、空中像３０の第１部分として第１の空中像３０−１と、第２部分として第２の空中像３０−２とを含む。図４０（ａ）では、第１の表示である第１の空中像３０−１は、４個のアイコン３０Ａからなる例を示す。なお、アイコン３０Ａの個数は一例であり、４個に限定されるものではない。第２の表示である第２の空中像３０−２は、アイコン３０Ａが配置されたパネル盤を模した画像である。画像生成部２０１は、第２の空中像３０−２がステージ１４の上に載置されているような表示用画像データを生成する。すなわち、画像生成部２０１は、第２の空中像３０−２が実際の物体であるステージ１４に重なるような表示用画像データを生成する。表示装置１上のステージ１４の位置は安定しているので、ユーザ１２は、実際の物体であるステージ１４の上に載置されたように表示された第２の空中像３０−２を介してアイコン３０Ａの位置を安定的に視認する。

【0258】

上述したように第２の空中像３０−２がステージ１４に載置されているように空中像３０が表示された場合であっても、ユーザ１２によっては、第２の空中像３０−２とステージ１４とが乖離しているように知覚する虞がある。すなわち、ユーザ１２が、第２の空中像３０−２がステージ１４の上に載置されていないように知覚する可能性がある。このような事態が生じないようにするため、画像生成部２０１は、図４０（ａ）のように表示された第２の空中像３０−２がステージ１４と重なる部分に、さらに第３の空中像を表示させるように表示用画像データを生成してもよい。図４０（ｂ）にこの場合の空中像３０を示す。第１の空中像３０−１と第２の空中像３０−２とは、図４０（ａ）に示す例と同様である。第３の空中像３０−３は、たとえば第２の空中像３０−２の下部の近傍におけるステージ１４の表面を表す画像に対応する。この場合、画像生成部２０１は、ステージ１４の表面のうち、たとえば模様等を撮像装置等により撮像した撮像データを用いて第３の空中像３０−３に対応する表示用画像データを生成する。これにより、ユーザ１２は、第２の空中像３０−２がステージ１４に載置していると知覚することができ、第２の空中像３０−２および第３の空中像３０−３を介してステージ１４を基準としてアイコン３０ＡのＺ方向の位置をより安定的に知覚できる。

【0259】

なお、画像生成部２０１は、上述のようにして第２の空中像３０−２が第３の空中像３０−３を介してステージ１４と重なるようにした状態で、さらに第２の空中像３０−２が第１の空中像３０−１の少なくとも一部と重なるような表示用画像データを生成してよい。この場合、画像生成部２０１は、第１の空中像３０−１と第２の空中像３０−２との間に隙間等がなく、互いに接しているように表示させる。たとえば、第１の空中像３０−１が瓶やペットボトルであり、第２の空中像３０−２が机である場合には、画像生成部２０１は、瓶やペットボトルが机の上に載置されている状態を表す表示用画像データを生成する。これにより、第１の空中像３０−１は、実際の物体であるステージ１４に対して安定的に視認される第２の空中像３０−２に重なるので、ユーザ１２は、第１の空中像３０−１をより安定的に視認できる。

【0260】

第４の実施の形態の変形例１では、画像生成部２０１は、第１の空中像３０−１と、第１の空中像３０−１の下方（Ｙ方向−側）に配置された実物（ステージ１４）との間に第２の空中像３０−２を表示させる。これにより、ユーザ１２は、ステージ１４を基準として、第２の空中像３０−２を介し第１の空中像３０−１の空中での位置を知覚しやすくなる。

【0261】

また、第４の実施の形態の変形例１では、画像生成部２０１は、第２の空中像３０−２をステージ１４の一部に重なるように表示させる。これにより、ユーザ１２は、ステージ１４の上に載置されたように表示された第２の空中像３０−２を介してアイコン３０Ａを視認するので、アイコン３０Ａとステージ１４との位置関係を安定的なものとして知覚できる。

【0262】

また、第４の実施の形態の変形例１では、画像生成部２０１は、第２の空中像３０−２のうちステージ１４と重なる部分に、ステージ１４に対応する第３の空中像３０−３を表示させる。これにより、ユーザ１２は、第２の空中像３０−２がステージ１４に載置していると知覚することができ、第２の空中像３０−２および第３の空中像３０−３を介してステージ１４を基準としてアイコン３０ＡのＺ方向の位置を知覚できる。

【0263】

また、第４の実施の形態の変形例１では、画像生成部２０１は、第１の空中像３０−１の一部に重ねて第２の空中像３０−２を表示させる。これにより、ユーザ１２は、第１の空中像３０−１と第２の空中像３０−２とはＺ方向に同一の位置にあるように知覚するので、第２の空中像３０−２および第３の空中像３０−３を介してステージ１４を基準としてアイコン３０ＡのＺ方向の位置を知覚できる。

【0264】

なお、上述の第４の実施の形態では、制御部２０と表示器１１と操作検出器１３とを少なくとも含む表示装置１を例に説明したが、制御部２０のみで構成された制御装置や、制御部２０と操作検出器１３とで構成される制御装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。上述の第４の実施の形態とその変形例１に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してもよい。また、上記の制御装置を、第４の実施の形態とその変形例に適用した各種の電子機器に組み込んでもよい。
また、制御部２０のみで構成された検出装置や、制御部２０と操作検出器１３とで構成される検出装置であってもよい。また、制御部２０は、少なくともキャリブレーション部２０３と画像生成部２０１とを備えればよい。このような検出装置に対して、上述の第４の実施の形態に記載された各効果を得るために、上述した構成から必要に応じて構成を適宜追加してよい。

【0265】

以上で説明した全ての実施の形態と全ての変形例の表示装置１が空中像を生成する方法として、レーザ光を空中に集光して空気を構成する分子をプラズマ化して空中で光を発光させ、空中に像を形成するものであってもよい。この場合、レーザ光の集光位置を３次元空間中に自由に制御することで空中に実像として３次元画像が生成される。また、空中像を生成する方法として、プロジェクタ機能に加えて空気中に霧を発生させる機能を有する表示装置を用い、空気中に霧を発生させたてスクリーンを形成し、この霧によるスクリーンに画像を投影する（フォグディスプレイ）ことで、空中に像を生成してもよい。

【0266】

表示装置１が空中像３０の位置を移動させるために実行する各種処理のためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータシステムに読み込ませて、キャリブレーションを実行してもよい。なお、ここで言う「コンピュータシステム」とは、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。

【0267】

なお、上記「コンピュータシステム」は、ＷＷＷシステムを利用したホームページ提供環境（あるいは表示環境）も含む。また、上記「コンピュータ読み取り可能な記録媒体」は、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに上記「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ ＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。

【0268】

上記「プログラム」は、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【0269】

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

【0270】

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第１２８２１０号（２０１６年６月２８日出願）

【符号の説明】

【0271】

１…表示装置、９…結像光学系、１１…表示器、１３…操作検出器、
１５…プロジェクタ、１６…表示器駆動装置、１７…駆動装置、
１８…撮像装置、１９…集音器、２０…制御部、
９１…第２表示器、９２…拡散板、１０３…ＬＥＤ、
２００…プロジェクタ制御部、２０１…画像生成部、
２０２…表示制御部、２０３…キャリブレーション部、２０４…検出基準制御部、
２０６…速度・加速度検出部、２０７…到達位置予測部、２０８…音声検出部、
２０９…画像解析部、２１０…駆動制御部、２１１…点灯制御部、
２１２…検出部、２１３…決定部、２１４…表示器駆動制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】