特開 2023-46471 空中映像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023046471

(43)【公開日】2023-04-05

(54)【発明の名称】空中映像表示装置

(51)【国際特許分類】

   G06F 3/04815 20220101AFI20230329BHJP

   G06F 3/0346 20130101ALI20230329BHJP

   G02B 30/56 20200101ALI20230329BHJP

   G06F 3/04842 20220101ALI20230329BHJP

   G06F 3/0488 20220101ALI20230329BHJP

   G06F 3/042 20060101ALI20230329BHJP

   G02B 5/12 20060101ALN20230329BHJP

【ＦＩ】

G06F3/0481 150

G06F3/0346 421

G02B30/56

G06F3/0484 120

G06F3/0488

G06F3/042 473

G06F3/0346 422

G02B5/12

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2021155083

(22)【出願日】2021-09-24

(71)【出願人】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】110002941

【氏名又は名称】弁理士法人ぱるも特許事務所

(72)【発明者】

【氏名】今中 英夫

(72)【発明者】

【氏名】▲瀬▼利 俊光

(72)【発明者】

【氏名】大神 航

【テーマコード（参考）】

2H042

2H199

5B087

5E555

【Ｆターム（参考）】

2H042EA04

2H042EA21

2H199BA32

2H199BB18

2H199BB20

2H199BB65

5B087AA09

5B087BC06

5B087BC32

5B087CC09

5B087CC33

5E555AA08

5E555AA27

5E555BA01

5E555BA38

5E555BB01

5E555BB38

5E555BC08

5E555BE16

5E555CA42

5E555CB22

5E555CB23

5E555DA11

5E555EA22

5E555FA00

(57)【要約】

【課題】操作体が空中映像のどの操作ボタンを指し示しているのかが分かりやすい空中映像表示装置を提供する。
【解決手段】映像表示面３１に操作映像を表示する映像表示器３と、操作映像を対称面４１に対して面対称な位置にある空中映像面８１に結像させて空中映像８を表示させる空中結像光学系１２と、操作体１０の位置を検出するセンサ６と、センサ６の出力に応じて映像表示器３に表示する操作映像のデータを生成する制御器７とを備え、制御器７は、空中映像面８１を含む面をｘｙ平面とし、対称面４１から空中映像面８１に向かう方向をｚ軸の正方向として三次元座標系を定義し、操作体位置１０１のｘｙ座標を映像表示面３１の上の対応した映像表示面内位置３２に変換し、映像表示面内位置３２を中心とするボタン強調領域３５に含まれた操作ボタンの領域の映像を強調処理する。
【選択図】図１

【特許請求の範囲】

【請求項1】

映像表示面に操作ボタンを含む操作映像を表示する映像表示器と、
前記操作映像を対称面に対して面対称な位置にある空中映像面に結像させて空中映像を表示させる空中結像光学系と、
操作体の位置を検出するセンサと、
前記センサの出力に応じて前記映像表示器に表示する前記操作映像のデータを生成する制御器とを備え、
前記制御器は、
原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を、前記空中映像面を含む面をｘｙ平面とし、前記対称面から前記空中映像面に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む前記三次元座標系を定義し、前記センサの出力から前記三次元座標系における前記操作体のｘｙｚ座標を操作体位置として求める操作体位置算出部と、
前記操作体位置のｘｙ座標を空中映像面内位置とし、前記空中映像面内位置を前記映像表示面の上の対応する位置である映像表示面内位置に変換する面内位置変換部と、
前記映像表示面において、前記映像表示面内位置を中心とし前記操作体位置のｚ座標の絶対値が小さいほど面積が小さなボタン強調領域を設定する強調領域設定部と、
前記映像表示面において前記ボタン強調領域に含まれた前記操作ボタンの領域の映像を強調処理した前記操作映像のデータを生成するボタン強調処理部とを備えたことを特徴とする空中映像表示装置。

【請求項2】

前記強調処理は、明度を上げる処理、輝度を上げる処理、彩度を上げる処理、背景に対する透過率を下げる処理、背景とのコントラストを上げる処理、前記操作ボタンの大きさを大きくする処理、前記操作ボタンに輪郭を付ける処理、前記操作ボタンの輪郭を太くする処理、前記操作ボタンの輪郭の色を濃くする処理、色相を変える処理およびドットの密度を高くする処理の少なくとも１つであることを特徴とする請求項１に記載の空中映像表示装置。

【請求項3】

前記ボタン強調処理部は、前記操作体位置のｚ座標が正の値のときの前記強調処理と前記操作体位置のｚ座標が負の値のときの前記強調処理とが異なることを特徴とする請求項１または２に記載の空中映像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、空中映像表示装置に関するものである。

【背景技術】

【0002】

特殊なメガネが不要で、霧などのスクリーンを使用せずに空中に映像を表示することができる空中映像表示装置が知られている。例えば、空中結像光学系として２面コーナーリフレクタアレイを使用し、映像表示器に表示された映像を２面コーナーリフレクタアレイに対して面対称な位置の空間に結像させて映像を表示する空中映像表示装置において、カメラで検出されたユーザの３次元的な相対位置に応じて映像表示器に表示する映像を変化させることが開示されている（例えば、特許文献１参照）。

【0003】

また、入力面から操作体である指までの距離に応じて、映像表示器に表示するポインタの表現を変化させる映像表示装置が開示されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５２１２９９１号公報

【特許文献2】特許第５９３３４６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に示された空中映像表示装置において指などの操作体によって操作を行う場合、空中に表示された映像（以下、空中映像と記す）に対して操作を行うことになり、空中映像の位置を示す明確な基準が無いために、操作体が空中映像のどの操作ボタンを指し示しているのかが分かりにくいという課題があった。

【0006】

本願は、上述の課題を解決するためになされたものであり、操作体が空中映像のどの操作ボタンを指し示しているのかが分かりやすい空中映像表示装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本願に開示される空中映像表示装置は、映像表示面に操作ボタンを含む操作映像を表示する映像表示器と、操作映像を対称面に対して面対称な位置にある空中映像面に結像させて空中映像を表示させる空中結像光学系と、操作体の位置を検出するセンサと、センサの出力に応じて映像表示器に表示する操作映像のデータを生成する制御器とを備え、制御器は、原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を、空中映像面を含む面をｘｙ平面とし、対称面から空中映像面に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む三次元座標系を定義し、センサの出力から三次元座標系における操作体のｘｙｚ座標を操作体位置として求める操作体位置算出部と、操作体位置のｘｙ座標を空中映像面内位置とし、空中映像面内位置を映像表示面の上の対応する位置である映像表示面内位置に変換する面内位置変換部と、映像表示面において、映像表示面内位置を中心とし操作体位置のｚ座標の絶対値が小さいほど面積が小さなボタン強調領域を設定する強調領域設定部と、映像表示面においてボタン強調領域に含まれた操作ボタンの領域の映像を強調処理した操作映像のデータを生成するボタン強調処理部とを備えたことを特徴とする。

【発明の効果】

【0008】

本願に開示される空中映像表示装置は、映像表示面に操作ボタンを含む操作映像を表示する映像表示器と、操作映像を対称面に対して面対称な位置にある空中映像面に結像させて空中映像を表示させる空中結像光学系と、操作体の位置を検出するセンサと、センサの出力に応じて映像表示器に表示する操作映像のデータを生成する制御器とを備え、制御器は、原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を、空中映像面を含む面をｘｙ平面とし、対称面から空中映像面に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む三次元座標系を定義し、センサの出力から三次元座標系における操作体のｘｙｚ座標を操作体位置として求める操作体位置算出部と、操作体位置のｘｙ座標を空中映像面内位置とし、空中映像面内位置を映像表示面の上の対応する位置である映像表示面内位置に変換する面内位置変換部と、映像表示面において、映像表示面内位置を中心とし操作体位置のｚ座標の絶対値が小さいほど面積が小さなボタン強調領域を設定する強調領域設定部と、映像表示面においてボタン強調領域に含まれた操作ボタンの領域の映像を強調処理した操作映像のデータを生成するボタン強調処理部とを備えたので、操作体が指し示している空中映像の操作ボタンを容易に認識することができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１による空中映像表示装置の模式図である。

【図2】実施の形態１による空中映像表示装置の別の一例を示す模式図である。

【図3】実施の形態１における制御器の構成を示す図である。

【図4】実施の形態１における操作体位置算出部および面内位置変換部の処理を説明するための図である。

【図5】実施の形態１における強調領域設定部およびボタン強調処理部の処理を説明するための図である。

【図6】実施の形態１における強調領域設定部およびボタン強調処理部の処理を説明するための図である。

【図7】実施の形態１による空中映像表示装置のハードウェアの一例を示す模式図である。

【発明を実施するための形態】

【0010】

以下、本願を実施するための実施の形態に係る空中映像表示装置について、図面を参照して詳細に説明する。なお、各図において同一符号は同一もしくは相当部分を示している。

【0011】

実施の形態１．
図１は、実施の形態１による空中映像表示装置１の模式図である。空中映像表示装置１は、筐体２と、筐体２の内部に配置された映像表示器３と、筐体２の開口部に設けられたビームスプリッタ４と、筐体２の内部に配置された再帰反射シート５と、観察者９が操作する操作体１０の位置を検出するセンサ６と、センサ６の出力に応じて映像表示器３に表示する操作映像のデータを生成する制御器７とを備えている。映像表示器３は、操作ボタンを含む操作映像を表示する。図１においては、操作体１０は、観察者９の指として示している。映像表示器３は、例えばディスプレイであり、静止画あるいは動画などの操作映像を表示する。

【0012】

映像表示器３から出射された光はビームスプリッタ４に入射し、その一部が反射されて再帰反射シート５に入射する。ビームスプリッタ４は、入射された光の一部を反射するとともに、入射された光の一部を透過するものである。再帰反射シート５は、入射された光を入射方向へ反射する特性を有している。再帰反射シート５は、ビームスプリッタ４から入射した光をビームスプリッタ４に向かって反射させる。再帰反射シート５からビームスプリッタ４に向かって反射された光は、一部がビームスプリッタ４を透過する。このようにして、映像表示器３から出射された光は、ビームスプリッタ４を透過して筐体２の外側で結像され、空中映像８となる。観察者９は、この空中映像８を観察することができる。図１に示す空中映像表示装置１おいては、ビームスプリッタ４の表面が対称面４１となり、再帰反射シート５およびビームスプリッタ４が映像表示器３の映像表示面３１に表示された操作映像を対称面４１に対して面対称な位置に結像させて空中映像面８１に空中映像８を表示させる空中結像光学系１２を構成している。

【0013】

空中映像表示装置１では、操作ボタンが配置された操作画面が空中映像８に示され、観察者９が空中映像８に示された操作ボタンの上に操作体１０である指を置くことにより、操作を行う。

【0014】

図２は、実施の形態１による空中映像表示装置の別の一例を示す模式図である。図２に示す空中映像表示装置１ａを図１に示す空中映像表示装置１と比較すると、空中結像光学系１２が、再帰反射シート５およびビームスプリッタ４から面対称結像光学素子１１になっている。空中映像表示装置１ａの他の構成は、空中映像表示装置１と同じである。

【0015】

面対称結像光学素子１１は、映像表示器３に表示された操作映像を対称面１１１に対して面対称な位置に結像させて空中映像８を表示させる空中結像光学系１２であり、映像表示器３から面対称結像光学素子１１に入射した光が、対称面１１１の平面内において再帰反射となり、対称面１１１の法線方向において透過するものである。面対称結像光学素子１１は、例えば、２つの鏡面を互いに垂直に組み合わせたものであり、二面コーナーリフレクタアレイあるいは２面直交リフレクタと呼ばれるものがある。

【0016】

実施の形態１による空中映像表示装置においては、空中結像光学系１２は、映像表示器３に表示された操作映像を対称面に対して面対称な位置に結像させて空中映像８を表示させるものであればどのようなものでも構わない。以下においては、空中結像光学系１２として再帰反射シート５およびビームスプリッタ４を用いた図１に示す空中映像表示装置１の動作を説明する。

【0017】

センサ６は、操作体１０の位置を検出するものであり、例えば、空間領域内の物体の位置を検出する三次元距離センサである。三次元距離センサとしては、例えば、ＴｏＦセンサ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ Ｓｅｎｓｏｒ）である。ＴｏＦセンサによって検出した距離データから、センサ６から見える範囲の物体までの距離が分かり、物体の形状が分かるため、操作体１０の位置および方向を求めることができる。センサ６は、例えば、ステレオカメラでもよい。ステレオカメラを用いることにより、操作体１０を画像認識によって検出し、操作体１０の位置を検出することができる。操作体１０が指であれば、センサ６は、例えば、通常のカメラと赤外線距離センサを組み合わせたものでもよい。通常のカメラによって取得した画像情報から画像認識によって指を検出し、赤外線距離センサによってセンサ６から指までの距離を測定し、最終的に指の位置を求めてもよい。

【0018】

次に、制御器７の動作について説明する。図３は、実施の形態１における制御器７の構成を示す図である。制御器７は、操作体位置算出部７１、面内位置変換部７２、強調領域設定部７３およびボタン強調処理部７４を備えている。

【0019】

図４は、実施の形態１における操作体位置算出部７１および面内位置変換部７２の処理を説明するための図である。図４の左の図は、原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を示しており、空中映像面８１を含む面をｘｙ平面として、図１に示す対称面４１から空中映像面８１に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む三次元座標系を定義している。図１に示すように、ｙ軸は、例えば、観察者９から空中映像８を見たときの上下方向であり、観察者９から見た上方向を正方向とする。ｘ軸は、例えば、観察者９から空中映像８を見たときの左右方向であり、観察者から見た右方向を正方向とする。ｚ軸は、ｘｙ平面に垂直な軸であり、対称面４１から空中映像面８１に向かう方向、すなわち、空中映像８から観察者９に向かう方向を正方向とする。なお、三次元座標系における原点は、空中映像面８１を含む面の上にあればどこにあっても構わない。

【0020】

操作体位置算出部７１は、センサ６の出力から、空中映像面８１に対する操作体１０の位置、すなわち、三次元座標系における操作体１０のｘｙｚ座標を操作体位置１０１として求めて、面内位置変換部７２に出力する。図４の左の図においては、操作体１０において空中映像面８１に最も近い位置を操作体位置１０１としており、操作体位置１０１のｘｙｚ座標は（ｘ０、ｙ０、ｚ０）である。操作体位置１０１は、操作体１０の位置を示すものであればよく、操作体１０が指である場合は指先の位置を検出して操作体位置１０１としてもよい。操作体１０は、空中映像表示装置１を操作するものであればよく、例えば、ペンなどでもよい。操作体１０がペンのときは、例えば、操作体位置１０１としてペン先の位置を検出してもよい。

【0021】

面内位置変換部７２は、操作体位置１０１のｘｙ座標を空中映像面内位置８２とし、空中映像面内位置８２を映像表示面３１の上の対応する位置である映像表示面内位置３２に変換する。面内位置変換部７２は、最初に、操作体位置１０１から空中映像面８１に下した垂線が空中映像面８１に交わる位置、すなわち、操作体位置１０１のｘｙ座標を空中映像面内位置８２として求める。図４の左の図においては、操作体位置１０１のｘｙｚ座標が（ｘ０、ｙ０、ｚ０）であることから、空中映像面内位置８２は（ｘ０、ｙ０）となる。

【0022】

次に、面内位置変換部７２は、空中映像面内位置８２を、映像表示面３１の上の対応する位置である映像表示面内位置３２に変換する。図４の右の図は、映像表示面３１の上の位置を説明するためのものであり、例えば、Ｙ軸は映像表示面３１の上下方向であり、Ｘ軸は映像表示面３１の左右方向である。面内位置変換部７２は、図４の左の図において（ｘ０、ｙ０）にある空中映像面内位置８２を、図４の右の図における映像表示面３１の上の対応する位置（Ｘ０、Ｙ０）にある映像表示面内位置３２に変換する。図１に示すように、映像表示器３から空中映像８までの光路において空中結像光学系１２のみが存在する場合は、Ｘ０＝ｘ０、Ｙ０＝ｙ０であるが、映像表示器３から空中映像８までの光路において空中結像光学系１２以外の光学的処理を行うものがある場合は、映像表示器３から空中映像８までの光路における光学的処理に応じて（ｘ０、ｙ０）を（Ｘ０、Ｙ０）に変換する。例えば、映像表示器３から空中映像８までの光路において拡大処理が行われている場合は、（ｘ０、ｙ０）を（Ｘ０、Ｙ０）に変換するときに拡大処理の拡大率に応じた縮小処理を行う。

【0023】

強調領域設定部７３は、操作体位置算出部７１の出力である操作体位置１０１の情報と、面内位置変換部７２の出力である映像表示面内位置３２の情報とから、映像表示面３１において、映像表示面内位置３２を中心とし操作体位置１０１のｚ座標の絶対値が小さいほど面積が小さなボタン強調領域３５を設定し、ボタン強調領域３５の情報をボタン強調処理部７４に出力する。図５は、強調領域設定部７３およびボタン強調処理部７４の処理を説明するための図である。図５は、図４の右側の図に対応するものであり、ＸＹ座標系の映像表示面３１における操作映像３３の様子を示している。図５の例においては、操作映像３３は数字が示された４つの操作ボタン３４を含んでいる。強調領域設定部７３は、映像表示面３１において、ボタン強調領域３５を設定する。このとき、ボタン強調領域３５の中心は映像表示面内位置３２であり、操作体位置１０１のｚ座標の絶対値が小さいほどボタン強調領域３５の面積を小さくする。図５に示す例では、ボタン強調領域３５の形は円であり、操作体位置１０１のｚ座標の絶対値が小さいほどボタン強調領域３５の円の半径が小さくなるものとしている。ボタン強調領域３５の形はどのようなものでもよく、例えば、ボタン強調領域３５の幾何中心をボタン強調領域３５の中心とすればよい。

【0024】

ボタン強調処理部７４は、強調領域設定部７３の出力であるボタン強調領域３５の情報を用いて、映像表示面３１においてボタン強調領域３５に含まれた操作ボタン３４の領域の映像を強調処理した操作映像のデータを生成し、操作映像のデータを映像表示器３に出力する。ボタン強調処理部７４は、図５に示すように、映像表示面３１においてボタン強調領域３５に含まれた４つの操作ボタン３４の領域のそれぞれにおいて、操作ボタン３４の映像の強調処理を行う。操作ボタン３４の全体がボタン強調領域に含まれた場合は、操作ボタン３４の全体の映像の強調処理を行う。図５に示す例では、ボタン強調領域３５に含まれた操作ボタン３４の領域において、ドットの密度を上げ、輪郭を太くする処理が行われている。図５に示されたような、強調処理が行われた操作ボタン３４が含まれる操作映像のデータが生成され、生成された操作映像のデータが映像表示器３に出力される。なお、図５に示した例では、映像表示面内位置３２の位置を示す点とボタン強調領域３５の外周を示す線が操作映像に重畳されているが、これらの点あるいは線は、操作映像に重畳されなくてもよい。映像表示面内位置３２の位置を示す点とボタン強調領域３５の外周を示す線が操作映像に重畳されることにより、観察者９は操作体１０が指し示している場所をより明確に認識することができる。

【0025】

図６は、強調領域設定部７３およびボタン強調処理部７４の処理を説明するための図である。図６においては、左から右に向かって、操作体１０の操作体位置１０１が空中映像８の空中映像面８１に向かって近づき、最後に操作体位置１０１が空中映像面８１を通過したときの様子を示している。図６の上側の５つの図は、図４の左側に示した三次元座標系においてｙ軸の負方向から正方向に向かって見たときの様子を示しており、ｘ軸と空中映像面８１が重なるためにｘ軸を省略している。図６の下側の５つの図は、図４の右側に示したＸＹ座標系における映像表示面３１に表示される操作映像の様子を示しており、操作ボタンが強調処理された様子を示している。また、例えば、左上の図において操作体位置１０１のｚ座標がｚ１のときは、左下の図のように映像表示面３１にボタン強調領域３５ａが設定されていることを示している。

【0026】

強調領域設定部７３は、操作体位置１０１のｚ座標の絶対値が小さいほど面積が小さなボタン強調領域を設定する。図６に示した例では、操作体位置１０１のｚ座標がｚ１のときのボタン強調領域３５ａと操作体位置１０１のｚ座標がｚ２のときのボタン強調領域３５ｂとを比べると、ｚ２の絶対値がｚ１の絶対値よりも小さいため、ボタン強調領域３５ｂの面積がボタン強調領域３５ａの面積よりも小さくなっている。さらに、ボタン強調処理部７４は、ボタン強調領域に含まれた操作ボタン３４の領域の映像を強調処理する。図６に示す例では、ボタン強調領域に含まれた操作ボタン３４の領域のドットの密度を他の領域よりも高くし、ボタン強調領域に含まれた操作ボタン３４の領域の輪郭を他の領域よりも太くしている。さらに、図６に示す例では、操作体位置１０１のｚ座標の絶対値が小さくなるほど、ボタン強調領域に含まれた操作ボタン３４の領域のドットの密度を高くしている。さらに、図６の左から３番目に示した操作体位置１０１のｚ座標がゼロとなっている例では、ボタン強調領域３５ｃの面積が、ボタン強調領域３５ａの面積およびボタン強調領域３５ｂの面積と比べてさらに小さくなっている。このように、操作体位置１０１のｚ座標の絶対値が小さいほど面積が小さなボタン強調領域を設定することにより、観察者９は操作体１０である指が空中映像面８１に近づいていることを認識することができる。また、操作体位置１０１のｚ座標の絶対値が小さいほど面積が小さなボタン強調領域を設定することにより、観察者９は、操作体１０である指が空中映像面８１から遠いときには指し示している場所がおおよそ分かり、操作体１０である指が空中映像面８１から近づいたときには操作体１０である指で指し示している場所をより正確に知ることができる。

【0027】

図６では、ボタン強調領域に含まれた操作ボタン３４の領域のドットの密度を他の領域よりも高くし、ボタン強調領域に含まれた操作ボタン３４の領域の輪郭を他の領域よりも太くしているが、ボタン強調領域に含まれた操作ボタン３４の領域の映像の強調処理はこれに限るものではなく、例えば、明度を上げる処理、輝度を上げる処理、彩度を上げる処理、背景に対する透過率を下げる処理、背景とのコントラストを上げる処理、操作ボタンの大きさを大きくする処理、操作ボタンに輪郭を付ける処理、操作ボタンの輪郭を太くする処理、操作ボタンの輪郭の色を濃くする処理、色相を変える処理およびドットの密度を高くする処理の少なくとも１つを含むものであってもよい。背景とのコントラストを上げる処理は、例えば、背景との色の差異を大きくする処理、あるいは、背景との輝度の差異を大きくする処理であり、操作ボタンの存在をより強く認識することができる。

【0028】

また、図６の左から４番目に示した操作体位置１０１のｚ座標がゼロとなっている例では、映像表示面内位置３２が含まれた操作ボタンの全体の枠を太くすることにより、映像表示面内位置３２が含まれた操作ボタンの全体の映像を強調処理している。このように、操作体位置１０１のｚ座標がゼロのときに、映像表示面内位置３２が含まれた操作ボタンの全体の領域の映像を強調処理することにより、観察者９は操作体１０である指が空中映像面８１の平面上にあることを知ることができる。あるいは、操作体位置１０１のｚ座標の絶対値があらかじめ定められたしきい値よりも小さいときに、映像表示面内位置３２が含まれた操作ボタンの全体の領域の映像を強調処理してもよい。

【0029】

図６の最も右側に示した例では、操作体１０の操作体位置１０１が空中映像面８１を通過して、操作体位置１０１が空中映像面８１と対称面４１の間にあるため、操作体位置１０１のｚ座標が負の値であるｚ３となっている。このときのボタン強調領域３５ｄは、例えば、操作体位置１０１のｚ座標が正の値のときと同様に、操作体位置１０１のｚ座標の値の絶対値が小さいほど面積が小さなボタン強調領域を設定すればよい。これにより、操作体位置１０１が空中映像面８１を通過して空中映像面８１から遠ざかったときに、観察者９は操作体１０である指が空中映像面８１から遠ざかったことを認識することができる。また、図５の左から右に向かって示すように、操作体１０の操作体位置１０１が空中映像面８１に近づいてさらに通過したときに、ボタン強調領域が徐々に小さくなった後に再び大きくなるので、観察者９は操作体位置１０１が空中映像面８１を通過したことを認識することができる。

【0030】

さらに、強調領域設定部７３は、操作体位置１０１のｚ座標が正の値のときの強調処理と操作体位置１０１のｚ座標が負の値のときの強調処理とを異なるものとしてもよい。例えば、操作体位置１０１のｚ座標が負の値のときに、操作体位置１０１のｚ座標が負の値のときと比べて、ボタン強調領域に含まれた操作ボタンの領域の映像に対して色相を変えてもよい。操作体位置１０１のｚ座標が正の値のときの強調処理と操作体位置１０１のｚ座標が負の値のときの強調処理とが異なることにより、観察者９は操作体位置１０１が空中映像面８１を通過したことを強く認識することができる。

【0031】

ボタン強調処理部７４において生成された操作映像のデータは、映像表示器３に出力され、映像表示器３の映像表示面３１に操作映像が表示され、図６の下の列に示されたような映像が空中映像８として観測することができる。

【0032】

以上のように、実施の形態１による空中映像表示装置１は、映像表示面３１に操作ボタン３４を含む操作映像を表示する映像表示器３と、操作映像を対称面４１に対して面対称な位置にある空中映像面８１に結像させて空中映像８を表示させる空中結像光学系１２と、操作体１０の位置を検出するセンサ６と、センサ６の出力に応じて映像表示器３に表示する操作映像のデータを生成する制御器７とを備え、制御器７は、原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を、空中映像面８１を含む面をｘｙ平面とし、対称面４１から空中映像面８１に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む三次元座標系を定義し、センサ６の出力から三次元座標系における操作体１０のｘｙｚ座標を操作体位置１０１として求める操作体位置算出部７１と、操作体位置１０１のｘｙ座標を空中映像面内位置８２とし、空中映像面内位置８２を映像表示面３１の上の対応する位置である映像表示面内位置３２に変換する面内位置変換部７２と、映像表示面３１において、映像表示面内位置３２を中心とし操作体位置１０１のｚ座標の絶対値が小さいほど面積が小さなボタン強調領域３５を設定する強調領域設定部７３と、映像表示面３１においてボタン強調領域３５に含まれた操作ボタン３４の領域の映像を強調処理した操作映像のデータを生成するボタン強調処理部７４とを備えたので、操作体１０が指し示している空中映像８の操作ボタンを容易に認識することができる。

【0033】

図７は、実施の形態１による空中映像表示装置のハードウェアの一例を示す模式図である。制御器７は、メモリ２０２に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ２０１によって実現される。メモリ２０２は、プロセッサ２０１が実行する各処理における一時記憶装置としても使用される。また、複数の処理回路が連携して上記機能を実行してもよい。さらに、専用のハードウェアによって上記機能を実現してもよい。専用のハードウェアによって上記機能を実現する場合は、専用のハードウェアは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは、これらを組み合わせたものである。上記機能は、専用ハードウェアとソフトウェアとの組み合わせ、あるいは、専用ハードウェアとファームウェアとの組み合わせによって実現してもよい。メモリ２０２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭなどの不揮発性または揮発性の半導体メモリ、磁気ディスク、光ディスク、または、これらを組み合わせたものである。プロセッサ２０１、メモリ２０２、センサ６および映像表示器３は、互いにバス接続されている。空中結像光学系１２は、空中映像表示装置の一部を構成するものである。

【0034】

本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、および機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
したがって、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。

【符号の説明】

【0035】

１、１ａ 空中映像表示装置、２ 筐体、３ 映像表示器、４ ビームスプリッタ、５ 再帰反射シート、６ センサ、７ 制御器、８ 空中映像、９ 観察者、１０ 操作体、１１ 面対称結像光学素子、１２ 空中結像光学系、３１ 映像表示面、３２ 映像表示面内位置、３３ 操作映像、３４ 操作ボタン、３５、３５ａ、３５ｂ、３５ｃ、３５ｄ ボタン強調領域、４１ 対称面、７１ 操作体位置算出部、７２ 面内位置変換部、７３ 強調領域設定部、７４ ボタン強調処理部、８１ 空中映像面、８２ 空中映像面内位置、１０１ 操作体位置、１１１ 対称面、２０１ プロセッサ、２０２ メモリ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】