(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023050578
(43)【公開日】2023-04-11
(54)【発明の名称】空中映像表示装置
(51)【国際特許分類】
G06F 3/04812 20220101AFI20230404BHJP
G06F 3/01 20060101ALI20230404BHJP
【ＦＩ】
G06F3/0481 120
G06F3/01 510
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021160755
(22)【出願日】2021-09-30
(71)【出願人】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(74)【代理人】
【識別番号】110002941
【氏名又は名称】弁理士法人ぱるも特許事務所
(72)【発明者】
【氏名】今中 英夫
(72)【発明者】
【氏名】▲瀬▼利 俊光
(72)【発明者】
【氏名】大神 航
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA06
5E555AA26
5E555BA01
5E555BB01
5E555BC01
5E555CA29
5E555CA41
5E555CB23
5E555CC05
5E555CC22
5E555CC23
5E555DA01
5E555DB06
5E555DB57
5E555DC09
5E555DC10
5E555DC25
5E555DC27
5E555DC30
5E555DC32
5E555DC35
5E555DC36
5E555FA00
(57)【要約】
【課題】操作体と空中映像との距離および操作体が指し示している空中映像の面上の位置が分かりやすい空中映像表示装置を提供する。
【解決手段】映像表示面３１に映像を表示する映像表示器３と、映像を対称面４１に対して面対称な位置にある空中映像面８１に結像させて空中映像８を表示させる空中結像光学系１４と、操作体１０の位置を検出するセンサ６と、センサ６の出力に応じて映像表示器３に表示する映像のデータを生成する制御器７とを備え、制御器７は、空中映像面８１を含む面をｘｙ平面とし、対称面４１から空中映像面８１に向かう方向をｚ軸の正方向として三次元座標系を定義し、操作体位置１０１のｘｙ座標を映像表示面３１の上の対応した映像表示面内位置３２に変換し、操作体位置１０１のｚ座標に応じて表示特性を変化させたポインタを映像表示面内位置３２に表示する。
【選択図】図１
【解決手段】映像表示面３１に映像を表示する映像表示器３と、映像を対称面４１に対して面対称な位置にある空中映像面８１に結像させて空中映像８を表示させる空中結像光学系１４と、操作体１０の位置を検出するセンサ６と、センサ６の出力に応じて映像表示器３に表示する映像のデータを生成する制御器７とを備え、制御器７は、空中映像面８１を含む面をｘｙ平面とし、対称面４１から空中映像面８１に向かう方向をｚ軸の正方向として三次元座標系を定義し、操作体位置１０１のｘｙ座標を映像表示面３１の上の対応した映像表示面内位置３２に変換し、操作体位置１０１のｚ座標に応じて表示特性を変化させたポインタを映像表示面内位置３２に表示する。
【選択図】図１
【特許請求の範囲】
【請求項1】
映像表示面に表示映像を表示する映像表示器と、
前記表示映像を対称面に対して面対称な位置にある空中映像面に結像させて空中映像を表示させる空中結像光学系と、
操作体の位置を検出するセンサと、
前記センサの出力に応じて前記映像表示器に表示する前記表示映像のデータを生成する制御器とを備え、
前記制御器は、
原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を、前記空中映像面を含む面をｘｙ平面とし、前記対称面から前記空中映像面に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む前記三次元座標系を定義し、前記センサの出力から前記三次元座標系における前記操作体のｘｙｚ座標を操作体位置として求める操作体位置算出部と、
前記操作体位置のｘｙ座標を空中映像面内位置とし、前記空中映像面内位置を前記映像表示面の上の対応する位置である映像表示面内位置に変換する面内位置変換部と、
前記操作体位置のｚ座標を操作体垂直位置とし、前記操作体垂直位置に応じて表示特性を変化させたポインタを生成するポインタ生成部と、
前記ポインタを操作映像に重畳して、前記映像表示面の前記映像表示面内位置に前記ポインタを表示する前記表示映像のデータを生成するポインタ重畳部とを備えたことを特徴とする空中映像表示装置。
前記表示映像を対称面に対して面対称な位置にある空中映像面に結像させて空中映像を表示させる空中結像光学系と、
操作体の位置を検出するセンサと、
前記センサの出力に応じて前記映像表示器に表示する前記表示映像のデータを生成する制御器とを備え、
前記制御器は、
原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を、前記空中映像面を含む面をｘｙ平面とし、前記対称面から前記空中映像面に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む前記三次元座標系を定義し、前記センサの出力から前記三次元座標系における前記操作体のｘｙｚ座標を操作体位置として求める操作体位置算出部と、
前記操作体位置のｘｙ座標を空中映像面内位置とし、前記空中映像面内位置を前記映像表示面の上の対応する位置である映像表示面内位置に変換する面内位置変換部と、
前記操作体位置のｚ座標を操作体垂直位置とし、前記操作体垂直位置に応じて表示特性を変化させたポインタを生成するポインタ生成部と、
前記ポインタを操作映像に重畳して、前記映像表示面の前記映像表示面内位置に前記ポインタを表示する前記表示映像のデータを生成するポインタ重畳部とを備えたことを特徴とする空中映像表示装置。
【請求項2】
前記ポインタの前記表示特性は、大きさ、ドットの密度、色、色の濃さ、透過率、明るさ、形、前記ポインタの全体のぼかしの強度、および、前記ポインタの輪郭のぼかしの強度の少なくとも１つであることを特徴とする請求項１に記載の空中映像表示装置。
【請求項3】
前記ポインタ生成部は、前記操作体垂直位置の値の絶対値が小さいほど前記ポインタの大きさを小さくし、前記操作体垂直位置の値の絶対値が大きいほど前記ポインタの輪郭を強くぼかすことを特徴とする請求項１に記載の空中映像表示装置。
【請求項4】
前記ポインタ生成部は、前記操作体垂直位置の絶対値があらかじめ定められたしきい値よりも小さいときに、前記操作体垂直位置の絶対値が前記しきい値以上のときと前記ポインタの前記表示特性を変化させることを特徴とする請求項１から３のいずれか１項に記載の空中映像表示装置。
【請求項5】
前記ポインタ生成部は、前記操作体垂直位置が正の値のときと前記操作体垂直位置が負の値のときとで前記ポインタの前記表示特性を変化させることを特徴とする請求項１または２に記載の空中映像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、空中映像表示装置に関するものである。
【背景技術】
【0002】
特殊なメガネが不要で、霧などのスクリーンを使用せずに空中に映像を表示することができる空中映像表示装置が知られている。例えば、空中結像光学系として２面コーナーリフレクタアレイを使用し、映像表示器に表示された映像を２面コーナーリフレクタアレイに対して面対称な位置の空間に結像させて映像を表示する空中映像表示装置において、カメラで検出されたユーザの３次元的な相対位置に応じて映像表示器に表示する映像を変化させることが開示されている（例えば、特許文献１参照）。
【0003】
また、入力面から操作体である指までの距離に応じて、映像表示器に表示するポインタの表現を変化させる映像表示装置が開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第５２１２９９１号公報
【特許文献2】特許第５９３３４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に示された空中映像表示装置において指などの操作体によって操作を行う場合、空中に表示された映像（以下、空中映像と記す）に対して操作を行うことになり、空中映像の位置を示す明確な基準が無いために指をどの程度近づければよいのかが分かりにくいという課題があった。
【0006】
本願は、上述の課題を解決するためになされたものであり、操作体と空中映像との距離および操作体が指し示している空中映像の面上の位置が分かりやすい空中映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本願に開示される空中映像表示装置は、映像表示面に表示映像を表示する映像表示器と、表示映像を対称面に対して面対称な位置にある空中映像面に結像させて空中映像を表示させる空中結像光学系と、操作体の位置を検出するセンサと、センサの出力に応じて映像表示器に表示する表示映像のデータを生成する制御器とを備え、制御器は、原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を、空中映像面を含む面をｘｙ平面とし、対称面から空中映像面に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む三次元座標系を定義し、センサの出力から三次元座標系における操作体のｘｙｚ座標を操作体位置として求める操作体位置算出部と、操作体位置のｘｙ座標を空中映像面内位置とし、空中映像面内位置を映像表示面の上の対応する位置である映像表示面内位置に変換する面内位置変換部と、操作体位置のｚ座標を操作体垂直位置とし、操作体垂直位置に応じて表示特性を変化させたポインタを生成するポインタ生成部と、ポインタを操作映像に重畳して、映像表示面の映像表示面内位置にポインタを表示する表示映像のデータを生成するポインタ重畳部とを備えたことを特徴とする。
【発明の効果】
【0008】
本願に開示される空中映像表示装置は、映像表示面に表示映像を表示する映像表示器と、表示映像を対称面に対して面対称な位置にある空中映像面に結像させて空中映像を表示させる空中結像光学系と、操作体の位置を検出するセンサと、センサの出力に応じて映像表示器に表示する表示映像のデータを生成する制御器とを備え、制御器は、原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を、空中映像面を含む面をｘｙ平面とし、対称面から空中映像面に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む三次元座標系を定義し、センサの出力から三次元座標系における操作体のｘｙｚ座標を操作体位置として求める操作体位置算出部と、操作体位置のｘｙ座標を空中映像面内位置とし、空中映像面内位置を映像表示面の上の対応する位置である映像表示面内位置に変換する面内位置変換部と、操作体位置のｚ座標を操作体垂直位置とし、操作体垂直位置に応じて表示特性を変化させたポインタを生成するポインタ生成部と、ポインタを操作映像に重畳して、映像表示面の映像表示面内位置にポインタを表示する表示映像のデータを生成するポインタ重畳部とを備えたので、操作体と空中映像との距離および操作体が指し示している空中映像の面上の位置を容易に認識することができる。
【図面の簡単な説明】
【0009】
【図1】実施の形態１による空中映像表示装置の模式図である。
【図2】実施の形態１による空中映像表示装置の別の一例を示す模式図である。
【図3】実施の形態１における制御器の構成を示す図である。
【図4】実施の形態１における操作体位置算出部および面内位置変換部の処理を説明するための図である。
【図5】実施の形態１におけるポインタ生成部およびポインタ重畳部の処理を説明するための図である。
【図6】実施の形態１による空中映像表示装置のハードウェアの一例を示す模式図である。
【発明を実施するための形態】
【0010】
以下、本願を実施するための実施の形態に係る空中映像表示装置について、図面を参照して詳細に説明する。なお、各図において同一符号は同一もしくは相当部分を示している。
【0011】
実施の形態１．
図１は、実施の形態１による空中映像表示装置１の模式図である。空中映像表示装置１は、筐体２と、筐体２の内部に配置された映像表示器３と、筐体２の開口部に設けられたビームスプリッタ４と、筐体２の内部に配置された再帰反射シート５と、観察者９が操作する操作体１０の位置を検出するセンサ６と、センサ６の出力に応じて映像表示器３に表示する表示映像のデータを生成する制御器７とを備えている。図１においては、操作体１０は、観察者９の指として示している。映像表示器３は、例えばディスプレイであり、静止画あるいは動画などの映像を表示する。
図１は、実施の形態１による空中映像表示装置１の模式図である。空中映像表示装置１は、筐体２と、筐体２の内部に配置された映像表示器３と、筐体２の開口部に設けられたビームスプリッタ４と、筐体２の内部に配置された再帰反射シート５と、観察者９が操作する操作体１０の位置を検出するセンサ６と、センサ６の出力に応じて映像表示器３に表示する表示映像のデータを生成する制御器７とを備えている。図１においては、操作体１０は、観察者９の指として示している。映像表示器３は、例えばディスプレイであり、静止画あるいは動画などの映像を表示する。
【0012】
映像表示器３から出射された光はビームスプリッタ４に入射し、その一部が反射されて再帰反射シート５に入射する。ビームスプリッタ４は、入射された光の一部を反射するとともに、入射された光の一部を透過するものである。再帰反射シート５は、入射された光を入射方向へ反射する特性を有している。再帰反射シート５は、ビームスプリッタ４から入射した光をビームスプリッタ４に向かって反射させる。再帰反射シート５からビームスプリッタ４に向かって反射された光は、一部がビームスプリッタ４を透過する。このようにして、映像表示器３から出射された光は、ビームスプリッタ４を透過して筐体２の外側で結像され、空中映像８となる。観察者９は、この空中映像８を観察することができる。図１に示す空中映像表示装置１おいては、ビームスプリッタ４の表面が対称面４１となり、再帰反射シート５およびビームスプリッタ４が映像表示器３の映像表示面３１に表示された表示映像を対称面４１に対して面対称な位置に結像させて空中映像面８１に空中映像８を表示させる空中結像光学系１４を構成している。
【0013】
空中映像表示装置１では、例えば、操作ボタンなどが配置された操作画面が空中映像８に示され、観察者９が空中映像８に示された操作ボタンの上に操作体１０である指を置くことにより、操作を行う。
【0014】
図２は、実施の形態１による空中映像表示装置の別の一例を示す模式図である。図２に示す空中映像表示装置１ａを図１に示す空中映像表示装置１と比較すると、空中結像光学系１４が、再帰反射シート５およびビームスプリッタ４から面対称結像光学素子１１になっている。空中映像表示装置１ａの他の構成は、空中映像表示装置１と同じである。
【0015】
面対称結像光学素子１１は、映像表示器３に表示された表示映像を対称面１１１に対して面対称な位置に結像させて空中映像８を表示させる空中結像光学系１４であり、映像表示器３から面対称結像光学素子１１に入射した光が、対称面１１１の平面内において再帰反射となり、対称面１１１の法線方向において透過するものである。面対称結像光学素子１１は、例えば、２つの鏡面を互いに垂直に組み合わせたものであり、二面コーナーリフレクタアレイあるいは２面直交リフレクタと呼ばれるものがある。
【0016】
実施の形態１による空中映像表示装置においては、空中結像光学系１４は、映像表示器３に表示された表示映像を対称面に対して面対称な位置に結像させて空中映像８を表示させるものであればどのようなものでも構わない。以下においては、空中結像光学系１４として再帰反射シート５およびビームスプリッタ４を用いた図１に示す空中映像表示装置１の動作を説明する。
【0017】
センサ６は、操作体１０の位置を検出するものであり、例えば、空間領域内の物体の位置を検出する三次元距離センサである。三次元距離センサとしては、例えば、ＴｏＦセンサ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ Ｓｅｎｓｏｒ）である。ＴｏＦセンサによって検出した距離データから、センサ６から見える範囲の物体までの距離が分かり、物体の形状が分かるため、操作体１０の位置および方向を求めることができる。センサ６は、例えば、ステレオカメラでもよい。ステレオカメラを用いることにより、操作体１０を画像認識によって検出し、操作体１０の位置を検出することができる。操作体１０が指であれば、センサ６は、例えば、通常のカメラと赤外線距離センサを組み合わせたものでもよい。通常のカメラによって取得した画像情報から画像認識によって指を検出し、赤外線距離センサによってセンサ６から指までの距離を測定し、最終的に指の位置を求めてもよい。
【0018】
次に、制御器７の動作について説明する。図３は、実施の形態１における制御器７の構成を示す図である。制御器７は、操作体位置算出部７１、面内位置変換部７２、ポインタ生成部７３およびポインタ重畳部７４を備えている。
【0019】
図４は、実施の形態１における操作体位置算出部７１および面内位置変換部７２の処理を説明するための図である。図４の左の図は、原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を示しており、空中映像面８１を含む面をｘｙ平面として、図１に示す対称面４１から空中映像面８１に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む三次元座標系を定義している。図１に示すように、ｙ軸は、例えば、観察者９から空中映像８を見たときの上下方向であり、観察者９から見た上方向を正方向とする。ｘ軸は、例えば、観察者９から空中映像８を見たときの左右方向であり、観察者から見た右方向を正方向とする。ｚ軸は、ｘｙ平面に垂直な軸であり、対称面４１から空中映像面８１に向かう方向、すなわち、空中映像８から観察者９に向かう方向を正方向とする。なお、三次元座標系における原点は、空中映像面８１を含む面の上にあればどこにあっても構わない。
【0020】
操作体位置算出部７１は、センサ６の出力から、空中映像面８１に対する操作体１０の位置、すなわち、三次元座標系における操作体１０のｘｙｚ座標を操作体位置１０１として求めて、面内位置変換部７２およびポインタ生成部７３に出力する。図４の左の図においては、操作体１０において空中映像面８１に最も近い位置を操作体位置１０１としており、操作体位置１０１のｘｙｚ座標は（ｘ０、ｙ０、ｚ０）である。操作体位置１０１は、操作体１０の位置を示すものであればよく、操作体１０が指である場合は指先の位置を検出して操作体位置１０１としてもよい。操作体１０は、空中映像表示装置１を操作するものであればよく、例えば、ペンなどでもよい。操作体１０がペンのときは、例えば、操作体位置１０１としてペン先の位置を検出してもよい。
【0021】
面内位置変換部７２は、操作体位置１０１のｘｙ座標を空中映像面内位置８２とし、空中映像面内位置８２を映像表示面３１の上の対応する位置である映像表示面内位置３２に変換する。面内位置変換部７２は、最初に、操作体位置１０１から空中映像面８１に下した垂線が空中映像面８１に交わる位置、すなわち、操作体位置１０１のｘｙ座標を空中映像面内位置８２として求める。図４の左の図においては、操作体位置１０１のｘｙｚ座標が（ｘ０、ｙ０、ｚ０）であることから、空中映像面内位置８２は（ｘ０、ｙ０）となる。
【0022】
次に、面内位置変換部７２は、空中映像面内位置８２を、映像表示面３１の上の対応する位置である映像表示面内位置３２に変換する。図４の右の図は、映像表示面３１の上の位置を説明するためのものであり、例えば、Ｙ軸は映像表示面３１の上下方向であり、Ｘ軸は映像表示面３１の左右方向である。面内位置変換部７２は、図４の左の図において（ｘ０、ｙ０）にある空中映像面内位置８２を、図４の右の図における映像表示面３１の上の対応する位置（Ｘ０、Ｙ０）にある映像表示面内位置３２に変換する。図１に示すように、映像表示器３から空中映像８までの光路において空中結像光学系１４のみが存在する場合は、Ｘ０＝ｘ０、Ｙ０＝ｙ０であるが、映像表示器３から空中映像８までの光路において空中結像光学系１４以外の光学的処理を行うものがある場合は、映像表示器３から空中映像８までの光路における光学的処理に応じて（ｘ０、ｙ０）を（Ｘ０、Ｙ０）に変換する。例えば、映像表示器３から空中映像８までの光路において拡大処理が行われている場合は、（ｘ０、ｙ０）を（Ｘ０、Ｙ０）に変換するときに拡大処理の拡大率に応じた縮小処理を行う。
【0023】
ポインタ生成部７３は、操作体位置算出部７１の出力である操作体位置１０１の情報から、操作体位置１０１のｚ座標を操作体垂直位置８３とし、操作体垂直位置８３の値に応じて表示特性を変化させたポインタのデータを生成し、ポインタ重畳部７４に出力する。ポインタ生成部７３は、最初に、操作体位置１０１から空中映像面８１に下した垂線に沿った方向において、空中映像面８１の平面上の位置をゼロとし、対称面４１から空中映像面８１に向かう方向を正方向として表した値、すなわち、操作体位置１０１のｚ座標を、操作体垂直位置８３として求める。図４の左の図においては、操作体位置１０１のｘｙｚ座標が（ｘ０、ｙ０、ｚ０）であることから、操作体垂直位置８３は（ｚ０）となる。操作体垂直位置８３は、操作体１０の操作体位置１０１が空中映像面８１の平面上にあるときにゼロとなる。操作体垂直位置８３は、操作体１０の操作体位置１０１が観察者９から見て空中映像面８１の手前側にあるときに正の値となり、操作体が空中映像面８１から離れるほど、大きな値となる。操作体１０の操作体位置１０１が空中映像面８１を通過して、操作体位置１０１が空中映像面８１と対称面４１の間にあるときは、操作体垂直位置８３は負の値となり、操作体位置１０１が空中映像面８１と対称面４１の間において空中映像面８１から離れるほど、負の値である操作体垂直位置８３の絶対値が大きくなる。
【0024】
ポインタ生成部７３は、次に、操作体垂直位置８３の値に応じて表示特性を変化させたポインタのデータを生成し、ポインタ重畳部７４に出力する。図５は、実施の形態１におけるポインタ生成部７３およびポインタ重畳部７４の処理を説明するための図である。図５においては、左から右に向かって、操作体１０の操作体位置１０１が空中映像８の空中映像面８１に向かって近づき、最後に操作体位置１０１が空中映像面８１を通過したときの様子を示している。図５の上側の５つの図は、図４の左側に示した三次元座標系においてｙ軸の負方向から正方向に向かって見たときの様子を示しており、ｘ軸と空中映像面８１が重なるためにｘ軸を省略している。図５の下側の５つの図は、図４の右側に示したＸＹ座標系における映像表示面３１に表示される表示映像の様子を示しており、数字が示された４つの操作ボタンの上にポインタが重畳された様子を示している。また、例えば、左上の図において操作体位置１０１のｚ座標がｚ１のときは、左下の図のように映像表示面３１にポインタ１２ａが表示されることを示している。
【0025】
ポインタ生成部７３は、操作体垂直位置８３の値に応じてポインタの表示特性を変化させる。図５に示した例では、操作体垂直位置８３がｚ１のときのポインタ１２ａと操作体垂直位置８３がｚ２のときのポインタ１２ｂとを比べると、ｚ２の絶対値がｚ１の絶対値よりも小さいため、ポインタ１２ｂの大きさがポインタ１２ａの大きさよりも小さくなっており、ポインタ１２ｂのドットの密度がポインタ１２ａのドットの密度よりも高くなっている。さらに、図５の左から３番目に示した操作体垂直位置８３がゼロとなっている例では、ポインタ１２ｃが、ポインタ１２ａおよびポインタ１２ｂと比べて、大きさが小さく、ドットの密度が高くなっている。このように、操作体垂直位置８３の値の絶対値が小さいほどポインタの大きさを小さくする、あるいは、操作体垂直位置８３の値の絶対値が小さいほどポインタのドットの密度を高くすることにより、観察者９は操作体１０である指が空中映像面８１に近づいていることを認識することができる。また、操作体垂直位置８３の値の絶対値が小さいほどポインタの大きさを小さくすることにより、観察者９は、操作体１０である指が空中映像面８１から遠いときには指し示している場所がおおよそ分かり、操作体１０である指が空中映像面８１から近づいたときには操作体１０である指で指し示している場所をより正確に知ることができる。
【0026】
図５では、操作体垂直位置８３の値の絶対値が小さいほどポインタのドットの密度を高くする例を示しているが、操作体垂直位置８３の値の絶対値が大きいほどポインタの全体を強くぼかす、操作体垂直位置８３の値の絶対値が大きいほどポインタの輪郭を強くぼかす、操作体垂直位置８３の値の絶対値が小さいほどポインタの色を濃くする、あるいは、操作体垂直位置８３の値の絶対値が小さいほどポインタの透過率を低くしても、観察者９は操作体１０である指が空中映像面８１に近づいていることを認識することができる。例えば、操作体垂直位置８３の値の絶対値が小さいほどポインタの大きさを小さくし、さらに、操作体垂直位置８３の値の絶対値が大きいほどポインタの輪郭を強くぼかすことにより、観察者９は操作体１０である指が空中映像面８１に近づいていることを強く認識することができる。
【0027】
また、図５の左から４番目に示した操作体垂直位置８３がゼロとなっている例では、操作体垂直位置８３がゼロとなったときにポインタ１３として、ポインタ１２ａおよびポインタ１２ｂとは異なる形のポインタを示している。このように、操作体垂直位置８３がゼロのときに、操作体垂直位置８３がゼロ以外のときとポインタの形を変化させることにより、観察者９は操作体１０である指が空中映像面８１の平面上にあることを知ることができる。あるいは、操作体垂直位置８３の絶対値があらかじめ定められたしきい値よりも小さいときに、操作体垂直位置８３の絶対値があらかじめ定められたしきい値以上のときとポインタの形を変化させてもよい。なお、操作体垂直位置８３がゼロのときに、操作体垂直位置８３がゼロ以外のときとポインタの形を変化させる、あるいは、操作体垂直位置８３の絶対値があらかじめ定められたしきい値よりも小さいときに、操作体垂直位置８３の絶対値があらかじめ定められたしきい値以上のときとポインタの形を変化させるとしたが、形を変化させるのではなく、大きさ、ドットの密度、色、色の濃さ、透過率、明るさ、形、ポインタの全体のぼかしの強度、および、ポインタの輪郭のぼかしの強度の少なくとも１つの表示特性を変化させてもよい。
【0028】
図５の最も右側に示した例では、操作体１０の操作体位置１０１が空中映像面８１を通過して、操作体位置１０１が空中映像面８１と対称面４１の間にあるため、操作体垂直位置８３が負の値であるｚ３となっている。このときのポインタ１２ｄは、例えば、操作体垂直位置８３が正の値のときと同様に、操作体垂直位置８３の値の絶対値が小さいほどポインタの大きさを小さくし、あるいは、操作体垂直位置８３の値の絶対値が小さいほどポインタのドットの密度を高くしてもよい。これにより、操作体位置１０１が空中映像面８１を通過して空中映像面８１から遠ざかったときに、観察者９は操作体１０である指が空中映像面８１から遠ざかったことを認識することができる。また、図５の左から右に向かって示すように、操作体１０の操作体位置１０１が空中映像面８１に近づいてさらに通過したときに、ポインタが徐々に小さくなった後に再び大きくなるので、観察者９は操作体位置１０１が空中映像面８１を通過したことを認識することができる。
【0029】
さらに、操作体垂直位置８３が負の値のときのポインタ１２ｄの色を、操作体垂直位置８３が正の値のときのポインタ１２ａおよびポインタ１２ｂの色とは異なる色にしても良い。あるいは、操作体垂直位置８３が負の値のときのポインタ１２ｄの形を、操作体垂直位置８３が正の値のときのポインタ１２ａおよびポインタ１２ｂの形とは異なるものにしても良い。操作体垂直位置８３が正の値のときと操作体垂直位置８３が負の値のときとでポインタの表示特性を変化させることにより、観察者９は操作体位置１０１が空中映像面８１を通過したことを強く認識することができる。
【0030】
ポインタ生成部７３において操作体垂直位置８３の値に応じて変化させるポインタの表示特性は、例えば、大きさ、ドットの密度、色、色の濃さ、透過率、明るさおよび形の少なくとも１つであればよい。
【0031】
ポインタ重畳部７４は、ポインタを操作映像に重畳して、映像表示面３１の映像表示面内位置３２にポインタを表示する表示映像のデータを生成し、映像表示器３に出力する。図５の下に示した５つの例では、数字が書かれた操作ボタンを示す操作映像に対してポインタ生成部７３において生成されたポインタを重畳している。ポインタを重畳する位置は、映像表示面３１の映像表示面内位置３２にポインタが表示される位置である。
【0032】
ポインタ重畳部７４において生成された表示映像のデータは、映像表示器３に出力され、映像表示器３の映像表示面３１に表示映像が表示され、図５の下の列に示されたような表示映像が空中映像８として観測することができる。
【0033】
以上のように、実施の形態１による空中映像表示装置１は、映像表示面３１に表示映像を表示する映像表示器３と、映像を対称面４１に対して面対称な位置にある空中映像面８１に結像させて空中映像８を表示させる空中結像光学系１４と、操作体１０の位置を検出するセンサ６と、センサ６の出力に応じて映像表示器３に表示する表示映像のデータを生成する制御器７とを備え、制御器７は、原点において互いに直交する３軸であるｘ軸、ｙ軸、ｚ軸によって規定される三次元座標系を、空中映像面８１を含む面をｘｙ平面とし、対称面４１から空中映像面８１に向かう方向をｚ軸の正方向としてｚ軸の負方向を含む三次元座標系を定義し、センサ６の出力から三次元座標系における操作体１０のｘｙｚ座標を操作体位置１０１として求める操作体位置算出部７１と、操作体位置１０１のｘｙ座標を空中映像面内位置８２とし、空中映像面内位置８２を映像表示面３１の上の対応する位置である映像表示面内位置３２に変換する面内位置変換部７２と、操作体位置１０１のｚ座標を操作体垂直位置８３とし、操作体垂直位置８３に応じて表示特性を変化させたポインタを生成するポインタ生成部７３と、ポインタを操作映像に重畳して、映像表示面３１の映像表示面内位置３２にポインタを表示する表示映像のデータを生成するポインタ重畳部７４とを備えたので、操作体１０と空中映像８との距離および操作体１０が指し示している空中映像８の面上の位置を容易に認識することができる。
【0034】
図６は、実施の形態１による空中映像表示装置のハードウェアの一例を示す模式図である。制御器７は、メモリ２０２に記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ２０１によって実現される。メモリ２０２は、プロセッサ２０１が実行する各処理における一時記憶装置としても使用される。また、複数の処理回路が連携して上記機能を実行してもよい。さらに、専用のハードウェアによって上記機能を実現してもよい。専用のハードウェアによって上記機能を実現する場合は、専用のハードウェアは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは、これらを組み合わせたものである。上記機能は、専用ハードウェアとソフトウェアとの組み合わせ、あるいは、専用ハードウェアとファームウェアとの組み合わせによって実現してもよい。メモリ２０２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭなどの不揮発性または揮発性の半導体メモリ、磁気ディスク、光ディスク、または、これらを組み合わせたものである。プロセッサ２０１、メモリ２０２、センサ６および映像表示器３は、互いにバス接続されている。空中結像光学系１４は、空中映像表示装置の一部を構成するものである。
【0035】
本願は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、および機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
したがって、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。
したがって、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。
【符号の説明】
【0036】
１、１ａ 空中映像表示装置、２ 筐体、３ 映像表示器、４ ビームスプリッタ、５ 再帰反射シート、６ センサ、７ 制御器、８ 空中映像、９ 観察者、１０ 操作体、１１ 面対称結像光学素子、１２ａ、１２ｂ、１２ｃ、１２ｄ ポインタ、１３ ポインタ、１４ 空中結像光学系、３１ 映像表示面、３２ 映像表示面内位置、４１ 対称面、７１ 操作体位置算出部、７２ 面内位置変換部、７３ ポインタ生成部、７４ ポインタ重畳部、８１ 空中映像面、８２ 空中映像面内位置、８３ 操作体垂直位置、１０１ 操作体位置、１１１ 対称面、２０１ プロセッサ、２０２ メモリ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】