知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024036167
(43)【公開日】2024-03-15
(54)【発明の名称】空中表示装置
(51)【国際特許分類】
G02B 30/56 20200101AFI20240308BHJP
G06F 3/0346 20130101ALI20240308BHJP
G06F 3/038 20130101ALI20240308BHJP
【ＦＩ】
G02B30/56
G06F3/0346 421
G06F3/038 310
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022140928
(22)【出願日】2022-09-05
(71)【出願人】
【識別番号】000003193
【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100209048
【弁理士】
【氏名又は名称】森川 元嗣
(74)【代理人】
【識別番号】100212705
【弁理士】
【氏名又は名称】矢頭 尚之
(74)【代理人】
【識別番号】100219542
【弁理士】
【氏名又は名称】大宅 郁治
(72)【発明者】
【氏名】代工 康宏
【テーマコード（参考）】
2H199
5B087
【Ｆターム（参考）】
2H199BA32
2H199BA49
2H199BB01
2H199BB52
2H199BB57
2H199BB59
2H199BB65
2H199BB67
5B087AA07
5B087AB04
5B087BC06
5B087CC09
5B087CC33
5B087DE01
(57)【要約】
【課題】 表示品質を向上させることが可能な空中表示装置を提供する。
【解決手段】 空中表示装置は、画像を表示する表示素子２０と、表示素子２０からの光を受けるように配置され、表示素子２０からの光を、表示素子２０と反対側に反射し、空中に空中像を結像する光学素子４０と、空中像と重なる空間領域に検知領域を形成し、検知領域内の対象物を検知するセンシング素子５０と、観察者の位置を算出し、観察者の位置に基づいて、表示素子２０の画像の位置を補正する補正部とを含む。
【選択図】 図１
【解決手段】 空中表示装置は、画像を表示する表示素子２０と、表示素子２０からの光を受けるように配置され、表示素子２０からの光を、表示素子２０と反対側に反射し、空中に空中像を結像する光学素子４０と、空中像と重なる空間領域に検知領域を形成し、検知領域内の対象物を検知するセンシング素子５０と、観察者の位置を算出し、観察者の位置に基づいて、表示素子２０の画像の位置を補正する補正部とを含む。
【選択図】 図１
【特許請求の範囲】
【請求項1】
画像を表示する表示素子と、
前記表示素子からの光を受けるように配置され、前記表示素子からの光を、前記表示素子と反対側に反射し、空中に空中像を結像する光学素子と、
前記空中像と重なる空間領域に検知領域を形成し、前記検知領域内の対象物を検知するセンシング素子と、
観察者の位置を算出し、前記観察者の位置に基づいて、前記表示素子の画像の位置を補正する補正部と、
を具備する空中表示装置。
前記表示素子からの光を受けるように配置され、前記表示素子からの光を、前記表示素子と反対側に反射し、空中に空中像を結像する光学素子と、
前記空中像と重なる空間領域に検知領域を形成し、前記検知領域内の対象物を検知するセンシング素子と、
観察者の位置を算出し、前記観察者の位置に基づいて、前記表示素子の画像の位置を補正する補正部と、
を具備する空中表示装置。
【請求項2】
前記補正部は、前記観察者までの水平距離と垂直距離とに基づいて、前記表示素子の前記画像のずらし量を算出する
請求項１に記載の空中表示装置。
請求項１に記載の空中表示装置。
【請求項3】
前記補正部は、前記表示素子のうち前記観察者と前記検知領域とを通る直線上に前記画像を表示させる
請求項１に記載の空中表示装置。
請求項１に記載の空中表示装置。
【請求項4】
前記観察者を撮像し、前記観察者までの距離を測定する距離画像センサをさらに具備し、
前記補正部は、前記距離画像センサの出力に基づいて、前記観察者の位置を算出する
請求項１に記載の空中表示装置。
前記補正部は、前記距離画像センサの出力に基づいて、前記観察者の位置を算出する
請求項１に記載の空中表示装置。
【請求項5】
前記距離画像センサにより取得された撮像データに基づいて、前記観察者の顔を認識する認識部をさらに具備し、
前記補正部は、前記認識部の認識結果に基づいて、前記観察者の位置を算出する
請求項４に記載の空中表示装置。
前記補正部は、前記認識部の認識結果に基づいて、前記観察者の位置を算出する
請求項４に記載の空中表示装置。
【請求項6】
前記センシング素子は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む
請求項１に記載の空中表示装置。
請求項１に記載の空中表示装置。
【請求項7】
前記光学素子は、平面状の基材と、前記基材の下に設けられ、それぞれが第１方向に延び、前記第１方向に直交する第２方向に並んだ複数の光学要素とを含み、
前記複数の光学要素の各々は、前記基材の法線方向に対してそれぞれが傾き、互いに接する入射面及び反射面を有する
請求項１に記載の空中表示装置。
前記複数の光学要素の各々は、前記基材の法線方向に対してそれぞれが傾き、互いに接する入射面及び反射面を有する
請求項１に記載の空中表示装置。
【請求項8】
前記表示素子と前記光学素子との間に配置され、前記表示素子からの光のうち斜め方向の光成分を透過する配向制御素子をさらに具備する
請求項１に記載の空中表示装置。
請求項１に記載の空中表示装置。
【請求項9】
前記配向制御素子は、交互に配置された複数の透明部材及び複数の遮光部材を含み、
前記複数の遮光部材は、前記配向制御素子の法線に対して傾いている
請求項８に記載の空中表示装置。
前記複数の遮光部材は、前記配向制御素子の法線に対して傾いている
請求項８に記載の空中表示装置。
【請求項10】
前記表示素子及び前記光学素子は、互いに平行に配置される
請求項１に記載の空中表示装置。
請求項１に記載の空中表示装置。
【請求項11】
光を発光する照明素子をさらに具備し、
前記表示素子は、前記照明素子からの光を受けるように配置され、液晶表示素子で構成される
請求項１に記載の空中表示装置。
前記表示素子は、前記照明素子からの光を受けるように配置され、液晶表示素子で構成される
請求項１に記載の空中表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空中表示装置に関する。
【背景技術】
【0002】
画像や動画などを空中像として表示可能な空中表示装置が研究され、新しいヒューマン・マシン・インターフェースとして期待されている。空中表示装置は、例えば、２面コーナーリフレクタがアレイ状に配列された２面コーナーリフレクタアレイを備え、表示素子の表示面から出射される光を反射し、空中に実像を結像する。２面コーナーリフレクタアレイによる表示方法は、収差が無く、面対称位置に実像（空中像）を表示することができる。
【0003】
特許文献１は、透明平板の表面から突出した透明な四角柱を２面コーナーリフレクタとして使用し、複数の四角柱を平面上にアレイ状に配置した光学素子を開示している。また、特許文献２は、第１及び第２光制御パネルの各々を、透明平板の内部に垂直に複数の平面光反射部を並べて形成し、第１及び第２光制御パネルを、互いの平面光反射部が直交するように配置した光学素子を開示している。特許文献１、２の光学素子は、表示素子から出射された光を直交する反射面で２回反射させ、空中像を生成している。
【0004】
特許文献１、２の光学素子を利用した表示装置は、光学素子の斜方向から観察することで空中像を認識できるものであり、光学素子の法線方向からの観察では良好な空中像を認識することは難しい。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１１－１９１４０４号公報
【特許文献2】特開２０１１－１７５２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、表示品質を向上させることが可能な空中表示装置を提供する。
【課題を解決するための手段】
【0007】
本発明の第１態様によると、画像を表示する表示素子と、前記表示素子からの光を受けるように配置され、前記表示素子からの光を、前記表示素子と反対側に反射し、空中に空中像を結像する光学素子と、前記空中像と重なる空間領域に検知領域を形成し、前記検知領域内の対象物を検知するセンシング素子と、観察者の位置を算出し、前記観察者の位置に基づいて、前記表示素子の画像の位置を補正する補正部とを具備する空中表示装置が提供される。
【0008】
本発明の第２態様によると、前記補正部は、前記観察者までの水平距離と垂直距離とに基づいて、前記表示素子の前記画像のずらし量を算出する、第１態様に係る空中表示装置が提供される。
【0009】
本発明の第３態様によると、前記補正部は、前記表示素子のうち前記観察者と前記検知領域とを通る直線上に前記画像を表示させる、第１態様に係る空中表示装置が提供される。
【0010】
本発明の第４態様によると、前記観察者を撮像し、前記観察者までの距離を測定する距離画像センサをさらに具備し、前記補正部は、前記距離画像センサの出力に基づいて、前記観察者の位置を算出する、第１態様に係る空中表示装置が提供される。
【0011】
本発明の第５態様によると、前記距離画像センサにより取得された撮像データに基づいて、前記観察者の顔を認識する認識部をさらに具備し、前記補正部は、前記認識部の認識結果に基づいて、前記観察者の位置を算出する、第４態様に係る空中表示装置が提供される。
【0012】
本発明の第６態様によると、前記センシング素子は、前記検知領域に向けて光を発光する発光部と、前記対象物で反射された反射光を受光する受光部とを含む、第１態様に係る空中表示装置が提供される。
【0013】
本発明の第７態様によると、前記光学素子は、平面状の基材と、前記基材の下に設けられ、それぞれが第１方向に延び、前記第１方向に直交する第２方向に並んだ複数の光学要素とを含み、前記複数の光学要素の各々は、前記基材の法線方向に対してそれぞれが傾き、互いに接する入射面及び反射面を有する、第１態様に係る空中表示装置が提供される。
【0014】
本発明の第８態様によると、前記表示素子と前記光学素子との間に配置され、前記表示素子からの光のうち斜め方向の光成分を透過する配向制御素子をさらに具備する、第１態様に係る空中表示装置が提供される。
【0015】
本発明の第９態様によると、前記配向制御素子は、交互に配置された複数の透明部材及び複数の遮光部材を含み、前記複数の遮光部材は、前記配向制御素子の法線に対して傾いている、第８態様に係る空中表示装置が提供される。
【0016】
本発明の第１０態様によると、前記表示素子及び前記光学素子は、互いに平行に配置される、第１態様に係る空中表示装置が提供される。
【0017】
本発明の第１１態様によると、光を発光する照明素子をさらに具備し、前記表示素子は、前記照明素子からの光を受けるように配置され、液晶表示素子で構成される、第１態様に係る空中表示装置が提供される。
【発明の効果】
【0018】
本発明によれば、表示品質を向上させることが可能な空中表示装置を提供することができる。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
以下、実施形態について図面を参照して説明する。ただし、図面は模式的または概念的なものであり、各図面の寸法および比率等は必ずしも現実のものと同一とは限らない。また、図面の相互間で同じ部分を表す場合においても、互いの寸法の関係や比率が異なって表される場合もある。特に、以下に示す幾つかの実施形態は、本発明の技術思想を具体化するための装置および方法を例示したものであって、構成部品の形状、構造、配置等によって、本発明の技術思想が特定されるものではない。なお、以下の説明において、同一の機能及び構成を有する要素については同一符号を付し、重複する説明は省略する。
【0021】
［１］ 空中表示装置１の構成
図１は、本発明の実施形態に係る空中表示装置１の斜視図である。図１において、Ｘ方向は、空中表示装置１のある１辺に沿った方向であり、Ｙ方向は、水平面内においてＸ方向に直交する方向であり、Ｚ方向は、ＸＹ面に直交する方向（法線方向ともいう）である。図２は、図１に示した空中表示装置１のＸＺ面における側面図である。図２では、センシング素子５０及び距離画像センサ６０の図示を省略している。図３は、空中表示装置１の外観を説明する斜視図である。
図１は、本発明の実施形態に係る空中表示装置１の斜視図である。図１において、Ｘ方向は、空中表示装置１のある１辺に沿った方向であり、Ｙ方向は、水平面内においてＸ方向に直交する方向であり、Ｚ方向は、ＸＹ面に直交する方向（法線方向ともいう）である。図２は、図１に示した空中表示装置１のＸＺ面における側面図である。図２では、センシング素子５０及び距離画像センサ６０の図示を省略している。図３は、空中表示装置１の外観を説明する斜視図である。
【0022】
空中表示装置１は、画像（動画を含む）を表示する装置である。空中表示装置１は、自身の光出射面の上方の空中に、空中像を表示する。空中表示装置１の光出射面とは、空中表示装置１を構成する複数の部材のうち最上層に配置された部材の上面を意味する。空中像とは、空中に結像する実像である。
【0023】
空中表示装置１は、照明素子（バックライトともいう）１０、表示素子２０、配向制御素子３０、光学素子４０、センシング素子５０、距離画像センサ６０、及び筐体７０を備える。照明素子１０、表示素子２０、配向制御素子３０、及び光学素子４０は、この順にＺ方向に沿って配置され、互いに平行に配置される。照明素子１０、表示素子２０、配向制御素子３０、及び光学素子４０は、互いに所望の間隔を空けるようにして、図示せぬ固定部材で所望の位置に固定される。
【0024】
照明素子１０は、照明光を発光し、この照明光を表示素子２０に向けて出射する。照明素子１０は、光源部１１、導光板１２、及び反射シート１３を備える。照明素子１０は、例えばサイドライト型の照明素子である。照明素子１０は、面光源を構成する。照明素子１０は、後述する角度θ１の斜め方向に光強度がピークになるように構成してもよい。
【0025】
光源部１１は、導光板１２の側面に向き合うように配置される。光源部１１は、導光板１２の側面に向けて光を発光する。光源部１１は、例えば白色ＬＥＤ（Light Emitting Diode）からなる複数の発光素子を含む。導光板１２は、光源部１１からの照明光を導光し、照明光を自身の上面から出射する。反射シート１３は、導光板１２の底面から出射した照明光を、再び導光板１２に向けて反射する。照明素子１０は、導光板１２の上面に、光学特性を向上させる部材（プリズムシート、及び拡散シートを含む）を備えていてもよい。
【0026】
表示素子２０は、透過型の表示素子である。表示素子２０は、例えば液晶表示素子で構成される。表示素子２０の駆動モードについては特に限定されず、ＴＮ（Twisted Nematic）モード、ＶＡ（Vertical Alignment）モード、又はホモジニアスモードなどを用いることができる。表示素子２０は、照明素子１０から出射された照明光を受ける。表示素子２０は、照明素子１０からの照明光を透過して光変調を行う。そして、表示素子２０は、その画面に所望の画像を表示する。表示素子２０の詳細な構成については後述する。
【0027】
配向制御素子３０は、不要光を低減する機能を有する。不要光とは、空中像を生成するのに寄与しない光成分であり、法線方向に光学素子４０を透過する光成分を含む。配向制御素子３０は、法線方向に対して角度θ１の斜め方向を中心として所定の角度範囲の光成分を透過するとともに、上記角度範囲以外の光成分を遮光するように構成される。配向制御素子３０の面積は、表示素子２０の面積とほぼ同じに設定される。配向制御素子３０の詳細な構成については後述する。
【0028】
光学素子４０は、底面側から入射した光を上面側に反射する。また、光学素子４０は、底面側から斜めに入射した入射光を、例えば正面方向（法線方向）に反射する。光学素子４０の面積は、表示素子２０の面積以上に設定される。光学素子４０の詳細な構成については後述する。光学素子４０は、空中に空中像２を結像する。空中像２は、光学素子４０の素子面に平行であり、２次元の画像である。素子面とは、光学素子４０が面内方向に広がる仮想的な平面を言う。素子面は、面内と同じ意味である。その他の素子の素子面についても同様の意味である。光学素子４０の正面にいる観察者３は、空中像２を視認することができる。
【0029】
センシング素子５０は、空中表示装置１が生成した空中像２の一部又は全部を含む空間領域に検知領域５１を形成する。センシング素子５０は、検知領域５１に存在する対象物（物体）を検知する。センシング素子５０は、検知領域５１に赤外光を出射し、対象物で反射された反射光を検知する。センシング素子５０は、検知領域５１に向けて赤外光を発光する発光部と、対象物で反射された反射光を検知する受光部（センサ）とを含む。センシング素子５０は、例えば、複数の発光素子と複数の受光素子とが交互に一列に並んだラインセンサで構成される。ラインセンサは、赤外光を用いてライン状に空間をスキャンすることが可能であり、複数の発光素子が並んだ方向と光が進む方向とからなる２次元の空間をスキャンすることが可能である。センシング素子５０が出射する赤外光の方向は、適宜設定可能であり、例えば、斜め上方に赤外光を出射するように構成してもよい。
【0030】
距離画像センサ６０は、自身から対象物までの距離を測定する機能と、対象物を撮像する機能とを有する。距離画像センサ６０は、ＴＯＦ（time of light）方式の距離画像センサで構成される。ＴＯＦ方式は、発光素子から出射された光が対象物に照射され、対象物で反射された反射光を受光素子で検知するまでの時間に基づいて、対象物までの距離を測定する方式である。また、距離画像センサ６０は、撮像素子を備え、被写体を撮像する。距離画像センサ６０は、距離測定用のレーザー光（例えば赤外光）を発光する発光素子と、画像を撮像する撮像素子とを含む。撮像素子は、ＣＭＯＳ（complementary metal oxide semiconductor）センサ、又はＣＣＤ（charge coupled device）センサで構成される。撮像素子は、ＴＯＦ方式の受光素子としても用いられる。
【0031】
なお、距離画像センサ６０に変えて、自身から対象物までの距離を測定する距離センサと、対象物を撮像する撮像素子とを別々に設けてもよい。この実施例の場合、距離センサは、レーザー光（例えば赤外光）を発光する発光部と、対象物で反射された反射光を受光する受光部とを含むように構成される。
【0032】
筐体７０は、照明素子１０、表示素子２０、配向制御素子３０、光学素子４０、センシング素子５０、及び距離画像センサ６０を収容する。筐体７０は、上部に光学素子４０を露出する開口部と、距離画像センサ６０を露出する開口部とを有する。また、筐体７０の一側部には、センシング素子５０が取り付けられる。
【0033】
なお、センシング素子５０は、筐体７０に収容されず、筐体７０の外の任意の位置に配置してもよい。センシング素子５０は、検知動作に最適な箇所に配置することが可能である。また、距離画像センサ６０は、筐体７０に収容されず、筐体７０の外の任意の位置に配置してもよい。距離画像センサ６０は、検知動作に最適な箇所に配置することが可能である。
【0034】
【0035】
表示素子２０は、表示領域２１、額縁２２、及びケース２３を備える。表示領域２１は、画像を表示する領域である。額縁２２は、表示領域２１の周囲の周辺領域であり、画素を駆動する周辺回路が配置される領域である。額縁２２は、黒の遮光層（ブラックマトリクス）で遮光され、観察者からは黒で視認される。ケース２３は、表示素子２０を構成する基板を周囲から固定する。
【0036】
表示領域２１には、マトリクス状に配置された複数の画素Ｄｐが設けられる。マトリクス状に配置された複数の画素を画素アレイともいう。複数の画素Ｄｐの各々は、表示素子２０が表示する画像の色情報の最小単位である。画素Ｄｐは、例えば、光の三原色である赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）にそれぞれ対応する赤サブ画素Ｒ、緑サブ画素Ｇ、及び青サブ画素Ｂで構成される。なお、画素Ｄｐの面積は、図示した面積より十分小さい。
【0037】
画素アレイの列数を“ｍｄ”、行数を“ｎｄ”とする。表示素子２０の画素数は、“ｍｄ＊ｎｄ”である。表示素子２０の画素数は任意に設定可能である。
【0038】
【0039】
基材３１は、ＸＹ面において平面状に構成され、直方体を有する。基材３１は、光を透過する。
【0040】
基材３１上には、それぞれがＹ方向に延び、Ｘ方向に並んだ複数の透明部材３３が設けられる。また、基材３１上には、それぞれがＹ方向に延び、Ｘ方向に並んだ複数の遮光部材３４が設けられる。複数の透明部材３３と複数の遮光部材３４とは、隣接するもの同士が接するようにして交互に配置される。
【0041】
複数の透明部材３３及び複数の遮光部材３４上には、基材３２が設けられる。基材３２は、ＸＹ面において平面状に構成され、直方体を有する。基材３２は、光を透過する。
【0042】
透明部材３３は、ＸＺ面において、基材３１の法線方向に対して角度θ１の斜め方向に延びる。透明部材３３は、ＸＺ面において、側面が角度θ１だけ傾いた平行四辺形である。透明部材３３は、光を透過する。
【0043】
遮光部材３４は、ＸＺ面において、基材３１の法線方向に対して角度θ１の斜め方向に延びる。遮光部材３４は、ＸＺ面において、側面が角度θ１だけ傾いた平行四辺形である。遮光部材３４は、光を遮光する。遮光部材３４の厚みは、透明部材３３の厚みより薄く設定される。
【0044】
隣接する２個の遮光部材３４は、Ｚ方向において互いの端部が若干重なるように配置される。
【0045】
基材３１、３２、及び透明部材３３としては、ガラス、又は透明な樹脂（アクリル樹脂を含む）が用いられる。遮光部材３４としては、例えば、黒色の染料又は顔料が混入された樹脂が用いられる。
【0046】
なお、基材３１、３２の一方又は両方を省略して、配向制御素子３０を構成してもよい。複数の透明部材３３と複数の遮光部材３４とが交互に配置されていれば、配向制御素子３０の機能を実現できる。
【0047】
このように構成された配向制御素子３０は、法線方向に対して角度θ１の斜め方向の光強度がピークになるように、表示光を透過することができる。例えば、配向制御素子３０は、法線方向に対して３０°±３０°の範囲以外の光成分を遮光するように構成される。望ましくは、配向制御素子３０は、法線方向に対して３０°±２０°の範囲以外の光成分を遮光するように構成される。
【0048】
なお、変形例として、配向制御素子３０は、照明素子１０と表示素子２０との間に配置してもよい。また、配向制御素子３０を省略して、空中表示装置１を構成してもよい。
【0049】
【0050】
光学素子４０は、基材４１、及び複数の光学要素４２を備える。基材４１は、ＸＹ面において平面状に構成され、直方体を有する。
【0051】
基材４１の底面には、複数の光学要素４２が設けられる。複数の光学要素４２の各々は、三角柱で構成される。光学要素４２は、三角柱の３個の側面がＸＹ面と平行になるように配置され、１つの側面が基材４１に接する。複数の光学要素４２は、それぞれがＹ方向に延び、Ｘ方向に並んで配置される。換言すると、複数の光学要素４２は、ＸＺ面において鋸歯状を有する。
【0052】
複数の光学要素４２の各々は、入射面４３及び反射面４４を有する。Ｙ方向から見て、左側の側面が入射面４３であり、右側の側面が反射面４４である。入射面４３は、表示素子２０からの光が入射する面である。反射面４４は、入射面４３に外部から入射した光を、光学要素４２の内部で反射する面である。入射面４３と反射面４４とは、角度θｐを有する。
【0053】
基材４１及び光学要素４２は、透明材料で構成される。光学要素４２は、例えば、基材４１と同じ透明材料によって基材４１と一体的に形成される。基材４１と光学要素４２とを個別に形成し、透明な接着材を用いて基材４１に光学要素４２を接着してもよい。基材４１及び光学要素４２を構成する透明材料としては、ガラス、又は透明な樹脂（アクリル樹脂を含む）が用いられる。
【0054】
このように構成された光学素子４０は、入射光を内部で反射して、空中に実像を結像する。また、光学素子４０は、素子面の正面の位置に、空中像を結像する。
【0055】
［１－４］ 距離画像センサ６０の構成
距離画像センサ６０は、撮像素子６１を備える。図７は、距離画像センサ６０に含まれる撮像素子６１の模式的な平面図である。
距離画像センサ６０は、撮像素子６１を備える。図７は、距離画像センサ６０に含まれる撮像素子６１の模式的な平面図である。
【0056】
撮像素子６１は、基板６２、撮像領域６３、及び周辺領域６４を備える。撮像領域６３は、光を電気信号に変換する領域である。周辺領域６４は、撮像領域６３の周囲の領域であり、画素を駆動する周辺回路が配置される領域である。周辺領域６４は、黒の遮光層で遮光される。基板６２には、回路が設けられる。
【0057】
撮像領域６３には、マトリクス状に配置された複数の画素Ｐｐが設けられる。マトリクス状に配置された複数の画素を画素アレイともいう。複数の画素Ｐｐの各々は、光を電気信号に変換する領域の最小単位である。なお、画素Ｐｐの面積は、図示した面積より十分小さい。
【0058】
画素アレイの列数を“ｍｉ”、行数を“ｎｉ”とする。撮像素子６１の画素数は、“ｍｉ＊ｎｉ”である。撮像素子６１の画素数は任意に設定可能である。図７の“Ｃ”は、撮像素子６１の中心（撮像素子中心と称する）である。撮像素子中心“Ｃ”は、左から“ｍｉ／２”列目の画素の端を通る線と、上から“ｎｉ／２”行目の画素の端を通る線との交差点である。
【0059】
［１－５］ 空中表示装置１のブロック構成
図８は、空中表示装置１のブロック図である。空中表示装置１は、制御部８０、記憶部８１、入出力インターフェース（入出力ＩＦ）８２、表示部８３、センシング素子５０、距離画像センサ６０、及び入力部８４を備える。制御部８０、記憶部８１、及び入出力インターフェース８２は、バス８５を介して互いに接続される。
図８は、空中表示装置１のブロック図である。空中表示装置１は、制御部８０、記憶部８１、入出力インターフェース（入出力ＩＦ）８２、表示部８３、センシング素子５０、距離画像センサ６０、及び入力部８４を備える。制御部８０、記憶部８１、及び入出力インターフェース８２は、バス８５を介して互いに接続される。
【0060】
入出力インターフェース８２は、表示部８３、センシング素子５０、距離画像センサ６０、及び入力部８４に接続される。入出力インターフェース８２は、表示部８３、センシング素子５０、距離画像センサ６０、及び入力部８４のそれぞれに対して、所定の規格に応じたインターフェース処理を行う。
【0061】
表示部８３は、照明素子１０、及び表示素子２０を備える。表示部８３は、画像を表示する。
【0062】
制御部８０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の１つ以上のプロセッサにより構成される。制御部８０は、記憶部８１に格納されたプログラムを実行することで各種機能を実現する。制御部８０は、表示処理部８０Ａ、情報処理部８０Ｂ、検知位置算出部８０Ｃ、顔認識部８０Ｄ、及び画像補正部８０Ｅを備える。
【0063】
表示処理部８０Ａは、表示部８３（具体的には、照明素子１０、及び表示素子２０）の動作を制御する。表示処理部８０Ａは、照明素子１０のオン及びオフを制御する。表示処理部８０Ａは、表示素子２０に画像信号を送信し、表示素子２０に画像を表示させる。
【0064】
情報処理部８０Ｂは、空中表示装置１が表示する画像を生成する。情報処理部８０Ｂは、記憶部８１に格納された画像データを用いることが可能である。情報処理部８０Ｂは、図示せぬ通信機能を用いて外部から画像データを取得してもよい。
【0065】
検知位置算出部８０Ｃは、センシング素子５０の動作を制御する。検知位置算出部８０Ｃは、センシング素子５０に含まれる発光部が赤外光を出射するように制御し、所定の空間領域に赤外光からなる検知領域５１を形成する。検知位置算出部８０Ｃは、センシング素子５０に含まれる受光部から送られる複数の検知信号に基づいて、観察者３の指３Ａの位置を算出する。
【0066】
顔認識部８０Ｄは、撮像素子６１から撮像データを取得する。顔認識部８０Ｄは、撮像素子６１から取得した撮像データを用いて、目、鼻、口、及び輪郭などの複数の特徴点を抽出し、複数の特徴点の位置関係に基づいて顔を認識する。さらに、顔認識部８０Ｄは、複数の特徴点の位置関係に基づいて、目の位置を認識する。
【0067】
画像補正部８０Ｅは、距離画像センサ６０の動作を制御する。画像補正部８０Ｅは、距離画像センサ６０から送られる情報に基づいて、観察者３の位置を算出する。さらに、画像補正部８０Ｅは、観察者３の位置に関する情報に基づいて、表示素子２０に表示する画像の位置を補正する。
【0068】
記憶部８１は、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、及びＳＳＤ（Solid State Drive）等の不揮発性記憶装置と、ＲＡＭ（Random Access Memory）、及びレジスタ等の揮発性記憶装置とを含む。記憶部８１は、制御部８０が実行するプログラムを格納する。記憶部８１は、制御部８０の制御に必要な各種データを格納する。さらに、記憶部８１は、空中表示装置１が表示する画像のデータを格納する。
【0069】
入力部８４は、例えばタッチパネルやボタンなどを含み、ユーザが入力した情報を受け付ける。情報処理部８０Ｂは、入力部８４が受け付けた情報に基づいて、表示部８３に表示する画像を選択することが可能である。
【0070】
［２］ 空中表示装置１の動作
次に、上記のように構成された空中表示装置１の動作について説明する。
次に、上記のように構成された空中表示装置１の動作について説明する。
【0071】
［２－１］ 空中像２の表示動作
まず、空中像２の表示動作について説明する。
図２の矢印は、光路を示している。図２に示すように、表示素子２０の任意の点“ｏ”から出射された光は、配向制御素子３０に入射する。表示素子２０から出射された光のうち角度θ１の光成分（角度θ１を中心とした所定の角度範囲の光成分を含む）は、配向制御素子３０を透過する。配向制御素子３０を透過した光は、光学素子４０に入射する。光学素子４０は、入射光を、配向制御素子３０と反対側に反射し、空中に空中像２を結像する。
まず、空中像２の表示動作について説明する。
図２の矢印は、光路を示している。図２に示すように、表示素子２０の任意の点“ｏ”から出射された光は、配向制御素子３０に入射する。表示素子２０から出射された光のうち角度θ１の光成分（角度θ１を中心とした所定の角度範囲の光成分を含む）は、配向制御素子３０を透過する。配向制御素子３０を透過した光は、光学素子４０に入射する。光学素子４０は、入射光を、配向制御素子３０と反対側に反射し、空中に空中像２を結像する。
【0072】
図９は、光学素子４０における光の反射の様子を説明する斜視図である。図１０は、光学素子４０における光の反射の様子を説明するＸＺ面の側面図である。図１０は、観察者３の両目（すなわち、両目を結ぶ線）がＸ方向に平行な状態で光学素子４０を見た図である。図１１は、光学素子４０における光の反射の様子を説明するＹＺ面の側面図である。図１１は、観察者３の両目がＹ方向に平行な状態で光学素子４０を見た図である。
【0073】
表示素子２０の任意の点“ｏ”から出射された光は、光学素子４０の入射面４３に入射し、反射面４４に到達する。反射面４４の法線方向に対して臨界角よりも大きい角度で反射面４４に到達した光は、反射面４４で全反射され、光学素子４０の光学要素４２が形成されている側の反対側の平面から出射される。臨界角とは、その入射角を超えると全反射する最少の入射角である。臨界角は、入射面の垂線に対する角度である。
【0074】
図１０のＸＺ面では、点“ｏ”から出射された光は、光学要素４２の反射面４４で全反射され、その光は空中で結像されて空中像を生成する。
【0075】
図１１のＹＺ面では、点“ｏ”から出射された光は、光学要素４２の反射面４４で反射されず、その光は空中で結像することがないため空中像の生成に寄与しない。
【0076】
すなわち、観察者３が空中像を視認できる条件は、観察者３の両眼がＸ方向に平行、又はそれに近い状態（例えばＸ方向に対して±１０度）である。また、観察者３の両眼がＸ方向に平行、又はそれに近い状態でＹ方向に沿って視点を移動した場合、空中像を常に認識することができる。
【0077】
図１２は、光学素子４０における入射面４３及び反射面４４の角度条件を説明する図である。
【0078】
Ｚ方向（素子面に垂直な方向）に対する入射面４３の角度をθ２、Ｚ方向に対する反射面４４の角度をθ３、入射面４３と反射面４４とのなす角度をθｐとする。角度をθｐは、以下の式（１）で表される。
θｐ＝θ２＋θ３ ・・・（１）
θｐ＝θ２＋θ３ ・・・（１）
【0079】
配向制御素子３０から角度θ１で出射された光は、入射面４３に入射する。光学素子４０の材料の屈折率をｎｐ、空気の屈折率を１とする。入射面４３における入射角をθ４、屈折角をθ５とする。反射面４４における入射角をθ６、反射角をθ７（＝θ６）とする。光学素子４０の上面における入射角をθ８、屈折角をθ９とする。屈折角θ９が出射角である。出射角θ９は、以下の式（２）で表される。
θ９＝sin－１（ｎｐ＊sin（sin－１（（１／ｎｐ）＊sin(９０°－（θ１＋θ２）））＋θ2＋２θ３－９０°）） ・・・（２）
θ９＝sin－１（ｎｐ＊sin（sin－１（（１／ｎｐ）＊sin(９０°－（θ１＋θ２）））＋θ2＋２θ３－９０°）） ・・・（２）
【0080】
反射面４４における臨界角は、以下の式（３）で表される。
臨界角＜θ６（＝θ７）
臨界角＝sin－１（１／ｎｐ） ・・・（３）
臨界角＜θ６（＝θ７）
臨界角＝sin－１（１／ｎｐ） ・・・（３）
【0081】
すなわち、反射面４４における入射角θ６は、反射面４４における臨界角より大きく設定される。換言すると、反射面４４の角度θ３は、反射面４４に入射する光の入射角が臨界角より大きくなるように設定される。
【0082】
また、入射面４３に入射した光は、入射面４３で全反射されないように設定される。すなわち、入射面４３の角度θ２は、入射面４３に入射する光の入射角が臨界角より小さくなるように設定される。
【0083】
光学素子４０の素子面と空中像２の面との角度、及び光学素子４０の素子面と空中像２の面との距離は、光学素子４０に入射する光の角度θ１、光学素子４０の屈折率、光学素子４０の入射面４３の角度θ２、光学素子４０の反射面４４の角度θ３を最適に設定することで調整が可能である。
【0084】
［２－２］ 全体動作の流れ
次に、空中表示装置１における全体動作の流れについて説明する。図１３は、空中表示装置１における全体動作を説明するフローチャートである。
次に、空中表示装置１における全体動作の流れについて説明する。図１３は、空中表示装置１における全体動作を説明するフローチャートである。
【0085】
撮像素子６１は、観察者３を撮像し、撮像データ６５を生成する（ステップＳ１００）。
【0086】
続いて、顔認識部８０Ｄは、撮像素子６１から撮像データ６５を取得する。顔認識部８０Ｄは、撮像素子６１から取得した撮像データ６５に基づいて、観察者３の顔を認識する（ステップＳ１０１）。
【0087】
続いて、距離画像センサ６０は、観察者３までの距離を測定する（ステップＳ１０２）。具体的には、距離画像センサ６０は、距離測定用のレーザー光（例えば赤外光）を発光し、対象物で反射された反射光を受光する。そして、距離画像センサ６０は、レーザー光の往復時間に基づいて、観察者３までの距離を測定する。
【0088】
続いて、画像補正部８０Ｅは、観察者３の位置を算出する（ステップＳ１０３）。具体的には、画像補正部８０Ｅは、空中表示装置１の光出射面から観察者３までの距離Ｌ、及び距離画像センサ６０の中心から観察者３の目までの高さＨを算出する。距離Ｌを水平距離、高さＨを垂直距離とも呼ぶ。
【0089】
続いて、画像補正部８０Ｅは、観察者３の位置に基づいて、表示素子２０に表示する画像の位置を補正する（ステップＳ１０４）。
【0090】
続いて、表示素子２０は、画像補正部８０Ｅにより補正された位置に画像を表示する（ステップＳ１０５）。光学素子４０は、表示素子２０からの光を反射し、空中に空中像２を結像する。
【0091】
続いて、センシング素子５０は、所定の空間領域に赤外光からなる検知領域５１を形成する（ステップＳ１０６）。
【0092】
続いて、検知位置算出部８０Ｃは、センシング素子５０の検知結果に基づいて、観察者３が空中像２をタッチしたか否か、すなわち、観察者３のタッチ操作を判定する（ステップＳ１０７）。
【0093】
タッチ操作を検知しない場合（ステップＳ１０７＝Ｎｏ）、制御部８０は、ステップＳ１００以降の動作を繰り返す。
【0094】
タッチ操作を検知した場合（ステップＳ１０７＝Ｙｅｓ）、検知位置算出部８０Ｃは、観察者３がタッチした位置（タッチ位置）が、検知領域５１のうち予め決められた操作領域内であるか否かを判定する（ステップＳ１０８）。
【0095】
タッチ位置が操作領域内でない場合（ステップＳ１０８＝Ｎｏ）、制御部８０は、ステップＳ１０７以降の動作を繰り返す。
【0096】
タッチ位置が操作領域内である場合（ステップＳ１０８＝Ｙｅｓ）、表示素子２０は、タッチされた情報にリンクした画像を表示する（ステップＳ１０９）。
【0097】
続いて、制御部８０は、観察者３による終了操作を監視する（ステップＳ１１０）。終了操作は、例えば、入力部８４を用いて行われる。終了操作を検知しない場合（ステップＳ１１０＝Ｎｏ）、制御部８０は、ステップＳ１０７以降の動作を繰り返す。終了操作を検知した場合（ステップＳ１１０＝Ｙｅｓ）、制御部８０は、処理を終了する。
【0098】
［２－３］ 顔認識動作
次に、観察者３の顔を認識する動作（顔認識動作）について説明する。図１４は、観察者３の顔を認識する動作を説明する模式図である。
次に、観察者３の顔を認識する動作（顔認識動作）について説明する。図１４は、観察者３の顔を認識する動作を説明する模式図である。
【0099】
撮像素子６１は、観察者３を撮像し、撮像データ６５を生成する。顔認識部８０Ｄは、撮像素子６１から撮像データ６５を取得する。顔認識部８０Ｄは、撮像素子６１から取得した撮像データ６５を用いて、目、鼻、口、及び輪郭などの複数の特徴点を抽出し、複数の特徴点の位置関係に基づいて顔を認識する。図１６では、四角形の枠が顔と認識される。さらに、顔認識部８０Ｄは、複数の特徴点の位置関係に基づいて、目の位置を認識する。
【0100】
顔認識部８０Ｄによる顔認識の結果に基づいて、空中表示装置１と観察者３との位置関係が判定される。
【0101】
［２－４］ 画像補正動作の概略
次に、表示素子２０に表示する画像の位置を補正する動作（画像補正動作）の概略について説明する。
次に、表示素子２０に表示する画像の位置を補正する動作（画像補正動作）の概略について説明する。
【0102】
【0103】
表示素子２０は、自身の画面の中央付近にボタンの画像２４を表示する。光学素子４０は、表示素子２０からの光を反射し、空中に空中像２を結像する。
【0104】
センシング素子５０は、空中像２が表示される空間領域を含む検知領域５１を形成する。検知領域５１は、赤外光で形成される。観察者３の指３Ａが空中像２をタッチすると、センシング素子５０は、検知領域５１内の観察者３の指３Ａを検知する。検知位置算出部８０Ｃは、センシング素子５０から送られる複数の検知信号に基づいて、観察者３の指３Ａの位置を算出する。これにより、空中表示装置１は、観察者３に向けて空中像２を表示させるとともに、観察者３が空中像２をタッチしたことを検知できる。
【0105】
表示素子２０が画像２４を中央に表示した状態で、観察者３が空中表示装置１を斜め上から見た場合、空中像２は、検知領域５１より上側にずれて視認される。この場合、観察者３の指３Ａが空中像２をタッチしたことを検知できない可能性がある。表示素子２０が画像２４を中央に表示した状態で、観察者３が空中表示装置１を斜め下から見た場合、空中像２は、検知領域５１より下側にずれて視認される。この場合も、観察者３の指３Ａが空中像２をタッチしたことを検知できない可能性がある。
【0106】
【0107】
センシング素子５０は、固定された空間領域に検知領域５１を形成する。すなわち、センシング素子５０は、観察者３の位置に関わらず、常時同じ位置に検知領域５１を形成する。
【0108】
観察者３が空中表示装置１を斜め上から見ていると判定された場合、表示素子２０は、画像２４を中央（図１５の画像の位置）よりも下側に移動して表示する。これにより、空中表示装置１は、検知領域５１に重なるように空中像２を表示することができる。また、空中表示装置１は、観察者３の指３Ａが空中像２をタッチしたことを検知できる。
【0109】
観察者３が空中表示装置１を斜め下から見ていると判定された場合、表示素子２０は、画像２４を中央（図１５の画像の位置）よりも上側に移動して表示する。これにより、空中表示装置１は、検知領域５１に重なるように空中像２を表示することができる。また、空中表示装置１は、観察者３の指３Ａが空中像２をタッチしたことを検知できる。
【0110】
［２－５］ 画像補正動作の詳細
次に、表示素子２０に表示する画像の位置を補正する詳細な動作について説明する。
次に、表示素子２０に表示する画像の位置を補正する詳細な動作について説明する。
【0111】
図１７は、観察者３が空中像２をタッチする様子を説明する斜視図である。
【0112】
センシング素子５０が形成する検知領域５１の中心を“Ｓｃ”とする。空中表示装置１の光出射面から観察者３までの距離を“Ｌ”、空中表示装置１の光出射面から検知領域５１までの距離を“Ｌｓ”、検知領域５１から観察者３までの距離を“Ｌｅ”とする。空中表示装置１の光出射面は、空中表示装置１の上面と同じ意味である。距離Ｌｓは、空中表示装置１の仕様に応じて決まる設計値である。距離Ｌは、“Ｌ＝Ｌｓ＋Ｌｅ”で表される。距離Ｌは、距離画像センサ６０により測定された距離情報に基づいて算出される。距離Ｌの具体的な算出方法については後述する。
【0113】
【0114】
距離画像センサ６０の中心（具体的には、撮像素子６１の中心）を基準にして、観察者３の目の高さを“Ｈ”、検知領域５１の中心Ｓｃの高さを“Ｈｓ”、検知領域５１の中心Ｓｃから観察者３の目までの高さを“Ｈｅ”とする。高さＨｓは、空中表示装置１の仕様に応じて決まる設計値である。高さＨは、“Ｈ＝Ｈｓ＋Ｈｅ”で表される。高さＨは、距離画像センサ６０により撮像された画像データと、顔認識部８０Ｄによる顔認識の結果とに基づいて算出される。高さＨの具体的な算出方法については後述する。
【0115】
【0116】
距離画像センサ６０の中心から検知領域５１の中心ＳｃまでのＸ方向の距離を“Ｘｄ”、距離画像センサ６０の中心から観察者３までの斜距離を“Ｌｆ”とする。距離Ｘｄは、空中表示装置１の仕様に応じて決まる設計値である。斜距離Ｌｆは、距離画像センサ６０により測定された距離情報に基づいて算出される。
距離Ｌは、以下の式（４）で表される。
Ｌ＝√（（Ｌｆ２－Ｘｄ２）） ・・・（４）
距離Ｌは、以下の式（４）で表される。
Ｌ＝√（（Ｌｆ２－Ｘｄ２）） ・・・（４）
【0117】
表示素子２０における画像のずらし量を“Ｈｉ”とする。ずらし量Ｈｉは、以下の式（５）で表される。
Ｈｉ：Ｈｅ＝Ｌｓ：Ｌｅ
Ｈｉ＝（Ｈｅ＊Ｌｓ）／Ｌｅ＝（（Ｈ－Ｈｓ）＊Ｌｅ）／（Ｌ－Ｌｅ） ・・・（５）
Ｈｉ：Ｈｅ＝Ｌｓ：Ｌｅ
Ｈｉ＝（Ｈｅ＊Ｌｓ）／Ｌｅ＝（（Ｈ－Ｈｓ）＊Ｌｅ）／（Ｌ－Ｌｅ） ・・・（５）
【0118】
画像補正部８０Ｅは、式（５）を用いて、ステップＳ１０４における画像位置を補正する動作を行う。
【0119】
（観察者３の高さＨの算出）
次に、観察者３の目の高さＨの算出方法について説明する。
次に、観察者３の目の高さＨの算出方法について説明する。
【0120】
図２０は、被写体３Ｂと撮像素子６１による像６８との関係を説明する模式図である。
【0121】
距離画像センサ６０は、レンズ６６を備える。レンズ６６は、撮像素子６１の上方に配置され、図示せぬ筐体によって固定される。
【0122】
撮像素子６１は、レンズ６６を介して被写体３Ｂを撮像する。撮像素子６１には、被写体３Ｂの像６８が照射される。
【0123】
被写体３Ｂの高さを“Ｏａ´”、被写体３Ｂからレンズ６６の中心（レンズ中心）までの距離（被写体距離と称する）を“ｆａ”、像６８の高さ（像高さと称する）を“Ｏｂ”、レンズ６６の中心から撮像素子６１までの距離を“ｆｂ”とする。これらの数値は、「ｆａ：ｆｂ＝Ｏａ´：Ｏｂ」の関係を有する。被写体距離ｆａは、前述した観察者３までの距離Ｌに対応する。
【0124】
図２１は、基準被写体３Ｂの距離と像６８の高さとの関係を説明する模式図である。距離画像センサ６０は、撮像素子６１及びレンズ６６を収容する筐体６７を備える。筐体６７は、レンズ６６を支持する。レンズ６６の中心の面は、距離画像センサ６０の主面（又は上面）ともいう。図２１では、基準被写体３Ｂとレンズ６６の中心との距離がｄ１、ｄ２、ｄｎ（ｄ１＜ｄ２＜ｄｎ）の場合を示している。撮像素子６１の中心を通る垂線を“Ｃｚ”と表記する。垂線Ｃｚからの基準被写体３Ｂの高さを“Ｏａ”とし、“Ｏａ”を基準被写体高さと称する。図２１の“Ｏａ”は、図２０の“Ｏａ´”の半分である。被写体の高さと像の高さとをそれぞれ半分にした場合でも、前述した被写体と像との比の関係を満たす。
【0125】
【0126】
像高さは、撮像素子６１の画素ライン位置に換算することができる。撮像素子６１の画素アレイにおける行数及び列数が決まると、像高さに対応する画素ライン位置（中心Ｃからの画素の行数）が算出される。すなわち、像高さは、画素ライン位置に対応する。撮像素子６１における水平線Ｃｘから像６８－１の最上部までの画素ライン数を“ｎ１”とする。
【0127】
【0128】
【0129】
図２１乃至図２４から、被写体距離が大きくなるにつれて、画素ライン数が少なくなる（像高さが小さくなる）ことが理解できる。図２１乃至図２４の関係は、予め基準データＤｆとして算出され、この基準データＤｆは、記憶部８１に格納されている。
【0130】
図２５は、像高さを算出する方法を説明する図である。図２５の横軸は、被写体距離を表し、縦軸は、像高さを表している。縦軸の像高さは、撮像素子６１の画素ライン数に対応する。図２５に示した直線は、基準データＤｆをプロットしたものである。
【0131】
図２５の黒丸は、撮像素子６１が取得した像の一例である。取得した像の被写体距離が“ｆｅ”、像高さが“Ｏｅ”であるものとする。被写体距離ｆｅに対応する基準データＤｆから、基準像高さＯｒが算出される。“Ｏｅ／Ｏｒ”の値から、高さＨが算出される。高さＨは、以下の式（６）で表される。基準被写体高さＯａは、基準データＤｆとともに記憶部８１に格納されている。
Ｈ＝Ｏａ・（Ｏｅ／Ｏｒ） ・・・（６）
Ｈ＝Ｏａ・（Ｏｅ／Ｏｒ） ・・・（６）
【0132】
被写体３Ｂの高さを、顔認識部８０Ｄで算出された観察者３の目の位置とすると、式（６）を用いて、観察者３の目の高さＨが算出される。
【0133】
なお、高さＨは、観察者３の目の高さに限定されるものではない。顔認識部８０Ｄは、観察者３の顔のおおまかな位置を算出するようにしてもよい。この場合、高さＨとしては、観察者３の顔の高さが用いられる。
【0134】
（観察者３の位置を算出する動作）
図２６は、ステップＳ１０３における観察者３の位置を算出する動作を説明するフローチャートである。
図２６は、ステップＳ１０３における観察者３の位置を算出する動作を説明するフローチャートである。
【0135】
画像補正部８０Ｅは、ステップＳ１００で取得された撮像データ６５に基づいて、像高さＯｅを算出する（ステップＳ２００）。
【0136】
続いて、画像補正部８０Ｅは、記憶部８１に格納された基準データＤｆに基づいて、パラメータ“Ｏｅ／Ｏｒ”を算出する。続いて、画像補正部８０Ｅは、式（６）を用いて、観察者３の目の高さＨを算出する（ステップＳ２０１）。
【0137】
続いて、画像補正部８０Ｅは、式（４）を用いて、観察者３までの距離Ｌを算出する（ステップＳ２０２）。
【0138】
このようにして、観察者３の位置、すなわち、観察者３の目の高さＨ、及び観察者３までの距離Ｌが算出される。その後、ステップＳ１０４において、表示素子２０に表示する画像の位置を補正する動作が行われる。
【0139】
［２－６］ 画像補正部８０Ｅの具体的な動作
次に、画像補正部８０Ｅの具体的な動作について説明する。図２７は、観察者３が空中表示装置１を正面から見た場合の画像補正部８０Ｅの動作を説明する図である。観察者３の位置（例えば観察者３の目の位置）は、前述したように、距離画像センサ６０及び画像補正部８０Ｅによって算出される。
次に、画像補正部８０Ｅの具体的な動作について説明する。図２７は、観察者３が空中表示装置１を正面から見た場合の画像補正部８０Ｅの動作を説明する図である。観察者３の位置（例えば観察者３の目の位置）は、前述したように、距離画像センサ６０及び画像補正部８０Ｅによって算出される。
【0140】
観察者３が空中表示装置１を正面から見ていると判定された場合、画像補正部８０Ｅは、表示素子２０の画像２４の位置を補正せず、表示素子２０は、通常の位置、例えば、画面の中央に画像２４を表示する。これにより、観察者３は、検知領域５１と重なる空間領域に空中像２を視認する。よって、観察者３が指３Ａで空中像２をタッチした場合、センシング素子５０は、タッチ操作を検知することができる。
【0141】
図２８は、観察者３が空中表示装置１をＹ方向における上側から見た場合の画像補正部８０Ｅの動作を説明する図である。観察者３が空中表示装置１をＹ方向における上側から見ている判定された場合、画像補正部８０Ｅは、表示素子２０の画像２４をＹ方向における下側にずらす。画像補正部８０Ｅは、ずらし量Ｈｉだけ画像２４がずれるように、画像位置を補正する。すなわち、画像補正部８０Ｅは、表示素子２０のうち観察者３と検知領域５１とを通る直線上に画像２４を表示させる。例えば、画像補正部８０Ｅは、観察者３の目と検知領域５１の中心とを通る直線上に画像２４の中心がくるように、表示素子２０に画像２４を表示させる。これにより、観察者３は、検知領域５１と重なる空間領域に空中像２を視認する。
【0142】
図２９は、観察者３が空中表示装置１をＹ方向における下側から見た場合の画像補正部８０Ｅの動作を説明する図である。観察者３が空中表示装置１をＹ方向における下側から見ている場合、画像補正部８０Ｅは、表示素子２０の画像２４をＹ方向における上側にずらす。画像補正部８０Ｅは、ずらし量Ｈｉだけ画像２４がずれるように、画像位置を補正する。すなわち、画像補正部８０Ｅは、表示素子２０のうち観察者３と検知領域５１とを通る直線上に画像２４を表示させる。例えば、画像補正部８０Ｅは、観察者３の目と検知領域５１の中心とを通る直線上に画像２４の中心がくるように、表示素子２０に画像２４を表示させる。これにより、観察者３は、検知領域５１と重なる空間領域に空中像２を視認する。
【0143】
［３］ 実施形態の効果
実施形態によれば、空中表示装置１は、表示素子２０から出射された光を光学素子４０で反射させることで、空中に空中像２を表示することができる。また、空中表示装置１は、その正面方向において、光学素子４０の素子面に平行に空中像２を表示することができる。また、表示品質を向上させることが可能な空中表示装置１を実現できる。
実施形態によれば、空中表示装置１は、表示素子２０から出射された光を光学素子４０で反射させることで、空中に空中像２を表示することができる。また、空中表示装置１は、その正面方向において、光学素子４０の素子面に平行に空中像２を表示することができる。また、表示品質を向上させることが可能な空中表示装置１を実現できる。
【0144】
また、観察者３の両眼がＸ方向（すなわち、複数の光学要素４２が並ぶ方向）に平行、又はそれに近い状態で光学素子４０を見た場合に、観察者３は、空中像を視認することができる。また、観察者３の両眼がＸ方向に平行、又はそれに近い状態でＹ方向に沿って視点を移動した場合、空中像を常に視認することができる。また、観察者３の両眼がＸ方向に平行、又はそれに近い状態において、より広い視野角を実現できる。
【0145】
また、観察者３が空中表示装置１を見る位置に応じて、表示素子２０の画像の位置を補正するようにしている。これにより、観察者３から見て、センシング素子５０が形成する検知領域５１と空中像２とを重ねることができる。よって、観察者３が空中像２をタッチする操作をより正確に検知することができる。
【0146】
また、観察者３の目の位置を算出し、観察者３の目の位置に応じて、表示素子２０の画像の位置を補正することができる。これにより、観察者３が空中像２をタッチする操作をより正確に検知することができる。
【0147】
また、空中表示装置１を構成する複数の素子を平行に配置することができる。これにより、Ｚ方向に小型化が可能な空中表示装置１を実現できる。
【0148】
［４］ 変形例
上記実施形態では、観察者３がＹ方向に移動した場合に、表示素子２０の画像をＹ方向に沿ってずらす実施例について説明している。これと同じ動作原理で、観察者３がＸ方向に移動した場合、表示素子２０の画像をＸ方向にずらすように制御される。表示素子２０の画像をＸ方向にずらす動作は、実施形態で説明したＹ方向に画像をずらす動作のＸ方向とＹ方向とを入れ替えた動作に対応する。
上記実施形態では、観察者３がＹ方向に移動した場合に、表示素子２０の画像をＹ方向に沿ってずらす実施例について説明している。これと同じ動作原理で、観察者３がＸ方向に移動した場合、表示素子２０の画像をＸ方向にずらすように制御される。表示素子２０の画像をＸ方向にずらす動作は、実施形態で説明したＹ方向に画像をずらす動作のＸ方向とＹ方向とを入れ替えた動作に対応する。
【0149】
また、観察者３がＹ方向に移動したことを検知した場合に、表示素子２０の画像を、観察者３が移動した方向と反対方向に常に一定のずらし量だけずらすようにしてもよい。これにより、画像の位置を補正する制御をより簡略化できる。
【0150】
上記実施形態では、表示素子２０の画像の位置を補正するようにしている。変形例として、観察者３の位置に応じて、センシング素子５０の検知領域５１を移動させるようにしてもよい。
【0151】
上記実施形態では、鋸歯状を有する光学素子４０を結像素子として用いている。しかし、これに限定されず、本実施形態は、空中に空中像を結像可能な他の種類の結像素子を備えた空中表示装置に適用することも可能である。
【0152】
上記実施形態では、表示素子２０と光学素子４０とを平行に配置している。しかし、これに限定されず、光学素子４０に対して表示素子２０を斜めに配置してもよい。表示素子２０と光学素子４０との角度は、０度より大きく４５度より小さい範囲に設定される。この変形例では、配向制御素子３０を省略できる。
【0153】
上記実施形態では、光学要素４２の左側の側面が入射面４３、右側の側面が反射面４４として定義している。しかし、これに限定されず、入射面４３と反射面４４とを逆に構成してもよい。この場合、実施形態で説明した空中表示装置１の作用も左右が逆になる。
【0154】
上記実施形態では、表示素子２０として液晶表示素子を例に挙げて説明しているが、これに限定されるものではない。表示素子２０は、自発光型である有機ＥＬ（electroluminescence）表示素子、又はマイクロＬＥＤ（Light Emitting Diode）表示素子などを用いることも可能である。マイクロＬＥＤ表示素子は、画素を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）をそれぞれＬＥＤで発光させる表示素子である。自発光型の表示素子２０を用いる場合、照明素子１０は不要である。
【0155】
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0156】
１…空中表示装置、２…空中像、３…観察者、１０…照明素子、１１…光源部、１２…導光板、１３…反射シート、２０…表示素子、２１…表示領域、２２…額縁、２３…ケース、２４…画像、３０…配向制御素子、３１，３２…基材、３３…透明部材、３４…遮光部材、４０…光学素子、４１…基材、４２…光学要素、４３…入射面、４４…反射面、５０…センシング素子、５１…検知領域、６０…距離画像センサ、６１…撮像素子、６２…基板、６３…撮像領域、６４…周辺領域、６５…撮像データ、６６…レンズ、６７…筐体、６８…像、７０…筐体、８０…制御部、８０Ａ…表示処理部、８０Ｂ…情報処理部、８０Ｃ…検知位置算出部、８０Ｄ…顔認識部、８０Ｅ…画像補正部、８１…記憶部、８２…入出力インターフェース、８３…表示部、８４…入力部、８５…バス。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
